JP2007235519A - 映像音声同期方法及び映像音声同期システム - Google Patents

Abstract

【課題】映像音声視聴装置とシアター拡張装置からなるシステムにおいて、再生ソースや音声出力するスピーカを切り換えた場合にユーザは音声の遅延時間を調整してリップシンクを調整する必要があること。
【解決手段】前記映像音声視聴装置が映像信号と音声信号とを再生すると共に前記映像信号を映像再生し、前記映像音声視聴装置が前記映像音声視聴装置の映像再生に要する遅延時間と前記音声信号とを出力し、前記シアター拡張装置が前記映像音声視聴装置が出力する前記音声信号と前記遅延時間とを入力し、前記遅延時間だけ前記音声信号を遅延させて音声再生する。
【選択図】図１

Description

本発明は、放送受信器と、記録メディアとスピーカを持つシアターシステムとを接続してホームシアターを構成する際において映像と音声との時間同期であるリップシンクを保証する方法に関するものである。

特許文献１では、ＴＶ、ＡＶアンプ、ビデオデッキを接続した基本的なＡＶシステムについて開示している。そして、音声の出力先としてＴＶ内蔵スピーカとＡＶアンプとを切り換えることが可能である。ただし、映像と音声との同期であるリップシンクについては触れていない。

特許文献２では、映像を無線伝送、音声を有線伝送する装置でのリップシンクについて開示している。映像の通信フォーマット（圧縮フォーマット、伝送レートなど）に応じ、映像の伝送に必要な時間が増減する。そこで、映像の通信フォーマットに応じて音声信号を遅延させてから外部の機器に送り出すことでリップシンクを保証する。

特許文献３では、１台の機器の中で、映像や音声のフォーマットごとのデコード遅延に応じ音声を遅延させる方法について開示している。映像や音声の圧縮フォーマットによって、デコードして提示するまでの所要時間が異なる。映像や音声の各種フォーマット毎に予め決められた遅延時間だけ音声を遅延出力することで、複数の映像や音声のフォーマットに対してリップシンクを保証する。

ここで、ＴＶとシアターシステムとから構成される、典型的なホームシアターシステムの例について図を用いて説明する。

なお以下では、複数の図の間で同一の構成要素には同一の符号を付与することで、説明を一部または全て省略する。また、同じ構成要素が同一の図に複数現れる場合には、符号の末尾にアルファベット１文字を付与するものとする。

図１１は、本発明を使用しない従来の映像音声同期システムの構成図である。

図中、符号１１００は従来の映像音声同期システムの全体である。一般にはホームシアターシステムとして呼ばれている。映像音声同期システム１１００は、放送アンテナ１１０と、映像音声視聴装置１１１０と、第１の入力手段１３０ａと、音声出力手段１１２０と、第２の入力手段１３０ｂとから構成されている。

放送アンテナ１１０は、放送電波を受信し電気信号に変換する。放送アンテナ１１０は、家屋の屋根に設置して通常のＴＶ受信器に接続するテレビアンテナでよい。

映像音声視聴装置１１１０は、放送再生手段１２１ａと映像選択手段１２２と映像表示手段１２３と第１の音声選択手段１２４ａと第１の音声遅延主だ１２５ａと第１の音声出力手段１２６ａと制御手段１１１１とから構成される。

ここで映像音声視聴装置１１１０の各構成要素に対して詳細に説明する。

放送再生手段１２１ａは、放送アンテナ１１０と接続されて放送番組を受信して、映像信号と音声信号に分離して出力する。放送再生手段１２１はＴＶ受像器のチューナモジュールで良い。ここで映像信号や音声信号は、ＭＰＥＧなど何らかの圧縮コーデックによりエンコードされた圧縮データか、非圧縮のデジタルデータである。

映像選択手段１２２は、放送再生手段１２１の出力する映像信号とシアター拡張装置１１２０の出力する映像信号とを入力し、いずれか一方を選択して出力する。

映像表示手段１２３は、映像選択手段１２２の出力する映像信号を入力しユーザが視覚で知覚できる光による映像に変換する。映像表示手段１２３では、映像信号をデコードし２次元のビットマップデータに展開し、更に映像を表示するデバイスをドライブして光による映像に変換出力する。映像表示手段１２３は、例えば、映像信号がＭＰＥＧ−２ Ｖｉｄｅｏによりエンコードされた圧縮映像である場合には、ＭＰＥＧ−２ Ｖｉｄｅｏデコーダとプラズマパネルドライバとプラズマディスプレイパネルとから構成されてもよい。

第１の音声選択手段１２４ａは、放送再生手段１２１が出力する音声信号とシアター拡張装置１１２０が出力する音声信号とを入力し、いずれか一方を選択して出力する。

第１の音声遅延手段１２５ａは、第１の音声選択手段１２４ａの出力する音声信号を入力し所定の遅延時間だけ遅らせた音声信号を出力する。音声遅延手段１２５ａは、デジタル信号を数ｍｓ〜数秒まで遅延させるＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）型のディレイ回路でよい。

第１の音声出力手段１２６ａは、第１の音声遅延手段１２５ａの出力する音声信号を入力し、ユーザが聴覚で知覚できる音波に変換出力する。また、第１の音声出力手段１２６ａは、出力される音波の音量の制御が可能であり、音量を０にする音声ミュート（消音）の設定をオン・オフできる。入力する音声信号がＭＰＥＧ−２ Ａｕｄｉｏでエンコードされた圧縮音声である場合には、第１の音声出力手段１２６ａは、ＭＰＥＧ−２ Ａｕｄｉｏデコーダとスピーカ駆動アンプとスピーカとから構成されていてもよい。

制御手段１１１１は、映像音声視聴装置１１１０の全ての構成要素を制御するコントローラである。制御手段１１１１は、第１の入力手段１３０ａから入力されるユーザの操作を認識し、映像音声視聴装置１１１０がユーザの操作意図通りに動作するよう各構成要素を制御する。制御手段１１１１は組込用マイクロプロセッサを中心とした制御回路でよい。

第１の入力手段１３０ａは、ユーザからの操作を受け付ける入力デバイスであり、ユーザからの操作を映像音声視聴装置１１１０に対して伝えることで、ユーザの入力手段１３０ａによる映像音声視聴装置１１１０の操作を可能とする。入力手段１３０ａはテレビの赤外線リモコンでよい。

シアター拡張装置１１２０は、再生手段１４１と、第２の音声選択手段１２４ｂと、第２の音声遅延手段１２５ｂと、第２の制御手段１１２１とから構成される。ここでシアター拡張装置１１２０の各構成要素のうちまだ説明していないものについて詳細に説明する。

再生手段１４１は、ユーザの視聴を前提とした番組を再生し当該番組の映像信号と音声信号とを出力する。再生手段１４１は番組をＤＶＤやハードディスクといった蓄積メディアに格納していても良いし、通信回線経由で他の機器から番組のビットデータを受信しても良い。再生手段１４１は、映像信号を映像音声視聴装置１１１０に出力する。

第２の音声選択手段１２４ｂは、再生手段１４１の出力する音声と映像音声視聴装置１１１０の出力する音声とを入力し、いずれか一方を選択して出力する。

第２の音声遅延手段１２５ｂは、第２の音声選択手段１２４ｂの出力する音声信号を入力し指定された遅延時間だけ遅延させた音声信号を出力する。

第２の音声出力手段１２６ｂは、第２の音声遅延手段１２５ｂの出力する音声信号を入力し音波に変換出力する。

第２の制御手段１１２１は、シアター拡張装置１１２０の各構成要素を制御する。第２の入力手段１３０ｂから入力されるユーザの操作を認識し、映像音声視聴装置１１１０がユーザの操作意図通りに動作するよう各構成要素を制御する。

次に従来の映像音声同期システム１１００の動作について説明する。

図１２は、本発明を使用しない従来の映像音声同期システムにおける
各動作モード毎の設定値の図である。

表１２１０は、映像音声同期システム１１００の各動作モード毎の信号経路の設定を表している。映像音声同期システム１１００は、ユーザが視聴するソースが何かと、音声出力先がどちらの装置かとの組み合わせである。

ここで、ユーザが視聴するソースは、放送再生手段１２１により再生される放送か、再生手段１４１で再生される映像音声かの２種類である。また、音声の出力先は、映像音声視聴装置１１１０の音声出力手段１２６ａか、シアター拡張装置１１２０の音声出力手段１２６ｂかの２種類である。従って、映像音声同期システム１１００全体ではの、２×２＝４種類の動作モードを持つ。そして、表１２１０の各行のそれぞれは、この４種類の動作モードに対応する。

表１２１０で、「映像ＳＷ」（ＳＷ： ＳＷｉｔｃｈ）「消音」「音声ＳＷ」の３列から構成される「ＴＶ」の列は映像音声視聴装置１１１０に対し、「消音」「音声ＳＷ」の２列から構成される「シアター」の列はシアター拡張装置１１２０に対し、各動作モード毎にどの様な状態に設定するのかを表している。ここで、「映像ＳＷ」の列は、映像切替手段１２２がどちらの映像信号を選択しているかを表している。「音声ＳＷ」の列は、音声切替手段１２４ａと１２４ｂがどちらの音声信号を選択しているかを表している。また、「消音」の列は、音声出力手段１２６ａ、１２６ｂが消音状態として出力される音声の音量を０にしているかを表している。

例えば、ソースが「シアター」、音声出力先が「シアタースピーカ」の行の動作モードでは、表１２１０からＴＶの映像ＳＷの値が「シアター」であるため、再生手段１４１の出力する映像信号が映像選択手段１２２で選択されて映像提示手段１２３に表示される。

また、ＴＶの消音の値が「消音」であるため、映像音声視聴装置１１００の音声出力手段１２６ａからは音声が出力されない。音声選択手段１２４ｂで、再生手段１４１からの音声信号が選択され、音声遅延手段１２５ｂを経由して、消音が解除されている音声出力手段１２６ｂから出力される。

次に、表１２２０について説明する。表１２２０は、表１２１０と同様の４種類の動作モードのそれぞれに対し、映像音声視聴装置１１１０の音声遅延手段１２５ａと、シアター拡張装置１１２０の音声遅延手段１２５ｂで設定される音声遅延量を表している。すなわち、ＴＶ−音声遅延の列は音声遅延手段１２５ａの、シアター−音声遅延の列は音声遅延手段１２５ｂのそれぞれに設定される音声遅延量を表している。

表中の値「Ｔ」は、映像音声視聴装置１１１０で、放送再生手段１２１を視聴するソースとして選択し音声出力先を音声出力手段１２５ａとした際に、音声遅延手段１２５ａでリップシンクを合わせるために設定すべき値である。値Ｔは、映像提示手段１２３の処理時間と音声出力手段１２６ａとの処理時間の差分であり、映像音声視聴装置１１１０固有の値である。

また、表中の値「Ｄ．Ｃ．」は「Ｄｏｎ’ｔ Ｃａｒｅ」を表し、対応する音声遅延手段はリップシンクには無関係であるため、いずれの値を音声遅延手段に設定しても構わないことを表している。

これらの遅延時間の設定値は、各装置に接続された入力手段１３０ａ、１３０ｂに対してユーザが手作業で操作することで設定される。
特開平１０−７９９６号公報 特開２００４−８８４４２号公報 特開２００５−１８４５６３号公報

本発明を使用しない従来の映像音声同期システムにおいては、音声を出力するスピーカのある機器を切り換えたり再生するソースを切り換えたりした場合に、正確なリップシンクを得るためには都度適切な音声の遅延時間を調整する必要があった。このため、リップシンクを合わせるために煩雑な遅延時間変更の操作を都度行うため煩雑であった。

また、音声の遅延時間の値として何を設定するかも、高価な測定ツールを用いるか、ユーザが目と耳で感覚的に徐々に調整していくしかなかった。もし、一度最適な遅延時間に設定できたとしても、遅延時間は一定ではないという課題があった。遅延時間は、例えば、ＴＶ（映像音声視聴装置）の機種毎に固有の値があったり、扱う映像と音声の圧縮フォーマットにより異なったり、あるいは、各機器が無線通信で接続されている際には、電波状態や伝送レートの設定などによって異なる。このように、上記のような要因で遅延時間に変化が生じた際には再設定が必要であった。

上記課題を解決するために、本発明による映像音声同期システムは、映像音声視聴装置とシアター拡張装置とを具備している。前記映像音声視聴装置は映像信号と音声信号とを再生すると共に前記映像信号を映像再生する。また、前記映像音声視聴装置は前記映像音声視聴装置の映像再生に要する遅延時間と前記音声信号とを出力する。そして、前記シアター拡張装置は前記映像音声視聴装置が出力する前記音声信号と前記遅延時間とを入力し、前記遅延時間だけ前記音声信号を遅延させて音声再生する。

本発明による映像音声同期システムでは、複数の機器から構成されるＡＶシステムにおいて、再生するソースや音声出力するスピーカを切り換えても、ユーザが遅延時間の設定操作を行うことなく正確なリップシンクを実現することができる。

また、（買い換えやスイッチャーによる切替を含め）ＴＶの機種を置き換えたり、映像や音声のフォーマット毎に遅延時間が異なる場合、無線で映像や音声を伝送した際に生じる遅延時間が変化した場合においても、ユーザが遅延時間の設定操作を行うことなく正確なリップシンクを実現することができる。

以下、本発明を実施するための最良の形態として、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における映像音声同期システムの構成図である１００は映像音声同期システムの全体である。映像音声同期システム１００は、映像音声視聴装置１２０と、シアター拡張装置１４０と、受信アンテナ１１０と、入力手段１３０とを具備している。

映像音声視聴装置１２０は、放送再生手段１２１と映像選択手段１２２と映像表示手段１２３と第１の音声選択手段１２４ａと第１の音声遅延主だ１２５ａと第１の音声出力手段１２６ａと制御手段１２９と遅延時間管理手段１２７と第１の命令通信手段１２８ａとから構成される。

ここで、映像音声視聴装置１２０の各構成要素のうち説明していないものについて詳細に説明する。

制御手段１２９は、入力手段１３０からのユーザ操作に応じた動作を映像音声視聴装置１２０が実行するように、映像音声視聴装置１２０の各構成要素を制御する。制御手段１２９は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む制御用組込コンピュータでよい。

遅延時間管理手段１２７は、映像音声同期システム１００の動作モードに応じた遅延時間を映像音声視聴装置１２０とシアター拡張装置１４０とに設定することで映像音声同期システム１００全体として正確なリップシンクを実現する。すなわち遅延時間管理手段１２７は、映像音声視聴装置１２０の音声遅延手段１２５ａの遅延時間を調整すると共に、命令通信手段１２８ａを通じてシアター拡張装置１４０の遅延時間を制御する。

なお、図１のブロック図では、遅延時間管理手段１２７は制御手段１２９と別々の構成要素として表現したが、両方の手段ともコンピュータソフトウェアとして実現するのであれば、１つのＣＰＵの上で動作するソフトウェアとして構成しても良い。

第１の命令通信手段１２８ａは、映像音声視聴装置１２０から、シアター拡張装置１４０に対して、命令を送る。命令は、映像信号と音声信号の信号経路の変更要求か、音声信号の遅延時間の設定要求かである。

次に、動作モード毎の信号の流れについて図を用いて説明する。

図２は、本発明の実施の形態１における映像音声視聴装置で音声出力するモード時の映像音声の信号経路図である。

２１０は、ソースが放送、音声出力先が映像音声視聴装置の第１の音声出力手段である動作モード時の信号経路の説明図である。放送の映像信号が選択され、映像提示手段に表示される。また、放送の音声信号が選択され、映像音声視聴装置の第１の音声遅延手段で遅延されて第１の音声出力手段から出力される。

また、２２０は、ソースがシアター拡張装置の再生手段、音声出力先が映像音声視聴装置の第１の音声出力手段である動作モード時の信号経路の説明図である。再生手段の映像が選択され、映像提示手段に表示される。また、再生手段の音声手段が選択され、映像音声視聴装置の第１の音声遅延手段で遅延されて第１の音声出力手段から出力される。

図３は、本発明の実施の形態１におけるシアター拡張装置で音声出力するモード時の映像音声の信号経路図である。

３１０は、ソースが放送、音声出力先がシアター拡張装置の第２の音声出力手段である動作モード時の信号経路の説明図である。この動作モードでは音声は第２の音声遅延手段で遅延されて出力される。

３２０は、ソースがシアター拡張装置の再生手段、音声出力先がシアター拡張装置の第２の音声出力手段である動作モード時の信号経路の説明図である。この動作モードでは音声は第２の音声遅延手段で遅延されて出力される。

次に、遅延時間管理手段１２７により制御される映像音声視聴装置１２０の動作についてフローチャートを用いて説明する。図４は、本発明の実施の形態１における映像音声視聴装置１２０での遅延時間制御のフローチャート図である。

（ステップＳ４０１）ユーザによる入力手段１３０に対する操作を受け付ける。ユーザは、視聴するソースの切替、音声の出力先の切替などを映像音声同期システム１２０に指示する操作を行う。ユーザによる具体的な操作は、入力装置に、ソース切替や音声出力先を切り換えるボタンを具備しそれを押下してもよいし、何らかのＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）に対してポインティングデバイスや十字ボタンなどで指示しても良い。

制御手段１２９は入力手段１３０からのユーザ操作を認識し、映像音声再生装置が次に遷移すべき動作モードを認識する。

（ステップＳ４０２）状態表を参照し、ステップＳ４０１で認識した遷移すべき動作モードの行を取り出す。

ここで状態表について図を用いて説明する。

図５は状態表の例である。表５１０は、映像音声視聴装置１２０とシアター拡張装置１４０とが各動作モード毎に採るべき映像信号と音声信号との信号経路の設定を表している。また、表５２０は、映像音声視聴装置１２０とシアター拡張装置１４０とがリップシンクを保証するために各動作モード毎に採るべき音声信号の遅延量の設定を表している。

（ステップＳ４０３）ＴＶの信号経路を切替表５１０のステップＳ４０２で得られた行で、列５１７の設定値を、映像音声視聴装置１２０の構成要素に反映させる。すなわち列５１７を構成する、映像ＳＷ、消音、音声ＳＷの３項目を、それぞれ、映像選択手段１２２、音声出力手段１２６ａ、映像選択手段１２４ａに設定する。

（ステップＳ４０４）表５１０のステップＳ４０２で得られた行で、列５１８の設定値を、シアター拡張装置１４０の構成要素に反映させ要求を、命令通信手段１２８ａを通してシアター拡張装置１４０に送信する。

なお、「消音」「音声ＳＷ」の列の値を直接命令として送信しても良いし、動作モードを識別する情報を送信しても良い。後者の場合は、動作モードから「消音」「音声ＳＷ」の対応表はシアター拡張システム１４０側が保持し変換すればよい。

（ステップＳ４０５）遅延時間管理手段１２７が、表５２０のステップＳ４０２で得られた行で、列５２１の値を、映像音声視聴装置１２０の音声遅延手段１２５ａの遅延時間に設定する。表５２０の値が、「Ｄ．Ｃ．」（Ｄｏｎ’ｔ Ｃａｒｅ）であれば遅延時間の設定を変更しても、しなくても良い。

表５３０は、表５２０でＤ．Ｃ．（Ｄｏｎ’ｔ Ｃａｒｅ）の項目に具体値を代入した別の遅延時間の状態表の別の例である。表５３０の場合には４つの動作モードのどれに切り替わっても、遅延時間の設定値を変更する必要が無いため、動作モードの変更に伴って遅延時間を変更する必要はない。

この遅延時間は、映像音声視聴装置１２０において、映像提示手段１２３の処理時間と音声出力手段１２６ａの処理時間との差分値であり、映像音声閲覧装置１２０固有の値である。

より厳密には、映像や音声の圧縮フォーマットや設定などが変わった場合にもリップシンクを確保するために設定すべき値が異なる場合がある。例えば非圧縮の音声フォーマットよりも圧縮された音声フォーマットの方がより長い時間が処理に必要になる。あるいは、映像の高画質回路において、より時間的に前の映像を参照する方式であれば、映像信号の処理により長い時間が必要となる。

（ステップＳ４０６）音声出力先がシアター拡張装置側である場合にはステップＳ４０７へ進み、それ以外の場合にはステップＳ４０１へ戻る。

（ステップＳ４０７）遅延時間管理手段１２７が、表５２０のステップＳ４０２で得られた行で列５２２の値に音声信号の遅延時間を設定する命令を、命令通信手段１２８ａを通してシアター拡張装置１４０に送信する。そしてステップＳ４０１へ戻る。

図４のフローチャートでは、動作モードを変更するたびに遅延時間の設定を行う説明を行った。しかし、状態表が表５３０のように、複数動作モード間で音声信号の遅延時間が同じ場合には、動作モード変更の都度遅延時間の変更を行う処理を省略できる。

例えば、映像音声視聴装置１２０と、シアター拡張装置１４０を始めて接続した時にのみ遅延時間を命令として伝えても良い。あるいは、いずれかの機器の電源がオン状態に遷移した際にのみ遅延時間を命令として伝えても良い。あるいは、扱う映像フォーマットや音声フォーマットの変更によって、映像音声視聴装置１２０固有の遅延時間の値自体が変化するタイミングで、遅延時間を命令として伝えても良い。

次に、シアター拡張装置１４０について詳細に説明する。

シアター拡張装置１４０は、再生手段１４１と、第２の音声選択手段１２４ｂと、第２の音声遅延手段１２５ｂと、第２の制御手段１１２１と第２の命令通信手段１２８ｂと制御手段１４６とから構成される。

ここで、シアター拡張装置１４０の各構成要素のうち説明していないものについて詳細に説明する。

制御手段１４６は、第２の命令通信手段１２８ｂ経由で映像音声視聴装置１２０からの命令を受け取る。そして、シアター拡張装置１４０の各構成要素を制御する。制御手段１４６は、ＣＰＵを含む制御用組込コンピュータでよい。

次に、制御手段１４６により制御されるシアター拡張装置１４０の動作についてフローチャートを用いて説明する。

図６は、本発明の実施の形態１におけるシアター拡張装置での遅延時間制御のフローチャート図である。

（ステップＳ６０１）命令通信手段１２８ｂが、映像音声視聴装置１２０からの命令を受信する。そして、制御手段１４６が命令の種類が何であるか認識する。

（ステップＳ６０２）ステップＳ６０１で受信した命令が信号経路の切替命令ならＳ６０３へ、それ以外ならＳ６０４へ進む。

（ステップＳ６０３）ステップＳ６０１で受信した信号経路の変更命令に従って、シアターの信号経路を変更し、ステップＳ６０１へ戻る。具体的には、第２の音声選択手段１２４ｂの設定変更と、第２の音声出力手段１２６ｂの消音状態とを変更する。

（ステップＳ６０４）ステップＳ６０１で受信した命令が遅延時間の変更命令であればＳ６０５へ進み、それ以外ならＳ６０１へ戻る。

（ステップＳ６０５）ステップＳ６０１で受信した音声遅延の設定値を音声遅延手段１２５ｂに設定する。そして、Ｓ６０１へ戻る
なお、上記ではシアター拡張装置１４０は再生手段１４１を具備するとして説明したが、再生手段１４１をシアター拡張装置の外付けにして同様に実施可能である。あるいは、シアター拡張装置１４０に複数の映像信号と音声信号とを入力し選択できるＡＶセレクタの機能を追加することで、複数の再生手段をシアター拡張装置に接続した際でも、いずれの再生手段を視聴する際にもリップシンクを保証することが同様に実施可能である。

また、映像音声視聴装置１２０の再生するソースとして、上記では電波による放送番組を一例にして説明したが、通信による映像音声のストリーム配信や、ＤＶＤやビデオテープ（登録商標）などのパッケージメディアの再生や、メモリカード内の映像音声クリップの再生であっても同様に実施可能である。あるいは、動画録画ムービーなどの機器を映像音声視聴装置１２０の外付け機器として有線または無線で接続することで外部から映像音声を入力するような構成にしても同様に実施可能である。

（実施の形態２）
実施の形態２は、音声信号を遅延させた後に映像音声視聴装置とシアター拡張装置との間で送る構成での映像音声同期システムについて開示する。

図７は、本発明の実施の形態２における映像音声同期システム７００の構成図である。映像音声同期システム７００は、映像音声視聴装置７１０とシアター拡張装置７２０とを具備している。映像音声視聴装置７１０とシアター拡張装置７２０の構成要素（手段）は実施の形態２で説明した各構成要素と同様のものでよいが、構成要素間の接続が異なる。すなわち、実施の形態１の構成図（図１）との主な差違は、映像音声視聴装置とシアター拡張装置の両方にある音声遅延手段が、音声出力手段の直前ではなく、この装置間で音声を送る直前の信号経路に位置していることである。

ここで、映像音声同期システム７００の
図８は、本発明の実施の形態２における映像音声視聴装置で音声出力するモード時
の映像音声の信号経路図である。

８１０はソースが放送、音声出力先が映像音声視聴装置の第１の音声出力手段である動作モード時の信号経路の説明図である。放送再生手段１２１の音声は、映像音声視聴装置７１０の第１の音声遅延手段１２５ａで遅延されて第１の音声出力手段１２６ａに出力される。

８２０はソースがシアター拡張装置の再生手段、音声出力先が映像音声視聴装置の第１の音声出力手段である動作モード時の信号経路の説明図である。再生手段１４１の音声は、シアター拡張装置７２０の第２の音声遅延手段１２５ｂと映像音声視聴装置７１０の第１の音声遅延手段１２５ａとで遅延された後第１の音声出力手段１２６ａに出力される。

図９は、本発明の実施の形態３におけるシアター拡張装置で音声出力するモード時の
９１０は、ソースが放送、音声出力先がシアター拡張装置の第２の音声出力手段である動作モード時の信号経路の説明図である。放送再生手段１２１の音声は、映像音声視聴装置７１０の第１の音声遅延手段１２５ａで遅延されてシアター拡張装置７２０の第２の音声出力手段１２６ｂに出力される。

９２０は、ソースがシアター拡張装置の再生手段、音声出力先がシアター拡張装置の第２の音声出力手段である動作モード時の信号経路の説明図である。再生手段１４１の音声は、シアター拡張装置７２０の第２の音声遅延手段１２５ｂで遅延された後第１の音声出力手段１２６ａに出力される。

次に、映像音声同期システム７００の動作について図を用いて説明する。映像音声視聴装置７１０の遅延時間管理手段７１２は、実施の形態１で説明した図４のフローチャートと同様でよい。ただし参照する状態表のうち遅延時間の設定値としては図１の表を用いる。

また、シアター拡張装置７２０の遅延時間管理手段７２２は実施の形態１で説明した図６のフローチャートと同様でよい。ただし参照する状態表のうち遅延時間の設定値としては図１０の表を用いる。

ここで実施の形態２で用いる状態表について説明する。

図１０は、本発明の実施の形態２における各動作モード毎の遅延時間の設定値である。表１０１０はＤ．Ｃ．を値として含む基本の状態表である。また、表１０２０と表１０３０は、Ｄ．Ｃ．の項目に適当な値を代入した別の状態表の例である。表中Ｔ１とＴ２は、Ｔ１＋Ｔ２＝Ｔとなる遅延値である。表１０１０の行１０１１は、ソースがシアター拡張装置の再生手段、音声出力先が映像音声視聴装置の音声出力手段であり、信号経路としては図８の８２０の場合である。この信号経路の場合、音声信号はシアター拡張装置の第１の音声遅延手段１２５ｂと、映像音声拡張装置の第２の音声遅延手段１２５ａの両方を経由して出力される。このため、第１の音声遅延手段１２５ａの遅延時間をＴ１、第２の音声遅延手段１２５ｂの遅延時間をＴ２としたとき、Ｔ１＋Ｔ２＝Ｔとなるように設定することで、正しいリップシンクを実現できる。

表１０２０では、列１０２１でいずれの動作モードでも映像音声視聴装置７１０での遅延時間は固定値のＴで良い状態表である。このため、第１の音声遅延手段１２５ａの設定を第１の遅延時間管理手段７１２が動作モード変更の度に必ずしも行う必要がない。

表１０３０では、列１０３１でいずれの動作モードでもシアター拡張装置７２０での遅延時間は固定値のＴで良い状態表である。このため、第２の音声遅延手段１２５ｂの設定を第２の遅延時間管理手段７２２が動作モード変更の度に必ずしも行う必要がない。このため、動作モード変更の度に遅延時間を変更する命令を、映像音声視聴装置７１０からシアター拡張装置７２０に送る必要がないため省略できる。

本発明にかかる映像音声同期方法及び映像音声同期システムは、映像、音声、グラフィックス、字幕など、提示に時間軸を持つメディア一般に対し、複数のメディア間での提示時刻を複数の機器の間で同期させる方法一般に対して利用可能である。

また、ユーザが視聴するソースも、放送だけでなく、パッケージメディア、通信により提供されるコンテンツなどであっても利用可能である。

更に、機器同士の通信方法は、有線による直接結線、無線通信、あるいはインターネット通信のいずれでも利用可能である。

本発明の実施の形態１における映像音声同期システムの構成図 本発明の実施の形態１における映像音声視聴装置で音声出力するモード時の映像音声の信号経路図 本発明の実施の形態１におけるシアター拡張装置で音声出力するモード時の映像音声の信号経路図 本発明の実施の形態１における映像音声視聴装置での遅延時間制御のフローチャート 本発明の実施の形態１における各動作モード毎の設定値の図 本発明の実施の形態１におけるシアター拡張装置での遅延時間制御のフローチャート 本発明の実施の形態２における映像音声同期システムの構成図 本発明の実施の形態２における映像音声視聴装置で音声出力するモード時の映像音声の信号経路図 本発明の実施の形態３におけるシアター拡張装置で音声出力するモード時の映像音声の信号経路図 本発明の実施の形態２における各動作モード毎の設定値の図 本発明を使用しない従来の映像音声同期システムの構成図 本発明を使用しない従来の映像音声同期システムにおける各動作モード毎の設定値の図

符号の説明

１００ 映像音声同期システム
１１０ 受信アンテナ
１２０ 映像音声視聴装置
１２１ 放送再生手段
１２２ 映像切替手段
１２３ 映像表示手段
１２４ａ、１２４ｂ 音声切替手段
１２５ａ、１２５ｂ 音声遅延手段
１２６ａ、１２６ｂ 音声出力手段
１２７ 遅延時間管理手段
１２８ａ、１２８ｂ 命令通信手段
１２９、１４６ 制御手段
１３０ 入力手段
１４０ シアター拡張装置
１４１ 再生手段

Claims (8)

1. 映像音声視聴装置とシアター拡張装置とを具備する映像音声同期システムにおいて、前記映像音声視聴装置が映像信号と音声信号とを再生すると共に前記映像信号を映像再生し、前記映像音声視聴装置が前記映像音声視聴装置の映像再生に要する遅延時間と前記音声信号とを出力し、前記シアター拡張装置が前記映像音声視聴装置が出力する前記音声信号と前記遅延時間とを入力し、前記遅延時間だけ前記音声信号を遅延させて音声再生することを特徴とする映像音声同期方法。
2. 映像音声視聴装置とシアター拡張装置とを具備する映像音声同期システムにおいて、前記シアター拡張装置が映像信号と音声信号とを再生すると共に前記映像信号を出力し、前記映像音声視聴装置が前記シアター拡張装置の出力する前記映像信号を映像再生し、前記映像音声視聴装置が前記映像音声視聴装置の映像再生に要する遅延時間を出力し、前記シアター拡張装置が前記遅延時間だけ前記音声信号を遅延させて音声再生することを特徴とする映像音声同期方法。
3. 映像音声視聴装置とシアター拡張装置とを具備する映像音声同期システムにおいて、前記シアター拡張装置が映像信号と音声信号とを再生すると共に前記映像信号を出力し、前記シアター拡張装置が前記音声信号を時間Ｔ２だけ遅延させた音声信号を出力し、前記映像音声視聴装置が前記シアター拡張装置の出力する前記映像信号を映像再生すると共に前記シアター拡張装置が出力するＴ２だけ遅延した前記音声信号を入力し更に時間Ｔ１だけ遅延を加算させて音声再生し、Ｔ１とＴ２の和が前記映像音声視聴装置の映像再生に要する遅延時間であることを特徴とする映像音声同期方法。
4. 映像音声視聴装置とシアター拡張装置とを具備する映像音声同期システムにおいて、前記シアター拡張装置が映像信号と音声信号とを再生すると共に前記映像信号を出力し、前記映像音声視聴装置が前記シアター拡張装置の出力する前記映像信号を映像再生し、前記映像音声視聴装置の映像再生に要する遅延時間を前記映像音声視聴装置が出力し、前記シアター拡張装置が前記映像音声視聴装置が出力した遅延時間を入力すると共に前記遅延時間だけ遅延させて音声再生することを特徴とする映像音声同期方法。
5. 映像音声視聴装置とシアター拡張装置とを具備する映像音声同期システムにおいて、前記映像音声視聴装置が第１の再生手段と映像選択手段と映像表示手段と第１の音声選択手段と第１の音声遅延手段と第１の音声出力手段と遅延時間管理手段とを具備し、前記シアター拡張装置が第２の再生手段と第２の音声選択手段と第２の音声遅延手段第２の音声出力手段と制御手段とを具備し、
   前記映像音声視聴装置において前記第１の再生手段が映像信号と音声信号とを読み出し、前記第１の映像選択手段が前記第１の再生手段の出力する映像信号と前記第２の再生手段の出力する映像信号とから前記第１の再生手段の出力する映像信号を選択し、前記映像表示手段が前記第１の映像選択手段が選択した映像信号を入力して映像再生し、前記第１の音声選択手段が前記第１の再生手段の出力する音声信号と前記シアター拡張装置の出力する音声信号とから前記第１の再生手段の出力する音声信号を選択出力し、遅延時間管理手段が前記映像音声視聴装置の映像再生に要する遅延時間を出力し、
   前記制御手段が前記映像音声視聴装置の出力する遅延時間を入力し前記第２の音声遅延手段の遅延時間として設定し、前記第２の音声選択手段が前記映像音声視聴装置が出力する音声信号と第２の再生手段の出力する音声信号とから前記映像音声視聴装置が出力する音声信号を選択出力し、前記第２の音声遅延手段が前記第２の音声選択手段が選択した音声信号を入力して遅延させ、前記第２の音声出力手段が前記第２の音声遅延手段で遅延した音声信号を入力して音声再生することを特徴とする映像音声同期システム。
6. 映像音声視聴装置とシアター拡張装置とを具備する映像音声同期システムにおいて、前記映像音声視聴装置が第１の再生手段と映像選択手段と映像表示手段と第１の音声選択手段と第１の音声遅延手段と第１の音声出力手段と遅延時間管理手段とを具備し、前記シアター拡張装置が第２の再生手段と第２の音声選択手段と第２の音声遅延手段第２の音声出力手段と制御手段とを具備し、
   前記シアター拡張装置において前記第２の再生手段が映像信号と音声信号とを読み出し、前記映像音声視聴装置において前記第１の映像選択手段が前記第１の再生手段の出力する映像信号と前記第２の再生手段の出力する映像信号とから前記第２の再生手段の出力する映像信号を選択し、前記映像表示手段が前記第１の映像選択手段が選択した映像信号を入力して映像再生し、前記シアター拡張装置において前記第２の音声選択手段が前記映像音声視聴装置の出力する音声信号と前記第２の再生手段の出力する音声信号とから前記第２の再生手段の出力する音声信号を選択出力し、前記遅延時間管理手段が前記映像音声視聴装置の映像再生に要する遅延時間を出力し、
   前記制御手段が前記映像音声視聴装置の出力する遅延時間を入力し前記第２の音声遅延手段の遅延時間として設定し、前記第２の音声選択手段が前記映像音声視聴装置が出力する音声信号と第２の再生手段の出力する音声信号とから前記映像音声視聴装置が出力する音声信号を選択出力し、前記第２の音声遅延手段が前記第２の音声選択手段が選択した音声信号を入力して遅延させ、前記第２の音声出力手段が前記第２の音声遅延手段で遅延した音声信号を入力して音声再生することを特徴とする映像音声同期システム。
7. 映像音声視聴装置とシアター拡張装置とを具備する映像音声同期システムにおいて、前記映像音声視聴装置が第１の再生手段と映像選択手段と映像表示手段と第１の音声選択手段と第１の音声遅延手段と第１の音声出力手段と遅延時間管理手段とを具備し、前記シアター拡張装置が第２の再生手段と第２の音声選択手段と第２の音声遅延手段第２の音声出力手段と制御手段とを具備し、
   前記シアター拡張装置において前記第２の再生手段が映像信号と音声信号とを読み出すと共に前記映像信号を出力し、前記第２の音声遅延手段が前記音声信号を時間Ｔ２だけ遅延して出力し、前記映像音声視聴装置において前記第１の映像選択手段が前記第１の再生手段の出力する映像信号と前記第２の再生手段の出力する映像信号とから前記第２の再生手段の出力する映像信号を選択し、前記映像表示手段が前記第１の映像選択手段が選択した映像信号を入力して映像再生し、前記第１の音声選択手段が前記シアター拡張装置の出力する音声信号と前記第１の再生手段の出力する音声信号とから前記シアター拡張装置の出力する音声信号を選択出力し、前記遅延時間管理手段が前記映像音声視聴装置の映像再生に要する遅延時間ＴからＴ２を減算した差の遅延時間Ｔ１を出力し、前記第１の音声遅延手段が前記第１の音声選択手段の出力する音声信号を前記遅延時間管理手段の出力するＴ１だけ遅延させ、前記第１の音声出力手段が前記第１の音声遅延手段で遅延した音声信号を入力して音声再生することを特徴とする映像音声同期システム。
8. 映像音声視聴装置とシアター拡張装置とを具備する映像音声同期システムにおいて、前記映像音声視聴装置が第１の再生手段と映像選択手段と映像表示手段と第１の音声選択手段と第１の音声遅延手段と第１の音声出力手段と遅延時間管理手段とを具備し、前記シアター拡張装置が第２の再生手段と第２の音声選択手段と第２の音声遅延手段第２の音声出力手段と制御手段とを具備し、
   前記シアター拡張装置において前記第２の再生手段が映像信号と音声信号とを読み出すと共に前記映像信号を出力し、前記映像音声視聴装置において前記第１の映像選択手段が前記第１の再生手段の出力する映像信号と前記第２の再生手段の出力する映像信号とから前記第２の再生手段の出力する映像信号を選択し、前記映像表示手段が前記第１の映像選択手段が選択した映像信号を入力して映像再生し、前記遅延時間管理手段が前記映像音声視聴装置の映像再生に要する遅延時間を出力し、前記シアター拡張装置において前記第２の音声選択手段が前記映像音声視聴装置の出力する音声信号と前記第２の再生手段の出力する音声信号とから前記第２の再生手段の出力する音声信号を選択出力し、前記第２の音声遅延手段が前記第２の音声選択手段の出力する音声信号を入力し前記映像音声出力手段の出力する遅延時間だけ遅延して出力し、前記第２の音声出力手段が前記第２の音声遅延手段で遅延した音声信号を入力して音声再生することを特徴とする映像音声同期システム。

Images