JP2010004520A - Ａｖシステム - Google Patents

Abstract

【課題】映像の表示タイミングと音声の放音タイミングのずれをなくすように補正することができるＡＶシステムを提供する。
【解決手段】テレビ装置１１が受信したり外部機器から入力されたりしたコンテンツの映像をテレビ装置１１のモニタ３１に表示させ、このコンテンツの音声をスピーカアレイ装置１３に接続されているスピーカアレイ６５から放音させる。スピーカアレイ装置１３は、入力された音声信号をスピーカアレイ６５から放音させるまでの音声信号の処理時間情報をテレビ装置１１と送受信する。また、テレビ装置１１の制御部４５は、音声信号の処理時間情報と映像信号の処理時間情報に基づいて、モニタ３１に表示させる映像とスピーカアレイ６５から放音させる音声が同期（リップシンク）するように、スピーカアレイ装置１３に出力する音声信号の遅延時間を音声遅延部３３に設定する。
【選択図】図４

Description

本発明は、複数のＡＶ装置でコンテンツを再生するＡＶシステムに関する。

従来のテレビ装置では、音声信号よりも映像信号の方が、データ量が多く信号処理も複雑であった。そのため、音声や映像を処理の直後にそのまま出力すると、音声の方が先に出力されてしまい、音声と映像がずれてしまう。そこで、従来のテレビ装置では、唇の動き（モニタに表示させる映像）と声（内蔵スピーカや内蔵の音声出力端子から放音させる音声）が同期するように、すなわちリップシンクするように、音声の放音タイミングを遅延させていた。

また、従来のＡＶシステムには、ＤＶＤプレーヤがコンテンツを再生すると、テレビ受像機が映像信号を処理して内蔵モニタに表示させ、ＡＶアンプが音声信号を処理して外部スピーカから放音させる構成のものがあった（特許文献１参照）。このＡＶシステムでは、音声信号よりも映像信号の方が、データ量が多く処理も複雑であるという前提で設計されている。そして、このＡＶシステムでは、リップシンクのずれの発生を防止するために、ＡＶアンプがテレビ受像機から映像信号の処理時間情報を取得し、この処理時間情報に応じて音声信号の遅延処理を行っていた。

特開２００６−３３４３６

しかしながら、従来のＡＶシステムでは、音声の放音タイミングの方が、映像の表示タイミングよりも遅くなる場合があった。例えば、従来のテレビ装置にＡＶアンプを接続して、このテレビ装置が受信した放送番組の映像をモニタに表示させ、放送番組の音声をＡＶアンプに接続したスピーカから放音させる場合である。この場合、テレビ装置は、モニタに表示させる映像とリップシンクするように音声信号を内蔵の音声出力端子から出力するので、ＡＶアンプで音響効果の付加等の信号処理を行うと、この信号処理の分だけ音声の放音タイミングが遅くなってしまい、リップシンクのずれが発生してしまうという問題があった。

また、近時、テレビ装置では、ゲーム機のボタンを押すタイミングと映像のずれを改善するゲームモードが設けられている。ゲームモードは、映像処理を極力簡易化することで、映像の表示タイミングを速くするものである。このゲームモードを選択したときに、ＡＶアンプで音声に音響効果を付与するように設定していると、コンテンツの映像よりも音声の再生が遅れてしまい、リップシンクのずれが発生してしまうという問題があった。

また、ＤＶＤ装置のようなソース機器から、サブウーファと、スピーカが接続されたＡＶアンプと、にコンテンツをブロードキャストで送信した場合、ＡＶアンプとサブウーファでは音声の再生処理時間が異なり、音声の再生タイミングが異なるという問題があった。特にＡＶアンプにおいて、コンサートホールなどの音響を再現する音響効果（反響音）を音声に付加した場合には、音声の再生処理時間の差がより大きくなる。そのため、サブウーファが放音する音声（低音）の方が、ＡＶアンプに接続されたスピーカが放音する音声よりも先に聴取位置に伝播していた。

以上のように、従来のＡＶシステムでは、コンテンツを再生するＡＶ装置間で再生タイミングのずれが生じるという問題があった。

そこで、本発明は、コンテンツを再生するＡＶ装置間の再生タイミングのずれをなくすように補正することができるＡＶシステムを提供することを目的とする。

この発明は、上記の課題を解決するための手段として、以下の構成を備えている。

（１）この発明のＡＶシステムは、ＡＶ装置にコンテンツをブロードキャストするソース機器を備えている。また、ＡＶ装置は、それぞれ前記ソース機器がブロードキャストしたコンテンツを受信して再生処理を行う。また、通信手段は、コンテンツの再生処理に関する情報である再生処理時間情報を他のＡＶ装置と通信し、遅延手段は、再生処理時間情報に基づいて、最も遅い再生タイミングのＡＶ装置に合わせてコンテンツの再生を遅延させる。

この構成においては、ソース機器から複数のＡＶ装置にコンテンツをブロードキャストで送信する場合には、ＡＶ装置間でコンテンツの再生処理に関する情報を通信する。そして、各ＡＶ装置は、最も遅い再生タイミングのＡＶ装置に合わせてコンテンツの再生を遅延させる。したがって、同じコンテンツを複数のＡＶ装置で再生する場合などに、ＡＶ装置間でずれが発生することなくコンテンツを再生できる。

（２）この発明のＡＶシステムでは、通信手段は、再生処理時間情報に基づいて、再生処理に必要な時間が短いＡＶ装置にコンテンツの再生を遅延させる情報を送信する。再生処理に必要な時間が短いＡＶ装置は、他のＡＶ装置からコンテンツの再生を遅延させる情報を受信して、コンテンツの再生を遅延させる構成のみを備えていれば良く、他のＡＶ装置とコンテンツの再生タイミングを調整しなくても良いので、構成を簡略化できる。

（３）この発明のＡＶシステムでは、ＡＶ装置は、複数のスピーカからなるスピーカアレイと、前記スピーカアレイの複数のスピーカに音声信号を分配して音声チャンネル毎に放音タイミングを調整して、音声ビーム化した複数の音声を、それぞれ視聴位置に同時に到達させるビーム制御手段と、を備えている。また、音声処理に必要な時間は、音声を視聴位置に到達させる時間を含んでいる。

スピーカアレイ装置では、音声ビームを複数回壁に反射させて視聴位置に伝播させるので、音声ビームを放音してから視聴位置に伝播するまでの伝播時間が、他の一般的なスピーカよりも長い。この構成では、音声再生装置としてスピーカアレイ装置を使用する場合には、音声ビームの伝播時間も考慮して、映像の再生を遅延させるので、映像再生装置が再生する映像と、音声再生装置が再生する音声と、を確実に同期させることができ、リップシンクのずれの発生を防止できる。

（４）この発明のＡＶシステムでは、遅延手段は、コンテンツを、前記ソース機器から直接受信したか、または他のＡＶ装置を経由して受信したかに応じて、前記コンテンツの再生する際の遅延量を変更する。

ＡＶ装置が、複数の経路のいずれかでコンテンツを受信する場合、経路によって受信タイミングが異なることが考えられる。この構成においては、コンテンツの受信経路に応じてコンテンツ再生を遅延させるので、どのような経路でコンテンツを受信しても、映像再生装置が再生する映像と、音声再生装置が再生する音声と、を確実に同期させることができる。

（５）この発明のＡＶシステムは、コンテンツの映像を再生し、映像の再生タイミングに合わせてコンテンツの音声信号を前記遅延手段で遅延させて送信する映像再生装置と、映像再生装置からコンテンツの音声信号を受信して音声を再生する音声再生装置と、から成る。映像再生装置は、映像の処理に必要な時間が音声の処理に必要な時間よりも長い等の理由で、映像の再生タイミングに合わせてコンテンツの音声信号を遅延させて出力する。音声再生装置は、映像再生装置が出力した音声信号を処理するので、その処理に必要な音声処理時間だけ、音声の再生が遅くなる。そこで、音声再生装置は第２通信手段で、コンテンツの音声信号の処理に必要な音声処理時間の情報を映像再生装置に送信する。映像再生装置は、音声再生装置から受信した音声再生処理に関する情報に基づいて音声信号の遅延時間を減少させる。このような処理を行うことで、映像再生装置が再生する映像と、音声再生装置が再生する音声と、を同期して再生することができ、リップシンクを実現できる。

（６）この発明のＡＶシステムでは、音声再生処理に必要な時間が、映像再生処理に必要な時間よりも長い場合には、映像の再生タイミングを音声処理時間の総和と前記映像処理時間との差分だけ遅延させる。

音声信号に音響効果を付加する場合や、ゲームモードのように映像の再生処理が高速な場合には、音声再生装置が音声を再生するタイミングが、映像再生装置が映像を再生するタイミングよりも遅いことがある。この構成においては、前記のような場合には、映像再生装置の遅延手段が、映像の再生タイミングを音声処理時間の総和と前記映像処理時間との差分だけ映像の再生タイミングを遅延させるので、映像再生装置が再生する映像と、音声再生装置が再生する音声と、を同期して再生することができ、リップシンクを実現できる。

（７）この発明のＡＶシステムでは、音声再生装置が、複数のスピーカからなるスピーカアレイと、前記スピーカアレイの複数のスピーカに音声信号を分配して音声チャンネル毎に放音タイミングを調整して、音声ビーム化した複数の音声を、それぞれ視聴位置に同時に到達させるビーム制御手段と、を備えている。また、音声処理に必要な時間は、音声を視聴位置に到達させる時間を含んでいる。

スピーカアレイ装置では、音声ビームを複数回壁に反射させて視聴位置に伝播させるので、音声ビームを放音してから視聴位置に伝播するまでの伝播時間が、他の一般的なスピーカよりも長い。この構成では、音声再生装置としてスピーカアレイ装置を使用する場合には、音声ビームの伝播時間も考慮して、映像の再生を遅延させるので、映像再生装置が再生する映像と、音声再生装置が再生する音声と、を確実に同期させることができる。

（８）この発明のＡＶシステムでは、音声再生装置として使用するスピーカアレイ装置が、音声ビームを壁反射させる位置を変化させる複数のビームモードを備えている場合には、スピーカアレイ装置において選択されたビームモードに応じて前記音声処理に必要な時間を変更する。

スピーカアレイ装置が、設置場所に応じて前記音声ビームを壁反射させる位置を変化させる複数のビームモードを備えている場合には、そのビームモードによって、音声ビームを放音してから視聴位置に伝播するまでの伝播時間が異なる。この構成においては、ビームモードによって伝播時間が異なることを考慮して、映像処理時間を遅延させるので、どのビームモードが選択されても映像と音声を同期させることができる。

本発明のＡＶシステムでは、各ＡＶ装置はコンテンツの再生タイミングに関する情報を送受信し、他のＡＶ装置と通信した情報に基づいて、最も遅い再生タイミングのＡＶ装置に合わせて、コンテンツの再生を遅延させるので、コンテンツの再生を同期させることができる。したがって、リップシンクのずれや、サラウンド音声と低音の再生のずれが発生することなく、コンテンツを再生できる。

本発明の第１実施形態に係るＡＶシステムの概略構成を示すブロック図である。 スピーカアレイ装置が出力する音声ビームの状態、及び音声ビームの各チャンネルの処理及び伝播時間を示す図である。 本発明の第１実施形態に係るＡＶシステムにおける映像処理と音声処理のタイミングチャートである。 ＡＶシステムの処理動作を説明するためのフローチャートである。 本発明の第２実施形態に係るＡＶシステムの概略構成を示すブロック図である。 本発明の第３実施形態に係るＡＶシステムの概略構成を示すブロック図である。 ＡＶシステムにおける映像処理と音声処理のタイミングチャートである。 映像の解像度や音場処理のモード等に応じた映像信号や音声信号の処理時間を管理するためのテーブルである。 従来のＡＶシステムの概略構成と、処理時間の関係を示す図である。 本発明の第４実施形態に係るＡＶシステムの概略構成を示すブロック図である。 本発明の第４実施形態に係るＡＶシステムにおける処理時間の関係を示す図である。 本願発明のさらに別の構成を示す概念図である。 本願発明のさらに別の構成を示す概念図である。

［第１実施形態］
図１は、本発明の第１実施形態に係るＡＶシステムの概略構成を示すブロック図である。図２は、スピーカアレイ装置が出力する音声ビームの状態、及び音声ビームの各チャンネルの処理及び伝播時間を示す図である。

第１実施形態に係るＡＶシステム１は、ＡＶアンプとスピーカの機能を備えたスピーカアレイ装置１３と、テレビ装置１１と、の２台のＡＶ装置により構成された５ｃｈサラウンドシステムである。ＡＶシステム１では、テレビ装置１１が放送を受信し、その映像をモニタ３１が表示し、その音声をスピーカアレイ装置１３が放音する。

また、以下の説明では、５ｃｈサラウンドシステムにおいて、フロントの左チャンネルをＬ（Left）ｃｈ、フロントの右チャンネルをＲ（Right）ｃｈ、センタ（中央）チャンネルをＣ（Center）ｃｈ、リアの左チャンネルをＳＬ（Surround Left）ｃｈ、及びリアの右チャンネルをＳＲ（Surround Right）ｃｈと称する。

テレビ装置１１は、映像再生装置に相当し、受信部２１、デコーダ２３、信号入力部２５、映像処理部２７、映像遅延部２９、モニタ（表示部）３１、音声信号処理部３２、音声遅延部３３、Ｄ／Ａコンバータ３４、パワーアンプ３５、スピーカ３６、音声出力部３７、通信部３９、記憶部４１、操作部４３、及び制御部４５を備えている。

受信部２１は、アンテナ２０で受信した電波から、ユーザにより選局された周波数（物理チャンネル）の放送（コンテンツ）の信号を抽出して出力する。

デコーダ２３は、信号処理として、放送信号をデコードして映像信号及び音声信号を抽出する。そして、映像信号を映像処理部２７へ出力し、音声信号を音声処理部３２へ出力する。

信号入力部２５は、外部から映像信号や音声信号の入力を受け付けるインタフェースである。

映像処理部２７は、映像処理手段に相当し、輝度・コントラスト等の各種の映像信号処理（映像再生処理）を行って、生成したＲＧＢの映像信号を映像遅延部２９へ出力する。

映像遅延部２９は、制御部４５から指示された時間だけ、ＲＧＢの映像信号の出力を遅延させてモニタ３１へ出力する。

モニタ（表示部）３１は、表示手段に相当し、映像遅延部２９から供給されたＲＧＢの映像信号に基づく映像を表示する。

音声信号処理部３２は、第１音声処理手段に相当し、圧縮された音声信号の展開処理や、スピーカ３６から放音させる音声に音声効果を付加するなどの音声信号処理（音声再生処理）を行って、音声遅延部３３に出力する。

音声遅延部３３は、遅延手段に相当し、制御部４５から指示された時間だけ、音声信号の出力を遅延させてスピーカ３６及び音声出力部３７へ出力する。

Ｄ／Ａコンバータ３４は、音声遅延部３３が出力したデジタル音声信号をアナログ音声信号に変換して出力する。

パワーアンプ３５は、Ｄ／Ａコンバータ３４が出力したアナログ音声信号を増幅して出力する。

スピーカ３６は、パワーアンプ３５から供給された音声信号に基づく音声を放音する。

音声出力部３７は、音声遅延部３３から供給された音声信号を外部へ出力するためのインタフェースである。

通信部３９は、第１通信手段に相当し、スピーカアレイ装置１３と制御情報（コンテンツの再生タイミングに関する情報）を送受信する。

記憶部４１は、テレビ装置１１が映像処理や音声処理を行うのに必要な時間情報等を記憶している。

操作部４３は、ユーザの操作を受け付けるユーザインタフェースである。

制御部４５は、テレビ装置１１の各部を制御したり演算を行ったりする。

スピーカアレイ装置１３は、音声再生装置に相当し、信号入力部５１、映像信号処理部５３、信号出力部５４、遅延処理部５７、Ｄ／Ａコンバータ６１−１〜６１−Ｎ、パワーアンプ６３−１〜６３−Ｎ、スピーカユニット６５−１〜６５−Ｎから成るスピーカアレイ６５、Ａ／Ｄコンバータ６７、操作部６９、記憶部７１、通信部７３、及び制御部７５を備えている。

信号入力部５１は、外部から音声信号や映像信号の入力を受け付けるインタフェースである。入力された信号は映像音声処理部５３へ出力される。

映像音声処理部５３は、第２音声処理手段に相当し、信号入力部５１から入力された音声信号をデコード・エンコードしたり、ユーザが選択した音響効果を付加したりする処理を行って遅延処理部５７に出力する。また、映像音声処理部５３は、信号入力部５１から入力された映像信号をデコード・エンコードして信号出力部５４へ出力する。

信号出力部５４は、外部接続機器へ映像信号を出力するインタフェースである。

遅延処理部５７は、モニタ３１に表示させる映像とスピーカアレイ６５から出力させる音声がリップシンクするように、制御部７５から指示された時間分、音声信号の出力を遅延させる。

スピーカアレイ６５から出力された複数の音声ビームがユーザの視聴位置Ｌに到達するまでの経路長は、音声チャンネル毎に異なる。例えば、図２（Ａ）に示すように、センタチャンネル（Ｃｃｈ）の音声ビームは、視聴位置Ｌに直接到達（伝播）するので経路長は最も短い。フロントチャンネル（Ｌｃｈ、Ｒｃｈ）の音声ビームは、部屋の壁に１回反射（壁反射）してから視聴位置Ｌに到達する。リアチャンネル（ＳＬｃｈ、ＳＲｃｈ）の音声ビームは、部屋の壁に２回反射（壁反射）してから視聴位置Ｌに到達するので、経路長が最も長い。そこで、遅延処理部５７では、チャンネル毎に遅延時間を設定して、スピーカアレイ６５から出力する複数の音声ビームが同時に視聴位置へ伝播（到達）するように出力タイミングを調整している。また、遅延処理部５７は、ビーム制御手段に相当し、スピーカアレイ６５から複数の音声ビームが出力されるように、チャンネル毎・スピーカユニット毎に音声を分配し、各スピーカユニットの放音タイミングを調整して、音声ビーム化した複数の音声を出力する。すなわち、図２（Ｂ）に示すように、スピーカアレイ装置１３では、音声ビームの伝播距離が、Ｃｃｈ（直接音）、フロントチャンネル（フロント反射音）、リアチャンネル（リア反射音）の順に長くなるので、この順に遅延処理時間を短くして、視聴位置へ各チャンネルの音声ビームが同時に到達させている。

また、スピーカアレイ装置１３では、スピーカアレイ６５の配置やユーザの選択に応じて、複数のビームモードから好みのビームモードを選択することができる。例えば、図２（Ｃ）に示すように、部屋のコーナにスピーカアレイ６５を設置した場合には、スピーカアレイ装置１３は、センタチャンネル（Ｃｃｈ）の音声ビームとフロントチャンネル（Ｌｃｈ、Ｒｃｈ）の音声ビームを、直接音として視聴位置Ｌに到達するように放音する。また、スピーカアレイ装置１３は、リアチャンネル（ＳＬｃｈ、ＳＲｃｈ）の音声ビームを、部屋の壁に１回反射（壁反射）してから視聴位置Ｌに到達するように放音する。

図２（Ａ）に示したビームモードと図２（Ｃ）に示したビームモードでは、音声ビームの反射回数やスピーカアレイ装置１３の配置が異なり、音声ビームの経路長も異なる。なお、図示は省略するが、スピーカアレイ装置１３では、他のビームモードが選択された場合も、図２（Ａ）や図２（Ｃ）に示したビームモードとは、音声ビームの経路長が異なる。

スピーカアレイ装置１３では上記のように音声ビームの遅延処理を行う。そのため、モニタ３１に表示させる映像とリップシンクするように音声信号を内蔵の音声出力部３７から出力するテレビ装置１１に、上記のスピーカアレイ装置１３を接続すると、コンテンツの映像よりも音声の再生が遅れてしまい、リップシンクのずれが発生してしまう。

そこで、この発明では、音声ビームの到達タイミングに映像の出力タイミングを合わせることで、リップシンクのずれの発生を防止する。

なお、スピーカアレイ装置１３では、ユーザの視聴位置に音声受信用のマイク（マイク６６）を設置して、スピーカアレイ６５からテスト音を放音させて、周知の方法でスピーカアレイ６５と視聴位置との距離を測定したり、各チャンネルの音声ビームの最適な反射位置を決定したりする。また、各チャンネルの音声ビームの伝播距離（放音してからマイク６６で収音するまでの時間（音声伝播時間））の情報に基づいて、各チャンネルの音声ビームの放音タイミングを決定する。

図１に示すように、Ｄ／Ａコンバータ６１−１〜６１−Ｎは、遅延処理部５７が出力したデジタル音声信号をアナログ音声信号に変換して出力する。

パワーアンプ６３−１〜６３−Ｎは、Ｄ／Ａコンバータ６１−１〜６１−Ｎが出力したアナログ音声信号を増幅して出力する。

スピーカアレイ６５は、放音手段に相当し、スピーカユニット６５−１〜６５−Ｎを１つのパネルに、マトリックス状・ライン状・ハニカム状など所定の配列で配置したものである。スピーカユニット６５−１〜６５−Ｎは、パワーアンプ６３−１〜６３−Ｎが増幅した音声信号を音声に変換して放音する。

Ａ／Ｄコンバータ６７は、マイク６６で収音されたテスト用のアナログ音声をデジタル音声に変換して、制御部７５に出力する。

操作部６９は、ユーザからのスピーカアレイ装置１３に対する設定操作等を受け付けて、その操作に応じた信号を制御部４５に出力する。

記憶部７１は、スピーカユニットの設定パターン等を記憶している。制御部７５は操作部６９で受け付けた操作に応じたデータを読み出す。また、記憶部７１は、音声の再生処理に必要な時間の情報、すなわち音声ビームの遅延処理に必要な時間の情報や音声が視聴位置に伝播するまでの時間等の情報（音声処理時間の情報すなわち再生処理時間情報）を記憶する。

通信部７３は、第２通信手段に相当し、テレビ装置１１と制御情報を送受信する。

制御部７５は、スピーカアレイ装置１３の各部を制御したり演算を行ったりする。

テレビ装置１１の音声出力部３７は、スピーカアレイ装置１３の信号入力部５１とケーブル１２により接続されている。また、テレビ装置１１の通信部３９は、スピーカアレイ装置１３の通信部７３とケーブル１４により接続されている。

図３は、本発明の第１実施形態に係るＡＶシステムにおける映像処理と音声処理のタイミングチャートである。図３（Ａ）は従来のＡＶシステムのタイミングチャートで、図３（Ｂ）・図３（Ｃ）・図３（Ｄ）・図３（Ｅ）は本発明のタイミングチャートである。

既に述べたように、従来のテレビ装置は、内蔵モニタへの映像の表示と、内蔵スピーカや内蔵の音声出力端子からの音声信号の出力と、が一致するように（リップシンクするように）、音声信号の出力を遅延させていた。そのため、ＡＶアンプやスピーカアレイ装置で音響効果を付加すると、図３（Ａ）に示すように、音響効果を付加するための信号処理に必要な時間分だけ映像の表示よりも音声の放音が遅れてしまう（リップシンクのずれが発生してしまう）という問題があった。

そこで、本発明のＡＶシステム１では、スピーカアレイ装置（ＡＶアンプ）１３で音声信号の処理に必要な時間（音声処理時間）の情報（遅延量）や、テレビ装置１１で映像信号の処理に必要な時間（映像処理時間）の情報（遅延量）や音声信号の処理に必要な時間（音声処理時間）の情報（遅延量）を相手（接続装置）に通知することで、テレビ装置１１で音声信号や映像信号の遅延時間を調整する。これにより、テレビ装置１１のモニタ３１への映像表示タイミングと、スピーカアレイ装置１３のスピーカアレイ６５から出力した音声ビームが視聴位置に到達するタイミングと、を一致させることができる。

なお、スピーカアレイ装置１３では、前記のように視聴位置へ各チャンネルの音声ビームが同時に到達するように、音声を視聴位置に到達させる時間を調整している。そのため、以下の説明では、スピーカアレイ装置１３の音声処理時間は、音声を視聴位置に到達させる時間（音声伝播時間）を含むものとする。

まず、ＡＶシステム１では、スピーカアレイ装置１３で必要な音声信号の処理時間（遅延量）に関する情報を、スピーカアレイ装置１３からテレビ装置１１へ通知するように構成する。この情報は、例えばＨＤＭＩ（登録商標）のＣＥＣによりスピーカアレイ装置１３からテレビ装置１１へ通知するように、ベンダコマンドとして設定する。また、この情報の通知は、ＨＤＭＩ（登録商標）に限らず、例えばＲＳ−２３２Ｃ等、スピーカアレイ装置１３からテレビ装置１１へ情報を送信することが可能な接続線を用いることも可能である。

テレビ装置１１の制御部４５は、
（テレビ装置１１での音声信号の処理時間）＋（スピーカアレイ装置１３での音声信号の処理時間及び音声伝播時間）＜（テレビ装置１１での映像信号の処理時間）
の場合には、図３（Ｂ）に示すように、
（テレビ装置１１での音声信号の処理時間）＋（テレビ装置１１での音声信号の遅延時間）＋（スピーカアレイ装置１３での音声信号の処理時間及び音声伝播時間）＝（テレビ装置１１での映像信号の処理時間）
となるように、テレビ装置１１での音声信号の遅延時間を音声遅延部３３に設定する。すなわち、テレビ装置１１側での音声信号の遅延量（音声信号を遅延させる時間）を減少させる処理を行う。

また、テレビ装置１１の制御部４５は、
（テレビ装置１１での音声信号の処理時間）＋（スピーカアレイ装置１３での音声信号の処理時間及び音声伝播時間）＞（テレビ装置１１での映像信号の処理時間）
の場合には、図３（Ｃ）に示すように、映像の再生タイミングを、音声処理時間の総和と映像処理時間との差分だけ遅延させる。すなわち、
（テレビ装置１１での音声信号の処理時間）＋（スピーカアレイ装置１３での音声信号の処理時間及び音声伝播時間）＝（テレビ装置１１での映像信号の処理時間）＋（テレビ装置１１での映像信号の遅延時間）
となるように、テレビ装置１１での映像信号の遅延時間を映像遅延部２９に設定する。すなわち、テレビ装置１１側で映像信号を遅延させる処理を行う。

一般的に、音声信号の処理時間の方が映像信号の処理時間よりも短いが、スピーカアレイ装置が視聴位置に複数の音声ビームが同時に到達（伝播）するように遅延処理を行ったり、テレビ装置１１においてゲームモードが選択されたりした場合には、音声信号の処理時間の方が映像信号の処理時間よりも長くなる。

この場合には、テレビ装置１１及びスピーカアレイ装置１３を以下のように動作させる。図４は、ＡＶシステムの処理動作を説明するためのフローチャートである。ここで、テレビ装置１１の通信部３９とスピーカアレイ装置１３の通信部７３はＨＤＭＩ（登録商標）のＣＥＣにより接続されているものとする。

テレビ装置１１の制御部４５は、通信部３９を介してスピーカアレイ装置１３に、音声信号処理時間情報の通知が可能か否かを確認する（ｓ１）。

スピーカアレイ装置１３の制御部７５は、テレビ装置１１から問い合わせがあるまでは、待機している（ｓ１１：Ｎ）。制御部７５は、テレビ装置１１から問い合わせがあると（ｓ１１：Ｙ）、音声信号処理時間情報の通知機能を備えておらず通知できない場合には（ｓ１２：Ｎ）、その旨を通知する（ｓ１３）。そして、音声信号が入力されるまで待機する（ｓ１６：Ｎ）。

テレビ装置１１の制御部４５は、スピーカアレイ装置１３から回答があるまで待機している（ｓ２：Ｎ）。制御部４５は、スピーカアレイ装置１３から回答があり（ｓ２：Ｙ）、スピーカアレイ装置１３が音声信号処理時間情報の通知機能を備えていない場合には（ｓ３：Ｎ）、映像表示と音声信号の出力のタイミングが同時になるように設定する（ｓ４）。そして、制御部４５は、ユーザにより選択されたチャンネルの放送信号を受信して音声信号をスピーカアレイ装置１３に出力し、映像をモニタに表示させる（ｓ５）。

スピーカアレイ装置１３の制御部７５は、音声信号の入力が有ると（ｓ１６：Ｙ）、音声を放音する（ｓ１７）。

一方、スピーカアレイ装置１３の制御部７５は、音声信号処理時間情報の通知機能を備えており通知可能な場合には（ｓ１２：Ｙ）、以下の処理を行う。すなわち、制御部７５は、現在設定されている音声信号の処理時間情報を記憶部７１から読み出す（ｓ１４）。そして、制御部７５は、音声信号処理時間情報を通知可能な旨と音声信号の処理時間情報を、通信部７３を介してテレビ装置１１へ通知する（ｓ１５）。

テレビ装置１１の制御部４５は、スピーカアレイ装置１３から回答があり（ｓ２：Ｙ）、スピーカアレイ装置１３が音声信号処理時間情報の通知機能を備えている場合には（ｓ３：Ｙ）、以下の処理を行う。すなわち、制御部４５は、音声信号の処理時間情報に基づいて、テレビ装置１１の映像表示タイミングとスピーカアレイ装置１３が出力する音声ビームが視聴位置に到達するタイミングが同時になるように再生処理時間情報を算出する。そして、映像遅延部２９または音声遅延部３３に遅延時間を設定する（ｓ６）（図３（Ｂ），（Ｃ）を参照）。

テレビ装置１１の制御部４５は、ユーザにより選択されたチャンネルの放送信号を受信して、音声信号をスピーカアレイ装置１３に出力し、映像をモニタに表示させる（ｓ７）。

スピーカアレイ装置１３の制御部７５は、音声信号の入力が有ると（ｓ１６：Ｙ）、音声を放音する（ｓ１７）。

また、スピーカアレイ装置１３の制御部７５は、ユーザが操作部６９を操作して音響効果の設定や音声ビームの本数や視聴位置を変更したことを検出した場合には（ｓ１８：Ｙ）、この操作により変更された処理時間をテレビ装置１１へ通知する（ｓ１９）。

テレビ装置１１の制御部４５は、スピーカアレイ装置１３からの処理時間の変更通知を検出すると（ｓ８：Ｙ）、ステップｓ６の処理を実行する。

また、スピーカアレイ装置１３の制御部７５は、ユーザが操作部６９を操作して電源オフ（終了）を設定したことを検出した場合には（ｓ２０：Ｙ）、その旨をテレビ装置１１へ通知して（ｓ２１）、処理を終了する。

テレビ装置１１の制御部４５は、スピーカアレイ装置１３から終了設定が通知されたことを検出すると（ｓ９）、処理を終了する。

次に、ＡＶシステム１は、テレビ装置１１で必要な映像信号の処理時間と音声信号の処理時間の差分情報を、スピーカアレイ装置１３へ通知するように構成しても良い。また、スピーカアレイ装置１３がテレビ装置１１の記憶部４１に記録された情報（ＥＤＩＤ）を読み取るように構成することも可能である。この場合、テレビ装置１１は、音声信号の出力タイミングを遅延させずに出力し、スピーカアレイ装置１３が音声信号の出力タイミングを遅延させるように構成する（図３（Ｄ）参照）。すなわち、スピーカアレイ装置１３側での音声信号の遅延時間を増やす処理を行う。なお、ＥＤＩＤ等の情報の送受信については、ＨＤＭＩ（登録商標）のＣＥＣのベンダコマンドとして設定することが可能である。また、この情報の通知は、ＨＤＭＩ（登録商標）に限らず、例えばＲＳ−２３２Ｃ等、スピーカアレイ装置１３からテレビ装置１１へ情報を送信することが可能な接続線を用いることも可能である。

次に、図１に示したＡＶシステム１では、テレビ装置１１で受信した放送のコンテンツの映像をモニタ３１に表示させ、このコンテンツの音声をスピーカ３６及びスピーカアレイ６５から放音させるように構成することも可能である。この構成は、例えば、リビングルームで視聴者Ａがモニタ３１を見ながらテレビ装置１１が内蔵するスピーカ３６からの音声を聞き、リビングルームに隣接するキッチンで視聴者Ｂが、リビングルームに設置されたスピーカアレイ６５からの音声（ビーム音声）を聞く場合に好適である。

このように構成する場合には、モニタ３１に表示させる映像と、スピーカ３６から放音させる音声と、がリップシンク（同期）するように調整する必要がある。また、視聴者Ｂには、スピーカアレイ６５の音声だけでなく、スピーカ３６からの音声も漏れ聞こえる。そのため、スピーカアレイ６５から放音させる音声と、スピーカ３６から放音させる音声と、を同期させる必要がある。

そのため、テレビ装置１１の音声遅延部３３は、スピーカ３６から音声を放音させるためにＤ／Ａコンバータ３４に出力する音声信号と、音声出力部３７に出力する音声信号と、に対してそれぞれ遅延させて、上記のように各音声と映像を同期させる。

すなわち、図３（Ｅ）に示すように、テレビ装置１１の制御部４５は、モニタ３１が映像を表示するのと同じタイミングで内蔵するスピーカ３６から音声を放音するように、音声遅延部３３に遅延時間（遅延量）Ａを設定して遅延処理を実行させて、その音声信号をスピーカ３６に出力させる。また、制御部４５は、視聴者Ｂの視聴位置で、スピーカアレイ６５からの音声とスピーカ３６からの音声が同期して聞こえるように、すなわち、スピーカ３６とスピーカアレイ６５が同時に音声を放音するように音声遅延部３３に遅延時間（遅延量）Ｂを設定して遅延処理を実行させて、その音声信号を音声出力部３７から出力させる。

なお、図３に基づいて説明した上記の各形態では、テレビ装置１１が放送波を受信してコンテンツを再生する場合を説明したが、これに限るものではなく、他の構成であっても良い。例えば、信号入力部にＤＶＤプレーヤやビデオ再生装置などを接続して、これらの機器で再生したコンテンツの映像信号・音声信号を信号入力部２５から入力するようにしても良い。

図２に基づいて説明したように、スピーカアレイ装置１３の設置場所や設定されたビームモードに応じて、スピーカアレイ装置１３の音声処理時間（映像音声処理部５３や遅延処理部５７で音声信号を処理する時間やスピーカアレイ６５から放音した音声が視聴位置に到達するまでの時間）が異なる。そのため、スピーカアレイ装置１３が、ビームモードに応じた音声処理時間を、予め記憶部７１で記憶しておくように構成する。また、スピーカアレイ装置１３は、設定されたビームモードに応じた音声処理時間の情報を、テレビ装置１１と送受信するように構成する。これにより、スピーカアレイ装置１３において、どのビームモードが設定されたとしても、テレビ装置１１のモニタ３１に表示される画像と、スピーカアレイ６５から放音される音声と、が確実に同期する。

［第２実施形態］
次に、本発明の第２実施形態に係るＡＶシステム２について説明する。図５は、本発明の第２実施形態に係るＡＶシステムの概略構成を示すブロック図である。

ＡＶシステム２は、テレビ装置１１、スピーカアレイ装置１３、及びＤＶＤプレーヤ（ソース機器）１５を備えた構成である。

テレビ装置１１及びスピーカアレイ装置１３は、図１に示した構成と同様であるため、詳細な説明を省略する。第２実施形態に係るＡＶシステム２では、ＤＶＤプレーヤ１５からテレビ装置１１及びスピーカアレイ装置１３へコンテンツを送信する点が第１実施形態と異なる。

ＤＶＤプレーヤ１５は、ＤＶＤ再生部８１、デコーダ８３、映像信号出力部８５、音声信号出力部８７、通信部８９、制御部９１、記憶部９３、及び操作部９５を備えている。

ＤＶＤ再生部８１は、ＤＶＤに記録されたコンテンツの情報信号を読み出して、デコーダ８３に出力する。

デコーダ８３は、コンテンツの情報信号をデコードして、映像信号及び音声信号を抽出する。そして、デコーダ８３は、映像信号を映像信号出力部８５へ出力し、音声信号を音声信号出力部８７へ出力する。

映像信号出力部８５は、デコーダ８３から供給された映像信号を外部へ出力するためのインタフェースである。

音声信号出力部８７は、デコーダ８３から供給された音声信号を外部へ出力するためのインタフェースである。

通信部８９は、他の装置と制御情報を送受信することが可能である。

制御部９１は、ＤＶＤプレーヤ１５の各部を制御する。

記憶部９３は、ＤＶＤプレーヤ１５が映像処理を行うのに必要な時間情報等を記憶している。

操作部９５は、ＤＶＤプレーヤ１５に対するユーザの操作を受け付ける。

ＤＶＤプレーヤ１５の映像信号出力部８５は、テレビ装置１１の信号入力部２５とケーブル１６により接続されている。また、ＤＶＤプレーヤ１５の音声信号出力部８７は、スピーカアレイ装置１３の信号入力部５１とケーブル１７により接続されている。さらに、テレビ装置１１の通信部３９は、スピーカアレイ装置１３の通信部７３とケーブル１４により接続されている。

図５に示したＡＶシステム２においては、ＤＶＤプレーヤ１５で再生したＤＶＤのコンテンツの映像信号をテレビ装置１１へ出力し、音声信号をスピーカアレイ装置１３へ出力する。また、テレビ装置１１の通信部３９とスピーカアレイ装置１３の通信部７３は、ケーブル１４を介して、テレビ装置１１における映像信号の処理時間情報と、スピーカアレイ装置１３における音声信号の処理時間情報と、を送受信する。そして、（映像信号の処理時間）＞（音声信号の処理時間）の場合には、スピーカアレイ装置１３で、両信号の処理時間の差分を算出し、差分の時間だけ音声信号の出力タイミングを遅延させる。また、（映像信号の処理時間）＜（音声信号の処理時間）の場合には、テレビ装置１１で、両信号の処理時間の差分を算出し、差分の時間だけ映像信号の出力タイミングを遅延させる。このように処理することで、ＤＶＤプレーヤ１５でコンテンツを再生した場合でも、リップシンクのずれの発生を防止できる。

以上、第１、第２実施形態において大きく二つのリップシンクの方法を説明したが、実際にシステムとして使用する際は、これらを適宜切り替えることも可能である。つまり、スピーカアレイ装置１３への入力コンテンツが、ソース機器からの場合は、第２実施形態の方法を採用し、それ以外のＴＶ装置側等から入力される場合は、第１実施形態の方法でリップシンクさせると良い。

更に、本発明の第２実施形態に係るＡＶシステム２では、テレビ装置１１とスピーカアレイ装置１３は対等な関係だけでなく、両装置を主従の関係に設定することも可能である。すなわち、図５に示したＡＶシステム２において、テレビ装置１１を主（マスタ）、スピーカアレイ装置１３を従（スレーブ）とした場合には、以下のように処理を行う。まず、テレビ装置１１の制御部４５は、スピーカアレイ装置１３の記憶部７１に記録された音声信号の処理時間情報を読み出す。続いて、制御部４５は、記憶部４１から、映像信号の処理時間情報を読み出す。さらに、両信号の処理時間の差分を算出する。そして、制御部４５は、（映像信号の処理時間）＞（音声信号の処理時間）の場合には、スピーカアレイ装置１３に対して、差分時間分だけ音声信号の出力タイミングを遅延させるように指示する。

また、制御部４５は、（映像信号の処理時間）＜（音声信号の処理時間）の場合には、両信号の処理時間の差分を算出して、映像遅延部２９に差分時間分だけ映像信号の出力タイミングを遅延させる。なお、図５に示したＡＶシステム２において、スピーカアレイ装置１３を主（マスタ）、テレビ装置１１を従（スレーブ）とした場合には、上記の処理においてテレビ装置１１とスピーカアレイ装置１３の処理を逆に読み替えた処理を行うように設定すれば良い。

［第３実施形態］
次に、図６は、本発明の第３実施形態に係るＡＶシステムの概略構成を示すブロック図である。図７は、ＡＶシステムにおける映像処理と音声処理のタイミングチャートである。本発明の第３実施形態に係るＡＶシステム３では、ＤＶＤプレーヤ１５’からスピーカアレイ装置１３’を経由してテレビ装置１１へコンテンツを送信する点が第１実施形態及び第２実施形態と異なる。

図６に示すＡＶシステム３において、テレビ装置１１は、図１及び図５に示した構成と同様である。また、スピーカアレイ装置１３’は、図５に示したスピーカアレイ装置１３と一部を除き同様の構成である。また、ＤＶＤプレーヤ１５’は図５に示したＤＶＤプレーヤ１５と一部を除き同様の構成である。そのため、各装置の構成については、相違点のみ説明する。

スピーカアレイ装置１３’は、スピーカアレイ装置１３の信号入力部５１を信号入力部５１’に置き換えたものである。図１・図５に示したスピーカアレイ装置１３では、信号入力部５１には音声信号のみが入力されていたが、図６に示した信号入力部５１’には、映像信号・音声信号が入力される。

ＤＶＤプレーヤ１５’は、ＤＶＤプレーヤ１５の映像信号出力部８５及び音声信号出力部８７を音声・映像信号出力部８６に置き換えたものである。音声・映像信号出力部８６は、デコーダ８３から供給された音声信号及び映像信号を外部へ出力するためのインタフェースである。

ＡＶシステム３では、ＤＶＤプレーヤ１５’ （ソース機器）の音声・映像信号出力部８６は、スピーカアレイ装置１３’ （リピータ機器）の信号入力部５１’とケーブル１８−１により接続されている。また、ＤＶＤプレーヤ１５’の通信部８９は、スピーカアレイ装置１３’の通信部７３とケーブル１８−２で接続されている。

また、スピーカアレイ装置１３’（リピータ機器）の信号出力部５４は、テレビ装置１１（シンク機器）の信号入力部２５とケーブル１４−１で接続されている。また、スピーカアレイ装置１３’の通信部７３は、テレビ装置１１の通信部３９とケーブル１４−２で接続されている。

つまり、ＡＶシステム３は、ソース機器、１つまたは複数のリピータ機器、及びシンク機器が直列接続され、信号を後段の機器に出力する構成である。

なお、リピータ機器としては、ＡＶアンプやスピーカアレイ装置の他に、信号切替器などがある。

なお、図６では、ケーブル１４−１・ケーブル１４−２を別々に示したが、実際には、１本のＨＤＭＩ（登録商標）ケーブル１４であり、ケーブル１８−１・ケーブル１８−２も１本のＨＤＭＩ（登録商標）ケーブル１８である。

図６に示したような構成のＡＶシステム３でリップシンクさせるためには、各装置での映像信号の処理時間と音声信号の処理時間、または、両信号の処理時間の差分を他の接続装置に知らせるように構成すると良い。

例えば、ＤＶＤプレーヤ１５’で再生したコンテンツの映像をテレビ装置１１で表示させ、スピーカアレイ装置１３’において、このコンテンツの音声に音響効果を付加して、テレビ装置１１のスピーカから放音させる場合を説明する。この場合には、図７に示すように、スピーカアレイ装置１３’では、音声信号に音響効果を付加し、映像信号に対しては時間が必要な処理を施さない。そのため、スピーカアレイ装置１３’においては、音声信号の処理時間の方が、映像信号の処理時間よりも長くなる。一方、テレビ装置１１においては、モニタに映像を表示させるために映像信号処理を行うが、音声信号に対しては時間が必要な処理を施さない。そのため、テレビ装置１１においては、映像信号の処理時間の方が、音声信号の処理時間よりも長くなる。また、この例ではＡＶシステム３全体で見た場合には、音声信号の処理時間の方が映像信号の処理時間よりも長い。そこで、ＡＶシステム３では、構成装置のいずれかが主（マスタ）となって、他の接続装置と通信部により通信を行って、各装置での映像信号の処理時間と音声信号の処理時間、または、両信号の処理時間の差分を接続装置から取得する。また、主となる装置が、制御部でＡＶシステム３全体の映像信号の処理時間と音声信号の処理時間の差分を算出する。そして、この差分情報に基づいてリップシンクのずれが発生しないように、各装置の遅延処理用のバッファメモリ量に応じて、いずれかの装置で、映像信号または音声信号の遅延処理を行うように構成すると良い。

これにより、各装置の遅延処理用のバッファメモリ搭載量を抑制することが可能になる。すなわち、図７に示したように、装置毎の映像信号と音声信号の処理時間の差分はかなり大きい。そのため、従来のテレビ装置のように装置毎の差分が無くなるように調整可能なだけのバッファメモリを、各装置に設ける場合には、システム全体としてのバッファメモリ量が多大となる。しかし、本発明では、ＡＶシステム３全体として映像信号と音声信号の処理時間の差分を求めて、ある装置でまとめて遅延処理を行う。そのため、システム全体として、バッファメモリ量を抑制できる。つまり、各装置に搭載するバッファメモリ量を少なくしても、システム全体として差分が無くなるように調整することができる。

次に、ＤＶＤプレーヤ１５’（ソース機器）で再生したコンテンツの映像をテレビ装置１１で表示させ、このコンテンツの音声に音響効果を付加して、スピーカアレイ装置１３’のスピーカアレイ６５から放音させる場合を説明する。この構成の場合には、音声信号をテレビ装置１１から放音しないが、テレビ装置１１における映像信号の処理時間と音声信号の処理時間の差分情報をスピーカアレイ装置１３’に通知してしまう。

上記のように構成する場合、すなわち、視聴する際に使用する最終的な映像表示装置と音声再生装置が異なる場合には、いずれか早く出力する装置以降（下流）の装置の遅延量は無視するように設定する。例えば、前記のように、ＤＶＤプレーヤ１５’（ソース機器）→スピーカアレイ装置１３’（リピータ機器）→テレビ装置１１（シンク機器）の構成において、スピーカアレイ装置１３’が音声を放音し、テレビ装置１１が映像を表示する場合、テレビ装置１１の音声遅延量を無視して、０秒とする。

次に、図６に示したＡＶシステム３では、さらに、各装置において映像信号及び音声信号を遅延させることが可能な最大時間（遅延最大量（バッファメモリ量））の情報を通信部によりマスタとなる装置に知らせ、マスタとなる装置がこの情報に基づいて各装置に分担量を通信部により通知するように構成することも可能である。

このように構成することで、各装置で処理可能な遅延時間がわかるので、いずれかの装置が主（マスタ）となって、ＡＶシステム３全体の信号遅延を各装置のバッファメモリ量に応じて、分担させることが可能になる。したがって、映像信号と音声信号の処理に必要な時間の差分をＡＶシステム全体でみることで、差分を小さくすることができるだけでなく、差分の補正を各装置に分散できるので、各装置に設けるバッファメモリの量を抑制することができる。

なお、図６にはＡＶシステムの１例として、ＤＶＤプレーヤ１５’（ソース機器）→スピーカアレイ装置１３’（リピータ機器）→テレビ装置１１（シンク機器）を直列に接続した構成を示したが、本発明はこれに限るものではなく、他の構成であっても良い。例えば、図１に示したＡＶシステム１において、テレビ装置１１の信号入力部２５にＤＶＤプレーヤやビデオ再生装置などのソース機器を接続することが可能である。この場合、テレビ装置１１がリピータ機器となり、スピーカアレイ装置１３がシンク機器となる。

また、図６に示したＡＶシステム３において、信号入力部５１に切替器（セレクタ）を接続し、この切替器に複数のソース機器を接続することが可能である。複数のソース機器としては、例えば、ＤＶＤプレーヤ、ディスクゲーム機、ハードディスクレコーダ等が好適である。このように接続した場合には、ソース機器とシンク機器の間に、２台のリピータ機器が接続されることになる。

なお、上記各実施形態において、映像信号や音声信号の処理に必要な時間や、両信号の処理時間の差分は、テレビ装置１１のモニタ３１に表示させる映像の解像度や音場処理のモード等、映像や音声の設定によって異なる。

例えば、映像信号の処理時間は、映像解像度、ゲームモード、プログレッシブ変換（ＩＰ変換）、スケーリング、輪郭強調などの画像補正処理等により異なる。また、音声信号の処理時間は、音声フォーマット（圧縮系、非圧縮系）、ＤＳＰモード、音声ビームモード、音声ビームの経路長等により異なる。

前記のように、スピーカアレイ装置１３’において、５チャンネルの音声ビームを出力する場合、センタチャンネルは、視聴位置Ｌに直接到達するので経路長は短い。一方、リアチャンネル（ＳＬｃｈ、ＳＲｃｈ）は、部屋の壁に２回反射してから視聴位置Ｌに到達するので、経路長は長くなる。また、設置する部屋の広さによっても経路長が異なるため、部屋のサイズに応じた遅延量（音声信号処理時間）を記憶しておくか、装置の設置時に遅延量（音声信号処理時間）を算出して、記憶部で記憶しておく必要がある。

そのため、本発明では、ユーザにより選択された映像や音声の設定（モード）に応じ映像信号や音声信号の処理時間を記憶している。

テレビ装置１１やスピーカアレイ装置１３’は、映像の解像度や音場処理のモード等に応じた映像信号や音声信号の処理時間（遅延量）を、図８に示すようなテーブル形式で記憶部に記憶している。

図８は、映像の解像度や音場処理のモード等に応じた映像信号や音声信号の処理時間を管理するためのテーブルである。なお、図８に示した処理時間（遅延量）は、説明を容易に理解できるように示した例である。

例えば、図８（Ａ）に示すように、テレビ装置１１において、入力解像度が４８０ｉ、出力解像度が４８０ｉの場合には映像信号の処理時間（遅延量）は５ｍｓｅｃである。一方、入力解像度が４８０ｉ、出力解像度が１０８０ｉの場合には映像信号の処理時間（遅延量）は９０ｍｓｅｃである。

また、図８（Ｂ）に示すように、スピーカアレイ装置１３’において、音声信号に付加する音響効果として、スポーツモードの場合には、音声信号の処理時間（遅延量）は４０ｍｓｅｃである。また、音響効果としてはコンサートホールモードを選択した場合には、音声信号の処理時間（遅延量）は６０ｍｓｅｃである。

さらに、図８（Ｃ）に示すように、音声信号のフォーマットがＡＡＣの場合には、音声信号の処理時間（遅延量）は１５ｍｓｅｃであり、音声信号のフォーマットがＭＰ３の場合には、音声信号の処理時間（遅延量）は２０ｍｓｅｃである。

このように、映像の解像度によって映像信号処理時間が異なり、また、音声プログラムや音声フォーマットによって音声信号処理時間が異なる。したがって、選択された解像度や音声プログラム等に応じて遅延量を変更する必要がある。

なお、ＨＤＭＩ（登録商標）のベンダコマンドを用いて、音声信号や映像信号の処理時間を管理する場合には、以下のようにすると良い。例えば、ＥＤＩＤ内に、音声信号や映像信号の処理時間情報を格納すると良い。また、HDMI（登録商標） Info Frame、HDMI（登録商標） CEC、またはDDCのいずれかを用いて、遅延量情報、または遅延量が変化したことを伝達するように構成する。

なお、上記説明では、映像信号や音声信号の処理時間（遅延量）や両信号の処理時間の差分を記憶部で記憶する構成について説明した。しかし、本発明はこれに限るものではなく、他の構成であっても良い。例えば、映像及び音声を同時に出力するようにテストデータが記録されたテストディスク、又は、テスト信号発生器をソースとし、テレビ画面上に受光センサを設置し、ユーザの視聴位置に音声受信用のマイク（マイク６６）を設置する。そして、両者の変化（トリガ）タイミングにより、遅延量、またはその差を実測し、上記設定を行うようにする。

なお、以上の説明では、スピーカアレイ装置を用いた場合を例に挙げて説明したが、本発明はこれに限るものではなく、ＡＶアンプに、１台または複数台のスピーカを接続したものをスピーカアレイ装置の代わりに用いても、もちろん問題無い。

［第４実施形態］
次に、本発明の第４実施形態に係るＡＶシステムについて説明する。第１実施形態〜第３実施形態では、映像と音声のずれをなくす処理について説明したが、以下では、同じコンテンツの音声を複数のＡＶ装置で再生する場合において、ＡＶ装置間のずれをなくす処理を説明する。図９は、従来のＡＶシステムの概略構成と、処理時間の関係を示す図である。図１０は、本発明の第４実施形態に係るＡＶシステムの概略構成を示すブロック図である。図１１は、本発明の第４実施形態に係るＡＶシステムにおける処理時間の関係を示す図である。

図９（Ａ）に示すＡＶシステム４は、音声再生装置（ソース機器）であるミュージックプレーヤ１０と、第１のＡＶ装置であるスピーカアレイ装置１３と、第２のＡＶ装置であるサブウーファ１９と、を備えている。ミュージックプレーヤ１０は、スピーカアレイ装置１３とサブウーファ１９にコンテンツの音声信号をブロードキャストする。スピーカアレイ装置１３とサブウーファ１９は、それぞれ、コンテンツの音声を再生する。

従来のＡＶシステム４では、スピーカアレイ装置１３からサブウーファ１９に対してコンテンツの再生に必要な時間の情報を送信する構成や、サブウーファ１９が音声を遅延させる構成を備えていなかった。また、サブウーファ１９が行う音声再生処理に必要な時間は、スピーカアレイ装置１３に比べて短く（僅かであり）、ＤＳＰ処理のように時間の必要な処理を行っていない。また、前述のように、スピーカアレイ装置１３では、チャンネルに応じて音声ビームを、直接または１回乃至２回壁に反射させて、聴取者の聴取位置に同時に伝播（到達）させるので、音声処理時間はサブウーファ１９よりもかなり長い。そのため、図９（Ｂ）に示すように、サブウーファ１９が放音する音声（低音）の方が、スピーカアレイ装置１３が放音する音声（音声ビーム）よりも先に聴取位置に伝播していた。

このような問題の発生を防止するために、ＡＶシステム４を改良したＡＶシステム４’では、以下の構成を設けている。すなわち、図１０に示すように、スピーカアレイ装置１３は、コンテンツの再生処理に必要な時間の情報、すなわち音声ビームの遅延処理に必要な時間の情報やコンテンツの音声が視聴位置に到達するまでの時間等の情報（再生処理時間情報）をサブウーファ１９に送信する構成（通信部７３）を備えている。また、サブウーファ１９は、スピーカアレイ装置１３が送信した再生処理時間情報を受信する構成（通信部１１１）と、スピーカアレイ装置１３から受信した再生処理時間情報に基づいて、スピーカから放音する音声を遅延させる遅延回路を備えている。

このような構成を備えることで、図１１に示すように、サブウーファ１９から放音される音声が、最も遅い再生タイミングのＡＶ装置であるスピーカアレイ装置１３から放音する音声ビームと同期するように、つまり、同時に聴取位置に伝播するように、サブウーファ１９から放音される音声を遅延させることができる。これにより、聴取者に違和感を与えることなく、サラウンド音声を放音することができる。

なお、上記のＡＶシステム４’では、サブウーファ１９は、スピーカアレイ装置１３よりも再生処理に必要な時間が常に短いことが予めわかっている。このような場合には、再生処理に必要な時間が短いＡＶ装置であるウーファ１９は、他のＡＶ装置であるスピーカアレイ装置１３からコンテンツの再生を遅延させる情報を受信して、コンテンツの再生を遅延させる構成のみを備えるように構成する。これにより、他のＡＶ装置とコンテンツの再生タイミングを調整しなくても良いので、構成を簡略化できる。

一方、複数のＡＶ装置のうち、再生処理に必要な時間が短いＡＶ装置が特定できない場合には、初期設定の時に、各ＡＶ装置間で再生処理時間情報を送受信し、この情報に基づいて再生処理に必要な時間が短いＡＶ装置を確定する。そして、コンテンツの再生処理に必要な時間が短いＡＶ装置が、他のＡＶ装置からの再生処理時間情報を受信して、コンテンツの再生を遅延させるように構成する。

ＡＶシステム４’の各装置の詳細な構成は図１０に示す通りである。ミュージックプレーヤ１０は、記憶部１０１、再生部１０３、及び通信部１０５を備えている。スピーカアレイ装置１３は、図１に示した構成と同様の構成を備えている。また、サブウ−ハ１９は、通信部１１１、低音生成部１１３、遅延回路１１５、アンプ１１７、及びスピーカ１１９を備えている。

ミュージックプレーヤ１０は、再生部１０３が記憶部１０１からコンテンツのデータ（２チャンネルの音声データ）を読み出して再生する。通信部１０５は、再生部１０３が再生した音声信号を電波に重畳して、ブロードキャストで送信する。スピーカアレイ装置１３は、ミュージックプレーヤ１０がブロードキャストした２チャンネルの音声信号を通信部７３で受信すると、映像音声処理部５３で、５チャンネルの音声信号（サラウンド音声信号）に拡張する音声処理（ＤＳＰ処理）を行う。また、遅延処理部５７で、聴取位置に伝播（到達）するのが最も遅いチャンネルに合わせて、他のチャンネルの音声信号を遅延処理する。このとき、スピーカアレイ装置１３は、通信部７３により、再生処理時間情報をサブウ−ハ１９に送信する。

スピーカアレイ装置１３は、聴取位置の周囲に各チャンネルの音声ビームが伝播するように、再生処理時間情報に基づいて遅延処理部５７で所定の遅延処理を行って、チャンネル毎に音声ビームを生成して、スピーカアレイ６５から音声ビームを出力させる。

サブウ−ハ１９は、ミュージックプレーヤ１０がブロードキャストした２チャンネルの音声信号を通信部１１１で受信すると、低音生成部１１３で、２チャンネルの音声信号を加算し、低音信号のみを抽出する。そして、遅延回路１１５で低音信号をスピーカアレイ装置１３から送信された再生処理時間情報に基づいて遅延させて、アンプ１１７で増幅してスピーカ１１９から放音させる。

次に、本願発明では、以下に説明するように構成することも可能である。図１２及び図１３は、本願発明のさらに別の構成を示す概念図である。

図１２（Ａ）に示すように、ＡＶシステム５は、ソース機器であるＤＶＤプレーヤ１５’、スピーカアレイ装置１３−１、スピーカアレイ装置１３−２、及びサブウーファ１９を備えている。なお、図１２及び図１３に示す各装置の構成は、図１・図５・図６・図１０に示したものと大半が同様であるため、説明を省略する。図１２及び図１３に示す各装置は、ブロードキャストにより音声信号や再生処理延時間情報を送受信する通信部を備えているものとする。

ＤＶＤプレーヤ１５’は、スピーカアレイ装置１３−１、スピーカアレイ装置１３−２、及びサブウーファ１９に対して、７．１チャンネルの音声信号２０１をブロードキャストする。スピーカアレイ装置１３−１とスピーカアレイ装置１３−２は、２台で７チャンネル分の音声ビームを生成する。例えば、スピーカアレイ装置１３−１は、Ｃｃｈ、Ｌｃｈ、Ｒｃｈの音声ビームを生成し、スピーカアレイ装置１３−２は、ＳＬｃｈ、ＳＲｃｈ、ＢＬｃｈ、ＢＲｃｈの音声ビームを生成するように構成する。スピーカアレイ装置１３−１とスピーカアレイ装置１３−２は、お互いの再生処理時間情報２０３Ａを送受信して、聴取位置への到着が最も遅い音声ビームに合わせて他の音声ビームに遅延処理を行う。また、スピーカアレイ装置１３−１とスピーカアレイ装置１３−２のいずれかがマスタになって、サブウーファ１９に対して再生処理時間情報２０５Ａを送信する（図１２（Ａ）では、スピーカアレイ装置１３−１が送信している。）。このように構成することで、図１０に示した構成と同様に、各装置における音声の放音タイミングを調整して、各チャンネルの音声が、聴取位置に同時に伝播（到達）するように設定することができる。

更に、図１２（Ｂ）に示すように、スピーカアレイ装置の代わりに、ＡＶアンプ装置とすることも可能である。この場合も、図１２（Ａ）の構成と同様に、お互いの再生処理時間情報２０３Ｂや再生処理時間情報２０５Ｂを送受信して、聴取位置への到着が最も遅い音声に合わせて他の音声ビームに遅延処理を行えば良い。

次に、図１３（Ａ）に示すように、複数の音声再生装置と映像再生装置とで遅延処理情報を送受信するように構成することも可能である。ここでのＡＶシステム７は、前述のＡＶシステム２に対してサブウーファ１９を追加した構成となっている。この場合も、お互いの再生処理時間情報２０３Ｃや再生処理時間情報２０５Ｃを送受信して、視聴位置への到着が最も遅い音声に合わせて他の音声ビームに遅延処理を行い、視聴位置に音声が伝播するタイミングにテレビ１１が映像を表示させる。これにより、視聴位置のユーザには、映像と音声が同期している（リップシンクしている）と感じさせることができる。

また、図１３（Ｂ）に示すように、ソース機器からの映像と音声のコンテンツがスピーカアレイ装置を経由して、テレビ装置へ送信される構成において、サブウーファ１９では、ソース機器（ＤＶＤプレーヤ１５）からのブロードキャストにより送信された信号（ソース機器から直接受信した信号）２０２か、スピーカアレイ装置１３からの信号（他のＡＶ装置を経由して受信したリピート信号）２０２Ｂかに応じて、遅延時間（遅延量）を切り替えるように構成することも可能である。この場合、サブウーファ１９が、どの機器から信号を受信する設定なのかをスピーカアレイ装置１３が判断し、それに応じた再生処理時間情報２０５Ｄをサブウーファ１９に送信する。そして、図１３（Ａ）の場合と同様に、視聴位置に音声が伝播するタイミングにテレビ１１が映像を表示させる。これにより、システム全体で映像と音声が同期するようになり、視聴位置のユーザには、映像と音声が同期している（リップシンクしている）と感じさせることができる。

更なる別構成としては、スピーカアレイ装置１３の制御部７５（放音制御手段に相当）は、サブウーファ１９（再生処理に必要な時間が短いＡＶ装置）に対して、放音開始（ミュート解除）、及び放音終了（ミュート）を出力して放音開始タイミングを制御して、サブウーファ１９はこの信号に応じて動作を切り替えるように構成しても良い。

スピーカアレイ装置１３は、前記のようにＤＳＰ処理や遅延処理を行うので、サブウーファ１９と比べて音声を放音するまでの時間が長い。特に、スピーカアレイ装置１３は、電源をオンしてから放音するまでの起動時間が、サブウーファ１９よりも長く、サブウーファ１９に再生処理時間情報を送信する前に、サブウーファ１９が起動する。そのため、サブウーファ１９だけが先に低音を放音してしまうことになる。そこで、上記のように、スピーカアレイ装置１３は、サブウーファ１９に対して、放音開始（ミュート解除）、及び放音終了（ミュート）のコマンドを出力し、サブウーファ１９はこの信号に応じて動作を切り替えるように構成する。

また、スピーカアレイ装置１３は、サブウーファ１９に対して、ボリューム設定コマンドを出力し、サブウーファ１９はこの信号に応じて動作を切り替えるように構成することも可能である。この場合、サブウーファ１９は、ボリューム設定コマンドをミュート解除と判断する。

このように構成することで、サブウーファ１９が先に低音を放音するのを防止でき、スピーカアレイ装置１３とサブウーファ１９を同時に放音させることかできる。

１、２、３…ＡＶシステム １１…テレビ装置 １２、１４、１６、１７、１８…ケーブル １３…スピーカアレイ装置 １５…ＤＶＤプレーヤ ２０…アンテナ ２１…受信部 ２３…デコーダ ２５…信号入力部 ２７…映像処理部 ２９…映像遅延部 ３１…モニタ ３３…音声遅延部 ３４、６１…Ｄ／Ａコンバータ ３５…パワーアンプ ３６…スピーカ ３７…音声出力部 ３９…通信部 ４１…記憶部 ４３…操作部 ４５…制御部 ５１…信号入力部 ５３…映像音声処理部 ５４…信号出力部 ５７…遅延処理部 ６３…パワーアンプ ６５…スピーカアレイ ６５…スピーカユニット ６６…マイク ６７…Ａ／Ｄコンバータ ６９…操作部 ７１…記憶部 ７３…通信部 ７５…制御部 ８１…ＤＶＤ再生部 ８３…デコーダ ８５…映像信号出力部 ８７…音声信号出力部 ８９…通信部 ９１…制御部 ９３…記憶部 ９５…操作部

Claims (8)

1. コンテンツを入出力し、該コンテンツの信号を処理して複数のＡＶ装置で再生するＡＶシステムにおいて、
   前記ＡＶ装置にコンテンツをブロードキャストするソース機器を備え、
   前記ＡＶ装置は、それぞれ、
   前記ソース機器がブロードキャストしたコンテンツを受信して再生処理を行う再生手段と、
   前記コンテンツの再生処理に必要な時間の情報である再生処理時間情報を他のＡＶ装置と通信する通信手段と、
   コンテンツを再生する時間を遅延させる遅延手段と、
   を備え、
   前記遅延手段は、前記再生処理時間情報に基づいて、最も遅い再生タイミングのＡＶ装置に合わせてコンテンツの再生を遅延させることを特徴とするＡＶシステム。
2. 前記通信手段は、前記再生処理時間情報に基づいて、再生処理に必要な時間が短いＡＶ装置にコンテンツの再生を遅延させる情報を送信する請求項１に記載のＡＶシステム。
3. 前記ＡＶ装置は、複数のスピーカからなるスピーカアレイと、前記スピーカアレイの複数のスピーカに音声信号を分配して音声チャンネル毎に放音タイミングを調整して、音声ビーム化した複数の音声を、それぞれ視聴位置に同時に到達させるビーム制御手段と、を備え、
   前記再生処理に必要な時間は、音声を視聴位置に到達させる時間を含む請求項１または２に記載のＡＶシステム。
4. 前記遅延手段は、コンテンツを、前記ソース機器から直接受信したか、または他のＡＶ装置を経由して受信したかに応じて、前記コンテンツの再生の遅延量を変更する請求項１乃至３のいずれかに記載のＡＶシステム。
5. コンテンツを入出力し、該コンテンツの信号を処理して複数のＡＶ装置で再生するＡＶシステムにおいて、
   前記ＡＶ装置は、
   コンテンツの再生タイミングに関する情報を送受信する第１通信手段と、コンテンツの映像を再生する表示手段と、映像の再生タイミングに合わせてコンテンツの音声信号を遅延させて他のＡＶ機器へ出力する遅延手段と、を有する映像再生装置と、
   コンテンツの再生タイミングに関する情報を送受信する第２通信手段と、該映像再生装置が出力したコンテンツの音声信号を再生する放音手段と、を有する音声再生装置と、
   を備え、
   前記第２通信手段は、前記コンテンツの音声処理に必要な音声処理時間を前記再生タイミングに関する情報として前記映像再生装置に送信し、
   前記映像再生装置の遅延手段は、前記音声再生装置から受信した音声処理時間の情報に基づいて音声信号の遅延時間を減少させることを特徴とするＡＶシステム。
6. 前記映像再生装置は、コンテンツの映像信号の処理を行う映像処理手段と、コンテンツの音声信号の処理を行う第１音声処理手段と、を備え、
   前記音声再生装置は、コンテンツの音声信号の処理を行う第２音声処理手段を備え、
   前記遅延手段は、前記第１音声処理手段及び前記第２音声処理手段が音声信号の処理を行うのに必要な音声処理時間の総和が、前記映像処理手段が映像信号の処理を行うのに必要な映像処理時間よりも長い場合には、映像の再生タイミングを、前記音声処理時間の総和と前記映像処理時間との差分だけ遅延させる請求項５に記載のＡＶシステム。
7. 前記音声再生装置は、複数のスピーカからなるスピーカアレイと、前記スピーカアレイの複数のスピーカに音声信号を分配して音声チャンネル毎に放音タイミングを調整して、音声ビーム化した複数の音声を、それぞれ視聴位置に同時に到達させるビーム制御手段と、を備え、
   前記第２音声処理手段の音声処理時間は、音声を視聴位置に到達させる時間を含む請求項５または６に記載のＡＶシステム。
8. 前記音声再生装置のビーム制御手段は、前記音声ビーム化した複数の音声を壁反射させる位置を変化させる複数のビームモードを備え、
   前記音声再生装置において選択されたビームモードに応じて前記音声処理時間を変更する請求項７に記載のＡＶシステム。

Images