[第1実施形態]
図1は、本発明の第1実施形態に係るAVシステムの概略構成を示すブロック図である。図2は、スピーカアレイ装置が出力する音声ビームの状態、及び音声ビームの各チャンネルの処理及び伝播時間を示す図である。
第1実施形態に係るAVシステム1は、AVアンプとスピーカの機能を備えたスピーカアレイ装置13と、テレビ装置11と、の2台のAV装置により構成された5chサラウンドシステムである。AVシステム1では、テレビ装置11が放送を受信し、その映像をモニタ31が表示し、その音声をスピーカアレイ装置13が放音する。
また、以下の説明では、5chサラウンドシステムにおいて、フロントの左チャンネルをL(Left)ch、フロントの右チャンネルをR(Right)ch、センタ(中央)チャンネルをC(Center)ch、リアの左チャンネルをSL(Surround Left)ch、及びリアの右チャンネルをSR(Surround Right)chと称する。
テレビ装置11は、映像再生装置に相当し、受信部21、デコーダ23、信号入力部25、映像処理部27、映像遅延部29、モニタ(表示部)31、音声信号処理部32、音声遅延部33、D/Aコンバータ34、パワーアンプ35、スピーカ36、音声出力部37、通信部39、記憶部41、操作部43、及び制御部45を備えている。
受信部21は、アンテナ20で受信した電波から、ユーザにより選局された周波数(物理チャンネル)の放送(コンテンツ)の信号を抽出して出力する。
デコーダ23は、信号処理として、放送信号をデコードして映像信号及び音声信号を抽出する。そして、映像信号を映像処理部27へ出力し、音声信号を音声処理部32へ出力する。
信号入力部25は、外部から映像信号や音声信号の入力を受け付けるインタフェースである。
映像処理部27は、映像処理手段に相当し、輝度・コントラスト等の各種の映像信号処理(映像再生処理)を行って、生成したRGBの映像信号を映像遅延部29へ出力する。
映像遅延部29は、制御部45から指示された時間だけ、RGBの映像信号の出力を遅延させてモニタ31へ出力する。
モニタ(表示部)31は、表示手段に相当し、映像遅延部29から供給されたRGBの映像信号に基づく映像を表示する。
音声信号処理部32は、第1音声処理手段に相当し、圧縮された音声信号の展開処理や、スピーカ36から放音させる音声に音声効果を付加するなどの音声信号処理(音声再生処理)を行って、音声遅延部33に出力する。
音声遅延部33は、遅延手段に相当し、制御部45から指示された時間だけ、音声信号の出力を遅延させてスピーカ36及び音声出力部37へ出力する。
D/Aコンバータ34は、音声遅延部33が出力したデジタル音声信号をアナログ音声信号に変換して出力する。
パワーアンプ35は、D/Aコンバータ34が出力したアナログ音声信号を増幅して出力する。
スピーカ36は、パワーアンプ35から供給された音声信号に基づく音声を放音する。
音声出力部37は、音声遅延部33から供給された音声信号を外部へ出力するためのインタフェースである。
通信部39は、第1通信手段に相当し、スピーカアレイ装置13と制御情報(コンテンツの再生タイミングに関する情報)を送受信する。
記憶部41は、テレビ装置11が映像処理や音声処理を行うのに必要な時間情報等を記憶している。
操作部43は、ユーザの操作を受け付けるユーザインタフェースである。
制御部45は、テレビ装置11の各部を制御したり演算を行ったりする。
スピーカアレイ装置13は、音声再生装置に相当し、信号入力部51、映像信号処理部53、信号出力部54、遅延処理部57、D/Aコンバータ61−1〜61−N、パワーアンプ63−1〜63−N、スピーカユニット65−1〜65−Nから成るスピーカアレイ65、A/Dコンバータ67、操作部69、記憶部71、通信部73、及び制御部75を備えている。
信号入力部51は、外部から音声信号や映像信号の入力を受け付けるインタフェースである。入力された信号は映像音声処理部53へ出力される。
映像音声処理部53は、第2音声処理手段に相当し、信号入力部51から入力された音声信号をデコード・エンコードしたり、ユーザが選択した音響効果を付加したりする処理を行って遅延処理部57に出力する。また、映像音声処理部53は、信号入力部51から入力された映像信号をデコード・エンコードして信号出力部54へ出力する。
信号出力部54は、外部接続機器へ映像信号を出力するインタフェースである。
遅延処理部57は、モニタ31に表示させる映像とスピーカアレイ65から出力させる音声がリップシンクするように、制御部75から指示された時間分、音声信号の出力を遅延させる。
スピーカアレイ65から出力された複数の音声ビームがユーザの視聴位置Lに到達するまでの経路長は、音声チャンネル毎に異なる。例えば、図2(A)に示すように、センタチャンネル(Cch)の音声ビームは、視聴位置Lに直接到達(伝播)するので経路長は最も短い。フロントチャンネル(Lch、Rch)の音声ビームは、部屋の壁に1回反射(壁反射)してから視聴位置Lに到達する。リアチャンネル(SLch、SRch)の音声ビームは、部屋の壁に2回反射(壁反射)してから視聴位置Lに到達するので、経路長が最も長い。そこで、遅延処理部57では、チャンネル毎に遅延時間を設定して、スピーカアレイ65から出力する複数の音声ビームが同時に視聴位置へ伝播(到達)するように出力タイミングを調整している。また、遅延処理部57は、ビーム制御手段に相当し、スピーカアレイ65から複数の音声ビームが出力されるように、チャンネル毎・スピーカユニット毎に音声を分配し、各スピーカユニットの放音タイミングを調整して、音声ビーム化した複数の音声を出力する。すなわち、図2(B)に示すように、スピーカアレイ装置13では、音声ビームの伝播距離が、Cch(直接音)、フロントチャンネル(フロント反射音)、リアチャンネル(リア反射音)の順に長くなるので、この順に遅延処理時間を短くして、視聴位置へ各チャンネルの音声ビームが同時に到達させている。
また、スピーカアレイ装置13では、スピーカアレイ65の配置やユーザの選択に応じて、複数のビームモードから好みのビームモードを選択することができる。例えば、図2(C)に示すように、部屋のコーナにスピーカアレイ65を設置した場合には、スピーカアレイ装置13は、センタチャンネル(Cch)の音声ビームとフロントチャンネル(Lch、Rch)の音声ビームを、直接音として視聴位置Lに到達するように放音する。また、スピーカアレイ装置13は、リアチャンネル(SLch、SRch)の音声ビームを、部屋の壁に1回反射(壁反射)してから視聴位置Lに到達するように放音する。
図2(A)に示したビームモードと図2(C)に示したビームモードでは、音声ビームの反射回数やスピーカアレイ装置13の配置が異なり、音声ビームの経路長も異なる。なお、図示は省略するが、スピーカアレイ装置13では、他のビームモードが選択された場合も、図2(A)や図2(C)に示したビームモードとは、音声ビームの経路長が異なる。
スピーカアレイ装置13では上記のように音声ビームの遅延処理を行う。そのため、モニタ31に表示させる映像とリップシンクするように音声信号を内蔵の音声出力部37から出力するテレビ装置11に、上記のスピーカアレイ装置13を接続すると、コンテンツの映像よりも音声の再生が遅れてしまい、リップシンクのずれが発生してしまう。
そこで、この発明では、音声ビームの到達タイミングに映像の出力タイミングを合わせることで、リップシンクのずれの発生を防止する。
なお、スピーカアレイ装置13では、ユーザの視聴位置に音声受信用のマイク(マイク66)を設置して、スピーカアレイ65からテスト音を放音させて、周知の方法でスピーカアレイ65と視聴位置との距離を測定したり、各チャンネルの音声ビームの最適な反射位置を決定したりする。また、各チャンネルの音声ビームの伝播距離(放音してからマイク66で収音するまでの時間(音声伝播時間))の情報に基づいて、各チャンネルの音声ビームの放音タイミングを決定する。
図1に示すように、D/Aコンバータ61−1〜61−Nは、遅延処理部57が出力したデジタル音声信号をアナログ音声信号に変換して出力する。
パワーアンプ63−1〜63−Nは、D/Aコンバータ61−1〜61−Nが出力したアナログ音声信号を増幅して出力する。
スピーカアレイ65は、放音手段に相当し、スピーカユニット65−1〜65−Nを1つのパネルに、マトリックス状・ライン状・ハニカム状など所定の配列で配置したものである。スピーカユニット65−1〜65−Nは、パワーアンプ63−1〜63−Nが増幅した音声信号を音声に変換して放音する。
A/Dコンバータ67は、マイク66で収音されたテスト用のアナログ音声をデジタル音声に変換して、制御部75に出力する。
操作部69は、ユーザからのスピーカアレイ装置13に対する設定操作等を受け付けて、その操作に応じた信号を制御部45に出力する。
記憶部71は、スピーカユニットの設定パターン等を記憶している。制御部75は操作部69で受け付けた操作に応じたデータを読み出す。また、記憶部71は、音声の再生処理に必要な時間の情報、すなわち音声ビームの遅延処理に必要な時間の情報や音声が視聴位置に伝播するまでの時間等の情報(音声処理時間の情報すなわち再生処理時間情報)を記憶する。
通信部73は、第2通信手段に相当し、テレビ装置11と制御情報を送受信する。
制御部75は、スピーカアレイ装置13の各部を制御したり演算を行ったりする。
テレビ装置11の音声出力部37は、スピーカアレイ装置13の信号入力部51とケーブル12により接続されている。また、テレビ装置11の通信部39は、スピーカアレイ装置13の通信部73とケーブル14により接続されている。
図3は、本発明の第1実施形態に係るAVシステムにおける映像処理と音声処理のタイミングチャートである。図3(A)は従来のAVシステムのタイミングチャートで、図3(B)・図3(C)・図3(D)・図3(E)は本発明のタイミングチャートである。
既に述べたように、従来のテレビ装置は、内蔵モニタへの映像の表示と、内蔵スピーカや内蔵の音声出力端子からの音声信号の出力と、が一致するように(リップシンクするように)、音声信号の出力を遅延させていた。そのため、AVアンプやスピーカアレイ装置で音響効果を付加すると、図3(A)に示すように、音響効果を付加するための信号処理に必要な時間分だけ映像の表示よりも音声の放音が遅れてしまう(リップシンクのずれが発生してしまう)という問題があった。
そこで、本発明のAVシステム1では、スピーカアレイ装置(AVアンプ)13で音声信号の処理に必要な時間(音声処理時間)の情報(遅延量)や、テレビ装置11で映像信号の処理に必要な時間(映像処理時間)の情報(遅延量)や音声信号の処理に必要な時間(音声処理時間)の情報(遅延量)を相手(接続装置)に通知することで、テレビ装置11で音声信号や映像信号の遅延時間を調整する。これにより、テレビ装置11のモニタ31への映像表示タイミングと、スピーカアレイ装置13のスピーカアレイ65から出力した音声ビームが視聴位置に到達するタイミングと、を一致させることができる。
なお、スピーカアレイ装置13では、前記のように視聴位置へ各チャンネルの音声ビームが同時に到達するように、音声を視聴位置に到達させる時間を調整している。そのため、以下の説明では、スピーカアレイ装置13の音声処理時間は、音声を視聴位置に到達させる時間(音声伝播時間)を含むものとする。
まず、AVシステム1では、スピーカアレイ装置13で必要な音声信号の処理時間(遅延量)に関する情報を、スピーカアレイ装置13からテレビ装置11へ通知するように構成する。この情報は、例えばHDMI(登録商標)のCECによりスピーカアレイ装置13からテレビ装置11へ通知するように、ベンダコマンドとして設定する。また、この情報の通知は、HDMI(登録商標)に限らず、例えばRS−232C等、スピーカアレイ装置13からテレビ装置11へ情報を送信することが可能な接続線を用いることも可能である。
テレビ装置11の制御部45は、
(テレビ装置11での音声信号の処理時間)+(スピーカアレイ装置13での音声信号の処理時間及び音声伝播時間)<(テレビ装置11での映像信号の処理時間)
の場合には、図3(B)に示すように、
(テレビ装置11での音声信号の処理時間)+(テレビ装置11での音声信号の遅延時間)+(スピーカアレイ装置13での音声信号の処理時間及び音声伝播時間)=(テレビ装置11での映像信号の処理時間)
となるように、テレビ装置11での音声信号の遅延時間を音声遅延部33に設定する。すなわち、テレビ装置11側での音声信号の遅延量(音声信号を遅延させる時間)を減少させる処理を行う。
また、テレビ装置11の制御部45は、
(テレビ装置11での音声信号の処理時間)+(スピーカアレイ装置13での音声信号の処理時間及び音声伝播時間)>(テレビ装置11での映像信号の処理時間)
の場合には、図3(C)に示すように、映像の再生タイミングを、音声処理時間の総和と映像処理時間との差分だけ遅延させる。すなわち、
(テレビ装置11での音声信号の処理時間)+(スピーカアレイ装置13での音声信号の処理時間及び音声伝播時間)=(テレビ装置11での映像信号の処理時間)+(テレビ装置11での映像信号の遅延時間)
となるように、テレビ装置11での映像信号の遅延時間を映像遅延部29に設定する。すなわち、テレビ装置11側で映像信号を遅延させる処理を行う。
一般的に、音声信号の処理時間の方が映像信号の処理時間よりも短いが、スピーカアレイ装置が視聴位置に複数の音声ビームが同時に到達(伝播)するように遅延処理を行ったり、テレビ装置11においてゲームモードが選択されたりした場合には、音声信号の処理時間の方が映像信号の処理時間よりも長くなる。
この場合には、テレビ装置11及びスピーカアレイ装置13を以下のように動作させる。図4は、AVシステムの処理動作を説明するためのフローチャートである。ここで、テレビ装置11の通信部39とスピーカアレイ装置13の通信部73はHDMI(登録商標)のCECにより接続されているものとする。
テレビ装置11の制御部45は、通信部39を介してスピーカアレイ装置13に、音声信号処理時間情報の通知が可能か否かを確認する(s1)。
スピーカアレイ装置13の制御部75は、テレビ装置11から問い合わせがあるまでは、待機している(s11:N)。制御部75は、テレビ装置11から問い合わせがあると(s11:Y)、音声信号処理時間情報の通知機能を備えておらず通知できない場合には(s12:N)、その旨を通知する(s13)。そして、音声信号が入力されるまで待機する(s16:N)。
テレビ装置11の制御部45は、スピーカアレイ装置13から回答があるまで待機している(s2:N)。制御部45は、スピーカアレイ装置13から回答があり(s2:Y)、スピーカアレイ装置13が音声信号処理時間情報の通知機能を備えていない場合には(s3:N)、映像表示と音声信号の出力のタイミングが同時になるように設定する(s4)。そして、制御部45は、ユーザにより選択されたチャンネルの放送信号を受信して音声信号をスピーカアレイ装置13に出力し、映像をモニタに表示させる(s5)。
スピーカアレイ装置13の制御部75は、音声信号の入力が有ると(s16:Y)、音声を放音する(s17)。
一方、スピーカアレイ装置13の制御部75は、音声信号処理時間情報の通知機能を備えており通知可能な場合には(s12:Y)、以下の処理を行う。すなわち、制御部75は、現在設定されている音声信号の処理時間情報を記憶部71から読み出す(s14)。そして、制御部75は、音声信号処理時間情報を通知可能な旨と音声信号の処理時間情報を、通信部73を介してテレビ装置11へ通知する(s15)。
テレビ装置11の制御部45は、スピーカアレイ装置13から回答があり(s2:Y)、スピーカアレイ装置13が音声信号処理時間情報の通知機能を備えている場合には(s3:Y)、以下の処理を行う。すなわち、制御部45は、音声信号の処理時間情報に基づいて、テレビ装置11の映像表示タイミングとスピーカアレイ装置13が出力する音声ビームが視聴位置に到達するタイミングが同時になるように再生処理時間情報を算出する。そして、映像遅延部29または音声遅延部33に遅延時間を設定する(s6)(図3(B),(C)を参照)。
テレビ装置11の制御部45は、ユーザにより選択されたチャンネルの放送信号を受信して、音声信号をスピーカアレイ装置13に出力し、映像をモニタに表示させる(s7)。
スピーカアレイ装置13の制御部75は、音声信号の入力が有ると(s16:Y)、音声を放音する(s17)。
また、スピーカアレイ装置13の制御部75は、ユーザが操作部69を操作して音響効果の設定や音声ビームの本数や視聴位置を変更したことを検出した場合には(s18:Y)、この操作により変更された処理時間をテレビ装置11へ通知する(s19)。
テレビ装置11の制御部45は、スピーカアレイ装置13からの処理時間の変更通知を検出すると(s8:Y)、ステップs6の処理を実行する。
また、スピーカアレイ装置13の制御部75は、ユーザが操作部69を操作して電源オフ(終了)を設定したことを検出した場合には(s20:Y)、その旨をテレビ装置11へ通知して(s21)、処理を終了する。
テレビ装置11の制御部45は、スピーカアレイ装置13から終了設定が通知されたことを検出すると(s9)、処理を終了する。
次に、AVシステム1は、テレビ装置11で必要な映像信号の処理時間と音声信号の処理時間の差分情報を、スピーカアレイ装置13へ通知するように構成しても良い。また、スピーカアレイ装置13がテレビ装置11の記憶部41に記録された情報(EDID)を読み取るように構成することも可能である。この場合、テレビ装置11は、音声信号の出力タイミングを遅延させずに出力し、スピーカアレイ装置13が音声信号の出力タイミングを遅延させるように構成する(図3(D)参照)。すなわち、スピーカアレイ装置13側での音声信号の遅延時間を増やす処理を行う。なお、EDID等の情報の送受信については、HDMI(登録商標)のCECのベンダコマンドとして設定することが可能である。また、この情報の通知は、HDMI(登録商標)に限らず、例えばRS−232C等、スピーカアレイ装置13からテレビ装置11へ情報を送信することが可能な接続線を用いることも可能である。
次に、図1に示したAVシステム1では、テレビ装置11で受信した放送のコンテンツの映像をモニタ31に表示させ、このコンテンツの音声をスピーカ36及びスピーカアレイ65から放音させるように構成することも可能である。この構成は、例えば、リビングルームで視聴者Aがモニタ31を見ながらテレビ装置11が内蔵するスピーカ36からの音声を聞き、リビングルームに隣接するキッチンで視聴者Bが、リビングルームに設置されたスピーカアレイ65からの音声(ビーム音声)を聞く場合に好適である。
このように構成する場合には、モニタ31に表示させる映像と、スピーカ36から放音させる音声と、がリップシンク(同期)するように調整する必要がある。また、視聴者Bには、スピーカアレイ65の音声だけでなく、スピーカ36からの音声も漏れ聞こえる。そのため、スピーカアレイ65から放音させる音声と、スピーカ36から放音させる音声と、を同期させる必要がある。
そのため、テレビ装置11の音声遅延部33は、スピーカ36から音声を放音させるためにD/Aコンバータ34に出力する音声信号と、音声出力部37に出力する音声信号と、に対してそれぞれ遅延させて、上記のように各音声と映像を同期させる。
すなわち、図3(E)に示すように、テレビ装置11の制御部45は、モニタ31が映像を表示するのと同じタイミングで内蔵するスピーカ36から音声を放音するように、音声遅延部33に遅延時間(遅延量)Aを設定して遅延処理を実行させて、その音声信号をスピーカ36に出力させる。また、制御部45は、視聴者Bの視聴位置で、スピーカアレイ65からの音声とスピーカ36からの音声が同期して聞こえるように、すなわち、スピーカ36とスピーカアレイ65が同時に音声を放音するように音声遅延部33に遅延時間(遅延量)Bを設定して遅延処理を実行させて、その音声信号を音声出力部37から出力させる。
なお、図3に基づいて説明した上記の各形態では、テレビ装置11が放送波を受信してコンテンツを再生する場合を説明したが、これに限るものではなく、他の構成であっても良い。例えば、信号入力部にDVDプレーヤやビデオ再生装置などを接続して、これらの機器で再生したコンテンツの映像信号・音声信号を信号入力部25から入力するようにしても良い。
図2に基づいて説明したように、スピーカアレイ装置13の設置場所や設定されたビームモードに応じて、スピーカアレイ装置13の音声処理時間(映像音声処理部53や遅延処理部57で音声信号を処理する時間やスピーカアレイ65から放音した音声が視聴位置に到達するまでの時間)が異なる。そのため、スピーカアレイ装置13が、ビームモードに応じた音声処理時間を、予め記憶部71で記憶しておくように構成する。また、スピーカアレイ装置13は、設定されたビームモードに応じた音声処理時間の情報を、テレビ装置11と送受信するように構成する。これにより、スピーカアレイ装置13において、どのビームモードが設定されたとしても、テレビ装置11のモニタ31に表示される画像と、スピーカアレイ65から放音される音声と、が確実に同期する。
[第2実施形態]
次に、本発明の第2実施形態に係るAVシステム2について説明する。図5は、本発明の第2実施形態に係るAVシステムの概略構成を示すブロック図である。
AVシステム2は、テレビ装置11、スピーカアレイ装置13、及びDVDプレーヤ(ソース機器)15を備えた構成である。
テレビ装置11及びスピーカアレイ装置13は、図1に示した構成と同様であるため、詳細な説明を省略する。第2実施形態に係るAVシステム2では、DVDプレーヤ15からテレビ装置11及びスピーカアレイ装置13へコンテンツを送信する点が第1実施形態と異なる。
DVDプレーヤ15は、DVD再生部81、デコーダ83、映像信号出力部85、音声信号出力部87、通信部89、制御部91、記憶部93、及び操作部95を備えている。
DVD再生部81は、DVDに記録されたコンテンツの情報信号を読み出して、デコーダ83に出力する。
デコーダ83は、コンテンツの情報信号をデコードして、映像信号及び音声信号を抽出する。そして、デコーダ83は、映像信号を映像信号出力部85へ出力し、音声信号を音声信号出力部87へ出力する。
映像信号出力部85は、デコーダ83から供給された映像信号を外部へ出力するためのインタフェースである。
音声信号出力部87は、デコーダ83から供給された音声信号を外部へ出力するためのインタフェースである。
通信部89は、他の装置と制御情報を送受信することが可能である。
制御部91は、DVDプレーヤ15の各部を制御する。
記憶部93は、DVDプレーヤ15が映像処理を行うのに必要な時間情報等を記憶している。
操作部95は、DVDプレーヤ15に対するユーザの操作を受け付ける。
DVDプレーヤ15の映像信号出力部85は、テレビ装置11の信号入力部25とケーブル16により接続されている。また、DVDプレーヤ15の音声信号出力部87は、スピーカアレイ装置13の信号入力部51とケーブル17により接続されている。さらに、テレビ装置11の通信部39は、スピーカアレイ装置13の通信部73とケーブル14により接続されている。
図5に示したAVシステム2においては、DVDプレーヤ15で再生したDVDのコンテンツの映像信号をテレビ装置11へ出力し、音声信号をスピーカアレイ装置13へ出力する。また、テレビ装置11の通信部39とスピーカアレイ装置13の通信部73は、ケーブル14を介して、テレビ装置11における映像信号の処理時間情報と、スピーカアレイ装置13における音声信号の処理時間情報と、を送受信する。そして、(映像信号の処理時間)>(音声信号の処理時間)の場合には、スピーカアレイ装置13で、両信号の処理時間の差分を算出し、差分の時間だけ音声信号の出力タイミングを遅延させる。また、(映像信号の処理時間)<(音声信号の処理時間)の場合には、テレビ装置11で、両信号の処理時間の差分を算出し、差分の時間だけ映像信号の出力タイミングを遅延させる。このように処理することで、DVDプレーヤ15でコンテンツを再生した場合でも、リップシンクのずれの発生を防止できる。
以上、第1、第2実施形態において大きく二つのリップシンクの方法を説明したが、実際にシステムとして使用する際は、これらを適宜切り替えることも可能である。つまり、スピーカアレイ装置13への入力コンテンツが、ソース機器からの場合は、第2実施形態の方法を採用し、それ以外のTV装置側等から入力される場合は、第1実施形態の方法でリップシンクさせると良い。
更に、本発明の第2実施形態に係るAVシステム2では、テレビ装置11とスピーカアレイ装置13は対等な関係だけでなく、両装置を主従の関係に設定することも可能である。すなわち、図5に示したAVシステム2において、テレビ装置11を主(マスタ)、スピーカアレイ装置13を従(スレーブ)とした場合には、以下のように処理を行う。まず、テレビ装置11の制御部45は、スピーカアレイ装置13の記憶部71に記録された音声信号の処理時間情報を読み出す。続いて、制御部45は、記憶部41から、映像信号の処理時間情報を読み出す。さらに、両信号の処理時間の差分を算出する。そして、制御部45は、(映像信号の処理時間)>(音声信号の処理時間)の場合には、スピーカアレイ装置13に対して、差分時間分だけ音声信号の出力タイミングを遅延させるように指示する。
また、制御部45は、(映像信号の処理時間)<(音声信号の処理時間)の場合には、両信号の処理時間の差分を算出して、映像遅延部29に差分時間分だけ映像信号の出力タイミングを遅延させる。なお、図5に示したAVシステム2において、スピーカアレイ装置13を主(マスタ)、テレビ装置11を従(スレーブ)とした場合には、上記の処理においてテレビ装置11とスピーカアレイ装置13の処理を逆に読み替えた処理を行うように設定すれば良い。
[第3実施形態]
次に、図6は、本発明の第3実施形態に係るAVシステムの概略構成を示すブロック図である。図7は、AVシステムにおける映像処理と音声処理のタイミングチャートである。本発明の第3実施形態に係るAVシステム3では、DVDプレーヤ15’からスピーカアレイ装置13’を経由してテレビ装置11へコンテンツを送信する点が第1実施形態及び第2実施形態と異なる。
図6に示すAVシステム3において、テレビ装置11は、図1及び図5に示した構成と同様である。また、スピーカアレイ装置13’は、図5に示したスピーカアレイ装置13と一部を除き同様の構成である。また、DVDプレーヤ15’は図5に示したDVDプレーヤ15と一部を除き同様の構成である。そのため、各装置の構成については、相違点のみ説明する。
スピーカアレイ装置13’は、スピーカアレイ装置13の信号入力部51を信号入力部51’に置き換えたものである。図1・図5に示したスピーカアレイ装置13では、信号入力部51には音声信号のみが入力されていたが、図6に示した信号入力部51’には、映像信号・音声信号が入力される。
DVDプレーヤ15’は、DVDプレーヤ15の映像信号出力部85及び音声信号出力部87を音声・映像信号出力部86に置き換えたものである。音声・映像信号出力部86は、デコーダ83から供給された音声信号及び映像信号を外部へ出力するためのインタフェースである。
AVシステム3では、DVDプレーヤ15’ (ソース機器)の音声・映像信号出力部86は、スピーカアレイ装置13’ (リピータ機器)の信号入力部51’とケーブル18−1により接続されている。また、DVDプレーヤ15’の通信部89は、スピーカアレイ装置13’の通信部73とケーブル18−2で接続されている。
また、スピーカアレイ装置13’(リピータ機器)の信号出力部54は、テレビ装置11(シンク機器)の信号入力部25とケーブル14−1で接続されている。また、スピーカアレイ装置13’の通信部73は、テレビ装置11の通信部39とケーブル14−2で接続されている。
つまり、AVシステム3は、ソース機器、1つまたは複数のリピータ機器、及びシンク機器が直列接続され、信号を後段の機器に出力する構成である。
なお、リピータ機器としては、AVアンプやスピーカアレイ装置の他に、信号切替器などがある。
なお、図6では、ケーブル14−1・ケーブル14−2を別々に示したが、実際には、1本のHDMI(登録商標)ケーブル14であり、ケーブル18−1・ケーブル18−2も1本のHDMI(登録商標)ケーブル18である。
図6に示したような構成のAVシステム3でリップシンクさせるためには、各装置での映像信号の処理時間と音声信号の処理時間、または、両信号の処理時間の差分を他の接続装置に知らせるように構成すると良い。
例えば、DVDプレーヤ15’で再生したコンテンツの映像をテレビ装置11で表示させ、スピーカアレイ装置13’において、このコンテンツの音声に音響効果を付加して、テレビ装置11のスピーカから放音させる場合を説明する。この場合には、図7に示すように、スピーカアレイ装置13’では、音声信号に音響効果を付加し、映像信号に対しては時間が必要な処理を施さない。そのため、スピーカアレイ装置13’においては、音声信号の処理時間の方が、映像信号の処理時間よりも長くなる。一方、テレビ装置11においては、モニタに映像を表示させるために映像信号処理を行うが、音声信号に対しては時間が必要な処理を施さない。そのため、テレビ装置11においては、映像信号の処理時間の方が、音声信号の処理時間よりも長くなる。また、この例ではAVシステム3全体で見た場合には、音声信号の処理時間の方が映像信号の処理時間よりも長い。そこで、AVシステム3では、構成装置のいずれかが主(マスタ)となって、他の接続装置と通信部により通信を行って、各装置での映像信号の処理時間と音声信号の処理時間、または、両信号の処理時間の差分を接続装置から取得する。また、主となる装置が、制御部でAVシステム3全体の映像信号の処理時間と音声信号の処理時間の差分を算出する。そして、この差分情報に基づいてリップシンクのずれが発生しないように、各装置の遅延処理用のバッファメモリ量に応じて、いずれかの装置で、映像信号または音声信号の遅延処理を行うように構成すると良い。
これにより、各装置の遅延処理用のバッファメモリ搭載量を抑制することが可能になる。すなわち、図7に示したように、装置毎の映像信号と音声信号の処理時間の差分はかなり大きい。そのため、従来のテレビ装置のように装置毎の差分が無くなるように調整可能なだけのバッファメモリを、各装置に設ける場合には、システム全体としてのバッファメモリ量が多大となる。しかし、本発明では、AVシステム3全体として映像信号と音声信号の処理時間の差分を求めて、ある装置でまとめて遅延処理を行う。そのため、システム全体として、バッファメモリ量を抑制できる。つまり、各装置に搭載するバッファメモリ量を少なくしても、システム全体として差分が無くなるように調整することができる。
次に、DVDプレーヤ15’(ソース機器)で再生したコンテンツの映像をテレビ装置11で表示させ、このコンテンツの音声に音響効果を付加して、スピーカアレイ装置13’のスピーカアレイ65から放音させる場合を説明する。この構成の場合には、音声信号をテレビ装置11から放音しないが、テレビ装置11における映像信号の処理時間と音声信号の処理時間の差分情報をスピーカアレイ装置13’に通知してしまう。
上記のように構成する場合、すなわち、視聴する際に使用する最終的な映像表示装置と音声再生装置が異なる場合には、いずれか早く出力する装置以降(下流)の装置の遅延量は無視するように設定する。例えば、前記のように、DVDプレーヤ15’(ソース機器)→スピーカアレイ装置13’(リピータ機器)→テレビ装置11(シンク機器)の構成において、スピーカアレイ装置13’が音声を放音し、テレビ装置11が映像を表示する場合、テレビ装置11の音声遅延量を無視して、0秒とする。
次に、図6に示したAVシステム3では、さらに、各装置において映像信号及び音声信号を遅延させることが可能な最大時間(遅延最大量(バッファメモリ量))の情報を通信部によりマスタとなる装置に知らせ、マスタとなる装置がこの情報に基づいて各装置に分担量を通信部により通知するように構成することも可能である。
このように構成することで、各装置で処理可能な遅延時間がわかるので、いずれかの装置が主(マスタ)となって、AVシステム3全体の信号遅延を各装置のバッファメモリ量に応じて、分担させることが可能になる。したがって、映像信号と音声信号の処理に必要な時間の差分をAVシステム全体でみることで、差分を小さくすることができるだけでなく、差分の補正を各装置に分散できるので、各装置に設けるバッファメモリの量を抑制することができる。
なお、図6にはAVシステムの1例として、DVDプレーヤ15’(ソース機器)→スピーカアレイ装置13’(リピータ機器)→テレビ装置11(シンク機器)を直列に接続した構成を示したが、本発明はこれに限るものではなく、他の構成であっても良い。例えば、図1に示したAVシステム1において、テレビ装置11の信号入力部25にDVDプレーヤやビデオ再生装置などのソース機器を接続することが可能である。この場合、テレビ装置11がリピータ機器となり、スピーカアレイ装置13がシンク機器となる。
また、図6に示したAVシステム3において、信号入力部51に切替器(セレクタ)を接続し、この切替器に複数のソース機器を接続することが可能である。複数のソース機器としては、例えば、DVDプレーヤ、ディスクゲーム機、ハードディスクレコーダ等が好適である。このように接続した場合には、ソース機器とシンク機器の間に、2台のリピータ機器が接続されることになる。
なお、上記各実施形態において、映像信号や音声信号の処理に必要な時間や、両信号の処理時間の差分は、テレビ装置11のモニタ31に表示させる映像の解像度や音場処理のモード等、映像や音声の設定によって異なる。
例えば、映像信号の処理時間は、映像解像度、ゲームモード、プログレッシブ変換(IP変換)、スケーリング、輪郭強調などの画像補正処理等により異なる。また、音声信号の処理時間は、音声フォーマット(圧縮系、非圧縮系)、DSPモード、音声ビームモード、音声ビームの経路長等により異なる。
前記のように、スピーカアレイ装置13’において、5チャンネルの音声ビームを出力する場合、センタチャンネルは、視聴位置Lに直接到達するので経路長は短い。一方、リアチャンネル(SLch、SRch)は、部屋の壁に2回反射してから視聴位置Lに到達するので、経路長は長くなる。また、設置する部屋の広さによっても経路長が異なるため、部屋のサイズに応じた遅延量(音声信号処理時間)を記憶しておくか、装置の設置時に遅延量(音声信号処理時間)を算出して、記憶部で記憶しておく必要がある。
そのため、本発明では、ユーザにより選択された映像や音声の設定(モード)に応じ映像信号や音声信号の処理時間を記憶している。
テレビ装置11やスピーカアレイ装置13’は、映像の解像度や音場処理のモード等に応じた映像信号や音声信号の処理時間(遅延量)を、図8に示すようなテーブル形式で記憶部に記憶している。
図8は、映像の解像度や音場処理のモード等に応じた映像信号や音声信号の処理時間を管理するためのテーブルである。なお、図8に示した処理時間(遅延量)は、説明を容易に理解できるように示した例である。
例えば、図8(A)に示すように、テレビ装置11において、入力解像度が480i、出力解像度が480iの場合には映像信号の処理時間(遅延量)は5msecである。一方、入力解像度が480i、出力解像度が1080iの場合には映像信号の処理時間(遅延量)は90msecである。
また、図8(B)に示すように、スピーカアレイ装置13’において、音声信号に付加する音響効果として、スポーツモードの場合には、音声信号の処理時間(遅延量)は40msecである。また、音響効果としてはコンサートホールモードを選択した場合には、音声信号の処理時間(遅延量)は60msecである。
さらに、図8(C)に示すように、音声信号のフォーマットがAACの場合には、音声信号の処理時間(遅延量)は15msecであり、音声信号のフォーマットがMP3の場合には、音声信号の処理時間(遅延量)は20msecである。
このように、映像の解像度によって映像信号処理時間が異なり、また、音声プログラムや音声フォーマットによって音声信号処理時間が異なる。したがって、選択された解像度や音声プログラム等に応じて遅延量を変更する必要がある。
なお、HDMI(登録商標)のベンダコマンドを用いて、音声信号や映像信号の処理時間を管理する場合には、以下のようにすると良い。例えば、EDID内に、音声信号や映像信号の処理時間情報を格納すると良い。また、HDMI(登録商標) Info Frame、HDMI(登録商標) CEC、またはDDCのいずれかを用いて、遅延量情報、または遅延量が変化したことを伝達するように構成する。
なお、上記説明では、映像信号や音声信号の処理時間(遅延量)や両信号の処理時間の差分を記憶部で記憶する構成について説明した。しかし、本発明はこれに限るものではなく、他の構成であっても良い。例えば、映像及び音声を同時に出力するようにテストデータが記録されたテストディスク、又は、テスト信号発生器をソースとし、テレビ画面上に受光センサを設置し、ユーザの視聴位置に音声受信用のマイク(マイク66)を設置する。そして、両者の変化(トリガ)タイミングにより、遅延量、またはその差を実測し、上記設定を行うようにする。
なお、以上の説明では、スピーカアレイ装置を用いた場合を例に挙げて説明したが、本発明はこれに限るものではなく、AVアンプに、1台または複数台のスピーカを接続したものをスピーカアレイ装置の代わりに用いても、もちろん問題無い。
[第4実施形態]
次に、本発明の第4実施形態に係るAVシステムについて説明する。第1実施形態〜第3実施形態では、映像と音声のずれをなくす処理について説明したが、以下では、同じコンテンツの音声を複数のAV装置で再生する場合において、AV装置間のずれをなくす処理を説明する。図9は、従来のAVシステムの概略構成と、処理時間の関係を示す図である。図10は、本発明の第4実施形態に係るAVシステムの概略構成を示すブロック図である。図11は、本発明の第4実施形態に係るAVシステムにおける処理時間の関係を示す図である。
図9(A)に示すAVシステム4は、音声再生装置(ソース機器)であるミュージックプレーヤ10と、第1のAV装置であるスピーカアレイ装置13と、第2のAV装置であるサブウーファ19と、を備えている。ミュージックプレーヤ10は、スピーカアレイ装置13とサブウーファ19にコンテンツの音声信号をブロードキャストする。スピーカアレイ装置13とサブウーファ19は、それぞれ、コンテンツの音声を再生する。
従来のAVシステム4では、スピーカアレイ装置13からサブウーファ19に対してコンテンツの再生に必要な時間の情報を送信する構成や、サブウーファ19が音声を遅延させる構成を備えていなかった。また、サブウーファ19が行う音声再生処理に必要な時間は、スピーカアレイ装置13に比べて短く(僅かであり)、DSP処理のように時間の必要な処理を行っていない。また、前述のように、スピーカアレイ装置13では、チャンネルに応じて音声ビームを、直接または1回乃至2回壁に反射させて、聴取者の聴取位置に同時に伝播(到達)させるので、音声処理時間はサブウーファ19よりもかなり長い。そのため、図9(B)に示すように、サブウーファ19が放音する音声(低音)の方が、スピーカアレイ装置13が放音する音声(音声ビーム)よりも先に聴取位置に伝播していた。
このような問題の発生を防止するために、AVシステム4を改良したAVシステム4’では、以下の構成を設けている。すなわち、図10に示すように、スピーカアレイ装置13は、コンテンツの再生処理に必要な時間の情報、すなわち音声ビームの遅延処理に必要な時間の情報やコンテンツの音声が視聴位置に到達するまでの時間等の情報(再生処理時間情報)をサブウーファ19に送信する構成(通信部73)を備えている。また、サブウーファ19は、スピーカアレイ装置13が送信した再生処理時間情報を受信する構成(通信部111)と、スピーカアレイ装置13から受信した再生処理時間情報に基づいて、スピーカから放音する音声を遅延させる遅延回路を備えている。
このような構成を備えることで、図11に示すように、サブウーファ19から放音される音声が、最も遅い再生タイミングのAV装置であるスピーカアレイ装置13から放音する音声ビームと同期するように、つまり、同時に聴取位置に伝播するように、サブウーファ19から放音される音声を遅延させることができる。これにより、聴取者に違和感を与えることなく、サラウンド音声を放音することができる。
なお、上記のAVシステム4’では、サブウーファ19は、スピーカアレイ装置13よりも再生処理に必要な時間が常に短いことが予めわかっている。このような場合には、再生処理に必要な時間が短いAV装置であるウーファ19は、他のAV装置であるスピーカアレイ装置13からコンテンツの再生を遅延させる情報を受信して、コンテンツの再生を遅延させる構成のみを備えるように構成する。これにより、他のAV装置とコンテンツの再生タイミングを調整しなくても良いので、構成を簡略化できる。
一方、複数のAV装置のうち、再生処理に必要な時間が短いAV装置が特定できない場合には、初期設定の時に、各AV装置間で再生処理時間情報を送受信し、この情報に基づいて再生処理に必要な時間が短いAV装置を確定する。そして、コンテンツの再生処理に必要な時間が短いAV装置が、他のAV装置からの再生処理時間情報を受信して、コンテンツの再生を遅延させるように構成する。
AVシステム4’の各装置の詳細な構成は図10に示す通りである。ミュージックプレーヤ10は、記憶部101、再生部103、及び通信部105を備えている。スピーカアレイ装置13は、図1に示した構成と同様の構成を備えている。また、サブウ−ハ19は、通信部111、低音生成部113、遅延回路115、アンプ117、及びスピーカ119を備えている。
ミュージックプレーヤ10は、再生部103が記憶部101からコンテンツのデータ(2チャンネルの音声データ)を読み出して再生する。通信部105は、再生部103が再生した音声信号を電波に重畳して、ブロードキャストで送信する。スピーカアレイ装置13は、ミュージックプレーヤ10がブロードキャストした2チャンネルの音声信号を通信部73で受信すると、映像音声処理部53で、5チャンネルの音声信号(サラウンド音声信号)に拡張する音声処理(DSP処理)を行う。また、遅延処理部57で、聴取位置に伝播(到達)するのが最も遅いチャンネルに合わせて、他のチャンネルの音声信号を遅延処理する。このとき、スピーカアレイ装置13は、通信部73により、再生処理時間情報をサブウ−ハ19に送信する。
スピーカアレイ装置13は、聴取位置の周囲に各チャンネルの音声ビームが伝播するように、再生処理時間情報に基づいて遅延処理部57で所定の遅延処理を行って、チャンネル毎に音声ビームを生成して、スピーカアレイ65から音声ビームを出力させる。
サブウ−ハ19は、ミュージックプレーヤ10がブロードキャストした2チャンネルの音声信号を通信部111で受信すると、低音生成部113で、2チャンネルの音声信号を加算し、低音信号のみを抽出する。そして、遅延回路115で低音信号をスピーカアレイ装置13から送信された再生処理時間情報に基づいて遅延させて、アンプ117で増幅してスピーカ119から放音させる。
次に、本願発明では、以下に説明するように構成することも可能である。図12及び図13は、本願発明のさらに別の構成を示す概念図である。
図12(A)に示すように、AVシステム5は、ソース機器であるDVDプレーヤ15’、スピーカアレイ装置13−1、スピーカアレイ装置13−2、及びサブウーファ19を備えている。なお、図12及び図13に示す各装置の構成は、図1・図5・図6・図10に示したものと大半が同様であるため、説明を省略する。図12及び図13に示す各装置は、ブロードキャストにより音声信号や再生処理延時間情報を送受信する通信部を備えているものとする。
DVDプレーヤ15’は、スピーカアレイ装置13−1、スピーカアレイ装置13−2、及びサブウーファ19に対して、7.1チャンネルの音声信号201をブロードキャストする。スピーカアレイ装置13−1とスピーカアレイ装置13−2は、2台で7チャンネル分の音声ビームを生成する。例えば、スピーカアレイ装置13−1は、Cch、Lch、Rchの音声ビームを生成し、スピーカアレイ装置13−2は、SLch、SRch、BLch、BRchの音声ビームを生成するように構成する。スピーカアレイ装置13−1とスピーカアレイ装置13−2は、お互いの再生処理時間情報203Aを送受信して、聴取位置への到着が最も遅い音声ビームに合わせて他の音声ビームに遅延処理を行う。また、スピーカアレイ装置13−1とスピーカアレイ装置13−2のいずれかがマスタになって、サブウーファ19に対して再生処理時間情報205Aを送信する(図12(A)では、スピーカアレイ装置13−1が送信している。)。このように構成することで、図10に示した構成と同様に、各装置における音声の放音タイミングを調整して、各チャンネルの音声が、聴取位置に同時に伝播(到達)するように設定することができる。
更に、図12(B)に示すように、スピーカアレイ装置の代わりに、AVアンプ装置とすることも可能である。この場合も、図12(A)の構成と同様に、お互いの再生処理時間情報203Bや再生処理時間情報205Bを送受信して、聴取位置への到着が最も遅い音声に合わせて他の音声ビームに遅延処理を行えば良い。
次に、図13(A)に示すように、複数の音声再生装置と映像再生装置とで遅延処理情報を送受信するように構成することも可能である。ここでのAVシステム7は、前述のAVシステム2に対してサブウーファ19を追加した構成となっている。この場合も、お互いの再生処理時間情報203Cや再生処理時間情報205Cを送受信して、視聴位置への到着が最も遅い音声に合わせて他の音声ビームに遅延処理を行い、視聴位置に音声が伝播するタイミングにテレビ11が映像を表示させる。これにより、視聴位置のユーザには、映像と音声が同期している(リップシンクしている)と感じさせることができる。
また、図13(B)に示すように、ソース機器からの映像と音声のコンテンツがスピーカアレイ装置を経由して、テレビ装置へ送信される構成において、サブウーファ19では、ソース機器(DVDプレーヤ15)からのブロードキャストにより送信された信号(ソース機器から直接受信した信号)202か、スピーカアレイ装置13からの信号(他のAV装置を経由して受信したリピート信号)202Bかに応じて、遅延時間(遅延量)を切り替えるように構成することも可能である。この場合、サブウーファ19が、どの機器から信号を受信する設定なのかをスピーカアレイ装置13が判断し、それに応じた再生処理時間情報205Dをサブウーファ19に送信する。そして、図13(A)の場合と同様に、視聴位置に音声が伝播するタイミングにテレビ11が映像を表示させる。これにより、システム全体で映像と音声が同期するようになり、視聴位置のユーザには、映像と音声が同期している(リップシンクしている)と感じさせることができる。
更なる別構成としては、スピーカアレイ装置13の制御部75(放音制御手段に相当)は、サブウーファ19(再生処理に必要な時間が短いAV装置)に対して、放音開始(ミュート解除)、及び放音終了(ミュート)を出力して放音開始タイミングを制御して、サブウーファ19はこの信号に応じて動作を切り替えるように構成しても良い。
スピーカアレイ装置13は、前記のようにDSP処理や遅延処理を行うので、サブウーファ19と比べて音声を放音するまでの時間が長い。特に、スピーカアレイ装置13は、電源をオンしてから放音するまでの起動時間が、サブウーファ19よりも長く、サブウーファ19に再生処理時間情報を送信する前に、サブウーファ19が起動する。そのため、サブウーファ19だけが先に低音を放音してしまうことになる。そこで、上記のように、スピーカアレイ装置13は、サブウーファ19に対して、放音開始(ミュート解除)、及び放音終了(ミュート)のコマンドを出力し、サブウーファ19はこの信号に応じて動作を切り替えるように構成する。
また、スピーカアレイ装置13は、サブウーファ19に対して、ボリューム設定コマンドを出力し、サブウーファ19はこの信号に応じて動作を切り替えるように構成することも可能である。この場合、サブウーファ19は、ボリューム設定コマンドをミュート解除と判断する。
このように構成することで、サブウーファ19が先に低音を放音するのを防止でき、スピーカアレイ装置13とサブウーファ19を同時に放音させることかできる。