JP2012060348A - 立体映像表示装置 - Google Patents

Abstract

【課題】映像の深度と音の深度とを自動的に合わせることのできる立体映像表示装置を提供すること。
【解決手段】複数チャンネルの音声信号を少なくとも視聴者の前方及び後方と前方左側及び前方右側とのいずれか一方又は両方に配置される複数のスピーカに出力すると共に，表示位置が異なる左目映像及び右目映像を表示することにより立体映像を視聴させる立体映像表示装置において，少なくとも２チャンネルの前記音声信号の差分（音の深度）を算出し，前記左目映像及び前記右目映像の表示位置に，前記算出された前記音声信号の差分に対応する予め定められたズレ量（映像の深度）を生じさせる。
【選択図】図４

Description

本発明は，表示位置が異なる左目映像及び右目映像を表示させることにより立体映像を視聴させる立体映像表示装置に関し，特に，映像の深度（立体感）と音の深度（立体感）とを合わせるための技術に関するものである。

従来から，表示位置が異なる左目映像及び右目映像を交互に液晶パネルに表示する立体映像表示装置（以下，表示装置という）が知られている。そして，視聴者は，その立体映像表示装置の左目映像及び右目映像の表示の切り替えに連動して視聴者の左目及び右目の視界を交互に有効化させる立体表示メガネ（以下，３Ｄメガネという）を用いることで立体映像を視聴することができる（例えば，特許文献１参照）。また，立体表示メガネを用いるのではなく，かまぼこ状のレンチキュラレンズを用いて視聴者の左目と右目とに異なる表示素子を見せることにより立体映像を視聴させる立体映像表示装置（例えば，特許文献２参照）や，視差バリアを用いて立体映像を視聴させる立体映像表示装置も知られている。
ここで，このような立体映像表示装置で表示される立体映像の深度，即ち映像の飛び出し量や奥行き量は，左目映像及び右目映像の表示位置のズレ量によって異なる。
一方，少なくとも２チャンネル以上の音声信号を複数のスピーカで個別に再生することで，音に奥行き（立体感）を持たせるサラウンド技術が知られている。具体的には，５．１ｃｈ，７．１ｃｈ，９．１ｃｈなどの複数チャンネルに対応する音声信号各々を，視聴者の前方や後方に配置された複数のスピーカで個別に再生するリアルサラウンドがある。また，視聴者の前方左側及び前方右側に配置された２つのスピーカにより擬似的にサラウンドを実現する擬似サラウンドも知られている。なお，以下では，音の奥行き（立体感）の程度を音の深度という。

特開２０１０−６２７６７号公報 特開平０７−２９８３０３号公報

しかしながら，立体映像表示装置によって表示される映像の深度と該立体映像表示装置によって再生される音の深度との程度が異なると，立体映像視聴時に十分な臨場感が得られない。
従って，本発明は上記事情に鑑みてなされたものであり，その目的とするところは，映像の深度と音の深度とを自動的に合わせることのできる立体映像表示装置を提供することにある。

上記目的を達成するために本発明は，複数チャンネルの音声信号を少なくとも視聴者の前方及び後方と前方左側及び前方右側とのいずれか一方又は両方に配置される複数のスピーカに出力すると共に，表示位置が異なる左目映像及び右目映像を表示することにより立体映像を視聴させる立体映像表示装置に適用されるものであって，少なくとも２チャンネルの前記音声信号の差分を算出する音声差分算出手段と，前記左目映像及び前記右目映像の表示位置に前記音声差分算出手段により算出された前記音声信号の差分に対応する予め定められたズレ量を生じさせる映像ズレ量調整手段とを備えてなることを特徴とする立体映像表示装置として構成される。
本発明によれば，音の深度（立体感）と映像の深度（立体感）とを自動的に合わせることができるため，より自然で臨場感あふれる立体映像を視聴者に視聴させることができる。
具体的に，前記スピーカが，少なくとも視聴者の前方及び後方それぞれに配置されるものである場合は，その前方及び後方のスピーカの出力信号の差で音の深度を判断することができる。例えば，出力音量の差や出力信号の位相差が大きい場合に音の深度が深いと判断することが可能である。そこで，この場合には，前記音声差分算出手段が，前記後方のスピーカに対応する前記音声信号から前記前方のスピーカに対応する前記音声信号を引いた差分値を算出するものであって，前記映像ズレ量調整手段が，前記音声差分算出手段により算出された差分値が大きいほど前記左目映像及び前記右目映像の表示位置のズレ量を大きくするものであることが考えられる。
また，前記スピーカが，少なくとも視聴者の前方左側及び前方右側それぞれに配置されるものである場合は，その前方左側及び前方右側のスピーカの出力信号の差で音の深度を判断することができる。そこで，この場合には，前記音声差分算出手段が，前記前方左側のスピーカに対応する前記音声信号と前記前方右側のスピーカに対応する前記音声信号との差分値を算出するものであって，前記映像ズレ量調整手段が，前記音声差分算出手段により算出された差分値が大きいほど前記左目映像及び前記右目映像の表示位置のズレ量を大きくするものであることが考えられる。
ここに，前記音声差分算出手段が，前記音声信号の瞬時値又は所定期間の積分値の差分を算出するものであることが考えられる。特に前記所定期間の積分値の差分を算出して，前記映像深度調整手段による調整をその所定期間ごとに行えば，映像の深度が頻繁に変化することを防止すると共に，前記映像深度調整手段の処理負担を軽減することができる。
ところで，音の定位に与える影響は，低周波数帯域の音声信号に比べて高周波数帯域の音声信号の方が相対的に大きい。そのため，前記音声差分算出手段が，前記音声信号から予め設定された所定周波数未満の音声信号を除いた前記所定周波数以上の音声信号の差分を算出するものであることが望ましい。例えば，前記所定周波数は，一般にウーファーで再生される数百Ｈｚ程度の低い周波数である。

一方，前記映像ズレ量調整手段の具体的構成としては，前記左目映像のフレーム画像と前記右目映像のフレーム画像との間の動きベクトルを算出する第１の動きベクトル算出手段と，前記第１の動きベクトル算出手段により算出された動きベクトルから前記左目映像及び前記右目映像の中点となるフレーム画像を生成する中点フレーム画像生成手段と，前記中点フレーム画像生成手段により生成されたフレーム画像と前記左目映像のフレーム画像及び前記右目映像のフレーム画像それぞれとの間の動きベクトルを算出する第２の動きベクトル算出手段と，前記第２の動きベクトル算出手段により算出された動きベクトルを予め定められた増幅率で増減させ，該増減後の動きベクトルと前記中点フレーム画像生成手段により生成されたフレーム画像とに基づいて前記左目映像のフレーム画像及び前記右目映像のフレーム画像を生成する左右フレーム画像生成手段と，前記音声差分算出手段によって算出された前記音声信号の差分に応じて，前記増幅率を該音声信号の差分に対応する予め定められた所定の増幅率に設定する増幅率設定手段とを含んでなる構成が考えられる。
なお，前記立体映像表示装置は，前記左目映像及び前記右目映像を交互に表示させる立体映像処理手段と，前記左目映像及び前記右目映像の切り替えに連動して左目及び右目の視界を有効及び無効に切り替える立体表示メガネとを更に備えることにより，該立体表示メガネを利用する視聴者に立体映像を視聴させるものであることが一例として考えられる。

本発明によれば，音の深度（立体感）と映像の深度（立体感）とを自動的に合わせることができるため，より自然で臨場感あふれる立体映像を視聴者に視聴させることができる。

本発明の実施の形態に係るテレビジョン受像機Ｘの概略構成を表すブロック図。 映像深度調整機能を具現するための構成例を示した要部ブロック図。 本発明の実施の形態に係るテレビジョン受像機Ｘで実行される映像深度制御処理の手順の一例を説明するためのフローチャート。 本発明の実施の形態に係るテレビジョン受像機Ｘで実行される映像深度制御処理で用いられる深度対応情報の一例を示す図。 実施例１に係るテレビジョン受像機Ｘ１の概略構成を表すブロック図。 深度対応情報の他の例を説明するための図。

以下添付図面を参照しながら，本発明の実施の形態について説明し，本発明の理解に供する。尚，以下の実施の形態は，本発明を具体化した一例であって，本発明の技術的範囲を限定する性格のものではない。
まず，図１に示すブロック図を用いて，本発明の実施の形態に係るテレビジョン受像機Ｘの概略構成について説明する。
本発明の実施の形態に係るテレビジョン受像機Ｘは，表示位置が異なる左目映像及び右目映像を交互に切り替えて表示させることにより視聴者に立体映像を視聴させる立体映像表示装置である。もちろん，本発明に係る立体映像表示装置は，テレビジョン受像機に限らず，例えばパソコンに接続されるディスプレイ装置であってもよい。
図１に示すように，テレビジョン受像機Ｘは，チューナ１ａ，１ｂ，外部入力部２，映像切替回路３，映像処理回路４ａ，立体映像処理回路４ｂ，ＲＦ通信回路５，ＬＣＤ制御回路６，液晶表示部７，制御回路８，リモコンインターフェース（Ｉ／Ｆ）回路９，リモコン９ａ，音声切替回路１０，音声処理回路１１，アンプ１２，スピーカ装置１３，３ＤメガネＹ（立体表示メガネ）などを具備している。なお，テレビジョン受像機Ｘは，ここで説明する構成要素以外にも，一般的なテレビジョン受像機が有する構成要素を備えている。

制御回路８は，演算手段であるＭＰＵ８ａ，そのＭＰＵ８ａによって実行される制御プログラムが予め格納されるＲＯＭ８ｂ（ＥＰＲＯＭ），ＭＰＵ８ａが各種の処理を実行する際の作業記憶領域として利用されるＥＥＰＲＯＭ８ｃなどを備え，当該テレビジョン受像機Ｘ全体を統括的に制御する。
リモコンインターフェース回路９は，当該テレビジョン受像機Ｘの操作用のリモコン９ａから，赤外線伝送などの無線伝送によって，リモコン９ａに対するユーザの操作入力の内容を取得し，その操作入力の内容を制御回路８に伝送するものである。例えば，リモコン９ａには，テレビジョン受像機Ｘで視聴するテレビジョン放送のチャンネル選択や音量調節，電源ＯＮ／ＯＦＦなどの各種操作を行う一般的な操作キー９ｂが設けられている。また，リモコン９ａには，テレビジョン受像機Ｘの表示映像を立体映像及び平面映像のいずれかに切り替えるための表示切替キー９ｃが設けられている。もちろん，リモコン９ａの操作によって表示されるメニュー画面上の操作により立体映像及び平面映像の切替操作が可能な構成であってもよい。
ＲＦ通信回路５は，３ＤメガネＹとの間で無線周波数（ＲＦ）通信方式による無線伝送を行うことにより各種のデータを伝送するＲＦ送信回路及びＲＦ受信回路を有している。なお，ＲＦ通信回路５を利用してリモコン９ａとの間でＲＦ通信方式によるデータ通信が行われることも他の実施例として考えられる。

チューナ１ａ，１ｂ各々は，地上デジタル放送やＢＳ・ＣＳ放送などの各種テレビジョン放送の複数チャンネル分の映像信号及びその映像と同期した音声信号が重畳された信号（以下，放送信号という）を放送受信アンテナ２０により受信する。そしてチューナ１ａ，１ｂは，制御回路８から指示された放送チャンネルの信号を前記放送信号から抽出（選局）するとともに，その抽出信号の検波によって映像信号及び音声信号を取り出し，その映像信号及び音声信号の各々を映像切替回路３及び音声切替回路１０各々へ伝送する。
また，外部入力部２は，外部から入力されるコンポジット方式の映像信号及び音声信号や，セパレート方式の映像信号及び音声信号（いわゆるＳ端子の信号）等の外部入力映像信号及び外部入力音声信号を，映像切替回路３及び音声切替回路１０各々へ伝送するインターフェースである。外部入力部２には，例えばＤＶＤレコーダやブルーレイレコーダ，ハードディスクレコーダなどが接続される。

音声切替回路１０は，チューナ１ａ，１ｂ各々からの音声信号及び外部入力部２からの音声信号のうちの任意の音声信号を制御回路８からの指示に従って選択し，その選択した音声信号を音声処理回路１１に伝送する。
音声処理回路１１は，制御回路８からの指示に従って，音声切替回路１０から伝送される音声信号に対して各種信号処理（例えば，イコライズ処理やサラウンド処理等）を行うものである。また，音声処理回路１１は，入力される音声信号が６チャンネルの音声信号を含む５．１ｃｈのサラウンド音声信号である場合，その６チャンネルの音声信号をそれぞれの再生位置に対応するスピーカ装置１３のスピーカ各々に出力する。
アンプ１２は，音声処理回路１１による各種信号処理後の音声信号を，制御回路８からの音量指示に従って増幅或いは減衰させる処理を行い，処理後の各音声信号をスピーカ装置１３へ伝送するものである。具体的に，アンプ１２には，スピーカ装置１３に設けられた複数のスピーカ毎に対応して音声信号の増幅及び減衰を調整する複数のアンプが含まれている。

スピーカ装置１３は，テレビジョン受像機Ｘを視聴する視聴者の前方中央に配置されたセンタースピーカ１３１Ｃと，前方左側に配置された左フロントスピーカ１３１Ｌと，前方右側に配置された右フロントスピーカ１３１Ｒと，前方右側又は前方左側に配置されたウーファー１３１Ｗと，後方左側に配置された左サラウンドスピーカ１３２Ｌと，後方右側に配置された右サラウンドスピーカ１３２Ｒとを備える５．１ｃｈのサラウンドシステムである。例えば，アンプ１２及びスピーカ装置１３は，ＲＣＡ接続やＨＤＭＩ接続，光接続などによってテレビジョン受像機Ｘに接続される。もちろん，スピーカ装置１３は，２チャンネル以上の音声信号に対応する複数のスピーカを有するものであれば，７．１ｃｈや９．１ｃｈなどに対応するものであってもよい。
テレビジョン受像機Ｘでは，音声処理回路１１から入力される複数チャンネルの音声信号に基づいて，スピーカ装置１３の前記スピーカ各々で個別に音声を再生させることにより，音に深度（立体感）を持たせるサラウンド再生が実現される。なお，テレビジョン受像機Ｘにスピーカ装置１３が接続されていない場合には，該テレビジョン受像機Ｘに内蔵された不図示の内蔵ステレオスピーカ等によって音声が出力される。もちろん，テレビジョン受像機Ｘでは，音声信号の出力先をスピーカ装置１３と前記内蔵ステレオスピーカとの間で切り替えることも可能である。

一方，映像切替回路３は，チューナ１ａ，１ｂ各々から入力される映像信号及び外部入力部２から入力される映像信号のうち任意の映像信号を制御回路８からの指示に従って選択し，その選択した映像信号を映像処理回路４ａに伝送する。
映像処理回路４ａは，映像切替回路３から伝送された映像信号に対して各種信号処理を行うものである。具体的に，映像処理回路４ａは，映像信号のＡ／Ｄ変換や，Ａ／Ｄ変換後の映像信号から水平同期信号及び垂直同期信号の分離，その同期信号に位相同期したクロック信号の生成，Ａ／Ｄ変換後の映像信号からの輝度信号及び色信号の分離，所定の画質改善処理等を行い，その処理後の映像信号を立体映像処理回路４ｂに出力する。

立体映像処理回路４ｂは，映像処理回路４ａから入力された映像信号が立体映像信号である場合，その立体映像信号をそのままＬＣＤ制御回路６に出力する。ここに，前記立体映像信号は，液晶表示部７における表示位置が所定量異なる左目映像及び右目映像を交互に表示させるための映像信号である。具体的に，前記立体映像信号は，左目フレーム画像及び右目フレーム画像が１フレームの半分の時間ごとに交互に合成されたものである。もちろん，テレビジョン受像機Ｘでは，立体映像信号に含まれた左目フレーム画像又は右目フレーム画像の一方のみを表示させることやその中間の画像を生成して表示させることにより，視聴者に平面映像を視聴させることも可能である。
また，立体映像処理回路４ｂは，映像処理回路４ａから入力された映像信号が平面映像信号である場合，制御回路８からの制御指令に従って，映像処理回路４ａから入力された平面映像信号をそのままＬＣＤ制御回路６に出力する平面映像表示モードと，前記平面映像信号に基づく映像をユーザに立体的に視聴させるための前記立体映像信号を生成してＬＣＤ制御回路６に出力する立体映像表示モードとのいずれかを実行する。なお，前記平面映像表示モードと前記立体映像表示モードとの切り替えはリモコン９ａの表示切替キー９ｃによって行われる。具体的に，前記立体映像表示モードにおいて，立体映像処理回路４ｂは，映像の１フレームごとの画像を左右に少しずらすことにより予め設定されたズレ量が生じた左目フレーム画像及び右目フレーム画像を生成する。そして，立体映像処理回路４ｂは，その左目フレーム画像及び右目フレーム画像を１フレームの半分の時間ごとに交互に合成することにより，前記左目映像及び前記右目映像を交互に表示させるための立体映像信号を生成し，その立体映像信号をＬＣＤ制御回路６に出力する。なお，例えば寒色系の要素画像は背景（空や海など）である可能性が高いため，立体映像処理回路４ｂが，寒色系の要素画像には奥行きが生じ，暖色系の要素画像は飛び出すように，前記左目映像及び前記右目映像の表示位置のズレ量を調整することも考えられる。
ここで，前記左目映像及び前記右目映像によって液晶表示部７で表示される立体映像の深度，即ち映像の飛び出し量や奥行き量は，前記左目映像と前記右目映像との水平方向のズレ量によって変化する。具体的には，前記左目映像と前記右目映像との水平方向のズレ量が大きいほど映像の深度が深くなり立体感が高まる。

ＬＣＤ制御回路６は，立体映像処理回路４ｂから入力される平面映像信号又は立体映像信号や，垂直同期信号，水平同期信号などに基づいて液晶表示部７に映像を表示させる。具体的に，ＬＣＤ制御回路６は，前記立体映像信号が入力された場合，該立体映像信号に基づいて，液晶表示部７に前記左目映像及び前記右目映像を交互に表示させることにより，視聴者に立体映像を視聴させる。ここに，係る処理を実行するときのＬＣＤ制御回路６が立体映像表示手段に相当する。
液晶表示部７は，液晶パネルやバックライト装置などを備えており，ＬＣＤ制御回路６から出力される映像信号に基づく映像を液晶パネルに表示するものである。なお，前記バックライト装置は，前記液晶パネルの後方側にマトリクス状に配置された多数のＬＥＤや複数の冷陰極管（蛍光管）により該液晶パネルを背後から照明するものである。
３ＤメガネＹは，ユーザの左目の視界の有効及び無効（光の透過及び遮蔽）を切り替える液晶層を有する左目シャッタ及び右目シャッタを備えている。そして，３ＤメガネＹは，テレビジョン受像機ＸのＲＦ通信回路５とのＲＦ通信によって受信される同期信号により，テレビジョン受像機Ｘで表示される左目映像及び右目映像の表示に連動して左目シャッタ及び右目シャッタを交互に開閉させ，左目及び右目の視界を交互に切り替えて有効化させる。これにより，３ＤメガネＹを用いる視聴者に立体映像を視聴させることができる。なお，本実施の形態では，３ＤメガネＹを用いる視聴者に対して立体映像を視聴させるテレビジョン受像機Ｘを例に挙げて説明するが，３Ｄメガネを用いない構成であってもよい。

そして，本実施の形態に係るテレビジョン受像機Ｘは，スピーカ装置１３によって再生される音の深度（立体感）に応じて，液晶表示部７で表示される映像の深度（立体感）を自動的に調整する点に特徴を有している。以下，この点について詳説する。
テレビジョン受像機Ｘにおいて，立体映像処理回路４ｂは，左目映像及び右目映像の水平方向のズレ量を調整することにより，前記立体映像信号に基づいて液晶表示部７に表示される映像の深度を調整する映像深度調整機能を有している。ここに，係る調整処理を実行するときの立体映像処理回路４ｂが映像ズレ量調整手段に相当する。もちろん，前記映像深度調整機能が制御回路８などの制御手段によって実行されるソフトウェア処理によって具現されてもよい。
ここで，図２を参照しつつ，立体映像処理回路４ｂが有する映像深度調整機能の一例について説明する。
図２に示すように，立体映像処理回路４ｂは，バッファメモリ４１，左フレーム画像メモリ４２ａ，右フレーム画像メモリ４２ｂ，動きベクトル算出部４３，中点算出部４４，フレーム画像生成部４５，動きベクトル算出部４６ａ，４６ｂ，ゲイン調整部４７ａ，４７ｂ，フレーム画像生成部４８ａ，４８ｂ，フレーム合成部４９などを備えている。

立体映像処理回路４ｂは，入力された立体映像信号又は立体映像処理回路４ｂで生成した立体映像信号をバッファメモリ４１に蓄積して記憶させる。次に，立体映像処理回路４ｂは，バッファメモリ４１に記憶された立体映像信号のうち左目映像のフレーム画像を左目フレーム画像メモリ４２ａに，右目映像のフレーム画像を右目フレーム画像メモリ４２ｂに順に入力させる。
動きベクトル算出部４３は，左目フレーム画像メモリ４２ａ及び右目フレーム画像メモリ４２ｂに記憶された１フレームにおける左目フレーム画像及び右目フレーム画像を読み出し，これらの間の動きベクトルを算出する。ここに，動きベクトル算出部４３が第１の動きベクトル算出手段に相当する。
中点算出部４４は，動きベクトル算出部４３で算出された動きベクトルの中点を算出する。そして，フレーム画像生成部４５は，左目フレーム画像や右目フレーム画像と中点算出部４４で算出された中点とに基づいて，左目フレーム画像及び右目フレーム画像の中間となるフレーム画像，即ち視聴者の左目及び右目の中間にあると仮想した中目から見たフレーム画像（以下，「中点フレーム画像」という）を生成する。その後，このフレーム画像生成部４５で生成された中点フレーム画像は該フレーム画像生成部４５から動きベクトル算出部４６ａ，４６ｂ及びフレーム画像生成部４８ａ，４８ｂのそれぞれに入力される。ここに，前記中点フレーム画像を生成するときの中点算出部４４及び画像フレーム生成部４５が中点フレーム画像生成手段に相当する。なお，この中点フレーム画像の生成手法については，例えば液晶の倍速駆動処理において，連続する二つのフレーム画像に基づいてそのフレーム画像の間に挿入する補間フレーム画像を生成するための従来技術などを応用すればよい。

動きベクトル算出部４６ａ，４６ｂは，左目フレーム画像と中点フレーム画像，右目フレーム画像と中点フレーム画像のそれぞれの間の動きベクトルを算出する。ここに，動きベクトル算出部４６ａ，４６ｂが第２の動きベクトル算出手段に相当する。動きベクトル算出部４６ａ，４６ｂで算出された動きベクトルはゲイン調整部４７ａ，４７ｂに入力される。
ゲイン調整部４７ａ，４７ｂ各々は，制御回路８からの制御指示に応じて，動きベクトル算出部４６ａ，４６ｂから入力された動きベクトルに予め定められたゲイン（増幅率）をかけて，フレーム画像生成部４８ａ，４８ｂに出力する。このとき，ゲイン調整部４７ａ，４７ｂで動きベクトルにかけられるゲインは，制御回路８によって実行される後述の映像深度制御処理において設定される。
そして，フレーム画像生成部４８ａ，４８ｂ各々は，中間フレーム画像と，動きベクトル算出部４６ａ，４６ｂから入力された動きベクトルとに基づいて，左目フレーム画像と右目フレーム画像とを生成する。ここに，係る処理を実行するときのゲイン調整部４７ａ，４７ｂ及びフレーム画像生成部４８ａ，４８ｂが左右フレーム画像生成手段に相当する。従って，ここで生成される左目フレーム画像及び右目フレーム画像は，ゲイン調整部４７ａ，４７ｂに設定されたゲインに応じたズレ量を有するものである。
その後，フレーム合成部４９は，フレーム画像生成部４８ａ，４８ｂで生成された左目フレーム画像と右目フレーム画像とが交互に表示されるように合成して立体映像信号を生成し，ＬＣＤ制御回路６に出力する。
このように，立体映像処理回路４ｂでは，ゲイン調整部４７ａ，４７ｂ各々に設定するゲインによって左目映像及び右目映像の表示位置のズレ量を調整することで，液晶表示部７で表示される立体映像の深度を調整することが可能である。

以下，図３のフローチャートに従って，本実施の形態に係るテレビジョン受像機Ｘで実行される映像深度制御処理について説明する。なお，図中のＳ１，Ｓ２，…は処理手順（ステップ）番号を示している。また，当該映像深度制御処理における各処理は制御回路８に限らず音声処理回路１１で実行されるものであってもよい。
（ステップＳ１〜Ｓ２）
まず，ステップＳ１において，制御回路８は，音声処理回路１１からスピーカ装置１３の各スピーカに出力される音声信号のうち，左サラウンドスピーカ１３２Ｌに対応する音声信号と，センタースピーカ１３１Ｃに対応する音声信号とから，予め設定された低周波数（例えば数百Ｈｚ程度）未満の音声信号を除外した前記低周波数以上の音声信号を抽出するフィルタ処理を実行する。これにより，後述のステップＳ２において，音の定位に影響の大きい高域の音声信号のみに基づいて音の深度を推定することが可能となる。もちろん，前記音声信号から前記低周波数以上の音声信号のみを通過させるフィルター回路を有する構成であってもよい。なお，このフィルタ処理は，後述のステップＳ２における音の深度の算出のために事前に行われるものであって，実際に音声処理回路１１からスピーカ装置１３には，フィルタ処理が施されていない音声信号が出力される。
続いて，ステップＳ２において，制御回路８は，前記ステップＳ１におけるフィルタ処理によって抽出された左サラウンドスピーカ１３２Ｌに対応する音声信号の瞬時値から，センタースピーカ１３１Ｃに対応する音声信号の瞬時値を引いた差分値を算出する。具体的には，左サラウンドスピーカ１３２Ｌの出力信号の瞬時値からセンタースピーカ１３１Ｃの出力信号の瞬時値を引いた値が差分値として算出される。このとき算出される差分値は，スピーカ装置１３で再生されるサラウンド音声における音の深度，即ち音の奥行きを示すものである。ここに，前記ステップＳ１〜Ｓ２の処理を実行することにより少なくとも２チャンネルの音声信号の差分を算出するときの制御回路８が音声差分算出手段に相当する。なお，前記差分値は，音声信号の瞬時値の差分に限らず，例えば所定期間の積分値の差分であってもよい。特に，所定期間の積分値の差分を算出して，その所定期間ごとに映像の深度の調整（ステップＳ３〜Ｓ４）を行えば，映像の深度が頻繁に変化することを防止すると共に，制御回路８の処理負担を軽減することができる。
左サラウンドスピーカ１３２Ｌに対応する音声信号の瞬時値から，センタースピーカ１３１Ｃに対応する音声信号の瞬時値を引いた差分値の値が大きい程，即ち左サラウンドスピーカ１３２Ｌの出力信号が相対的に大きい程，音の深度が深いと評価することができる。また，その差分値の値が小さいほど，即ち左サラウンドスピーカ１３２Ｌの出力信号が相対的に小さい程，音の深度が浅いと評価することができる。

（ステップＳ３〜Ｓ４）
次に，ステップＳ３において，制御回路８は，音の深度（音声信号の差分値）と映像の深度との関係が予め定められた深度対応情報に基づいて，前記ステップＳ２で算出された音の深度（音声信号の差分値）に対応する映像の深度を特定する。なお，前記深度対応情報は，制御回路８のＲＯＭ８ｂなどに予め記憶されていればよい。
ここに，図４は，前記深度対応情報の一例を示すグラフである。図４に示す前記深度対応情報では，音の深度（音声信号の差分値）と映像の深度とが所定の傾きを有する比例関係にあることが定められている。即ち，前記深度対応情報では，音の深度（音声信号の差分値）の値が大きいほど映像の深度が大きくなることが定められている。従って，制御回路８は，前記深度対応情報に基づいて，音の深度が深いほど映像の深度が深くなるように，前記ステップＳ２で算出された音の深度に応じた映像の深度を特定する。
そして，ステップＳ４において，制御回路８は，前記ステップＳ３で特定された映像の深度で視聴者に立体映像を視聴させるように，立体映像処理回路４ｂの映像深度調整機能を利用して，該立体映像処理回路４ｂで生成される前記左目映像及び前記右目映像の水平方向のズレ量を調整する。具体的に，制御回路８は，前記ステップＳ２で算出された音声信号の差分が大きいほど前記左目映像及び前記右目映像の水平方向のズレ量が大きくなるように調整する。ここに，前記ステップＳ３〜Ｓ４の処理を実行するときの制御回路８及び立体映像処理回路４ｂが映像ズレ量調整手段に相当する。
具体的に，制御回路８は，立体映像処理回路４ｂのゲイン調整部４７ａ，４７ｂ各々で動きベクトルにかけるゲインを，前記ステップＳ２によって算出された前記音声信号の差分に対応する予め定められた所定のゲイン（増幅率）に設定する。ここに，係る設定処理を実行するときの制御回路８が増幅率設定手段に相当する。例えば，制御回路８は，該制御回路８のＲＯＭ８ｂ等に記憶され，映像の深度と前記左目映像及び前記右目映像の水平方向ズレ量との関係が予め定められた映像対応情報に基づいて，前記映像の深度に対応するズレ量を特定し，そのズレ量を生じさせるための所定のゲインを算出する。
もちろん，左目映像及び右目映像の水平方向のズレ量を調整する手法はここで説明したものに限らず，同様の結果が得られる各種の手法を用いればよい。例えば，単純に左目映像及び右目映像の液晶表示部７における表示位置を予め定められた所定の画素数だけ左右にずらして，該左目映像及び右目映像の水平方向のズレ量を調整してもよい。

以上説明したように，テレビジョン受像機Ｘでは，制御回路８によって前記映像深度制御処理が実行されることにより，スピーカ装置１３で再生される音の深度と液晶表示部７で表示される映像の深度とを合わせて，より自然で臨場感あふれる立体映像を視聴者に視聴させることができる。
ところで，本実施の形態では，左サラウンドスピーカ１３２Ｌに対応する音声信号からセンタースピーカ１３１Ｃに対応する音声信号を引いた差分値を，音の深度として算出する場合を例に挙げて説明したが，音の深度を算出する手法はこれに限らない。
例えば，右サラウンドスピーカ１３２Ｒの音声信号からセンタースピーカ１３１Ｃの音声信号を引いた差分値，左サラウンドスピーカ１３２Ｌ及び右サラウンドスピーカ１３２Ｒの音声信号の和や平均からセンタースピーカ１３１Ｃの音声信号を引いた差分値，左サラウンドスピーカ１３２Ｌ（又は右サラウンドスピーカ１３２Ｒ）の音声信号からセンター左スピーカ１３１Ｌ（又はセンター右スピーカ１３１Ｒ）の音声信号を引いた差分値，左サラウンドスピーカ１３２Ｌ及び右サラウンドスピーカ１３２Ｒの音声信号の和や平均からセンター左スピーカ１３１Ｌ及びセンター右スピーカ１３１Ｒの音声信号の和や平均を引いた差分値，左サラウンドスピーカ１３２Ｌ及び右サラウンドスピーカ１３２Ｒの音声信号の和や平均からセンタースピーカ１３１Ｃ，センター左スピーカ１３１Ｌ及びセンター右スピーカ１３１Ｒの音声信号の和や平均を引いた差分値など，音の深度が現れる少なくとも２チャンネルの音声信号の差分を算出することが考えられる。

前記実施の形態では，スピーカ装置１３が５．１ｃｈのサラウンドシステムである場合を例に挙げて説明したが，本発明は，少なくとも２ｃｈ以上の音声信号を個別に再生する２つ以上のスピーカによってサラウンド又は擬似サラウンド（仮想サラウンド）を実現する立体映像表示装置に適用することができる。
本実施例１では，図５に示すように，スピーカ装置１３が，視聴者の前方左側に配置された左フロントスピーカ２３１Ｌと，前方右側に配置された右フロントスピーカ２３１Ｒとを有しており，該左フロントスピーカ２３１Ｌ，右フロントスピーカ２３１Ｒによって擬似サラウンドが具現されるテレビジョン受像機Ｘ１を例に挙げて説明する。
ここに，擬似サラウンドとは，左フロントスピーカ２３１Ｌ，右フロントスピーカ２３１Ｒの二つのスピーカから個別の音声を出力することで，視聴者に錯覚を生じさせて擬似的にサラウンド再生を実現することをいう。具体的には，２ｃｈの音声信号の一方の逆位相の音声信号を他方の音声信号に重ねて出力することが考えられる。また，５．１ｃｈなどのサラウンド音声信号を２ｃｈの音声信号にダウンミックスして出力することも考えられる。
このように構成されたテレビジョン受像機Ｘ１では，スピーカ装置１３で再生される音の深度が，左フロントスピーカ２３１Ｌ，右フロントスピーカ２３１Ｒの出力信号の差分値によって変化する。具体的に，左フロントスピーカ２３１Ｌ，右フロントスピーカ２３１Ｒの出力信号の差分値が大きいほど，視聴者が知覚する音の深度が深いと評価することができる。
そこで，テレビジョン受像機Ｘ１では，制御回路８が，前記映像深度制御処理（図３参照）において，左フロントスピーカ２３１Ｌ，右フロントスピーカ２３１Ｒ各々に対応する音声信号の差分値（信号差）を音の深度として算出し（ステップＳ１〜Ｓ２），その音の深度に対応する深度で立体映像を表示させる（ステップＳ３〜Ｓ４）。具体的に，制御回路８は，前記ステップＳ１〜Ｓ２で算出された差分値が大きいほど前記左目映像及び前記右目映像の表示位置のズレ量を大きくする。
これにより，擬似サラウンドが採用されたテレビジョン受像機Ｘ１においても，前記実施の形態で説明したテレビジョン受像機Ｘと同様に，スピーカ装置１３で再生される音の深度と液晶表示部７で表示される映像の深度とを合わせて，より自然で臨場感あふれる立体映像を視聴者に視聴させることができる。なお，前記差分値は，前述と同様に音声信号の瞬時値や所定期間の積分値の差分であってもよい。また，この場合でも，前記ステップＳ１において，予め設定された低周波数（例えば数百Ｈｚ程度）未満の音声信号を除外した前記低周波数以上の音声信号を抽出するフィルタ処理を実行することにより，音の定位に影響の大きい高域の音声信号に基づいて音の深度を推定することが可能である。

本実施例２では，図６を参照しつつ，前記深度対応情報の他の例について説明する。ここに，図６（ａ）〜（ｄ）は前記深度対応情報の一例である。
まず，図６（ａ）に示す深度対応情報では，図４に示した深度対応情報と同様に，音の深度が予め設定された上限深さに達するまでは，音の深度と映像の深度とが予め設定された傾きを有する比例関係にある。しかしながら，映像の深度を深くし過ぎると視聴者が視覚上違和感を感じることになるため，図６（ａ）に示す深度対応情報では，音の深度が前記上限深さを超えると，その後は映像の深度が一定となるように定められている。なお，前記上限深さは，実験やシミュレーション等の結果によって，表示される立体映像に視覚上の違和感が生じないように予め定めておけばよい。
また，図６（ｂ）に示す深度対応情報では，図４に示した深度対応情報と同様に音の深度と映像の深度とが予め設定された傾きを有する比例関係が途中まで成立しているが，その後，音の深度と映像の深度との関係が非線形となり，映像の深度が前記上限深さに収束する。これによっても，同様に立体映像の視覚上の違和感を防止することができる。もちろん，音の深度が浅い初めの時点から音の深度と映像の深度との関係が非線形であってもよい。

さらに，図６（ｃ）に示す深度対応情報では，音の深度が予め設定された下限深さに達するまでの間は，映像の深度が０，即ち表示される映像は平面映像となる。その後，音の深度が前記下限深さに達すると，音の深度と映像の深度との関係が非線形に変化し，映像の深度が前記上限深さに収束する。具体的には，制御回路８が，音の深度が予め設定された下限深さ未満である場合は立体映像処理回路４ｂに前記平面映像表示モードを実行させ，前記下限深さ以上である場合は立体映像処理回路４ｂに前記立体映像表示モードを実行させることが考えられる。
このように，音の深度が浅すぎる場合は平面映像に固定して表示させることで，音の深度が浅いところで微妙な変化を頻繁に繰り返すことに起因して，表示映像が平面映像と立体映像との間で頻繁に切り替わることを防止することができ，視聴者に与える表示映像の違和感を防止することができる。
具体的に，前記実施の形態で説明したように，左サラウンドスピーカ１３２Ｌの出力信号からセンタースピーカ１３１Ｃの出力信号を引いたときの差分値で考えると，左サラウンドスピーカ１３２Ｌの出力信号がセンタースピーカ１３１Ｃの出力信号に比べて大きければ，それだけ回り込むような立体的な映像であるべきである。そのため，図６（ｄ）に示す深度対応情報では，左サラウンドスピーカ１３２Ｌの出力信号からセンタースピーカ１３１Ｃの出力信号を引いた差分値が大きいほど，映像の深度が深くなるように定められている。また，その差分値が小さいほど，映像の深度が浅くなるように定められている。なお，左サラウンドスピーカ１３２Ｌの出力信号とセンタースピーカ１３１Ｃの出力信号とが同じ場合（前記差分値が０である場合）でも，ある程度の映像の深度が生じるように定められている。
ところで，図６（ｄ）に示す深度対応情報では，前記差分値がある程度小さくなっても映像の深度が０になることはない。これは，表示映像が平面映像（２Ｄ）になることを防止して最低限の深度を有する立体映像の表示を継続させるためである。

本発明は，テレビジョン受像機やディスプレイ装置などの立体映像表示装置への利用が可能である。

１ａ，１ｂ：チューナ
２：外部入力部
３：映像切替回路
４ａ：映像処理回路
４ｂ：立体映像処理回路
５：ＲＦ通信回路
６：ＬＣＤ制御回路
７：液晶表示部
８：制御回路
８ａ：ＭＰＵ
８ｂ：ＲＯＭ
８ｃ：ＥＥＰＲＯＭ
９：リモコンインターフェース回路
９ａ：リモコン
９ｂ：操作キー
９ｃ：表示切替キー
１０：音声切替回路
１１：音声処理回路
１２：アンプ
１３：スピーカ装置
１３１Ｌ：左フロントスピーカ
１３１Ｒ：右フロントスピーカ
１３１Ｃ：センタースピーカ
１３２Ｌ：左サラウンドスピーカ
１３２Ｒ：右サラウンドスピーカ
２３１Ｌ：左フロントスピーカ
２３１Ｒ：右フロントスピーカ
Ｓ１，Ｓ２，…，：処理手順（ステップ）番号
Ｘ：テレビジョン受像機（本発明に係る立体映像表示装置の一例）
Ｙ：３Ｄメガネ

Claims (7)

1. 複数チャンネルの音声信号を少なくとも視聴者の前方及び後方と前方左側及び前方右側とのいずれか一方又は両方に配置される複数のスピーカに出力すると共に，表示位置が異なる左目映像及び右目映像を表示することにより立体映像を視聴させる立体映像表示装置であって，
   少なくとも２チャンネルの前記音声信号の差分を算出する音声差分算出手段と，
   前記左目映像及び前記右目映像の表示位置に前記音声差分算出手段により算出された前記音声信号の差分に対応する予め定められたズレ量を生じさせる映像ズレ量調整手段と，
   を備えてなることを特徴とする立体映像表示装置。
2. 前記スピーカが，少なくとも視聴者の前方及び後方それぞれに配置されるものであり，
   前記音声差分算出手段が，前記後方のスピーカに対応する前記音声信号から前記前方のスピーカに対応する前記音声信号を引いた差分値を算出するものであって，
   前記映像ズレ量調整手段が，前記音声差分算出手段により算出された差分値が大きいほど前記左目映像及び前記右目映像の表示位置のズレ量を大きくするものである請求項１に記載の立体映像表示装置。
3. 前記スピーカが，少なくとも視聴者の前方左側及び前方右側それぞれに配置されるものであり，
   前記音声差分算出手段が，前記前方左側のスピーカに対応する前記音声信号と前記前方右側のスピーカに対応する前記音声信号との差分値を算出するものであって，
   前記映像ズレ量調整手段が，前記音声差分算出手段により算出された差分値が大きいほど前記左目映像及び前記右目映像の表示位置のズレ量を大きくするものである請求項１に記載の立体映像表示装置。
4. 前記音声差分算出手段が，前記音声信号の瞬時値又は所定期間の積分値の差分を算出するものである請求項１〜３のいずれかに記載の立体映像表示装置。
5. 前記音声差分算出手段が，前記音声信号から予め設定された所定周波数未満の音声信号を除いた前記所定周波数以上の音声信号の差分を算出するものである請求項１〜４のいずれかに記載の立体映像表示装置。
6. 前記映像ズレ量調整手段が，
   前記左目映像のフレーム画像と前記右目映像のフレーム画像との間の動きベクトルを算出する第１の動きベクトル算出手段と，
   前記第１の動きベクトル算出手段により算出された動きベクトルから前記左目映像及び前記右目映像の中点となるフレーム画像を生成する中点フレーム画像生成手段と，
   前記中点フレーム画像生成手段により生成されたフレーム画像と前記左目映像のフレーム画像及び前記右目映像のフレーム画像それぞれとの間の動きベクトルを算出する第２の動きベクトル算出手段と，
   前記第２の動きベクトル算出手段により算出された動きベクトルを予め定められた増幅率で増減させ，該増減後の動きベクトルと前記中点フレーム画像生成手段により生成されたフレーム画像とに基づいて前記左目映像のフレーム画像及び前記右目映像のフレーム画像を生成する左右フレーム画像生成手段と，
   前記音声差分算出手段によって算出された前記音声信号の差分に応じて，前記増幅率を該音声信号の差分に対応する予め定められた所定の増幅率に設定する増幅率設定手段と，
   を含んでなる請求項１〜５のいずれかに記載の立体映像表示装置。
7. 前記左目映像及び前記右目映像を交互に表示させる立体映像処理手段と，前記左目映像及び前記右目映像の切り替えに連動して左目及び右目の視界を有効及び無効に切り替える立体表示メガネとを更に備えてなる請求項１〜６のいずれかに記載の立体映像表示装置。

Images