以下、本発明を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(立体視画像出力制御:立体視画像パラメータを用いて立体視画像および音声情報を補正する例)
2.第2の実施の形態(立体視画像出力制御:眼球の変化に基づいて立体視物体の位置を補正する例)
<1.第1の実施の形態>
[情報処理装置の使用例]
図1は、本発明の実施の形態における情報処理装置の使用例を簡略化して示す図である。
図1(a)には、情報処理装置100の表示部181に表示される画像を、椅子11に座っているユーザ(視聴者)10が見ている状態を示す。図1(b)には、撮像部610が設けられている情報処理装置600の表示部181に表示される画像を、椅子11に座っているユーザ10が見ている状態を示す。図1(a)および(b)に示すユーザ10は、手に持ったリモコン(リモートコントローラ)500を用いて、情報処理装置100または600の各種操作を行うことができる。なお、撮像部610が設けられている情報処理装置600については、本発明の第2の実施の形態において詳細に説明する。
[情報処理装置の構成例]
図2は、本発明の第1の実施の形態における情報処理装置100の機能構成例を示すブロック図である。情報処理装置100は、例えば、各放送局からの放送波を受信して画像(立体視画像または平面画像)を表示するテレビジョン受像機(例えば、録画機能を備えるテレビジョン受像機)により実現される。
情報処理装置100は、制御部110と、操作受付部115と、コンテンツ記憶部121と、コンテンツ付随情報記憶部122と、取得部130と、音声補正部140と、立体視画像補正部150と、字幕生成部160とを備える。また、情報処理装置100は、出力制御部170と、表示部181と、音声出力部182と、リモコン500とを備える。なお、本発明の第1の実施の形態では、説明の容易のため、アンテナを介して各放送局からの放送波を受信する放送受信部、映像信号を復号処理する映像復号部、音声信号を復号処理する音声復号部等の図示およびその説明を省略する。また、本発明の第1の実施の形態では、説明の容易のため、放送受信部により受信され、映像復号部および音声復号部により復号されたコンテンツ(画像データ(映像データ)および音声データ)を記憶しておき、そのコンテンツを表示する例について説明する。
制御部110は、操作受付部115により受け付けられた操作入力に基づいて、情報処理装置100の各部を制御するものである。例えば、制御部110は、立体視画像を表示するための表示指示操作が受け付けられた場合には、その表示指示操作に係る立体視画像コンテンツを表示部181および音声出力部182から出力させるための制御を行う。また、例えば、制御部110は、立体視画像を補正するための補正指示操作が受け付けられた場合には、その補正指示操作に応じた画像補正処理を行うための制御を行う。また、例えば、制御部110は、立体視画像の音声を補正するための補正指示操作が受け付けられた場合には、その補正指示操作に応じた音声補正処理を行うための制御を行う。
操作受付部115は、ユーザによる操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作信号を制御部110に供給する。操作受付部115は、例えば、電源のオン/オフを行う操作部材に対応する。また、操作受付部115は、リモコン500からの操作信号を受け付けると、受け付けられた操作信号を制御部110に供給する。
コンテンツ記憶部121は、各種コンテンツを記憶する記憶部であり、記憶されているコンテンツを取得部130に供給する。例えば、コンテンツ記憶部121は、放送受信部により受信された放送波に対応するコンテンツ(画像データおよび音声データ)を記憶する。また、例えば、コンテンツ記憶部121は、立体視画像を表示するためのコンテンツ(立体視画像コンテンツ(立体視画像情報))を記憶する。
コンテンツ付随情報記憶部122は、コンテンツ記憶部121に記憶されているコンテンツに関する付随情報を記憶する記憶部であり、記憶されている付随情報を取得部130に供給する。例えば、コンテンツ付随情報記憶部122は、コンテンツ記憶部121に記憶されている立体視画像コンテンツに関するズラシ量保持テーブルおよび二値化データを関連付けて立体視画像パラメータ(付随情報)として記憶する。なお、ズラシ量保持テーブルおよび二値化データについては、図9を参照して詳細に説明する。また、立体視画像コンテンツと、この立体視画像コンテンツに関する付随情報とを含むコンテンツを立体視画像コンテンツ(立体視画像情報)として用いるようにしてもよい。
取得部130は、制御部110の制御に基づいて、コンテンツ記憶部121およびコンテンツ付随情報記憶部122に記憶されている各種情報を取得するものであり、取得された情報を各部に供給する。例えば、取得部130は、コンテンツ記憶部121から立体視画像コンテンツを取得した場合には、その立体視画像コンテンツのうち画像データを立体視画像補正部150に供給し、音声データを音声補正部140に供給する。この場合に、取得部130は、その立体視画像コンテンツに関連付けられている立体視画像パラメータをコンテンツ付随情報記憶部122から取得し、その立体視画像パラメータを立体視画像補正部150、音声補正部140および字幕生成部160に供給する。
音声補正部140は、制御部110の制御に基づいて、立体視画像コンテンツを出力する際における音声データを補正するものであり、補正後の音声データを出力制御部170に出力する。すなわち、音声補正部140は、立体視画像に含まれる物体の奥行方向における位置に基づいて、取得部130から供給される音声データを補正する。例えば、音声補正部140は、取得部130から供給される立体視画像パラメータ(物体の奥行方向における位置を示すパラメータ)に含まれるズラシ量保持テーブルを用いて、その音声データを補正する。例えば、音声補正部140は、そのズラシ量保持テーブルにおける各ズラシ量の平均値を算出し、この算出された平均値に基づいて、その音声データを補正する。この場合に、例えば、音声補正部140は、その音声データに係る音像を、物体の奥行方向における位置(例えば、各ズラシ量の平均値に対応する位置)に定位させるように音声データを補正する。例えば、音声補正部140は、その位置に対応する頭部伝達関数(HRTF(Head Related Transfer Function))フィルタを用いて音声データを補正する。なお、頭部伝達関数フィルタは、例えば、FIR(Finite Inpulse Response)フィルタにより構成される。また、音声補正部140の機能構成については、図3を参照して詳細に説明する。
立体視画像補正部150は、制御部110の制御に基づいて、立体視画像コンテンツを出力する際における画像データを補正するものであり、補正後の画像データを出力制御部170に出力する。すなわち、立体視画像補正部150は、取得部130から供給される画像データについて、立体視画像に含まれる物体の奥行方向における位置を補正する。例えば、立体視画像補正部150は、取得部130から供給される立体視画像パラメータに含まれるズラシ量保持テーブルを用いて、その画像データを補正する。例えば、立体視画像補正部150は、ユーザ操作に応じて、そのズラシ量保持テーブルにおける各ズラシ量を調整して、その画像データを補正する。なお、立体視画像補正部150の機能構成については、図4を参照して詳細に説明する。また、立体視画像補正部150は、特許請求の範囲に記載の補正部の一例である。
字幕生成部160は、制御部110の制御に基づいて、立体視画像コンテンツを出力する際における字幕データを生成するものであり、生成された字幕データを出力制御部170に出力する。すなわち、字幕生成部160は、制御部110からの指示に基づいて、立体視画像として字幕を表示させるための字幕データを生成する。この場合に、制御部110からの指示に基づいて、その奥行方向における位置を補正する。例えば、立体視画像補正部150は、取得部130から供給される立体視画像パラメータに含まれるズラシ量保持テーブルを用いて、その字幕データを補正する。例えば、字幕生成部160は、そのズラシ量保持テーブルにおける各ズラシ量の平均値を算出し、この算出された平均値に基づいて、その字幕データを補正する。なお、字幕生成部160の機能構成については、図5を参照して詳細に説明する。
出力制御部170は、操作受付部115により受け付けられた操作入力に応じて、コンテンツ記憶部121に記憶されているコンテンツを出力するための出力処理を行うものである。例えば、出力制御部170は、立体視画像を表示するための表示指示操作が受け付けられた場合には、その表示指示操作に係る立体視画像コンテンツを表示部181および音声出力部182から出力させる。この場合に、出力制御部170は、表示対象となる画像データと、字幕生成部160により生成された字幕データとについてブレンド処理を行い、立体視画像と字幕(立体視画像)とを合成して表示させる。また、例えば、出力制御部170は、立体視画像を補正するための補正指示操作が受け付けられた場合には、音声補正部140から出力された音声データと、立体視画像補正部150から出力された画像データとを用いて出力処理を行う。
表示部181は、出力制御部170の制御に基づいて、各種画像を表示する表示部である。表示部181は、例えば、LCD(Liquid Crystal Display)等の表示素子により実現することができる。
音声出力部182は、出力制御部170の制御に基づいて、各種の音声情報を出力するものである。音声出力部182は、例えば、スピーカにより実現することができる。
リモコン500は、情報処理装置100を離れた場所から遠隔操作するためのリモコンであり、ユーザによる操作入力に応じた操作信号(出力信号)を操作受付部115に出力する。例えば、リモコン500の出力信号として赤外線信号を用いることができる。また、リモコン500の外観構成については、図6を参照して詳細に説明する。
[音声補正部の構成例]
図3は、本発明の第1の実施の形態における音声補正部140の機能構成例を示すブロック図である。
音声補正部140は、調整値算出部141と、位置換算部142と、ゲイン決定部143と、フィルタ決定部144と、音声データ入力部145と、音量調整部146と、フィルタ処理部147と、音声データ出力部148と、保持部149を備える。
調整値算出部141は、制御部110の制御に基づいて、取得部130から供給される音声データを補正するための調整値を算出するものであり、算出された調整値を位置換算部142に出力する。例えば、調整値算出部141は、取得部130から供給される立体視画像パラメータに含まれるズラシ量保持テーブルにおける各ズラシ量の平均値を、調整値として算出する。
位置換算部142は、調整値算出部141から出力された調整値を、音声データを補正するための位置(奥行方向における位置)に換算するものであり、換算後の位置(位置情報)をゲイン決定部143およびフィルタ決定部144に出力する。
ゲイン決定部143は、位置換算部142から出力された位置情報に基づいて、音量調整を行うためのゲイン量を決定するものであり、決定されたゲイン量を音量調整部146に出力する。なお、音量調整が不要な場合には、ゲイン決定部143は、ゲイン量として「1」を音量調整部146に出力する。また、ゲイン量の決定方法については、図13を参照して詳細に説明する。
フィルタ決定部144は、位置換算部142から出力された位置情報に基づいて、その位置情報に対応する位置に音像を定位させるためのフィルタ係数を決定するものであり、決定されたフィルタ係数をフィルタ処理部147に出力する。また、保持部149は、奥行方向における複数の位置のそれぞれに対応する複数の頭部伝達関数フィルタを、複数の位置毎に保持する。例えば、フィルタ決定部144は、保持部149に保持されている複数の頭部伝達関数フィルタのうちから、位置換算部142から出力された位置情報に対応する位置に最も近い位置に対応する頭部伝達関数フィルタを選択する。そして、フィルタ決定部144は、その選択された頭部伝達関数フィルタのフィルタ係数をフィルタ処理部147に出力する。なお、フィルタ係数の決定方法については、図13を参照して詳細に説明する。
音声データ入力部145は、取得部130から供給される音声データを入力するものであり、その音声データを音量調整部146に供給する。
音量調整部146は、音声データ入力部145から供給された音声データについて、ゲイン決定部143から出力されたゲイン量を用いて音量調整を行うものであり、音量調整後の音声データをフィルタ処理部147に出力する。なお、音量調整方法については、図13を参照して詳細に説明する。
フィルタ処理部147は、音声データ入力部145から供給された音声データについて、フィルタ決定部144から出力されたフィルタ係数を用いてフィルタ処理を行うものであり、フィルタ処理後の音声データを音声データ出力部148に出力する。例えば、フィルタ処理部147は、フィルタ決定部144から出力されたフィルタ係数に係る頭部伝達関数フィルタを用いて、位置換算部142により換算された位置に音像を定位させるためのフィルタ処理を行う。このフィルタ処理は、例えば、頭部伝達関数フィルタによるバイノーラル(binaural)化処理であり、頭部伝達関数を音声データ(音声信号)に畳み込む処理である。なお、フィルタ処理方法については、図13を参照して詳細に説明する。
音声データ出力部148は、フィルタ処理部147から出力されたフィルタ処理後の音声データを、出力制御部170に出力するものである。
[画像補正部の構成例]
図4は、本発明の第1の実施の形態における立体視画像補正部150の機能構成例を示すブロック図である。
立体視画像補正部150は、調整部151と、画像データ入力部152と、水平移動処理部153と、平滑化処理部154と、画像データ出力部155とを備える。
調整部151は、制御部110の制御に基づいて、取得部130から供給される画像データを補正するためのパラメータを調整するものであり、調整後のパラメータを水平移動処理部153に出力する。例えば、調整部151は、操作受付部115により受け付けられた操作入力に応じて、取得部130から供給される立体視画像パラメータに含まれるズラシ量保持テーブルにおける各ズラシ量を調整して、調整後のズラシ量を水平移動処理部153に出力する。なお、パラメータを調整するための操作入力として、例えば、図6に示す立体視画像の奥行位置調整レバー510が用いられる。この操作入力により、ユーザが所望する位置(奥行方向における位置)に再調整された立体視画像を表示させることができる。
画像データ入力部152は、取得部130から供給される画像データを入力するものであり、その画像データを水平移動処理部153に供給する。
水平移動処理部153は、画像データ入力部152から供給された画像データについて、調整部151から出力された調整後のパラメータを用いて画像の移動処理を行うものであり、処理後の画像データを平滑化処理部154に出力する。例えば、水平移動処理部153は、画像データ入力部152から供給された画像データに対応する立体視画像を構成する左眼視用画像および右眼視用画像のうち、左眼視用画像について水平移動処理を行う。具体的には、水平移動処理部153は、その左眼視用画像を構成する各画素について、調整部151による調整後のズラシ量だけ水平方向に移動させる水平移動処理を行い、新たな右眼視用画像を生成する。この水平移動処理は、例えば、図9(b)に示すズラシ量保持テーブル300のブロック単位で行われる。そして、水平移動処理部153は、立体視画像を構成する左眼視用画像と、その生成された新たな右眼視用画像とに対応する画像データを平滑化処理部154に出力する。なお、この例では、調整部151による調整後のズラシ量を用いて新たな右眼視用画像を生成する例を示すが、調整部151による調整後のズラシ量を用いて元の右眼視用画像について水平移動処理を行い、立体視画像を生成するようにしてもよい。
平滑化処理部154は、水平移動処理部153から出力された画像データについて、立体視物体に係る領域のエッジ部分のフィルタ処理(移動平均フィルタによる平滑化処理)を行うものであり、処理後の画像データを画像データ出力部155に出力する。例えば、平滑化処理部154は、取得部130から供給される立体視画像パラメータに含まれる二値化データを用いて立体視物体に係る領域と、その他の領域とを判定する。そして、平滑化処理部154は、立体視物体に係る領域と判定された領域について、移動平均フィルタによる平滑化処理を行う。この平滑化処理により、遠方にある立体視物体(3Dオブジェクト)に係る領域に遠近感を持たせることができる。
画像データ出力部155は、平滑化処理部154から出力された各画像処理後の画像データを、出力制御部170に出力するものである。
[字幕データ補正部の構成例]
図5は、本発明の第1の実施の形態における字幕生成部160の機能構成例を示すブロック図である。
字幕生成部160は、調整値算出部161と、字幕データ生成部162と、字幕データ出力部163とを備える。
調整値算出部161は、制御部110の制御に基づいて、表示部181に表示される字幕の位置(奥行方向における位置)を決定するための調整値を算出するものであり、算出された調整値を字幕データ生成部162に出力する。例えば、調整値算出部161は、取得部130から供給される立体視画像パラメータに含まれるズラシ量保持テーブルにおける各ズラシ量の平均値を、調整値として算出する。
字幕データ生成部162は、制御部110の制御に基づいて、表示部181に表示される字幕データを生成するものであり、生成された字幕データを字幕データ出力部163に出力する。例えば、字幕データ生成部162は、コンテンツ記憶部121に記憶されているコンテンツ(字幕コンテンツ)を用いて字幕データを生成することができる。この場合に、字幕データ生成部162は、生成された字幕データ(字幕画像)について、調整値算出部161から出力された調整値を用いて画像の水平移動処理を行い、処理後の字幕データを字幕データ出力部163に出力する。なお、この水平移動処理については、図4に示す水平移動処理部153による水平移動処理と同様であるため、ここでの説明を省略する。
字幕データ出力部163は、字幕データ生成部162から出力された字幕データを、出力制御部170に出力するものである。
このように、本発明の第1の実施の形態によれば、表示部181に表示される立体視画像に応じた適切な立体字幕をユーザに提供することができる。これにより、ユーザはさらに豊かな臨場感を得ることができる。
[リモコンの構成例]
図6は、本発明の第1の実施の形態におけるリモコン500の外観構成例を示す図である。
リモコン500には、電源ボタン501、502と、チャネル指定ボタン群503と、矢印決定ボタン群504と、機能選択ボタン群505と、基準黒目情報取得ボタン506とが設けられている。また、リモコン500には、立体視画像補正切替ボタン507と、ボリューム調整レバー508と、チャネル選択レバー509と、立体視画像の奥行位置調整レバー510と、立体視画像の音声位置調整レバー511とが設けられている。
電源ボタン501、502は、情報処理装置100の電源をオン/オフする際に用いられるボタンである。
チャネル指定ボタン群503は、情報処理装置100を用いて放送波に基づく放送番組(立体視画像、平面画像)を見る場合において放送チャネルを指定する際に用いられるボタン群である。
矢印決定ボタン群504は、表示部181にメニュー画面等が表示されている際に用いられる上下左右の矢印ボタンおよび決定ボタンにより構成される。上下左右の矢印ボタンは、表示部181に表示されている表示画面における上下左右方向の選択操作を行う際に用いられるボタンであり、例えば、メニュー画面における選択操作を行う際にその選択状態を上下左右に移動させる場合に用いられる。決定ボタンは、表示部181に表示されている表示画面における各種決定操作を行う際に用いられるボタンであり、例えば、メニュー画面における選択状態を決定する場合に用いられる。
機能選択ボタン群505は、各種機能を選択する際に用いられるボタンである。
基準黒目情報取得ボタン506は、ユーザに関する基準黒目情報を取得する際に押下されるボタンである。なお、基準黒目情報取得ボタン506については、本発明の第2の実施の形態において詳細に説明する。
立体視画像補正切替ボタン507は、立体視画像に関する各種補正を自動で行う自動モード、または、その各種補正を手動で行う手動モードの何れかに切り替える際に押下されるボタンである。
ボリューム調整レバー508は、音声出力部182から出力される音声の音量を調整する際に用いられるレバーである。
チャネル選択レバー509は、情報処理装置100を用いて放送波に基づく放送番組(立体視画像、平面画像)を見る場合において放送チャネルを選択する際に用いられるレバーである。
立体視画像の奥行位置調整レバー510は、表示部181に立体視画像が表示されている場合において、その立体視画像に含まれる物体の奥行方向における位置を調整する際に用いられるレバーである。なお、立体視画像の奥行位置調整レバー510を用いた調整例については、図12を参照して詳細に説明する。
立体視画像の音声位置調整レバー511は、表示部181に立体視画像が表示されている場合において、その立体視画像に係る音声の音像を定位させる位置(奥行方向における位置)を調整する際に用いられるレバーである。
[立体視画像とこれに含まれる物体の奥行方向における位置との関係例]
図7は、本発明の第1の実施の形態における表示部181に表示される立体視画像を構成する各画像と、これらの各画像に含まれる物体の奥行方向における位置との関係を示す図である。図7(a)には、立体視画像が表示部181に表示された際に、ユーザ210が立体的に見ることができる物体203乃至205の位置を奥行方向に仮想的に配置した場合における上面図を模式的に示す。図7(b)には、図7(a)に示す物体203乃至205を立体的に表示させるための立体視画像(左眼視用画像201および右眼視用画像202)を示す。すなわち、左眼視用画像201および右眼視用画像202には、物体203乃至205が含まれている。また、奥行方向は、例えば、ユーザ210と表示部181の表示面とを結ぶ線に平行な方向であり、表示部181の表示面に直行する方向である。
なお、図7では、同一の物体については、左眼視用画像201および右眼視用画像202において同一の符号を付して説明する。また、図7では、説明の容易のため、左眼視用画像201および右眼視用画像202に含まれる物体203乃至205のズラシ量を比較的大きくして示す。
また、本発明の第1の実施の形態では、表示部181に立体視画像を表示するための表示方式の一例として、視差バリア方式や専用メガネ方式を用いることができる。専用メガネ方式は、立体視画像を見るための専用メガネ(例えば、アクティブシャッター方式メガネ、偏光板タイプメガネ)をユーザがかけることにより、そのユーザに立体視画像を提供する方式である。なお、視差バリア方式や専用メガネ方式以外の他の方式についても本発明の実施の形態を適用することができる。
ここで、左眼視用画像201および右眼視用画像202が表示部181に表示された際に、ユーザ210の左眼211が左眼視用画像201を見て、ユーザ210の右眼212が右眼視用画像202を見た場合を想定する。この場合には、図7(a)に示すように、左眼視用画像201および右眼視用画像202に含まれる物体204が表示面の位置220(表示部181の表示面の位置)に見えるものとする。また、左眼視用画像201および右眼視用画像202に含まれる物体203が表示面の位置220の奥側(表示面の奥側221)に見え、物体205が表示面の位置220の手前側(表示面の手前側222)に見えるものとする。
このように、表示面の位置220の物体204を基準とする場合において、立体感を構成する物体203および205は、立体視画像(左眼視用画像201および右眼視用画像202)内において水平方向にズレている。また、表示面の位置220を基準とする場合において、飛び出している物体205と、引っ込んでいる物体203とは、ズレの位置が反転している。
[左眼視用画像および右眼視用画像に含まれる物体のズラシ量の関係例]
図8は、本発明の第1の実施の形態における表示部181に表示される立体視画像を構成する各画像に含まれる物体のズラシ量の関係を示す図である。矩形230は、図7(b)に示す左眼視用画像201および右眼視用画像202に対応する矩形であり、矩形230内には、図7(b)に示す左眼視用画像201および右眼視用画像202に含まれる物体203乃至205を示す。なお、矩形230内において、物体203乃至205のうち、図7(b)に示す左眼視用画像201に含まれる物体203乃至205の輪郭を太線で示す。なお、物体204については、図7(a)に示すように、表示面の位置220に相当するため、ズレが発生しない。このため、矩形230内において、左眼視用画像201および右眼視用画像202に含まれる物体204が重複する。
また、矩形230内において、左眼視用画像201を基準とする場合における左眼視用画像201および右眼視用画像202間における物体203のズラシ量を矢印231で示す。同様に、左眼視用画像201を基準とする場合における左眼視用画像201および右眼視用画像202間における物体205のズラシ量を矢印232で示す。なお、物体204については、上述したようにズレが発生しない。
このように、左右眼の視差を利用して立体的な視覚を得るため、左眼視用画像201および右眼視用画像202に含まれる物体は、その物体の表示位置(奥行方向における位置)に応じてズレている。すなわち、物体のズラシ量は、立体視物体(3Dオブジェクト)の飛出量または引込量に対応するものである。
そこで、本発明の第1の実施の形態では、立体視画像を構成する左眼視用画像および右眼視用画像に関する物体のズラシ量(立体視物体(3Dオブジェクト)の飛出量または引込量)を立体視画像パラメータとして用いる例を示す。また、本発明の第1の実施の形態では、左眼視用画像を基準とし、左眼視用画像に含まれる物体と、右眼視用画像に含まれるその物体との差分に基づいて算出された立体視画像パラメータ(その物体の飛出量または引込量)を用いる例を示す。
例えば、基準となる左眼視用画像に含まれる物体が右眼視用画像において左側(図8における左側)にズレている場合には、その物体は飛出物体であり、その物体のズラシ量は0よりも大きいものとする(すなわち、ズラシ量>0)。
また、例えば、基準となる左眼視用画像に含まれる物体が右眼視用画像において右側(図8における右側)にズレている場合には、その物体は引込物体であり、その物体のズラシ量は0未満であるものとする(すなわち、ズラシ量<0)。
また、例えば、基準となる左眼視用画像に含まれる物体が右眼視用画像においてズレていない場合には、その物体は表示面の位置(スクリーン面)に相当する物体であり、その物体のズラシ量は0であるものとする(すなわち、ズラシ量=0)。
具体的には、基準となる左眼視用画像201に含まれる物体203は、右眼視用画像202において右側(矢印231で示す)にズレているため、物体203は引込物体であり、物体203のズラシ量は0未満である(すなわち、物体203のズラシ量<0)。
また、基準となる左眼視用画像201に含まれる物体205は、右眼視用画像202において左側(矢印232で示す)にズレているため、物体205は飛出物体であり、物体205のズラシ量は0よりも大きい(すなわち、物体205のズラシ量>0)。
また、基準となる左眼視用画像201に含まれる物体204は、右眼視用画像202においてズレていないため、物体204は表示面の位置(スクリーン面)に相当する物体であり、物体204のズラシ量は0である(すなわち、物体204のズラシ量=0)。
[ズラシ量保持テーブル例]
図9は、本発明の第1の実施の形態におけるコンテンツ付随情報記憶部122に記憶されている立体視画像パラメータ(ズラシ量保持テーブル300)を模式的に示す図である。
図9(a)には、ズラシ量保持テーブル300を生成する際に用いられる立体視画像(左眼視用画像301および右眼視用画像302)を示す。左眼視用画像301および右眼視用画像302は、1920画素×1080画素からなる画像である。なお、図9(a)では、左眼視用画像301および右眼視用画像302に対応する矩形のみを示し、各画像に含まれる物体等の図示を省略する。
ここで、立体視画像に含まれる物体のズラシ量の算出方法について説明する。例えば、左眼視用画像が特定サイズの領域(ブロック)に分割され、右眼視用画像における対応領域(例えば、4画素×4画素のサイズ)同士の比較処理(水平方向に移動させながらの比較処理)により相関値が算出される。そして、その相関値に基づいてブロック単位でズラシ量が決定され、ズラシ量保持テーブル300が生成される。
図9(b)には、左眼視用画像301および右眼視用画像302について算出されたズラシ量を、ブロック単位で保持するズラシ量保持テーブル300を示す。1920画素×1080画素からなる左眼視用画像301および右眼視用画像302について、4画素×4画素のブロック単位で比較処理を行った場合には、129,600(480×270)個のズラシ量がブロック毎に算出される。このようにブロック毎に算出されたズラシ量が、算出対象となったブロックに関連付けてズラシ量保持テーブル300に保持される。また、算出対象となった立体視画像コンテンツを構成するフレーム毎に、ズラシ量保持テーブル300が生成される。そして、算出対象となった立体視画像コンテンツに関連付けて、ズラシ量保持テーブル300がコンテンツ付随情報記憶部122に記憶される。この場合に、ズラシ量保持テーブル300は、算出対象となった立体視画像コンテンツを構成するフレーム毎に関連付けて記憶される。
また、図9(b)には、左眼視用画像301におけるブロックの位置に対応するズラシ量保持テーブル300の位置に、ズラシ量を格納して示す。また、ズラシ量については、画素単位で保持するようにしてもよく、小数単位で保持するようにしてもよいが、図9(b)では、説明の容易のため、画素単位で算出されたズラシ量を保持する例を示す。また、ズラシ量については、0以外に、正の値(いわゆる、飛出方向の値(飛出量))および負の値(いわゆる、引込方向の値(引込量))の何れも算出されるが、図9(b)では、説明の容易のため、正の値のみを例示する。
[二値化データ例]
次に、立体視画像パラメータの一例である二値化データについて説明する。例えば、ズラシ量保持テーブル300におけるズラシ量が「0」の領域(ズラシ量0領域)に接する、ズラシ量が「非0」の領域(ズラシ量非0領域)についてエッジ検出処理を行うことにより立体視物体を検出することができる。
このエッジ検出処理により二値化データ(例えば、立体視物体の領域「1」、それ以外の領域「0」)がズラシ量保持テーブル300のブロック単位で算出される。そして、ズラシ量保持テーブル300のブロック単位で算出された二値化データ(0または1)については、ズラシ量保持テーブル300に関連付けて保持される。
例えば、算出された二値化データ(0または1)により、立体視画像における閉じた領域が特定される場合には、その閉じた領域を立体視物体の領域とすることができる。このように、立体視物体の領域が特定される場合には、その物体に対応する領域と、その物体のズラシ量とを関連付けて立体視画像パラメータとすることができる。また、立体視画像に複数の物体が含まれる場合には、その複数の物体に対応する各領域と、その複数の物体の各ズラシ量とを関連付けて立体視画像パラメータとすることができる。このように複数の物体が特定される場合には、各物体に対応する領域が閉じた領域であることが必要となる。なお、コンテンツ付随情報記憶部122は、その特定された物体に対応する領域と、その特定された物体のズラシ量が変換された奥行量(飛出量または引込量)とを関連付けた立体視画像パラメータを記憶するようにしてもよい。
[画像におけるズレ量と表示面におけるズレ量との関係例]
図10は、本発明の第1の実施の形態におけるコンテンツ記憶部121に記憶されている立体視画像コンテンツにおけるズレ量と、表示部181の表示面におけるズレ量との関係を示す図である。図10(a)には、立体視画像を構成する左眼視用画像201および右眼視用画像202を示す。図10(a)に示す左眼視用画像201および右眼視用画像202は、図7(b)と同様である。図10(a)では、左眼視用画像201における物体203のズレ量(右眼視用画像202に含まれる物体203とのズレ量)をズレ量G1として示す。
図10(b)には、表示部181に表示される立体視画像を示す。なお、図10(b)では、図10(a)に示す左眼視用画像201および右眼視用画像202を合成して示す。また、図10(b)では、表示部181の表示面におけるズレ量(左眼視用画像201および右眼視用画像202に含まれる物体203のズレ量)をズレ量G2として示す。
このように、立体視画像におけるズレ量と、表示部181の表示面におけるズレ量との関係に基づいて、音声補正部140、立体視画像補正部150および字幕生成部160は、立体視画像パラメータを用いて補正処理を行う。このため、音声補正部140、立体視画像補正部150および字幕生成部160は、立体視画像におけるズレ量と、表示部181の表示面におけるズレ量との変換テーブルを保持しておき、この変換テーブルに基づいて立体視画像パラメータを用いた補正処理を行う。
[試聴位置と飛出位置との関係例]
図11は、本発明の第1の実施の形態における表示部181に表示される立体視画像を視聴する場合における視聴位置と、その立体視画像に含まれる物体(立体視物体)の飛出位置との関係を模式的に示す図である。
図11において、立体視画像が表示される位置(表示部181の表示面)を表示面の位置350とし、表示部181に表示される立体視画像を視聴する場合におけるユーザの視聴位置を視聴位置351とする。また、この状態で立体視画像を視聴しているユーザが見ることができる物体(立体視物体352)の飛出位置を飛出位置353とする。
ここで、立体視画像に含まれる立体視物体352のズレ量(表示面上のズレ量)をpとし、表示面の位置350および視聴位置351間の距離をLとし、立体視画像を視聴しているユーザの両眼間隔をeとする。また、表示面の位置350および飛出位置353間の距離(飛出量)をdとする。
この場合に、表示面の位置350と、視聴位置351と、飛出位置353との関係については、相似関係から、以下の式1が成立する。
d:p=(L−d):e …式1
また、式1を変形すると、d=pL/(e+p)が求められる。
具体的には、p=71mm、l=2000mm、e=65mmを代入すると、飛出量dとして、1044mm(d=71×2000/(65+71))を求めることができる。
このように、立体視画像における物体のズレ量を用いて、その物体の飛出量を求めることができる。このため、立体視画像補正部150は、立体視画像における物体のズレ量を用いて、その物体の奥行量(飛出量または引込量)の補正を行うことができる。
[立体視画像の補正例]
図12は、本発明の第1の実施の形態における立体視画像補正部150による補正前後の立体視物体の位置を模式的に示す図である。
図12(a)には、表示部181に立体視画像が表示される場合に、その立体視画像に含まれる物体203乃至205の位置を奥行方向に仮想的に配置した場合における上面図を模式的に示す。なお、図12(a)に示す例は、距離B1およびS1以外は、図7(a)と同様である。
ここで、距離B1は、物体203乃至205の位置を奥行方向に仮想的に配置した場合における物体203および204間の奥行方向における距離を示す。また、距離S1は、物体203乃至205の位置を奥行方向に仮想的に配置した場合における物体204および205間の奥行方向における距離を示す。
図12(b)には、立体視画像補正部150による補正後に、表示部181に立体視画像が表示される場合に、その立体視画像に含まれる物体203乃至205の位置を奥行方向に仮想的に配置した場合における上面図を模式的に示す。
ここで、距離B2は、物体203乃至205の位置を奥行方向に仮想的に配置した場合における物体203および204間の奥行方向における距離を示す。また、距離S2は、物体203乃至205の位置を奥行方向に仮想的に配置した場合における物体204および205間の奥行方向における距離を示す。
図12(b)では、立体視画像コンテンツを長時間視聴する場合に、その長時間の視聴でもユーザの眼が疲労しないように、立体視物体の奥行量(飛出量または引込量)を控えめに調整した場合を例にして示す。
例えば、図5に示す立体視画像の奥行位置調整レバー510を真ん中よりも「小」側に移動させることにより、立体視物体の奥行量(飛出量または引込量)を控えめに調整することができる。この場合には、図4に示す調整部151が、ズラシ量保持テーブルにおける各ズラシ量に係数K(0<K<1)を乗算することにより、各ズラシ量を調整することができる。この場合に、図12に示す例では、B2<B1、および、S2<S1となる。このように、立体視物体の飛出量および引込量を少なくしてユーザの眼の負担を軽減させることができる。
また、例えば、図5に示す立体視画像の奥行位置調整レバー510を真ん中よりも「大」側に移動させることにより、立体視物体の奥行量(飛出量または引込量)を強調するように調整することができる。この場合には、図4に示す調整部151が、ズラシ量保持テーブルにおける各ズラシ量に係数K(1<K)を乗算することにより、各ズラシ量を調整することができる。このように、立体視物体の飛出量および引込量を大きくして強調することにより、立体視画像の立体感をさらに強くしてユーザが楽しむことができる。
このように、ユーザ操作に応じて立体視画像の奥行量を調整することにより、ユーザの個人的嗜好に応じた適切な立体視画像を提供することができる。この場合に、例えば、視聴者の年齢層に応じた設定ボタン(例えば、子供ボタン、青年ボタン、高齢ボタン)をリモコン500に設け、この設定ボタンをユーザの年齢層に応じて押下することにより、ユーザの年齢層に応じた適切な立体視画像を提供することができる。例えば、子供ボタンまたは高齢ボタンが押下された場合には、立体視画像およびその音声を控えめに設定することができる。また、青年ボタンが押下された場合には、立体視画像およびその音声を強調するように設定することができる。
また、このように立体視物体の奥行量が変更された場合(変更操作が行われた場合)には、音声データに係る音像をその変更後の奥行量に対応する位置に定位させるように音声データを補正するようにしてもよい。
[音声の補正例]
図13は、本発明の第1の実施の形態における音声補正部140により出力音声を補正する場合における補正方法を模式的に示す図である。図13では、図11と同様に、表示部181に表示される立体視画像を視聴する場合における視聴位置と、その立体視画像に含まれる物体(立体視物体)の飛出位置との関係を模式的に示す。
図13において、立体視画像が表示される位置(表示部181の表示面)を表示面の位置400とし、表示部181に表示される立体視画像を視聴する場合におけるユーザの視聴位置を視聴位置401とする。また、この状態で立体視画像を視聴しているユーザが見ることができる物体A、B(立体視物体402、403)の飛出位置を飛出位置404、405とする。
ここで、表示面の位置400および視聴位置401間の距離をLとし、表示面の位置400および飛出位置404間の距離(飛出量)をYaとし、表示面の位置400および飛出位置405間の距離(飛出量)をYbとする。この場合に、視聴位置401および飛出位置404間の距離ZaはL−Ya(すなわち、Za=L−Ya)であり、視聴位置401および飛出位置405間の距離ZbはL−Yb(すなわち、Zb=L−Yb)である。
そこで、表示部181に立体視画像が表示される場合において、立体視物体402(飛出位置404)を含む立体視画像が表示される場合には、フィルタ処理部147が、距離Zaに応じたフィルタ処理を施す。これにより、立体視物体402の飛出位置404に音像を定位させることができる。なお、音像は、感覚上の音源を意味する。
ここで、フィルタ処理に用いられるフィルタ係数は、定位させる音源の位置(距離、方向)と、試聴位置とにおいて、スピーカおよびダミーヘッドを設置し、インパルス応答を測定する公知の方法により求める(例えば、特開2010−178373号参照。)
また、想定される複数の音源の位置(距離、方向)に対応するフィルタ係数(上述した方法により求められる)を、その複数の音源の位置毎に関連付けて保持部149に保持させておく。そして、位置換算部142から出力される立体視物体の奥行量(飛出位置および引込量)に応じて、フィルタ決定部144が複数のフィルタ係数のうちから1つのフィルタ係数を選択する。すなわち、フィルタ決定部144が、立体視物体の飛出位置に最も近い位置に対応するフィルタ係数を選択する。そして、フィルタ決定部144により選択されたフィルタ係数を用いてフィルタ処理部147がフィルタ処理を行う。
また、音量調整を行うことにより音声を補正することができる。ここでは、図13において、立体視物体(物体A)402の飛出位置404を基準として、立体視物体(物体B)403の飛出位置405の音量調整を行う例を示す。
音量を調整する際に用いられるゲイン量は、音圧と距離との関係から決定される。具体的には、飛出位置404における音圧をIaとする場合に、飛出位置405における音圧Ibは、次の式2により求めることができる。
Ib=Ia×(Zb/Za)2 … 式2
したがって、飛出位置405の音量調整を行う場合におけるゲイン量gとしてlb/la(すなわち、g=lb/la)が決定される。すなわち、ゲイン決定部143は、位置換算部142からの位置情報に基づいて、飛出位置405の音量調整を行う場合におけるゲイン量gとしてlb/laを決定する。
このように、ゲイン決定部143により決定されたゲイン量を用いて、音量調整部146が、飛出位置404の前後の位置(例えば、飛出位置405)の音量調整を行う。このように、フィルタ処理とともに音量調整処理を行うことにより、頭部伝達関数フィルタに対応する位置以外の位置についても、音声情報を正確に補正することができる。また、このように、フィルタ処理とともに音量調整処理を行うことにより、頭部伝達関数フィルタを多数保持しなくても、各位置に対応した音声情報の補正を行うことができる。
このように、立体視画像における物体のズレ量を用いて、その物体の飛出量を求めることができる。このため、音声補正部140は、立体視画像における物体のズレ量を用いて、その物体の音声情報の補正を行うことができる。
このように、本発明の第1の実施の形態によれば、表示部181に表示される立体視画像に応じた適切な立体音響をユーザに提供することができる。すなわち、立体視画像を表示する際に物体の奥行方向における位置を考慮した音声出力を行うことができる。これにより、ユーザはさらに豊かな臨場感を得ることができる。
[情報処理装置の動作例]
次に、本発明の第1の実施の形態における情報処理装置100の動作について図面を参照して説明する。
[音声補正部の動作例]
図14は、本発明の第1の実施の形態における音声補正部140による音声補正処理の処理手順の一例を示すフローチャートである。図14では、ズラシ量保持テーブルにおけるズラシ量の平均値に基づいて音声を補正する場合を例にして説明する。
最初に、立体視画像の表示指示操作が行われたか否かが判断され(ステップS911)、立体視画像の表示指示操作が行われていない場合には、監視を継続して行う。立体視画像の表示指示操作が行われた場合には(ステップS911)、調整値算出部141が、ズラシ量保持テーブルを取得し(ステップS912)、このズラシ量保持テーブルにおける各ズラシ量の平均値(調整値)を算出する(ステップS913)。
続いて、位置換算部142が、その平均値(調整値)に対応する位置(奥行方向における位置)に換算する(ステップS914)。続いて、ゲイン決定部143が、換算後の位置に基づいて、音量調整を行うためのゲイン量を決定する(ステップS915)。続いて、フィルタ決定部144が、換算後の位置に基づいて、その位置に音像を定位させるためのフィルタ係数を決定する(ステップS916)。
続いて、音量調整部146が、その決定されたゲイン量を用いて音量調整を行う(ステップS917)。続いて、フィルタ処理部147が、その決定されたフィルタ係数を用いてフィルタ処理を行う(ステップS918)。
続いて、音声データ出力部148が、補正処理後の音声データを出力制御部170に出力する(ステップS919)。これにより、補正処理後の音声データが出力制御部170から出力される。
続いて、立体視画像の表示終了操作が行われたか否かが判断され(ステップS920)、立体視画像の表示終了操作が行われていない場合には、ステップS912に戻る。一方、立体視画像の表示終了操作が行われた場合には(ステップS920)、音声補正処理の動作を終了する。
[立体視画像補正部の動作例]
図15は、本発明の第1の実施の形態における立体視画像補正部150による立体視画像補正処理の処理手順の一例を示すフローチャートである。図15では、ユーザ操作によるパラメータ調整に基づいて立体視画像を補正する場合を例にして説明する。
最初に、立体視画像の表示指示操作が行われたか否かが判断され(ステップS931)、立体視画像の表示指示操作が行われていない場合には、監視を継続して行う。立体視画像の表示指示操作が行われた場合には(ステップS931)、ユーザ操作によりパラメータ調整の指示操作が行われたか否かが判断され(ステップS932)、パラメータ調整の指示操作が行われていない場合には、ステップS938に進む。
また、パラメータ調整の指示操作が行われた場合には(ステップS932)、調整部151が、ズラシ量保持テーブルを取得する(ステップS933)。続いて、操作受付部115により受け付けられた操作入力(パラメータ調整の指示操作)に応じて、そのズラシ量保持テーブルにおける各ズラシ量を調整する(ステップS934)。
続いて、水平移動処理部153が、調整後のズラシ量に基づいて水平移動処理を行い(ステップS935)、平滑化処理部154が二値化データに基づいて平滑化処理を行う(ステップS936)。続いて、画像データ出力部155が、補正処理後の画像データを出力制御部170に出力する(ステップS937)。
続いて、立体視画像の表示終了操作が行われたか否かが判断され(ステップS938)、立体視画像の表示終了操作が行われていない場合には、ステップS932に戻る。一方、立体視画像の表示終了操作が行われた場合には(ステップS938)、画像補正処理の動作を終了する。
[字幕生成部の動作例]
図16は、本発明の第1の実施の形態における字幕生成部160による字幕生成処理の処理手順の一例を示すフローチャートである。図16では、ズラシ量保持テーブルにおけるズラシ量の平均値に基づいて字幕データを補正する場合を例にして説明する。
最初に、立体視画像の表示指示操作が行われたか否かが判断され(ステップS951)、立体視画像の表示指示操作が行われていない場合には、監視を継続して行う。立体視画像の表示指示操作が行われた場合には(ステップS951)、調整値算出部161が、ズラシ量保持テーブルを取得し(ステップS952)、このズラシ量保持テーブルにおける各ズラシ量の平均値(調整値)を算出する(ステップS953)。
続いて、字幕データ生成部162が字幕データを生成し(ステップS954)、この生成された字幕データ(字幕画像)について、その平均値(調整値)を用いて画像の水平移動処理を行う(ステップS955)。続いて、字幕データ出力部163が、生成された字幕データを出力制御部170に出力する(ステップS956)。
続いて、立体視画像の表示終了操作が行われたか否かが判断され(ステップS957)、立体視画像の表示終了操作が行われていない場合には、ステップS952に戻る。一方、立体視画像の表示終了操作が行われた場合には(ステップS957)、字幕生成処理の動作を終了する。
[特定の立体視物体の位置を基準とする音声の補正例]
以上では、ズラシ量保持テーブルにおけるズラシ量の平均値に基づいて音声を補正する例を示した。ただし、例えば、特定人物(例えば、本人や家族)を含む立体視画像を表示する場合には、その特定人物を基準として音声を補正することをユーザが所望することも想定される。そこで、以下では、立体視画像に含まれる特定対象物を基準として音声を補正する例を示す。
図17は、本発明の第1の実施の形態における表示部181に表示される立体視画像を時系列で模式的に示す図である。
図17(a)には、離陸する飛行機413を正面側から撮影した場合における立体視画像410乃至412を示す。図17(b)には、撮影者側に進行している人物418を正面側から撮影した場合における立体視画像415乃至417を示す。
立体視画像410乃至412、415乃至417は、立体視画像を表示するための動画を構成するフレームのうち、一定間隔毎のフレームに対応する画像であるものとする。また、図17では、説明の容易のため、立体視画像を構成する左眼視用画像および右眼視用画像のうちの一方のみを時系列で示す。
また、立体視画像410乃至412に対応する動画が表示される場合には、飛出量が比較的多い立体視物体として飛行機413が表示されるものとする。また、立体視画像415乃至417に対応する動画が表示される場合には、飛出量が比較的多い立体視物体として人物418が表示されるものとする。
図17に示すように、特定の立体視物体(飛行機413、人物418)が時系列で撮影者側に順次近づいてくるシーンでは、オーディオチャネルの中から、その立体視物体から生じる音声を識別してその音声を補正する。このように音声補正を行うことにより、さらにユーザ好みの適切な音声出力を行うことができる。
[音声補正部の構成例]
図18は、本発明の第1の実施の形態における音声補正部450の機能構成例を示すブロック図である。なお、音声補正部450は、図3に示す音声補正部140の一部を変形した例である。このため、音声補正部140と共通する部分には同一の符号を付して、これらの説明の一部を省略する。
音声補正部450は、顔検出部451と、位置換算部452と、ゲイン決定部453と、フィルタ決定部454と、音量調整部456と、フィルタ処理部457と、ミキサ部458と、音声データ出力部459とを備える。
音声データ入力部145は、取得部130から供給される音声データ(センタチャンネル、左チャンネル、右チャンネルを含む)を入力するものであり、その音声データを音量調整部146および音量調整部456に供給する。例えば、センタチャンネル(音声チャネル)の音声データが音量調整部456に供給され(信号線462)、左チャンネルおよび右チャンネル(メインのオーディオチャネル)の音声データが音量調整部146に供給される(信号線461)。また、フィルタ処理部147は、フィルタ処理後の音声データをミキサ部458に出力する。
顔検出部451は、制御部110の制御に基づいて、取得部130から供給される画像データに含まれる人物の顔を検出するものであり、検出された顔に関する顔情報(検出された顔の領域に対応する各ズラシ量の平均値)を位置換算部452に出力する。例えば、顔検出部451は、取得部130から供給される立体視画像パラメータに含まれるズラシ量保持テーブルおよび二値化データを用いて人物の顔を検出する。例えば、顔検出部451は、ズラシ量保持テーブルにおける各ズラシ量のうち、二値化データにより特定される立体視物体に係る領域の各ズラシ量を抽出する。そして、顔検出部451は、その抽出された各ズラシ量と、予め保持されている人物の顔のパターン画像とのマッチング処理を行い、このマッチング処理の結果に基づいて人物の顔を検出する。なお、他の検出方法を用いるようにしてもよい。例えば、本発明の第2の実施の形態における顔検出部620(図23に示す)と同様の顔検出方法を用いることができる。
位置換算部452は、顔検出部451から出力された顔情報(平均値)を、音声データを補正するための位置(奥行方向における位置)に換算するものであり、換算後の位置(位置情報)をゲイン決定部453およびフィルタ決定部454に出力する。
ゲイン決定部453は、位置換算部452から出力された位置情報に基づいて、音量調整を行うためのゲイン量を決定するものであり、決定されたゲイン量を音量調整部456に出力する。
フィルタ決定部454は、位置換算部452から出力された位置情報に基づいて、その位置情報に対応する位置に音像を定位させるためのフィルタ係数を決定するものであり、決定されたフィルタ係数をフィルタ処理部457に出力する。
音量調整部456は、音声データ入力部145から供給された音声データについて、ゲイン決定部453から出力されたゲイン量を用いて音量調整を行うものであり、音量調整後の音声データをフィルタ処理部457に出力する。
フィルタ処理部457は、音声データ入力部145から供給された音声データについて、フィルタ決定部454から出力されたフィルタ係数を用いてフィルタ処理を行うものであり、フィルタ処理後の音声データをミキサ部458に出力する。
ミキサ部458は、フィルタ処理部147から出力されたフィルタ処理後の音声データと、フィルタ処理部457から出力されたフィルタ処理後の音声データとをミキシングするものであり、そのミキシングされた音声データを音声データ出力部459に出力する。
音声データ出力部459は、ミキサ部458から出力された音声データを、出力制御部170に出力するものである。
このように、音声補正部450は、顔検出部451により検出された人物の顔(特定対象物)の奥行方向における位置に基づいて、その人物から生じる音声を補正する。すなわち、音声補正部450は、立体視画像パラメータのうち、その人物の顔の奥行方向における位置を示すパラメータ(ズラシ量)を用いて、センタチャンネルの音声データ(その人物から生じる音声データ)を補正する。また、例えば、音声補正部450は、その人物の顔の奥行方向における位置を示すパラメータ以外のパラメータ(ズラシ量)を用いて、左チャンネルおよび右チャンネルの音声データを補正することができる。例えば、調整値算出部141は、その人物の顔の奥行方向における位置を示すパラメータ以外のパラメータ(ズラシ量)の平均値を算出する。そして、その算出された平均値に基づいて左チャンネルおよび右チャンネルの音声データを補正することができる。
なお、この例では、特定対象物として人物の顔を検出する例を示したが、他の特定対象物検出方法を用いて特定対象物(例えば、飛行機、車、人体)を検出するようにしてもよい。例えば、勾配方向ヒストグラム(HOG:Histograms of Oriented Gradients)を用いて物体検出を行う検出方法を用いて特定対象物を検出することができる(例えば、特開2010−067102号参照。)。
[背景の位置を基準とする音声の補正例]
以上では、立体視画像に含まれる特定対象物を基準として音声を補正する例を示した。ただし、立体視画像に含まれる他の領域を基準として音声を補正するようにしてもよい。例えば、立体視画像に含まれる背景領域(すなわち、立体視物体以外の領域)を基準として、その背景領域に係る音声(背景音)を補正するようにしてもよい。例えば、二値化データを用いて背景領域を特定することができる(すなわち、二値化データが「0」の領域が背景領域)。また、背景音は、例えば、サラウンドチャネルの中から抽出することができる。そして、背景領域に対応する位置にオーディオチャネルのうち、背景音の音像を定位させる。これにより、最適な立体音響をユーザに提供することができる。
[シーン切替に基づく立体視画像の補正例]
以上では、ユーザ操作に基づいて立体視画像を補正する例を示した。ここで、例えば、放送番組からCM(Commercial Message)への切替時やチャネル切替時(シーン切替)には、立体視画像から平面画像に変化したり、平面画像から立体視画像に変化したりすることが想定される。このような急激な変化(立体視画像から平面画像への変化や平面画像から立体視画像への変化)があった場合には、ユーザが違和感を生じることも考えられる。そこで、以下では、CM切替時やチャネル切替時を基準として立体視画像を補正する例を示す。なお、この例における情報処理装置の構成については、図2等に示す例と略同様である。このため、図2等に示す情報処理装置100と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
なお、シーン切替時の検出方法として、例えば、対象画像と、時間軸において1つ前の画像(隣接画像)との比較により、急激に変化する画像を検出して、対象画像がカットチェンジ点(シーン切替時)であるか否かを解析する方法を用いることができる。このカットチェンジの検出方法として、例えば、画像間におけるヒストグラム類似度および空間相関画像類似度を用いてカットチェンジであるかを判定する方法(例えば、特開2008−83894号参照。)を用いることができる。この方法は、例えば、対象画像と隣接画像とに関するヒストグラム類似度および空間相関画像類似度に基づいて、対象画像と隣接画像とおける画像の変化がカットチェンジであるかを判定する。なお、CM切替時については、放送受信部からの映像信号に基づいて検出するようにしてもよい。また、チャネル切替時については、リモコン500または操作受付部115により受け付けられるユーザ操作に基づいて検出することができる。
[CM切替に基づく立体視画像の補正例]
図19は、本発明の第1の実施の形態における立体視画像補正部150による奥行量の調整例を示す図である。図19では、ズラシ量保持テーブル300に保持されているズラシ量のうちの1つのズラシ量(1ブロック)に対応する奥行量の変化を時系列で模式的に示す。また、図19に示す例では、放送番組が立体視画像として表示され、CMが平面画像として表示される場合を想定して説明する。
図19(a)には、調整前の立体視物体の奥行量を時系列で示す。図19(a)に示す曲線531および532は、立体視画像として表示される放送番組(番組(3D))に係る奥行量の遷移に対応する曲線である。また、曲線531および532に対応する放送番組(番組(3D))の後には、CM(2D)が平面画像として表示されるものとする。
図19(a)に示すように、曲線531に対応する放送番組(番組(3D))からCM(2D)への切替時には、奥行量が急激に変化する。同様に、CM(2D)から曲線532に対応する放送番組(番組(3D))への切替時、曲線532に対応する放送番組(番組(3D))からCM(2D)への切替時についても、奥行量が急激に変化する。このように奥行量が急激に変化する場合には、立体視画像を見ていたユーザが違和感を生じるおそれがある。例えば、放送番組(番組(3D))からCM(2D)への切替時には、立体視画像から平面画像に急激に切り替わるため、違和感を生じるおそれがある。そこで、図19(b)に示すように、放送番組(番組(3D))からCM(2D)への切替時には奥行量を調整して、立体視画像から平面画像への切替時にユーザに与える違和感を軽減させることができる。
図19(b)には、調整後の立体視物体の奥行量を時系列で示す。図19(b)に示す曲線533は、図19(a)に示す曲線531に対応する奥行量を調整した後の奥行量の遷移に対応する曲線である。また、図19(b)に示す曲線534は、図19(a)に示す曲線532に対応する奥行量を調整した後の奥行量の遷移に対応する曲線である。
例えば、放送番組(番組(3D))からCM(2D)への切替時には、図4に示す調整部151が、その境界時から所定時間(例えば、期間t11)前の奥行量(ズラシ量)から調整を行う。例えば、期間t11の開始時から終了時までの間、時間の経過に応じて減少するパラメータaを奥行量に乗算することにより調整を行うことができる。このパラメータaは、例えば、0≦a≦1の範囲内の値に変化するパラメータであり、期間t11の開始時にはパラメータa=1となり、期間t11の終了時にはパラメータa=0となる。また、期間t11の開始時から終了時までの間、時間の経過に応じて、1から0に減少するように変化する。
また、例えば、CM(2D)から放送番組(番組(3D))への切替時には、図4に示す調整部151が、その境界時から所定時間(例えば、期間t12)後まで奥行量(ズラシ量)の調整を行う。例えば、期間t12の開始時から終了時までの間、時間の経過に応じて増加するパラメータbを奥行量に乗算することにより調整を行う。このパラメータbは、例えば、0≦a≦1の範囲内の値に変化するパラメータであり、期間t12の開始時にはパラメータb=0となり、期間t12の終了時にはパラメータb=1となる。また、期間t12の開始時から終了時までの間、時間の経過に応じて0から1に増加するように変化する。
[チャネル切替に基づく立体視画像の補正例]
図20は、本発明の第1の実施の形態における立体視画像補正部150による奥行量の調整例を示す図である。図20では、ズラシ量保持テーブル300に保持されているズラシ量のうちの1つのズラシ量(1ブロック)に対応する奥行量の変化を時系列で模式的に示す。また、図20に示す例では、立体視画像および平面画像の何れかが表示される場合を想定して説明する。
なお、図20に示す例は、図19の変形例であり、CM(2D)期間および番組(2D)期間が異なる以外は、略同様である。
なお、図19および図20に示す例では、CM切替時およびチャネル切替時における立体視画像の補正例を示したが、シーンチェンジ時についても同様に立体視画像の補正を行うことができる。
このように、CM切替時、シーンチェンジ時、チャネル切替時において、奥行量の調整をすることにより、視聴者の不快感を解消することができる。
[特殊再生時における立体視画像の補正例]
以上では、シーン切替時における立体視画像の補正例を示した。ここで、例えば、特殊な再生方法(例えば、2倍速再生)により立体視画像をユーザが見ることも想定される。このように特殊な再生方法により立体視画像が表示される場合には、通常の立体視画像表示と比較して、再生速度が速いためユーザが見難いと感じることも考えられる。そこで、以下では、特殊な再生方法により立体視画像が表示される場合に、立体視画像を補正する例を示す。なお、この例における情報処理装置の構成については、図2等に示す例と略同様である。このため、図2等に示す情報処理装置100と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
図21は、本発明の第1の実施の形態における立体視画像補正部150による奥行量の調整例を示す図である。図21では、ズラシ量保持テーブル300に保持されているズラシ量のうちの1つのズラシ量(1ブロック)に対応する奥行量の変化を時系列で模式的に示す。また、図21に示す例では、所定の倍速再生(例えば、2倍速再生、3倍速再生)が行われている場合を想定して説明する。
ここで、所定の倍速再生が行われる場合には、表示対象となる立体視画像コンテンツを構成する各フレームのうち一部が間引きされて表示される。例えば、2倍速再生が行われる場合には、表示対象となる立体視画像コンテンツを構成する各フレームのうち、1枚間隔で間引きされて表示される。そこで、所定の倍速再生が行われる場合には、間引き対象となるフレームに関連付けられているズラシ量保持テーブルについては使用しないようにする。これにより、立体視画像の補正処理を迅速に行うことができる。
図21(a)には、調整前の立体視物体の奥行量を時系列で示す。図21(a)に示す曲線551は、立体視画像の奥行量の遷移に対応する曲線である。図21(b)には、調整後の立体視物体の奥行量を時系列で示す。図21(b)に示す曲線552は、図21(a)に示す曲線551に対応する奥行量を調整した後の奥行量の遷移に対応する。
例えば、所定の倍速再生(例えば、2倍速再生、3倍速再生)が行われている場合には、上述したように、シーン切替時を検出し、この検出結果に基づいて奥行量を調整することができる。すなわち、シーン切替時の前後の奥行量が急激に変化しないように調整を行う。
また、例えば、間引き対象とならないフレームに関連付けられているズラシ量保持テーブルを使用して一定期間における奥行量の平均値を算出し、この平均値から一定範囲内の値となるように、一定期間における奥行量を調整するようにしてもよい。例えば、期間t31における奥行量の平均値553を算出し、平均値553から一定範囲H1内の値となるように、期間t31における奥行量を調整することができる。すなわち、立体視画像補正部150は、立体視画像の倍速再生を指示する指示操作が受け付けられた場合には、立体視画像に含まれる物体の奥行方向における位置の変化が一定範囲内となるように、奥行方向における位置を補正する。
また、例えば、倍速再生の倍率に応じて減少するパラメータcn(nは正の整数)を奥行量に乗算することにより調整を行うようにしてもよい。このパラメータcnは、例えば、0≦cn≦1の範囲内の値をとり、…c4(4倍速再生時のパラメータ)<c3(3倍速再生時のパラメータ)<c2(2倍速再生時のパラメータ)<c1(1倍速再生時のパラメータ)=1となるものとする。
このようにすることにより、倍速再生時における各フレーム間において、奥行量の変動を少なくして、ユーザの眼の負担を軽減させることができる。また、特殊再生操作時において、奥行量の調整をすることにより、視聴者の不快感を解消することができる。
なお、上述したCM切替時における立体視画像の補正、チャネル切替時における立体視画像の補正、特殊再生時における立体視画像の補正等を行う場合には、調整後の奥行量を用いて音声の補正を行うようにしてもよい。また、このように画像の補正とともに、音声の補正を行うか否かをユーザ操作により設定するようにしてもよい。
[複数の画面を同時に表示する場合における補正例]
以上では、立体視画像コンテンツに基づく立体視画像を一画面として表示部181に表示する例を示した。ここで、例えば、同一の表示パネル上に複数の画面(例えば、メイン画面およびサブ画面)を同時に表示することが可能な情報処理装置が、これらの複数の画面に立体視画像をそれぞれ表示する場合を想定する。この場合において、例えば、複数の画面に表示される立体視画像が異なる内容である場合には、画面毎に立体視画像の補正を行うことができる。そこで、以下では、同一の表示パネル上に複数の画面を同時に表示する場合において、複数の画面に表示される立体視画像の補正を画面毎に行う例を示す。
図22は、本発明の第1の実施の形態における情報処理装置560の外観構成例と、補正処理の流れとを簡略化して示す図である。なお、この例における情報処理装置の構成については、図2等に示す例と略同様である。このため、図2等に示す情報処理装置100と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
図22(a)には、情報処理装置560の外観構成として正面側の外観構成例を示す。例えば、情報処理装置560の表示部181には、メイン画面561およびサブ画面562が表示されるものとする。また、情報処理装置560は、メイン画面561およびサブ画面562にそれぞれ異なる立体視画像を表示することが可能である。
図22(b)には、情報処理装置560による補正処理の流れを簡略化して示す。なお、図22(b)に示す例は、同時に表示される2つの立体視画像のそれぞれについて、異なる補正を行う点が異なるが、それ以外の点については、上述した補正処理と同様である。すなわち、メイン画面の補正処理570のうち画像補正処理として、メイン画面画像データ(メイン画面561の表示対象となる画像データ)571について画像補正処理572が行われる。そして、補正後の画像データについてメイン画面立体視画像出力573が行われる。また、メイン画面の補正処理570のうち音声補正処理として、メイン画面音声データ574について音声補正処理575が行われる。そして、補正後の音声データについてメイン画面音声出力576が行われる。
また、サブ画面の補正処理580のうち画像補正処理として、サブ画面画像データ(サブ画面562の表示対象となる画像データ)581について画像補正処理582が行われる。そして、補正後の画像データについてメイン画面立体視画像出力583が行われる。また、メイン画面の補正処理580のうち音声補正処理として、メイン画面音声データ584について音声補正処理585が行われる。そして、補正後の音声データについてメイン画面音声出力586が行われる。
また、メイン画面の補正処理570およびサブ画面の補正処理580については、同一の設定内容に基づいてそれぞれ行うようにしてもよく、異なる設定内容に基づいてそれぞれ行うようにしてもよい。また、ユーザ操作により設定されるメイン画面561およびサブ画面562のサイズに応じて、各設定内容を変更するようにしてもよい。
なお、図22では、同一の表示パネル上に2つの画面を同時に表示する例を示したが、3以上の画面を同時に表示する場合についても同様に行うことができる。
このように、メイン画面561およびサブ画面562が表示される場合において、各画面について奥行量の調整をすることにより、各画面において豊かな臨場感を得ることができる。
<2.第2の実施の形態>
本発明の第1の実施の形態では、ユーザ操作または立体視画像に関する各種情報に基づいて音声補正および画像補正を行う例を示した。ここで、立体視画像は、実際の表示位置と、ユーザが見ていると錯覚する物体の位置とが異なるため、ユーザが違和感を覚えることが想定される。そこで、本発明の第2の実施の形態では、そのような違和感によるユーザの眼の疲労感を軽減する例を示す。
[情報処理装置の構成例]
図23は、本発明の第2の実施の形態における情報処理装置600の機能構成例を示すブロック図である。
情報処理装置600は、撮像部610と、顔検出部620と、黒目検出部630と、基準黒目情報保持部640と、眼球変化検出部650と、取得部660と、立体視画像補正部670と、出力制御部680と、制御部690とを備える。なお、図2に示す情報処理装置100に共通する部分の一部については、その説明の一部を省略する。また、操作受付部115、コンテンツ記憶部121、コンテンツ付随情報記憶部122、表示部181、音声出力部182およびリモコン500は、図2に示すものと略同様であるため、同一の符号を付して、ここでの詳細な説明を省略する。
撮像部610は、制御部690の制御に基づいて、被写体を撮像して画像データ(ビデオデータ)を生成するものであり、生成された画像データを顔検出部620および黒目検出部630に順次出力する。具体的には、撮像部610は、光学ユニット、撮像素子および信号処理部を備える。撮像部610において、光学ユニットを介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像動作を行い、信号処理部が撮像信号に対して信号処理を行うことにより画像データが生成される。そして、生成された画像データが所定のフレームレートで顔検出部620および黒目検出部630に順次出力される。撮像部610は、例えば、単眼カメラにより実現することができる。
また、撮像部610は、フォーカスを自動で合わせるオートフォーカス(AF(Auto Focus))機能を備える。このオートフォーカス機能は、例えば、コントラスト検出方式のオートフォーカス機能(いわゆる、コントラストAF)である。
ここで、AF処理について説明する。AF処理では、例えば、コントラスト情報の取得を開始する位置への移動動作と、コントラスト情報の取得動作とを組み合わせた一連の動作(1回のAF処理)が繰り返し行われる。この1回のAF処理を実行する毎に、レンズから被写体までの距離(被写体距離)を捕えることが可能である。すなわち、被写体距離をaとし、レンズから撮像素子に結像される像までの距離をbとし、レンズの焦点距離をfとする場合には、次の式3が成り立つ。
(1/a)+(1/b)=1/f … 式3
この式3により、撮像部610は、被写体距離a=1/((1/f)−(1/b))を算出することができる。そして、撮像部610は、算出された被写体距離aを眼球変化検出部650に出力する。
なお、本発明の第2の実施の形態では、情報処理装置600に撮像部610を内蔵する例を示すが、撮像部610の代わりに外部機器の撮像装置を利用するようにしてもよい。例えば、生成された画像データを外部装置に出力するための外部出力端子を備えるデジタルスチルカメラやデジタルビデオカメラ(例えば、カメラ一体型レコーダ)等の撮像装置と情報処理装置600とを無線回線または有線回線により接続する。そして、その撮像装置により生成された画像データを情報処理装置600が取得して、顔検出部620および黒目検出部630に順次供給することができる。
顔検出部620は、撮像部610から出力された画像データに含まれる人物の顔を検出するものであり、検出された顔に関する顔検出情報を黒目検出部630に出力する。顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法(例えば、特開2004−133637参照。)、画像データに含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。また、顔検出情報には、検出された顔の画像データ(画像)上における位置およびサイズが含まれる。なお、検出された顔の画像データ上における位置は、例えば、画像データ上における顔画像の左上の位置とし、検出された顔の画像データ上におけるサイズは、例えば、画像データ上における顔画像の水平方向および垂直方向の長さとすることができる。この顔検出情報により、画像データ上における顔の少なくとも一部を含む矩形状の画像データである顔画像を特定することができる。
黒目検出部630は、撮像部610から出力された画像データに含まれる顔の両眼における黒目を検出するものであり、検出された黒目に関する黒目情報を眼球変化検出部650に出力する。すなわち、黒目検出部630は、撮像部610から出力された画像データにおいて、顔検出部620から出力された顔検出情報(位置およびサイズ)を用いて、顔検出部620により検出された顔に対応する顔画像を抽出する。そして、この抽出された顔画像における黒目を検出する。この黒目検出方法として、例えば、顔検出方法と同様に、黒目の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる黒目検出方法等を用いることができる。また、黒目情報には、検出された黒目の顔画像における位置が含まれる。この黒目情報により、画像データ上における両目における黒目の位置を特定することができる。この黒目の位置は、例えば、黒目の中心位置とすることができる。
また、他の黒目検出方法を用いるようにしてもよい。例えば、撮像部610から出力された画像データを2値化し、1画面における2値化データに基づいて黒目を検出するようにしてもよい。例えば、撮像部610から出力された画像データを2値化して、水平方向(左右方向)における各ラインの黒画素および白画素を判定する。そして、水平方向において、所定範囲内の数の白画素が連続した後に所定範囲内の数の黒画素が連続し、かつ、その連続する黒画素の後に所定範囲内の数の白画素が連続するラインを、黒目領域の候補ラインとして抽出する。そして、垂直方向(上下方向)において、その抽出された候補ラインとして、所定範囲内の数のラインが連続している領域を抽出して、その領域を黒目領域として検出することができる。
また、眼球運動の計測装置を用いて、黒目を検出するようにしてよい。例えば、立体視画像を見るための専用メガネのレンズ部分に眼球運動の計測装置を備える。この計測装置の眼球側には、赤外LED(Light Emitting Diode)と受光器を設け、その外側には撮像装置を設ける。そして、赤外光を眼球に当て、反射してきた光を受光器で検出することにより、黒目部分の位置を特定することができる。
基準黒目情報保持部640は、黒目検出部630により所定のタイミングで検出された黒目に関する黒目情報(基準黒目情報)を保持するものであり、保持されている基準黒目情報を眼球変化検出部650に供給する。
眼球変化検出部650は、立体視画像が表示部181に表示されている際におけるユーザの眼球の変化を検出するものであり、この検出結果を立体視画像補正部670に出力する。例えば、眼球変化検出部650は、所定タイミングで黒目検出部630により検出された黒目の間隔を基準黒目情報(基準黒目間隔)として基準黒目情報保持部640に保持させる。そして、眼球変化検出部650は、基準黒目情報保持部640に保持されている基準黒目情報と、所定タイミング以降に黒目検出部630から出力された黒目情報とを比較することによりユーザの眼球の変化を検出する。この場合には、眼球変化検出部650は、比較対象となる黒目間隔の差分値(または、その黒目間隔に基づく輻輳角の差分値)を検出結果として立体視画像補正部670に出力する。すなわち、眼球変化検出部650は、黒目検出部630により検出された黒目の間隔に基づいてユーザの眼球の変化を検出することができる。ここで、所定タイミングは、立体視画像の表示を指示する指示操作が行われたタイミング、または、情報処理装置600の電源がオンされたタイミングとすることができる。なお、眼球変化検出部650は、特許請求の範囲に記載の検出部の一例である。
取得部660は、制御部690の制御に基づいて、コンテンツ記憶部121およびコンテンツ付随情報記憶部122に記憶されている各種情報を取得するものであり、取得された情報を各部に供給する。
立体視画像補正部670は、制御部690の制御に基づいて、立体視画像コンテンツを出力する際における画像データを補正するものであり、補正後の画像データを出力制御部680に出力する。すなわち、立体視画像補正部670は、眼球変化検出部650により検出された眼球の変化に基づいて、立体視画像に含まれる物体の奥行方向における位置を補正する。この場合に、立体視画像補正部670は、その眼球の変化が一定量を基準として大きい場合に、立体視画像に含まれる物体の奥行方向における位置を、立体視画像の表示面側に移動させるように補正を行う。また、立体視画像補正部670は、立体視物体に対応するユーザの輻輳角が一定角を基準として大きいか否かを、その眼球の変化に基づいて判定することができる。そして、立体視画像補正部670は、その輻輳角が一定角を基準として大きい場合には、立体視画像に含まれる物体の奥行方向における位置を、立体視画像の表示面側に移動させるように補正を行う。これらの補正処理では、立体視画像に含まれる物体の奥行方向における位置を示すパラメータ(例えば、ズラシ量保持テーブルにおけるズラシ量)を調整することにより、その奥行方向における位置を補正する。なお、立体視画像補正部670は、特許請求の範囲に記載の補正部の一例である。
出力制御部680は、操作受付部115により受け付けられた操作入力に応じて、コンテンツ記憶部121に記憶されているコンテンツを出力するための出力処理を行うものである。また、出力制御部680は、所定タイミング(立体視画像の表示を指示する指示操作時、または、情報処理装置600の電源のオン時)で、基準黒目間隔を測定するための基準物体を含む基準立体視画像を表示部181に表示させる。なお、出力制御部680は、特許請求の範囲に記載の表示制御部の一例である。
制御部690は、操作受付部115により受け付けられた操作入力に基づいて、情報処理装置600の各部を制御するものである。
[画像補正部の構成例]
図24は、本発明の第2の実施の形態における立体視画像補正部670の機能構成例を示すブロック図である。なお、図4に示す立体視画像補正部150に共通する部分の一部については、その説明の一部を省略する。また、画像データ入力部152、水平移動処理部153、平滑化処理部154および画像データ出力部155は、図4に示すものと略同様であるため、同一の符号を付して、ここでの詳細な説明を省略する。
立体視画像補正部670は、判定部671および調整部672を備える。
判定部671は、制御部690の制御に基づいて、立体視画像に含まれる物体の奥行方向における位置を補正するか否かを判定するものであり、判定結果(差分値等の判定情報を含む)を調整部672に出力する。具体的には、判定部671は、眼球変化検出部650から出力された検出結果(比較対象となる黒目間隔の差分値)を用いて、その眼球の変化(差分値)が一定量を基準として大きいか否かを判定する。そして、判定部671は、その眼球の変化が一定量を基準として大きい場合には、その補正を行うと判定する。また、判定部671は、その眼球の変化が一定量を基準として大きくない場合には、その補正を行わないと判定する。すなわち、判定部671は、立体視物体に対応するユーザの輻輳角が一定角を基準として大きいか否かを、その眼球の変化に基づいて判定することができる。そして、判定部671は、その輻輳角が一定角を基準として大きい場合には、その補正を行うと判定する。
調整部672は、判定部671から出力された判定結果に基づいて、取得部660から供給される画像データを補正するためのパラメータを調整するものであり、調整後のパラメータを水平移動処理部153に出力する。具体的には、調整部672は、判定部671から補正を行う旨の判定結果が出力された場合には、立体視画像に含まれる物体の奥行方向における位置を、立体視画像の表示面側に移動させる補正を行うためのパラメータを調整する。また、調整部672は、判定部671から補正を行わない旨の判定結果が出力されたに場合には、パラメータの調整を行わない。
[撮像部により生成される画像例]
図25は、本発明の第2の実施の形態における撮像部610により生成される画像(画像705)を簡略化して示す図である。
画像705は、撮像部610により生成される画像(画像データ)の一例であり、例えば、図1(b)に示す情報処理装置600の前の椅子11に座っているユーザ10の顔が含まれているものとする。なお、画像705に含まれているユーザ10の顔は、顔検出部620により検出される。また、画像705に含まれているユーザ10の両眼(左眼711および右眼712)における黒目は、黒目検出部630により検出される。また、本発明の第2の実施の形態では、左眼における黒目の中心位置を、左眼における黒目の位置とし、右眼における黒目の中心位置を、右眼における黒目の位置とする例を示す。また、本発明の第2の実施の形態では、左眼における黒目の中心位置と、右眼における黒目の中心位置との距離を黒目間隔とする例を示す。すなわち、図25に示す例では、左眼711における黒目の中心位置と、右眼712における黒目の中心位置との距離が黒目間隔(実際の黒目間隔e1に対応する値となるため、図25では、「e1」として仮想的に示す)となる。なお、黒目間隔e1は、例えば、被写体距離(レンズからユーザ10の顔までの距離)、レンズから撮像素子までの距離と、撮像素子の撮像面に結像される黒目の間隔の値とに基づいて算出することができる。また、黒目間隔e1として、固定値(例えば、65mm)を用いるようにしてもよい。
[試聴位置、飛出位置および輻輳角の関係例]
図26は、本発明の第2の実施の形態における表示部181に表示される立体視画像の視聴位置と、その立体視画像を見ているユーザの輻輳角との関係を模式的に示す図である。
図26(a)には、平面画像(2D画像)を見ている場合におけるユーザの眼球およびこれに対応する輻輳角α1を示す。図26(a)において、立体視画像が表示される位置(表示部181の表示面)を表示面の位置700とし、表示部181に表示される立体視画像を視聴する場合におけるユーザの視聴位置を視聴位置710とする。
例えば、表示面の位置700に表示されている平面画像をユーザが見る場合には、ユーザが注目している画像の位置に合うように、ユーザの眼球の水平方向の角度調整が行われるとともに、両眼の焦点が表示面の位置700に調節される。具体的には、ユーザの両眼(左眼711および右眼712)の各黒目と、表示面の位置700とを結ぶ直線が作り出す交点(注視点701)が、ユーザが注目している画像の位置に合うように、ユーザの眼球の水平方向の角度調整が行われる。また、その角度調整とともに、両眼の焦点が表示面の位置700(注視点701)に調節される。なお、注視点701における角度α1は、一般に輻輳角と称されている。このように、表示面の位置700に表示されている平面画像をユーザが見る場合には、ユーザの両眼(左眼711および右眼712)の焦点および視点ともに、表示面の位置700に存在することになる。
ここで、輻輳角α1の算出方法について説明する。例えば、表示面の位置700および視聴位置710間の距離をL1とし、立体視画像を視聴しているユーザの両眼間隔をe1とする。この場合には、次の式4が成り立つ。
tan(α1/2)=(e1/2)/L1 …式4
そして、次の式5により、輻輳角α1を求めることができる。
α1=2tan−1((e1/2)/L1)= …式5
なお、距離L1は、撮像部610から出力される被写体距離を用いることができる。また、距離L1として、視聴位置を想定した固定値(例えば、2m)を用いるようにしてもよく、ユーザによる手動入力(リモコン500を用いた手動入力)により距離L1を取得するようにしてもよい。また、調整用マイクロフォンによる距離測定やリモコン500を用いた距離測定方法により距離L1を取得するようにしてもよい。なお、リモコン500を用いた距離測定方法は、例えば、ユーザ10が手に持っているリモコン500にUWB(Ultra Wide Band)を設け、UWBの位置測定機能を使用することにより距離L1を測定する方法である。また、赤外線、超音波等に基づいて距離を測定する距離測定装置を用いて、距離L1を測定するようにしてもよい。
図26(b)には、立体視画像(3D画像)を見ている場合におけるユーザの眼球およびこれに対応する輻輳角α2を示す。なお、図26(b)において、表示面の位置700および視聴位置710は、図26(a)と同様であるものとする。また、立体視画像に含まれる立体視物体720の飛出位置を飛出位置721とし、表示面の位置700および飛出位置721間の距離(飛出量)をL2とする。
例えば、表示面の位置700に表示されている立体視画像をユーザが見る場合には、ユーザが注目している画像の位置(飛出位置721)に合うように、ユーザの眼球の水平方向の角度調整が行われる。具体的には、ユーザの両眼(左眼711および右眼712)の各黒目と、飛出位置721とを結ぶ直線が作り出す交点(注視点722)が、ユーザが注目している画像(立体視物体720の画像)の位置に合うように、ユーザの眼球の水平方向の角度調整が行われる。なお、注視点722における輻輳角をα2とする。
しかしながら、両眼の焦点は、表示面の位置700に調節される。すなわち、注視点722に合うように角度調整が行われるとともに、両眼の焦点が表示面の位置700(注視点701)に調節される。
このように、両眼の焦点は表示面の位置700にあるのに対し、注視点722は飛出位置721にあることになるため、現実の起きうる生理現象と矛盾することになる。そこで、このような矛盾が、ユーザの疲労の原因となることを防止することが重要となる。
ここで、輻輳角α2の算出方法について説明する。例えば、表示面の位置700および飛出位置721間の距離をL2とし、立体視画像を視聴しているユーザの両眼間隔をe2とする。この場合には、次の式6が成り立つ。
tan(α2/2)=(e2/2)/(L1−L2) …式6
そして、次の式7により、輻輳角α2を求めることができる。
α2=2tan−1((e2/2)/(L1−L2))= …式7
なお、距離L2としては、上述したように、立体視画像における物体のズレ量を用いて、その物体の飛出量を求め、この距離L2を求めることができる。
なお、この例では、ユーザが注目している画像(立体視物体720の画像)を、ユーザの両眼(左眼711および右眼712)の各黒目の間隔に基づいて検出する例を示すが、他の検出方法を用いるようにしてもよい。例えば、アイトラッキング(視線解析)方法により検出することができる。
[基準黒目情報の測定例]
図27は、本発明の第2の実施の形態における基準黒目情報保持部640に保持される基準黒目情報を取得する際における測定方法と、基準黒目情報保持部640の保持内容例とを模式的に示す図である。
図27(a)には、基準黒目情報を測定する際に表示部181に表示される立体視画像(3D画像)と、ユーザの眼球と、輻輳角α10との関係例を示す。なお、図27(a)において、表示面の位置700および視聴位置710は、図26(a)と同様であるものとする。また、立体視画像に含まれる基準立体視物体730の飛出位置を飛出位置731とし、表示面の位置700および飛出位置731間の距離(飛出量)をL3とする。
ここで、基準立体視物体730は、ユーザに関する基準黒目情報を取得する際に表示される立体視画像(基準立体視画像)に含まれる物体である。例えば、制御部690は、図6に示す基準黒目情報取得ボタン506が押下された場合には、基準立体視物体730を含む立体視画像を表示部181に表示させる指示を出力制御部680に行う。これにより、表示部181に基準立体視物体730を含む立体視画像が表示され、基準立体視物体730をユーザが見ることができる。なお、基準立体視物体730を含む立体視画像については、コンテンツ記憶部121に記憶しておくようにしてもよく、出力制御部680に保持しておくようにしてもよい。なお、輻輳角α10は、上述した式7を用いて求めることができる。
図27(b)には、基準黒目情報保持部640の保持内容を模式的に示す。基準黒目情報保持部640には、左眼の黒目位置情報641と、右眼の黒目位置情報642と、両眼の黒目間隔情報643と、輻輳角情報644とが保持される。基準黒目情報保持部640に保持される各情報は、表示部181に基準立体視物体730を含む立体視画像が表示された際に、黒目検出部630により検出された黒目に関する情報(基準黒目情報)である。
左眼の黒目位置情報641は、表示部181に基準立体視物体730を含む立体視画像が表示された際に、黒目検出部630により検出された左眼における黒目の位置を示す情報である。左眼の黒目位置情報641には、例えば、撮像部610により生成された画像データ(画像)における左眼711の黒目の中心位置(X1,Y1)が格納される。
右眼の黒目位置情報642は、表示部181に基準立体視物体730を含む立体視画像が表示された際に、黒目検出部630により検出された右眼における黒目の位置を示す情報である。右眼の黒目位置情報642には、例えば、撮像部610により生成された画像データ(画像)における右眼712の黒目の中心位置(X2,Y2)が格納される。
両眼の黒目間隔情報643は、表示部181に基準立体視物体730を含む立体視画像が表示された際に、黒目検出部630により検出された左眼および右眼における黒目間の距離を示す情報である。両眼の黒目間隔情報643には、例えば、撮像部610により生成された画像データ(画像)における左眼711および右眼712の間隔(距離)e3が格納される。
輻輳角情報644は、表示部181に基準立体視物体730を含む立体視画像が表示された際に、黒目検出部630により検出された左眼および右眼に関する輻輳角を示す情報である。輻輳角情報644には、例えば、撮像部610により生成された画像データ(画像)における左眼711および右眼712に関する輻輳角α10が格納される。
[飛出位置の補正例]
図28および図29は、本発明の第2の実施の形態における表示部181に表示される立体視画像に含まれる立体視物体の飛出位置の補正例を模式的に示す図である。
図28には、表示部181に表示される立体視画像(3D画像)と、ユーザの眼球と、輻輳角α10、α11との関係例を示す。なお、図28において、立体視物体740に関する各情報以外は、図27(a)と同様であるものとする。また、立体視画像に含まれる立体視物体740の飛出位置を飛出位置741とし、表示面の位置700および飛出位置741間の距離(飛出量)をL4とする。また、輻輳角α11は、上述した式7を用いて求めることができる。
ここで、眼球変化検出部650は、黒目検出部630により検出された黒目情報(左眼711および右眼712に関する黒目情報)に基づいて輻輳角α11を算出する。続いて、眼球変化検出部650は、基準黒目情報保持部640の輻輳角情報644に保持されている基準輻輳角α10と、輻輳角α11との差分値を算出する。続いて、立体視画像補正部670の判定部671は、その差分値(α10−α11)に基づいて、立体視物体740の奥行量を調整するか否かを判定する。具体的には、判定部671は、その差分値(α10−α11)が0または正値である場合(すなわち、α10≧α11)には、立体視物体740の奥行量の調整が不要であると判定する。一方、判定部671は、その差分値(α10−α11)が負値である場合(すなわち、α10<α11)には、立体視物体740の奥行量の調整が必要であると判定する。
図28に示す例では、基準輻輳角α10が輻輳角α11よりも大きいため(すなわち、α10≧α11)、判定部671は、立体視物体740の奥行量の調整が不要であると判定する。すなわち、図28に示すように、立体視物体740を含む立体視画像が表示部181に表示される場合には、その立体視画像の補正が行われない。
図29には、表示部181に表示される立体視画像(3D画像)と、ユーザの眼球と、輻輳角α10、α12との関係例を示す。なお、図29において、立体視物体750に関する各情報以外は、図26(a)と同様であるものとする。また、立体視画像に含まれる立体視物体750の飛出位置を飛出位置751とし、表示面の位置700および飛出位置751間の距離(飛出量)をL5とする。また、輻輳角α12は、上述した式7を用いて求めることができる。
ここで、図28に示す例と同様に、眼球変化検出部650が輻輳角α12を算出し、眼球変化検出部650が基準輻輳角α10と輻輳角α12との差分値を算出する。続いて、立体視画像補正部670の判定部671が、その差分値(α10−α12)に基づいて、立体視物体750の奥行量を調整するか否かを判定する。
図29に示す例では、基準輻輳角α10が輻輳角α12よりも小さいため(すなわち、α10<α12)、判定部671は、立体視物体750の奥行量の調整が必要であると判定する。この場合には、調整部672が、基準輻輳角α10と輻輳角α12との差分値に基づいて、輻輳角α12が基準輻輳角α10以内となるように、立体視物体750の奥行量を調整する。この調整により、立体視物体750の位置(飛出位置751)が、基準立体視物体730の位置(飛出位置731)と同一の位置、または、飛出位置731よりも表示面の位置700側の位置となる。
なお、この例では、眼球変化検出部650が輻輳角を算出する例を示すが、判定部671が輻輳角を算出して判定を行うようにしてもよい。すなわち、判定部671は、基準立体視物体730に対応するユーザ10の基準輻輳角α10を算出し、表示部181に表示される立体視画像に含まれる立体視物体750に対応するユーザ10の輻輳角α12を算出する。そして、立体視画像補正部670は、輻輳角α12と基準輻輳角α10との比較結果に基づいて、立体視物体750の奥行方向における位置を補正する。
また、この例では、輻輳角の比較により補正の要否を判定する例を示したが、上述したように、黒目間隔の比較により補正の要否を判定するようにしてもよい。
[情報処理装置の動作例]
次に、本発明の第2の実施の形態における情報処理装置600の動作について図面を参照して説明する。
図30は、本発明の第2の実施の形態における情報処理装置600による立体視画像表示処理の処理手順の一例を示すフローチャートである。図30では、輻輳角の比較により補正の要否を判定する例について説明する。
最初に、立体視画像の表示指示操作が行われたか否かが判断され(ステップS971)、立体視画像の表示指示操作が行われていない場合には、監視を継続して行う。立体視画像の表示指示操作が行われた場合には(ステップS971)、出力制御部680が、制御部690の制御に基づいて基準立体視画像を表示部181に表示させる(ステップS972)。
続いて、黒目検出部630が、撮像部610により生成される画像(画像データ)に含まれるユーザの両眼における黒目を検出する(ステップS973)。続いて、眼球変化検出部650が、その検出された黒目の間隔(基準黒目間隔)に基づいて基準輻輳角α10を算出する(ステップS974)。
続いて、制御部690が、その表示指示操作に係る立体視画像コンテンツを出力させる(ステップS975)。すなわち、出力制御部680が、その表示指示操作に係る立体視画像を表示部181に表示させ、その表示指示操作に係る立体視画像の音声を表示部181に表示させる(ステップS975)。なお、ステップS975は、特許請求の範囲に記載の表示制御手順の一例である。
続いて、黒目検出部630が、撮像部610により生成される画像(画像データ)に含まれるユーザの両眼における黒目を検出する(ステップS976)。続いて、眼球変化検出部650が、その検出された黒目の間隔に基づいて輻輳角α20を算出する(ステップS977)。これにより眼球の変化が検出される。なお、ステップS976、S977は、特許請求の範囲に記載の検出手順の一例である。
続いて、判定部671が、基準輻輳角α10と輻輳角α20との比較(すなわち、差分値に基づく判定(α10−α20<0))を行う(ステップS978)。この比較の結果、輻輳角α20が基準輻輳角α10以下である場合には(ステップS978)、ステップS975に戻る。一方、輻輳角α20が基準輻輳角α10よりも大きい場合には(ステップS978)、調整部672が立体視物体のパラメータ(ズラシ量)を調整する(ステップS979)。すなわち、基準輻輳角α10と輻輳角α20との差分値に基づいて、輻輳角α20が基準輻輳角α10以内となるように立体視物体のパラメータが調整される(ステップS979)。続いて、立体視画像補正部670が、その調整後のパラメータ(ズラシ量)を用いて立体視画像の補正を行う(ステップS980)。そして、補正後の立体視画像が順次表示される(ステップS975)。なお、ステップS978乃至S980は、特許請求の範囲に記載の補正手順の一例である。
続いて、立体視画像の表示終了操作が行われたか否かが判断され(ステップS981)、立体視画像の表示終了操作が行われていない場合には、ステップS975に戻る。一方、立体視画像の表示終了操作が行われた場合には(ステップS981)、立体視画像表示処理の動作を終了する。
このように、本発明の第2の実施の形態では、立体視画像をユーザが見ている場合に、臨場感を失うことなく、かつ、眼の疲労感を低減させることができる。
なお、本発明の第2の実施の形態では、音声に関する補正の説明については省略したが、上述した立体視画像の補正時に、この補正時に用いるパラメータを用いて音声を補正するようにしてもよい。
なお、本発明の実施の形態では、放送波に対応する立体視画像コンテンツを取得して立体視画像を表示させる情報処理装置を例にして説明した。ただし、記録媒体に記憶されている立体視画像コンテンツを取得して立体視画像を表示させる情報処理装置に本発明の実施の形態を適用することができる。また、ネットワーク(有線回線や無線回線)を介して立体視画像コンテンツを取得して立体視画像を表示させる情報処理装置に本発明の実施の形態を適用することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。