JP2012186652A - 電子機器、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】 三次元映像が表示されるとき、ユーザが視認しやすい奥行き位置に字幕を表示できる電子機器及び画像処理方法を提供すること。
【解決手段】 実施形態によれば、電子機器は、奥行き推定手段、視差算出手段、映像生成手段、副画像視差決定手段、副画像生成手段及び表示制御手段を具備する。奥行き推定手段は、映像データを用いて処理対象の画像フレームに含まれる画素に対応する奥行き値を推定する。視差算出手段は前記奥行き値を用いて視差を算出する。映像生成手段は、前記映像データと前記視差とを用いて左眼用画像と右眼用映像とを生成する。副画像視差決定手段は、前記奥行き値に基づいて副画像を表示するための奥行き値を決定し、前記副画像に対応する視差を決定する。副画像生成手段は、副画像データと前記決定された視差とを用いて左眼用副画像と右眼用副画像とを生成する。表示制御手段は左眼用画像と右眼用画像とを表示する。
【選択図】図７

Description

本発明の実施形態は、三次元映像コンテンツを再生する電子機器、該機器に適用される画像処理方法及び画像処理プログラムに関する。

近年、三次元映像を観賞するための様々な映像表示装置が提供されている。このような映像表示装置では、例えば、両眼視差に基づく左眼用映像と右眼用映像とを用いて、ユーザに三次元映像（立体映像）を知覚させる。

一般に、放送やネットワークを介して受信される映像コンテンツのほとんどは、二次元映像を含む映像コンテンツデータである。そのような映像コンテンツデータを用いて三次元映像を観賞するために、二次元映像を三次元映像に変換する種々の２Ｄ−３Ｄ変換技術が提案されている。

ところで、映像コンテンツデータには、映像上に字幕を表示するための字幕データが含まれることがある。二次元映像のための映像コンテンツデータでは、字幕は、例えば二次元映像（画面）上の所定の位置に表示される。また、三次元映像上に字幕を表示するためには、字幕が表示される画面上の位置だけでなく奥行方向の位置も指定される必要がある。そのため、三次元映像のための映像コンテンツデータに、字幕データと字幕を表示する奥行き位置を示すパラメータとを格納するための技術が提案されている。この奥行き位置には、例えばユーザからの距離が設定される。これによりユーザは、三次元映像上の字幕を常に一定の奥行き位置で見ることができる。

特開２００４−２７４１２５号公報

しかし、三次元映像に含まれる複数の画素の奥行き位置は画素毎に異なり、また、それら画素が取り得る奥行き位置の範囲はフレーム毎に変動する。そのため、字幕を一定の奥行き位置に表示する際には、映像の奥行き位置が字幕の奥行き位置よりも手前にあるとき、字幕が映像にめり込んでいるように見える可能性がある。また、字幕が映像にめり込まないように、字幕が表示される奥行き位置を、映像に含まれる画素が取り得る奥行き位置よりも十分に手前に設定した際には、ユーザは、字幕と映像とを見るために視線（合焦位置）を大きく動かさなければならず、疲労の原因となる。

本発明は、三次元映像が表示されるとき、ユーザが視認しやすい奥行き位置に字幕を表示できる電子機器、画像処理方法及び画像処理プログラムを提供することを目的とする。

実施形態によれば、電子機器は、映像データと副画像データとを含む映像コンテンツデータを用いて三次元映像を再生する電子機器であって、奥行き推定手段、視差算出手段、映像生成手段、副画像視差決定手段、副画像生成手段、及び表示制御手段を具備する。奥行き推定手段は、前記映像データの複数の画像フレームの内の処理対象の画像フレームに含まれる複数の画素に対応する複数の奥行き値を推定する。視差算出手段は、前記推定された複数の奥行き値を用いて、前記複数の画素に対応する複数の視差を算出する。映像生成手段は、前記映像データと前記算出された複数の視差とを用いて、左眼用画像データと右眼用映像データとを生成する。副画像視差決定手段は、前記推定された複数の奥行き値に基づいて副画像を表示するための奥行き値を決定し、前記決定された奥行き値を用いて前記副画像に対応する視差を決定する。副画像生成手段は、前記副画像データと前記決定された視差とを用いて、左眼用副画像データと右眼用副画像データとを生成する。表示制御手段は、前記左眼用映像データと前記左眼用副画像データとを用いて左眼用画像を表示し、前記右眼用映像データと前記右眼用副画像データとを用いて右眼用画像を表示する。

実施形態に係る電子機器の外観を示す斜視図。 同実施形態の電子機器のシステム構成を示すブロック図。 三次元映像上に表示される字幕の例を示す概念図。 三次元映像上に表示される字幕の別の例を示す概念図。 同実施形態の電子機器によって三次元映像上に表示される字幕の例を示す概念図。 同実施形態の電子機器によって三次元映像上に表示される字幕の別の例を示す概念図。 同実施形態の電子機器によって実行される映像コンテンツ再生プログラムの機能構成の例を示すブロック図。 同実施形態の電子機器によって三次元映像が表示される空間を説明するための図。 同実施形態の電子機器によって三次元映像が表示される空間を説明するための別の図。 同実施形態の電子機器によって三次元映像が表示される空間を説明するためのさらに別の図。 同実施形態の電子機器によって算出される視差を説明するための図。 同実施形態の電子機器によって算出される視差を説明するための別の図。 同実施形態の電子機器によって実行される映像コンテンツ再生処理の手順の例を示すフローチャート。 同実施形態の電子機器によって実行される字幕視差決定処理の手順の例を示すフローチャート。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ１として実現される。また、この電子機器は、テレビジョン受信機、映像データを保存するためのレコーダ（例えば、ハードディスクレコーダ、ＤＶＤレコーダ）、タブレットＰＣ、スレートＰＣ、ＰＤＡ、カーナビゲーション装置、スマートフォン等として実現され得る。

図１に示すように、本コンピュータ１は、コンピュータ本体２と、ディスプレイユニット３とから構成される。
ディスプレイユニット３には、ＬＣＤ（liquid crystal display）１５が組み込まれている。ディスプレイユニット３は、コンピュータ本体２の上面が露出される開放位置とコンピュータ本体２の上面を覆う閉塞位置との間を回動自在にコンピュータ本体２に取り付けられている。

コンピュータ本体２は、薄い箱形の筐体を有しており、その上面には、キーボード２６、本コンピュータ１を電源オン／電源オフするためのパワーボタン２８、入力操作パネル２９、タッチパッド２７、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル２９上には、各種操作ボタンが設けられている。これらボタン群には、ＴＶ機能（視聴、録画、録画された放送番組データ／ビデオデータの再生）を制御するための操作ボタン群も含まれている。

コンピュータ本体２の例えば右側面には、ＴＶ放送用のアンテナ端子３０Ａが設けられている。また、コンピュータ本体２の例えば背面には、例えばＨＤＭＩ（high-definition multimedia interface）規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ（動画像データ）を外部ディスプレイに出力するために用いられる。

図２は、本コンピュータ１のシステム構成を示す図である。
本コンピュータ１は、図２に示すように、ＣＰＵ１１、ノースブリッジ１２、主メモリ１３、表示コントローラ１４、ビデオメモリ（ＶＲＡＭ）１４Ａ、ＬＣＤ（Liquid Crystal Display）１５、サウスブリッジ１６、サウンドコントローラ１７、スピーカ１８Ａ，１８Ｂ、ＢＩＯＳ−ＲＯＭ１９、ＬＡＮコントローラ２０、ハードディスクドライブ（ＨＤＤ）２１、光ディスクドライブ（ＯＤＤ）２２、無線ＬＡＮコントローラ２３、ＵＳＢコントローラ２４、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）２５、キーボード（ＫＢ）２６、ポインティングデバイス２７、ＴＶチューナ３０等を備えている。

ＣＰＵ１１は、本コンピュータ１の動作を制御するプロセッサである。ＣＰＵ１１は、ＨＤＤ２１から主メモリ１３にロードされる、オペレーティングシステム（ＯＳ）１３Ａ、及び映像コンテンツ再生プログラム１３Ｂ等のようなアプリケーションプログラムを実行する。映像コンテンツ再生プログラム１３Ｂは、映像コンテンツデータを視聴するための機能を有するソフトウェアである。この映像コンテンツ再生プログラム１３Ｂは、ＴＶチューナ３０によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをＨＤＤ２１に記録する録画処理、ＨＤＤ２１に記録された放送番組データ／ビデオデータを再生する再生処理、ネットワークを介して受信された映像コンテンツデータを再生する再生処理等を実行する。また、映像コンテンツ再生プログラム１３Ｂは、ＤＶＤのような記憶メディアやハードディスクのような記憶装置に格納された映像コンテンツデータを再生することもできる。さらに、映像コンテンツ再生プログラム１３Ｂは、三次元映像を視聴するための機能も有する。映像コンテンツ再生プログラム１３Ｂは、映像コンテンツデータに含まれる二次元映像を三次元映像にリアルタイムで変換してＬＣＤ１５の画面上に表示する。映像コンテンツ再生プログラム１３Ｂは、様々な映像コンテンツデータ（たとえば、放送番組データ、ＤＶＤのような記憶メディアに格納されたビデオデータ、インターネット上のサーバから受信したビデオデータ、等）を２Ｄ−３Ｄ変換することができる。

三次元映像の表示には、例えば、シャッター方式（時分割方式とも云う）を用いてもよい。シャッター方式の三次元映像表示では、左眼用ビデオデータと右眼用ビデオデータとを含むステレオペア映像が用いられる。ＬＣＤ１５は、例えば、通常のリフレッシュレート（例えば６０Ｈｚ）の２倍のリフレッシュレート（例えば１２０Ｈｚ）で駆動される。左眼用ビデオデータ内の左眼用フレームデータと右眼用ビデオデータ内の右眼用フレームデータは例えば１２０Ｈｚのリフレッシュレートで交互にＬＣＤ１５上に表示される。ユーザは、例えば、液晶シャッターメガネのような３Ｄグラス（図示せず）を用いることで、左眼用フレームに対応する画像を左眼で、右眼用フレームに対応する画像を右眼で見ることができる。３Ｄグラスは、左眼用フレームデータ及び右眼用フレームデータそれぞれの表示タイミングを示す同期信号をコンピュータ１から赤外線などを用いて受信するように構成してもよい。３Ｄグラス内の左眼用シャッター及び右眼用シャッターは、ＬＣＤ１５への左眼用及び右眼用フレームデータそれぞれの表示タイミングに同期して開閉される。

代わりに、三次元映像の表示には、例えば、Ｘｐｏｌ（登録商標）方式等の偏光方式を用いてもよい。この場合、例えば、左眼用画像と右眼用画像とが例えば走査線単位でインタリーブされたインタリーブフレーム群が生成され、これらインタリーブフレーム群がＬＣＤ１５に表示される。ＬＣＤ１５の画面を覆う偏向フィルタは、ＬＣＤ１５の画面上の例えば奇数番目のライン群に表示される左眼用画像と偶数番目のライン群に表示される右眼用画像とを異なる方向に偏光する。ユーザは、偏向メガネを用いることにより、左眼用画像を左眼で、右眼用画像を右眼で見ることができる。

また、三次元映像の表示には、レンチキュラ方式、バリア方式等の裸眼立体視方式によるディスプレイ装置を用いてもよい。ユーザは、裸眼立体視方式のディスプレイ装置に表示された映像を見ることにより、三次元映像を知覚することができる。

また、ＣＰＵ１１は、ＢＩＯＳ−ＲＯＭ１９に格納されたＢＩＯＳ（Basic Input/Output System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

ノースブリッジ１２は、ＣＰＵ１１のローカルバスとサウスブリッジ１６との間を接続するブリッジデバイスである。ノースブリッジ１２には、主メモリ１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１２は、表示コントローラ１４との通信を実行する機能も有している。

表示コントローラ１４は、本コンピュータ１のディスプレイとして使用されるＬＣＤ１５を制御するデバイスである。この表示コントローラ１４によって生成される表示信号はＬＣＤ１５に送られる。ＬＣＤ１５は、表示信号に基づいて映像を表示する。

サウスブリッジ１６は、ＰＣＩ（Peripheral Component Interconnect）バス上及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１６は、ＨＤＤ２１及びＯＤＤ２２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラ、及びＢＩＯＳ−ＲＯＭ１９をアクセス制御するメモリコントローラが内蔵されている。さらに、サウスブリッジ１６は、サウンドコントローラ１７及びＬＡＮコントローラ２０との通信を実行する機能も有している。

サウンドコントローラ１７は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ２０は、例えばEthernet（登録商標）規格の有線通信を実行する有線通信デバイスであり、無線ＬＡＮコントローラ２３は、例えばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。また、ＵＳＢコントローラ２４は、例えばUSB2.0規格のケーブルを介して外部機器との通信を実行する。

ＥＣ／ＫＢＣ２５は、電力管理を行うためのエンベデッドコントローラと、キーボード（ＫＢ）２６、及びポインティングデバイス２７を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このＥＣ／ＫＢＣ２５は、ユーザの操作に応じて本コンピュータ１をパワーオン／パワーオフする機能を有している。

ＴＶチューナ３０はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子３０Ａに接続されている。このＴＶチューナ３０は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ３０は、外部機器から入力されるビデオデータをキャプチャする機能も有している。

次いで、図３及び図４を参照して、三次元映像上に表示される字幕の例について説明する。
図３に示す例では、三次元映像３２が表示されるとき、実際に画面３１（ディスプレイ１５）が存在する奥行き位置に字幕３３が表示されている。一般に、字幕３３は、映像３２よりも優先して表示されるため、例えば、映像３２上に上書きして描画される。図３に示す例では、字幕３３が映像３２よりも奥に表示されるので、映像３２の一部の領域３２Ａが欠落し、映像３２に字幕３３がめり込んでいるように見える。そのため、ユーザは、字幕３３を見づらく感じたり、字幕３３がめり込んだ映像３２に違和感を覚えたりする可能性があり、観賞の妨げとなる。

また、図４に示す例では、映像３２が表示され得る奥行き位置よりも十分手前である一定の奥行き位置に、字幕３３が表示されている。これにより、字幕３３が映像３２にめり込んで見えることはない。しかし、ユーザは、字幕３３と映像３２の各々を見るために視線（合焦位置）を大きく動かさなければならず、疲労の原因となる。

具体的には、映像３２が表示される奥行き位置は、映像３２に含まれる画素毎に異なる。また、映像３２に含まれる画素それぞれの奥行き位置の範囲は、画像フレーム毎に変動する。そのため、一定の奥行き位置に字幕３３が表示されるとき、字幕３２と映像３３との距離が大きくなることによって、ユーザは、字幕３３と映像３２の各々を見るために視線を大きく動かさなければならなくなる。

そのため本実施形態では、映像３２に応じて字幕（副画像とも称する）３３が表示される奥行き位置を動的に変更することにより、映像３２と字幕３３の双方が視認しやすい位置関係を維持する。図５及び図６は、映像３２に応じて字幕３３が表示される例を示す。
図５に示す例では、映像３２に含まれる画素の内、最も手前にある画素（すなわち、最も飛び出している画素）３２Ｂと同じ奥行き位置に字幕３３が表示されている。また、図６に示す例では、字幕が表示される画面３１上の領域に対応する画素群（図６では、領域３２Ｃ，３２Ｄ，３２Ｅの一部）の内、最も手前にある画素（領域）３２Ｃの手前に字幕３３が表示されている。図５及び図６に示す例では、字幕３３が映像３２にめり込んで見えることはなく、また、映像３２と字幕３３とを見るために目にかかる負担も小さくすることができる。

図７は、映像コンテンツ再生プログラム１３Ｂの機能構成を示す。映像コンテンツ再生プログラム１３Ｂは、映像コンテンツデータ４１を用いて、映像３２上に字幕３３が合成された三次元映像４６を再生するための三次元映像再生機能を有する。図７に示す例では、映像コンテンツ再生プログラム１３Ｂとディスプレイドライバプログラム１３Ｃとによって、三次元映像４６が出力デバイス（ディスプレイ）１５に表示される。

映像コンテンツ再生プログラム１３Ｂは、映像リード部５１、２Ｄｔｏ３Ｄ変換部５２及び表示制御部５３を含む。また、２Ｄｔｏ３Ｄ変換部５２は、奥行き推定部５２１、視差算出部５２２、視差映像生成部５２３、字幕視差決定部５２４、及び視差字幕生成部５２５を含む。

映像リード部５１は、例えば、ＤＶＤのような記憶メディアやＨＤＤ２１のような記憶装置から、映像コンテンツデータ４１を読み出す。なお、映像リード部５１は、ＴＶチューナ３０やＬＡＮコントローラ２０，２３等を介して、映像コンテンツデータ４１を受信してもよい。映像コンテンツデータ４１は、副画像データ（字幕データとも称する）４１Ａと二次元映像データ４１Ｂとを含む。二次元映像データ４１Ｂは、例えば、圧縮符号化された映像データである。その場合、二次元映像データ４１Ｂは復号して用いられる。副画像データ４１Ａは、例えば、字幕を含む画像データである。なお、副画像データ４１Ａは、字幕を示すテキストデータであってもよい。その場合、字幕を示すテキストデータに基づいて、テキスト（字幕）を含む画像データが生成される。また、副画像データ４１Ａは、字幕データ、OnScreenDisplay（ＯＳＤ）データ、及び各種のアプリケーションプログラムを操作するためのコントロールパネルを表示するためのデータを含んでもよい。コントロールパネルは、ボタン、メニュー等を含んでいてもよい。

映像リード部５１は、読み出した（受信した）映像コンテンツデータ４１から、字幕データ４１Ａと二次元映像データ４１Ｂとを抽出する。そして、映像リード部５１は、抽出された二次元映像データ４１Ｂに基づく複数の画像フレームの内、先頭の画像フレームを処理対象の画像フレームに設定する。つまり、映像リード部５１は、二次元映像データ４１Ｂに基づく複数の画像フレームを、先頭の画像フレームから順に処理対象の画像フレームに設定する。以下では、この処理対象の画像フレームをＮ番目の画像フレームとも称する。また、処理対象の画像フレームの一つ前の画像フレームをＮ−１番目の画像フレームとも称する。

映像リード部５１は、抽出された字幕データ４１Ａの内、当該処理対象の画像フレームに対応する字幕データを、処理対象の字幕データに設定する。そして、映像リード部５１は、設定された処理対象の画像フレームと字幕データとを２Ｄｔｏ３Ｄ変換部５２に出力する。

また、映像リード部５１は、例えばＨＤＤ２１のような記憶装置に格納された設定情報４７を読み出す。設定情報４７は、立体感設定情報４７Ａ、視聴環境情報４７Ｂ及び字幕表示位置設定情報４７Ｃを含む。立体感設定情報４７Ａは、三次元映像４６に含まれる画素が取り得る実空間での奥行き値の範囲を示す情報を含む。視聴環境情報４７Ｂは、眼間距離を示す情報と観視距離を示す情報とを含む。字幕表示位置設定情報４７Ｃは、字幕が表示される奥行き位置を決定するためのパラメータを含む。この設定情報４７については、図８から図１２を参照して後述する。映像リード部５１は、読み出した設定情報４７Ｃを２Ｄｔｏ３Ｄ変換部５２に出力する。

奥行き推定部５２１は、映像リード部５１によって出力された処理対象の画像フレーム（二次元画像）を用いて、当該画像フレームに含まれる複数の画素の奥行き値（奥行き位置）を推定することによって、奥行きマップ（depth map）４２を生成する。奥行き推定部５２１は、例えば、画像フレームを複数の領域に分割し、分割された領域間の前後関係（背景の領域であるか、他の領域よりも前に存在するか等）を判定することによって、画素の奥行き値を決定する。奥行きマップ４２は、処理対象の画像フレームに含まれる複数の画素に対応する複数の奥行き値を含む。奥行き値は、例えば、−１２７から１２８までの整数値である。奥行きマップ４２は、各画素の奥行き値に応じたグレイスケール画像として（例えば、手前に存在する画素を黒く、奥に存在する画素を白くして）表すこともできる。奥行き推定部５２１は、生成された奥行きマップ４２を視差算出部５２２に出力する。

図８は、奥行きが推定される三次元空間、すなわち、三次元映像が表示される空間を示す。三次元映像が表示される空間は、換言すると、ユーザによって三次元映像が知覚される空間であると云える。

この三次元空間は、Ｘ軸とＹ軸とＺ軸とによる右手系の直交座標空間として定義される。すなわち、Ｘ軸は水平方向の軸であり、右向きに正をとる。Ｙ軸は垂直方向の軸であり、下向きに正をとる。Ｚ軸は奥行き方向の軸であり、奥に向かって正をとる。また、映像が表示される画面３１（すなわち、ディスプレイ１５の画面）は、この直交座標系において、Ｚ＝０であるＸＹ平面上に位置し、画面３１の左上の頂点が原点に対応することを想定する。なお、画面３１は、Ｚ軸の負の方向に向かって映像を表示する。つまり、ユーザがＺ＜０である位置から、正対して画面３１を見ることを想定する。

次いで、視差算出部５２２は、奥行き推定部５２１によって出力された奥行きマップ４２と設定情報４７とを用いて、処理対象の画像フレームに含まれる複数の画素に対応する視差を算出することによって、視差マップ４３を生成する。

より具体的には、まず、視差算出部５２２は、立体感設定情報４７Ａに基づいて、奥行きマップ４２に含まれる奥行き値の値域を変換する。
図９は、立体感設定情報４７Ａに示される、三次元映像が表示され得る実空間での奥行き（Ｚ軸）方向の範囲３５を示す。この奥行き方向の範囲３５は、奥行上限値３４Ａと奥行下限値３４Ｂとによって規定される。奥行上限値３４Ａは、三次元映像が表示される奥行き位置の上限を示す。また、奥行下限値３４Ｂは、三次元映像が表示される奥行き位置の下限を示す。したがって、奥行下限値≦Ｚ≦奥行上限値である空間内に三次元映像が表示される。また、三次元映像が表示されるＸ軸方向の範囲及びＹ軸方向の範囲は画面３１に対応する範囲であるので、画面３１に対応する範囲と奥行き方向の範囲３５とによって規定される直方体の空間内に三次元映像が表示される。なお、奥行き方向の範囲３５は、例えば、９．５ｃｍである。

視差算出部５２２は、奥行きマップ４２に含まれる奥行き値を、三次元映像が表示され得る実空間での奥行き方向の範囲３５に基づいてスケーリングする。視差算出部５２２は、例えば、奥行きマップ４２に含まれる奥行き値の範囲が、奥行き下限値３４Ｂから奥行き上限値３４Ａまでの範囲になるように、奥行きマップ４２に含まれる奥行き値を変換する。奥行きマップ４２に含まれる奥行き値は、例えば、実空間での奥行き値（例えば、ミリメートル単位）に変換される。

次いで、視差算出部５２２は、視聴環境情報４７Ｂに基づいて、奥行き値に対応する視差（例えば、ミリメートル単位）を算出する。
図１０は、視聴環境情報４７Ｂに示される、眼間距離３７Ａと観視距離３７Ｂとを示す。眼間距離３７Ａは、左眼３６Ａと右眼３６Ｂとの間の距離を示す。より具体的には、眼間距離３７Ａは、例えば、左眼３６ＡのＸ軸方向の位置Ｘ_Ｌと右眼３６ＢのＸ軸方向の位置Ｘ_Ｒとの間の距離（Ｘ_Ｒ−Ｘ_Ｌ）を示す。眼間距離３７には、例えば、電子機器１を実際に使用するユーザの眼間距離、眼間距離の統計的な平均等（例えば、６．５ｃｍ）が用いられる。

観視距離３７Ｂは、左眼３６Ａと右眼３６Ｂとの中間点Ｍから画面までの距離を示す。より具体的には、観視距離３７Ｂは、例えば、中間点ＭのＺ軸方向の位置Ｚ_Ｍから、画面３１（すなわち、Ｚ＝０）までの距離Ｚ_Ｍを示す。観視距離３７Ｂには、例えば、電子機器１の利用形態や画面サイズに応じた距離、ユーザによって設定される任意の距離等が用いられる。

また、図１１及び図１２は、奥行き値に応じて算出される視差３７Ｄの例を示す。視差３７Ｄは、三次元映像内の画素３８（観測点とも称する）を左眼３６Ａで見たときの位置と、この画素３８を右眼３６Ｂで見たときの位置とのずれを示す。ユーザは、画面３１に表示された左眼用映像４４Ａ内の画素３９Ａを左眼３６Ａで、右眼用映像４４Ｂ内の画素３９Ｂを右眼３６Ｂで見ることによって、画素３８の奥行き（立体感）を知覚することができる。つまり、視差３７Ｄは、画素３８に対応する左眼用映像４４Ａ内の画素３９Ａの位置と右眼用映像４４Ｂ内の画素３９Ｂの位置とを決定するために算出される。

以下では、説明を簡単にするため、左眼３６ＡのＹ座標及びＺ座標と、右眼３６ＢのＹ座標及びＺ座標は等しいものとする。また、中間点ＭのＸ座標及びＹ座標と、三次元映像内の観測点３８のＸ座標及びＹ座標とは等しいものとする。すなわち、ユーザの視点３６は、観測点３８に正対し、傾いていないことを想定する。

まず、図１１を参照して、奥行き値３７Ｃを有する画素３８に対応する視差３７Ｄを算出する例について説明する。奥行き値３７Ｃは、Ｚ＞０（すなわち、画面３１よりも奥）である。なお、眼間距離３７Ａの値と観視距離３７Ｂの値とは、視聴環境情報４７Ｂによって与えられている。

左眼用映像４４Ａ内の画素３９Ａは、左眼３６Ａと三次元映像内の画素３８とをつなぐ視線と画面３１とが交わる点に位置する。また、右眼用映像４４Ｂ内の画素３９Ｂは、右眼３６Ｂと三次元映像内の画素３８とをつなぐ視線と画面３１とが交わる点に位置する。したがって、
眼間距離：（観視距離＋奥行き）＝視差：奥行き
であるので、
視差＝奥行き×眼間距離／（観視距離＋奥行き）
によって、三次元映像内の画素３８に対応する、左眼用映像内の画素３９Ａと右眼用映像内の画素３９Ｂとの視差３７Ｄが算出される。

また、図１２を参照して、奥行き値３７Ｃを有する画素３８に対応する視差３７Ｄを算出する別の例について説明する。奥行き値３７Ｃは、Ｚ＜０（すなわち、画面３１よりも手前）である。なお、眼間距離３７Ａの値と観視距離３７Ｂの値とは、視聴環境情報４７Ｂによって与えられている。

左眼用映像内の画素３９Ａは、左眼３６Ａと三次元映像内の画素３８とをつなぐ視線と画面３１とが交わる点に位置する。また、右眼用映像内の画素３９Ｂは、右眼３６Ｂと三次元映像内の画素３８とをつなぐ視線と画面３１とが交わる点に位置する。図１１に示した例と同様に、
視差＝奥行き×眼間距離／（観視距離＋奥行き）
によって、三次元映像内の画素３８に対応する、左眼用映像内の画素３９Ａと右眼用映像内の画素３９Ｂとの視差３７Ｄが算出される。

視差算出部５２２は、上述のようにして視差３７Ｄを算出することによって、視差マップ４３を生成する。視差マップ４３は、奥行きマップ４２に含まれる複数の奥行き値に対応する複数の視差を含む。換言すると、視差マップ４３は、二次元映像に含まれる複数の画素に対応する複数の視差を含む。視差は、例えば、ミリメートル単位の値である。視差マップ４３は、例えば、各画素の視差に応じた画像として（例えば、正の値の大きさを赤色の濃淡で、負の値の大きさを緑色の濃淡で）表すこともできる。視差算出部５２２は、生成された視差マップ４３を視差映像生成部５２３に出力する。また、視差算出部５２２は、奥行きマップ４２と視差マップ４３とを字幕視差決定部５２４に出力する。

視差映像生成部５２３は、視差算出部５２２によって出力された視差マップ４３と処理対象の画像フレームとを用いて、左眼用映像データ４４Ａと右眼用映像データ４４Ｂとを含む三次元映像データ４４を生成する。視差映像生成部５２３は、映像３２の解像度に基づいて、実空間での視差３７Ｄを画像上での視差を示す値（例えば、ピクセル単位）に変換する。左眼用映像データ４４Ａ及び右眼用映像データ４４Ｂでは、変換された視差３７Ｄに応じた位置に画素が配置される。より具体的には、三次元映像内の画素３８に対応する、左眼用映像データ４４Ａ内の画素３９Ａと右眼用映像データ４４Ｂ内の画素３９Ｂとは、視差／２だけずらした位置に配置される。

図１１及び図１２に示した例では、三次元映像内の画素３８のＸ軸方向の位置をＸ_Ａとすると、画素３８に対応する、左眼用映像データ４４Ａ内の画素３９ＡのＸ軸方向の位置Ｘ_ＡＬと右眼用映像データ４４Ｂ内の画素３９ＢのＸ軸方向の位置Ｘ_ＡＲとは以下の式によって表される。
Ｘ_ＡＬ＝（Ｘ_Ａ−視差／２）
Ｘ_ＡＲ＝（Ｘ_Ａ＋視差／２）
視差映像生成部５２３は、上述のように生成された左眼用映像データ４４Ａと右眼用映像データ４４Ｂとを表示制御部５３に出力する。

また、字幕視差決定部５２４は、奥行きマップ４２と視差マップ４３とを用いて、字幕３３を表示するための視差４５を決定する。
具体的には、まず、字幕視差決定部５２４は、字幕表示位置設定情報４７Ｃに基づいて、字幕３３を表示するための奥行き値を決定する。字幕表示位置設定情報４７Ｃは、例えば、探索範囲情報、オフセット情報、変化量上限値情報等を含む。

探索範囲情報は、奥行きマップ４２内の領域を示す。探索範囲情報に示される領域は、例えば、奥行きマップ４２全体である。また、探索範囲情報に示される領域は、字幕３３が表示される、ＸＹ平面上の領域に対応する領域である。奥行きマップ４２内の探索範囲情報に示される領域から、字幕３３を表示するための奥行きの候補値（基準値）が検出される。

オフセット情報は、奥行きの候補値を調整するためのＺ軸方向のオフセット値を示す。このオフセット値は、例えば、字幕３３の奥行き値をユーザ（視聴者）の嗜好に合わせて調整するために使用される。具体的には、オフセット値は、例えば字幕３３を映像３２よりも少し手前に表示するための値が設定される。また、オフセット値は０であってもよい。

また、変化量上限値情報は、字幕３３の奥行き値の単位時間当たりの変化量の上限値を示す。字幕３３を表示するための奥行き値は、例えばフレーム毎に変化する。しかし、字幕３３が表示される奥行き位置が大きく変化した際には、ユーザが字幕３３を見づらく感じてしまう可能性がある。そのため、この変化量上限値情報によって、字幕３３が表示される奥行き値の単位時間当たりの変化量の上限値（しきい値）が設定される。この変化量上限値は、例えば、９．５ｃｍ／秒である。したがって、毎秒６０フレームの映像（画像フレーム）を表示するとき、１フレーム当たりの変化量の上限値ＴＨ_Ｄは、０．１６ｃｍである。

字幕視差決定部５２４は、奥行きマップ４２内の探索範囲情報に示される領域を探索し、その領域内で最小の奥行き値（すなわち、最も手前にある奥行き値）を検出する。検出された奥行き値は、字幕３３を表示するための奥行きの候補値（基準値）Ｚ_Ｃとして用いられる。なお、探索範囲から検出される奥行き値は、最小値に限らず、探索範囲に含まれる奥行き値の平均値や中間値であってもよい。探索範囲内に局所的に突出した画素（領域）が存在する際には、奥行き候補値Ｚ_Ｃに平均値や中間値を用いる方が、字幕３３の自然な（好ましい）奥行き値が得られる。
そして、字幕視差決定部５２４は、この奥行き候補値Ｚ_Ｃに対して、オフセット情報に示されるオフセット値を加えた値を、新たな奥行き候補値Ｚ_Ｃに設定する。

次いで、字幕視差決定部５２４は、一つ前の画像フレーム（Ｎ−１番目の画像フレーム）での字幕の奥行き値Ｚ_Ｎ−１に対する、現在の画像フレーム（Ｎ番目の画像フレーム）での奥行き候補値Ｚ_Ｃの変化量（例えば、差の絶対値）を算出する。そして、字幕視差決定部５２４は、算出された変化量が上限値ＴＨ_Ｄ以内であるか否かを判定する。上限値ＴＨ_Ｄは、毎秒６０フレームの画像が表示されることを想定したとき、例えば、０．１６ｃｍ／ｆｒａｍｅである。算出された変化量が上限値ＴＨ_Ｄ以内であるとき、字幕視差決定部５２４は、奥行き候補値Ｚ_Ｃを、現在の画像フレームで字幕を表示するための奥行き値Ｚ_Ｎとして用いる。一方、算出された変化量が上限値ＴＨ_Ｄより大きいとき、字幕視差決定部５２４は、変化量が上限値ＴＨ_Ｄ以内になるように奥行き候補値Ｚ_Ｃを変更して、奥行き値Ｚ_Ｎに設定する。

そして、字幕視差決定部５２４は、この字幕の奥行き値Ｚ_Ｎに対応する視差４５を算出する。なお、奥行き値Ｚ_Ｎが奥行きマップ４２から検出された値（例えば、上述のオフセット値や奥行き値の変化量に基づいて調整されていない奥行き値）であるとき、字幕視差決定部５２４は、視差マップ４３から、この奥行き値Ｚ_Ｎに対応する視差を検出することによって、字幕３３を表示するための視差４５を決定する。この場合、視差マップ４３から奥行き値Ｚ_Ｎに対応する視差を検出するので、字幕３３を表示するための視差４５を新たに算出する必要がない。したがって、字幕３３に対応する視差４５を算出するための処理を省略することができるので、計算量が減少し、ＣＰＵ１１等にかかる負荷も低減することができる。一方、奥行き値Ｚ_Ｎが奥行きマップ４２から検出された値でないとき、字幕視差決定部５２４は、図１１及び図１２を参照して説明した方法によって、字幕３３を表示するための視差４５を算出する。字幕視差決定部５２４は、決定された視差４５を視差字幕生成部５２５に出力する。

次いで、視差字幕生成部５２５は、字幕データ４１Ａと、視差字幕生成部５２５によって出力された視差４５とを用いて、左眼用字幕データと右眼用字幕データとを生成する。具体的には、視差字幕生成部５２５は、映像３２の解像度に基づいて、視差４５を画像上の値（例えば、ピクセル単位）に変換する。そして、左眼用字幕データ及び右眼用字幕データでは、変換された視差４５に応じた位置に画素が配置される。具体的な方法は、視差映像生成部５２３について説明した方法と同様である。視差字幕生成部５２５は、生成された左眼用字幕データと右眼用字幕データとを表示制御部５３に出力する。

表示制御部５３は、視差映像生成部５２３によって出力された左眼用映像データ４４Ａ及び右眼用映像データ４４Ｂと、視差字幕生成部５２５によって出力された左眼用字幕データ及び右眼用字幕データとを用いて、左眼用映像と右眼用映像とを画面に表示する。表示制御部５３は、例えばドライバプログラム１３Ｃを介して、左眼用映像と右眼用映像とを画面に出力する。具体的には、表示制御部５３は、視差映像生成部５２３によって出力された左眼用映像データ４４Ａと、視差字幕生成部５２５によって出力された左眼用字幕データとを用いて、左眼用字幕が合成された左眼用映像をディスプレイ１５の画面に表示する。そして、表示制御部５３は、視差映像生成部５２３によって生成された右眼用映像データ４４Ｂと、視差字幕生成部５２５によって生成された右眼用字幕データとを用いて、右眼用字幕が合成された右眼用映像をディスプレイ１５の画面に表示する。

以上の構成により、ユーザは、例えば３Ｄグラス（液晶シャッターメガネ）を用いて、左眼用映像を左眼３６Ａで、右眼用映像を右眼３６Ｂで見ることによって、三次元映像を知覚することができる。また、字幕３３の奥行き位置は、映像３２の奥行きに応じた視認しやすい位置に動的に決定される。字幕３３の奥行き位置は、例えば、映像３２にめり込まず、また映像３２と字幕３３との間の奥行き方向の距離が広がり過ぎないような位置に設定される。さらに、画像フレーム間での字幕の奥行き位置の変化量は、所定の上限値以内になるように制御される。これにより、ユーザが字幕３３と映像３２とを見るために目にかかる負担を軽減することができる。

なお、字幕視差決定部５２４は、字幕３３の奥行き値Ｚ_Ｎを、所定の期間だけ変化させないように制御することもできる。その場合、字幕視差決定部５２４は、字幕３３を表示するための奥行き値Ｚ_Ｎを、画像フレーム毎に変更するのではなく、所定の期間毎に変更する。したがって、字幕視差決定部５２４は、例えば、所定の期間だけ、一つ前の画像フレームに対応する字幕が表示された奥行き値Ｚ_Ｎ−１を、処理対象の画像フレームに対応する字幕３３を表示するための奥行き値Ｚ_Ｎとして用いる。また、字幕視差決定部５２４は、同一の内容を示す字幕３３が表示される期間内に、字幕３３の奥行き値Ｚ_Ｎを変更しないように制御することもできる。つまり、字幕視差決定部５２４は、同一の字幕３３が表示される期間内では、同じ視差で（すなわち、同じ奥行き位置に）字幕３３を表示し続けることもできる。より具体的には、字幕視差決定部５２４は、処理対象の画像フレームに対応する字幕（副画像）３３と一つ前の画像フレームに対応する字幕３３とが同じであるとき、一つ前の画像フレームに対応する字幕３３が表示された奥行き値Ｚ_Ｎ−１を、処理対象の画像フレームに対応する字幕３３を表示するための奥行き値Ｚ_Ｎに決定する。

また、字幕３３に加えて、OnScreenDisplay（ＯＳＤ）信号に基づく画像や、アプリケーションプログラムを操作するためのコントロールパネル（操作パネル）の画像等、映像３２上に合成して（重畳して）表示される各種の副画像について、それら副画像が表示される奥行き位置を、上述の字幕３３の奥行き位置の決定方法と同様にして決定してもよい。

なお、上述の例では、映像３２と字幕３３とが合成された左眼用映像（右眼用映像）を、ディスプレイドライバプログラム１３Ｃを介してディスプレイ１５に出力する構成について説明したが、左眼用映像データ４４Ａ、右眼用映像データ４４Ｂ、字幕データ４１Ａ、及び字幕を表示するための視差情報４５をディスプレイドライバプログラム１３Ｃに出力する構成でもよい。その場合、ディスプレイドライバプログラム１３Ｃは、左眼用映像データ４４Ａ又は右眼用映像データ４４Ｂに基づく映像上に、視差情報４５に基づく視差を有する字幕を合成してディスプレイ１５に表示する。

次いで、図１３に示すフローチャートを参照して、映像再生処理の手順の例について説明する。映像再生処理では、入力された映像コンテンツデータ４１を用いて、映像３２上に字幕３３が合成された三次元映像４６が生成される。

まず、映像リード部５１は、例えばＤＶＤのような記憶メディアやＨＤＤのような記憶装置から、映像コンテンツデータ４１を読み出す（ブロックＢ１０１）。映像リード部５１は、読み出した映像コンテンツデータ４１から、字幕データ４１Ａと二次元映像データ４１Ｂとを抽出する（ブロックＢ１０２）。そして、映像リード部５１は、抽出された二次元映像データ４１Ｂに基づく複数の画像フレームの内、先頭の画像フレームを処理対象の画像フレームに設定する（ブロックＢ１０３）。また、映像リード部５１は、抽出された字幕データ４１Ａの内、当該処理対象の画像フレームに対応する字幕データを、処理対象の字幕データに設定する。

次いで、奥行き推定部５２１は、処理対象の画像フレームを用いて、当該画像フレームに含まれる複数の画素の奥行き値（奥行き位置）を推定することによって、奥行きマップ４２を生成する（ブロックＢ１０４）。視差算出部５２２は、生成された奥行きマップ４２を用いて、処理対象の画像フレームに含まれる複数の画素に対応する複数の視差を算出することによって、視差マップ４３を生成する（ブロックＢ１０５）。そして、視差映像生成部５２３は、処理対象の画像フレームと視差マップ４３とを用いて、左眼用映像データ４４Ａと右眼用映像データ４４Ｂとを生成する（ブロックＢ１０６）。

また、字幕視差決定部５２４は、奥行きマップ４２と視差マップ４３とを用いて、字幕を表示するための視差４２を決定する（ブロックＢ１０７）。字幕を表示するための視差を決定するための処理の手順については、図１４に示すフローチャートを参照して後述する。そして、視差字幕生成部５２５は、字幕データ４１Ａと決定された視差４５とを用いて、左眼用字幕データと右眼用字幕データとを生成する（ブロックＢ１０８）。

次いで、表示制御部５３は、視差映像生成部５２３によって生成された左眼用映像データ４４Ａと、視差字幕生成部５２５によって生成された左眼用字幕データとを用いて、字幕が合成された左眼用画像をディスプレイ１５の画面に表示する（ブロックＢ１０９）。そして、表示制御部５３は、視差映像生成部５２３によって生成された右眼用映像データ４４Ｂと、視差字幕生成部５２５によって生成された右眼用字幕データとを用いて、字幕が合成された右眼用画像をディスプレイ１５の画面に表示する（ブロックＢ１１０）。

次いで、映像リード部５１は、二次元映像データ４１Ｂに基づく複数の画像フレーム内に、現在の画像フレーム（処理対象の画像フレーム）に後続する画像フレームがあるか否かを判定する（ブロックＢ１１１）。後続する画像フレームがある場合（ブロックＢ１１１のＹＥＳ）、映像リード部５１は、その後続する画像フレームを処理対象の画像フレームに設定する（ブロックＢ１１２）。また、映像リード部５１は、抽出された字幕データ４１Ａの内、当該処理対象の画像フレームに対応する字幕データを、処理対象の字幕データに設定する。そして、ブロックＢ１０４に戻り、新たに設定された処理対象の画像フレームに対して、字幕が合成された三次元映像４６を表示するための処理を施す。
一方、後続する画像フレームがない場合（ブロックＢ１１２のＮＯ）、処理を終了する。

以上の処理により、入力された映像コンテンツデータ４１を用いて、映像３２上に字幕３３が合成された三次元映像４６を生成することができる。

また、図１４は、字幕を表示するための視差を決定するための字幕視差決定処理の手順の例を示すフローチャートである。
まず、字幕視差決定部５２４は、奥行きマップ４２に含まれる複数の奥行き値から奥行き候補値Ｚ_Ｃを検出する（ブロックＢ２１）。この奥行き候補値Ｚ_Ｃは、例えば、奥行きマップ４２に含まれる複数の奥行き値の内の、最小の奥行き値（すなわち、処理対象の画像フレームに含まれる画素の内、最も手前にある画素の奥行き値）である。なお、この奥行き候補値Ｚ_Ｃは、字幕が表示されるＸＹ平面上の領域内に含まれる画素に対応する奥行き値の内の、最小の奥行き値であってもよい。検出された奥行き候補値Ｚ_Ｃは、現在のフレームで字幕が表示される奥行き値の候補として用いられる。

次いで、字幕視差決定部５２４は、一つ前の画像フレームでの字幕の奥行き値Ｚ_Ｎ−１に対する、現在の画像フレームでの奥行き候補値Ｚ_Ｃの変化量（差の絶対値）を算出する。そして、字幕視差決定部５２４は、算出された変化量が上限値（しきい値）ＴＨ_Ｄ以内であるか否かを判定する。上限値ＴＨ_Ｄは、毎秒６０フレームの画像が表示されることを想定したとき、例えば、０．１６ｃｍである。算出された変化量が上限値ＴＨ_Ｄ以内であるとき、字幕視差決定部５２４は、奥行き候補値Ｚ_Ｃを、現在の画像フレームで字幕を表示するための奥行き値Ｚ_Ｎとして用いる。一方、算出された変化量が上限値ＴＨ_Ｄより大きいとき、字幕視差決定部５２４は、変化量が上限値ＴＨ_Ｄ以内になるように奥行き値Ｚ_Ｎを決定する。

より具体的には、字幕視差決定部５２４は、一つ前の画像フレームで字幕が表示された奥行き値Ｚ_Ｎ−１と検出された奥行き候補値Ｚ_Ｃとの差Ｄ_Ｚを算出する（ブロックＢ２２）。そして、字幕視差決定部５２４は、算出された差Ｄ_Ｚが−ＴＨ_Ｄ以上であるか否かを判定する（ブロックＢ２３）。

算出された差Ｄ_Ｚが−ＴＨ_Ｄ以上であるとき（ブロックＢ２３のＹＥＳ）、字幕視差決定部５２４は、算出された差Ｄ_ＺがＴＨ_Ｄ以下であるか否かを判定する（ブロックＢ２４）。そして、算出された差Ｄ_ＺがＴＨ_Ｄ以下であるとき（ブロックＢ２４のＹＥＳ）、字幕視差決定部５２４は、奥行き候補値Ｚ_Ｃを、現在の画像フレームで字幕を表示するための奥行き値Ｚ_Ｎに決定する（ブロックＢ２５）。そして、字幕視差決定部５２４は、視差マップ４３を用いて、決定された字幕の奥行き値Ｚ_Ｎ（＝Ｚ_Ｃ）に対応する視差を検出する（ブロックＢ２６）。

一方、算出された差Ｄ_ＺがＴＨ_Ｄより大きいとき（ブロックＢ２４のＮＯ）、字幕視差決定部５２４は、現在の画像フレームで字幕を表示するための奥行き値Ｚ_Ｎを次式により算出する（ブロックＢ２７）。
Ｚ_Ｎ＝Ｚ_Ｎ−１−ＴＨ_Ｄ
そして、字幕視差決定部５２４は、算出された字幕の奥行き値Ｚ_Ｎに対応する視差を算出する（ブロックＢ２８）。

また、算出された差Ｄ_Ｚが−ＴＨ_Ｄ未満であるとき（ブロックＢ２３のＮＯ）、字幕視差決定部５２４は、現在の画像フレームで字幕を表示するための奥行き値Ｚ_Ｎを次式により算出する（ブロックＢ２９）。
Ｚ_Ｎ＝Ｚ_Ｎ−１＋ＴＨ_Ｄ
そして、字幕視差決定部５２４は、算出された字幕の奥行き値Ｚ_Ｎに対応する視差４５を算出する（ブロックＢ２８）。

以上の処理により、字幕３３を表示するための視差４５を決定することができる。なお、二次元映像データ内の先頭の画像フレームに対して処理を行う際には、所定の値を一つ前の画像フレームで字幕が表示された奥行き値Ｚ_Ｎ−１として用いてもよい。また、先頭の画像フレームでは、奥行きマップ４２に含まれる奥行き値の内の最小の奥行き値や、字幕が表示されるＸＹ平面上の領域内に含まれる画素に対応する奥行き値の内の、最小の奥行き値を、字幕を表示するための奥行き値Ｚ_Ｎとして用いてもよい。

以上説明したように、本実施形態によれば、三次元映像が表示されるとき、ユーザが視認しやすい奥行き位置に字幕を表示できる。映像コンテンツ再生プログラム１３Ｂは、映像３２に字幕３３が重畳された映像（すなわち、左眼用映像及び右眼用映像）を表示する。字幕３３は、映像３２の奥行きに応じた視認しやすい奥行き位置に動的に表示される。字幕３３の奥行き位置は、例えば、映像３２にめり込まず、また映像３２と字幕３３との間の奥行き方向の距離が広がり過ぎないような位置に設定される。さらに、画像フレーム間での字幕の奥行き位置の変化量は、所定のしきい値以内になるように制御される。これにより、ユーザが字幕３３と映像３２とを見るために目にかかる負担を軽減することができる。

なお、本実施形態の映像再生処理の手順は全てソフトウェアによって実行することができる。このため、映像再生処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１３Ｂ…映像コンテンツ再生プログラム、１５…ディスプレイ、５１…映像入力部、５２…２Ｄｔｏ３Ｄ変換部、５２１…奥行き推定部、５２２…視差算出部、５２３…視差映像生成部、５２４…字幕視差決定部、５２５…視差字幕生成部、５３…表示制御部。

実施形態によれば、電子機器は、映像データと副画像データとを含む映像コンテンツデータを用いて三次元映像を再生する電子機器であって、奥行き推定手段、視差算出手段、映像生成手段、副画像視差決定手段、副画像生成手段、及び表示制御手段を具備する。奥行き推定手段は、前記映像データの複数の画像フレームの内の処理対象の画像フレームに含まれる複数の画素に対応する複数の奥行き値を推定する。視差算出手段は、前記推定された複数の奥行き値を用いて、前記複数の画素に対応する複数の視差を算出する。映像生成手段は、前記映像データと前記算出された複数の視差とを用いて、左眼用映像データと右眼用映像データとを生成する。副画像視差決定手段は、前記推定された複数の奥行き値に基づいて副画像を表示するための奥行き値を決定し、前記決定された奥行き値を用いて前記副画像に対応する視差を決定する。副画像生成手段は、前記副画像データと前記決定された視差とを用いて、左眼用副画像データと右眼用副画像データとを生成する。表示制御手段は、前記左眼用映像データと前記左眼用副画像データとを用いて左眼用画像を表示し、前記右眼用映像データと前記右眼用副画像データとを用いて右眼用画像を表示する。

Claims (12)

1. 映像データと副画像データとを含む映像コンテンツデータを用いて三次元映像を再生する電子機器であって、
   前記映像データの複数の画像フレームの内の処理対象の画像フレームに含まれる複数の画素に対応する複数の奥行き値を推定する奥行き推定手段と、
   前記推定された複数の奥行き値を用いて、前記複数の画素に対応する複数の視差を算出する視差算出手段と、
   前記映像データと前記算出された複数の視差とを用いて、左眼用画像データと右眼用映像データとを生成する映像生成手段と、
   前記推定された複数の奥行き値に基づいて副画像を表示するための奥行き値を決定し、前記決定された奥行き値を用いて前記副画像に対応する視差を決定する副画像視差決定手段と、
   前記副画像データと前記決定された視差とを用いて、左眼用副画像データと右眼用副画像データとを生成する副画像生成手段と、
   前記左眼用映像データと前記左眼用副画像データとを用いて左眼用画像を表示し、前記右眼用映像データと前記右眼用副画像データとを用いて右眼用画像を表示する表示制御手段とを具備する電子機器。
2. 前記副画像視差決定手段は、前記算出された複数の視差の内の前記決定された奥行き値に対応する視差を前記副画像に対応する視差に決定する請求項１記載の電子機器。
3. 前記副画像視差決定手段は、前記副画像を表示するための奥行き値と、前記処理対象の画像フレームの一つ前の画像フレームに対応する副画像が表示された奥行き値との差の絶対値を算出し、前記算出された差の絶対値がしきい値よりも大きいとき、前記算出された差の絶対値がしきい値以下になるように前記副画像を表示するための奥行き値を変更する請求項２記載の電子機器。
4. 前記副画像視差決定手段は、所定の期間だけ、前記処理対象の画像フレームの一つ前の画像フレームに対応する副画像が表示された奥行き値を、前記副画像を表示するための奥行き値に決定する請求項２記載の電子機器。
5. 前記副画像視差決定手段は、前記推定された複数の奥行き値の内の最小の奥行き値を、前記副画像が表示される奥行き値に決定する請求項２記載の電子機器。
6. 前記副画像視差決定手段は、前記推定された複数の奥行き値の内、前記副画像が表示される画面上の領域に対応する奥行き値を検出し、前記検出された奥行き値の内の最小の奥行き値を、前記副画像が表示される奥行き値に決定する請求項２記載の電子機器。
7. 前記副画像視差決定手段は、前記処理対象の画像フレームに対応する副画像と前記処理対象の画像フレームの一つ前の画像フレームに対応する副画像とが同じであるとき、前記一つ前の画像フレームに対応する副画像が表示された奥行き値を、前記処理対象の画像フレームに対応する副画像を表示するための奥行き値に決定する請求項２記載の電子機器。
8. 前記副画像データは、字幕を表示するための字幕データを含む請求項２記載の電子機器。
9. 前記副画像データは、アプリケーションプログラムを操作するためのコントロールパネルのデータを含む請求項２記載の電子機器。
10. 前記副画像データは、オンスクリーンディスプレイ信号を含む請求項２記載の電子機器。
11. 映像データと副画像データとを含む映像コンテンツデータを用いて三次元映像を再生する画像処理方法であって、
    前記映像データの複数の画像フレームの内の処理対象の画像フレームに含まれる複数の画素に対応する複数の奥行き値を推定し、
    前記推定された複数の奥行き値を用いて、前記複数の画素に対応する複数の視差を算出し、
    前記映像データと前記算出された複数の視差とを用いて、左眼用画像データと右眼用映像データとを生成し、
    前記推定された複数の奥行き値に基づいて副画像を表示するための奥行き値を決定し、前記決定された奥行き値を用いて前記副画像に対応する視差を決定し、
    前記副画像データと前記決定された視差とを用いて、左眼用副画像データと右眼用副画像データとを生成し、
    前記左眼用映像データと前記左眼用副画像データとを用いて左眼用画像を表示し、前記右眼用映像データと前記右眼用副画像データとを用いて右眼用画像を表示する画像処理方法。
12. 映像データと副画像データとを含む映像コンテンツデータを用いて三次元映像を再生するプログラムであって、
    前記映像データの複数の画像フレームの内の処理対象の画像フレームに含まれる複数の画素に対応する複数の奥行き値を推定する手順と、
    前記推定された複数の奥行き値を用いて、前記複数の画素に対応する複数の視差を算出する手順と、
    前記映像データと前記算出された複数の視差とを用いて、左眼用画像データと右眼用映像データとを生成する手順と、
    前記推定された複数の奥行き値に基づいて副画像を表示するための奥行き値を決定し、前記決定された奥行き値を用いて前記副画像に対応する視差を決定する手順と、
    前記副画像データと前記決定された視差とを用いて、左眼用副画像データと右眼用副画像データとを生成する手順と、
    前記左眼用映像データと前記左眼用副画像データとを用いて左眼用画像を表示し、前記右眼用映像データと前記右眼用副画像データとを用いて右眼用画像を表示するする手順とをコンピュータに実行させるプログラム。

Images