JP2011172293A - 映像処理装置及び映像処理方法並びにプログラム - Google Patents

Abstract

【課題】 左眼用画像と右眼用画像とがインターリーブされた三次元映像データを滑らかにスケーリングできる映像処理装置を実現する。
【解決手段】 三次元モデル生成部３０３は、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを用いて三次元モデルを生成する。画像補間部３０４は、生成された三次元モデルと一つ前のスケーリングされたインターリーブ画像４０４とを用いて、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを補間する。スケーリング部３０５は、補間された左眼用画像４０２Ａと右眼用画像４０２Ｂとを第１の解像度から第２の解像度にスケーリングする。そして、インターリーブ画像生成部３０６は、スケーリングされた左眼用画像４０３Ａと右眼用画像４０３Ｂとを走査線毎に交互に配置したインターリーブ画像４０４を生成する。
【選択図】図３

Description

本発明は、三次元映像を表示するための映像処理装置及び映像処理方法並びにプログラムに関する。

従来から、三次元映像を観賞可能にする様々な映像表示装置が提供されている。このような映像表示装置では、例えば、両眼視差に基づく左眼用映像と右眼用映像とを用いて、ユーザに三次元映像（立体映像）を知覚させる。

特許文献１には、インターレース方式の画像をプログレッシブ方式の画像に変換（ＩＰ変換）する順次走査変換方法が開示されている。特許文献１では二次元の映像コンテンツデータにＩＰ変換を施し、インターレース方式の画像に画素を補間してプログレッシブ方式の画像を生成している。

特開２００４−２１５２６３号公報

ところで、偏光方式により三次元映像を観賞可能にする映像表示装置では、画面に左眼用画像と右眼用画像とを同時に表示する。これら左眼用画像と右眼用画像とには、偏光フィルタによりそれぞれ異なる方向への偏光が施される。ユーザは、偏光眼鏡を用いることで、偏光された左眼用画像を左眼で、偏光された右眼用画像を右眼で見ることができる。これによりユーザは、画面に表示される映像を立体として知覚することができる。

偏光方式による映像表示装置では、画面に左眼用画像と右眼用画像とを走査線毎に交互に配置した画像、すなわち左眼用画像と右眼用画像とをインターリーブした画像を表示する。例えば、画面の奇数番目の走査線に左眼用画像の画素を表示し、偶数番目の走査線に右眼用画像の画素を表示する。したがって、左眼用画像及び右眼用画像の各々では、一つの走査線おきに画像が表示されていない走査線が存在する。このため例えば、三次元映像が表示されるウィンドウのサイズが大きく変更される際に、滑らかに拡大（スケーリング）された三次元映像を生成することができない可能性がある。つまり、左眼用画像と右眼用画像とをインターリーブしたことにより、拡大された三次元映像に含まれる走査線に対応する映像の情報が失われているため、滑らかに拡大された三次元映像を生成することができない可能性がある。

本発明は上述の事情を考慮してなされたものであり、左眼用画像と右眼用画像とがインターリーブされた三次元映像データを滑らかにスケーリングできる映像処理装置及び映像処理方法を提供することを目的とする。

上述の課題を解決するため、本発明の映像処理装置は、左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングする映像処理装置であって、前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出する画像抽出手段と、前記左眼用インターリーブ画像を用いて前記右眼用インターリーブ画像を補間することによって、補間された右眼用画像を生成し、前記右眼用インターリーブ画像を用いて前記左眼用インターリーブ画像を補間することによって、補間された左眼用画像を生成する画像補間手段と、前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングするスケーリング手段とを具備することを特徴とする。

本発明によれば、左眼用画像と右眼用画像とがインターリーブされた三次元映像データを滑らかにスケーリングできる。

本発明の一実施形態に係る映像処理装置の構成を示すブロック図。 同実施形態の映像処理装置のシステム構成を示すブロック図。 同実施形態の映像処理装置によって実行されるコンテンツ再生アプリケーションプログラムの機能構成を示すブロック図。 インターリーブ画像をスケーリングすることによって歪みが生じる例を示す概念図。 図３のコンテンツ再生アプリケーションにより、インターリーブ画像を滑らかにスケーリングする例を示す概念図。 図３のコンテンツ再生アプリケーションに入力されるインターリーブ画像の例を示す概念図。 図６のインターリーブ画像をスケーリングすることによって歪みが生じる例を示す概念図。 図３のコンテンツ再生アプリケーションにより、図６のインターリーブ画像を滑らかにスケーリングする例を示す概念図。 同実施形態の映像処理装置によって実行される映像表示処理の手順の例を示すフローチャート。 図３のコンテンツ再生アプリケーションによって実行されるスケーリング処理の手順の例を示すフローチャート。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る映像処理装置の外観を示す斜視図である。この映像処理装置は、例えばノートブックタイプのパーソナルコンピュータ１０として実現される。図１に示すように、本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成される。

ディスプレイユニット１２には、ＬＣＤ（liquid crystal display）１７及び偏光フィルタ１９が組み込まれている。偏光フィルタ１９は、ＬＣＤ１７の画面を覆うように設けられる。ディスプレイユニット１２は、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ本体１１に取り付けられている。

コンピュータ本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、本コンピュータ１０を電源オン／電源オフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル１５上には、各種操作ボタンが設けられている。

また、コンピュータ本体１１の背面には、例えばＨＤＭＩ（high-definition multimedia interface）規格に対応した外部ディスプレイ接続端子（図示せず）が設けられている。この外部ディスプレイ接続端子は、デジタル映像信号を外部ディスプレイに出力するために用いられる。

図２は、本コンピュータ１０のシステム構成を示す図である。
本コンピュータ１０は、図２に示されるように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、ＧＰＵ１０５、ＶＲＡＭ１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０７、ＬＡＮコントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ１１４等を備える。

ＣＰＵ１０１は、本コンピュータ１０の動作を制御するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、及びコンテンツ再生アプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。コンテンツ再生アプリケーションプログラム２０２は、例えばＨＤＤ１０９等に格納された各種デジタルコンテンツを再生するソフトウェアである。このコンテンツ再生アプリケーションプログラム２０２は、三次元映像コンテンツデータを再生する三次元映像再生機能も有する。この三次元映像再生機能は、例えば、Ｘｐｏｌ（登録商標）方式等の偏光方式や時分割方式等により観賞可能な三次元映像を作成及び表示する機能である。三次元映像は、例えば、両眼視差に基づく左眼用映像と右眼用映像とをユーザに知覚させることで実現される。三次元映像のコンテンツデータは、例えば、ＤＶＤやビデオゲーム等に収録される３Ｄ対応の映像データである。この映像データは、例えば、左眼用映像のデータと右眼用映像のデータとをインターリーブして構成される。コンテンツ再生アプリケーションプログラム２０２は、この映像データを用いて、ＬＣＤ１７に表示される映像の映像信号を生成する。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。

ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。ＬＣＤ１７は、表示信号に基づいて映像を表示する。

偏光フィルタ１９は、ＬＣＤ１７に表示された映像を偏光するフィルタである。偏光フィルタは、ＬＣＤ１７の画面を覆うように設けられ、左眼用映像と右眼用映像とをそれぞれ偏光する。例えば、偏光フィルタ１９は、画面（ＬＣＤ１７）上部から奇数番目の走査線と偶数番目の走査線とをそれぞれ異なる方向に偏光して出力する。すなわち、偏光フィルタ１９は、奇数番目の走査線と偶数番目の走査線の各々に対応して、異なる方向への偏光を施すフィルタを交互に配置して構成される。

また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３及びＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。
ＨＤＭＩ端子２は、前述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。

サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。

サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂ又はＨＤＭＩ制御回路３に出力する。ＬＡＮコントローラ１０８は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。

ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１４は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。

次に、図３を参照して、本コンピュータ１０上で動作するコンテンツ再生アプリケーションプログラム２０２の一機能構成を説明する。コンテンツ再生アプリケーション２０２は、三次元映像コンテンツデータ５０１を再生する機能を有する。また、コンテンツ再生アプリケーション２０２は、ＬＣＤ１７の画面に、三次元映像コンテンツデータ５０１に基づく映像信号を任意の解像度で表示するためのスケーリング機能も有する。コンテンツ再生アプリケーション２０２は、スケーリング判定部３０１、左右眼画像抽出部３０２、三次元モデル生成部３０３、画像補間部３０４、スケーリング部３０５、インターリーブ画像生成部３０６、画像出力部３０７、及び映像信号生成部３０８を備える。

映像信号生成部３０８は、三次元映像コンテンツデータ５０１を用いて、複数のインターリーブ画像を含む映像信号を生成する。このインターリーブ画像は、両眼視差を考慮して作成された左眼用画像と右眼用画像とが走査線毎に交互に配置された画像である。したがって、インターリーブ画像には、例えば、奇数番目の走査線に左眼用画像の画素が表示され、偶数番目の走査線に右眼用画像の画素が表示される。つまり、インターリーブ画像には左眼用画像と右眼用画像とが１行毎に交互に配置される。換言すると、インターリーブ画像では、例えば、左眼用画像の偶数番目の走査線に対応する画素と右眼用画像の奇数番目の走査線に対応する画素とが欠落している。映像信号生成部３０８は、生成した映像信号に含まれる複数のインターリーブ画像をスケーリング判定部３０１に出力する。

スケーリング判定部３０１は、映像信号生成部３０８から出力されるインターリーブ画像をスケーリングする必要があるか否かを判定する。スケーリング判定部３０１は、例えば、インターリーブ画像の解像度と、インターリーブ画像（三次元映像コンテンツデータ５０１）を描画する、ＬＣＤ１７上のウィンドウの解像度とが異なる際に、インターリーブ画像をスケーリングする必要があると判定する。より具体的には、例えば、三次元映像コンテンツデータ５０１を再生して表示するウィンドウのサイズが大きく変更されたとき、スケーリング判定部３０１は、インターリーブ画像をスケーリング（アップスケーリング）する必要があると判定する。

スケーリング判定部３０１は、インターリーブ画像をスケーリングする必要があると判定した場合、すなわち、インターリーブ画像の解像度とウィンドウの解像度とが異なる場合、インターリーブ画像を左右眼画像抽出部３０２に出力する。一方、スケーリング判定部３０１は、インターリーブ画像をスケーリングする必要がないと判定した場合、すなわち、インターリーブ画像の解像度とウィンドウの解像度とが同じ場合、インターリーブ画像を画像出力部３０７に出力する。

左右眼画像抽出部３０２は、スケーリング判定部３０１から出力されるインターリーブ画像から、左眼用画像の走査線に対応する左眼用インターリーブ画像と、右眼用画像の走査線に対応する右眼用インターリーブ画像とを抽出する。左右眼画像抽出部３０２は、抽出した左眼用インターリーブ画像と右眼用インターリーブ画像とを三次元モデル生成部３０３に出力する。

三次元モデル生成部３０３は、左右眼画像抽出部３０２から出力される左眼用インターリーブ画像と右眼用インターリーブ画像とを用いて三次元モデルを生成する。具体的には、三次元モデル生成部３０３は、左眼用インターリーブ画像を用いて、当該画像に含まれる各画素の奥行き（depth）を推定し、第１の三次元モデルを生成する。同様に、三次元モデル生成部３０３は、右眼用インターリーブ画像を用いて、当該画像に含まれる各画素の奥行き（depth）を推定し、第２の三次元モデルを生成する。そして、三次元モデル生成部３０３は、生成した第１の三次元モデルと第２の三次元モデルとを両眼視差等を考慮して統合した三次元モデルを生成する。三次元モデル生成部３０３は、生成した三次元モデルを画像補間部３０４に出力する。

画像補間部３０４は、左眼用インターリーブ画像と右眼用インターリーブ画像とを用いて、左眼用インターリーブ画像及び右眼用インターリーブ画像内のインターリーブによる欠落部分を補間する。画像補間部３０４は、例えば両眼視差を考慮して左眼用インターリーブ画像と右眼用インターリーブ画像とを補間する。つまり、画像補間部３０４は、左眼用インターリーブ画像内の欠落部分を、右眼用インターリーブ画像を用いて推定し、補間する。また、画像補間部３０４は、右眼用インターリーブ画像内の欠落部分を、左眼用インターリーブ画像を用いて推定し、補間する。したがって、画像補間部３０４は、欠落部分が補間された左眼用画像と右眼用画像とを生成する。なお、補間の際に考慮される両眼視差には、眼間距離等に基づいて予め決定された値（パラメータ）を用いることができる。

なお、画像補間部３０４は、三次元モデル生成部３０３から出力される三次元モデルをさらに用いて、左眼用インターリーブ画像及び右眼用インターリーブ画像内のインターリーブによる欠落部分を補間してもよい。また、画像補間部３０４は、一つ前のスケーリングされたインターリーブ画像４０４’をさらに用いて、左眼用インターリーブ画像及び右眼用インターリーブ画像内のインターリーブによる欠落部分を補間してもよい。一つ前のスケーリングされたインターリーブ画像４０４’は、映像信号生成部３０８により生成された映像信号（三次元映像コンテンツデータ５０１）において、現在（処理対象）のインターリーブ画像の一つ前のインターリーブ画像に対応する、スケーリングされたインターリーブ画像である。画像補間部３０４は、左眼用画像と右眼用画像とを走査線毎に交互に配置すること（インターリーブ）によって欠落した画素を、三次元モデルに基づいて補間する。そして、画像補間部３０４は、一つ前のスケーリングされたインターリーブ画像を参照フレームとして用いたブロックマッチングによって、補間した画素の画素値を更新し、補間された左眼用画像と補間された右眼用画像とを生成する。一つ前のスケーリングされたインターリーブ画像を用いて、補間した画素の画素値を更新することによって、処理対象のインターリーブ画像をより滑らかにスケーリングすることができる。画像補間部３０４は、補間された左眼用画像と補間された右眼用画像とをスケーリング部３０５に出力する。

なお、補間に用いる三次元モデルは、画素毎の三次元位置を示す三次元データであってもよい。また、画像補間部３０４は、三次元モデルのみを用いて左眼用インターリーブ画像と右眼用インターリーブ画像とを補間してもよい。

スケーリング部３０５は、画像補間部３０４から出力される、補間された左眼用画像と補間された右眼用画像とを第１の解像度から第２の解像度にスケーリングし、左眼用スケーリング画像と右眼用スケーリング画像とを生成する。すなわち、スケーリング部３０５は、補間された左眼用画像と補間された右眼用画像とを、これら左眼用画像及び右眼用画像が有する第１の解像度よりも高い、第２の解像度を有する左眼用スケーリング画像及び右眼用スケーリング画像に変換する。この第２の解像度は、例えば、三次元映像コンテンツデータ５０１を再生するためのウィンドウのサイズに応じた解像度である。したがって例えば、ウィンドウのサイズが変更される操作によって、この第２の解像度も変更される。スケーリング部３０５は、左眼用スケーリング画像と右眼用スケーリング画像とをインターリーブ画像生成部３０６に出力する。

インターリーブ画像生成部３０６は、スケーリング部３０５によって入力された左眼用スケーリング画像と右眼用スケーリング画像とを走査線毎に交互に配置したインターリーブ画像を生成する。インターリーブ画像生成部３０６は、例えば、インターリーブ画像内の奇数番目の走査線に、左眼用スケーリング画像内の奇数番目の走査線に対応する画素を配置し、インターリーブ画像内の偶数番目の走査線に、右眼用スケーリング画像内の偶数番目の走査線に対応する画素を配置する。これにより、三次元映像コンテンツデータ５０１に含まれるインターリーブ画像を、第１の解像度から第２の解像度に滑らかにスケーリングしたインターリーブ画像が生成される。インターリーブ画像生成部３０６は、生成したインターリーブ画像を画像出力部３０７に出力する。また、インターリーブ画像生成部３０６は、生成したインターリーブ画像を一つ前のスケーリングされたインターリーブ画像４０４’として保存する。

画像出力部３０７は、スケーリング判定部３０１から出力されるインターリーブ画像、又はインターリーブ画像生成部３０６から出力される、スケーリングされたインターリーブ画像をＬＣＤ１７に出力する。

ＬＣＤ１７は、入力されたインターリーブ画像を画面に表示する。
偏光フィルタ１９は、ＬＣＤ１７に表示されたインターリーブ画像を偏光する。偏光フィルタ１９は、例えば、奇数番目の走査線に対応する画像（左眼用画像）を第１の方向に偏光し、偶数番目の走査線に対応する画像（右眼用画像）を第２の方向に偏光する。このため、偏光フィルタ１９は、奇数番目の走査線に対応する位置に左眼用フィルタ１９Ａを備え、偶数番目の走査線に対応する位置に右眼用フィルタ１９Ｂを備える。左眼用フィルタ１９Ａと右眼用フィルタ１９Ｂとは、それぞれ異なる方向に画像を偏光する。すなわち、左眼用フィルタ１９Ａは左眼用画像を第１の方向に偏光し、右眼用フィルタ１９Ｂは右眼用画像を第２の方向に偏光する。

偏光眼鏡３１は、偏光された画像をフィルタリングして、必要な画像を抽出する。偏光眼鏡３１は、左眼用フィルタ３１Ａと右眼用フィルタ３１Ｂを備える。左眼用フィルタ３１Ａは、偏光された左眼用画像のみを透過する。一方、右眼用フィルタ３１Ａは、偏光された右眼用画像のみを透過する。ユーザは、偏光眼鏡３１を装着して偏光された画像を見ることで、左眼用画像を左眼で、右眼用画像を右眼で捉えることができる。つまり、ユーザは、偏光眼鏡３１を装着して偏光された画像を見ることで、三次元映像を観賞することができる。

以上の構成により、コンテンツ再生アプリケーション２０２は、入力される三次元映像コンテンツデータ５０１に基づく映像信号の解像度（第１の解像度）と、該映像信号を表示するウィンドウのサイズ（第２の解像度）とが異なる際に、ウィンドウのサイズに応じて、該映像信号を滑らかにスケーリングすることができる。三次元映像コンテンツデータ５０１に基づく映像信号は、左眼用画像と右眼用画像とが走査線毎に交互に配置されたインターリーブ画像を含む。コンテンツ再生アプリケーション２０２は、インターリーブ画像内に配置された左眼用画像及び右眼用画像の各々で、インターリーブによって欠損している画像の部分を補間し、補間した画像を第１の解像度から第２の解像度にスケーリングすることによって、該インターリーブ画像を滑らかにスケーリングすることができる。

なお、画像出力部３０７は、スケーリング部３０５から出力される、左眼用スケーリング画像と右眼用スケーリング画像とをＬＣＤ１７に出力してもよい。左眼用スケーリング画像及び右眼用スケーリング画像は、上述のように、インターリーブ画像内に配置された左眼用インターリーブ画像及び右眼用インターリーブ画像の各々で、インターリーブによって欠損している画素を補間し、補間した画像を第１の解像度から第２の解像度にスケーリングした画像である。画像出力部３０７は、ＬＣＤ１７に、左眼用スケーリング画像と右眼用スケーリング画像とを交互に（高速に）出力する。ユーザは、例えば、液晶シャッターメガネ（図示せず）を用いることで、左眼用スケーリング画像を左眼で、右眼用スケーリング画像を右眼で見ることができる。より具体的には、ユーザは、ＬＣＤ１７に左眼用スケーリング画像が表示されるときには左眼にのみ画像を透過し、ＬＣＤ１７に右眼用スケーリング画像が表示されるときには右眼にのみ画像を透過する機能を有する液晶シャッターメガネを用いることで、左眼用スケーリング画像を左眼で、右眼用スケーリング画像を右眼で見ることができる。すなわち、コンテンツ再生アプリケーション２０２が、ＬＣＤ１７に左眼用スケーリング画像と右眼用スケーリング画像とを交互に（高速に）表示し、ユーザの左眼の前のシャッターと右眼の前のシャッターとが、画像の表示と同期して開閉されることにより、ユーザは、画面に表示される映像を立体として知覚することができる。

図４は、インターリーブ画像４０１をスケーリングすることによって歪みが生じる例を示す。図４では、インターリーブ画像４０１内に左眼用画像と右眼用画像とが走査線毎に交互に配置される。インターリーブ画像４０１では、例えば、奇数番目の走査線に左眼用画像が配置され、偶数番目の走査線に右眼用画像が配置される。したがって、インターリーブ画像４０１は、インターリーブされた左眼用画像（左眼用インターリーブ画像）４０１Ａとインターリーブされた右眼用画像（右眼用インターリーブ画像）４０１Ｂとを含む。左眼用インターリーブ画像４０１Ａでは、例えば、画像が描画される走査線が奇数番目に配置され、画像が描画されない走査線（図４中、斜線部分）が偶数番目に配置される。換言すると、左眼用インターリーブ画像４０１Ａでは、偶数番目の走査線に対応する画像が欠落する。また、右眼用インターリーブ画像４０１Ｂでは、例えば、画像が描画されない走査線が奇数番目に配置され、画像が描画される走査線が偶数番目に配置される。換言すると、右眼用インターリーブ画像４０１Ｂでは、奇数番目の走査線に対応する画像が欠落する。

左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとがスケーリングされた場合、それぞれ、スケーリングされた左眼用インターリーブ画像４０５Ａとスケーリングされた右眼用インターリーブ画像４０５Ｂとが生成される。例えば、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂの各々の走査線数が２倍に増加した左眼用インターリーブ画像４０５Ａと右眼用インターリーブ画像４０５Ｂとが生成される。

次いで、これらスケーリングされた左眼用インターリーブ画像４０５Ａ及び右眼用インターリーブ画像４０５Ｂに対して、再度インターリーブを行った場合、画像が描画される走査線と画像が描画されない走査線とが交互に配置された左眼用インターリーブ画像４０６Ａと右眼用インターリーブ画像４０６Ｂとが生成される。例えば、スケーリングされた左眼用インターリーブ画像４０５Ａにおいて、隣接する、偶数番目に配置され且つ画像が描画された走査線（例えば、上から２番目の走査線）と、奇数番目に配置され且つ画像が描画されない走査線（例えば、上から３番目の走査線）とが置き換えられ、左眼用インターリーブ画像４０６Ａが生成される。また例えば、スケーリングされた右眼用インターリーブ画像４０５Ｂにおいて、隣接する、偶数番目に配置され且つ画像が描画されない走査線（例えば、上から２番目の走査線）と、奇数番目に配置され且つ画像が描画される走査線（例えば、上から３番目の走査線）とが置き換えられ、右眼用インターリーブ画像４０６Ｂが生成される。

インターリーブ画像４０１に対して、上述のようなスケーリング及び再インターリーブを施す場合、本来の位置とは異なる位置に走査線が配置されるため、インターリーブ画像４０６Ａ，４０６Ｂのように画像（画像内に描画されたオブジェクト等）に歪みが生じる可能性がある。そのため本実施形態では、図５に示す例のように、インターリーブ画像４０１を滑らかにスケーリングする。

図５でも、図４と同様に、インターリーブ画像４０１内に左眼用画像４０１Ａと右眼用画像４０１Ｂとが走査線毎に交互に配置される。インターリーブ画像４０１では、例えば、奇数番目の走査線に左眼用画像４０１Ａが配置され、偶数番目の走査線に右眼用画像４０１Ｂが配置される。したがって、インターリーブ画像４０１は、インターリーブされた左眼用画像（左眼用インターリーブ画像）４０１Ａとインターリーブされた右眼用画像（右眼用インターリーブ画像）４０１Ｂとを含む。左眼用インターリーブ画像４０１Ａでは、例えば、画像が描画される走査線が奇数番目に配置され、画像が描画されない走査線（図４中、斜線部分）が偶数番目に配置される。換言すると、左眼用インターリーブ画像４０１Ａでは、偶数番目の走査線に対応する画像が欠落する。また、右眼用インターリーブ画像４０１Ｂでは、例えば、画像が描画されない走査線が奇数番目に配置され、画像が描画される走査線が偶数番目に配置される。換言すると、右眼用インターリーブ画像４０１Ｂでは、奇数番目の走査線に対応する画像が欠落する。

コンテンツ再生アプリケーション２０２は、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを用いて、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂ内のインターリーブによる欠落部分を補間する。コンテンツ再生アプリケーション２０２は、例えば両眼視差を考慮して左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを補間する。つまり、コンテンツ再生アプリケーション２０２は、左眼用インターリーブ画像４０１Ａ内の欠落部分、すなわち、偶数番目の走査線に対応する画素を、視差を考慮して右眼用インターリーブ画像４０１Ｂで補間する。また、コンテンツ再生アプリケーション２０２は、右眼用インターリーブ画像４０１Ｂ内の欠落部分、すなわち、奇数番目の走査線に対応する画素を、視差を考慮して左眼用インターリーブ画像４０１Ａで補間する。これにより、コンテンツ再生アプリケーション２０２は、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂ内の欠落部分が補間された左眼用画像４０２Ａと右眼用画像４０２Ｂとを生成する。

なお、コンテンツ再生アプリケーション２０２は、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとから推定した三次元モデルを用いて、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂの欠落部分を補間してもよい。また、コンテンツ再生アプリケーション２０２は、一つ前のスケーリングされたインターリーブ画像４０４’をさらに用いて、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂ内の欠落部分を補間してもよい。

次いで、コンテンツ再生アプリケーション２０２は、補間された左眼用画像４０２Ａ及び補間された右眼用画像４０２Ｂをそれぞれスケーリングし、再度インターリーブして、スケーリングされた左眼用インターリーブ画像４０４Ａ及びスケーリングされた右眼用インターリーブ画像４０４Ｂを生成する。コンテンツ再生アプリケーション２０２は、例えば、左眼用インターリーブ画像４０４Ａの奇数番目の走査線に、補間された左眼用画像４０２Ａの奇数番目の走査線に対応する画素を配置し、左眼用インターリーブ画像４０４Ａの偶数番目の走査線に、画像の描画されない画素を配置する。また、コンテンツ再生アプリケーション２０２は、例えば、右眼用インターリーブ画像４０４Ｂの偶数番目の走査線に、補間された右眼用画像４０２Ｂの偶数番目の走査線に対応する画素を配置し、右眼用インターリーブ画像４０４Ｂの奇数番目の走査線に、画像の描画されない画素を配置する。上述のように、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを補間した後に、スケーリング及び再インターリーブを施すことにより、インターリーブ画像４０１を滑らかにスケーリングすることができる。なお、ＬＣＤ１７には、左眼用インターリーブ画像４０４Ａと右眼用インターリーブ画像４０４Ｂとを重ね合わせたインターリーブ画像４０４が表示される。すなわち、コンテンツ再生アプリケーション２０２は、例えば、左眼用インターリーブ画像４０４Ａの奇数番目の走査線と右眼用インターリーブ画像４０４Ｂの偶数番目の走査線とが交互に配置されたインターリーブ画像４０４をＬＣＤ１７に表示する。

なお、コンテンツ再生アプリケーション２０２は、時分割方式に対応した画像をＬＣＤ１７に表示することもできる。その場合、コンテンツ再生アプリケーション２０２は、補間された左眼用画像４０２Ａと右眼用画像４０２Ｂとを第１の解像度から第２の解像度にスケーリングする。そして、コンテンツ再生アプリケーション２０２は、スケーリングされた左眼用画像４０２Ａと右眼用画像４０２Ｂとを、交互にＬＣＤ１７に表示する。ユーザは、例えば、液晶シャッターメガネを用いることで、左眼用画像を左眼で、右眼用画像を右眼で見ることができる。より具体的には、ユーザは、ＬＣＤ１７に左眼用画像が表示されるときには左眼にのみ画像を透過し、ＬＣＤ１７に右眼用画像が表示されるときには右眼にのみ画像を透過する機能を有する液晶シャッターメガネを用いることで、左眼用画像を左眼で、右眼用画像を右眼で見ることができる。すなわち、コンテンツ再生アプリケーション２０２が、ＬＣＤ１７に、左眼用画像と右眼用画像とを交互に（高速に）表示し、ユーザの左眼の前のシャッターと右眼の前のシャッターとが、画像の表示と同期して開閉されることにより、ユーザは、画面に表示される映像を立体として知覚することができる。

次いで、図６乃至図８を参照して、インターリーブ画像４０１をスケーリングする詳細な例について説明する。
図６は、コンテンツ再生アプリケーション２０２に入力されるインターリーブ画像４０１が作成される例を示す。コンテンツ再生アプリケーション２０２には、両眼視差を考慮して作成された左眼用画像４０７Ａと右眼用画像４０７Ｂとを、走査線毎に交互に配置して作成されたインターリーブ画像４０１が入力される。図６に示すインターリーブ画像４０１では、奇数番目の走査線に、左眼用画像４０７Ａ内の対応する走査線が配置され、偶数番目の走査線に、右眼用画像４０７Ｂ内の対応する走査線が配置される。したがって、インターリーブ画像４０１では、例えば、左眼用画像４０７Ａの偶数番目の走査線に対応する画素、及び右眼用画像４０７Ｂの奇数番目の走査線に対応する画素は欠落する。上述のように作成されたインターリーブ画像４０１を偏光フィルタ１９で覆われたＬＣＤ１７に表示し、偏光眼鏡３１を用いて観賞することによって、ユーザは三次元映像を知覚することができる。

図７は、図６に示したインターリーブ画像４０１をスケーリングすることによって歪みが生じる例を示す。インターリーブ画像４０１は、上述のように、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを含む。なお、図７に斜線で示される領域は、インターリーブによって画像が欠落している領域を示す。図７の左眼用インターリーブ画像４０１Ａでは、画像が表示される奇数番目の走査線と、画像が表示されない（画像が欠落した）偶数番目の走査線とが交互に配置されている。また、図７の右眼用インターリーブ画像４０１Ｂでは、画像が表示されない（画像が欠落した）奇数番目の走査線と、画像が表示される偶数番目の走査線とが交互に配置されている。

これら左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとにスケーリングを施した場合、スケーリングされた左眼用インターリーブ画像４０５Ａとスケーリングされた右眼用インターリーブ画像４０５Ｂとが生成される。例えば、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂの各々の水平方向及び垂直方向の画素数が２倍に増加した左眼用インターリーブ画像４０５Ａと右眼用インターリーブ画像４０５Ｂとが生成される。換言すると、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂの各々の走査線数が２倍に増加した左眼用インターリーブ画像４０５Ａと右眼用インターリーブ画像４０５Ｂとが生成される。

次いで、これらスケーリングされた左眼用インターリーブ画像４０５Ａ及び右眼用インターリーブ画像４０５Ｂに対して、再度インターリーブを行った場合、画像が描画される走査線と画像が描画されない走査線とが交互に配置された左眼用インターリーブ画像４０６Ａと右眼用インターリーブ画像４０６Ｂとが生成される。例えば、スケーリングされた左眼用インターリーブ画像４０５Ａにおいて、隣接する、偶数番目に配置され且つ画像が描画された走査線（例えば、上から２番目の走査線）と、奇数番目に配置され且つ画像が描画されない走査線（例えば、上から３番目の走査線）とが置き換えられ、左眼用インターリーブ画像４０６Ａが生成される。また例えば、スケーリングされた右眼用インターリーブ画像４０５Ｂにおいて、隣接する、偶数番目に配置され且つ画像が描画されない走査線（例えば、上から２番目の走査線）と、奇数番目に配置され且つ画像が描画される走査線（例えば、上から３番目の走査線）とが置き換えられ、右眼用インターリーブ画像４０６Ｂが生成される。

インターリーブ画像４０１に対して、上述のようなスケーリング及び再インターリーブを施す場合、本来の位置とは異なる位置に走査線が配置されるため、インターリーブ画像４０６Ａ，４０６Ｂのように画像（画像内に描画されたオブジェクト等）に歪みが生じる可能性がある。

図８は、コンテンツ再生アプリケーション２０２によって、図６に示したインターリーブ画像４０１を滑らかにスケーリングする例を示す。図７と同様に、インターリーブ画像４０１は、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを含む。なお、図８に斜線で示される領域は、インターリーブによって画像が欠落している領域を示す。図８の左眼用インターリーブ画像４０１Ａでは、画像が表示される奇数番目の走査線と、画像が表示されない（画像が欠落した）偶数番目の走査線とが交互に配置されている。また、図８の右眼用インターリーブ画像４０１Ｂでは、画像が表示されない（画像が欠落した）奇数番目の走査線と、画像が表示される偶数番目の走査線とが交互に配置されている。

左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを用いて、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂ内のインターリーブによる欠落部分（図８中、斜線部分）を補間する。コンテンツ再生アプリケーション２０２は、例えば両眼視差を考慮して左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを補間する。つまり、コンテンツ再生アプリケーション２０２は、左眼用インターリーブ画像４０１Ａ内の欠落部分、すなわち、偶数番目の走査線に対応する画素を、視差を考慮して右眼用インターリーブ画像４０１Ｂで補間する。また、コンテンツ再生アプリケーション２０２は、右眼用インターリーブ画像４０１Ｂ内の欠落部分、すなわち、奇数番目の走査線に対応する画素を、視差を考慮して左眼用インターリーブ画像４０１Ａで補間する。これにより、コンテンツ再生アプリケーション２０２は、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ａ内の欠落部分が補間された左眼用画像４０２Ａと右眼用画像４０２Ｂとを生成する。

なお、コンテンツ再生アプリケーション２０２は、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとから推定した三次元モデルを用いて、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂの欠落部分を補間してもよい。また、コンテンツ再生アプリケーション２０２は、一つ前のスケーリングされたインターリーブ画像４０４’をさらに用いて、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂ内の欠落部分を補間してもよい。

次いで、コンテンツ再生アプリケーション２０２は、補間された左眼用画像４０２Ａ及び補間された右眼用画像４０２Ｂをそれぞれスケーリングし、スケーリングされた左眼用画像４０３Ａ及びスケーリングされた右眼用画像４０３Ｂを生成する。コンテンツ再生アプリケーション２０２は、例えば、補間された左眼用画像４０２Ａ及び補間された右眼用画像４０２Ｂの水平方向及び垂直方向の画素数が、それぞれ２倍に増加した左眼用画像４０３Ａ及び右眼用画像４０３Ｂを生成する。換言すると、コンテンツ再生アプリケーション２０２は、補間された左眼用画像４０２Ａ及び補間された右眼用画像４０２Ｂの走査線数が２倍に増加した左眼用画像４０３Ａ及び右眼用画像４０３Ｂを生成する。

コンテンツ再生アプリケーション２０２は、スケーリングされた左眼用画像４０３Ａとスケーリングされた右眼用画像４０３Ｂとを再度インターリーブして、スケーリングされた左眼用インターリーブ画像４０４Ａ及びスケーリングされた右眼用インターリーブ画像４０４Ｂを生成する。コンテンツ再生アプリケーション２０２は、例えば、左眼用インターリーブ画像４０４Ａの奇数番目の走査線に、補間された左眼用画像４０２Ａの奇数番目の走査線に対応する画素を配置し、左眼用インターリーブ画像４０４Ａの偶数番目の走査線に、画像の描画されない画素を配置する。また、コンテンツ再生アプリケーション２０２は、例えば、右眼用インターリーブ画像４０４Ｂの偶数番目の走査線に、補間された右眼用画像４０２Ｂの偶数番目の走査線に対応する画素を配置し、右眼用インターリーブ画像４０４Ｂの奇数番目の走査線に、画像の描画されない画素を配置する。上述のように、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを補間した後に、スケーリング及び再インターリーブを施すことにより、インターリーブ画像４０１を滑らかにスケーリングすることができる。なお、ＬＣＤ１７には、左眼用インターリーブ画像４０４Ａと右眼用インターリーブ画像４０４Ｂとを重ね合わせたインターリーブ画像４０４が表示される。すなわち、コンテンツ再生アプリケーション２０２は、例えば、左眼用インターリーブ画像４０４Ａの奇数番目の走査線と右眼用インターリーブ画像４０４Ｂの偶数番目の走査線とが交互に配置されたインターリーブ画像４０４をＬＣＤ１７に表示する。

なお、上述のように、コンテンツ再生アプリケーション２０２は、時分割方式に対応した画像をＬＣＤ１７に表示することもできる。その場合、コンテンツ再生アプリケーション２０２は、補間してスケーリングされた左眼用画像４０３Ａ及び右眼用画像４０３Ｂを、交互にＬＣＤ１７に表示する。ユーザは、例えば、液晶シャッターメガネを用いることで、左眼用画像４０３Ａを左眼で、右眼用画像４０３Ｂを右眼で見ることができる。したがって、コンテンツ再生アプリケーション２０２が、ＬＣＤ１７に、左眼用画像４０３Ａと右眼用画像４０３Ｂとを交互に（高速に）表示し、ユーザの左眼の前のシャッターと右眼の前のシャッターとが、画像の表示と同期して開閉されることにより、ユーザは、画面に表示される映像を立体として知覚することができる。

次いで、図９のフローチャートを参照して、映像処理装置１０によって実行される映像表示処理の手順の例を説明する。

まず、コンテンツ再生アプリケーション２０２は、再生対象の三次元映像コンテンツデータ５０１を選択する（ステップＳ１０１）。再生対象の映像コンテンツデータ５０１は、例えば、ＧＵＩ等を用いてユーザによって指定される。そして、コンテンツ再生アプリケーション２０２は、再生対象の映像コンテンツデータ５０１を再生し、ＬＣＤ１７に表示する映像の映像信号を生成する（ステップＳ１０２）。

次いで、コンテンツ再生アプリケーション２０２は、生成した映像信号に対してスケーリング処理を施す必要があるか否かを判定する（ステップＳ１０３）。コンテンツ再生アプリケーション２０２は、例えば、生成した映像信号の解像度と、映像信号（三次元映像コンテンツデータ５０１）を表示するウィンドウのサイズ（解像度）とが異なる際に、生成した映像信号に対してスケーリング処理を施す必要があると判定する。

生成した映像信号に対してスケーリング処理を施す必要がある場合（ステップＳ１０３のＹＥＳ）、コンテンツ再生アプリケーション２０２は、映像信号に対してスケーリング処理を施す（ステップＳ１０４）。スケーリング処理の手順の詳細については、図１０を参照して後述する。

映像信号に対してスケーリング処理が施された後、又は生成した映像信号に対してスケーリング処理を施す必要がない場合（ステップＳ１０３のＮＯ）、コンテンツ再生アプリケーション２０２は、生成した映像信号をＬＣＤ１７に出力する（ステップＳ１０５）。

次いで、ＬＣＤ１７は、入力された映像信号に基づいて、映像を表示する（ステップＳ１０６）。再生対象の映像コンテンツデータが三次元映像を表示するための映像コンテンツデータである場合には、例えば、奇数番目の走査線に左眼用映像の画素が表示され、偶数番目の走査線に右眼用映像の画素が表示される。

偏光フィルタ１９は、ＬＣＤ１７に表示された映像を偏光する（ステップＳ１０７）。偏光フィルタ１９は、例えば、奇数番目の走査線に対応する映像を第１の方向に偏光し、偶数番目の走査線に対応する映像を第２の方向に偏光する。換言すると、偏光フィルタ１９は、左眼用フィルタ１９Ａにより左眼用映像を偏光し、右眼用フィルタ１９Ｂにより右眼用映像を偏光する。

偏光眼鏡３１は、偏光された左眼用映像を左眼用フィルタ３１Ａにより透過し、偏光された右眼用映像を右眼用フィルタ３１Ａにより透過する（ステップＳ１０８）。ユーザは、偏光眼鏡３１を用いて偏光された映像を観賞することで、左眼用映像を左眼で、右眼用映像を右眼で見ることができる。したがって、再生対象の映像コンテンツデータが三次元映像を表示するための映像コンテンツデータである場合、ユーザは偏光眼鏡３１を装着して偏光された映像を見ることで、三次元映像を観賞することができる。また、ユーザは、ウィンドウのサイズに応じてスケーリングされた三次元映像を観賞することができる。

次いで、図１０を参照して、コンテンツ再生アプリケーション２０２によるスケーリング処理の手順の例を説明する。コンテンツ再生アプリケーション２０２は、三次元映像コンテンツデータ５０１に基づいて生成された映像信号に含まれるインターリーブ画像（フレーム）に対して順次、スケーリング処理を施す。

まず、コンテンツ再生アプリケーション２０２は、インターリーブ画像４０１から左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを抽出する（ステップＳ２０１）。コンテンツ再生アプリケーション２０２は、例えば、インターリーブ画像４０１内の奇数番目の走査線に対応する左眼用インターリーブ画像４０１Ａと、インターリーブ画像４０１内の偶数番目の走査線に対応する右眼用インターリーブ画像４０１Ｂとを抽出する。

次いで、コンテンツ再生アプリケーション２０２は、左眼用インターリーブ画像４０１Ａを用いて、第１の三次元モデルを生成する（ステップＳ２０２）。コンテンツ再生アプリケーション２０２は、例えば、画像内の各画素の奥行きを推定する技術を用いて、左眼用インターリーブ画像４０１Ａに対応する第１の三次元モデルを生成する。同様に、コンテンツ再生アプリケーション２０２は、右眼用インターリーブ画像４０１Ｂを用いて、第２の三次元モデルを生成する（ステップＳ２０３）。コンテンツ再生アプリケーション２０２は、例えば、画像内の各画素の奥行きを推定する技術を用いて、右眼用インターリーブ画像４０１Ｂに対応する第２の三次元モデルを生成する。そして、コンテンツ再生アプリケーション２０２は、第１の三次元モデルと第２の三次元モデルとを両眼視差を考慮して統合した三次元モデルを生成する（ステップＳ２０４）。

次いで、コンテンツ再生アプリケーション２０２は、処理対象のインターリーブ画像４０１が、映像信号（三次元映像コンテンツデータ５０１）の先頭フレームであるか否かを判定する。処理対象のインターリーブ画像４０１が映像信号の先頭フレームでない場合（ステップＳ２０５のＮＯ）、コンテンツ再生アプリケーション２０２は、ステップＳ２０４で作成した三次元モデルと、処理対象のインターリーブ画像４０１の一つ前のスケーリングされたインターリーブ画像４０４’とを用いて、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂ内のインターリーブによる欠落部分を補間する（ステップＳ２０６）。コンテンツ再生アプリケーション２０２は、ステップＳ２０４で作成した三次元モデルと、処理対象のインターリーブ画像４０１の一つ前のスケーリングされたインターリーブ画像４０４’とを用いて、補間された左眼用画像４０２Ａと補間された右眼用画像４０２Ｂとを生成する。一方、処理対象のインターリーブ画像４０１が映像信号の先頭フレームである場合（ステップＳ２０５のＹＥＳ）、コンテンツ再生アプリケーション２０２は、ステップＳ２０４で作成した三次元モデルを用いて、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを補間する（ステップＳ２０７）。コンテンツ再生アプリケーション２０２は、ステップＳ２０４で作成した三次元モデルを用いて、補間された左眼用画像４０２Ａと補間された右眼用画像４０２Ｂとを生成する。

コンテンツ再生アプリケーション２０２は、ステップＳ２０６又はステップＳ２０７で生成された、補間された左眼用画像４０２Ａと補間された右眼用画像４０２Ｂとを第１の解像度から第２の解像度にスケーリングする（ステップＳ２０８）。コンテンツ再生アプリケーション２０２は、補間された左眼用画像４０２Ａと補間された右眼用画像４０２Ｂとを第１の解像度から第２の解像度にスケーリングした、左眼用スケーリング画像４０３Ａと右眼用スケーリング画像４０３Ｂとを生成する。そして、コンテンツ再生アプリケーション２０２は、左眼用スケーリング画像４０３Ａと右眼用スケーリング画像４０３Ｂとを用いて、インターリーブ画像４０４Ａ，４０４Ｂを生成する（ステップＳ２０９）。

次いで、コンテンツ再生アプリケーション２０２は、処理対象のインターリーブ画像４０１に後続するフレームがあるか否かを判定する（ステップＳ２１０）。処理対象のインターリーブ画像４０１に後続するフレームがある場合（ステップＳ２１０のＹＥＳ）、コンテンツ再生アプリケーション２０２は、次のフレームを処理対象のインターリーブ画像４０１に設定する（ステップＳ２１１）。そして、コンテンツ再生アプリケーション２０２は、新たに設定された処理対象のインターリーブ画像４０１に対して、ステップＳ２０１以降の処理を施す。処理対象のインターリーブ画像４０１に後続するフレームがない場合（ステップＳ２１０のＮＯ）、コンテンツ再生アプリケーション２０２はスケーリング処理を終了する。

以上の処理により、コンテンツ再生アプリケーション２０２は、インターリーブ画像４０１を、インターリーブ画像４０１の解像度よりも高い、第１の解像度から第２の解像度に滑らかにスケーリングしたインターリーブ画像４０４に変換することができる。したがって、コンテンツ再生アプリケーション２０２で三次元映像コンテンツデータ５０１を再生することによって、ユーザは、任意の解像度で滑らかな三次元映像を観賞することができる。

以上説明したように、本実施形態によれば、左眼用画像と右眼用画像とがインターリーブされた三次元映像データを滑らかにスケーリングできる。コンテンツ再生アプリケーション２０２は、インターリーブ画像４０１から左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを抽出し、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂの各々において、インターリーブによって欠落した領域を補間する。そして、コンテンツ再生アプリケーション２０２は、補間された左眼用画像４０２Ａと右眼用画像４０２Ｂとを第１の解像度から第２の解像度にスケーリングし、再度インターリーブを施すことによって、滑らかにスケーリングされたインターリーブ画像４０４を生成することができる。ユーザは、ＬＣＤ１７に表示されたインターリーブ４０４を、偏光眼鏡１９を用いて見ることで立体映像を知覚することができる。

なお、コンテンツ再生アプリケーション２０２は、補間して、第１の解像度から第２の解像度にスケーリングされた左眼用画像４０３Ａと右眼用画像４０３Ｂとを交互に、ＬＣＤ１７に表示してもよい。その場合、ユーザは、ＬＣＤ１７における画像の表示タイミングに同期した液晶シャッターメガネを用いることで、立体映像を知覚することができる。

なお、本実施形態のスケーリング処理の手順は全てソフトウェアによって実行することができる。このため、スケーリング処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
以下に、原出願の特許査定時の特許請求の範囲に記載された発明を付記する。
［１］左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングする映像処理装置であって、
前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出する画像抽出手段と、
前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを用いて、前記左眼用画像と前記右眼用画像とを交互に配置することによって欠落した画素を補間することによって、補間された左眼用画像と補間された右眼用画像とを生成する画像補間手段と、
前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングすることによって、左眼用スケーリング画像と右眼用スケーリング画像とを生成するスケーリング手段と、
前記左眼用スケーリング画像と前記右眼用スケーリング画像とを交互に配置することによって、スケーリングされたインターリーブ画像を生成するインターリーブ画像生成手段とを具備することを特徴とする映像処理装置。
［２］前記画像補間手段は、前記三次元映像データにおいて、処理対象のインターリーブ画像の一つ前のインターリーブ画像に対応する、一つ前のスケーリングされたインターリーブ画像を用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする［１］記載の映像処理装置。
［３］前記画像補間手段は、前記左眼用インターリーブ画像を用いて第１の三次元モデルを生成し、前記右眼用インターリーブ画像を用いて第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを統合した三次元モデルを生成し、前記三次元モデルを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする［１］記載の映像処理装置。
［４］前記画像補間手段は、前記左眼用インターリーブ画像を用いて第１の三次元モデルを生成し、前記右眼用インターリーブ画像を用いて第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを統合した三次元モデルを生成し、前記三次元モデルと前記一つ前のスケーリングされたインターリーブ画像とを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする［２］記載の映像処理装置。
［５］左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングする映像処理方法であって、
前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出し、
前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを用いて、前記左眼用画像と前記右眼用画像とを交互に配置することによって欠落した画素を補間することによって、補間された左眼用画像と補間された右眼用画像とを生成し、
前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングすることによって、左眼用スケーリング画像と右眼用スケーリング画像とを生成し、
前記左眼用スケーリング画像と前記右眼用スケーリング画像とを交互に配置することによって、スケーリングされたインターリーブ画像を生成することを特徴とする映像処理方法。
［６］前記補間された左眼用画像と前記補間された右眼用画像とを生成することは、前記三次元映像データにおいて、処理対象のインターリーブ画像の一つ前のインターリーブ画像に対応する、一つ前のスケーリングされたインターリーブ画像を用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする［５］記載の映像処理方法。
［７］前記補間された左眼用画像と前記補間された右眼用画像とを生成することは、前記左眼用インターリーブ画像を用いて第１の三次元モデルを生成し、前記右眼用インターリーブ画像を用いて第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを統合した三次元モデルを生成し、前記三次元モデルを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする［５］記載の映像処理方法。
［８］前記補間された左眼用画像と前記補間された右眼用画像とを生成することは、前記左眼用インターリーブ画像を用いて第１の三次元モデルを生成し、前記右眼用インターリーブ画像を用いて第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを統合した三次元モデルを生成し、前記三次元モデルと前記一つ前のスケーリングされたインターリーブ画像とを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする［６］記載の映像処理方法。
［９］左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングするプログラムであって、
前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出する手順と、
前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを用いて、前記左眼用画像と前記右眼用画像とを交互に配置することによって欠落した画素を補間することによって、補間された左眼用画像と補間された右眼用画像とを生成する手順と、
前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングすることによって、左眼用スケーリング画像と右眼用スケーリング画像とを生成する手順と、
前記左眼用スケーリング画像と前記右眼用スケーリング画像とを交互に配置することによって、スケーリングされたインターリーブ画像を生成する手順とをコンピュータに実行させることを特徴とするプログラム。

１７…ＬＣＤ、１９…偏光フィルタ、１９Ａ…左眼用フィルタ、１９Ｂ…右眼用フィルタ、３１…偏光眼鏡、３１Ａ…左眼用フィルタ、３１Ｂ…右眼用フィルタ、２０２…コンテンツ再生アプリケーション、３０１…スケーリング判定部、３０２…左右眼画像抽出部、３０３…三次元モデル生成部、３０４…画像補間部、３０５…スケーリング部、３０６…インターリーブ画像生成部、３０７…画像出力部、３０８…映像信号生成部、５０１…三次元映像コンテンツデータ、４０４’…一つ前のスケーリングされたインターリーブ画像。

Claims (10)

1. 左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングする映像処理装置であって、
   前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出する画像抽出手段と、
   前記左眼用インターリーブ画像を用いて前記右眼用インターリーブ画像を補間することによって、補間された右眼用画像を生成し、前記右眼用インターリーブ画像を用いて前記左眼用インターリーブ画像を補間することによって、補間された左眼用画像を生成する画像補間手段と、
   前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングするスケーリング手段とを具備することを特徴とする映像処理装置。
2. 前記画像補間手段は、前記三次元映像データにおいて、処理対象のインターリーブ画像の一つ前のインターリーブ画像に対応する、一つ前のスケーリングされたインターリーブ画像を用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする請求項１記載の映像処理装置。
3. 前記画像補間手段は、前記左眼用インターリーブ画像を用いて第１の三次元モデルを生成し、前記右眼用インターリーブ画像を用いて第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを統合した三次元モデルを生成し、前記三次元モデルを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする請求項１記載の映像処理装置。
4. 前記画像補間手段は、前記左眼用インターリーブ画像を用いて第１の三次元モデルを生成し、前記右眼用インターリーブ画像を用いて第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを統合した三次元モデルを生成し、前記三次元モデルと、前記三次元映像データにおいて、処理対象のインターリーブ画像の一つ前のインターリーブ画像に対応する、一つ前のスケーリングされたインターリーブ画像とを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする請求項１記載の映像処理装置。
5. 左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングする映像処理装置であって、
   前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出する画像抽出手段と、
   前記左眼用インターリーブ画像を用いて前記右眼用インターリーブ画像を補間することによって、補間された右眼用画像を生成し、前記右眼用インターリーブ画像を用いて前記左眼用インターリーブ画像を補間することによって、補間された左眼用画像を生成する画像補間手段と、
   前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングすることによって、左眼用スケーリング画像と右眼用スケーリング画像とを生成するスケーリング手段とを具備し、
   前記画像補間手段は、前記三次元映像データにおいて、処理対象のインターリーブ画像の一つ前のインターリーブ画像に対応する、一つ前のスケーリングされたインターリーブ画像を用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする映像処理装置。
6. 左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングする映像処理装置であって、
   前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出する画像抽出手段と、
   前記左眼用インターリーブ画像を用いて前記右眼用インターリーブ画像を補間することによって、補間された右眼用画像を生成し、前記右眼用インターリーブ画像を用いて前記左眼用インターリーブ画像を補間することによって、補間された左眼用画像を生成する画像補間手段と、
   前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングすることによって、左眼用スケーリング画像と右眼用スケーリング画像とを生成するスケーリング手段とを具備し、
   前記画像補間手段は、前記左眼用インターリーブ画像を用いて第１の三次元モデルを生成し、前記右眼用インターリーブ画像を用いて第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを統合した三次元モデルを生成し、前記三次元モデルを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする映像処理装置。
7. 左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングする映像処理装置であって、
   前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出する画像抽出手段と、
   前記左眼用インターリーブ画像を用いて前記右眼用インターリーブ画像を補間することによって、補間された右眼用画像を生成し、前記右眼用インターリーブ画像を用いて前記左眼用インターリーブ画像を補間することによって、補間された左眼用画像を生成する画像補間手段と、
   前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングすることによって、左眼用スケーリング画像と右眼用スケーリング画像とを生成するスケーリング手段とを具備し、
   前記画像補間手段は、前記左眼用インターリーブ画像を用いて第１の三次元モデルを生成し、前記右眼用インターリーブ画像を用いて第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを統合した三次元モデルを生成し、前記三次元モデルと、前記三次元映像データにおいて、処理対象のインターリーブ画像の一つ前のインターリーブ画像に対応する、一つ前のスケーリングされたインターリーブ画像とを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする映像処理装置。
8. 左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングする映像処理装置であって、
   前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出する画像抽出手段と、
   前記左眼用インターリーブ画像を用いて前記右眼用インターリーブ画像を補間することによって、補間された右眼用画像を生成し、前記右眼用インターリーブ画像を用いて前記左眼用インターリーブ画像を補間することによって、補間された左眼用画像を生成する画像補間手段と、
   前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングすることによって、左眼用スケーリング画像と右眼用スケーリング画像とを生成するスケーリング手段と、
   前記左眼用スケーリング画像と前記右眼用スケーリング画像とを交互に配置することによって、スケーリングされたインターリーブ画像を生成するインターリーブ画像生成手段とを具備する映像処理装置。
9. 左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングする映像処理方法であって、
   前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出し、
   前記左眼用インターリーブ画像を用いて前記右眼用インターリーブ画像を補間することによって、補間された右眼用画像を生成し、前記右眼用インターリーブ画像を用いて前記左眼用インターリーブ画像を補間することによって、補間された左眼用画像を生成し、
   前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングすることを特徴とする映像処理方法。
10. 左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングするプログラムであって、
    前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出する手順と、
    前記左眼用インターリーブ画像を用いて前記右眼用インターリーブ画像を補間することによって、補間された右眼用画像を生成し、前記右眼用インターリーブ画像を用いて前記左眼用インターリーブ画像を補間することによって、補間された左眼用画像を生成する手順と、
    前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングする手順とをコンピュータに実行させることを特徴とするプログラム。

Images