JP2012044407A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】大画面に小さいサイズの画像を表示させようとする場合に、画質を劣化させることなく、より効果的に画像を表示できるようにする。
【解決手段】画像処理装置は、再生対象の本画像Ｐ１１を、その本画像Ｐ１１よりも大きい表示画面Ｈ１１に表示させようとする場合に、劇場を被写体とする背景画像と、本画像Ｐ１１とを合成して表示させる。このように、背景画像の劇場のスクリーンＳＣ１１上に本画像Ｐ１１が位置するように合成を行なえば、背景画像の被写体の一部として本画像Ｐ１１が表示され、本画像Ｐ１１が表示画面Ｈ１１のサイズよりも小さい場合であっても、画質を劣化させることなく、より効果的に本画像Ｐ１１を表示することができる。本発明は、画像処理装置に適用することができる。
【選択図】図２

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、大画面に小さいサイズの画像を表示させようとする場合に、画質を劣化させることなく、より効果的に画像を表示できるようにした画像処理装置および方法、並びにプログラムに関する。

例えば、アナログ時代のビデオカメラで記録した画像を、HDTV（High Definition Television）の大画面に拡大表示させて視聴すると、被写体の輪郭が太すぎたり、ヘッド切り替え部分や手振れが見苦しかったりする。

しかし、表示画面よりもサイズの小さい画像をそのまま表示させると、画質の劣化が生じず、精細感のある画像を視聴できるようになるが、画像の周囲の黒帯が大きくなり、視聴者には、何故全画面で視聴できないのかという疑問が生じてしまう。

ところで、画像の表示に関する技術として、光ディスク上のコンテンツを再生するときに、ピクチャインピクチャ機能を実現する技術が提案されている（例えば、特許文献１参照）。

特開２００５−１２３７７５号公報

しかしながら、上述した技術では、小さいサイズの画像を、その画像よりも大きい画面に画質を劣化させることなく、かつ効果的に表示することはできなかった。

例えば、ピクチャインピクチャ機能を実現する技術では、２つのコンテンツが並列に再生されるだけであり、画像を効果的に表示しているとはいえなかった。また、並列に再生するコンテンツのうち、より大きく表示させるコンテンツの画像のサイズが、表示画面よりも小さい場合には、その画像を拡大表示しなければならず、画質が劣化してしまう。

本発明は、このような状況に鑑みてなされたものであり、大画面に小さいサイズの画像を表示させようとする場合に、画質を劣化させることなく、より効果的に画像を表示できるようにするものである。

本発明の第１の側面の画像処理装置は、再生対象の本画像と、人間が心理的に大きさを認識できる所定のオブジェクトが表示された背景画像とを取得する取得手段と、前記背景画像上の一部の領域に前記本画像が表示されるように、前記本画像と前記背景画像とを合成する合成手段と、前記本画像と前記背景画像の合成により得られた合成画像を表示する表示手段とを備える。

前記背景画像を、スクリーンが設けられた劇場の画像、またはスクリーン若しくは表示装置が設けられた部屋の画像とし、前記合成手段には、前記背景画像におけるスクリーン、または表示装置の表示画面上に前記本画像が配置されるように、前記本画像と前記背景画像を合成させることができる。

前記背景画像としての劇場または部屋には、仮想的な照明装置が設置されており、前記本画像の再生状態に応じて前記照明装置が点灯または消灯された状態となるように、前記合成画像の輝度値を調整する画像処理手段をさらに設けることができる。

前記合成画像の表示とともに、前記本画像に付随する音声データが再生される場合、前記音声データに基づいて、新たなチャンネルの前記音声データが生成されて、前記新たなチャンネルの前記音声データが再生されるか、または前記音声データに基づく音声の残響がより長くなるように、フィルタ処理が施された前記音声データが再生されるようにすることができる。

前記表示手段には、前記合成画像を立体表示させることができる。

前記表示手段には、互いに視差を有する一対の前記背景画像のそれぞれに、同じ前記本画像が合成されて得られた一対の前記合成画像に基づいて、前記合成画像を立体表示させることができる。

本発明の第１の側面の画像処理方法またはプログラムは、再生対象の本画像と、人間が心理的に大きさを認識できる所定のオブジェクトが表示された背景画像とを取得し、前記背景画像上の一部の領域に前記本画像が表示されるように、前記本画像と前記背景画像とを合成し、前記本画像と前記背景画像の合成により得られた合成画像の表示を制御するステップを含む。

本発明の第１の側面においては、再生対象の本画像と、人間が心理的に大きさを認識できる所定のオブジェクトが表示された背景画像とが取得され、前記背景画像上の一部の領域に前記本画像が表示されるように、前記本画像と前記背景画像とが合成され、前記本画像と前記背景画像の合成により得られた合成画像が表示される。

本発明の第２の側面の画像処理装置は、再生対象の本画像と、前記本画像よりも大きい背景画像とを取得する取得手段と、前記背景画像上の一部の領域に前記本画像が表示されるように、前記本画像と前記背景画像とを合成する合成手段と、前記本画像よりもサイズの大きい表示画面を有し、前記本画像と前記背景画像の合成により得られた合成画像を表示する表示手段とを備える。

前記表示手段には、前記合成画像を立体表示させることができる。

前記表示手段には、互いに視差を有する一対の前記背景画像のそれぞれに、同じ前記本画像が合成されて得られた一対の前記合成画像に基づいて、前記合成画像を立体表示させることができる。

前記背景画像を、スクリーンが設けられた劇場の画像、またはスクリーン若しくは表示装置が設けられた部屋の画像とし、前記合成手段には、前記背景画像におけるスクリーン、または表示装置の表示画面上に前記本画像が配置されるように、前記本画像と前記背景画像を合成させることができる。

本発明の第２の側面の画像処理方法またはプログラムは、再生対象の本画像と、前記本画像よりも大きい背景画像とを取得し、前記背景画像上の一部の領域に前記本画像が表示されるように、前記本画像と前記背景画像とを合成し、前記本画像よりもサイズの大きい表示画面を有する表示手段に、前記本画像と前記背景画像の合成により得られた合成画像を表示させるステップを含む。

本発明の第２の側面においては、再生対象の本画像と、前記本画像よりも大きい背景画像とが取得され、前記背景画像上の一部の領域に前記本画像が表示されるように、前記本画像と前記背景画像とが合成され、前記本画像よりもサイズの大きい表示画面を有する表示手段に、前記本画像と前記背景画像の合成により得られた合成画像が表示される。

本発明の第１の側面および第２の側面によれば、大画面に小さいサイズの画像を表示させようとする場合に、画質を劣化させることなく、より効果的に画像を表示することができる。

本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。 背景画像の一例を示す図である。 背景画像生成処理を説明するフローチャートである。 コンテンツ再生処理を説明するフローチャートである。 画像処理装置の他の構成例を示す図である。 コンテンツ再生処理を説明するフローチャートである。 画像処理装置の外観の構成例を示す図である。 画像処理装置の機能の構成例を示す図である。 コンテンツ再生処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

〈第１の実施の形態〉
［画像処理装置の構成］
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。

画像処理装置１１は、クロック生成部２１、回動部２２、撮像部２３、背景画像生成部２４、記録部２５、映像出力部２６、Ｉ／Ｐ（Interlace/Progressive）変換部２７−１、Ｉ／Ｐ変換部２７−２、本画像処理部２８−１、本画像処理部２８−２、幾何学変形部２９−１、幾何学変形部２９−２、背景画像処理部３０−１、背景画像処理部３０−２、出力切り替え部３１、変換部３２−１、変換部３２−２、および表示部３３から構成される。

この画像処理装置１１は、例えばHDTVサイズの表示画面に、SDTV（Standard Definition Television）等のコンテンツの画像（以下、本画像と呼ぶ）を表示させ、さらにその本画像を囲むように、背景となる画像（以下、背景画像と呼ぶ）を表示させる。

クロック生成部２１は、画像処理装置１１全体の動作タイミングの基準となるクロックを生成し、画像処理装置１１の各部に供給する。画像処理装置１１の各部は、クロック生成部２１から供給されたクロックに同期して動作する。

回動部２２は、撮像部２３を保持するとともに、撮像部２３の撮像素子の受光面中央を回転中心として、撮像部２３を所定方向に回動させる。撮像部２３は、被写体から入射した光を受光して光電変換することで、被写体の画像を撮像する。例えば、撮像部２３は、背景画像が生成される場合、背景画像に表示される劇場などを被写体として撮像する。

背景画像生成部２４は、撮像部２３から供給された複数の画像に基づいて、背景画像を生成し、記録部２５に供給する。ここで、背景画像は、例えば、スクリーンが配置された劇場、テレビジョン受像機やスクリーンが配置されたリビング等の部屋など、本画像と合成して表示させた場合に、本画像との一体感が得られる画像とされる。

また、背景画像の大きさ、すなわち背景画像を構成する画素数は、例えば表示部３３の表示画面の大きさ（表示画面を構成する画素数）と同じ大きさとされ、背景画像は、立体画像を表示させるための左眼用の背景画像と右眼用の背景画像とからなる。ここで、左眼用の画像とは、画像を立体表示させるときに、ユーザの左眼で観察されるように表示する画像であり、右眼用の画像とは、ユーザの右眼で観察されるように表示する画像である。

記録部２５は、背景画像生成部２４から供給された背景画像や、外部から取得した本画像を複数記録しており、ユーザの指示に応じて本画像や背景画像を映像出力部２６に供給する。

映像出力部２６は、記録部２５から供給された画像の用途に応じて、その画像の出力先を切り替える。例えば、本画像が立体画像であれば、映像出力部２６は左眼用の本画像および右眼用の本画像を、それぞれＩ／Ｐ変換部２７−１およびＩ／Ｐ変換部２７−２に供給する。また、本画像が立体表示用でない２次元の画像であれば、映像出力部２６は、同じ本画像を、左眼用および右眼用の本画像としてＩ／Ｐ変換部２７−１とＩ／Ｐ変換部２７−２に供給する。さらに、映像出力部２６は、左眼用の背景画像および右眼用の背景画像を、それぞれ背景画像処理部３０−１および背景画像処理部３０−２に供給する。

Ｉ／Ｐ変換部２７−１およびＩ／Ｐ変換部２７−２は、映像出力部２６から供給された本画像を必要に応じてＩ／Ｐ変換し、本画像処理部２８−１および本画像処理部２８−２に供給する。このＩ／Ｐ変換により、本画像は、インターレース形式の画像からプログレッシブ形式の画像へと変換される。なお、本画像がプログレッシブスキャンで取得された場合には、このＩ／Ｐ変換の処理はスキップされる。

本画像処理部２８−１および本画像処理部２８−２は、Ｉ／Ｐ変換部２７−１およびＩ／Ｐ変換部２７−２から供給された本画像に対して、コントラストや明るさ等を調整する各種の画像処理やカラーマトリクス変換を施して、幾何学変形部２９−１および幾何学変形部２９−２に供給する。幾何学変形部２９−１および幾何学変形部２９−２は、本画像処理部２８−１および本画像処理部２８−２から供給された本画像を幾何学変形し、出力切り替え部３１に供給する。

なお、以下、Ｉ／Ｐ変換部２７−１およびＩ／Ｐ変換部２７−２を、個々に区別する必要のない場合、単にＩ／Ｐ変換部２７とも称し、本画像処理部２８−１および本画像処理部２８−２を個々に区別する必要のない場合、単に本画像処理部２８とも称する。また、以下、幾何学変形部２９−１と幾何学変形部２９−２を個々に区別する必要のない場合、単に幾何学変形部２９とも称する。

背景画像処理部３０−１および背景画像処理部３０−２は、映像出力部２６から供給された左眼用および右眼用の背景画像に対して、輝度調整等の画像処理を施して、出力切り替え部３１に供給する。なお、以下、背景画像処理部３０−１と背景画像処理部３０−２を個々に区別する必要のない場合、単に背景画像処理部３０とも称する。

出力切り替え部３１は、幾何学変形部２９からの本画像、または背景画像処理部３０からの背景画像の何れかを、変換部３２−１または変換部３２−２に供給する。例えば、出力切り替え部３１は、表示部３３の表示画面に画像を表示させる場合、表示画面を構成する各画素をラスタスキャン順に選択し、選択された画素に表示される画像の画素のデータを、変換部３２−１または変換部３２−２に出力する。したがって、例えば選択された画素に本画像が表示される場合には、その画素に対応する本画像の画素のデータが変換部３２−１または変換部３２−２に出力され、選択された画素に背景画像が表示される場合には、その画素に対応する背景画像の画素のデータが変換部３２−１または変換部３２−２に出力される。特に、変換部３２−１には、左眼用の画像が供給され、変換部３２−２には、右眼用の画像が供給される。

変換部３２−１および変換部３２−２は、出力切り替え部３１から供給された画像のカラーシステムを変換し、表示部３３に供給する。具体的には、変換部３２−１および変換部３２−２では、画像のカラーシステムがＹＣｂＣｒ（４：２：２）からＹＣｂＣｒ（４：４：４）に変換される。なお、以下、変換部３２−１および変換部３２−２を特に区別する必要のない場合、単に変換部３２と称する。

表示部３３は、変換部３２から供給された画像を立体表示する。なお、表示部３３における画像の立体表示の方式は、レンチキュラ方式や時分割シャッタ方式など、どのような方式であってもよい。

［表示モードの説明］
ところで、画像処理装置１１では、表示部３３に画像を表示させる場合、表示モードとして、劇場背景モード、または拡大サイズモードの何れかを選択できるようになされている。劇場背景モードとは、背景画像と本画像とを合成し、合成で得られた１つの画像を表示させるモードである。また、拡大サイズモードとは、画像を必要に応じて表示部３３の表示画面に合わせて拡大し、表示させるモードである。

例えば、劇場背景モードで本画像が表示される場合、図２に示すように、表示部３３の表示画面Ｈ１１全体に、スクリーンＳＣ１１が配置された劇場の背景画像が表示され、スクリーンＳＣ１１上の中央部分に本画像Ｐ１１が表示される。劇場背景モードでは、予め用意された背景画像と、本画像Ｐ１１とを一体感を持たせて効果的に表示させることで、本画像Ｐ１１を見ているユーザに、あたかも劇場でコンテンツを鑑賞しているように感じさせることができる。

図２の例では、本画像Ｐ１１は、図中、縦方向および横方向の画素数が、表示画面Ｈ１１を構成する縦方向および横方向の画素数よりも少ないSDTVの大きさの画像であり、本画像Ｐ１１は、拡大または縮小されず、そのままの大きさで表示されている。また、本画像Ｐ１１は、表示画面Ｈ１１の中央に表示されており、背景画像は、本画像Ｐ１１と同じ高さの位置にスクリーンＳＣ１１が位置するようになされている。

背景画像は、中央にスクリーンＳＣ１１が配置され、スクリーンＳＣ１１の近くに劇場への出入り口の扉が設けられている。また、背景画像の図中、手前側には複数の椅子が設けられ、図中、上側の天井には、劇場内を照明するライトが設けられている。

また、このような背景画像には、本画像Ｐ１１がより大きく見えるような演出がされている。例えば、背景画像が表示部３３で立体表示されるときに、スクリーンＳＣ１１の視差がより大きくなり、図中、手前側の椅子の視差がより小さくなるようにすることで、背景画像の奥行き感が表現されている。

また、図中、手前側の椅子ほど大きく表示される等のテクスチャの変化や、劇場の壁の稜線が表示画面Ｈ１１の中央に向かうなどの遠近表現により、本画像Ｐ１１が表示されるスクリーンＳＣ１１が、奥側に位置しているとユーザが知覚するようになされている。

人間の脳は、遠くにある物は小さく網膜に写っても、実際には大きいはずであると計算する性質を有している。そこで、背景画像においてスクリーンＳＣ１１が図中、奥側に位置していると知覚させるように遠近感を表現することで、本画像Ｐ１１が大きく表示されているとユーザに感じさせることができる。

特に、背景画像において人物や椅子、扉など、人間が心理的に大きさを認識できるオブジェクト、つまり自分が大きさを知っているオブジェクトをスクリーンＳＣ１１近傍に配置すれば、スクリーンＳＣ１１が図中、奥側にあるとユーザに認識させ易くすることができる。さらに人間の脳は、大きさを知っているオブジェクトを基準として、そのオブジェクト近傍のスクリーンＳＣ１１の大きさを推定するため、ユーザにとって既知のオブジェクトを小さく表示しておけば、スクリーンＳＣ１１を大きく見せることができる。

また、人間の目には、焦点を合わせている物の手前にある物はぼけて見えることが知られている。ユーザは本画像Ｐ１１の視聴中、本画像Ｐ１１が表示されたスクリーンＳＣ１１に焦点を合わせるはずであるので、図中、手前に位置する椅子ほどぼけて見えるように各椅子をぼかして表示させれば、ユーザにより遠近感を感じさせることができる。

なお、以下においては、背景画像が、スクリーンが設けられた劇場内の画像であるものとして説明を続けるが、背景画像は、本画像が表示されるものが配置された空間の画像など、どのようなものであってもよい。

［背景画像生成処理の説明］
次に、画像処理措置１１の動作について説明する。

例えば、画像処理装置１１が、背景画像の被写体となる劇場等に配置され、ユーザの操作により背景画像の生成が指示されると、画像処理装置１１は背景画像生成処理を行って、背景画像を生成する。以下、図３のフローチャートを参照して、画像処理装置１１による背景画像生成処理について説明する。

ステップＳ１１において、撮像部２３は、例えば劇場等を被写体として撮像の角度を変えて、重複部を含みながら複数回撮像を行い、撮像により得られた画像を背景画像生成部２４に供給する。すなわち、回動部２２は、撮像部２３の撮像素子の受光面の中心を回転中心として、撮像部２３を所定方向に回動させる。撮像部２３は、回動部２２により回動されている状態で、時間的に連続して複数の画像を撮像する。したがって、連続して撮像された、いくつかの画像には、同じ被写体が重複して含まれることになる。

ステップＳ１２において、背景画像生成部２４は、撮像部２３から供給された複数の画像を用いてステッチング処理を行い、左眼用の背景画像を生成する。

すなわち、背景画像生成部２４は、撮像部２３からの複数の画像上の同じ被写体の部分が重なるように、それらの画像を仮想的な平面上に並べる。そして、背景画像生成部２４は、各画像上の予め定められた基準となる基準位置に基づいて、各画像の一部を短冊画像として切り出す。例えば、平面上において、所定の画像における基準位置から、その所定の画像に隣接して並べられた他の画像の基準位置と同じ位置までの所定の画像の領域が切り出されて短冊画像とされる。背景画像生成部２４は、各画像から切り出した短冊画像が平面上で並べられた状態で、それらの短冊画像を合成して１つの画像とすることで、左眼用の背景画像を生成する。

このようにして左眼用の背景画像が得られると、回動部２２は、左眼用の背景画像と右眼用の背景画像とが特定の視差を有するように、撮像部２３を所定方向に特定の視差に対応する距離だけ平行移動させる。

そして、その後、ステップＳ１３およびステップＳ１４の処理が行われて右眼用の背景画像が生成されるが、これらの処理はステップＳ１１およびステップＳ１２と同様の処理であるので、その説明は省略する。すなわち、左眼用の背景画像生成時とは、異なる視点から複数枚の画像が撮像され、撮像された画像を用いたステッチング処理により右眼用の背景画像が生成される。

ステップＳ１５において、背景画像生成部２４は、生成された右眼用と左眼用の背景画像を射影変換する。より具体的には、例えば、図２に示した背景画像が得られた場合、背景画像生成部２４は、背景画像から四角形状のスクリーンＳＣ１１の４つの頂点を検出し、それらの頂点を結ぶ四角形が長方形状になるように、背景画像を射影変換する。これにより、スクリーンＳＣ１１が、表示部３３の表示面と平行となるように射影される。

ステップＳ１６において、背景画像生成部２４は、右眼用と左眼用の背景画像の視差調整を行なう。

例えば、背景画像生成部２４は、左右の眼の背景画像においてスクリーンＳＣ１１が同じ大きさで同じ位置となるように、左右の眼の背景画像を拡大または縮小させたり、背景画像をシフト（平行移動）させたりする。この状態では背景画像を立体表示すると、スクリーンＳＣ１１は、表示部３３の表示画面の位置に定位し、スクリーンＳＣ１１の手前にある椅子は、表示部３３を観察するユーザから見て、表示部３３の表示画面よりも手前側に定位する。

背景画像生成部２４は、図２の最も手前側にある椅子の背もたれが表示部３３の表示画面の位置に定位し、ユーザから見てスクリーンＳＣ１１が表示部３３の表示画面よりも奥側に定位するように、左右の眼の背景画像をシフトさせ、背景画像の視差を調整する。視差調整により最終的な背景画像が得られると、背景画像生成部２４は、得られた左右の眼用の背景画像を記録部２５に供給して記録させ、背景画像生成処理は終了する。

なお、背景画像は、本画像の大きさに合わせて、スクリーンＳＣ１１の位置や大きさが異なるものが複数用意される。また、被写体が異なる背景画像が複数用意されるようにしてもよい。

このようにして画像処理装置１１は、回動している状態で複数の画像を撮像し、得られた画像をステッチング処理により合成することで背景画像を生成する。

このように、ステッチング処理により背景画像を生成することで、より高精細な画像を背景画像として用いることができるようになる。例えば、劇場を背景画像の被写体とする場合、劇場内は暗いので、撮像部２３の絞りを大きく開いて撮像を行なう必要がある。そのため、劇場内を撮像して得られた１つの画像を背景画像とすると、被写体がぼけて解像度が低くなってしまう。これに対して、複数の画像をステッチング処理して１つの画像とすれば、より高精細な背景画像を得ることができる。

［コンテンツ再生処理の説明］
また、ユーザが画像処理装置１１を操作して、コンテンツとしての本画像の再生を指示すると、画像処理装置１１はコンテンツ再生処理を行って、指定された本画像を再生する。以下、図４のフローチャートを参照して、画像処理装置１１によるコンテンツ再生処理について説明する。

ステップＳ４１において、映像出力部２６は、表示モードとして劇場背景モードが選択されているか否かを判定する。

ステップＳ４１において、劇場背景モードが選択されていると判定された場合、映像出力部２６は、指定された本画像と背景画像を記録部２５から読み出して、処理はステップＳ４２に進む。

ステップＳ４２において、映像出力部２６は必要に応じて、記録部２５から読み出した本画像に対する拡大縮小処理を行う。

例えば、映像出力部２６は、本画像がいわゆるインターネットコンテンツなどであり、VGA（Video Graphics Array）の画像よりも小さい場合、本画像がVGAで規定される大きさとなるように本画像を拡大させる。本画像が、SDTVの画像または720pの画像である場合には、本画像は拡大も縮小もされない。

また、本画像が、1080iの画像または1080pの画像である場合、本画像は720pの画像の大きさまで縮小される。このとき、映像出力部２６は、本画像に黒帯（黒幕）がある場合には、本画像から黒帯を除去し、さらに黒帯部分に字幕が表示されている場合には、字幕を本画像のコンテンツが表示される部分、つまり黒帯ではない部分に再挿入する。例えば、縮小後の本画像は、図２中、縦方向が７２０画素で、横方向が９５８画素、１３３２画素、または１６９２画素となるようにされる。

なお、より詳細には、映像出力部２６はトリミングを行ってオーバースキャン分だけ、例えば本画像全体の大きさの１０±５％分の幅だけ本画像の端部分の領域を除去する。例えば、本画像がSDTVの画像であり、拡大も縮小もされない場合には、本画像のトリミングのみが行なわれ、本画像が1080pの画像であり、本画像に黒帯が含まれる場合には、本画像から黒帯が除去され、さらにトリミングが行なわれた後、本画像が縮小される。

映像出力部２６は、必要に応じて本画像の拡大や縮小を行なうと、本画像をＩ／Ｐ変換部２７に供給するとともに、背景画像を背景画像処理部３０に供給する。なお、背景画像は、必要に応じてトリミングや拡大、縮小がされた後の本画像の大きさに合ったものが記録部２５から読み出される。

ステップＳ４３において、Ｉ／Ｐ変換部２７は、映像出力部２６から供給された本画像に対して必要に応じてＩ／Ｐ変換を行って、本画像をプログレッシブ形式の画像に変換する。

また、Ｉ／Ｐ変換部２７は、必要に応じて本画像に対するフレームレート変換を行なって、本画像のフレームレートを24Hzとする。例えば、本画像のフレームレートを60Hzから、映画で利用されることの多い24Hzに変換すれば、本画像を視聴するユーザは、劇場にいるかのような臨場感を得ることができる。

Ｉ／Ｐ変換部２７は、Ｉ／Ｐ変換とフレームレート変換を行なうと、その結果得られた本画像を本画像処理部２８に供給する。

ステップＳ４４において、本画像処理部２８は、Ｉ／Ｐ変換部２７から供給された本画像に対して画像処理を行う。例えば、本画像処理部２８は、本画像の画質が向上し、かつ本画像が映画らしく見えるように、本画像に画像処理を施す。

具体的には、本画像処理部２８は、本画像全体の輝度が１０％以上低くなるように、本画像の輝度値を低下させるとともに、本画像の端付近の輝度値が、本画像中央の輝度値よりも低くなるように、本画像の端近傍を減光させる。このとき、本画像の端付近では、本画像の端に近い領域ほど、より輝度が低くなるように輝度調整がされる。

例えば、背景画像を暗い画像とすると、本画像の視聴時に本画像の明るさが際立ってユーザが眩しく感じてしまうので、本画像全体の輝度を低く抑えることで、より本画像を見やすくすることができる。また、本画像全体の輝度を低くすることで、本画像のフレームレートを24Hzとしてもジャダーやノイズを目立ちにくくすることができる。

なお、本画像全体の輝度は、背景画像の輝度に合わせて調整される。例えば、本画像の再生中には背景画像における劇場の天井に設けられた照明が暗くされ、本画像の再生が停止しているときには劇場の天井の照明が明るくなるように、背景画像の輝度が調整されるものとする。つまり、本画像の再生中は、本画像の再生停止時よりも背景画像の輝度が低くなるように、背景画像全体の輝度が調整されるものとする。

このような場合、本画像の再生停止時は本画像全体の輝度をより高くしてスクリーンに照明が当たった状態を演出し、本画像の再生時には本画像全体の輝度をより低くすれば、ユーザに劇場で本画像を視聴しているような臨場感を感じさせることができる。

また、例えば、本画像処理部２８は、映画の投影機の特性により生じる、画像の横揺れや画像の端付近のぼけ、グレインノイズやフィルム傷、映画フィルムの先頭に付加されるフィルムインデックスなどを、画像処理により本画像に加える。このようなグレインノイズやフィルム傷などを本画像に加えることで、本画像をより映画らしく見せることができる。さらに、画像処理によって、本画像にスーパーインポーズを挿入したり、本画像上の字幕にぼけやノイズを加えたりすることで、本画像をより映画らしく見せるようにしてもよい。

さらに、例えば本画像処理部２８は、本画像のコントラスト、明るさ、シャープネス、色の濃さなどを画像処理により補正したり、ノイズを低減させたりするようにしてもよい。特に、本画像はSDTV等の小さいサイズで表示部３３に表示されるので、本画像の色を濃くしたり、シャープネスでエッジを強調したりしても、色のにじみやノイズは目立ちにくく、より高い画質改善効果を得ることができる。これにより、より高精細な本画像を表示できるようになる。

なお、本画像に対するコントラスト、明るさ、シャープネス等の画像処理は、選択されている表示モードによって異なる処理とされてもよい。例えば、表示モードとして劇場背景モードが選択されている場合には、本画像全体の輝度と色温度を低くするなど、各表示モードに適した補正が選択されるように予め定めておけば、より高画質な本画像を提示することができるようになる。

さらに、本画像処理部２８は、必要に応じて本画像の視差調整も行なう。例えば、本画像処理部２８は、左眼用と右眼用の本画像が、それぞれ左眼用と右眼用の背景画像のスクリーンＳＣ１１における同じ位置に表示されるように、本画像の表示位置を調整することで、本画像をスクリーンＳＣ１１と同じ奥行きに定位させる。

一般に、本画像を表示部３３に立体表示する場合、劇場内において、スクリーンＳＣ１１よりもユーザから見て手前側に本画像が定位していると不自然であり、ユーザには映画を見ているように感じられなくなってしまう。また、本画像がスクリーンＳＣ１１よりも奥側に定位しても不自然ではないが、立体画像中に定位位置が互いに異なる物体が多くあると、ユーザの眼が疲れてしまう。

そこで、本画像処理部２８は、背景画像のスクリーンＳＣ１１と同じ位置に本画像が定位するように、本画像の表示位置を定めることで、本画像と背景画像とを一体感を持たせてより自然に表示させる。また、本画像の黒帯部分に字幕等の文字情報が含まれている場合には、本画像に文字情報が再挿入されるので、文字情報もスクリーンＳＣ１１と同じ位置に定位することになり、不自然になることはない。なお、本画像が背景画像のスクリーンＳＣ１１よりも、ユーザから見て奥側に定位するように本画像の視差調整が行なわれてもよい。

このようにして、本画像処理部２８により本画像に対する画像処理が行われると、本画像処理部２８は、画像処理された本画像を幾何学変形部２９に供給し、処理はステップＳ４４からステップＳ４５に進む。

ステップＳ４５において、幾何学変形部２９は、本画像処理部２８から供給された本画像を幾何学変形し、出力切り替え部３１に供給する。

例えば、劇場でスクリーンに映画等の画像を投影する場合、投影機のレンズ特性によりスクリーン上に表示される画像には光学歪みが生じる。そこで、幾何学変形部２９は、本画像を幾何学変換することで、本画像に樽型、糸巻き型、台形などの所定の光学歪みを加える。これにより、本画像をより映画らしく見せることができる。

ステップＳ４６において、背景画像処理部３０は、映像出力部２６から供給された背景画像に対して画像処理を行って、出力切り替え部３１に供給する。

具体的には、背景画像処理部３０は、本画像の再生中であれば、背景画像全体の輝度が所定値より低くなるように背景画像の輝度値を調整し、本画像の再生が停止しているのであれば、背景画像全体の輝度が所定値より高くなるように、背景画像の輝度値を調整する。これにより、本画像の再生中は、背景画像における劇場内の照明が消灯されて暗くなり、本画像が再生されていないときは、劇場内の照明が点灯されて明るくなるといった演出を表現することができ、臨場感を高めることができる。

このように、背景画像上に仮想的な照明装置を設けて、再生や停止といった本画像の再生の状態に応じて背景画像と本画像の輝度調整を行なうことで、仮想の照明装置の点灯、消灯を表現すれば、例えば次のような演出が可能となる。すなわち、ユーザにより再生対象とすべき本画像が指定されると、画像処理装置１１により上演開始のブザーが鳴らされる。この状態で表示部３３に背景画像が表示されるが、背景画像における劇場内の照明は点灯されており、背景画像は全体的に明るい。また、スクリーンは白く、本画像も表示されていない。

このような状態から、徐々に背景画像における劇場内の照明が落ちていき、劇場内も次第に暗くなり、やがて椅子などがかろうじて見える程度になる。このとき、劇場内のスクリーンには、黒いフレームが表示され、このフレームが次第に明るくなっていき、本画像が表示されるようになる。そして、その後、スクリーン上において本画像が再生される。

さらに、画像処理装置１１に対するユーザの操作により、本画像の再生の一時停止や停止が指示されると、本画像の再生が停止され、背景画像における劇場内の照明が点灯し、背景画像全体が明るくなる。また、本画像の再生が再開されると、再び劇場内は暗くなる。

このように、本画像の再生操作に応じて、背景画像や本画像全体の輝度制御を行なうことにより、本画像再生時における劇場らしさの演出効果をさらに向上させることができる。

背景画像処理部３０により背景画像に対する画像処理が行われ、背景画像が出力切り替え部３１に供給されると、処理はステップＳ４６からステップＳ４７に進む。

ステップＳ４７において、出力切り替え部３１は、表示部３３に表示させる画像の画素単位で出力する画素のデータを切り替える。すなわち、出力切り替え部３１は、背景画像処理部３０−１からの左眼用の背景画像、背景画像処理部３０−２からの右眼用の背景画像、幾何学変形部２９−１からの左眼用の本画像、または幾何学変形部２９−２からの右眼用の本画像の何れかを画素単位で変換部３２に供給する。

ステップＳ４８において、変換部３２は、出力切り替え部３１から供給された画像、すなわち本画像と背景画像とが合成された画像のカラーシステムを変換し、表示部３３に供給する。これにより、変換部３２−１から表示部３３には、本画像と背景画像とが合成された左眼用の画像が供給され、変換部３２−２から表示部３３には、本画像と背景画像とが合成された右眼用の画像が供給される。

そして、ステップＳ４９において、表示部３３は、変換部３２から供給された本画像と背景画像とからなるコンテンツの画像を立体表示して、コンテンツ再生処理は終了する。例えば、表示モードが劇場背景モードである場合、図２に示した画像が表示部３３に立体表示される。

なお、本画像が動画像である場合には、本画像に付随する音声に対しても劇場らしい演出効果が施されるようにしてもよい。

具体的には、例えば、図示せぬ音声再生部が、２チャンネルの音声に基づいて、各チャンネルの位置関係から５．１チャンネルの音声を生成して出力することで、劇場後方からの反射音を表現したり、音声にフィルタ処理を施して音声の残響を長くしたりする。これにより、本画像再生時における劇場らしさの演出効果をさらに向上させることができる。

また、本画像に付随する音声に対して施される残響やサラウンドの演出効果、音量の調整なども、表示モードに応じて変化させるようにしてもよい。

また、ステップＳ４１において、表示モードが劇場背景モードではないと判定された場合、つまり表示モードが拡大サイズモードである場合、映像出力部２６は、指定された本画像を記録部２５から読み出してＩ／Ｐ変換部２７に供給し、処理はステップＳ５０に進む。

ステップＳ５０において、Ｉ／Ｐ変換部２７は、映像出力部２６から供給された本画像に対してＩ／Ｐ変換を行って本画像をプログレッシブ形式の画像に変換し、本画像処理部２８に供給する。

ステップＳ５１において、本画像処理部２８は、Ｉ／Ｐ変換部２７から供給された本画像に対して画像処理を行う。例えば、本画像処理部２８は、拡大サイズモードに対して予め定められた補正値で、本画像のコントラスト、明るさ、シャープネス、色の濃さなどを画像処理により補正したり、ノイズを低減させたりする。

ステップＳ５２において、本画像処理部２８は、必要に応じて本画像に対する拡大処理を行う。例えば、本画像の縦方向の画素数が、表示部３３の表示画面の縦方向の画素数と同じになるように、本画像を縦方向および横方向に拡大させる。本画像処理部２８は、必要に応じて拡大された本画像を、幾何学変形部２９を介して出力切り替え部３１に供給する。

ステップＳ５３において、出力切り替え部３１は、表示部３３に表示させる画像の画素単位で出力する画素のデータを切り替える。すなわち、出力切り替え部３１は、幾何学変形部２９−１からの本画像、または幾何学変形部２９−２からの本画像の何れかを変換部３２に供給する。ステップＳ５３において、画素単位で出力が切り替えられながら本画像が出力されると、その後、ステップＳ４８およびステップＳ４９の処理が行われてコンテンツ再生処理は終了する。

このようにして画像処理装置１１は、劇場背景モードが選択された場合、本画像と背景画像とを合成して表示させる。このように、背景画像上の被写体の一部として本画像を貼り付けて、本画像と背景画像を表示することで、本画像が表示部３３の表示画面のサイズよりも小さい場合であっても、画質を劣化させることなく、より効果的に本画像を表示することができる。

すなわち、本画像を背景画像の劇場のスクリーンの位置に表示したり、スクリーン近傍に既知のオブジェクトを表示させたりして、本画像が遠い位置にあると知覚させることで、心理的に大画面を見ているように感じさせることができる。

特に、本画像と背景画像からなる画像を立体表示すれば、本画像が遠い位置にあると知覚させるのに効果的である。また、背景画像を立体表示すれば、左眼用と右眼用の本画像が視差のない画像であっても、本画像を立体的に見せることができる。

さらに、画像処理装置１１では、本画像を大きく拡大する必要がないため、高精細な本画像を提示できる。このような画像処理装置１１による画像の提示方法は、インターネットコンテンツ、横長のシネマスコープのコンテンツやパノラマコンテンツの提示にも好適である。

また、背景画像として解像度の高い画像を用いれば、本画像と背景画像とからなる画像も全体的に高級感のある高解像度な画像と感じさせることができ、さらに効果的に本画像を提示することができるようになる。さらに、本画像がSDTVや720pの画像であれば、本画像をトリミングして背景画像と合成するだけであるので、より簡単な処理で本画像を効果的に表示することができる。

なお、左眼用と右眼用の本画像を用いて本画像を立体表示する場合でも、背景画像は立体表示されないようにしてもよい。そのような場合、例えば左眼用と右眼用の背景画像のうち、一方の背景画像のみが表示部３３に表示される。

また、本発明は再生系での処理に限らず、記録系の処理にも適用可能である。すなわち、本画像と背景画像とが合成されて得られた画像を、記録部２５に記録しておくようにしてもよい。

〈第２の実施の形態〉
［画像処理装置の構成］
また、以上においては、本画像と背景画像の少なくとも一方を立体表示すると説明したが、本画像と背景画像がともに２次元の画像とされてもよい。そのような場合、画像処理装置１１は、図５に示すように構成される。

すなわち、図５の画像処理装置１１は、クロック生成部２１、記録部２５、映像出力部２６、Ｉ／Ｐ変換部６１、本画像処理部６２、幾何学変形部６３、背景画像処理部６４、出力切り替え部３１、変換部６５、および表示部６６から構成される。なお、図５において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

記録部２５は、外部から取得した２次元の本画像と背景画像とを複数記録しており、ユーザの指示に応じて本画像や背景画像を映像出力部２６に供給する。また、Ｉ／Ｐ変換部６１乃至背景画像処理部６４および変換部６５は、図１のＩ／Ｐ変換部２７乃至背景画像処理部３０および変換部３２と同様の処理を行う。表示部６６は、変換部６５から供給された２次元の画像を表示する。

［コンテンツ再生処理の説明］
次に、図６のフローチャートを参照して、図５の画像処理装置１１により行われるコンテンツ再生処理について説明する。

ステップＳ８１において、映像出力部２６は、表示モードとして劇場背景モードが選択されているか否かを判定する。

ステップＳ８１において、劇場背景モードが選択されていると判定された場合、映像出力部２６は、指定された２次元の本画像と背景画像を記録部２５から読み出す。そして、その後、ステップＳ８２乃至ステップＳ８８の処理が行われるが、これらの処理は図４のステップＳ４２乃至ステップＳ４８の処理と同様であるので、その説明は省略する。

但し、ステップＳ４２乃至ステップＳ４８では、左眼用と右眼用の本画像および背景画像に対して処理が行われるのに対し、ステップＳ８２乃至ステップＳ８８では、２次元の本画像および背景画像に対して処理が行われる。

ステップＳ８８の処理が行われて、変換部６５から表示部６６にカラーシステムが変換された画像、すなわち本画像と背景画像が合成された画像が供給されると、ステップＳ８９の処理が行われる。

すなわち、ステップＳ８９において、表示部６６は、変換部６５から供給された本画像と背景画像とからなるコンテンツの画像を表示して、コンテンツ再生処理は終了する。

これに対して、ステップＳ８１において、劇場背景モードではないと判定された場合、すなわち拡大サイズモードであると判定された場合、映像出力部２６は、指定された本画像を記録部２５から読み出してＩ／Ｐ変換部６１に供給する。そして。その後、ステップＳ９０乃至ステップＳ９２の処理が行われるが、これらの処理は図４のステップＳ５０乃至ステップＳ５２の処理と同様であるので、その説明は省略する。

ステップＳ９３において、出力切り替え部３１は、幾何学変形部６３から供給された本画像を変換部６５に出力する。そして、その後、ステップＳ８８およびステップＳ８９の処理が行われて表示部６６に本画像が表示され、コンテンツ再生処理は終了する。

このようにして画像処理装置１１は、劇場背景モードが選択された場合、本画像と背景画像とを合成して表示させる。このように、背景画像上の被写体の一部として本画像を貼り付けて、本画像と背景画像を表示することで、本画像が表示部６６の表示画面のサイズよりも小さい場合であっても、画質を劣化させることなく、より効果的に本画像を表示することができる。

〈第３の実施の形態〉
［画像処理装置の外観の構成］
また、例えば図７に示す画像処理装置９１を用いても、上述した本画像を効果的に表示することができる。

図７に示す画像処理装置９１は、ユーザの顔（頭部）に装着される眼鏡形状のヘッドマウントディスプレイであり、画像処理装置９１のつるの部分には、コンテンツとしての本画像に付随する音声を再生するイヤホン９２−１およびイヤホン９２−２が設けられている。これらのイヤホン９２−１とイヤホン９２−２は、ユーザの耳に装着される。

また、画像処理装置９１における、眼鏡のレンズに対応する部分には、左眼用の本画像を表示する表示部９３−１と、右眼用の本画像を表示する表示部９３−２が設けられている。すなわち、表示部９３−１および表示部９３−２は、ユーザが画像処理装置９１を装着したときに、ユーザの左右の眼の正面に位置するように、保持部９４−１および保持部９４−２のそれぞれに設けられている。

特に、表示部９３−１および表示部９３−２の表示画面を囲む、保持部９４−１および保持部９４−２の表面部（図中、斜線部分）は、それらの表示画面と同じ高さとなるようになされている。ここでいう高さとは、表示部９３−１と表示部９３−２の表示画面に垂直な方向の位置である。つまり、表示部９３−１および表示部９３−２の表示画面と、保持部９４−１および保持部９４−２の表面部とは、略同一平面上に配置されるようになされている。

なお、以下、表示部９３−１および表示部９３−２を個々に区別する必要のない場合、単に表示部９３とも称し、保持部９４−１および保持部９４−２を個々に区別する必要のない場合、単に保持部９４とも称する。

また、保持部９４の表面部には、例えば図２に示した背景画像がシールなどにより貼り付けられている。具体的には、図２の本画像Ｐ１１に対応する部分が表示部９３の表示画面となるように、表面部に対して、スクリーン部分に表示画面と同じ大きさの開口部が設けられた、劇場風景の写真シール等が貼り付けられる。

より詳細には、ユーザが画像処理装置９１を装着したときに、ユーザから見て、表面部に貼られた写真シール上の劇場風景のスクリーンが、表示画面よりも奥側に見えるように、表示部９３の表示画面と、保持部９４の表面部とがレイアウトされる。

また、表示部９３として、表示画面の外周に枠が設けられていないものが用いられる。表示画面の外周に枠があると、表示部９３に本画像を表示したときに、本画像を視聴するユーザには、背景画像の劇場のスクリーンと本画像との間に、約１ｍに相当する太さの枠があるように見えてしまい、背景画像による演出効果が低下してしまうからである。

さらに、上述したように、表示部９３の表示画面と、保持部９４の表面部、つまり表面部に付加された背景画像とは、奥行き方向の高さが同じ高さになるように配置される。これにより、表示部９３に本画像を表示したときに、背景画像にユーザの焦点が合わず、背景画像がぼけて見えるようなことがなくなる。

なお、保持部９４の表面部に付加される背景画像は、複数の異なる背景画像のうちの所望のものと交換できるように、着脱式とされることが望ましい。また、画像処理装置９１には、ユーザが画像処理装置９１を装着したときに、ユーザの眼に外部からの光が入らないようにする機構が設けられてもよい。例えば、画像処理装置９１に黒い布からなる部材が取り付けられて、外部からの光が遮光されてもよい。

［画像処理装置の構成］
次に、図７に示した画像処理装置９１の機能的な構成について説明する。図８は、画像処理装置９１の構成例を示すブロック図である。

図８の例では、画像処理装置９１は、クロック生成部２１、記録部２５、映像出力部２６、Ｉ／Ｐ変換部２７−１、Ｉ／Ｐ変換部２７−２、本画像処理部２８−１、本画像処理部２８−２、幾何学変形部２９−１、幾何学変形部２９−２、表示部９３−１、表示部９３−１、装着検出部１２１、照明制御部１２２、および照明部１２３から構成される。

なお、図８において、図１または図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

画像処理装置９１では、映像出力部２６により記録部２５から読み出された本画像が、Ｉ／Ｐ変換部２７乃至幾何学変形部２９を介して表示部９３に供給され、表示部９３に本画像が表示される。

また、装着検出部１２１は、センサなどからなり、画像処理装置９１のユーザへの装着を検出し、その検出結果を照明制御部１２２に供給する。照明制御部１２２は、装着検出部１２１やユーザによる操作に応じて、照明部１２３による画像処理装置９１内の照明を制御する。照明部１２３は、光源などからなり、照明制御部１２２の制御に従って画像処理装置９１内部、つまりユーザの眼や表示部９３の近傍を照明する。

［コンテンツ再生処理の説明］
ところで、ユーザが画像処理装置９１を装着していない時点では、照明部１２３は消灯した状態となっている。そして、ユーザが画像処理装置９１を装着し、装着検出部１２１によりユーザの画像処理装置９１の装着が検出されると、画像処理装置９１は、コンテンツ再生処理を行って、ユーザの操作に応じてコンテンツを再生する。

以下、図９のフローチャートを参照して、画像処理装置９１によるコンテンツ再生処理について説明する。

ステップＳ１２１において、照明制御部１２２は、装着検出部１２１から供給された、ユーザによる装着が検出された旨の検出結果に基づいて、照明部１２３を点灯させる。照明部１２３が、照明制御部１２２の制御に従って画像処理装置９１内部を照明すると、画像処理装置９１を装着しているユーザには、保持部９４に付加された背景画像が見えるようになる。

ステップＳ１２２において、画像処理装置９１は、ユーザによりコンテンツの再生が指示されたか否かを判定する。例えば、ユーザが画像処理装置９１を操作して、所望のコンテンツ（本画像）の再生を指示すると、再生が指示されたと判定される。

ステップＳ１２２において、再生が指示されていないと判定された場合、処理はステップＳ１２２に戻り、再生が指示されるまで上述した処理が繰り返される。

これに対して、ステップＳ１２２において、再生が指示されたと判定された場合、ステップＳ１２３において、照明制御部１２２は、照明部１２３を制御し、画像処理装置９１内部の照明を暗くさせる。すなわち、照明部１２３は、照明制御部１２２の制御に従って、徐々に照明を暗くしていく。なお、このとき、照明が完全に消灯されるようにしてもよいし、わずかな明るさで照明が点灯した状態とされるようにしてもよい。

また、本画像が指定されて、その本画像の再生が指示されると、映像出力部２６は、指定された本画像を記録部２５から読み出す。そして、その後、ステップＳ１２４乃至ステップＳ１２７の処理が行われる。すなわち、左眼用の本画像が、映像出力部２６から、Ｉ／Ｐ変換部２７−１乃至幾何学変形部２９−１を介して表示部９３−１に供給される。また、右眼用の本画像が、映像出力部２６から、Ｉ／Ｐ変換部２７−２乃至幾何学変形部２９−２を介して表示部９３−２に供給される。

なお、ステップＳ１２４乃至ステップＳ１２７の処理は、図４のステップＳ４２乃至ステップＳ４５の処理と同様であるので、その説明は省略する。

ステップＳ１２８において、表示部９３は、幾何学変形部２９から供給された本画像、すなわちコンテンツの画像を立体表示して、コンテンツ再生処理は終了する。

具体的には、表示部９３−１は左眼用の本画像を表示し、表示部９３−２は右眼用の本画像を表示する。これにより、ユーザの左眼と右眼には、それぞれ左眼用および右眼用の本画像が観察され、本画像が立体的に知覚される。

また、ユーザにより画像処理装置９１が操作され、コンテンツの再生停止または一時停止が指示されると、画像処理装置９１は本画像の再生を停止し、照明部１２３は照明制御部１２２の制御に従って照明を点灯させる。

以上のようにして、画像処理装置９１は、ユーザの操作に応じて本画像を立体表示する。

従来、ヘッドマウントディスプレイでは、視覚的に大画面に相当する画像が表示されるような設計が可能であったが、ユーザは、ヘッドマウントディスプレイを着用する前に、既に表示画面が小さいことを認識している。そのため、ヘッドマウントディスプレイでは、表示した画像を心理的に大きく感じさせることは困難であった。

これに対して、画像処理装置９１では、表示部９３の表示画面を囲む保持部９４の表面部に背景画像を貼り付けることで、背景画像上の被写体の一部として本画像を表示させ、あたかも大画面に表示されたコンテンツを鑑賞しているように感じさせることができる。このように画像処理装置９１によれば、画質を劣化させることなく、より効果的に本画像を表示することができる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 画像処理装置， ２５ 記録部， ２８−１，２８−２，２８ 本画像処理部， ３０−１，３０−２，３０ 背景画像処理部， ３３ 表示部， ６２ 本画像処理部， ６４ 背景画像処理部， ６６ 表示部

Claims (14)

1. 再生対象の本画像と、人間が心理的に大きさを認識できる所定のオブジェクトが表示された背景画像とを取得する取得手段と、
   前記背景画像上の一部の領域に前記本画像が表示されるように、前記本画像と前記背景画像とを合成する合成手段と、
   前記本画像と前記背景画像の合成により得られた合成画像を表示する表示手段と
   を備える画像処理装置。
2. 前記背景画像は、スクリーンが設けられた劇場の画像、またはスクリーン若しくは表示装置が設けられた部屋の画像とされ、
   前記合成手段は、前記背景画像におけるスクリーン、または表示装置の表示画面上に前記本画像が配置されるように、前記本画像と前記背景画像を合成する
   請求項１に記載の画像処理装置。
3. 前記背景画像としての劇場または部屋には、仮想的な照明装置が設置されており、
   前記本画像の再生状態に応じて前記照明装置が点灯または消灯された状態となるように、前記合成画像の輝度値を調整する画像処理手段をさらに備える
   請求項２に記載の画像処理装置。
4. 前記合成画像の表示とともに、前記本画像に付随する音声データが再生される場合、前記音声データに基づいて、新たなチャンネルの前記音声データが生成されて、前記新たなチャンネルの前記音声データが再生されるか、または前記音声データに基づく音声の残響がより長くなるように、フィルタ処理が施された前記音声データが再生される
   請求項３に記載の画像処理装置。
5. 前記表示手段は、前記合成画像を立体表示させる
   請求項１に記載の画像処理装置。
6. 前記表示手段は、互いに視差を有する一対の前記背景画像のそれぞれに、同じ前記本画像が合成されて得られた一対の前記合成画像に基づいて、前記合成画像を立体表示する
   請求項５に記載の画像処理装置。
7. 再生対象の本画像と、人間が心理的に大きさを認識できる所定のオブジェクトが表示された背景画像とを取得する取得手段と、
   前記背景画像上の一部の領域に前記本画像が表示されるように、前記本画像と前記背景画像とを合成する合成手段と、
   前記本画像と前記背景画像の合成により得られた合成画像を表示する表示手段と
   を備える画像処理装置の画像処理方法であって、
   前記取得手段が前記本画像と前記背景画像を取得し、
   前記合成手段が前記本画像と前記背景画像を合成し、
   前記表示手段が前記合成画像を表示する
   ステップを含む画像処理方法。
8. 再生対象の本画像と、人間が心理的に大きさを認識できる所定のオブジェクトが表示された背景画像とを取得し、
   前記背景画像上の一部の領域に前記本画像が表示されるように、前記本画像と前記背景画像とを合成し、
   前記本画像と前記背景画像の合成により得られた合成画像の表示を制御する
   ステップを含む処理をコンピュータに実行させるプログラム。
9. 再生対象の本画像と、前記本画像よりも大きい背景画像とを取得する取得手段と、
   前記背景画像上の一部の領域に前記本画像が表示されるように、前記本画像と前記背景画像とを合成する合成手段と、
   前記本画像よりもサイズの大きい表示画面を有し、前記本画像と前記背景画像の合成により得られた合成画像を表示する表示手段と
   を備える画像処理装置。
10. 前記表示手段は、前記合成画像を立体表示させる
    請求項９に記載の画像処理装置。
11. 前記表示手段は、互いに視差を有する一対の前記背景画像のそれぞれに、同じ前記本画像が合成されて得られた一対の前記合成画像に基づいて、前記合成画像を立体表示する
    請求項１０に記載の画像処理装置。
12. 前記背景画像は、スクリーンが設けられた劇場の画像、またはスクリーン若しくは表示装置が設けられた部屋の画像とされ、
    前記合成手段は、前記背景画像におけるスクリーン、または表示装置の表示画面上に前記本画像が配置されるように、前記本画像と前記背景画像を合成する
    請求項１１に記載の画像処理装置。
13. 再生対象の本画像と、前記本画像よりも大きい背景画像とを取得する取得手段と、
    前記背景画像上の一部の領域に前記本画像が表示されるように、前記本画像と前記背景画像とを合成する合成手段と、
    前記本画像よりもサイズの大きい表示画面を有し、前記本画像と前記背景画像の合成により得られた合成画像を表示する表示手段と
    を備える画像処理装置の画像処理方法であって、
    前記取得手段が前記本画像と前記背景画像を取得し、
    前記合成手段が前記本画像と前記背景画像を合成し、
    前記表示手段が前記合成画像を表示する
    ステップを含む画像処理方法。
14. 再生対象の本画像と、前記本画像よりも大きい背景画像とを取得し、
    前記背景画像上の一部の領域に前記本画像が表示されるように、前記本画像と前記背景画像とを合成し、
    前記本画像よりもサイズの大きい表示画面を有する表示手段に、前記本画像と前記背景画像の合成により得られた合成画像を表示させる
    ステップを含む処理をコンピュータに実行させるプログラム。

Images