JP2011248723A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】複数の異なる視点位置から見た被写体の立体画像をより簡単に得ることができるようにする。
【解決手段】画像処理装置は、ｘｙ平面上の各位置を視点位置とする複数の元画像を記録しており、被写体を見る方向を示す視線方向が特定されると、指定された視差ｄを直径とする円ＳＣ１１と、視線方向ＳＤ１１に平行な直線との接点を、表示視点ＨＳ１２および表示視点ＨＳ１２とする。そして、画像処理装置は、表示視点ＨＳ１１と表示視点ＨＳ１２近傍の元画像を用いて、それらの表示視点の視差画像を生成し、得られた視差画像対に基づいて、立体画像を表示する。これにより、任意の視線方向に対する視差画像対を簡単に得ることができる。本発明は、画像処理装置に適用することができる。
【選択図】図６

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、複数の異なる視点位置から見た被写体の立体画像をより簡単に得ることができるようにした画像処理装置および方法、並びにプログラムに関する。

従来、異なる視点から同じ被写体を撮像して得られた１対の画像を用いて、被写体を立体表示する技術が知られている（例えば、特許文献１参照）。

例えば、通常のカメラでは、カメラの光軸が地面に対してほぼ水平となる状態で被写体が撮像され、得られた画像は地面に対して垂直な画面上に投影される。この場合、表示された画像を見るユーザの視点位置は、画像が表示される画面とほぼ垂直な直線上に位置すると仮定することができる。

そのため、このような表示系で画像を立体表示しようとする場合、ユーザの両眼視差は、画像の左右のずれとして表現される。すなわち、ユーザの視線方向と垂直な、ユーザの左右の眼が並ぶ方向に視差を有する１対の画像が用いられて、被写体が立体表示される。

特開２０１０−８５７５号公報

一方、図１に示すように、カメラ１１の光軸が地面と垂直な方向となる状態で、カメラ１１により被写体が撮像され、得られた画像を地面と平行な画面に投影する表示系では、地面に平行な画面の鉛直軸方向に対する回転角が自由度として残ることになる。なお、図１において、互いに直交する右斜め方向、左斜め方向、および縦方向は、それぞれｘ方向、ｙ方向、およびｚ方向を示している。

図１の例では、カメラ１１の光軸がｚ方向と平行になる状態で、つまり図中、上側からカメラ１１により被写体Ｈ１１が撮像され、被写体Ｈ１１の画像は、ｘｙ平面と平行な画面に表示されることになる。

そのため、このような表示系では、ユーザは、ｚ方向を回転軸として、さまざまな方向から画面を覗き込むことができるようになるので、被写体Ｈ１１を立体表示することは困難となる。

立体画像の表示方法として、視差バリヤ方式やレンチキュラ方式に代表される裸眼表示方式で画像を表示させる場合、画像の表示デバイスに設けられた、スリットやレンチキュラレンズの並ぶ方向によって、物理的に視差の方向が限定されてしまう。例えば、図中、ｘ方向にスリットやレンチキュラレンズが並べられている場合、ｘ方向に視差を有する画像対が用いられて被写体Ｈ１１が立体表示されるため、ユーザは、視線方向がｙ方向と平行になるように画面を見なければ、被写体Ｈ１１は立体的に観察されない。

なお、液晶シャッタ方式（時分割シャッタ方式）で画像を立体表示する場合、裸眼表示方式の場合とは異なり、視差方向の物理的な制限はないので、ユーザがどの方向から画面を見ても、原理的には被写体Ｈ１１を立体表示することが可能である。

しかしながら、液晶シャッタ方式で立体画像を表示させる場合、ユーザの視線方向と垂直な方向に視差を有する画像対が必要となる。例えば、ユーザの視線方向がｘ方向と平行な方向であれば、画像の立体表示には、ｙ方向に視差を有する画像対が必要となり、ユーザの視線方向がｙ方向と平行な方向であれば、ｘ方向に視差を有する画像対が必要となる。

このように、液晶シャッタ方式では、ユーザの視線方向と垂直な方向に視差を有する画像対を用いれば、ユーザの視線方向によらず、被写体Ｈ１１を立体表示させることは可能である。ところが、通常、立体視用のコンテンツ等の画像は、ユーザの視線方向の変化は想定されていないため、特定方向に視差を有する画像対のみが用意されており、ユーザの視線方向の変化に対応することはできなかった。

本発明は、このような状況に鑑みてなされたものであり、複数の異なる視点位置から見た被写体の立体画像をより簡単に得ることができるようにするものである。

本発明の一側面の画像処理装置は、立体画像を表示するための互いに視差を有する視差画像対を生成する画像処理装置であって、所定面上において、前記視差画像対の視差の大きさを直径とする円と、前記立体画像上の被写体を見る視線方向に平行な直線との接点を特定し、前記接点を前記視差画像の視点位置である表示視点とする視点位置特定手段と、前記所定面上の複数の異なる位置を視点として撮像された複数の元画像のうち、前記表示視点近傍に視点があるいくつかの前記元画像に基づいて前記視差画像を生成する視差画像生成手段とを備える。

画像処理装置には、前記視差画像対に基づいて前記立体画像を表示させる表示制御手段をさらに設けることができる。

前記表示制御手段には、鉛直方向と略垂直な表示画面を有する表示手段に前記立体画像を表示させ、前記表示手段近傍にいるユーザの位置を検出することで、前記視線方向を特定する視線方向特定手段をさらに設けることができる。

前記表示制御手段には、前記視線方向が変化した場合、変化後の前記視線方向に対する前記立体画像を表示させることができる。

画像処理装置には、前記視線方向の入力を受け付ける入力手段と、予め定められた方向から表示手段に表示される前記立体画像を見るユーザに、前記立体画像上の被写体が立体的に観察されるように、前記視線方向により定まる角度だけ前記視差画像を回転させる回転処理手段とをさらに設け、前記表示制御手段には、回転後の前記視差画像対に基づいて前記表示手段に前記立体画像を表示させることができる。

前記表示制御手段には、前記視線方向が変化した場合、変化後の前記視線方向に対する前記立体画像を表示させることができる。

画像処理装置には、前記円上の複数の点について、前記点近傍に視点があるいくつかの前記元画像に基づいて、前記点の位置を視点位置とする記録用元画像を生成する記録用元画像生成手段と、前記記録用元画像を記録する記録手段とをさらに設け、前記視差画像生成手段には、前記表示視点近傍に視点があるいくつかの前記記録用元画像に基づいて前記視差画像を生成させることができる。

前記視差画像生成手段には、前記円上において、前記表示視点に隣接する２つの前記記録用元画像の視点のうち、より前記表示視点に近い第１の視点と、前記円上において前記第１の視点とは反対側にある前記記録用元画像の第２の視点とを結ぶ直線、および前記２つの前記記録用元画像の視点のうち、より前記表示視点に遠い第３の視点と前記表示視点を結ぶ直線の交点を視点とする前記記録用元画像を、前記第１の視点の前記記録用元画像および前記第２の視点の前記記録用元画像に基づいて生成させるとともに、前記交点を視点とする前記記録用元画像および前記第３の視点の前記記録用元画像に基づいて、前記表示視点の前記視差画像を生成させることができる。

前記視差画像生成手段には、前記円上において視点が前記表示視点に隣接する２つの前記記録用元画像に基づいて、前記視差画像を生成させることができる。

前記視点位置特定手段には、前記視差が変更された場合、前記視差の変更前の前記円と中心位置が同じである、変更後の前記視差を直径とする円と、前記視線方向に平行な直線との接点を前記視差の変更後の前記表示視点とさせ、前記視差画像生成手段には、前記視差が変更された場合、所定の前記記録用元画像と、前記視差の変更前の前記円上において前記所定の前記記録用元画像の視点とは反対側に視点がある前記記録用元画像とに基づいて、前記視差の変更後の前記円上に視点が位置する前記記録用元画像を生成させ、前記視差の変更後の前記円上における、前記視差の変更後の前記表示視点近傍に視点があるいくつかの前記記録用元画像に基づいて、前記視差画像を生成させることができる。

本発明の一側面の画像処理方法またはプログラムは、立体画像を表示するための互いに視差を有する視差画像対を生成する画像処理方法またはプログラムであって、所定面上において、前記視差画像対の視差の大きさを直径とする円と、前記立体画像上の被写体を見る視線方向に平行な直線との接点を特定して、前記接点を前記視差画像の視点位置である表示視点とし、前記所定面上の複数の異なる位置を視点として撮像された複数の元画像のうち、前記表示視点近傍に視点があるいくつかの前記元画像に基づいて前記視差画像を生成するステップを含む。

本発明の一側面においては、立体画像を表示するための互いに視差を有する視差画像対を生成する画像処理において、所定面上において、前記視差画像対の視差の大きさを直径とする円と、前記立体画像上の被写体を見る視線方向に平行な直線との接点が特定されて、前記接点が前記視差画像の視点位置である表示視点とされ、前記所定面上の複数の異なる位置を視点として撮像された複数の元画像のうち、前記表示視点近傍に視点があるいくつかの前記元画像に基づいて前記視差画像が生成される。

本発明の一側面によれば、複数の異なる視点位置から見た被写体の立体画像をより簡単に得ることができる。

従来の立体画像の撮像系と表示系の関係を説明するための図である。 本発明を適用した画像処理装置による立体画像の表示について説明する図である。 元画像について説明する図である。 本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。 立体表示処理を説明するフローチャートである。 視差画像の表示視点について説明する図である。 視差画像の生成について説明する図である。 画像処理装置の他の構成例を示す図である。 立体表示処理を説明するフローチャートである。 記録用元画像の生成について説明する図である。 視差画像の生成について説明する図である。 立体表示処理を説明するフローチャートである。 視差画像の生成について説明する図である。 画像処理装置の他の構成例を示す図である。 立体表示処理を説明するフローチャートである。 画像処理装置の他の構成例を示す図である。 立体表示処理を説明するフローチャートである。 立体表示処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

〈第１の実施の形態〉
［本発明の概要］
本発明を適用した画像処理装置は、例えば図２に示すように、地面に対して表示画面が水平な表示部４１に、被写体を立体的に表示するものである。なお、図２において、縦方向、横方向、および奥行き方向は、ｙ方向、ｘ方向、ｚ方向を示している。

画像処理装置は、例えば液晶シャッタ方式で、ｘｙ平面に平行な画面に互いに視差を有する視差画像を交互に表示させることで、立体画像を表示させる。すなわち、視差画像上の被写体が立体表示される。このとき、画像処理装置は、表示される立体画像を見ているユーザのｘｙ平面上の位置を検出し、その位置からユーザの視線方向を特定する。

なお、ユーザは、表示部４１の端近傍から、ほぼｚ方向に表示部４１を見下ろすように立体画像を見るものとする。また、ユーザの視線方向は、ｘｙ平面と平行な方向であるものとする。

画像処理装置は、ユーザの視線方向を特定すると、その視線方向に基づいて、ユーザの視点位置から立体画像を見たときに、立体画像上の被写体が立体的に観察されるように、立体画像の表示を制御する。

より具体的には、図３の左上に示すように、画像処理装置は、ｘｙ平面の各点を視点として特定の被写体を撮像して得られた、互いに視差を有する複数の画像（以下、元画像と称する）を記録している。

なお、図３中、縦方向および横方向は、それぞれｙ方向およびｘ方向を示している。また、図中、１つの長方形は、１つの元画像を表しており、図中、右下の１つの円は、１つの元画像の視点を表している。

図３の例では、５（ｘ方向）×５（ｙ方向）の合計２５枚の元画像が予め用意されている。図３において、アレイ状に並べられている元画像の位置関係は、各元画像の視点位置の位置関係と同じとなっている。したがって、これらの元画像は、互いに異なる視点から見た同じ被写体が表示される画像となっている。

以下では、図３の左上に示すようにアレイ状に並べられた元画像を、図中、右下に示すように、元画像の視点位置を格子点とするｘｙ平面上の格子点の集合として考えることとする。ここで、図中、右下の各視点近傍には、その視点のｘｙ座標系における座標が示されている。例えば、図中、右下の格子点の集合において、最上段の左端の視点近傍にある（１，１）は、その視点のｘｙ座標系における座標（ｘ，ｙ）を表している。すなわち、座標（１，１）は、ｘ座標とｙ座標がともに１である視点の位置を表している。

画像処理装置では、ｘｙ平面上の格子点の集合は、図２中、表示部４１の手前側に位置するものとして、各視点の元画像から視差画像が生成される。すなわち、ｘｙｚ空間上において、表示部４１の表示画面の中心と、各元画像の視点との位置関係は、元画像の被写体と各元画像の視点との位置関係と同じであるものとされる。

なお、このような元画像は、例えば、多視点画像をアレイ状に並べた形で同時に取得可能な、ライトフィールドカメラなどにより撮像される。また、元画像は、静止画像であってもよいし、動画像であってもよい。

画像処理装置は、ユーザの視線方向と表示すべき視差画像の視差ｄとから、ｘｙ平面上において、視線方向と垂直な方向に並ぶ、距離が視差ｄと同じ長さとなる点（以下、表示視点と称する）のペアを特定する。そして、画像処理装置は、各表示視点について、表示視点近傍に視点位置がある元画像をいくつか選択し、選択した元画像から各表示視点の視差画像を生成し、得られた視差画像対に基づいて立体画像を表示する。

このようにして得られる視差画像のペア（対）は、ｘｙ平面上においてユーザの視線方向と垂直な方向に視差ｄを有しているから、ユーザには、視差画像上の被写体が立体的に観察されることになる。

［画像処理装置の構成］
次に、上述した画像処理装置の具体的な実施の形態について説明する。図４は、本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。なお、図中、図２における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

図４の画像処理装置７１は、表示部４１、取得部８１、記録部８２、センサ８３、画像処理部８４、および表示制御部８５から構成される。

表示部４１は、表示画面が鉛直方向と略垂直となるように、つまり地面と平行となるようになされており、表示制御部８５から供給された視差画像に基づいて、液晶シャッタ方式で立体画像を表示する。

取得部８１は、例えば、画像処理装置７１に装着されたリムーバブルメディアやカメラから、図３を参照して説明した元画像を取得して記録部８２に供給し、記録させる。記録部８２は、取得部８１から供給された元画像を記録するとともに、必要に応じて元画像を画像処理部８４に供給する。より詳細には、記録部８２は、各元画像と、それらの元画像の視点位置とを対応付けて記録する。

センサ８３は、表示部４１を支持するテーブルや表示部４１の筐体に、表示部４１の表示画面を囲むように設けられた、複数の対人センサや画像センサなどからなり、表示部４１近傍にいるユーザ（人）の位置を検出し、その検出結果を画像処理部８４に供給する。

画像処理部８４は、センサ８３から供給された検出結果と、記録部８２に記録された元画像とから視差画像のペア（対）を生成する。画像処理部８４は、視線方向特定部１０１、視点位置特定部１０２、および視差画像生成部１０３を備えている。

視線方向特定部１０１は、センサ８３から供給されたユーザの位置の検出結果から、ユーザの視線方向を特定し、得られた視線方向を視点位置特定部１０２に供給する。視点位置特定部１０２は、予め指定された視差ｄと、視線方向特定部１０１からの視線方向とから、視差画像の視点位置である表示視点を特定し、視差画像生成部１０３に供給する。

視差画像生成部１０３は、視点位置特定部１０２から供給された表示視点に基づいて、必要な元画像を記録部８２から読み出し、読み出した元画像を用いて視差画像を生成する。視差画像生成部１０３は、生成した視差画像のペアを表示制御部８５に供給する。表示制御部８５は、視差画像生成部１０３から供給された視差画像のペアを表示部４１に供給し、立体表示させる。

［立体表示処理の説明］
ところで、ユーザが画像処理装置７１を操作して、立体画像の表示を指示すると、画像処理装置７１は、ユーザの指示に応じて立体表示処理を行い、立体画像を表示させる。以下、図５のフローチャートを参照して、画像処理装置７１による立体表示処理について説明する。

ステップＳ１１において、視線方向特定部１０１は、ユーザの視線方向を特定する。すなわち、センサ８３は、表示部４１の周囲にいるユーザの位置を検出し、その検出結果を視線方向特定部１０１に供給する。すると、視線方向特定部１０１は、センサ８３からの検出結果から、ユーザの視線方向を特定し、視点位置特定部１０２に供給する。例えば、ｘｙ平面と平行な平面上におけるユーザの位置を始点とし、表示部４１の表示画面中心の位置を終点とするベクトルの方向が、視線方向とされる。

なお、センサ８３により、表示部４１の周囲に複数のユーザが検出された場合には、何れか１人のユーザが選択され、そのユーザの視線方向が特定される。画像処理装置７１では、ユーザの視線方向が変化すると、視差画像の視差の方向も変化するが、視差画像の時間的な安定化のため、一度、複数のユーザから１人のユーザが選択された場合は、立体画像の再生中は、継続してそのユーザが選択されることが望ましい。

ステップＳ１２において、視点位置特定部１０２は、視線方向特定部１０１から供給されたユーザの視線方向と、予め指定されている視差ｄとから、視差画像の表示視点のペアを求める。ここで、視差ｄは、例えば立体画像の視聴時に想定されるユーザの両眼の間隔の長さであり、ユーザにより指定されるようにしてもよいし、予め定められていてもよい。

例えば、視点位置特定部１０２は、図６に示すように、ｘｙ平面上において、元画像の各視点（格子点）の集合の中心位置（以下、基準位置と称する）を中心とする、半径ｄ／２の円ＳＣ１１を仮想的に描く。なお、図６において、縦方向および横方向は、ｙ方向およびｘ方向を示しており、１つの円は、１つの元画像の視点を表している。

半径ｄ／２の円ＳＣ１１を描くと、視点位置特定部１０２は、次にユーザの視線方向ＳＤ１１と、ｘ方向に平行な仮想的なｘ軸ＡＸ１１とのなす角θを求め、円ＳＣ１１の角θの接線Ｌ１１と接線Ｌ１２を求める。これらの接線Ｌ１１と接線Ｌ１２は、それぞれ視線方向ＳＤ１１と平行な直線となる。

視点位置特定部１０２は、このようにして接線Ｌ１１と接線Ｌ１２を求めると、得られたこれらの接線Ｌ１１および接線Ｌ１２と、円ＳＣ１１との接点を表示視点のペアとする。図６の例では、表示視点ＨＳ１１と表示視点ＨＳ１２とが得られ、これらの表示視点ＨＳ１１と表示視点ＨＳ１２の距離は、表示しようとする視差画像間の視差ｄとなっており、かつ表示視点ＨＳ１１と表示視点ＨＳ１２を結ぶ直線は、視線方向ＳＤ１１と直交する。したがって、これらの表示視点ＨＳ１１と表示視点ＨＳ１２を視点位置とする視差画像のペアを立体表示すれば、視線方向ＳＤ１１から視差画像を見るユーザには、視差画像上の被写体が立体的に見えるはずである。

なお、表示視点ＨＳ１１は、立体画像の表示時において、ユーザの左眼により観察される左眼用の視差画像の視点であり、表示視点ＨＳ１２は、ユーザの右眼により観察される右眼用の視差画像の視点である。これらの右眼用と左眼用の視差画像が液晶シャッタ方式で表示されることで、立体画像が表示される。

図５のフローチャートの説明に戻り、視点位置特定部１０２は、表示視点のペアを求めると、求めた表示視点を視差画像生成部１０３に供給し、処理はステップＳ１３に進む。

ステップＳ１３において、視差画像生成部１０３は、視点位置特定部１０２から供給された表示視点に基づいて、ｘｙ平面上において表示視点近傍に視点がある元画像をいくつか選択する。

例えば、図６の例では、視差画像生成部１０３は、表示視点ＨＳ１１近傍にあり、表示視点ＨＳ１１を囲む４つの視点ＳＰ１１乃至視点ＳＰ１４を選択し、それらの視点の元画像を選択するとともに、選択した元画像を記録部８２から読み出す。同様に、視差画像生成部１０３は、表示視点ＨＳ１２近傍に視点がある４つの視点を選択し、それらの視点の元画像を選択するとともに、選択した元画像を記録部８２から読み出す。

ステップＳ１４において、視差画像生成部１０３は、表示視点ごとに、ステップＳ１３で選択された、表示視点近傍にある視点の元画像を用いて視差画像を生成する。

例えば、視差画像生成部１０３は、図７に示すように、表示視点ＨＳ１１近傍に視点がある元画像を合成することで、表示視点ＨＳ１１を視点とする視差画像を生成する。なお、図７は、図６の表示視点ＨＳ１１近傍を拡大表示した図であり、図中、図６における場合と対応する部分には同一の符号を付してあり、その説明は省略する。また、図７中、縦方向および横方向は、ｙ方向およびｘ方向を示している。

まず、視差画像生成部１０３は、座標（ｘ’，ｙ’）に位置する視点ＳＰ１１の元画像と、座標（ｘ’，ｙ’＋１）に位置する視点ＳＰ１２の元画像とを、モーフィング法などにより合成して、座標（ｘ’，ｙ）に位置する視点Ｇ１１の画像を生成する。

例えば、元画像の合成では、２つの元画像の画素の画素値を、視点Ｇ１１から、視点ＳＰ１１および視点ＳＰ１２までの距離に応じた比で内挿することにより、視点Ｇ１１の画像の画素の画素値が求められる。

このようにして、視点Ｇ１１の画像を生成すると、視差画像生成部１０３は、同様にして、座標（ｘ’＋１，ｙ’）に位置する視点ＳＰ１３の元画像と、座標（ｘ’＋１，ｙ’＋１）に位置する視点ＳＰ１４の元画像とをモーフィング法などにより合成し、座標（ｘ’＋１，ｙ）に位置する視点Ｇ１２の画像を生成する。

さらに、視差画像生成部１０３は、視点Ｇ１１の画像と、視点Ｇ１２の画像とをモーフィング法などにより合成して、座標（ｘ，ｙ）に位置する表示視点ＨＳ１１の視差画像を生成する。なお、図７の例では、ｙ方向に並ぶ元画像の合成を行なってから、ｘ方向に並ぶ画像の合成を行なって視差画像を生成したが、ｘ方向に並ぶ元画像の合成を行なってから、ｙ方向に並ぶ画像の合成を行なって、視差画像を生成するようにしてもよい。

図５のフローチャートの説明に戻り、表示視点のペアの視差画像を生成すると、視差画像生成部１０３は、生成された視差画像対を表示制御部８５に供給し、処理はステップＳ１５に進む。

ステップＳ１５において、表示制御部８５は、視差画像生成部１０３から供給された視差画像対を表示部４１に供給し、液晶シャッタ方式により立体表示させる。これにより、液晶シャッタが設けられた専用の眼鏡を装着して表示部４１を見ているユーザに、視差画像が立体的に見えることになる。つまり、立体画像が観察されることになる。

ステップＳ１６において、視線方向特定部１０１は、ユーザの視線方向が変化したか否かを判定する。例えば、センサ８３から供給されたユーザの検出結果から、ユーザの視線方向の変化が検出された場合、視線方向が変化したと判定される。

ステップＳ１６において、視線方向が変化したと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、ユーザの新たな視線方向が検出され、その視線方向と垂直な方向に視差を有する視差画像対が生成され、立体画像が表示される。

一方、ステップＳ１６において、視線方向が変化していないと判定された場合、ステップＳ１７において、画像処理装置７１は、立体画像を表示する処理を終了するか否かを判定する。例えば、ユーザにより画像処理装置７１が操作され、立体画像の表示の終了が指示された場合、処理を終了すると判定される。

ステップＳ１７において、処理を終了しないと判定された場合、処理はステップＳ１６に戻り、上述した処理が繰り返される。すなわち、ユーザの視線方向が変化するまで、同じ立体画像が継続して表示される。

これに対して、ステップＳ１７において処理を終了すると判定された場合、画像処理装置７１は立体画像の表示を終了させ、立体表示処理は終了する。

以上のようにして、画像処理装置７１は、センサ８３の出力から、表示部４１の周囲にいるユーザの視線方向を検出し、その視線方向から表示すべき視差画像の表示視点を求める。そして、画像処理装置７１は、複数の異なる視点の元画像のうち、表示視点近傍に視点のある元画像を合成して、表示視点の視差画像を生成する。

このように、ユーザの視線方向を検出し、視線方向から視差画像の表示視点を求めて、表示視点近傍に視点がある元画像から視差画像を生成することで、ユーザの視点位置によらず、ユーザに被写体が立体的に観察される視差画像をより簡単に得ることができる。

しかも、画像処理装置７１によれば、任意の視線方向に対応する視差画像が簡単に得られるので、立体画像の視聴中にユーザの視線方向が変化したとしても、視線方向の変化に追従して、異なる方向に視差を有する視差画像を立体表示することができる。つまり、ユーザが、表示部４１の周囲３６０度のどの位置から表示部４１の表示画面を見ても、ユーザには、視差画像上の被写体が立体的に見えることになる。

以上のように、画像処理装置７１によれば、既存の３次元画像表示デバイスを利用して、３６０度の自由視点から被写体を立体視できるように、立体画像を表示するという新たな機能が実現される。なお、このような画像処理装置７１は、テーブル埋め込み型の情報表示装置や、手術画像の投影装置等に適用可能である。

特に、画像処理装置７１は、例えば、手術中の術部をライトフィールドカメラで真上から撮像し、様々な位置から見た術部を３次元に再構築して立体表示するプレイバックシステムに適用すれば、効果的である。このような場合、ライトフィールドカメラで撮像された元画像が画像処理装置７１に供給され、画像処理装置７１において、これらの元画像から、手術中の画像が視差画像として生成され、立体表示される。

従来のプレイバックシステムでは、一定のベースライン上の視差画像が立体表示されるだけであったが、画像処理装置７１によれば、特定のベースラインによらず、どの方向からでも被写体を立体的に表示することができる。これにより、術中の器具の動きや、手術対象の臓器等の形状をより臨場感を持たせて再現することが可能となる。また、術者の視点で手術中の画像を視聴することが可能となる。

なお、以上においては、視差ｄが、元画像の視点（格子点）の集合における視点間の最大間隔以下である場合を例に説明した。この場合、視差画像は、表示視点近傍に視点がある元画像の内挿による合成によって生成される。

このような場合に限らず、視差ｄが、元画像の視点の集合における視点間の最大間隔より大きくなるようにしてもよい。そのような場合、視差画像は、表示視点を囲む最近傍の４つの視点の元画像の内挿および外挿による合成によって、生成される。

また、元画像の視点間隔が充分狭く、空間分解能に優れている場合には、表示視点の視差画像を生成するのではなく、表示視点に最も近い位置に視点がある元画像をそのまま視差画像として表示させるようにしてもよい。このような場合でも、いくつかの元画像から視差画像を生成する場合とほぼ同じ効果を得ることができ、被写体を充分立体的に表示することが可能である。

〈第２の実施の形態〉
［画像処理装置の構成］
また、以上において、ユーザの両眼の間隔である視差ｄが一定であると仮定した場合、ユーザの視線方向によらず、半径ｄ／２の円周上に表示視点が位置することになる。そこで、記録しておく元画像群の情報量を圧縮するために、取得された元画像を用いて、円周上に視点がある元画像を記録用に生成し、生成された、円周上に視点がある元画像（以下、記録用元画像とも称する）のみを記録しておくようにしてもよい。

そのような場合、画像処理装置７１は、例えば図８に示すように構成される。

図８に示す画像処理装置７１は、図４の画像処理装置７１に加えて、さらに記録用元画像生成部１３１が設けられており、その他の構成は、図４の画像処理装置７１と同じとされている。

すなわち、図８の画像処理装置７１では、取得部８１と記録部８２との間に記録用元画像生成部１３１が設けられている。なお、図８において、図４における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

記録用元画像生成部１３１は、取得部８１により取得された元画像から、ｘｙ平面上の所定の位置を視点とする記録用元画像を生成し、記録部８２に供給する。なお、生成された記録用元画像は、記録部８２に記録される。

［立体表示処理の説明］
次に、図９のフローチャートを参照して、図８の画像処理装置７１により行われる立体表示処理について説明する。

ステップＳ４１において、記録用元画像生成部１３１は、予め指定された視差ｄに基づいて、記録用元画像の視点位置を定める。

具体的には、取得部８１が複数の元画像を取得して記録用元画像生成部１３１に供給する。すると、記録用元画像生成部１３１は、例えば図１０に示すように、ｘｙ平面上において、元画像の各視点（格子点）の集合の基準位置を中心とする、半径ｄ／２の円ＳＣ１１を仮想的に描く。

なお、図１０において、縦方向および横方向は、ｙ方向およびｘ方向を示しており、円ＳＣ１１の円周上と異なる位置の１つの円は、１つの元画像の視点を表している。また、図１０において、図６における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

ｘｙ平面上に円ＳＣ１１を描くと、次に記録用元画像生成部１３１は、円ＳＣ１１の円周を等分する１２個の点を、記録用元画像の視点ＶＰ１乃至視点ＶＰ１２とする。なお、円ＳＣ１１を等分する点（視点）の数や位置は、任意の数や位置とされる。また、記録用元画像の視点は、必ずしも円ＳＣ１１の円周を等分する点である必要はない。

ステップＳ４２において、記録用元画像生成部１３１は、取得部８１から供給された元画像を用いて、各視点の記録用元画像を生成し、記録部８２に供給する。

例えば、記録用元画像生成部１３１は、図１０の視点ＶＰ１乃至視点ＶＰ１２のそれぞれを視点とする合計１２個の記録用元画像を生成する。具体的には、視点ＶＰ１、視点ＶＰ４、視点ＶＰ７、および視点ＶＰ１０については、既に同じ位置を視点とする元画像が存在するので、それらの元画像が、視点ＶＰ１、視点ＶＰ４、視点ＶＰ７、および視点ＶＰ１０のそれぞれの記録用元画像とされる。

また、その他の視点の記録用元画像は、その記録用元画像の視点を囲む最近傍の４つの視点の元画像のモーフィング法による合成によって、生成される。つまり、図１０の例では、視点ＶＰ２、視点ＶＰ３、視点ＶＰ５、視点ＶＰ６、視点ＶＰ８、視点ＶＰ９、視点ＶＰ１１、および視点ＶＰ１２の記録用元画像が、近傍に視点がある元画像の内挿による合成によって、生成される。

このようにして記録用元画像が得られると、記録用元画像生成部１３１は、生成した記録用元画像を記録部８２に供給する。そして、ステップＳ４３において、記録部８２は、記録用元画像生成部１３１から供給された記録用元画像を記録する。

このように、ｘｙ平面上における基準位置を中心とする半径ｄ／２の円周上に視点がある記録用元画像を生成し、記録しておくことで、記録しておく画像量を削減することができる。例えば、図１０の例であれば、２５個の元画像を記録しておかなければならないところを、１２個の記録用元画像を記録しておけば済むようになる。

記録用元画像が記録されると、その後、ステップＳ４４およびステップＳ４５の処理が行われて、表示視点が求められるが、これらの処理は図５のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。

ステップＳ４６において、視差画像生成部１０３は、視点位置特定部１０２から供給された表示視点ごとに、表示視点近傍に視点がある記録用元画像を選択する。

具体的には、図１０の円ＳＣ１１上に位置する点が表示視点として求められるので、視点ＶＰ１乃至視点ＶＰ１２のうち、円ＳＣ１１上において表示視点の両側に隣接する視点の記録用元画像が選択される。例えば、１つの表示視点が円ＳＣ１１上の視点ＶＰ１と視点ＶＰ２の間に位置する場合、視点ＶＰ１の記録用元画像と、視点ＶＰ２の記録用元画像が選択される。

視差画像生成部１０３は、表示視点近傍に視点がある記録用元画像を選択すると、選択された記録用元画像を記録部８２から読み出して、処理はステップＳ４７に進む。

ステップＳ４７において、視差画像生成部１０３は、表示視点と、選択された記録用元画像の視点のうちの表示視点から遠い方の視点とを結ぶ直線、および選択された記録用元画像の視点のうちの表示視点から近い方の視点と基準位置とを結ぶ直線の交点を求める。この交点は、表示視点ごとに求められる。

ステップＳ４８において、視差画像生成部１０３は、表示視点ごとに求めた交点の位置を視点位置とする記録用元画像を生成する。そして、ステップＳ４９において、視差画像生成部１０３は、ステップＳ４８で求めた記録用元画像と、表示視点から遠い方の視点の記録用元画像とを用いて、視差画像を生成する。

例えば、図１１に示すように、基準位置Ｏ１１を中心とする半径ｄ／２の円ＳＣ１１上の表示視点ＨＳ２１と表示視点ＨＳ２２の視差画像を生成する場合について考える。

なお、図１１において、図１０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また、図１１の右側には、図中、左上の表示視点ＨＳ２１近傍の部分が拡大されて示されている。

まず、表示視点ＨＳ２１の視差画像を生成する場合、視差画像生成部１０３は、ステップＳ４６において、表示視点ＨＳ２１に隣接する視点ＶＰ１１と視点ＶＰ１２を選択する。そして、視差画像生成部１０３は、これらの視点ＶＰ１１と視点ＶＰ１２のうち、より表示視点ＨＳ２１に近い方の視点ＶＰ１２と、基準位置Ｏ１１とを結ぶｘｙ平面上の直線Ｌ３１を求める。なお、直線Ｌ３１は、円ＳＣ１１上において視点ＶＰ１２と対向する位置にある視点ＶＰ６、すなわち視点ＶＰ１２の反対側に位置する視点ＶＰ６と、視点ＶＰ１２とを結ぶ直線ということもできる。

次に、視差画像生成部１０３は、表示視点ＨＳ２１に隣接する視点ＶＰ１１と視点ＶＰ１２のうち、より表示視点ＨＳ２１に遠い方の視点ＶＰ１１と、表示視点ＨＳ２１とを結ぶ直線Ｌ３２を求め、この直線Ｌ３２と、直線Ｌ３１との交点ＩＰ１１を求める。この交点ＩＰ１１を求める処理がステップＳ４７の処理である。

さらに、視差画像生成部１０３は、直線Ｌ３１上に位置する、視点ＶＰ１２の記録用元画像と、視点ＶＰ６の記録用元画像とを、モーフィング法などにより合成し、交点ＩＰ１１を視点位置とする記録用元画像を生成する。

より具体的には、視差画像生成部１０３は、視点ＶＰ１２から交点ＩＰ１１までの距離ＲＤを求め、その距離ＲＤと、視点ＶＰ１２から視点ＶＰ６までの距離ｄとの比、つまりｄ：ＲＤの比で、視点ＶＰ１２の記録用元画像と視点ＶＰ６の記録用元画像を外挿する。この交点ＩＰ１１を視点位置とする記録用元画像を生成する処理が、ステップＳ４８の処理である。

さらに、視差画像生成部１０３は、視点ＶＰ１１の記録用元画像と、交点ＩＰ１１を視点位置とする記録用元画像とを、モーフィング法などにより合成し、表示視点ＨＳ２１の視差画像を生成する。

より具体的には、視差画像生成部１０３は、視点ＶＰ１１から表示視点ＨＳ２１までの距離ＤＸ１１と、表示視点ＨＳ２１から交点ＩＰ１１までの距離ＤＸ１２とを求める。そして、視差画像生成部１０３は、ＤＸ１１：ＤＸ１２の比で、交点ＩＰ１１の記録用元画像と、視点ＶＰ１１の記録用元画像とを内挿し、表示視点ＨＳ２１の視差画像を生成する。この視差画像を生成する処理がステップＳ４９の処理である。

なお、表示視点ＨＳ２２の視差画像も、表示視点ＨＳ２１の視差画像と同様にして生成される。このようにして、表示視点近傍に視点がある記録用元画像から視差画像を生成すれば、求めた表示視点を視点とする実際の画像により近い視差画像を得ることができる。

また、図１１の例では、表示視点ＨＳ２１から、より遠い方の視点ＶＰ１１の記録用元画像と、より近い方の視点ＶＰ１２近傍の交点ＩＰ１１の記録用元画像とを合成して視差画像を生成すると説明した。しかし、これに限らず、より近い方の視点ＶＰ１２の記録用元画像と、より遠い方の視点ＶＰ１１近傍の交点ＩＰ１１に相当する点の記録用元画像とを合成して表示視点ＨＳ２１の視差画像を生成するようにしてもよい。

但し、この場合、視点ＶＰ１１近傍の交点ＩＰ１１に相当する点の位置は、交点ＩＰ１１よりも円ＳＣ１１から遠い位置となるため、記録用元画像の生成時に外挿により生じる画質の劣化が、交点ＩＰ１１の記録用元画像の生成時よりも大きくなる。そのため、表示視点ＨＳ２１により遠い方の視点ＶＰ１１と、交点ＩＰ１１の記録用元画像を用いて、表示視点ＨＳ２１の視差画像を生成することが望ましい。

図９のフローチャートの説明に戻り、視差画像が生成されると、その後、ステップＳ５０乃至ステップＳ５２の処理が行われて立体表示処理は終了するが、これらの処理は、図５のステップＳ１５乃至ステップＳ１７の処理と同様であるので、その説明は省略する。

このように、画像処理装置７１では、取得された元画像から記録用元画像を生成し、記録用元画像のみを記録しておくので、視差画像を得るのに必要となる画像の記録容量を低減させることができる。また、画像処理装置７１では、ユーザの視線方向から表示視点を求め、記録されている記録用元画像を用いて、表示視点の視差画像を生成するので、ユーザの視点位置によらず、ユーザに被写体が立体的に観察される視差画像をより簡単に得ることができる。

なお、既に記録部８２に記録されている記録用元画像が用いられて、視差画像が生成される場合には、記録用元画像を生成する必要はないので、図９のステップＳ４１乃至ステップＳ４３の処理は行われない。

また、以上においては、ユーザの両眼間隔の距離である視差ｄが固定値であることを前提として、円ＳＣ１１の円周上に視点がある記録用元画像を生成することで、情報圧縮を行なう例について説明したが、視差ｄは可変とされてもよい。

そのような場合、例えば視差画像生成部１０３は、図１１の視点ＶＰ１２と視点ＶＰ６の記録用元画像を用いた外挿により、円ＳＣ１１の外側に視点が位置する記録用元画像を生成することができる。これにより、例えば、円ＳＣ１１の円周の外側に位置する視点ＶＰ１２’と視点ＶＰ６’の記録用元画像が得られる。このような記録用元画像を用いれば、視差が強調された、円ＳＣ１１の外側にある表示視点の視差画像対を得ることができる。

すなわち、この場合、視点位置特定部１０２は、視差ｄの変更前の円ＳＣ１１と中心位置（基準位置Ｏ１１）が同じである、変更後の視差ｄ’を直径とする円ＳＣ１１’を描き、円ＳＣ１１’上に位置する新たな表示視点を特定する。視差画像生成部１０３は、記録部８２に記録されている記録用元画像を用いて、円ＳＣ１１’上に視点が位置する、視点ＶＰ１２’等の記録用元画像を生成し、得られた記録用元画像のうちの、新たな表示視点近傍に視点がある記録用元画像を用いて、視差変更後の視差画像を生成する。

同様に、視差画像生成部１０３は、図１１の各視点ＶＰ１乃至視点ＶＰ１２の記録用元画像を用いた内挿により、円ＳＣ１１の円周の内側に視点が位置する記録用元画像を生成することもできる。内挿により得られた記録用元画像を用いれば、視差が圧縮された、円ＳＣ１１の内側にある表示視点の視差画像対を得ることができる。

このように、内挿および外挿により、任意の視点の記録用元画像を得ることができるので、視差画像生成部１０３は、任意の視線方向に対して、指定された任意の視差ｄの視差画像対を生成することができる。なお、一般的に、外挿に比べて内挿の方が画像の劣化が少なくて済むことから、アレイ状に視点が並ぶ元画像から得ることができる最大の円周を仮定して記録用元画像を生成すると、任意の視差ｄに対して、より良好な画質の視差画像を得ることができる。

〈第３の実施の形態〉
［立体表示処理の説明］
さらに、図１１の例では、交点ＩＰ１１を視点位置とする記録用元画像を生成し、その記録用元画像と、視点ＶＰ１１の記録用元画像とを用いて視差画像を生成すると説明したが、この場合、１つの視差画像を生成するのに２度の画像合成が必要となる。そのため、最終的に得られる視差画像の画質が劣化してしまうこともある。

そこで、視点が表示視点近傍にある記録用元画像を用いて、近似的に表示視点の視差画像を生成するようにしてもよい。以下、図１２のフローチャートを参照して、図８の画像処理装置７１が、近似的に表示視点の視差画像を生成する場合に行なわれる、立体表示処理について説明する。

なお、ステップＳ８１乃至ステップＳ８６の処理は、図９のステップＳ４１乃至ステップＳ４６の処理と同様であるので、その説明は省略する。

ステップＳ８７において、視差画像生成部１０３は、記録部８２から読み出した記録用元画像を用いて視差画像を生成する。

例えば、図１３に示すように、表示視点ＨＳ２１と表示視点ＨＳ２２の視差画像を生成する場合について考える。なお、図１３において、図１１における場合と対応する部分には同一の符号を付してあり、その説明は省略する。また、図１３の右側には、図中、左上の表示視点ＨＳ２１近傍の部分が拡大されて示されている。

例えば、表示視点ＨＳ２１の視差画像を生成するにあたり、円ＳＣ１１上において表示視点ＨＳ２１の両側に隣接する視点ＶＰ１１と視点ＶＰ１２の記録用元画像が選択されたとする。すなわち、視点ＶＰ１１と視点ＶＰ１２の記録用元画像が用いられて、視差画像が生成されるとする。

この場合、視差画像生成部１０３は、これらの視点ＶＰ１１および視点ＶＰ１２を結ぶ直線Ｌ５１と、基準位置Ｏ１１を通り、直線Ｌ５１に垂直な直線Ｌ５２との交点の位置を表示視点ＨＳ２１’とする。

そして、視差画像生成部１０３は、表示視点ＨＳ２１’を近似的に表示視点ＨＳ２１とみなし、視点ＶＰ１１と視点ＶＰ１２の記録用元画像から、表示視点ＨＳ２１’を視点位置とする視差画像を生成し、得られた視差画像を表示視点ＨＳ２１の視差画像とする。すなわち、円ＳＣ１１の視点ＶＰ１１から視点ＶＰ１２までの弧が直線であるとみなされ、本来の表示視点ＨＳ２１が、表示視点ＨＳ２１’で代替される。

表示視点ＨＳ２１’の視差画像は、視点ＶＰ１１の記録用元画像と、視点ＶＰ１２の記録用元画像とを、モーフィング法などにより合成することで生成される。

より具体的には、例えば、視差画像生成部１０３は、視点ＶＰ１２および基準位置Ｏ１１を結ぶ直線と、視点ＶＰ１１および基準位置Ｏ１１を結ぶ直線とがなす角度φ、並びに視点ＶＰ１２および基準位置Ｏ１１を結ぶ直線と、直線Ｌ５２とがなす角度θを求める。そして、視差画像生成部１０３は、角度（φ−θ）と角度θの比、つまり（φ−θ）：θの比で、視点ＶＰ１２の記録用元画像と視点ＶＰ１１の記録用元画像を内挿し、表示視点ＨＳ２１’の視差画像を生成する。

なお、表示視点ＨＳ２２の視差画像も、表示視点ＨＳ２１の視差画像と同様にして生成される。このようにして、表示視点近傍に視点がある記録用元画像を合成して視差画像を生成すれば、求めた表示視点を視点とする実際の画像により近い視差画像を、簡単に得ることができる。

図１２のフローチャートの説明に戻り、視差画像が生成されると、その後、ステップＳ８８乃至ステップＳ９０の処理が行われて立体表示処理は終了するが、これらの処理は、図９のステップＳ５０乃至ステップＳ５２の処理と同様であるので、その説明は省略する。

このように、画像処理装置７１は、ユーザの視線方向から表示視点を求め、表示視点近傍に視点がある記録用元画像を合成し、近似的に表示視点を視点位置とする視差画像を生成する。これにより、ユーザの視点位置によらず、ユーザに被写体が立体的に観察される視差画像をより簡単かつ迅速に得ることができる。

〈第４の実施の形態〉
［画像処理装置の構成］
なお、以上において説明した例では、液晶シャッタ方式で視差画像対が立体表示されるため、視線方向がｘｙ平面とほぼ平行であれば、ユーザは表示部４１をどの方向から見ても、被写体を立体的に観察することができた。

しかしながら、視差バリヤ方式やレンチキュラ方式、偏光方式などで立体画像が表示される場合、立体画像の観察時に、被写体が立体的に見えるようにするには、ユーザは、特定の方向（以下、視聴方向と称する）から立体画像を見るようにしなければならない。そこで、ユーザの視聴方向が限定されてしまう場合には、ユーザが被写体に対する視線方向を任意に指定できるようにし、ユーザが、指定した視線方向から見た被写体の立体画像を観察できるようにしてもよい。

そのような場合、画像処理装置７１は、例えば、図１４に示すように構成される。なお、図１４において、図４における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

図１４の画像処理装置７１は、取得部８１、記録部８２、画像処理部８４、表示制御部８５、入力部１７１、および表示部１７２から構成される。

入力部１７１は、例えばダイヤルやマウスなどの入力装置からなり、視線方向を入力するときなどに操作される。すなわち、入力部１７１は、視線方向等の入力を受け付ける。

画像処理部８４は、視点位置特定部１０２、視差画像生成部１０３、および回転処理部１８１から構成される。視点位置特定部１０２は、入力部１７１から供給された視線方向に基づいて、ｘｙ平面上における視差画像の表示視点を特定し、視差画像生成部１０３に供給する。

視差画像生成部１０３は、記録部８２から元画像を読み出して、読み出した元画像を用いて、視点位置特定部１０２から供給された表示視点の視差画像を生成する。また、視差画像生成部１０３は、生成した視差画像を回転処理部１８１に供給する。回転処理部１８１は、視差画像生成部１０３から供給された視差画像を、入力部１７１から供給された視線方向により定まる角度だけ回転させ、表示制御部８５に供給する。

表示部１７２は、表示画面が鉛直方向と垂直な方向、すなわちｘｙ平面と平行な方向となるように設置され、表示制御部８５から供給された視差画像を、視差バリヤ方式、レンチキュラ方式、偏光方式等の所定の表示方式により立体表示する。

ここで、ｘｙｚ空間上における表示部１７２の表示画面の中心と、各元画像の視点との位置関係は、表示部４１における場合と同様に、元画像の被写体と各元画像の視点との位置関係と同じであるものとされる。

なお、表示部１７２における視差画像の表示方式は、ユーザが特定の方向から立体画像を観察したときに、立体画像上の被写体が立体的に見えるような表示方式であれば、どのような表示方式であってもよい。また、以下においては、表示部１７２は、ｘｙ平面上において、ユーザの視聴方向がｙ方向とほぼ平行なときに、ユーザに立体画像上の被写体が立体的に見えるように、立体画像を表示するものとする。

さらに、以下においては、表示部１７２の表示画面が、ｘｙ平面と平行な方向である例について説明するが、表示部１７２の表示画面の設置方向は、どの方向であってもよい。

［立体表示処理の説明］
次に、図１５のフローチャートを参照して、図１４の画像処理装置７１により行われる立体表示処理について説明する。なお、ステップＳ１１１乃至ステップＳ１１３の処理は、図５のステップＳ１２乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

なお、ステップＳ１１１においては、視点位置特定部１０２は、入力部１７１から供給された視線方向に基づいて、表示視点のペアを特定する。また、生成された視差画像は、視差画像生成部１０３から回転処理部１８１に供給される。

ステップＳ１１４において、回転処理部１８１は、視差画像生成部１０３から供給された視差画像を、入力部１７１から供給された視線方向に応じて回転させ、表示制御部８５に供給する。

例えば、図６に示した例において、入力部１７１の操作により視線方向ＳＤ１１が入力され、表示視点ＨＳ１１および表示視点ＨＳ１２の視差画像が生成されたとする。また、ユーザの視聴方向が、図中、下側から上側に向かう方向であったとする。

この例では、ユーザの視聴方向がｙ方向と平行であるので、ユーザが被写体を立体的に知覚できるようにするには、視差画像対はｘ方向に視差を有していなければならない。一方、視線方向とｘ方向とのなす角度はθであるので、実際の視差画像対の視差の方向は、ｘ方向に対して角度（（Π／２）−θ）だけ傾いていることになる。

そこで、回転処理部１８１は、視差画像を図６中、時計回りの方向に角度（（Π／２）−θ）だけ回転させ、回転後の視差画像対を最終的な視差画像対として、表示制御部８５に供給する。このように、視差方向が傾いている分だけ視差画像を回転させることで、回転後の視差画像対は、ｘ方向に視差を有するようになり、ユーザの視聴方向が限定される場合であっても、任意の方向から見た被写体の画像を立体的に表示することが可能となる。

図１５のフローチャートの説明に戻り、回転後の視差画像が表示制御部８５に供給されると、処理はステップＳ１１４からステップＳ１１５に進む。

ステップＳ１１５において、表示制御部８５は、回転処理部１８１から供給された視差画像対を表示部１７２に供給し、レンチキュラ方式等により立体表示させる。これにより、裸眼で表示部１７２を見ているユーザに、視差画像上の被写体が立体的に見えることになる。つまり、立体画像が表示される。

ステップＳ１１６において、視点位置特定部１０２は、ユーザの視線方向が変化したか否かを判定する。例えば、入力部１７１から新たな視線方向が供給された場合、視線方向が変化したと判定される。

ステップＳ１１６において、視線方向が変化したと判定された場合、処理はステップＳ１１１に戻り、上述した処理が繰り返される。すなわち、新たに入力された視線方向に基づいて、ｘ方向に視差を有する視差画像が生成されて、立体表示される。

一方、ステップＳ１１６において、視線方向が変化していないと判定された場合、ステップＳ１１７において、画像処理装置７１は、立体画像を表示する処理を終了するか否かを判定する。ステップＳ１１７において、処理を終了しないと判定された場合、処理はステップＳ１１６に戻り、上述した処理が繰り返される。

これに対して、ステップＳ１１７において処理を終了すると判定された場合、画像処理装置７１は立体画像の表示を終了させ、立体表示処理は終了する。

以上のようにして、画像処理装置７１は、入力された視線方向に基づいて、視差方向と視聴方向とが直交するように視差画像を回転させて、表示させる。このように、入力された視線方向に応じて視差画像を回転させることで、立体画像の視聴方向が定められている場合であっても、ユーザは、自由に視線方向を変えながら、被写体を任意の方向から立体的に観察することができる。

〈第５の実施の形態〉
［画像処理装置の構成］
また、レンチキュラ方式等で視差画像が立体表示される場合においても、図８に示した画像処理装置７１の場合と同様に、元画像から記録用元画像を生成することで、記録しておく画像のデータ量を低減するようにしてもよい。

そのような場合、画像処理装置７１は、例えば、図１６に示すように構成される。なお、図１６において、図８または図１４における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。

図１６の画像処理装置７１は、図１４の画像処理装置に、図８に示した記録用元画像生成部１３１がさらに設けられた構成とされている。すなわち、記録用元画像生成部１３１において、取得部８１により取得された元画像から、記録用元画像が生成され、生成された記録用元画像が記録部８２に記録される。

［立体表示処理の説明］
次に、図１７のフローチャートを参照して、図１６の画像処理装置７１により行われる立体表示処理について説明する。

なお、ステップＳ１４１乃至ステップＳ１４３においては、図９のステップＳ４１乃至ステップＳ４３の処理と同様の処理が行われる。すなわち、ｘｙ平面上の所定の基準位置を中心とする円の円周上の位置が、記録用元画像の視点位置とされ、その視点近傍に視点がある１または複数の元画像から、記録用元画像が生成され、記録部８２に記録される。

そして、その後、ステップＳ１４４乃至ステップＳ１４８の処理が行われる。なお、これらの処理は、図９のステップＳ４５乃至ステップＳ４９の処理と同様であるため、その詳細な説明は省略する。

但し、ステップＳ１４４においては、視点位置特定部１０２は、入力部１７１から供給された視線方向と指定された視差ｄとから、視差画像の表示視点を特定する。また、表示視点の視差画像は、図１１を参照して説明した処理により生成される。このようにして生成された視差画像は、視差画像生成部１０３から回転処理部１８１に供給される。

ステップＳ１４９において、回転処理部１８１は、視差画像生成部１０３から供給された視差画像を、入力部１７１から供給された視線方向に基づいて回転させ、表示制御部８５に供給する。すなわち、ステップＳ１４９では、図１５のステップＳ１１４と同様の処理が行われる。

回転後の視差画像が得られると、その後、ステップＳ１５０乃至ステップＳ１５２の処理が行われて立体表示処理は終了するが、これらの処理は図１５のステップＳ１１５乃至ステップＳ１１７の処理と同様であるため、その説明は省略する。

このように、レンチキュラ方式等で視差画像が立体表示される場合においても、元画像から記録用元画像を生成して記録しておけば、視差画像の生成に必要となる画像の記録容量を低減させることができる。

〈第６の実施の形態〉
［立体表示処理の説明］
さらに、図１６の画像処理装置７１が、図１３を参照して説明した処理と同様の処理を行って、視差画像を生成するようにしてもよい。以下、図１８のフローチャートを参照して、図１６の画像処理装置７１が、近似的に表示視点の視差画像を生成する場合に行なわれる、立体表示処理について説明する。

なお、ステップＳ１８１乃至ステップＳ１８４の処理は、図１７のステップＳ１４１乃至ステップＳ１４４の処理と同様であるので、その説明は省略する。

ステップＳ１８５において、視差画像生成部１０３は、視点位置特定部１０２から供給された表示視点ごとに、表示視点近傍に視点のある記録用元画像を選択し、選択した記録用元画像を記録部８２から読み出す。

例えば、図１３に示したように、表示視点ＨＳ２１の両側に隣接する視点ＶＰ１１と視点ＶＰ１２の記録用元画像、および表示視点ＨＳ２２の両側に隣接する視点ＶＰ５と視点ＶＰ６の記録用元画像が選択され、読み出される。

ステップＳ１８６において、視差画像生成部１０３は、読み出した記録用元画像を用いて視差画像を生成し、回転処理部１８１に供給する。例えば、図１３の例では、視点ＶＰ１１と視点ＶＰ１２の記録用元画像が、モーフィング法などにより合成されて視差画像とされ、同様に視点ＶＰ５と視点ＶＰ６の記録用元画像が、モーフィング法などにより合成されて視差画像とされる。

そして、その後、ステップＳ１８７乃至ステップＳ１９０の処理が行われて、立体表示処理は終了するが、これらの処理は図１７のステップＳ１４９乃至ステップＳ１５２の処理と同様であるため、その説明は省略する。すなわち、得られた視差画像が視線方向に応じて回転されて立体表示される。

以上のように、入力された視線方向から表示視点を求め、表示視点近傍に視点がある記録用元画像を合成して、近似的に表示視点を視点位置とする視差画像を生成することで、ユーザに被写体が立体的に観察される視差画像をより簡単かつ迅速に得ることができる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

４１ 表示部， ７１ 画像処理装置， ８３ センサ， ８４ 画像処理部， １０１ 視線方向特定部， １０２ 視点位置特定部， １０３ 視差画像生成部， １３１ 記録用元画像生成部， １８１ 回転処理部

Claims (12)

1. 立体画像を表示するための互いに視差を有する視差画像対を生成する画像処理装置であって、
   所定面上において、前記視差画像対の視差の大きさを直径とする円と、前記立体画像上の被写体を見る視線方向に平行な直線との接点を特定し、前記接点を前記視差画像の視点位置である表示視点とする視点位置特定手段と、
   前記所定面上の複数の異なる位置を視点として撮像された複数の元画像のうち、前記表示視点近傍に視点があるいくつかの前記元画像に基づいて前記視差画像を生成する視差画像生成手段と
   を備える画像処理装置。
2. 前記視差画像対に基づいて前記立体画像を表示させる表示制御手段をさらに備える
   請求項１に記載の画像処理装置。
3. 前記表示制御手段は、鉛直方向と略垂直な表示画面を有する表示手段に前記立体画像を表示させ、
   前記表示手段近傍にいるユーザの位置を検出することで、前記視線方向を特定する視線方向特定手段をさらに備える
   請求項２に記載の画像処理装置。
4. 前記表示制御手段は、前記視線方向が変化した場合、変化後の前記視線方向に対する前記立体画像を表示させる
   請求項３に記載の画像処理装置。
5. 前記視線方向の入力を受け付ける入力手段と、
   予め定められた方向から表示手段に表示される前記立体画像を見るユーザに、前記立体画像上の被写体が立体的に観察されるように、前記視線方向により定まる角度だけ前記視差画像を回転させる回転処理手段と
   をさらに備え、
   前記表示制御手段は、回転後の前記視差画像対に基づいて前記表示手段に前記立体画像を表示させる
   請求項２に記載の画像処理装置。
6. 前記表示制御手段は、前記視線方向が変化した場合、変化後の前記視線方向に対する前記立体画像を表示させる
   請求項５に記載の画像処理装置。
7. 前記円上の複数の点について、前記点近傍に視点があるいくつかの前記元画像に基づいて、前記点の位置を視点位置とする記録用元画像を生成する記録用元画像生成手段と、
   前記記録用元画像を記録する記録手段と
   をさらに備え、
   前記視差画像生成手段は、前記表示視点近傍に視点があるいくつかの前記記録用元画像に基づいて前記視差画像を生成する
   請求項１に記載の画像処理装置。
8. 前記視差画像生成手段は、前記円上において、前記表示視点に隣接する２つの前記記録用元画像の視点のうち、より前記表示視点に近い第１の視点と、前記円上において前記第１の視点とは反対側にある前記記録用元画像の第２の視点とを結ぶ直線、および前記２つの前記記録用元画像の視点のうち、より前記表示視点に遠い第３の視点と前記表示視点を結ぶ直線の交点を視点とする前記記録用元画像を、前記第１の視点の前記記録用元画像および前記第２の視点の前記記録用元画像に基づいて生成するとともに、前記交点を視点とする前記記録用元画像および前記第３の視点の前記記録用元画像に基づいて、前記表示視点の前記視差画像を生成する
   請求項７に記載の画像処理装置。
9. 前記視差画像生成手段は、前記円上において視点が前記表示視点に隣接する２つの前記記録用元画像に基づいて、前記視差画像を生成する
   請求項７に記載の画像処理装置。
10. 前記視点位置特定手段は、前記視差が変更された場合、前記視差の変更前の前記円と中心位置が同じである、変更後の前記視差を直径とする円と、前記視線方向に平行な直線との接点を前記視差の変更後の前記表示視点とし、
    前記視差画像生成手段は、前記視差が変更された場合、所定の前記記録用元画像と、前記視差の変更前の前記円上において前記所定の前記記録用元画像の視点とは反対側に視点がある前記記録用元画像とに基づいて、前記視差の変更後の前記円上に視点が位置する前記記録用元画像を生成し、前記視差の変更後の前記円上における、前記視差の変更後の前記表示視点近傍に視点があるいくつかの前記記録用元画像に基づいて、前記視差画像を生成する
    請求項７に記載の画像処理装置。
11. 立体画像を表示するための互いに視差を有する視差画像対を生成する画像処理装置であり、
    所定面上において、前記視差画像対の視差の大きさを直径とする円と、前記立体画像上の被写体を見る視線方向に平行な直線との接点を特定し、前記接点を前記視差画像の視点位置である表示視点とする視点位置特定手段と、
    前記所定面上の複数の異なる位置を視点として撮像された複数の元画像のうち、前記表示視点近傍に視点があるいくつかの前記元画像に基づいて前記視差画像を生成する視差画像生成手段と
    を備える画像処理装置の画像処理方法であって、
    前記視点位置特定手段が、前記表示視点を特定し、
    前記視差画像生成手段が、前記視差画像を生成する
    ステップを含む画像処理方法。
12. 立体画像を表示するための互いに視差を有する視差画像対を生成する画像処理用のプログラムであって、
    所定面上において、前記視差画像対の視差の大きさを直径とする円と、前記立体画像上の被写体を見る視線方向に平行な直線との接点を特定して、前記接点を前記視差画像の視点位置である表示視点とし、
    前記所定面上の複数の異なる位置を視点として撮像された複数の元画像のうち、前記表示視点近傍に視点があるいくつかの前記元画像に基づいて前記視差画像を生成する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images