JP2011090400A

JP2011090400A - 画像表示装置および方法、並びにプログラム

Info

Publication number: JP2011090400A
Application number: JP2009241700A
Authority: JP
Inventors: Tatsumi Sakaguchi; 竜己坂口; Hiroshi Kajihata; 博梶畠; Hiroshi Oshiryoji; 宏押領司
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-10-20
Filing date: 2009-10-20
Publication date: 2011-05-06
Also published as: US20110243388A1; WO2011048773A1; US8768043B2; CN102246202A; BRPI1005522A2; CN102246202B; EP2347384A1

Abstract

【課題】擬似的に３次元画像を表示できるようにする。
【解決手段】画像記憶部３２は、複数の異なる視点から被写体を捉えた画像複数の画像を記憶する。表示部１２は、画像を画像表示面に表示する。視聴角度算出部４２は、視聴者の視線方向の表示部１２の画像表示面に対する角度を算出する。画像補間生成部４３は、画像記憶部３２に記憶されている画像を用いて、視聴角度算出部４２により算出された角度に対応した画像を補間して生成する。表示部１２は、画像補間生成部４３により補間して生成された画像を表示画面に表示する。本発明は、携帯型の画像表示装置に適用することができる。
【選択図】図２

Description

本発明は、画像表示装置および方法、並びにプログラムに関し、特に、擬似的に３次元画像を表示できるようにした画像表示装置および方法、並びにプログラムに関する。

３次元画像を表示するテレビジョン受像機が一般に普及しつつある。３次元画像を表示するテレビジョン受像機は、視差画像を人間の左右の目にそれぞれ視聴させることにより３次元画像として表示する。

視差画像を３次元的に表示するためには専用の表示装置（に加え偏光メガネなどの補助器具）が必要である。そのため従来の２次元画像の表示装置だけでは３次元画像を楽しむことは難しかった。

また、例えば、BluRayDisc（商標）に３次元画像からなるコンテンツを記録させた場合、３次元画像からなるコンテンツに対応した表示装置であれば、３次元画像を再生することができる。しかしながら、従来の（３次元表示能力を持たない）表示装置では、３次元画像として再生することができないので、このコンテンツを表示するとき、左目画像のみを表示できるようにコンテンツが作成されていた。

さらに、従来においては、携帯電話機などに代表される携帯端末を利用して、その端末を覗き窓のように使うことにより、被写体が擬似的に３次元構造であるかのように知覚させる試みもあった。

たとえば、３次元構造を持ったCG（Computer Graphics）モデルを用いる、または多数の視点から撮影した３次元物体の映像を端末の動きに応じて選択表示させる技術が提案されている（特許文献１参照）。

また、３次元構造を持ったCGデータを持ち、そのCGデータを端末の動きに応じて視点を変えてレンダリングし、表示することで擬似的に３次元画像を表示する技術が提案されている（特許文献２参照）。

特許３７９１８４８号公報特開２００７−０４７２９４号公報

しかしながら、上述した特許文献１に記載の手法では、３次元構造が既知であること、または、３次元構造が判断できるための画像群を事前に用意する必要があった。

また、特許文献２に記載の手法では、CGデータではない実写の多視点画像に基づいて、同様の３次元画像を表示する手法についても言及されているが、３次元構造の復元というステップを踏んでおり、実時間応用や動画への適用が困難であると予想される。

本発明はこのような状況に鑑みてなされたものであり、特に、３次元の構造や３次元の画像が生成されていなくても、擬似的に３次元画像を表示できるようにするものである。

本発明の一側面の画像表示装置は、複数の異なる視点から被写体を捉えた複数の画像を記憶する画像記憶手段と、画像を画像表示面に表示する画像表示手段と、視聴者の視線方向の前記画像表示面に対する角度を算出する角度算出手段と、前記記憶手段に記憶されている画像を用いて、前記角度算出手段により算出された角度に対応した画像を補間して生成する画像補間生成手段とを含み、前記画像表示手段は、前記画像補間生成手段により補間して生成された画像を表示画面に表示する。

前記画像表示面と略同一の方向に対して前記視聴者を撮像する撮像手段をさらに含ませるようにすることができ、前記角度算出手段には、前記撮像手段により撮像された画像内における、前記視聴者の顔画像の位置に基づいて、前記視聴者の視線方向の前記画像表示面に対する角度を算出させるようにすることができる。

前記画像表示面と対向する方向を検出する方向検出手段をさらに含ませるようにすることができ、前記角度算出手段には、前記方向検出手段により検出された前記画像表示面と対向する方向に基づいて、前記視聴者の視線方向の前記画像表示面に対する角度を算出させるようにすることができる。

本発明の一側面の画像表示方法は、画像を画像表示面に表示する画像表示ステップと、視聴者の視線方向の前記画像表示面に対する角度を算出する角度算出ステップと、複数の異なる視点から被写体を捉えた画像であって、視線方向が異なる複数の画像を用いて、前記角度算出ステップにより算出された角度に対応した画像を補間して生成する画像補間生成手段とを含み、前記画像表示ステップの処理は、前記画像補間生成ステップの処理により補間して生成された画像を表示画面に表示する。

本発明の一側面のプログラムは、画像を画像表示面に表示する画像表示ステップと、視聴者の視線方向の前記画像表示面に対する角度を算出する角度算出ステップと、複数の異なる視点から被写体を捉えた複数の画像を用いて、前記角度算出ステップにより算出された角度に対応した画像を補間して生成する画像補間生成手段とを含む処理を画像表示装置を制御するコンピュータに実行させ、前記画像表示ステップの処理は、前記画像補間生成ステップの処理により補間して生成された画像を表示画面に表示する。

本発明の一側面においては、複数の異なる視点から被写体を捉えた複数の画像が記憶され、画像が画像表示面に表示され、視聴者の視線方向の前記画像表示面に対する角度が算出され、記憶されている画像が用いられて、算出された角度に対応した画像が補間されて生成され、補間されて生成された画像が表示画面に表示される。

本発明の画像表示装置は、独立した装置であっても良いし、画像表示処理を行うブロックであっても良い。

本発明の一側面によれば、３次元の情報、または３次元の画像を利用することなく、また、３次元表示専用の表示装置や３次元で視聴するためのメガネ等を利用することなく、擬似的な３次元画像を表示することが可能となる。

本発明を適用した擬似３次元画像表示装置の外観を示す図である。図１の擬似３次元画像表示装置により実現される機能の構成例を示す図である。図２の擬似３次元画像表示装置による擬似３次元画像表示処理を説明するフローチャートである。図２の擬似３次元画像表示装置による視聴角度算出処理を説明するフローチャートである。視聴角度の算出方法を説明する図である。補間画像の生成を説明する図である。補間画像の生成を説明する図である。図１の擬似３次元画像表示装置により実現される他の機能の構成例を示す図である。図８の擬似３次元画像表示装置による視聴角度算出処理を説明するフローチャートである。汎用のパーソナルコンピュータの構成例を説明する図である。

以下、発明を実施するための最良の形態（以下実施の形態とする）について説明する。尚、説明は以下の順序で行う
１．第１の実施の形態（カメラにより撮像される画像より視聴角度を算出する例）
２．第２の実施の形態（本体のロール、およびピッチにより視聴角度を算出する例）

＜第１の実施例＞
［疑似３次元画像表示装置の外観構成例］
図１は、本発明を適用した一実施の形態の構成例である擬似的に３次元画像を表示する疑似３次元画像表示装置の外観図である。

疑似３次元画像表示装置１は、ユーザ２により携帯可能な表示装置であって、撮像部１１、および表示部１２を備えており、画像記憶部３２（図２）に記憶されている画像を用いて、ユーザの視聴角度に応じた画像を生成し、表示部１２に表示する。

すなわち、図１で示すように、ユーザが疑似３次元画像表示装置１本体をロール、またはピッチを変化させると、疑似３次元画像表示装置１が撮像部１１により撮像される画像内のユーザ２の顔画像における目の位置などからユーザ２の視聴角度を認識する。そして、疑似３次元画像表示装置１は、画像記憶部３２（図２）に記憶されている画像を用いて、あたかも３次元の物体を移動しながら視聴したときと同様な視差が生じるように、視聴角度に対応する画像を生成し、表示部１２に表示する。尚、疑似３次元画像表示装置により実現される視差画像は、通常の左右の目のそれぞれを視点とした視差画像ではなく、運動視差が生じる画像であり、頭部の動きや目の動きに応じて、時間的に異なる視点の画像を視聴することにより３次元の物体を視聴しているように知覚させる画像である。従って、疑似３次元画像表示装置１の表示部１２に表示される画像そのものは２次元画像であり、ユーザ２の左右の目で視聴される画像は同一の画像である。

このため、疑似３次元画像表示装置１本体のロール、またはピッチを変化させながら表示部１２を視聴すると、ユーザ２の視聴角度（ユーザの視線方向と表示部１２の表示面の法線方向とが成す角度）の変化に応じて視差が生じるように画像が表示される。結果として、ユーザは、表示部１２に表示される実際は２次元の画像を両目で視聴しても、疑似３次元画像表示装置１の動きに合わせて、視差のある画像を視聴しているように錯覚するので、擬似的に３次元画像を視聴しているかのように認識する。

［疑似３次元画像表示装置により実現される機能の一実施の形態の構成例］
次に、図２を参照して、図１の擬似３次元画像表示装置１により実現される機能の一実施の形態の構成例について説明する。

疑似３次元画像表示装置１は、撮像部１１、表示部１２、制御部３１、および画像記憶部３２を備えている。

撮像部１１は、CCD（Charge Coupled Devices）またはCMOS（Complementary Metal Oxide Semiconductor）などの撮像素子から構成されており、撮像した画像を制御部３１に供給する。撮像部１１は、図１で示されるように、表示部１２と略同一面上に存在し、疑似３次元画像表示装置１を把持するユーザ２の画像を撮像する。撮像部１１は、撮像した画像を制御部３１に供給する。

表示部１２は、LCD（Liquid Crystal Display）または有機EL（Electro Luminescence）などから構成されており、図１で示されるように、疑似３次元画像表示装置１の本体を把持するユーザ２に、制御部３１より供給される視聴方向に対応した画像を表示させることにより、擬似的に３次元画像として表示する。

尚、撮像部１１により撮像される画像は、後述する表示部１２の表示面に対するユーザ２の視聴角度を特定するための画像である。このため、撮像部１１により撮像された画像は、表示部１２と対応するものであるものであり、例えば、撮像部１１により撮像された画像を表示部１２に表示すると、表示部１２に表示される画像は、鏡面画像となるものとする。従って、撮像部１１は、このような関係となる画像が撮像できれば、その他の部位に設けられるものであってもよい。

制御部３１は、疑似３次元画像表示装置１の動作の全体を制御しており、撮像部１１より供給されてくる画像に基づいて、ユーザ２の表示部１２の表示面に対する視聴角度を算出する。また、制御部３１は、画像記憶部３２より複数に記憶されている視差画像を読み出し、算出された視聴角度に対応した表示画像を補間生成し、表示部１２に出力して表示させる。尚、この画像記憶部３２に記憶される視差画像は、静止画のステレオ画像であり、右目用画像、および左目用画像からなるペアの画像のことである。

制御部３１は、距離算出部４１、視聴角度算出部４２、および画像補間生成部４３を備えている。距離算出部４１は、撮像部１１により撮像された画像に基づいて、表示部１２の表示面からユーザ２までの距離を算出する。より具体的には、距離算出部４１は、撮像部１１により撮像されたユーザ２の画像のうち、顔画像を抽出する。そして、その顔画像の大きさから凡その距離を算出する。尚、距離算出部４１による表示部１２の表示面からユーザ２までの距離については、距離を算出することができればよいので、例えば、赤外線センサなどの物体検知センサにより距離を測定するようにしても良いし、その他の方法で求めるようにしたものでもよい。

視聴角度算出部４２は、撮像部１１により撮像された画像に基づいて、ユーザ２の表示部１２の表示面に対する視聴角度を算出する。より詳細には、視聴角度算出部４２は、撮像された画像のうち、ユーザ２の顔画像部分を抽出する。そして、視聴角度算出部４２は、抽出した顔画像のうちの両目の位置を特定した上で、その中心位置、すなわち、略眉間のとなる位置の画像内における位置を特定する。さらに、視聴角度算出部４２は、撮像部１１により撮像された画像内におけるユーザ２の眉間の位置、および距離算出部４１により算出されたユーザ２までの距離の情報に基づいて、ユーザ２の視聴角度を算出する。

画像記憶部３２は、例えば、HDD（Hard Disc Drive）や半導体メモリなどから構成されており、複数の画像を記憶している。この画像記憶部３２に記憶された複数の画像は、同一の被写体や景色を、視点（視線）、撮像方向、および撮像距離などを変えて撮像した複数の視差画像のペアである。

［図２の疑似3次元画像表示装置１による疑似３次元画像表示処理］
次に、図３のフローチャートを参照して、図２の疑似3次元画像表示装置１による疑似3次元画像表示処理について説明する。

ステップＳ１において、撮像部１１は、画像を撮像し、撮像した画像を制御部３１に供給する。すなわち、図１で示されるように、疑似３次元画像表示装置１は、ユーザ２が表示部１２に表示された画像を視聴するために把持されているため、撮像部１１に対向する位置に存在するユーザ２の顔付近の画像が撮像されて、制御部３１に供給される。

ステップＳ２において、制御部３１は、距離算出部４１を制御して、表示部１２からユーザ２までの距離を算出する。より詳細には、距離算出部４１は、撮像された画像内の顔画像を抽出すると共に、抽出された顔画像の大きさから距離を算出する。すなわち、距離算出部４１は、予め距離に対応付けて撮像された標準的な大きさの顔の顔画像の大きさの関係を示す関係式を記憶しており、抽出された顔画像の大きさに基づいて、その関係式に代入することで距離を算出する。

ステップＳ３において、制御部３１は、視聴角度算出部４２を制御して、視聴角度算出処理を実行させて、表示部１２の表示面に対するユーザ２の視聴角度を算出させる。

［図２の疑似３次元画像表示装置による視聴角度算出処理について］
ここで、図４のフローチャートを参照して、視聴角度算出処理について説明する。

ステップＳ３１において、視聴角度算出部４２は、撮像部１１により撮像された画像より顔画像を抽出し、さらに、抽出した顔画像より左右の目の位置を特定する。そして、視聴角度算出部４２は、左右の目の中心位置（例えば、略眉間の位置）が、撮像部１１により撮像された画像中のどの位置に存在するかを特定する。すなわち、視聴角度算出部４２は、表示部１２の表示面の中心位置からの水平方向、および垂直方向の視聴方向のずれを検出する。

ステップＳ３２において、視聴角度算出部４２は、画像中の眉間の位置と、撮像部１１により撮像された画像より算出された表示部１２の表示面からユーザ２までの距離に基づいて、水平方向および垂直方向についてそれぞれ視聴角度（θ，φ）を算出する。

ここでいう視聴角度とは、ユーザ２が表示部２を観察するとき表示部１２の表示面に対するユーザ２の視線方向の角度であるが、換言すれば、視聴する角度に応じて、表示する画像を変換するために必要とされるパラメータである。しかしながら、現実空間においては、視聴角度は、視聴方向の水平方向、または垂直方向の移動距離と、画像内の被写体となる物体との距離に応じて変化するものである。従って、画像内に存在する被写体（画像内のオブジェクトなど）が、撮像位置から遠い物体であるか、または近い物体であるかにより、視聴角度は変化することになる。

すなわち、図５の上部で示されるように、水平方向の場合、撮像部１１により撮像された画像Ｐを垂直上方から見るとき、撮像位置となる表示部１２に表示されるべき画像Ｐには、画像Pが撮像されたときの距離ｄ１の被写体１２１’の図５で示される太線部分が表示されることになる。一方、撮像装置から距離ｄ１よりも遠い距離ｄ２の被写体１２１’’は、太線で示される表示部１２に表示される範囲が、被写体１２１’よりも小さくなる。すなわち、被写体は、距離が近いほど、広い範囲が表示部１２に表示される。この結果、水平方向に視聴方向が距離ｘだけずれた場合、被写体１２１’の消失点ＳＰ１を基準とすると、視聴角度は角度θｄ１だけ変化することになる。一方、被写体１２１’’については、被写体１２１’’の消失点ＳＰ２を基準にすると、視聴角度は、角度θｄ１よりも小さな角度θｄ２となる。つまり、視聴する画像内における、撮像時の撮像位置から近い位置の被写体ほど、視聴角度の変化は大きい。これに対して、撮像時の撮像位置から遠い位置の被写体ほど、視聴角度の変化は小さい。

しかしながら、画像内の被写体のそれぞれの撮像時の距離は、求めることができない。そこで、視聴角度算出部４２は、表示部１２の表示面と、ユーザ２との距離に応じて被写体までの距離を仮想的に設定し、仮想的に設定された距離に応じて視聴角度を算出する。

すなわち、視聴角度算出部４２は、ステップＳ２の処理により距離算出部４１により算出された表示部１２の表示面からユーザ２までの距離Ｄに応じて、画像内の被写体までの距離ｄを仮想的に設定する。より詳細には、視聴角度算出部４２は、以下の式（１）を演算することにより、距離ｄを算出する。

ｄ＝ｋ×Ｄ＋Ｃ
・・・（１）

ここで、ｄは仮想的に設定される画像内の被写体までの距離を、Ｄは表示部１２の表示面からユーザ２までの距離Ｄを、ｋは所定の係数を、Ｃは所定の定数をそれぞれ表している。この計算により、例えば、図５で示されるように、表示部１２の表示面からユーザ２’までの距離がＤ１であり、ユーザ２’’までの距離が、距離Ｄ１よりも遠いＤ２である場合、それぞれに仮想的に設定される被写体１２１’，１２１’’までの距離ｄ１，ｄ２が求められる。すなわち、ユーザと表示部１２の表示面との距離に応じて、画像内の被写体の距離が設定される。尚、図５においては、ユーザ２’，２’’のそれぞれの×印は、それぞれのユーザの左右の目の中心位置（眉間の位置）を示している。

そして、視聴角度算出部４２は、設定された距離ｄに応じて視聴角度θを以下の式（２）のように求める。

θ＝arctan（ｘ／ｄ）
・・・（２）

ここで、θは視聴角度を、ｄは仮想的に設定された被写体までの距離を、ｘはステップＳ３１の処理により求められた眉間の位置の画像の水平方向の中心位置からのずれをそれぞれ示している。

すなわち、式（２）により、例えば、図５で示されるように距離ｄがｄ１の場合、視聴角度θは角度θｄ１となり、また、距離ｄがｄ２の場合、視聴角度θは角度θｄ２となる。このため、ユーザ２が表示部１２に顔を近づけて覗き込むように視聴するとき、視聴角度θは、表示部１２の中心からのずれｘに対して大きく変化し、逆に、顔を表示部１２から遠ざけて視聴するとき、ずれｘに対して視聴角度の変化は小さくなる。結果として、ユーザ２が、疑似３次元画像表示装置１本体をピッチ、またはロールさせたり、さらに、左右の目に対して近付けたり、離したりする動作に対応した視聴角度を求めることが可能となる。尚、垂直方向の視聴角度φについては、水平方向の視聴角度θと同様に求められるものであるので、その説明は省略する。

また、図５における視聴角度（θ，φ）は、ユーザ２’と被写体１２１’、または、ユーザ２’’と被写体１２１’’とを結ぶ直線に対する表示部１２の法線方向に対する角度であるべきである。このため、図５の視聴角度（θ，φ）は、厳密な意味で適正な関係ではない。しかしながら、ここでは、ユーザ２の左右の目により視聴される方向と、表示部１２の表示面の法線方向との相対的な関係が求められれば良い。さらに、ユーザ２が疑似３次元画像表示装置１の本体をロール、またはピッチさせるときの、ユーザ２の左右の目により視聴される方向と、表示部１２の表示面の法線方向との変化が相対的に関係付けられて求められれば良いので、上述した視聴角度以外のものを視聴角度として定義するようにしても良い。

ここで、図３のフローチャートの説明に戻る。

ステップＳ４において、画像補間生成部４３は、視聴角度に対応した画像を画像記憶部３２に記憶されている視差画像のペアより補間生成する。

より具体的には、画像補間生成部４３は、モーフィング法などにより視差画像のペアを用いて視聴角度に対応した中間視差画像、または、視聴角度に対応した、視差画像の視点間を結ぶ直線上であって、視点間外の位置の視点の画像（視点間外視点画像）を生成する。

すなわち、図６で示されるように、視聴角度がθＡ，θＢとなる視点ｅｓ１，ｅｓ２から対象物体１３１を視聴したときの画像が視差画像のペアとして用いられる場合、例えば、視聴角度θＣとなる中間視差画像として、視点ｅｓ１１からの画像が生成される。また、画像補間生成部４３は、図６で示されるように、同様の視差画像のペアを用いて、視聴角度θＤのときの、視点ｅｓ１２からの画像（視点間外視点画像）を補間生成する。同様にして、画像補間生成部４３は、図６で示されるように、同様の視差画像のペアを用いて、視聴角度θＥのときの、視点ｅｓ１３からの画像（視点間外視点画像）を補間生成する。尚、図６においては、視点ｅｓ１１が、視差画像のペアの視点ｅｓ１，ｅｓ２の中間視点であり、視点ｅｓ１２，ｅｓ１３が、視点間外の位置の視点、すなわち、視点間外視点となる。

ステップＳ５において、画像補間生成部４３は、距離ｄに応じて、補間生成された画像を拡大、または縮小するなどしてスケールを調整し、表示部１２に供給する。

ステップＳ６において、表示部１２は、視聴角度に対応して補間生成された画像を表示する。

このような処理により、例えば、図７で示されるように、視聴角度がθ１乃至θ３のように変化すると、視聴角度の変化に対応して、画像Ｐ１乃至Ｐ３で示されるように、オブジェクト１３１を構成する面が変化した画像が表示される。すなわち、図７においては、視聴角度θ１で示される視線Ｅ１で視聴される場合、面Ｂ１，Ｃ１，Ｄ１が見える状態の画像Ｐ１が表示される。また、視聴角度θ２で示される視線Ｅ２で視聴される場合、面Ｂ２，Ｄ２が見える状態の画像Ｐ２が表示される。さらに、視聴角度θ３で示される視線Ｅ３で視聴される場合、面Ａ３，Ｂ３，Ｄ３が見える状態の画像Ｐ３が表示される。

すなわち、オブジェクト１３１の面Ｂ１，Ｂ２，Ｂ３をそれぞれ正面とした四角柱とすれば、視聴角度に応じて、オブジェクト１３１が変化して表示される。結果として、表示部１２には、視聴角度θ２の視線Ｅ２の位置で面Ｂが正対する四角柱からなるオブジェクト１３１’が、あたかも擬似３次元画像表示装置１内に存在するかのように、立体的な３次元画像として視聴できるように表示することが可能となる。

ここで、表示部１２には、２次元の画像のみしか表示されないが、視聴角度に応じてオブジェクト１３１の視点が変化した画像が連続的に表示されることになる。このため、ユーザ２は、運動視差により錯覚を起こすこととなり、結果として、ユーザ２が疑似３次元画像表示装置１をピッチ、またはロールさせることにより、擬似的に３次元画像が表示されているかのようにユーザ２に視聴させることが可能となる。

また、疑似３次元画像表示装置１をユーザ２が把持せず、例えば、机上に表示部１２を上にして載置した状態にしても、表示部１２を覗く方向を移動させながら視聴することで、擬似的に３次元画像を視聴させることが可能となる。この結果、ユーザ２は、あたかも疑似３次元画像表示装置１の表示部１２により表示される別の３次元空間を覗き込んでいるかのような感覚にさせることが可能となる。

尚、補間画像の生成は、左右の目に対応する視差画像を構成するペアの画像を用いる例について説明してきたが、ペア画像のみならず、例えば、垂直方向にも異なる視差画像をも併せた３枚の画像から補間画像を生成する構成としても良い。また、視差画像については予め登録されている例について説明してきたが、例えば、１枚の画像から擬似的に視差画像を生成し、上述した手法により補間画像を生成するようにしても良い。さらに、パン、チルト、およびズーム機能を備えた撮像装置により予め撮像された画像を記憶しておき、視聴角度に対応する画像を選択して、補間画像と同様に使用するようにしても良い。また、３次元画像からなる映画コンテンツなどの、動画像からなる視差画像を予め画像記憶部３２に記憶させておくようにしても良く、このような場合、動画像を視聴方向に対応して補間生成することで、擬似的に３次元の動画像として表示することが可能となる。

＜第２の実施例＞
［疑似３次元画像表示装置により実現される機能のその他の実施の形態の構成例］
以上においては、撮像部１１により撮像される画像に基づいて、ユーザ２との距離や視聴角度を求める例について説明してきたが、疑似３次元画像表示装置１が携帯型の端末である場合、表示部１２の表示面とユーザ２との距離はあまり変化がないと考えられる。そこで、表示部１２とユーザ２とは所定の距離で変化が無いものとして処理するようにし、擬似３次元画像表示装置１のロール、およびピッチだけを検出して視聴角度を決定するようにしても良い。

図８は、ロール、およびピッチだけを検出して、視聴角度を決定するようにした、擬似３次元画像表示装置１により実現される機能の構成を説明する図である。

すなわち、図８の疑似３次元画像表示装置１において、図２と異なるのは、撮像部１１が削除され、ロール検出部１５１、およびピッチ検出部１５２が新たに設けられ、さらに、視聴角度算出部４２に代えて、視聴角度算出部１６１を設けた点である。

ロール検出部１５１、およびピッチ検出部１５２は、いずれも加速度センサなどから構成されており、擬似３次元画像表示装置のロール角度、およびピッチ角度を検出して、制御部３１に供給する。

制御部３１の視聴角度算出部１６１は、上述した手法と同様に、擬似３次元画像表示装置の表示部１２の表示面までの距離を、例えば、平均的な人間が標準的に持って構えたときの平均的な距離として視聴角度を算出する。

［図８の擬似３次元画像表示装置１による視聴角度算出処理］
次に、図８の擬似３次元画像表示装置１による疑似３次元画像表示処理について説明する。尚、疑似３次元画像表示処理としては、図３のフローチャートにおけるステップＳ１，Ｓ２，Ｓ５の処理は不要となり、ステップＳ３における視聴角度算出処理が異なるのみであるので、視聴角度算出処理のみを図９のフローチャートを参照して説明する。

ステップＳ２１において、ロール検出部１５１は、疑似３次元画像表示装置１のロール角度を検出し、制御部３１に供給する。

ステップＳ２２において、ピッチ検出部１５２は、疑似３次元画像表示装置１のピッチ角度を検出し、制御部３１に供給する。

ステップＳ２３において、視聴角度算出部１６１は、ロール検出部１５１およびピッチ検出部１５２より供給されてくる疑似３次元画像表示装置１のロール角度およびピッチ角度に基づいて、水平方向および垂直方向についてそれぞれ視聴角度（θ，φ）を算出する。

この場合、疑似３次元画像表示装置１のピッチ角度、およびロール角度の基準位置において表示面１２に正対しているものとすると、ロール角度およびピッチ角度そのものが視聴角度とされることになる。

以上のように、視聴角度（θ，φ）が求められることになるので、画像に基づいてユーザまでの距離を求めたり、また、距離に応じた拡大または縮小すると言った処理を省略することが可能となるので、処理負荷を低減することが可能となる。このため、例えば、携帯電話機などの画像処理能力がそれ程高くない演算処理装置を用いた装置においても実装させることが可能となる。

以上によれば、表示部１２の表示面に対する視聴角度に基づいて、視点を切り替えて２次元画像を表示することが可能となる。結果として、表示されているのが２次元画像であるにも拘らず、あたかも３次元画像が表示されているかのように擬似的に３次元画像を表示することが可能となる。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１０は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

１疑似３次元画像表示装置，１１撮像部，３１制御部，３２画像記憶部，４１距離算出部，４２視聴角度算出部，４３画像補間生成部，１５１ロール検出部，１５２ピッチ検出部

Claims

複数の異なる視点から被写体を捉えた複数の画像を記憶する画像記憶手段と、
画像を画像表示面に表示する画像表示手段と、
視聴者の視線方向の前記画像表示面に対する角度を算出する角度算出手段と、
前記記憶手段に記憶されている画像を用いて、前記角度算出手段により算出された角度に対応した画像を補間して生成する画像補間生成手段とを含み、
前記画像表示手段は、前記画像補間生成手段により補間して生成された画像を表示画面に表示する
画像表示装置。
前記画像表示面と略同一の方向に対して前記視聴者を撮像する撮像手段をさらに含み、
前記角度算出手段は、前記撮像手段により撮像された画像内における、前記視聴者の顔画像の位置に基づいて、前記視聴者の視線方向の前記画像表示面に対する角度を算出する
請求項１に記載の画像表示装置。
前記画像表示面と対向する方向を検出する方向検出手段をさらに含み、
前記角度算出手段は、前記方向検出手段により検出された前記画像表示面と対向する方向に基づいて、前記視聴者の視線方向の前記画像表示面に対する角度を算出する
請求項１に記載の画像表示装置。
画像を画像表示面に表示する画像表示ステップと、
視聴者の視線方向の前記画像表示面に対する角度を算出する角度算出ステップと、
複数の異なる視点から被写体を捉えた複数の画像を用いて、前記角度算出ステップにより算出された角度に対応した画像を補間して生成する画像補間生成手段とを含み、
前記画像表示ステップの処理は、前記画像補間生成ステップの処理により補間して生成された画像を表示画面に表示する
画像表示方法。
画像を画像表示面に表示する画像表示ステップと、
視聴者の視線方向の前記画像表示面に対する角度を算出する角度算出ステップと、
複数の異なる視点から被写体を捉えた複数の画像を用いて、前記角度算出ステップにより算出された角度に対応した画像を補間して生成する画像補間生成手段とを含む処理を画像表示装置を制御するコンピュータに実行させ、
前記画像表示ステップの処理は、前記画像補間生成ステップの処理により補間して生成された画像を表示画面に表示する
プログラム。