JP2013192186A - 表示装置および方法、並びにプログラム - Google Patents

Abstract

【課題】複数のユーザがより適切に立体画像を観察することができるようにする。
【解決手段】表示装置は、左眼用の視差画像と右眼用の視差画像とからなる立体画像を表示させ、メインユーザの視点位置から適切に画像が観察されるように立体画像の表示制御を行なう。また、表示装置は、メインユーザの視点位置に基づいて、メインユーザにより観察される立体画像となるべく近い画像が観察される視点位置を探索し、探索された視点位置へとサブユーザを誘導する。サブユーザは表示装置の誘導にしたがって移動することで、より適切に立体画像を観察することができるようになる。本技術は、表示装置に適用することができる。
【選択図】図１

Description

本技術は表示装置および方法、並びにプログラムに関し、特に、複数のユーザがより適切な位置で立体画像を観察することができるようにした表示装置および方法、並びにプログラムに関する。

従来、立体画像を表示する方法として、立体視用の眼鏡を用いる眼鏡方式と、立体視用の特殊な眼鏡を用いることなく裸眼での立体視を可能にした裸眼方式が知られている。

例えば裸眼方式の代表的なものとしては、パララックスバリア方式とレンチキュラ方式とがある。パララックスバリア方式やレンチキュラ方式の場合、２次元表示パネルに立体視用の視差画像（２視点の場合には右眼用視差画像と左眼用視差画像）が空間分割されて表示され、その視差画像が視差分離部によって水平方向に視差分離されて立体視が実現される。このときパララックスバリア方式では、視差分離部としてスリット状の開口が設けられたパララックスバリアが用いられ、レンチキュラ方式では、視差分離部として、シリンドリカル状の分割レンズを複数並列配置したレンチキュラレンズが用いられる。

また、裸眼方式の表示装置として、液晶パネルの画像形成面とパララックスバリアとの距離を短くすることで、設計上の適視距離を短くできるようにするものも提案されている（例えば、特許文献１参照）。

特開平９−５００１９号公報

ところで、表示装置では、特定のユーザの視点位置、または予め定められた視点位置で最適な立体画像が観察されるように、立体画像の表示制御が行なわれることが多い。

そのため、複数のユーザが表示装置に表示された立体画像を観察する場合には、各ユーザは前後左右に移動して、立体画像が適切に観察される位置を探さなければならなかった。そうすると、ユーザは立体画像の視聴に集中することができなくなってしまう。

本技術は、このような状況に鑑みてなされたものであり、複数のユーザがより適切に立体画像を観察することができるようにするものである。

本技術の一側面の表示装置は、複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、基準となる視点位置に応じて、前記ブロック領域内の各チャンネルの画素に複数の視差画像の何れかを割り当てる割り当て制御部と、前記割り当て制御部の割り当てにしたがって複数の前記視差画像を合成し、合成画像を生成する生成部と、前記表示部に前記合成画像を表示させた場合に、前記基準となる前記視点位置から観察される画像とほぼ同じ画像が観察される最適視点位置を、前記表示部を観察する複数のユーザごとに探索する探索部とを備える。

表示装置には、前記最適視点位置へと前記ユーザを誘導する誘導部をさらに設けることができる。

表示装置には、前記表示部周辺の領域を撮像して得られた周辺画像に基づいて、前記ユーザを検出する検出部をさらに設け、前記探索部には、前記検出部により検出された前記ユーザに対して前記最適視点位置を探索させることができる。

表示装置には、前記検出部により検出された前記ユーザのうちの何れかをメインユーザとして決定する決定部をさらに設け、前記割り当て制御部には、前記メインユーザの視点位置を前記基準となる前記視点位置として前記視差画像の割り当てを行なわせ、前記探索部には、前記検出部により検出された前記ユーザのうち、前記メインユーザとは異なる他の全ての前記ユーザに対して前記最適視点位置を探索させることができる。

前記基準となる前記視点位置を、予め定められた位置とし、前記探索部には、前記検出部により検出された全ての前記ユーザに対して前記最適視点位置を探索させることができる。

前記探索部には、いくつかの視点位置について、その視点位置から観察される前記ブロック領域内の画素のチャンネルが、前記基準となる前記視点位置から観察される画素のチャンネルと同じとなる前記ブロック領域の数に基づいて評価値を算出させ、前記評価値に基づいて前記最適視点位置を定めさせることができる。

本技術の一側面の表示方法またはプログラムは、複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部とを備える表示装置の表示方法またはプログラムであって、基準となる視点位置に応じて、前記ブロック領域内の各チャンネルの画素に複数の視差画像の何れかを割り当て、前記割り当てにしたがって複数の前記視差画像を合成し、合成画像を生成し、前記表示部に前記合成画像を表示させた場合に、前記基準となる前記視点位置から観察される画像とほぼ同じ画像が観察される最適視点位置を、前記表示部を観察する複数のユーザごとに探索するステップを含む。

本技術の一側面においては、複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部とを備える表示装置において、基準となる視点位置に応じて、前記ブロック領域内の各チャンネルの画素に複数の視差画像の何れかが割り当てられ、前記割り当てにしたがって複数の前記視差画像が合成されて、合成画像が生成され、前記表示部に前記合成画像を表示させた場合に、前記基準となる前記視点位置から観察される画像とほぼ同じ画像が観察される最適視点位置が、前記表示部を観察する複数のユーザごとに探索される。

本技術の一側面によれば、複数のユーザがより適切に立体画像を観察することができる。

表示装置による最適な視聴位置への誘導について説明する図である。 表示装置の構成例を示す図である。 表示部のより詳細な構成例を示す図である。 ４視点の視差画像の立体表示について説明する図である。 開口部の各部の設計について説明する図である。 ユーザにより観察される画素のチャンネルについて説明する図である。 視認位置の算出について説明する図である。 視認位置の算出について説明する図である。 視差画像の割り当てについて説明する図である。 境界位置の算出について説明する図である。 立体表示できない視点位置について説明する図である。 立体表示可能な領域について説明する図である。 表示処理を説明するフローチャートである。 表示処理を説明するフローチャートである。 視差画像の割り当てについて説明する図である。 最適な視聴位置の探索について説明する図である。 表示装置による最適な視聴位置への誘導について説明する図である。 表示装置の構成例を示す図である。 表示処理を説明するフローチャートである。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
［表示装置による視聴位置への誘導について］
本技術は、パララックスバリア等の視差分離部を利用して裸眼方式により画像を立体表示する表示装置に関するものであり、ユーザを適切な視聴位置に誘導することで、複数のユーザがより適切な位置で立体画像を観察できるようにするものである。

例えば図１に示すように、本技術を適用した表示装置１１に裸眼方式により立体画像が表示され、この立体画像を複数のユーザＵ１１とユーザＵ１２が観察するとする。例えば、立体画像は互いに視点の異なる複数の視差画像からなる。

このような場合、例えば表示装置１１は、２人のユーザＵ１１とユーザＵ１２のうち、一方のユーザＵ１１をメインユーザとして定め、メインユーザの視点位置に対して最適な立体画像を表示する。つまり、立体画像の視聴位置として最適な位置がユーザＵ１１の位置となるように、立体画像の表示が制御される。

そして、表示装置１１は、残りのユーザＵ１２が適切に立体画像を視聴することが可能な、ユーザＵ１１の位置とは異なる位置を、ユーザＵ１２に対して最適な視聴位置として探索し、その結果得られた視聴位置へとユーザＵ１２を誘導する。

ユーザＵ１２の最適な視聴位置への誘導は、例えば表示装置１１の表示部を囲む枠に設けられたインジケータ１２−１乃至インジケータ１２−４を点灯させることにより行なわれる。すなわち、表示装置１１は、インジケータ１２−１乃至インジケータ１２−４を点灯させてユーザＵ１２が移動すべき方向や位置を示すことで、ユーザＵ１２の視聴位置への移動を促す。

なお、以下、インジケータ１２−１乃至インジケータ１２−４を特に区別する必要のない場合には、単にインジケータ１２とも称する。また、以下、立体画像を視聴するユーザのうち、メインユーザではないユーザをサブユーザとも称することとする。

このようにインジケータ１２が点灯すると、サブユーザであるユーザＵ１２は、インジケータ１２により示された位置に移動することで、立体画像を適切に観察することができるようになる。

［表示装置の構成例］
図２は、表示装置１１のより詳細な構成例を示す図である。表示装置１１は、撮像部２１、検出部２２、割り当て制御部２３、記録部２４、生成部２５、表示制御部２６、表示部２７、および誘導部２８から構成される。

撮像部２１は、表示装置１１周辺のユーザの画像、例えば表示部２７のほぼ正面から、表示部２７に表示された画像を観察するユーザの画像（以下、周辺画像と称する）を撮像し、検出部２２に供給する。

検出部２２は、撮像部２１から供給された周辺画像からユーザの眼を検出し、その検出結果を割り当て制御部２３に供給する。また、検出部２２は、視点位置算出部３１を備えており、視点位置算出部３１は、周辺画像に基づいて、表示部２７に対するユーザの視点位置を算出し、割り当て制御部２３に供給する。

割り当て制御部２３は、検出部２２からの検出結果やユーザの視点位置に基づいて、表示部２７の表示面上の各領域に、複数の視差画像を割り当てる。割り当て制御部２３は、決定部４１、判定部４２、視認位置算出部４３、境界位置算出部４４、および探索部４５を備えている。

決定部４１は、検出部２２からの眼の検出結果に基づいて、メインユーザとサブユーザを決定する。判定部４２は、検出部２２からの視点位置に基づいて、複数の視差画像による被写体の立体表示（３Ｄ表示）が可能か否かを判定し、割り当て制御部２３は、その判定結果に応じて生成部２５での画像生成を制御する。

視認位置算出部４３は、検出部２２からの視点位置に基づいて、メインユーザにより視認されている表示部２７の表示面上の画素内の位置を視認位置として算出する。境界位置算出部４４は、視認位置に基づいて、表示部２７の表示面上の各領域に複数の視差画像を割り当てる。

探索部４５は、視差画像の割り当て結果に基づいて、サブユーザの最適な視聴位置を探索し、その探索結果を誘導部２８に供給する。

記録部２４は、立体画像を構成する複数の視差画像を記録しており、必要に応じて視差画像を生成部２５に供給する。

生成部２５は、割り当て制御部２３の制御にしたがって、記録部２４からの視差画像に基づいて、それらの視差画像を空間分割して合成した合成画像を生成し、表示制御部２６に供給する。また、生成部２５は、割り当て制御部２３の制御にしたがって、記録部２４からの視差画像のうちの何れかを、そのまま表示制御部２６に供給する。

表示制御部２６は、生成部２５からの合成画像を表示部２７に供給して表示させることで、視差画像上の被写体を立体表示させたり、生成部２５からの視差画像を表示部２７に供給して表示させたりする。表示部２７は、裸眼方式により立体画像を表示可能な液晶表示パネルなどからなり、表示制御部２６から供給された合成画像や視差画像を表示する。

誘導部２８は、例えば表示部２７の外枠に設けられた複数のインジケータ１２などからなり、探索部４５から供給された探索結果に基づいて、サブユーザに対して適切な視聴位置への移動を促す。

［表示部の構成例］
また、図２の表示部２７は、例えば図３に示すように構成される。

すなわち、表示部２７は、バックライト６１、光変調パネル６２、およびバリア素子６３から構成される。

バックライト６１は、例えばＬＥＤ（Light Emitting Diode）光源や導光板などからなり、画像を表示させるための光を射出し、光変調パネル６２に入射させる。

光変調パネル６２は、例えば液晶層やＲ，Ｇ，Ｂの各色のカラーフィルタなどからなり、バックライト６１から入射した光を透過させることで、画像を表示させる。このとき、光変調パネル６２は、光変調パネル６２に設けられた画素ごとに、光の透過率を変化させることで、画像の各画素の階調表示を行なう。

より詳細には、光変調パネル６２は、透明基板７１、透明基板７２、および液晶層７３を備えており、液晶層７３は、互いに対向するように配置された平板状の透明基板７１と透明基板７２の間に形成されている。液晶層７３には、画像が表示される画素としての透過部が設けられており、画像の表示時において、透明基板７１と透明基板７２に設けられている電極に電圧が印加されると、バックライト６１から透過部に入射した光の透過率が印加された電圧に応じて変化する。

また、バリア素子６３は、偏光板やスイッチ液晶層などからなり、光変調パネル６２から入射した光の一部を遮光し、残りの一部を透過させることで、各視差画像を光学的に分離させる。バリア素子６３は、透明基板７４、透明基板７５、およびスイッチ液晶層７６を備えており、スイッチ液晶層７６は、互いに対向するように配置された平板状の透明基板７４と透明基板７５の間に形成されている。

透明基板７４と透明基板７５には、電極が形成されており、これらの電極の一部または全部に電圧が印加されると、スイッチ液晶層７６内の液晶分子の配向方向が変化し、これにより、スイッチ液晶層７６にはパララックスバリアが形成される。

図３の例では、光変調パネル６２から入射した光を透過させる開口部８１−１乃至開口部８１−３と、光変調パネル６２から入射した光を遮光する遮蔽部８２−１乃至遮蔽部８２−３とからなるパララックスバリアが、スイッチ液晶層７６に形成されている。

なお、以下、開口部８１−１乃至開口部８１−３を特に区別する必要のない場合、単に開口部８１とも称し、遮蔽部８２−１乃至遮蔽部８２−３を特に区別する必要のない場合、単に遮蔽部８２とも称する。また、被写体を立体表示する合成画像が光変調パネル６２に表示される場合には、バリア素子６３にパララックスバリアが形成されるが、２Ｄ画像である視差画像が光変調パネル６２に表示される場合には、バリア素子６３にパララックスバリアは形成されない。

図３のように構成される表示部２７では、ユーザはバリア素子６３側から光変調パネル６２に表示される画像を観察する。特に、合成画像の表示時には、バックライト６１から射出され、光変調パネル６２およびバリア素子６３を透過した光が、ユーザの右眼ＥＲまたは左眼ＥＬに入射する。このとき、ユーザの右眼ＥＲと左眼ＥＬには、バリア素子６３で分離された異なる光が入射するので、右眼ＥＲと左眼ＥＬで互いに視差を有する異なる視差画像が観察される。

なお、図３では、視差画像を光学的に分離する分離部の例としてバリア素子６３について説明したが、分離部はパララックスバリアに限らず、レンチキュラレンズなどとされてもよい。また、分離部としてのパララックスバリアは、可変式のバリアに限らず、遮蔽板等に開口部が設けられた固定式のバリアとされてもよい。

さらに、バリア素子６３は、光変調パネル６２とバックライト６１の間に配置されるようにしてもよい。

［適視距離からの立体画像の観察について］
ところで、表示装置１１に４つの異なる視点の視差画像を合成して得られた合成画像を表示し、ユーザが表示部２７から所定の距離だけ離れた位置から表示部２７を観察する場合について考える。

例えば図４に示すように、ユーザの右眼ＥＲと左眼ＥＬの中間位置をユーザの視点位置とし、ユーザの視点位置がバリア素子６３の表面から距離Ｚ０（以下、適視距離Ｚ０と称する）だけ離れた位置にあるとする。また、右眼ＥＲと左眼ＥＬとの距離（以下、眼間距離Ｅと称する）が６５ｍｍであるとする。なお、一般的な大人の眼間距離は約６５ｍｍである。

また、光変調パネル６２の表示面上には、４つの視点の視差画像のそれぞれが表示される画素である、チャンネルＣＨ０乃至チャンネルＣＨ３の４つの各チャンネルの画素からなるブロック領域が、図中、横方向に並ぶように設けられている。

なお、図４では、光変調パネル６２における１つの四角形は１つの画素を表しており、それらの画素の図中、下側には、各画素が属すチャンネルの番号が示されている。また、図中、横方向および縦方向をそれぞれｘ方向およびｙ方向とし、ｘ方向およびｙ方向に垂直な方向をｚ方向とする。ここで、ｘ方向はユーザの右眼ＥＲと左眼ＥＬが並ぶ方向、つまり光変調パネル６２に表示される視差画像の視差方向であり、ｙ方向は光変調パネル６２の表示面と垂直な方向である。

図４では、ブロック領域内において、図中、右側から左側までチャンネルＣＨ０の画素、チャンネルＣＨ１の画素、チャンネルＣＨ２の画素、およびチャンネルＣＨ３の画素が順番に並んでいる。

また、ブロック領域において、例えばｚ方向には、同じチャンネルの画素が並んでいる。そして、光変調パネル６２の表示面上には、このようなブロック領域がｘ方向に連続して並んでいる。以下、１つのブロック領域内において、同じチャンネルの画素からなる領域をチャンネル領域とも称することとする。

また、バリア素子６３には、１つのブロック領域に対して、パララックスバリアを構成する１つの開口部８１が設けられている。したがって、視点Ｐ０乃至視点Ｐ３の視差画像のそれぞれが、チャンネルＣＨ０乃至チャンネルＣＨ３の画素のそれぞれに表示されると、それらの各視点の視差画像は、バリア素子６３により光学的に分離される。

すなわち、バリア素子６３から適視距離Ｚ０だけ離れたｘｚ平面上において、チャンネルＣＨ３の各画素から射出され、開口部８１を通過した光は領域ＣＲ０に到達し、チャンネルＣＨ２の各画素から射出され、開口部８１を通過した光は領域ＣＲ１に到達する。同様に、チャンネルＣＨ１の各画素から射出され、開口部８１を通過した光は領域ＣＲ２に到達し、チャンネルＣＨ０の各画素から射出され、開口部８１を通過した光は領域ＣＲ３に到達する。

なお、図中、上側においてｘ方向に並ぶ数字０乃至数字３は、その数字が記された領域に到達する光が発せられた画素のチャンネル番号を示している。例えば、領域ＣＲ０の図中、上側に記された数字「３」は、領域ＣＲ０には、チャンネルＣＨ３の画素からの光が到達することを表している。

ここで、領域ＣＲ０乃至領域ＣＲ３の各領域のｘ方向の幅は眼間距離Ｅ（＝６５ｍｍ）となる。したがって、バリア素子６３から適視距離Ｚ０だけ離れたｘｚ平面上に位置するユーザの左右の眼には、１視点分だけずれた異なる視点の視差画像が観察されることになる。例えば、図４の例では、ユーザの右眼ＥＲは領域ＣＲ２内に位置し、左眼ＥＬは領域ＣＲ１内に位置するから、ユーザの右眼ＥＲおよび左眼ＥＬには、それぞれ視点Ｐ１の視差画像、および視点Ｐ２の視差画像が観察されることになる。その結果、ユーザにそれらの視差画像上の被写体が立体的に知覚される。

また、例えばこの状態からユーザの視点位置が図中、左方向に眼間距離Ｅだけ移動すると、ユーザの右眼ＥＲおよび左眼ＥＬには、それぞれ視点Ｐ０の視差画像、および視点Ｐ１の視差画像が観察されることになる。

［パララックスバリアの設計について］
このように、適視距離Ｚ０だけ離れた位置から表示部２７を観察するユーザに、各開口部８１を介して同じチャンネルの画素が視認されるようにするには、開口部８１間の距離や、開口部８１から光変調パネル６２までの距離などを適切に定める必要がある。

例えば、図４の例では、ユーザの左右の眼には、光変調パネル６２上の互いに隣接する画素が開口部８１を介して観察される。このような場合、適視距離Ｚ０＝９００ｍｍであるとすると、図５に示すように、開口部８１から光変調パネル６２までの距離Ｄ１と、開口部８１間の距離Ｄ２が定められる。なお、図中、横方向および縦方向はｘ方向およびｙ方向を示している。

図５の左側において、開口部８１の中心を通るｙ方向に平行な直線を直線Ａ１１とし、ユーザの片方の眼が点ＰＥ１１にあるとする。ここで、点ＰＥ１１は、直線Ａ１１からｘ方向に距離Ｘ１だけ離れており、かつ開口部８１からｙ方向に適視距離Ｚ０だけ離れた位置にある。また、バリア素子６３の図中、下側にある各四角形は、光変調パネル６２上の画素を表している。

例えば、図中、左側に示すようにユーザの眼の位置ＰＥ１１から、開口部８１を介して１つの画素Ｇ１１が視認されるとする。各画素間の距離をＤ３とすると、この画素Ｇ１１の中心は、直線Ａ１１から（Ｄ３）／２だけ離れた位置にある。

ここで、バリア素子６３から光変調パネル６２の各画素までの間がガラス材で満たされており、点ＰＥ１１からこのガラス材へと進む光の相対屈折率がｋ１であるとすると、Ｘ１：Ｚ０＝（Ｄ３）／２：Ｄ１／ｋ１であるので、Ｄ１＝Ｚ０×（（Ｄ３）／２）×ｋ１／Ｘ１となる。例えば、Ｚ０＝900mm，Ｄ３＝0.05435mm，Ｘ１＝32.5mm，ｋ１＝1.5であるとすると、これらの値からＤ１＝900×（（0.05435）/2）×1.5／32.5＝1.1288mmとなる。

また、図中、右側に示すように、ユーザの眼が直線Ａ１１上の点ＰＥ１２にあるとする。この場合、光変調パネル６２は４視点用であるから、点ＰＥ１２から図中、左側の開口部８１を介して見える光変調パネル６２の位置と、その開口部８１の右側に隣接する開口部８１を介して見える光変調パネル６２の位置とは４画素分だけ離れているはずである。

したがって、Ｚ０：Ｄ２＝（Ｚ０＋（Ｄ１／ｋ１））：４×Ｄ３が成立するので、Ｄ２＝Ｚ０×Ｄ３×４／（Ｚ０＋（Ｄ１／ｋ１））により、開口部８１間の距離Ｄ２が求まる。ここで、Ｚ０＝900mm，Ｄ３＝0.05435mm，Ｄ１＝1.1288mm，ｋ１＝1.5であるとすると、これらの値からＤ２＝900×0.05435×4／（900＋（1.1288/1.5））＝0.2172184mmとなる。

［適視距離の半分の距離からの観察について］
ところで、ユーザの視点位置が、表示部２７からｙ方向に上述した適視距離の半分の距離Ｚ０／２だけ離れた位置にあるとする。そのような場合、ユーザの右眼と左眼により視認されるブロック領域内の画素は、２画素分の距離だけ離れた位置にある画素となる。

したがって、例えばユーザの右眼ＥＲから所定の開口部８１を介してブロック領域のチャンネルＣＨ１の画素が見えている状態では、ユーザの左眼ＥＬからは、同じ開口部８１を介してブロック領域のチャンネルＣＨ３の画素が見える。

そこで、例えば表示装置１１に表示させる立体画像が２視点の視差画像、つまり右眼用と左眼用の視差画像からなるものとし、これらの視差画像を表示部２７に表示させる場合について考える。

このように右眼用と左眼用の視差画像を表示部２７に表示させる場合に、各チャンネルの画素に適切に右眼用または左眼用の視差画像を表示させ、ユーザが適視距離Ｚ０の約半分の距離から視差画像を観察すれば、クロストークの発生を抑制することができる。

例えば、図４に示した状態では、ユーザの右眼ＥＲはチャンネルＣＨ１の画素を観察しており、ユーザの左眼ＥＬはチャンネルＣＨ２の画素を観察している。この状態から、例えばユーザが図４中、右方向にわずかに移動したとする。そうすると、チャンネルＣＨ１の画素とチャンネルＣＨ２の画素は互いに隣接しているから、ユーザの右眼ＥＲには、これまで見えていたチャンネルＣＨ１の画素だけでなく、左眼ＥＬで見えていたチャンネルＣＨ２の画素も見えてしまい、クロストークが発生する。すなわち、左右の視差画像上の被写体が２重に見えてしまう。

これに対して、例えばユーザが適視距離Ｚ０の約半分の距離から表示部２７を観察している状態で、図４中、光変調パネル６２の中央にあるブロック領域のチャンネルＣＨ１に右眼用の視差画像を表示させ、同じブロック領域のチャンネルＣＨ３に左眼用の視差画像を表示させたとする。

この場合、ユーザの右眼ＥＲには右眼用の視差画像が観察され、ユーザの左眼ＥＬには左眼用の視差画像が観察されることになる。この状態からユーザが図中、右方向にわずかに移動しても、チャンネルＣＨ１とチャンネルＣＨ３の画素は２画素分だけ離れているので、ユーザの右眼ＥＲに左眼用の視差画像が観察されることはない。

さらに、ユーザの視点位置の移動に応じて、クロストークが発生する前に各チャンネルの画素における視差画像の表示の切り替えを行なえば、各領域における左右の視差画像の表示の切り替えをユーザに感じさせることなく、より自然な画像の提示が可能となる。

このように、ユーザの視点位置に応じて、各チャンネルの画素に適切に右眼用または左眼用の視差画像を表示させ、ユーザが通常の適視距離の約半分の距離から観察すれば、クロストークの発生を抑制し、より高品質な画像を提示することが可能である。以下、このような立体画像の表示方式を、半視距離表示方式と称することとする。

［半視距離表示方式における表示制御について］
次に、左眼用と右眼用の視差画像に基づいて、半視距離表示方式により立体画像を表示させる具体的な制御について説明する。

例えば、図６に示すように、ユーザが所定の位置にいる場合に、ユーザの右眼に光変調パネル６２の図中、左端の領域Ｂ１１内のチャンネルＣＨ２の画素が視認されているとする。また、光変調パネル６２の領域Ｂ１２、領域Ｂ１３、および領域Ｂ１４では、それぞれユーザの右眼によりチャンネルＣＨ１の画素、チャンネルＣＨ０の画素、およびチャンネルＣＨ３の画素が視認されているとする。

この場合、光変調パネル６２の領域Ｂ１１乃至領域Ｂ１４では、ユーザの左眼には、それぞれチャンネルＣＨ０の画素、チャンネルＣＨ３の画素、チャンネルＣＨ２の画素、およびチャンネルＣＨ１の画素が視認される。

なお、これらの領域Ｂ１１乃至領域Ｂ１４は、複数のブロック領域からなる領域である。このような状態で、表示装置１１は領域Ｂ１１乃至領域Ｂ１４について、それらの領域内のブロック領域のうち、ユーザにより視認される画素からの光の輝度が最も高くなるブロック領域の位置を特定し、それらの位置を境界位置ＬＢ１１乃至境界位置ＬＢ１４とする。

すなわち、境界位置ＬＢ１１は、領域Ｂ１１内のブロック領域のうち、視認される画素からの光の輝度が最も高いブロック領域の位置である。同様に、境界位置ＬＢ１２乃至境界位置ＬＢ１４のそれぞれは、領域Ｂ１２乃至領域Ｂ１４のそれぞれにあるブロック領域のうち、視認される画素からの光の輝度が最も高いブロック領域のそれぞれの位置である。

このようにして境界位置が特定されると、表示装置１１は光変調パネル６２上の境界位置ＬＢ１１乃至境界位置ＬＢ１４により分割される各領域に対して、各チャンネルへの左右の視差画像の割り当てを行なう。

具体的には、領域Ｂ１１の左端から境界位置ＬＢ１１までの間にある各ブロック領域では、チャンネルＣＨ２とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ０とチャンネルＣＨ１の画素に左眼用の視差画像が割り当てられる。

同様に、境界位置ＬＢ１１から境界位置ＬＢ１２までの間にある各ブロック領域では、チャンネルＣＨ１とチャンネルＣＨ２の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ０とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられる。また、境界位置ＬＢ１２から境界位置ＬＢ１３までの間にある各ブロック領域では、チャンネルＣＨ０とチャンネルＣＨ１の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ２とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられる。

さらに、境界位置ＬＢ１３から境界位置ＬＢ１４までの間にある各ブロック領域では、チャンネルＣＨ０とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ１とチャンネルＣＨ２の画素に左眼用の視差画像が割り当てられる。また、境界位置ＬＢ１４から領域Ｂ１４の右端までの間にある各ブロック領域では、チャンネルＣＨ２とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ０とチャンネルＣＨ１の画素に左眼用の視差画像が割り当てられる。

そして、このようなブロック領域における各チャンネルへの視差画像の割り当てにしたがって合成画像が生成され、生成された合成画像が光変調パネル６２に表示される。

さらに、この状態からユーザの視点位置が移動すると、各ブロック領域内でユーザにより視認される画素のチャンネルが変化するので、視点位置の変化に追従して境界位置ＬＢ１１乃至境界位置ＬＢ１４の位置も移動する。そして、境界位置ＬＢ１１乃至境界位置ＬＢ１４の移動に応じて、ブロック領域内の各チャンネルの画素に対する視差画像の割り当てが変更される。

なお、以下、光変調パネル６２において、連続して並ぶいくつかのブロック領域からなる領域であって、同じチャンネルの画素に同じ視差画像が割り当てられるブロック領域からなる領域を、連続ブロック領域とも称することとする。

例えば、図６の例では、境界位置ＬＢ１１から境界位置ＬＢ１２までの間にある各ブロック領域からなる領域や、境界位置ＬＢ１２から境界位置ＬＢ１３までの間にある各ブロック領域からなる領域が１つの連続ブロック領域とされる。つまり、図６では、境界位置ＬＢ１１乃至境界位置ＬＢ１４のそれぞれが、連続ブロック領域の境界となる。

ところで、連続ブロック領域の境界位置は、ユーザにより視認される画素からの光の輝度が最も高くなるブロック領域の位置である。ここで、輝度が最も高くなるブロック領域とは、ユーザにより画素の略中央が視認されているブロック領域である。

表示部２７の端部では、バリア素子６３と光変調パネル６２との間にあるガラスの見かけ上の厚みが薄くなるという現象が起こることが知られている。そのため、ユーザの視点位置に基づいて、連続ブロック領域の境界位置を求める場合には、光の入射角と屈折角の厳密式を用いて、ブロック領域ごとにどのチャンネルの画素のどの位置がユーザにより視認されているかを正確に求めることが望ましい。

例えば、図７に示すように、所定の光線Ｈ１１が空気中を通って、厚さＤ２１のガラス材に入射し、光変調パネル６２の表面に到達したとする。また、光線Ｈ１１のガラス材への入射位置を通り、ガラス材の表面に垂直な直線を直線Ａ２１とする。

このとき、空気中を伝播する光線Ｈ１１のガラス材への入射角度Ｔ１に対して、光線Ｈ１１のガラス材への入射後の光路と、直線Ａ２１とのなす角度Ｔ２は、光線Ｈ１１が空気中からガラス材へと進むときの相対屈折率ｋ１１と入射角度Ｔ１とから求まる。すなわち、角度Ｔ２＝asin（sin(T1/k11)）である。

また、角度Ｔ２が求まると、ガラス材の見かけの厚みＤ２２と角度Ｔ２とにより、直線Ａ２１から、光線Ｈ１１の光変調パネル６２の表面への入射位置までの距離ｘ１１が求まる。すなわち、距離ｘ１１＝Ｄ２２×ｔａｎ（Ｔ２）である。

このようにして距離ｘ１１を求めることで、各ブロック領域について、ユーザにより視認される画素上の正確な位置（以下、画素の視認位置とも称する）を求めることができる。

具体的には、例えば図８に示すように、図中、横方向、つまり光変調パネル６２の表示面と平行な方向をｘ方向とし、図中、縦方向、つまり光変調パネル６２の表示面と垂直な方向をｙ方向として、ｘｙ座標系上の所定位置がユーザの眼の位置ＣＰであるとする。

また、バリア素子６３の中央にある開口部８１を０番目の開口部８１として、その開口部８１から図中、左方向にｎ番目にある開口部８１をｎ番目の開口部８１とし、０番目の開口部８１から図中、右方向にｎ番目にある開口部８１を−ｎ番目の開口部８１とする。

ここで、ｎ番目の開口部８１（以下、番号ｎの開口部８１とも称する）について、その開口部８１からユーザによりブロック領域内のどのチャンネルの画素が視認されるかを求めることを考える。まず、位置ＣＰの座標と、開口部８１の中心位置の座標とから、位置ＣＰからの光線のｎ番目の開口部８１への入射角度Ｔ１１が求まる。すなわち、入射角度Ｔ１１は、ｙ方向に平行な直線Ｌ２１と、位置ＣＰからの光線とのなす角度である。

入射角度Ｔ１１が求まると、位置ＣＰから開口部８１に入射し、光変調パネル６２へと進む光線、つまりその光線の光路を示す直線Ｌ２２と、直線Ｌ２１とのなす角度Ｔ１２が求まる。すなわち、図７を参照して説明したように、入射角度Ｔ１１と、開口部８１から光変調パネル６２の画素までの間のガラス材の屈折率ｋ１１とから、角度Ｔ１２＝asin（sin(T11/k11)）が求まる。

すると、直線Ｌ２２を表す式（例えば、ｙ＝ａｘ＋ｂ）が求まるので、光線の光路を表す直線Ｌ２２が光変調パネル６２の画素と交わる点の座標を求めれば、どのチャンネルの画素のどの位置がユーザにより視認されるかを求めることができる。

図８では、位置ＣＰからの光線は、画素Ｇ３１に到達しており、この画素Ｇ３１がユーザにより視認されることが分かる。

また、ユーザにより視認される画素内の位置、つまり画素におけるユーザの視認位置は、画素の中心位置が０とされて、−０．５から０．５までの間の値とされる。例えば、画素の図中、右端の位置が−０．５とされ、画素の図中、左端の位置が０．５とされる。

このようにして、ユーザの右眼と左眼について、ブロック領域（開口部８１）ごとにユーザにより視認される画素（以下、視認画素とも称する）のチャンネルｍと、その視認画素上の視認位置とを求めると、例えば図９の右側に示す結果が得られる。

なお、図９の右側において、横軸は開口部８１の番号ｎを示しており、縦軸は視認画素のチャンネル番号または視認位置を示している。

図９では、折れ線Ｃ１１は、ユーザの右眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ１２は、ユーザの右眼から見える各ブロック領域の視認画素における視認位置を示している。

ここで０番目の開口部８１から、ｎ番目（但し、１≦ｎ）の開口部８１に向かう方向を＋ｘ方向とし、＋ｘ方向と反対方向を−ｘ方向とする。この場合、例えば０番目の開口部８１に対して＋ｘ方向側に隣接するいくつかの開口部８１を観察するユーザの右眼には、それらの開口部８１を介してチャンネルＣＨ１の画素が視認されることが分かる。また、チャンネルＣＨ１の画素が視認される連続して並ぶ開口部８１のほぼ中央にある開口部８１では、その開口部８１を介して、チャンネルＣＨ１の画素のほぼ中央が、ユーザの右眼で観察されていることが分かる。

このような折れ線Ｃ１１から、矢印Ｑ２１に示すように、光変調パネル６２の表示面上の各領域において、ユーザの右眼によりどのチャンネルの画素が観察されるかが分かる。なお、矢印Ｑ２１に示される横長の四角形は、ユーザから見える光変調パネル６２の表示面全体を表しており、その四角形内の縦長の長方形内の数字は、その長方形の領域を観察するユーザの右眼により視認される画素のチャンネル番号を示している。

したがって、光変調パネル６２の表示面の図中、右端の領域、つまり＋ｘ方向側の端の領域では、ユーザの右眼にはチャンネルＣＨ２の画素が観察され、その領域に対して図中、左側に隣接する領域では、ユーザの右眼にはチャンネルＣＨ１の画素が観察される。また、光変調パネル６２の表示面の中央からやや−ｘ方向側に位置する領域では、ユーザの右眼にはチャンネルＣＨ０の画素が観察され、その領域の左側に隣接する領域では、ユーザの右眼にはチャンネルＣＨ３の画素が観察される。

また、折れ線Ｃ１２から、ユーザの右眼位置から見た各視認画素の視認位置が分かるので、視認位置が０となるブロック領域（開口部８１）の位置を連続ブロック領域の境界位置とすれば、矢印Ｑ２１に示すように境界位置ＬＢ５１乃至境界位置ＬＢ５４が定まる。

境界位置ＬＢ５１乃至境界位置ＬＢ５４により分割されて得られる各連続ブロック領域では、その連続ブロック領域内で視認画素とされる２つのチャンネルの画素に、右眼用の視差画像が割り当てられる。

すなわち、例えば光変調パネル６２の−ｘ方向側の端から境界位置ＬＢ５１までの間にある各ブロック領域では、チャンネルＣＨ２とチャンネルＣＨ３の画素に、右眼用の視差画像が割り当てられる。また、境界位置ＬＢ５１から境界位置ＬＢ５２までの間では、チャンネルＣＨ０とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられ、境界位置ＬＢ５２から境界位置ＬＢ５３までの間では、チャンネルＣＨ０とチャンネルＣＨ１の画素に右眼用の視差画像が割り当てられる。

さらに、境界位置ＬＢ５３から境界位置ＬＢ５４までの間では、チャンネルＣＨ１とチャンネルＣＨ２の画素に右眼用の視差画像が割り当てられ、境界位置ＬＢ５４から光変調パネル６２の＋ｘ方向側の端までの間では、チャンネルＣＨ２とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられる。

右眼における場合と同様に、図９において、折れ線Ｃ１３は、ユーザの左眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ１４は、ユーザの左眼から見える各ブロック領域の視認画素における視認位置を示している。例えば、０番目の開口部８１に対して＋ｘ方向側に隣接するいくつかの開口部８１を観察するユーザの左眼には、それらの開口部８１を介してチャンネルＣＨ３の画素が視認されることが分かる。

このような折れ線Ｃ１３から、矢印Ｑ２２に示すように、光変調パネル６２の表示面上の各領域において、ユーザの左眼によりどのチャンネルの画素が観察されるかが分かる。なお、矢印Ｑ２２に示される横長の四角形は、光変調パネル６２の表示面全体を表しており、その四角形内の縦長の長方形内の数字は、その長方形の領域を観察するユーザの左眼により視認される画素のチャンネル番号を示している。

したがって、光変調パネル６２の表示面の図中、右端の領域から左端の領域まで順番に、ユーザの左眼によって、チャンネルＣＨ０、チャンネルＣＨ３、チャンネルＣＨ２、およびチャンネルＣＨ１の画素が観察される領域が並んでいることが分かる。

また、折れ線Ｃ１４から、ユーザの左眼位置から見た各視認画素の視認位置が分かるので、視認位置が０となるブロック領域（開口部８１）の位置を連続ブロック領域の境界位置とすれば、矢印Ｑ２２に示すように境界位置ＬＢ６１乃至境界位置ＬＢ６４が定まる。

境界位置ＬＢ６１乃至境界位置ＬＢ６４により分割されて得られる各連続ブロック領域では、その連続ブロック領域内で視認画素とされる２つのチャンネルの画素に、左眼用の視差画像が割り当てられる。

すなわち、光変調パネル６２の−ｘ方向側の端から境界位置ＬＢ６１までの間にある各ブロック領域では、チャンネルＣＨ０とチャンネルＣＨ１の画素に、左眼用の視差画像が割り当てられる。また、境界位置ＬＢ６１から境界位置ＬＢ６２までの間では、チャンネルＣＨ１とチャンネルＣＨ２の画素に左眼用の視差画像が割り当てられ、境界位置ＬＢ６２から境界位置ＬＢ６３までの間では、チャンネルＣＨ２とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられる。

さらに、境界位置ＬＢ６３から境界位置ＬＢ６４までの間では、チャンネルＣＨ０とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられ、境界位置ＬＢ６４から光変調パネル６２の＋ｘ方向側の端までの間では、チャンネルＣＨ０とチャンネルＣＨ１の画素に左眼用の視差画像が割り当てられる。

このように、各開口部８１（ブロック領域）について、視認画素のチャンネル番号と、その視認画素における視認位置とが求まると、連続ブロック領域の境界位置が定まる。これにより、各連続ブロック領域に属すブロック領域ごとに、左右の視差画像を割り当てるチャンネルが定まる。

但し、連続ブロック領域の境界位置は、右眼から見たときの境界位置と、左眼から見たときの境界位置とが同じ位置となるのが理想的であるが、実際にはユーザの右眼と左眼の位置は異なる位置にあるので、それらの境界位置にずれが生じる。

例えば、ユーザの視点位置が番号０の開口部８１の略正面に位置し、かつ表示部２７から視点位置までの距離が適視距離Ｚ０の略半分である場合でも、図１０に示すようにユーザの右眼と左眼を基準とした境界位置のずれは、中央から離れた位置ほど大きくなる。

なお、図１０において、横軸は開口部８１の番号ｎを示しており、縦軸は視認画素のチャンネル番号または視認位置を示している。

図１０では、折れ線Ｃ２１は、ユーザの右眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ２２は、ユーザの右眼から見える各ブロック領域の視認画素における視認位置を示している。また、直線ＬＢ７１乃至直線ＬＢ７４は、それぞれ折れ線Ｃ２２から定まる連続ブロック領域の境界位置を示している。

さらに、折れ線Ｃ２３は、ユーザの左眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ２４は、ユーザの左眼から見える各ブロック領域の視認画素における視認位置を示している。また、直線ＬＢ８１乃至直線ＬＢ８４は、それぞれ折れ線Ｃ２４から定まる連続ブロック領域の境界位置を示している。

なお、以下、直線ＬＢ７１乃至直線ＬＢ７４を境界位置ＬＢ７１乃至境界位置ＬＢ７４とも称し、直線ＬＢ８１乃至直線ＬＢ８４を境界位置ＬＢ８１乃至境界位置ＬＢ８４とも称する。

図１０の例では、左眼を基準とした境界位置ＬＢ８１乃至境界位置ＬＢ８４のそれぞれが、右眼を基準とした境界位置ＬＢ７１乃至境界位置ＬＢ７４に対応するが、それらの境界位置のずれは、光変調パネル６２の中央から遠い位置にある境界位置ほど大きい。

このようなずれが生じると、ブロック領域における各チャンネルの画素への視差画像の割り当てに矛盾が生じてしまう。

例えば、右眼を基準として、境界位置ＬＢ７１から境界位置ＬＢ７２までの間のブロック領域で、チャンネルＣＨ０とチャンネルＣＨ３の画素に右眼用の視差画像を割り当てるとする。また、左眼を基準として、光変調パネル６２の−ｘ方向側の端から境界位置ＬＢ８１までの間のブロック領域で、チャンネルＣＨ０とチャンネルＣＨ１の画素に左眼用の視差画像を割り当てるとする。

そうすると、境界位置ＬＢ７１から境界位置ＬＢ８１までの間のブロック領域では、チャンネルＣＨ０の画素に対して、右眼用の視差画像と左眼用の視差画像の両方が割り当てられることになってしまう。

そこで、表示装置１１では、境界位置ＬＢ７１乃至境界位置ＬＢ７４のそれぞれと、境界位置ＬＢ８１乃至境界位置ＬＢ８４のそれぞれとの中間位置（平均位置）を、最終的な境界位置である境界位置ＬＢ９１乃至境界位置ＬＢ９４とする。

これにより、例えば図中、下側に示すように、境界位置ＬＢ９１乃至境界位置ＬＢ９４で分割される領域を連続ブロック領域として、各ブロック領域で視差画像の割り当てが行なわれる。なお、図中、下側には、各領域で右眼用および左眼用の視差画像が割り当てられる画素のチャンネル番号が記されている。

例えば、境界位置ＬＢ９１から境界位置ＬＢ９２までの間では、ブロック領域内のチャンネルＣＨ０とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ１とチャンネルＣＨ２の画素に左眼用の視差画像が割り当てられる。

また、境界位置ＬＢ９２から境界位置ＬＢ９３の間では、ブロック領域内のチャンネルＣＨ０とチャンネルＣＨ１の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ２とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられる。

なお、右眼を基準とする境界位置と左眼を基準とする境界位置との中間位置を、最終的な連続ブロック領域の境界位置とすると、境界位置近傍では右眼または左眼を基準とした視差画像の割り当てと多少のずれが生じるが、特に視差画像の立体視に影響は生じない。

但し、ユーザの視点位置が、半視距離表示方式における最適な視距離であるＺ０／２からずれてくると、すなわち、例えばユーザの視点位置が表示部２７に近付いたり、遠ざかったりすると、次第に右眼を基準とする境界位置と左眼を基準とする境界位置とのずれが大きくなる。

そうすると、例えば図１１に示すように、いくつかのブロック領域において、ユーザの右眼と左眼とで同じチャンネルの画素が視認画素として観察されてしまう。なお、図１１において、横軸は開口部８１の番号ｎを示しており、縦軸は視認画素のチャンネル番号または視認位置を示している。

図１１では、折れ線Ｃ３１は、ユーザの右眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ３２は、ユーザの右眼から見える各ブロック領域の視認画素における視認位置を示している。また、折れ線Ｃ３３は、ユーザの左眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ３４は、ユーザの左眼から見える各ブロック領域の視認画素における視認位置を示している。

この例では、折れ線Ｃ３１と折れ線Ｃ３３の一部が重なっており、これらの部分ではブロック領域において、ユーザの右眼と左眼とで同じチャンネルの画素が視認画素として観察される。そのため、右眼を基準として求めた境界位置と、左眼を基準として求めた境界位置との中間位置を最終的な連続ブロック領域の境界位置としても、所定のブロック領域では、同じチャンネルに右眼用と左眼用の両方の視差画像を割り当てなくてはならなくなる。つまり、ユーザが被写体を立体的に観察できなくなり、右眼用の視差画像と左眼用の視差画像とを用いた立体表示が不可能となる。

このように、所定の視点位置において、開口部８１（ブロック領域）ごとに、ブロック領域内の視認画素を求めると、その結果から、ユーザが現視点位置から表示部２７を観察する場合に、視差画像の立体視が可能であるかを特定することができる。

したがって、各視点位置について、ブロック領域ごとに視認画素を求める演算を行なえば、例えば図１２に示すように、ｘｙ平面上において立体表示（立体視）が可能な領域と不可能な領域とを求めることができる。なお、図１２において、横方向および縦方向はｘ方向およびｙ方向を示している。

図１２の例では、表示部２７の周囲の領域のうち、斜線の施された領域ＷＲ１１は、視差画像の立体表示が可能な領域を示している。そこで、表示装置１１は、半視距離表示方式により視差画像の立体表示を行なう場合において、領域ＷＲ１１内にある領域ＷＲ１２を視差画像の立体表示が可能な領域とする。そして、表示装置１１は、ユーザの視点位置が領域ＷＲ１２内にある場合、左右の視差画像に基づいて被写体を立体表示させ、ユーザの視点位置が領域ＷＲ１２外にある場合、左右の何れか一方の視差画像を表示する。

このようにユーザの視点位置に応じて、３Ｄ表示と２Ｄ表示を切り替えることで、ユーザに違和感のない自然な画像を提示することができる。

［表示処理の説明］
次に、表示装置１１の具体的な動作について説明する。

表示装置１１は、右眼用の視差画像と左眼用の視差画像からなる立体画像が指定され、これらの視差画像の半視距離表示方式による表示が指示されると、表示処理を行って、視差画像を立体表示させる。以下、図１３および図１４のフローチャートを参照して、表示装置１１による表示処理について説明する。

ステップＳ１１において、撮像部２１は、表示部２７の周囲の領域の画像を周辺画像として撮像し、検出部２２に供給する。

ステップＳ１２において、検出部２２は、撮像部２１から供給された周辺画像に基づいて、ユーザの眼を検出する。例えば検出部２２は、周辺画像からユーザの顔を検出し、検出された顔の領域から、さらにユーザの眼を検出する。

ステップＳ１３において、検出部２２は周辺画像からユーザの眼が検出されたか否かを判定する。

ステップＳ１３において、ユーザの眼が検出されたと判定された場合、ステップＳ１４において、視点位置算出部３１は、検出されたユーザの眼の位置から、ユーザの視点位置を算出し、割り当て制御部２３に供給する。

例えば視点位置算出部３１は、ｘｙ平面上におけるユーザの左右の眼の中間の位置を、視点位置として求める。また、周辺画像から複数のユーザ（顔）が検出された場合には、ユーザごとに視点位置が求められる。

さらに、検出部２２は、必要に応じて周辺画像からのユーザの顔や眼の検出結果を、周辺画像とともに割り当て制御部２３に供給する。

ステップＳ１５において、決定部４１は、視点位置算出部３１から供給されたユーザの視点位置や、検出部２２から供給されたユーザの顔等の検出結果に基づいて、周辺画像から検出されたユーザ（ユーザの眼）のなかからメインユーザを決定する。

例えば、決定部４１は周辺画像から最初に検出されたユーザや周辺画像上で最も顔の領域が大きいユーザを、メインユーザとする。この場合、例えば決定部４１が検出部２２から周辺画像を取得して、メインユーザとした顔領域から特徴量を抽出しておくなど、メインユーザとした顔を特定することも可能である。そうすると、一度、周辺画像からメインユーザとした顔が検出されなくなっても、一定時間以内に再度、周辺画像から過去にメインユーザとした顔が検出された場合に、その顔をメインユーザとすることなどが可能となる。

また、メインユーザとすべき顔や、メインユーザとすべき顔の優先順位などを示す情報が予め登録されるようにしてもよい。そのような場合、例えば決定部４１は、登録された情報に基づいて、周辺画像から検出された顔のなかから、顔識別機能等を利用してメインユーザとする顔を決定する。

さらに、図１２に示した立体表示可能な領域ＷＲ１２内にいるユーザがメインユーザとして選択されるようにしてもよい。

メインユーザが決定されると、割り当て制御部２３は、周辺画像から検出されたユーザを順番に処理対象のユーザとして選択していく。例えば、メインユーザが最初に処理対象のユーザとして選択され、その後、サブユーザが処理対象のユーザとして選択されていく。

ステップＳ１６において、割り当て制御部２３は、処理対象のユーザとして選択したユーザがメインユーザであるか否かを判定する。

ステップＳ１６において、メインユーザであると判定された場合、ステップＳ１７において、判定部４２は、視点位置算出部３１から供給されたメインユーザの視点位置に基づいて、メインユーザに対して視差画像の立体表示が可能であるか否かを判定する。

例えば判定部４２は、図１２に示した立体表示可能な領域ＷＲ１２を特定するための領域情報を予め記録している。判定部４２は、記録している領域情報に基づいて、メインユーザの視点位置が領域ＷＲ１２内の位置であるか否かを特定することで、立体表示が可能であるかを判定する。したがって、例えばメインユーザの視点位置が領域ＷＲ１２内の位置である場合、立体表示が可能であると判定される。

ステップＳ１７において、立体表示が可能でないと判定された場合、割り当て制御部２３は、生成部２５に２次元の視差画像の表示を指示し、処理はステップＳ１８へと進む。

ステップＳ１８において、生成部２５は、割り当て制御部２３からの指示に応じて、２次元の視差画像を表示させる。すなわち、生成部２５は、記録部２４から右眼用または左眼用の何れかの視差画像を読み出して、読み出した視差画像をそのまま表示制御部２６に供給する。

すると、表示制御部２６は、生成部２５から供給された視差画像を表示部２７に供給し、視差画像を表示させる。このとき、例えばバリア素子６３は、パララックスバリアを形成せず、表示部２７は視差画像をそのまま表示させる。また、表示部２７に設けられるパララックスバリアが固定式のものである場合でも、表示部２７に視差画像をそのまま表示させることで、視差画像が２次元表示（２Ｄ表示）される。

ステップＳ１８において視差画像が表示されると、その後、処理はステップＳ２８へと進む。

これに対して、ステップＳ１７において、立体表示が可能であると判定された場合、ステップＳ１９において、視認位置算出部４３は、視点位置算出部３１から供給されたメインユーザの視点位置に基づいて、開口部８１ごとに視認画素および視認位置を算出する。

すなわち、視認位置算出部４３は、視点位置から定まるメインユーザの右眼位置と左眼位置とについて、開口部８１（ブロック領域）ごとに図８を参照して説明した演算を行なう。つまり、ユーザの視点位置等から直線Ｌ２２が求められ、直線Ｌ２２と光変調パネル６２との交点位置が求められる。このような演算を行なうことで、開口部８１（ブロック領域）ごとに、その開口部８１を介して観察される視認画素と、その視認画素における視認位置が算出される。

これにより、例えば図９に示した演算結果が得られる。すなわち、各ブロック領域について、メインユーザの右眼または左眼から観察される画素（視認画素）のチャンネル番号と、その画素上のメインユーザにより観察される位置（視認位置）が求まる。

ステップＳ２０において、境界位置算出部４４は、各ブロック領域についての視認位置の算出結果に基づいて、連続ブロック領域の境界位置を算出する。

具体的には境界位置算出部４４は、右眼位置について求められた各ブロック領域の視認位置の算出結果に基づいて、視認位置が「０」となる位置を、右眼を基準とする境界位置とする。すなわち、開口部８１を介して、右眼により画素の中央が観察されるブロック領域の位置が、右眼を基準とする境界位置とされる。同様に、境界位置算出部４４は、左眼位置について求められた各ブロック領域の視認位置の算出結果に基づいて、視認位置が「０」となる位置を、左眼を基準とする境界位置とする。

そして、境界位置算出部４４は、右眼を基準とする境界位置と、それらの境界位置に対応する、左眼を基準とする境界位置との中間の位置を、最終的な連続ブロック領域の境界位置とする。ここで、右眼を基準とする境界位置に対応する、左眼を基準とする境界位置とは、右眼を基準とする境界位置に最も近い位置にある、左眼を基準とする境界位置である。

このような演算により、例えば図１０に示した境界位置ＬＢ９１乃至境界位置ＬＢ９４が求められる。

ステップＳ２１において、境界位置算出部４４は、連続ブロック領域の境界位置の算出結果に基づいて、各ブロック領域の画素に右眼用または左眼用の視差画像を割り当てる。

図１０の例では、例えば光変調パネル６２の表示面上のブロック領域のうち、境界位置ＬＢ９１から境界位置ＬＢ９２の間にあるブロック領域では、チャンネルＣＨ０とチャンネルＣＨ３の画素（チャンネル領域）に対して、右眼用の視差画像が割り当てられる。また、境界位置ＬＢ９１から境界位置ＬＢ９２の間にあるブロック領域において、チャンネルＣＨ１とチャンネルＣＨ２の画素に対して、左眼用の視差画像が割り当てられる。

より具体的には、例えば図１５に示すように、光変調パネル６２上の４つの画素からなる領域がブロック領域ＢＲ１およびブロック領域ＢＲ２とされたとする。なお、図１５において、横方向はｘ方向を示している。

図１５では、矢印Ｑ４１乃至矢印Ｑ４３により示される長方形は、右眼用の視差画像、左眼用の視差画像、および光変調パネル６２を表している。また、それらの長方形内の１つの四角形は１つの画素を表しており、各画素内の文字「Ｒ」，「Ｇ」，「Ｂ」は、それぞれ画素の色を表している。

例えば、光変調パネル６２上の画素Ｇ５１乃至画素Ｇ５４が含まれる領域が、ブロック領域ＢＲ１とされており、画素Ｇ５５乃至画素Ｇ５８が含まれる領域が、ブロック領域ＢＲ２とされている。ここで、例えば画素Ｇ５１は、Ｒ（赤）のカラーフィルタが設けられた、Ｒの光のみを透過させる画素であり、画素Ｇ５２は、Ｇ（緑）のカラーフィルタが設けられた、Ｇの光のみを透過させる画素である。

また、光変調パネル６２上の各画素の図中、下側には、それらの画素のチャンネル番号が記されている。例えば、画素Ｇ５１はチャンネルＣＨ０の画素であり、画素Ｇ５２は、チャンネルＣＨ１の画素である。

さらに、図中、横方向において光変調パネル６２上の各画素と同じ位置には、それらの画素と同じ位置にある、右眼用および左眼用の視差画像の画素が示されている。

一般的に、画像上の画素は、Ｒ，Ｇ，Ｂの各色の値をもつため、互いに隣接するＲ，Ｇ，Ｂの領域が１つの画素とされ、Ｒ，Ｇ，Ｂの各色の領域がサブピクセル（サブ画素）として扱われることが多い。

具体的には、例えば右眼用の視差画像の図中、左端の連続するＲ，Ｇ，Ｂの３つの画素からなる領域が一般的には１つの画素（以下、適宜、ＲＧＢ画素とも称する）とされ、各色の画素Ｇ６１や画素Ｇ６２がサブピクセルとして扱われることが多い。しかし、ここでは、これらの画素Ｇ６１や画素Ｇ６２を１つの画素と呼ぶこととする。

同様に、例えば一般的に、画素Ｇ５１乃至画素Ｇ５３からなる３つの色の領域が１つの画素として扱われることがあるが、ここでは画素Ｇ５１乃至画素Ｇ５３のそれぞれを、１つの画素として扱うこととする。

例えば、ブロック領域ＢＲ１とブロック領域ＢＲ２において、境界位置算出部４４により、チャンネルＣＨ０とチャンネルＣＨ１の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ２とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられたとする。

このとき、境界位置算出部４４は、右眼用の視差画像の画素Ｇ６１と画素Ｇ６２を、それらの画素と同じ位置にある光変調パネル６２上の画素Ｇ５１と画素Ｇ５２に割り当てる。また、境界位置算出部４４は、左眼用の視差画像の画素Ｇ７１と画素Ｇ７２を、それらの画素と同じ位置にある光変調パネル６２上の画素Ｇ５３と画素Ｇ５４に割り当てる。

同様に、境界位置算出部４４は、右眼用の視差画像の画素Ｇ６３と画素Ｇ６４を、画素Ｇ５５と画素Ｇ５６に割り当て、左眼用の視差画像の画素Ｇ７３と画素Ｇ７４を、画素Ｇ５７と画素Ｇ５８に割り当てる。

このように、ブロック領域の所定のチャンネルに右眼用または左眼用の視差画像が割り当てられたとき、より詳細には、そのチャンネルの画素には、その画素と同じ位置にある右眼用または左眼用の視差画像の画素が割り当てられる。

このようにして、ブロック領域ごとに、各チャンネルの画素に対して右眼用または左眼用の視差画像を割り当てると、境界位置算出部４４はその割り当て結果を生成部２５に供給し、合成画像の生成を指示する。

ステップＳ２２において、生成部２５は、境界位置算出部４４から供給された割り当て結果と、記録部２４から読み出した右眼用および左眼用の視差画像とに基づいて、合成画像を生成し、表示制御部２６に供給する。例えば、図１５に示した割り当てが行なわれた場合、生成部２５は、右眼用の視差画像の画素Ｇ６１と画素Ｇ６２が、画素Ｇ５１と画素Ｇ５２に表示され、左眼用の視差画像の画素Ｇ７１と画素Ｇ７２が、画素Ｇ５３と画素Ｇ５４に表示されるように、合成画像を生成する。

なお、視差画像を記録部２４から取得するのではなく、外部の装置から視差画像を取得したり、視差画像を受信したりするようにしてもよい。

ステップＳ２３において、表示制御部２６は、生成部２５から供給された合成画像を表示部２７に供給して表示させる。

例えば、表示部２７は、供給された合成画像に基づいてバックライト６１から光を射出させるとともに、光変調パネル６２に電圧を印加させてバックライト６１からの光の透過率を画素ごとに制御する。また、表示部２７はバリア素子６３に電圧を印加させて開口部８１と遮蔽部８２とからなるパララックスバリアを形成させる。

これにより、バックライト６１から光変調パネル６２の各画素を透過した光は、パララックスバリアにより光学的に分離され、分離された一部の光がユーザの右眼または左眼に入射して、ユーザにより視差画像上の被写体が立体的に観察される。すなわち、合成画像上の右眼用の視差画像の領域がユーザの右眼により観察され、合成画像上の左眼用の視差画像の領域がユーザの左眼により観察される。

このとき、例えば左右の視差画像に付随する音声がある場合には、表示装置１１は、合成画像の表示に合わせて、付随する音声を図示せぬスピーカから出力させる。

なお、このようにして表示部２７に表示された立体画像（合成画像）は、メインユーザの視点位置が最適な視聴位置となるように表示された画像であるので、メインユーザには適切な立体画像が観察されるが、サブユーザには適切な立体画像が観察されるとは限らない。

ステップＳ２４において、割り当て制御部２３は、周辺画像から検出された全てのユーザについて処理を行なったか否かを判定する。

ステップＳ２４において、まだ全てのユーザについて処理を行なっていないと判定された場合、処理はステップＳ１６に戻り、上述した処理が繰り返される。

また、ステップＳ１６において、処理対象とされたユーザがメインユーザでないと判定された場合、つまり、処理対象のユーザがサブユーザである場合、処理はステップＳ２５に進む。

ステップＳ２５において、判定部４２は、視点位置算出部３１から供給されたサブユーザの視点位置と、立体表示可能な領域ＷＲ１２を特定するための領域情報とに基づいて、処理対象のサブユーザに対して視差画像の立体表示が可能であるか否かを判定する。例えば、処理対象のサブユーザの視点位置が図１２に示した領域ＷＲ１２内の位置である場合、立体表示が可能であると判定される。

ステップＳ２５において、処理対象のサブユーザに対して視差画像の立体表示が可能でないと判定された場合、処理はステップＳ２４に進む。

一方、ステップＳ２５において、処理対象のサブユーザに対して視差画像の立体表示が可能であると判定された場合、ステップＳ２６において、探索部４５は、処理対象のサブユーザに対して最適な視聴位置を探索し、その探索結果を誘導部２８に供給する。

例えば、視認位置算出部４３は、ｘｙ平面上の所定領域を処理対象領域として、処理対象領域内の各位置について、それらの位置を視点位置とした場合における視認画素を開口部８１ごとに求める。

探索部４５は、処理対象領域内の各位置について、開口部８１ごとの視認画素と、メインユーザの視点位置について求められた各開口部８１の視認画素とに基づいて、サブユーザの最適な視聴位置を探索する。

具体的には、探索部４５は、各開口部８１のうち、処理対象領域内の所定位置を視点位置としたときの視認画素と、メインユーザの視点位置について求めた視認画素とが同じである開口部８１の数を評価値として求める。

このようにして得られる処理対象領域内の各位置の評価値は、その位置を視点位置とした場合に、メインユーザの視点位置における場合と同じ画素が視認画素となる開口部８１の数である。したがって、評価値が高い位置ほど、その位置から立体画像を観察した場合に、メインユーザにより観察される立体画像により近い画像が観察されることになる。

そこで、探索部４５は、処理対象領域内の各位置のうち、最も評価位置が高い位置をサブユーザの最適な視聴位置とする。なお、サブユーザの最適な視聴位置は、メインユーザの視点位置とは異なる位置であり、各サブユーザの最適な視聴位置は、互いに異なる位置とされる。

ここで、ｘｙ平面上の処理対象領域とされる領域は、立体表示可能な領域ＷＲ１２とされてもよいし、処理対象のサブユーザの視点位置を含む所定の大きさの領域とされてもよい。

例えば、ｘｙ平面上において、メインユーザの視点位置がｘ＝-6.5cm，ｙ＝45cmにある場合、各開口部８１の視認画素と視認位置は、図１６の折れ線Ｃ４１乃至折れ線Ｃ４４に示すようになる。

なお、図１６において、横軸は開口部８１の番号ｎを示しており、縦軸は視認画素のチャンネル番号または視認位置を示している。

図１６中、上側では、折れ線Ｃ４１および折れ線Ｃ４２は、それぞれメインユーザの右眼および左眼から見える各ブロック領域の視認画素のチャンネル番号を示している。また、折れ線Ｃ４３および折れ線Ｃ４４は、それぞれメインユーザの右眼および左眼から見える各ブロック領域の視認画素における視認位置を示している。

このような場合に、処理対象領域内の各位置について評価値、つまり視認画素が一致する開口部８１の数が求められ、評価値が最も高い位置として、ｘｙ平面上のｘ＝6.5cm，ｙ＝45cmの位置が得られたとする。

このようにして得られた位置がサブユーザの最適な視聴位置とされるが、この視聴位置を視点位置とした場合、各開口部８１の視認画素と視認位置は、図中、下側の折れ線Ｃ４５乃至折れ線Ｃ４８に示すようになる。すなわち、図中、下側では、折れ線Ｃ４５および折れ線Ｃ４６は、それぞれ視聴位置を視点位置としたときにユーザの右眼および左眼から見える各ブロック領域の視認画素のチャンネル番号を示している。また、折れ線Ｃ４７および折れ線Ｃ４８は、それぞれ視聴位置を視点位置としたときにユーザの右眼および左眼から見える各ブロック領域の視認画素における視認位置を示している。

折れ線Ｃ４１および折れ線Ｃ４２と、折れ線Ｃ４５および折れ線Ｃ４６とを比較すると分かるように、メインユーザの視点位置から見える各開口部８１の視認画素と、サブユーザの最適な視聴位置から見える各開口部８１の視認画素とはほぼ一致する。したがって、サブユーザの最適な視聴位置からは、メインユーザにより観察される立体画像とほぼ同じ画像が観察されることが分かる。

なお、以上においては、処理対象領域内の各位置のうち、最も評価値が高い位置をサブユーザの最適な視聴位置とすると説明したが、評価値が閾値以上となる位置が検出された時点で、その位置をサブユーザの最適な視聴位置とするようにしてもよい。そのような場合、例えば処理対象領域内の位置のうち、サブユーザの視点位置に近い位置から順番に処理が行なわれていくようにされる。

図１４のフローチャートの説明に戻り、ステップＳ２６においてサブユーザの最適な視聴位置が探索されると、処理はステップＳ２７へと進む。

ステップＳ２７において、誘導部２８は、探索部４５から供給された探索結果に基づいて、サブユーザを最適な視聴位置に誘導する。

例えば、誘導部２８は、誘導部２８を構成するインジケータ１２を点灯させて、サブユーザの最適な視聴位置を示したり、最適な視聴位置への移動方向を示したりすることで、サブユーザに対して最適な視聴位置への移動を促す。

なお、サブユーザの最適な視聴位置への誘導は、インジケータ１２の点灯に限らず、表示部２７に最適な視聴位置へ誘導するための画像やメッセージ等を表示させたり、音声によるアナウンスを行なったりするようにしてもよい。

サブユーザの最適な視聴位置への誘導が行なわれると、その後、処理はステップＳ２４へと進む。

さらに、ステップＳ２４において、全てのユーザについて処理を行なったと判定されたか、またはステップＳ１８において２次元の視差画像が表示されると、ステップＳ２８において、表示装置１１は、表示装置１１の電源をオフするか否かを判定する。例えば、ユーザの操作により電源のオフが指示された場合、電源をオフすると判定される。

ステップＳ２８において、電源をオフしないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、ユーザの視点位置の移動に応じて、ブロック領域内の各チャンネルの画素に対する視差画像の割り当てが変更され、新たな割り当てにしたがって生成された合成画像が表示される。

これに対して、ステップＳ２８において、電源をオフすると判定された場合、表示装置１１は各部の処理を停止させて電源をオフし、表示処理は終了する。

また、ステップＳ１３において、ユーザの眼が検出されなかったと判定された場合、検出部２２は、眼が検出されなかった旨の検出結果を割り当て制御部２３に供給し、処理はステップＳ２９に進む。

ステップＳ２９において、割り当て制御部２３は、ユーザの眼が検出されていない状態となってから、一定時間が経過したか否かを判定する。

ステップＳ２９において、一定時間が経過していないと判定された場合、処理はステップＳ１８に進み、上述した処理が行われる。すなわち、表示部２７に視差画像が２次元表示される。

これに対して、ステップＳ２９において、一定時間経過したと判定された場合、ステップＳ３０において、割り当て制御部２３は、生成部２５を制御して画像が表示されない状態とさせる。生成部２５は、割り当て制御部２３の制御にしたがって、画像の表示制御部２６への供給を停止する。これにより、表示部２７には、画像が表示されない状態となる。つまり、消画された状態となる。

なお、視差画像に付随する音声がある場合、消画された状態で音声のみが継続して再生されるようにしてもよいし、音声も消音されるようにしてもよい。このように、一定時間、ユーザの眼が検出されなかった場合、ユーザは視差画像を見ていないはずであるので、消画することで消費電力を抑えることができる。

ステップＳ３０において消画された状態とされると、その後、処理はステップＳ２８に進み、上述した処理が行われて表示処理は終了する。

以上のようにして表示装置１１は、メインユーザの視点位置を基準としてブロック領域の各チャンネルの画素に、右眼用または左眼用の視差画像を割り当てて合成画像を生成し、表示する。また、表示装置１１は、サブユーザに対して最適な視聴位置を探索し、その探索の結果得られた視聴位置へとサブユーザを誘導する。

合成画像の生成時において、ブロック領域のｘ方向に隣接して並ぶ少なくとも２つの画素に、右眼用または左眼用の視差画像のうちの同じ視差画像が割り当てられるようにすることで、より簡単にクロストークの発生を抑制し、高品位な画像を提示することができる。

また、ユーザの視点位置の移動に応じて、ブロック領域内の各チャンネルの画素に対する視差画像の割り当てを変化させることで、各チャンネルにおける視差画像の表示の切り替えをユーザに感じさせることなく、より自然で高品位な画像を提示することができる。

さらに、メインユーザにより観察される立体画像に最も近い画像が観察される位置を探索してサブユーザの最適な視聴位置とし、その視聴位置へとサブユーザを誘導することで、複数の各ユーザがより適切な位置で立体画像を観察することができる。

なお、以上において説明した表示処理では、判定部４２が立体表示可能な領域を特定するための領域情報を予め記録していると説明したが、そのような領域情報を予め記録せずに、視認画素の算出結果から、立体表示可能かを判定するようにしてもよい。

そのような場合、判定部４２は、視認位置算出部４３により算出された、各ブロック領域の視認画素の算出結果を用いる。すなわち、判定部４２は、右眼を基準とする視認画素と、左眼を基準とする視認画素とが、同じチャンネルの画素となるブロック領域がある場合、立体表示が可能でないと判定する。

〈第２の実施の形態〉
［表示装置による視聴位置への誘導について］
さらに以上においては、複数ユーザのうちの１人をメインユーザとし、メインユーザの視点位置を基準として合成画像を生成すると説明したが、予め定められた位置を基準として合成画像を生成し、全てのユーザに対して最適な視聴位置への誘導を行なってもよい。

そのような場合、例えば図１７に示すように、本技術を適用した表示装置１２１では、予め定められた所定の位置（以下、基準視点位置とも称する）を基準として合成画像が生成され、その合成画像が表示されることで、裸眼方式により立体画像が表示される。

いま、例えば表示装置１２１に表示された立体画像を２人のユーザＵ２１とユーザＵ２２が観察していたとする。

この場合、表示装置１２１は、各ユーザについて立体画像の最適な視聴位置を探索し、その結果得られた視聴位置への誘導を行なう。

具体的には、ユーザＵ２１の最適な視聴位置への誘導は、例えば表示装置１２１の表示部を囲む枠に設けられたインジケータ１３１−１乃至インジケータ１３１−４を点灯させることにより行なわれる。すなわち、表示装置１２１は、インジケータ１３１−１乃至インジケータ１３１−４を点灯させてユーザＵ２１が移動すべき方向や位置を示すことで、ユーザＵ２１の最適な視聴位置への移動を促す。

同様に、表示装置１２１は、表示装置１２１の表示部を囲む枠に設けられたインジケータ１３２−１乃至インジケータ１３２−４を点灯させることで、ユーザＵ２２が移動すべき方向や位置を示し、ユーザＵ２２の最適な視聴位置への移動を促す。

なお、以下、インジケータ１３１−１乃至インジケータ１３１−４を特に区別する必要のない場合、単にインジケータ１３１とも称することとする。また、以下、インジケータ１３２−１乃至インジケータ１３２−４を特に区別する必要のない場合、単にインジケータ１３２とも称することとする。

［表示装置の構成例］
このように、全てのユーザに対して最適な視聴位置への誘導が行なわれる場合、表示装置１２１は、例えば図１８に示すように構成される。なお、図１８において、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１８の表示装置１２１は、撮像部２１、検出部２２、割り当て制御部２３、記録部２４、生成部２５、表示制御部２６、表示部２７、および誘導部２８から構成される。これらの撮像部２１乃至誘導部２８は、図２の表示装置１１の撮像部２１乃至誘導部２８に対応し、表示装置１２１は、基本的には表示装置１１と同じ構成とされる。

但し、表示装置１２１の割り当て制御部２３には、表示装置１１の決定部４１は設けられていない。つまり、表示装置１２１の割り当て制御部２３には、判定部４２、視認位置算出部４３、境界位置算出部４４、および探索部４５が設けられている。

また、表示装置１２１の誘導部２８は、例えばインジケータ１３１およびインジケータ１３２などからなり、周辺画像から検出された全てのユーザに対して、各ユーザの最適な視聴位置への誘導を行なう。

［表示処理の説明］
次に、図１９のフローチャートを参照して、表示装置１２１による表示処理について説明する。なお、ステップＳ５１乃至ステップＳ５４の処理は図１３のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

ステップＳ５３で周辺画像からユーザの眼が検出されたと判定され、ステップＳ５４で各ユーザの視点位置が算出されると、ステップＳ５５の処理が行なわれる。

ステップＳ５５において、判定部４２は、視点位置算出部３１から供給された各ユーザの視点位置に基づいて、ユーザに対して視差画像の立体表示が可能であるか否かを判定する。

例えば、判定部４２は、予め記録している立体表示可能な領域ＷＲ１２を特定するための領域情報に基づいて、各ユーザの視点位置のうちの少なくとも何れか１つが領域ＷＲ１２内の位置である場合、立体表示が可能であると判定する。

ステップＳ５５において、立体表示が可能であると判定された場合、ステップＳ５６において、境界位置算出部４４は、予め定めた基準視点位置に最適な合成画像を生成部２５に生成させる。

このとき、視認位置算出部４３は、必要に応じて基準視点位置について図８を参照して説明した演算を行ない、基準視点位置を視点位置としたときの各開口部８１（ブロック領域）の視認画素と視認位置を算出する。つまり、図１３のステップＳ１９と同様の処理が行なわれる。

また、境界位置算出部４４は、各ブロック領域についての視認位置の算出結果に基づいて連続ブロック領域の境界位置を算出し、その算出結果に基づいて、各ブロック領域の画素に右眼用または左眼用の視差画像を割り当てる。つまり、図１３のステップＳ２０およびステップＳ２１と同様の処理が行なわれる。

さらに、境界位置算出部４４は、視差画像の割り当て結果を生成部２５に供給し、合成画像の生成を指示する。すると、生成部２５は、境界位置算出部４４から供給された割り当て結果と、記録部２４から読み出した右眼用および左眼用の視差画像とに基づいて、合成画像を生成し、表示制御部２６に供給する。すなわち、図１３のステップＳ２２と同様の処理が行なわれる。

なお、基準視点位置は、予め定められた位置であるので、基準視点位置を視点位置としたときの各ブロック領域の画素に対する右眼用または左眼用の視差画像の割り当てが、予め境界位置算出部４４に保持されているようにしてもよい。

そのような場合、視認位置算出部４３による視認画素と視認位置の算出や、境界位置算出部４４による視差画像の割り当ては行なわれず、境界位置算出部４４は、予め保持している視差画像の割り当てを生成部２５に供給し、合成画像の生成を指示する。

ステップＳ５７において、表示制御部２６は、生成部２５から供給された合成画像を表示部２７に供給して表示させる。すなわち、図１３のステップＳ２３の処理と同様の処理が行われて、表示部２７に立体画像（合成画像）が表示される。

このようにして表示部２７に表示された立体画像（合成画像）は、基準視点位置を最適な視聴位置とする画像であり、各ユーザの視点位置が立体画像の観察に適した位置であるとは限らない。そこで、以降において、各ユーザに対して最適な視聴位置への誘導が行なわれる。

すなわち、ステップＳ５８において、探索部４５は、周辺画像から検出されたユーザのうちのまだ処理対象とされていないユーザを処理対象のユーザとして、処理対象のユーザに対して最適な視聴位置を探索し、その探索結果を誘導部２８に供給する。例えば、ステップＳ５８では、図１４のステップＳ２６の処理と同様の処理が行われる。

但し、ステップＳ５８では、視認位置算出部４３は、ｘｙ平面上の所定領域を処理対象領域として、処理対象領域内の各位置と基準視点位置とについて、それらの位置を視点位置とした場合における視認画素を開口部８１ごとに求める。

そして、探索部４５は、各開口部８１のうち、処理対象領域内の所定位置を視点位置としたときの視認画素と、基準視点位置について求められた視認画素とが同じである開口部８１の数を評価値として求め、最も評価値の高い位置をユーザの最適な視聴位置とする。

なお、処理対象のユーザの最適な視聴位置は、他のユーザの最適な視聴位置とは異なる位置とされる。また、全てのユーザの最適な視聴位置が、基準視聴位置と異なる位置とされるようにしてもよいし、１人のユーザの最適な視聴位置が基準視聴位置とされるようにしてもよい。

ステップＳ５９において、誘導部２８は、探索部４５から供給された探索結果に基づいて、処理対象のユーザを最適な視聴位置に誘導する。

例えば、誘導部２８は、誘導部２８を構成するインジケータ１３１またはインジケータ１３２を点灯させて、ユーザの最適な視聴位置を示したり、最適な視聴位置への移動方向を示したりすることで、ユーザに対して最適な視聴位置への移動を促す。ステップＳ５９では、図１４のステップＳ２７と同様の処理が行なわれる。

ステップＳ６０において、割り当て制御部２３は、周辺画像から検出された全てのユーザについて処理を行なったか否かを判定する。

ステップＳ６０において、まだ全てのユーザについて処理を行なっていないと判定された場合、処理はステップＳ５８に戻り、上述した処理が繰り返される。すなわち、次のユーザが処理対象のユーザとされ、そのユーザに対する最適な視聴位置への誘導が行なわれる。なお、ステップＳ５８およびステップＳ５９において、立体表示が可能な位置にいないユーザ、すなわち領域ＷＲ１２外にいるユーザに対しては、最適な視聴位置への誘導が行なわれないようにしてもよい。

また、ステップＳ６０において、全てのユーザについて処理を行なったと判定された場合、ステップＳ６１において、表示装置１２１は、表示装置１２１の電源をオフするか否かを判定する。例えば、ユーザの操作により電源のオフが指示された場合、電源をオフすると判定される。

ステップＳ６１において、電源をオフしないと判定された場合、処理はステップＳ５１に戻り、上述した処理が繰り返される。すなわち、各ユーザに対して、それらのユーザの最適な視聴位置への誘導が繰り返し行なわれる。

なお、基準視点位置に対する各ユーザの最適な視聴位置は変化しないので、一度、各ユーザに対して最適な視聴位置が算出されると、以降においては、それらの視聴位置を探索する処理は行なわれない。

また、探索部４５が、基準視点位置に対するいくつかの最適な視聴位置を予め保持しておき、各ユーザに対して、順番にそれらの視聴位置を最適な視聴位置として割り当てていくようにしてもよい。そのような場合には、ステップＳ５８の処理は行なわれないことになる。

一方、ステップＳ６１において、電源をオフすると判定された場合、表示装置１２１は各部の処理を停止させて電源をオフし、表示処理は終了する。

また、ステップＳ５５において、立体表示が可能でないと判定された場合、割り当て制御部２３は、生成部２５に２次元の視差画像の表示を指示し、処理はステップＳ６２へと進む。

ステップＳ６２において、生成部２５は、割り当て制御部２３からの指示に応じて、２次元の視差画像を表示させる。すなわち、ステップＳ６２では、図１３のステップＳ１８と同様の処理が行なわれる。

ステップＳ６２において視差画像が表示されると、その後、処理はステップＳ６１へと進み、上述した処理が行われる。

また、ステップＳ５３において、ユーザの眼が検出されなかったと判定された場合、検出部２２は、眼が検出されなかった旨の検出結果を割り当て制御部２３に供給し、処理はステップＳ６３に進む。

ステップＳ６３において、割り当て制御部２３は、ユーザの眼が検出されていない状態となってから、一定時間が経過したか否かを判定する。

ステップＳ６３において、一定時間が経過していないと判定された場合、処理はステップＳ６２に進み、上述した処理が行われる。すなわち、表示部２７に視差画像が２次元表示される。

これに対して、ステップＳ６３において、一定時間経過したと判定された場合、ステップＳ６４において、割り当て制御部２３は、生成部２５を制御して画像が表示されない状態とさせる。生成部２５は、割り当て制御部２３の制御にしたがって、画像の表示制御部２６への供給を停止する。これにより、表示部２７には、画像が表示されない状態となる。

ステップＳ６４の処理が行なわれると、その後、ステップＳ６１の処理が行なわれて、表示処理は終了する。

以上のようにして、表示装置１２１は、基準視点位置を基準として合成画像を生成し、合成画像を表示することで、立体画像を表示する。また、表示装置１２１は、基準視点位置に対して各ユーザの最適な視聴位置を定め、それらの視聴位置へとユーザを誘導する。

このように、各ユーザの最適な視聴位置を探索し、それらの視聴位置にユーザを誘導することで、複数の各ユーザがより適切な位置で立体画像を観察することができる。また、表示装置１２１では、基準視点位置を基準として左右の視差画像を各ブロック領域に割り当てるので、フレームごとに視差画像の割り当てを変化させる必要がなく、より簡単に立体画像の表示制御を行なうことができる。

なお、第１の実施の形態と第２の実施の形態では、半視距離表示方式による立体画像の表示処理において、ユーザに対する最適な視聴位置の探索と、その視聴位置への誘導を行なうと説明したが、本技術は半視距離表示方式に限らず、どのような立体画像が表示される場合にも適用可能である。

例えば、ユーザが通常の適視距離から左右の視差画像からなる立体画像を観察する場合や、３以上の視差画像からなる多視差の立体画像を表示する場合においても、各位置に対する評価値を求めて最適な視聴位置を探索し、視聴位置への誘導を行なうことができる。

さらに、表示装置１１や表示装置１２１には、撮像部２１や表示部２７が設けられていると説明したが、これらの撮像部２１や表示部２７は、表示装置１１や表示装置１２１の外部に設けられるようにしてもよい。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

［１］
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、
基準となる視点位置に応じて、前記ブロック領域内の各チャンネルの画素に複数の視差画像の何れかを割り当てる割り当て制御部と、
前記割り当て制御部の割り当てにしたがって複数の前記視差画像を合成し、合成画像を生成する生成部と、
前記表示部に前記合成画像を表示させた場合に、前記基準となる前記視点位置から観察される画像とほぼ同じ画像が観察される最適視点位置を、前記表示部を観察する複数のユーザごとに探索する探索部と
を備える表示装置。
［２］
前記最適視点位置へと前記ユーザを誘導する誘導部をさらに備える
［１］に記載の表示装置。
［３］
前記表示部周辺の領域を撮像して得られた周辺画像に基づいて、前記ユーザを検出する検出部をさらに備え、
前記探索部は、前記検出部により検出された前記ユーザに対して前記最適視点位置を探索する
［１］または［２］に記載の表示装置。
［４］
前記検出部により検出された前記ユーザのうちの何れかをメインユーザとして決定する決定部をさらに備え、
前記割り当て制御部は、前記メインユーザの視点位置を前記基準となる前記視点位置として前記視差画像の割り当てを行い、
前記探索部は、前記検出部により検出された前記ユーザのうち、前記メインユーザとは異なる他の全ての前記ユーザに対して前記最適視点位置を探索する
［３］に記載の表示装置。
［５］
前記基準となる前記視点位置は、予め定められた位置とされ、
前記探索部は、前記検出部により検出された全ての前記ユーザに対して前記最適視点位置を探索する
［３］に記載の表示装置。
［６］
前記探索部は、いくつかの視点位置について、その視点位置から観察される前記ブロック領域内の画素のチャンネルが、前記基準となる前記視点位置から観察される画素のチャンネルと同じとなる前記ブロック領域の数に基づいて評価値を算出し、前記評価値に基づいて前記最適視点位置を定める
［１］乃至［５］の何れかに記載の表示装置。

１１ 表示装置， ２２ 検出部， ２３ 割り当て制御部， ２７ 表示部， ２８ 誘導部， ３１ 視点位置算出部， ４１ 決定部， ４３ 視認位置算出部， ４４ 境界位置算出部， ４５ 探索部， １２１ 表示装置

Claims (8)

1. 複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
   前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、
   基準となる視点位置に応じて、前記ブロック領域内の各チャンネルの画素に複数の視差画像の何れかを割り当てる割り当て制御部と、
   前記割り当て制御部の割り当てにしたがって複数の前記視差画像を合成し、合成画像を生成する生成部と、
   前記表示部に前記合成画像を表示させた場合に、前記基準となる前記視点位置から観察される画像とほぼ同じ画像が観察される最適視点位置を、前記表示部を観察する複数のユーザごとに探索する探索部と
   を備える表示装置。
2. 前記最適視点位置へと前記ユーザを誘導する誘導部をさらに備える
   請求項１に記載の表示装置。
3. 前記表示部周辺の領域を撮像して得られた周辺画像に基づいて、前記ユーザを検出する検出部をさらに備え、
   前記探索部は、前記検出部により検出された前記ユーザに対して前記最適視点位置を探索する
   請求項１に記載の表示装置。
4. 前記検出部により検出された前記ユーザのうちの何れかをメインユーザとして決定する決定部をさらに備え、
   前記割り当て制御部は、前記メインユーザの視点位置を前記基準となる前記視点位置として前記視差画像の割り当てを行い、
   前記探索部は、前記検出部により検出された前記ユーザのうち、前記メインユーザとは異なる他の全ての前記ユーザに対して前記最適視点位置を探索する
   請求項３に記載の表示装置。
5. 前記基準となる前記視点位置は、予め定められた位置とされ、
   前記探索部は、前記検出部により検出された全ての前記ユーザに対して前記最適視点位置を探索する
   請求項３に記載の表示装置。
6. 前記探索部は、いくつかの視点位置について、その視点位置から観察される前記ブロック領域内の画素のチャンネルが、前記基準となる前記視点位置から観察される画素のチャンネルと同じとなる前記ブロック領域の数に基づいて評価値を算出し、前記評価値に基づいて前記最適視点位置を定める
   請求項１に記載の表示装置。
7. 複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
   前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と
   を備える表示装置の表示方法であって、
   基準となる視点位置に応じて、前記ブロック領域内の各チャンネルの画素に複数の視差画像の何れかを割り当て、
   前記割り当てにしたがって複数の前記視差画像を合成し、合成画像を生成し、
   前記表示部に前記合成画像を表示させた場合に、前記基準となる前記視点位置から観察される画像とほぼ同じ画像が観察される最適視点位置を、前記表示部を観察する複数のユーザごとに探索する
   ステップを含む表示方法。
8. 複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
   前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と
   を備える表示装置を制御するコンピュータに、
   基準となる視点位置に応じて、前記ブロック領域内の各チャンネルの画素に複数の視差画像の何れかを割り当て、
   前記割り当てにしたがって複数の前記視差画像を合成し、合成画像を生成し、
   前記表示部に前記合成画像を表示させた場合に、前記基準となる前記視点位置から観察される画像とほぼ同じ画像が観察される最適視点位置を、前記表示部を観察する複数のユーザごとに探索する
   ステップを含む処理を実行させるプログラム。

Images