JP2013192060A - 表示装置および情報処理方法、並びにプログラム - Google Patents

Abstract

【課題】より簡単に高品質な立体画像を提示できるようにする。
【解決手段】表示装置の光変調パネルには、複数のチャンネルの画素からなる領域が複数設けられ、各チャンネルの画素に表示された画像はバリア素子により分離される。光変調パネルは各チャンネルに異なる色の画像が表示されるキャリブレーション画像を表示するとともに、仮想視点位置からキャリブレーション画像を見たときに観察される理論観察画像も表示する。誘導部は表示されているキャリブレーション画像と理論観察画像が同じ画像に見える位置へとユーザを誘導し、キャリブレーション処理部は、誘導後にユーザを被写体として撮像された周辺画像と仮想視点位置からユーザの実空間における眼間距離を算出する。本技術は、表示装置に適用することができる。
【選択図】図１

Description

本技術は表示装置および情報処理方法、並びにプログラムに関し、特に、より簡単に高品質な立体画像を提示できるようにした表示装置および情報処理方法、並びにプログラムに関する。

従来、立体画像を表示する方法として、立体視用の眼鏡を用いる眼鏡方式と、立体視用の特殊な眼鏡を用いることなく裸眼での立体視を可能にした裸眼方式が知られている。

例えば裸眼方式の代表的なものとしては、パララックスバリア方式とレンチキュラ方式とがある。パララックスバリア方式やレンチキュラ方式の場合、２次元表示パネルに立体視用の視差画像（２視点の場合には右眼用視差画像と左眼用視差画像）が空間分割されて表示され、その視差画像が視差分離部によって水平方向に視差分離されて立体視が実現される。このときパララックスバリア方式では、視差分離部としてスリット状の開口が設けられたパララックスバリアが用いられ、レンチキュラ方式では、視差分離部として、シリンドリカル状の分割レンズを複数並列配置したレンチキュラレンズが用いられる。

また、裸眼方式の表示装置として、液晶パネルの画像形成面とパララックスバリアとの距離を短くすることで、設計上の適視距離を短くできるようにするものも提案されている（例えば、特許文献１参照）。

特開平９−５００１９号公報

ところで、表示装置に立体画像を表示させる場合に、ユーザの実空間上の眼間距離を用いてユーザの視点位置を算出し、その視点位置から適切な立体画像が観察されるように、立体画像の表示制御を行なうことがある。そのような場合、より適切な表示制御を行なうには、ユーザの正確な眼間距離が必要となる。

しかしながら、ユーザが自分の眼間距離を正確に測定し、その測定値をいちいち表示装置に入力することは面倒である。また、ユーザの眼間距離として、平均的なユーザの眼間距離を用いると、ユーザの視点位置の算出に誤差が生じてしまうので、適切な表示制御を行なうことができず、クロストークの発生等により立体画像の品質が低下してしまうおそれがある。

本技術は、このような状況に鑑みてなされたものであり、より簡単に高品質な立体画像を提示することができるようにするものである。

本技術の一側面の表示装置は、複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像が前記表示部の一部の領域に表示されている状態で、前記表示部の前記一部の領域とは異なる領域に、所定の仮想視点位置から前記表示部上の前記キャリブレーション画像を見た場合に観察される理論観察画像を表示させる理論観察画像表示制御部と、前記表示部上の前記キャリブレーション画像と前記理論観察画像が同じ画像に見える位置にいるユーザを撮像して得られた周辺画像と、前記仮想視点位置とに基づいて、実空間における前記ユーザの眼間距離を算出する距離算出部とを備える。

前記理論観察画像を、前記ブロック領域内の各チャンネルに同じ画像が割り当てられた画像とすることができる。

表示装置には、前記ユーザを前記仮想視点位置に誘導する誘導部をさらに設けることができる。

前記距離算出部には、複数の前記仮想視点位置について求められた前記眼間距離の平均値を最終的な前記眼間距離とさせることができる。

表示装置には、前記ユーザの前記眼間距離を保持する保持部と、任意の位置にいる前記ユーザの前記周辺画像および前記眼間距離に基づいて、前記ユーザの視点位置を算出する視点位置算出部と、前記視点位置に基づいて、互いに視点の異なる複数の視差画像を前記ブロック領域内の各チャンネルの画素に割り当てる割り当て制御部と、前記割り当て制御部の割り当てにしたがって複数の前記視差画像を合成し、合成画像を生成する生成部とをさらに設けることができる。

本技術の一側面の情報処理方法またはプログラムは、複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部とを備える表示装置の情報処理方法またはプログラムであって、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像が前記表示部の一部の領域に表示されている状態で、前記表示部の前記一部の領域とは異なる領域に、所定の仮想視点位置から前記表示部上の前記キャリブレーション画像を見た場合に観察される理論観察画像を表示させ、前記表示部上の前記キャリブレーション画像と前記理論観察画像が同じ画像に見える位置にいるユーザを撮像して得られた周辺画像と、前記仮想視点位置とに基づいて、実空間における前記ユーザの眼間距離を算出するステップを含む。

本技術の一側面においては、複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部とを備える表示装置において、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像が前記表示部の一部の領域に表示されている状態で、前記表示部の前記一部の領域とは異なる領域に、所定の仮想視点位置から前記表示部上の前記キャリブレーション画像を見た場合に観察される理論観察画像が表示され、前記表示部上の前記キャリブレーション画像と前記理論観察画像が同じ画像に見える位置にいるユーザを撮像して得られた周辺画像と、前記仮想視点位置とに基づいて、実空間における前記ユーザの眼間距離が算出される。

本技術の一側面によれば、より簡単に高品質な立体画像を提示することができる。

本技術を適用した表示装置の一実施の形態の構成例を示す図である。 表示部のより詳細な構成例を示す図である。 ４視点の視差画像の立体表示について説明する図である。 開口部の各部の設計について説明する図である。 ユーザにより観察される画素のチャンネルについて説明する図である。 視認位置の算出について説明する図である。 視認位置の算出について説明する図である。 視差画像の割り当てについて説明する図である。 境界位置の算出について説明する図である。 立体表示できない視点位置について説明する図である。 立体表示可能な領域について説明する図である。 視差画像の割り当てについて説明する図である。 キャリブレーション処理について説明するフローチャートである。 キャリブレーション画像と理論観察画像の表示例を示す図である。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
［表示装置の構成例］
本技術は、パララックスバリア等の視差分離部を利用して裸眼方式で立体画像を表示する表示装置について、立体画像の表示制御に必要となるユーザの実空間上の眼間距離のキャリブレーションを行なうことで、より高品質な画像を提示できるようにするものである。

図１は、本技術を適用した表示装置の一実施の形態の構成例を示す図である。

表示装置１１は、複数視点の視差画像を用いて被写体を立体表示させる表示装置である。表示装置１１は、撮像部２１、検出部２２、割り当て制御部２３、記録部２４、生成部２５、表示制御部２６、表示部２７、入力受付部２８、およびキャリブレーション処理部２９から構成される。

撮像部２１は、表示装置１１周辺のユーザの画像、例えば表示部２７のほぼ正面から、表示部２７に表示された画像を観察するユーザの画像（以下、周辺画像と称する）を撮像し、検出部２２に供給する。

検出部２２は、撮像部２１から供給された周辺画像からユーザの眼を検出し、その検出結果を割り当て制御部２３またはキャリブレーション処理部２９に供給する。

また、検出部２２は、視点位置算出部４１および眼間距離保持部４２を備えている。視点位置算出部４１は、周辺画像と眼間距離保持部４２に保持されているユーザの実際の眼間距離とに基づいて、表示部２７に対するユーザの視点位置を算出し、割り当て制御部２３に供給する。ここで、眼間距離保持部４２に保持されている眼間距離とは、ユーザの右眼と左眼との間の距離をいう。

割り当て制御部２３は、検出部２２からの検出結果やユーザの視点位置に基づいて、表示部２７の表示面上の各領域に、複数の視差画像を割り当てる。割り当て制御部２３は、判定部５１、視認位置算出部５２、および境界位置算出部５３を備えている。

判定部５１は、検出部２２からの視点位置に基づいて、複数の視差画像による被写体の立体表示（３Ｄ表示）が可能か否かを判定し、割り当て制御部２３は、その判定結果に応じて生成部２５での画像生成を制御する。

視認位置算出部５２は、検出部２２からの視点位置に基づいて、ユーザにより視認されている表示部２７の表示面上の画素内の位置を視認位置として算出する。境界位置算出部５３は、視認位置に基づいて、表示部２７の表示面上の各領域に複数の視差画像を割り当てる。

記録部２４は、立体画像を構成する複数の視差画像を記録しており、必要に応じて視差画像を生成部２５に供給する。

生成部２５は、割り当て制御部２３の制御にしたがって、記録部２４からの視差画像に基づいて、それらの視差画像を空間分割して合成した合成画像を生成し、表示制御部２６に供給する。また、生成部２５は、割り当て制御部２３の制御にしたがって、記録部２４からの視差画像のうちの何れかを、そのまま表示制御部２６に供給したり、キャリブレーション処理部２９から供給された画像を表示制御部２６に供給したりする。

表示制御部２６は、生成部２５からの合成画像を表示部２７に供給して表示させることで、視差画像上の被写体を立体表示させたり、生成部２５からの視差画像等を表示部２７に供給して表示させたりする。表示部２７は、裸眼方式により立体画像を表示可能な液晶表示パネルなどからなり、表示制御部２６から供給された合成画像や視差画像などを表示する。

入力受付部２８は、例えば表示装置１１を遠隔制御するリモートコマンダからの光信号を受光する受光部や、ユーザの操作入力を受け付けるボタンなどからなり、ユーザにより入力された指示をキャリブレーション処理部２９に供給する。

キャリブレーション処理部２９は、検出部２２からの検出結果や、入力受付部２８からの指示に基づいて、ユーザの眼間距離のキャリブレーションを行い、その結果得られた眼間距離を検出部２２に供給し、保持させる。

キャリブレーション処理部２９は、理論観察画像生成部６１、誘導部６２、位置算出部６３、および距離算出部６４を備えている。

理論観察画像生成部６１は、眼間距離のキャリブレーション処理時に、仮想的に定めたユーザの右眼の位置（以下、仮想視点位置とも称する）から観察される理論観察画像を生成する。

すなわち、キャリブレーション処理時には、キャリブレーション用の画像（以下、キャリブレーション画像とも称する）と理論観察画像が表示部２７に表示され、ユーザの右眼位置が仮想視点位置となるように、ユーザに対して仮想視点位置への移動が促される。そして、そのときの周辺画像上でのユーザの眼の検出結果と、仮想視点位置とからユーザの眼間距離が算出される。

理論観察画像は、ユーザが表示部２７に表示されたキャリブレーション画像を、仮想視点位置から見たときに、ユーザの右眼で観察されると推定される画像である。したがって、仮想視点位置では、ユーザにはキャリブレーション画像と理論観察画像とが同じ画像に見えることになる。

キャリブレーション処理時には、キャリブレーション処理部２９に保持されているキャリブレーション画像や、理論観察画像生成部６１により生成された理論観察画像は、生成部２５および表示制御部２６を介して表示部２７に供給され、表示される。

誘導部６２は、例えば生成部２５および表示制御部２６を介して、文字や画像を表示部２７に表示させることで、ユーザの仮想視点位置への移動を促す。

位置算出部６３は、検出部２２から供給された、ユーザの右眼が仮想視点位置にあるときの周辺画像上のユーザの眼の検出結果と、仮想視点位置とに基づいて、ユーザの左眼の位置を算出する。

距離算出部６４は、ユーザの左眼の位置と、仮想視点位置とに基づいて、ユーザの実空間上における眼間距離を算出する。

［表示部の構成例］
また、図１の表示部２７は、例えば図２に示すように構成される。

すなわち、表示部２７は、バックライト９１、光変調パネル９２、およびバリア素子９３から構成される。

バックライト９１は、例えばＬＥＤ（Light Emitting Diode）光源や導光板などからなり、画像を表示させるための光を射出し、光変調パネル９２に入射させる。

光変調パネル９２は、例えば液晶層やＲ，Ｇ，Ｂの各色のカラーフィルタなどからなり、バックライト９１から入射した光を透過させることで、画像を表示させる。このとき、光変調パネル９２は、光変調パネル９２に設けられた画素ごとに、光の透過率を変化させることで、画像の各画素の階調表示を行なう。

より詳細には、光変調パネル９２は、透明基板１０１、透明基板１０２、および液晶層１０３を備えており、液晶層１０３は、互いに対向するように配置された平板状の透明基板１０１と透明基板１０２の間に形成されている。液晶層１０３には、画像が表示される画素としての透過部が設けられており、画像の表示時において、透明基板１０１と透明基板１０２に設けられている電極に電圧が印加されると、バックライト９１から透過部に入射した光の透過率が印加された電圧に応じて変化する。

また、バリア素子９３は、偏光板やスイッチ液晶層などからなり、光変調パネル９２から入射した光の一部を遮光し、残りの一部を透過させることで、各視差画像を光学的に分離させる。バリア素子９３は、透明基板１０４、透明基板１０５、およびスイッチ液晶層１０６を備えており、スイッチ液晶層１０６は、互いに対向するように配置された平板状の透明基板１０４と透明基板１０５の間に形成されている。

透明基板１０４と透明基板１０５には、電極が形成されており、これらの電極の一部または全部に電圧が印加されると、スイッチ液晶層１０６内の液晶分子の配向方向が変化し、これにより、スイッチ液晶層１０６にはパララックスバリアが形成される。

図２の例では、光変調パネル９２から入射した光を透過させる開口部１１１−１乃至開口部１１１−３と、光変調パネル９２から入射した光を遮光する遮蔽部１１２−１乃至遮蔽部１１２−３とからなるパララックスバリアが、スイッチ液晶層１０６に形成されている。

なお、以下、開口部１１１−１乃至開口部１１１−３を特に区別する必要のない場合、単に開口部１１１とも称し、遮蔽部１１２−１乃至遮蔽部１１２−３を特に区別する必要のない場合、単に遮蔽部１１２とも称する。また、被写体を立体表示する合成画像が光変調パネル９２に表示される場合には、バリア素子９３にパララックスバリアが形成されるが、２Ｄ画像である視差画像が光変調パネル９２に表示される場合には、バリア素子９３にパララックスバリアは形成されない。

図２のように構成される表示部２７では、ユーザはバリア素子９３側から光変調パネル９２に表示される画像を観察する。特に、合成画像の表示時には、バックライト９１から射出され、光変調パネル９２およびバリア素子９３を透過した光が、ユーザの右眼ＥＲまたは左眼ＥＬに入射する。このとき、ユーザの右眼ＥＲと左眼ＥＬには、バリア素子９３で分離された異なる光が入射するので、右眼ＥＲと左眼ＥＬで互いに視差を有する異なる視差画像が観察される。

なお、図２では、視差画像を光学的に分離する分離部の例としてバリア素子９３について説明したが、分離部はパララックスバリアに限らず、レンチキュラレンズなどとされてもよい。また、分離部としてのパララックスバリアは、可変式のバリアに限らず、遮蔽板等に開口部が設けられた固定式のバリアとされてもよい。

さらに、バリア素子９３は、光変調パネル９２とバックライト９１の間に配置されるようにしてもよい。

［適視距離からの立体画像の観察について］
ところで、表示装置１１に４つの異なる視点の視差画像を合成して得られた合成画像を表示し、ユーザが表示部２７から所定の距離だけ離れた位置から表示部２７を観察する場合について考える。

例えば図３に示すように、ユーザの右眼ＥＲと左眼ＥＬの中間位置をユーザの視点位置とし、ユーザの視点位置がバリア素子９３の表面から距離Ｚ０（以下、適視距離Ｚ０と称する）だけ離れた位置にあるとする。また、右眼ＥＲと左眼ＥＬとの距離（以下、眼間距離Ｅとも称する）が６５ｍｍであるとする。なお、一般的な大人の眼間距離は約６５ｍｍである。

また、光変調パネル９２の表示面上には、４つの視点の視差画像のそれぞれが表示される画素である、チャンネルＣＨ０乃至チャンネルＣＨ３の４つの各チャンネルの画素からなるブロック領域が、図中、横方向に並ぶように設けられている。

なお、図３では、光変調パネル９２における１つの四角形は１つの画素を表しており、それらの画素の図中、下側には、各画素が属すチャンネルの番号が示されている。また、図中、横方向および縦方向をそれぞれｘ方向およびｙ方向とし、ｘ方向およびｙ方向に垂直な方向をｚ方向とする。ここで、ｘ方向はユーザの右眼ＥＲと左眼ＥＬが並ぶ方向、つまり光変調パネル９２に表示される視差画像の視差方向であり、ｙ方向は光変調パネル９２の表示面と垂直な方向である。

図３では、ブロック領域内において、図中、右側から左側までチャンネルＣＨ０の画素、チャンネルＣＨ１の画素、チャンネルＣＨ２の画素、およびチャンネルＣＨ３の画素が順番に並んでいる。

また、ブロック領域において、例えばｚ方向には、同じチャンネルの画素が並んでいる。そして、光変調パネル９２の表示面上には、このようなブロック領域がｘ方向に連続して並んでいる。以下、１つのブロック領域内において、同じチャンネルの画素からなる領域をチャンネル領域とも称することとする。

また、バリア素子９３には、１つのブロック領域に対して、パララックスバリアを構成する１つの開口部１１１が設けられている。したがって、視点Ｐ０乃至視点Ｐ３の視差画像のそれぞれが、チャンネルＣＨ０乃至チャンネルＣＨ３の画素のそれぞれに表示されると、それらの各視点の視差画像は、バリア素子９３により光学的に分離される。

すなわち、バリア素子９３から適視距離Ｚ０だけ離れたｘｚ平面上において、チャンネルＣＨ３の各画素から射出され、開口部１１１を通過した光は領域ＣＲ０に到達し、チャンネルＣＨ２の各画素から射出され、開口部１１１を通過した光は領域ＣＲ１に到達する。同様に、チャンネルＣＨ１の各画素から射出され、開口部１１１を通過した光は領域ＣＲ２に到達し、チャンネルＣＨ０の各画素から射出され、開口部１１１を通過した光は領域ＣＲ３に到達する。

なお、図中、上側においてｘ方向に並ぶ数字０乃至数字３は、その数字が記された領域に到達する光が発せられた画素のチャンネル番号を示している。例えば、領域ＣＲ０の図中、上側に記された数字「３」は、領域ＣＲ０には、チャンネルＣＨ３の画素からの光が到達することを表している。

ここで、領域ＣＲ０乃至領域ＣＲ３の各領域のｘ方向の幅は眼間距離Ｅ（＝６５ｍｍ）となる。したがって、バリア素子９３から適視距離Ｚ０だけ離れたｘｚ平面上に位置するユーザの左右の眼には、１視点分だけずれた異なる視点の視差画像が観察されることになる。例えば、図３の例では、ユーザの右眼ＥＲは領域ＣＲ２内に位置し、左眼ＥＬは領域ＣＲ１内に位置するから、ユーザの右眼ＥＲおよび左眼ＥＬには、それぞれ視点Ｐ１の視差画像、および視点Ｐ２の視差画像が観察されることになる。その結果、ユーザにそれらの視差画像上の被写体が立体的に知覚される。

また、例えばこの状態からユーザの視点位置が図中、左方向に眼間距離Ｅだけ移動すると、ユーザの右眼ＥＲおよび左眼ＥＬには、それぞれ視点Ｐ０の視差画像、および視点Ｐ１の視差画像が観察されることになる。

［パララックスバリアの設計について］
このように、適視距離Ｚ０だけ離れた位置から表示部２７を観察するユーザに、各開口部１１１を介して同じチャンネルの画素が視認されるようにするには、開口部１１１間の距離や、開口部１１１から光変調パネル９２までの距離などを適切に定める必要がある。

例えば、図３の例では、ユーザの左右の眼には、光変調パネル９２上の互いに隣接する画素が開口部１１１を介して観察される。このような場合、適視距離Ｚ０＝９００ｍｍであるとすると、図４に示すように、開口部１１１から光変調パネル９２までの距離Ｄ１と、開口部１１１間の距離Ｄ２が定められる。なお、図中、横方向および縦方向はｘ方向およびｙ方向を示している。

図４の左側において、開口部１１１の中心を通るｙ方向に平行な直線を直線Ａ１１とし、ユーザの片方の眼が点ＰＥ１１にあるとする。ここで、点ＰＥ１１は、直線Ａ１１からｘ方向に距離Ｘ１だけ離れており、かつ開口部１１１からｙ方向に適視距離Ｚ０だけ離れた位置にある。また、バリア素子９３の図中、下側にある各四角形は、光変調パネル９２上の画素を表している。

例えば、図中、左側に示すようにユーザの眼の位置ＰＥ１１から、開口部１１１を介して１つの画素Ｇ１１が視認されるとする。各画素間の距離をＤ３とすると、この画素Ｇ１１の中心は、直線Ａ１１から（Ｄ３）／２だけ離れた位置にある。

ここで、バリア素子９３から光変調パネル９２の各画素までの間がガラス材で満たされており、点ＰＥ１１からこのガラス材へと進む光の相対屈折率がｋ１であるとすると、Ｘ１：Ｚ０＝（Ｄ３）／２：Ｄ１／ｋ１であるので、Ｄ１＝Ｚ０×（（Ｄ３）／２）×ｋ１／Ｘ１となる。例えば、Ｚ０＝900mm，Ｄ３＝0.05435mm，Ｘ１＝32.5mm，ｋ１＝1.5であるとすると、これらの値からＤ１＝900×（（0.05435）/2）×1.5／32.5＝1.1288mmとなる。

また、図中、右側に示すように、ユーザの眼が直線Ａ１１上の点ＰＥ１２にあるとする。この場合、光変調パネル９２は４視点用であるから、点ＰＥ１２から図中、左側の開口部１１１を介して見える光変調パネル９２の位置と、その開口部１１１の右側に隣接する開口部１１１を介して見える光変調パネル９２の位置とは４画素分だけ離れているはずである。

したがって、Ｚ０：Ｄ２＝（Ｚ０＋（Ｄ１／ｋ１））：４×Ｄ３が成立するので、Ｄ２＝Ｚ０×Ｄ３×４／（Ｚ０＋（Ｄ１／ｋ１））により、開口部１１１間の距離Ｄ２が求まる。ここで、Ｚ０＝900mm，Ｄ３＝0.05435mm，Ｄ１＝1.1288mm，ｋ１＝1.5であるとすると、これらの値からＤ２＝900×0.05435×4／（900＋（1.1288/1.5））＝0.2172184mmとなる。

［適視距離の半分の距離からの観察について］
ところで、ユーザの視点位置が、表示部２７からｙ方向に上述した適視距離の半分の距離Ｚ０／２だけ離れた位置にあるとする。そのような場合、ユーザの右眼と左眼により視認されるブロック領域内の画素は、２画素分の距離だけ離れた位置にある画素となる。

したがって、例えばユーザの右眼ＥＲから所定の開口部１１１を介してブロック領域のチャンネルＣＨ１の画素が見えている状態では、ユーザの左眼ＥＬからは、同じ開口部１１１を介してブロック領域のチャンネルＣＨ３の画素が見える。

そのため、右眼用と左眼用の視差画像を表示部２７に表示させる場合に、各チャンネルの画素に適切に右眼用または左眼用の視差画像を表示させ、ユーザが適視距離Ｚ０の約半分の距離から視差画像を観察すれば、クロストークの発生を抑制することができる。

例えば、図３に示した状態では、ユーザの右眼ＥＲはチャンネルＣＨ１の画素を観察しており、ユーザの左眼ＥＬはチャンネルＣＨ２の画素を観察している。この状態から、例えばユーザが図３中、右方向にわずかに移動したとする。そうすると、チャンネルＣＨ１の画素とチャンネルＣＨ２の画素は互いに隣接しているから、ユーザの右眼ＥＲには、これまで見えていたチャンネルＣＨ１の画素だけでなく、左眼ＥＬで見えていたチャンネルＣＨ２の画素も見えてしまい、クロストークが発生する。すなわち、左右の視差画像上の被写体が２重に見えてしまう。

これに対して、例えばユーザが適視距離Ｚ０の約半分の距離から表示部２７を観察している状態で、図３中、光変調パネル９２の中央にあるブロック領域のチャンネルＣＨ１に右眼用の視差画像を表示させ、同じブロック領域のチャンネルＣＨ３に左眼用の視差画像を表示させたとする。

この場合、ユーザの右眼ＥＲには右眼用の視差画像が観察され、ユーザの左眼ＥＬには左眼用の視差画像が観察されることになる。この状態からユーザが図中、右方向にわずかに移動しても、チャンネルＣＨ１とチャンネルＣＨ３の画素は２画素分だけ離れているので、ユーザの右眼ＥＲに左眼用の視差画像が観察されることはない。

さらに、ユーザの視点位置の移動に応じて、クロストークが発生する前に各チャンネルの画素における視差画像の表示の切り替えを行なえば、各領域における左右の視差画像の表示の切り替えをユーザに感じさせることなく、より自然な画像の提示が可能となる。

このように、ユーザの視点位置に応じて、各チャンネルの画素に適切に右眼用または左眼用の視差画像を表示させ、ユーザが通常の適視距離の約半分の距離から観察すれば、クロストークの発生を抑制し、より高品質な画像を提示することが可能である。以下、このような立体画像の表示方式を、半視距離表示方式と称することとする。

［半視距離表示方式における表示制御について］
次に、左眼用と右眼用の視差画像に基づいて、半視距離表示方式により立体画像を表示させる具体的な制御について説明する。

例えば、図５に示すように、ユーザが所定の位置にいる場合に、ユーザの右眼に光変調パネル９２の図中、左端の領域Ｂ１１内のチャンネルＣＨ２の画素が視認されているとする。また、光変調パネル９２の領域Ｂ１２、領域Ｂ１３、および領域Ｂ１４では、それぞれユーザの右眼によりチャンネルＣＨ１の画素、チャンネルＣＨ０の画素、およびチャンネルＣＨ３の画素が視認されているとする。

この場合、光変調パネル９２の領域Ｂ１１乃至領域Ｂ１４では、ユーザの左眼には、それぞれチャンネルＣＨ０の画素、チャンネルＣＨ３の画素、チャンネルＣＨ２の画素、およびチャンネルＣＨ１の画素が視認される。

なお、これらの領域Ｂ１１乃至領域Ｂ１４は、複数のブロック領域からなる領域である。このような状態で、表示装置１１は領域Ｂ１１乃至領域Ｂ１４について、それらの領域内のブロック領域のうち、ユーザにより視認される画素からの光の輝度が最も高くなるブロック領域の位置を特定し、それらの位置を境界位置ＬＢ１１乃至境界位置ＬＢ１４とする。

すなわち、境界位置ＬＢ１１は、領域Ｂ１１内のブロック領域のうち、視認される画素からの光の輝度が最も高いブロック領域の位置である。同様に、境界位置ＬＢ１２乃至境界位置ＬＢ１４のそれぞれは、領域Ｂ１２乃至領域Ｂ１４のそれぞれにあるブロック領域のうち、視認される画素からの光の輝度が最も高いブロック領域のそれぞれの位置である。

このようにして境界位置が特定されると、表示装置１１は光変調パネル９２上の境界位置ＬＢ１１乃至境界位置ＬＢ１４により分割される各領域に対して、各チャンネルへの左右の視差画像の割り当てを行なう。

具体的には、領域Ｂ１１の左端から境界位置ＬＢ１１までの間にある各ブロック領域では、チャンネルＣＨ２とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ０とチャンネルＣＨ１の画素に左眼用の視差画像が割り当てられる。

同様に、境界位置ＬＢ１１から境界位置ＬＢ１２までの間にある各ブロック領域では、チャンネルＣＨ１とチャンネルＣＨ２の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ０とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられる。また、境界位置ＬＢ１２から境界位置ＬＢ１３までの間にある各ブロック領域では、チャンネルＣＨ０とチャンネルＣＨ１の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ２とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられる。

さらに、境界位置ＬＢ１３から境界位置ＬＢ１４までの間にある各ブロック領域では、チャンネルＣＨ０とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ１とチャンネルＣＨ２の画素に左眼用の視差画像が割り当てられる。また、境界位置ＬＢ１４から領域Ｂ１４の右端までの間にある各ブロック領域では、チャンネルＣＨ２とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ０とチャンネルＣＨ１の画素に左眼用の視差画像が割り当てられる。

そして、このようなブロック領域における各チャンネルへの視差画像の割り当てにしたがって合成画像が生成され、生成された合成画像が光変調パネル９２に表示される。

さらに、この状態からユーザの視点位置が移動すると、各ブロック領域内でユーザにより視認される画素のチャンネルが変化するので、視点位置の変化に追従して境界位置ＬＢ１１乃至境界位置ＬＢ１４の位置も移動する。そして、境界位置ＬＢ１１乃至境界位置ＬＢ１４の移動に応じて、ブロック領域内の各チャンネルの画素に対する視差画像の割り当てが変更される。

なお、以下、光変調パネル９２において、連続して並ぶいくつかのブロック領域からなる領域であって、同じチャンネルの画素に同じ視差画像が割り当てられるブロック領域からなる領域を、連続ブロック領域とも称することとする。

例えば、図５の例では、境界位置ＬＢ１１から境界位置ＬＢ１２までの間にある各ブロック領域からなる領域や、境界位置ＬＢ１２から境界位置ＬＢ１３までの間にある各ブロック領域からなる領域が１つの連続ブロック領域とされる。つまり、図５では、境界位置ＬＢ１１乃至境界位置ＬＢ１４のそれぞれが、連続ブロック領域の境界となる。

ところで、連続ブロック領域の境界位置は、ユーザにより視認される画素からの光の輝度が最も高くなるブロック領域の位置である。ここで、輝度が最も高くなるブロック領域とは、ユーザにより画素の略中央が視認されているブロック領域である。

表示部２７の端部では、バリア素子９３と光変調パネル９２との間にあるガラスの見かけ上の厚みが薄くなるという現象が起こることが知られている。そのため、ユーザの視点位置に基づいて、連続ブロック領域の境界位置を求める場合には、光の入射角と屈折角の厳密式を用いて、ブロック領域ごとにどのチャンネルの画素のどの位置がユーザにより視認されているかを正確に求めることが望ましい。

例えば、図６に示すように、所定の光線Ｈ１１が空気中を通って、厚さＤ２１のガラス材に入射し、光変調パネル９２の表面に到達したとする。また、光線Ｈ１１のガラス材への入射位置を通り、ガラス材の表面に垂直な直線を直線Ａ２１とする。

このとき、空気中を伝播する光線Ｈ１１のガラス材への入射角度Ｔ１に対して、光線Ｈ１１のガラス材への入射後の光路と、直線Ａ２１とのなす角度Ｔ２は、光線Ｈ１１が空気中からガラス材へと進むときの相対屈折率ｋ１１と入射角度Ｔ１とから求まる。すなわち、角度Ｔ２＝asin（sin(T1/k11)）である。

また、角度Ｔ２が求まると、ガラス材の見かけの厚みＤ２２と角度Ｔ２とにより、直線Ａ２１から、光線Ｈ１１の光変調パネル９２の表面への入射位置までの距離ｘ１１が求まる。すなわち、距離ｘ１１＝Ｄ２２×ｔａｎ（Ｔ２）である。

このようにして距離ｘ１１を求めることで、各ブロック領域について、ユーザにより視認される画素上の正確な位置（以下、画素の視認位置とも称する）を求めることができる。

具体的には、例えば図７に示すように、図中、横方向、つまり光変調パネル９２の表示面と平行な方向をｘ方向とし、図中、縦方向、つまり光変調パネル９２の表示面と垂直な方向をｙ方向として、ｘｙ座標系上の所定位置がユーザの眼の位置ＣＰであるとする。

また、バリア素子９３の中央にある開口部１１１を０番目の開口部１１１として、その開口部１１１から図中、左方向にｎ番目にある開口部１１１をｎ番目の開口部１１１とし、０番目の開口部１１１から図中、右方向にｎ番目にある開口部１１１を−ｎ番目の開口部１１１とする。

ここで、ｎ番目の開口部１１１（以下、番号ｎの開口部１１１とも称する）について、その開口部１１１からユーザによりブロック領域内のどのチャンネルの画素が視認されるかを求めることを考える。まず、位置ＣＰの座標と、開口部１１１の中心位置の座標とから、位置ＣＰからの光線のｎ番目の開口部１１１への入射角度Ｔ１１が求まる。すなわち、入射角度Ｔ１１は、ｙ方向に平行な直線Ｌ２１と、位置ＣＰからの光線とのなす角度である。

入射角度Ｔ１１が求まると、位置ＣＰから開口部１１１に入射し、光変調パネル９２へと進む光線、つまりその光線の光路を示す直線Ｌ２２と、直線Ｌ２１とのなす角度Ｔ１２が求まる。すなわち、図６を参照して説明したように、入射角度Ｔ１１と、開口部１１１から光変調パネル９２の画素までの間のガラス材の屈折率ｋ１１とから、角度Ｔ１２＝asin（sin(T11/k11)）が求まる。

すると、直線Ｌ２２を表す式（例えば、ｙ＝ａｘ＋ｂ）が求まるので、光線の光路を表す直線Ｌ２２が光変調パネル９２の画素と交わる点の座標を求めれば、どのチャンネルの画素のどの位置がユーザにより視認されるかを求めることができる。図７では、位置ＣＰからの光線は、画素Ｇ３１に到達しており、この画素Ｇ３１がユーザにより視認されることが分かる。

また、ユーザにより視認される画素内の位置、つまり画素におけるユーザの視認位置は、画素の中心位置が０とされて、−０．５から０．５までの間の値とされる。例えば、画素の図中、右端の位置が−０．５とされ、画素の図中、左端の位置が０．５とされる。

このようにして、ユーザの右眼と左眼について、ブロック領域（開口部１１１）ごとにユーザにより視認される画素（以下、視認画素とも称する）のチャンネルｍと、その視認画素上の視認位置とを求めると、例えば図８の右側に示す結果が得られる。

なお、図８の右側において、横軸は開口部１１１の番号ｎを示しており、縦軸は視認画素のチャンネル番号または視認位置を示している。

図８では、折れ線Ｃ１１は、ユーザの右眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ１２は、ユーザの右眼から見える各ブロック領域の視認画素における視認位置を示している。

ここで０番目の開口部１１１から、ｎ番目（但し、１≦ｎ）の開口部１１１に向かう方向を＋ｘ方向とし、＋ｘ方向と反対方向を−ｘ方向とする。この場合、例えば０番目の開口部１１１に対して＋ｘ方向側に隣接するいくつかの開口部１１１を観察するユーザの右眼には、それらの開口部１１１を介してチャンネルＣＨ１の画素が視認されることが分かる。また、チャンネルＣＨ１の画素が視認される連続して並ぶ開口部１１１のほぼ中央にある開口部１１１では、その開口部１１１を介して、チャンネルＣＨ１の画素のほぼ中央が、ユーザの右眼で観察されていることが分かる。

このような折れ線Ｃ１１から、矢印Ｑ２１に示すように、光変調パネル９２の表示面上の各領域において、ユーザの右眼によりどのチャンネルの画素が観察されるかが分かる。なお、矢印Ｑ２１に示される横長の四角形は、ユーザから見える光変調パネル９２の表示面全体を表しており、その四角形内の縦長の長方形内の数字は、その長方形の領域を観察するユーザの右眼により視認される画素のチャンネル番号を示している。

したがって、光変調パネル９２の表示面の図中、右端の領域、つまり＋ｘ方向側の端の領域では、ユーザの右眼にはチャンネルＣＨ２の画素が観察され、その領域に対して図中、左側に隣接する領域では、ユーザの右眼にはチャンネルＣＨ１の画素が観察される。また、光変調パネル９２の表示面の中央からやや−ｘ方向側に位置する領域では、ユーザの右眼にはチャンネルＣＨ０の画素が観察され、その領域の左側に隣接する領域では、ユーザの右眼にはチャンネルＣＨ３の画素が観察される。

また、折れ線Ｃ１２から、ユーザの右眼位置から見た各視認画素の視認位置が分かるので、視認位置が０となるブロック領域（開口部１１１）の位置を連続ブロック領域の境界位置とすれば、矢印Ｑ２１に示すように境界位置ＬＢ５１乃至境界位置ＬＢ５４が定まる。

境界位置ＬＢ５１乃至境界位置ＬＢ５４により分割されて得られる各連続ブロック領域では、その連続ブロック領域内で視認画素とされる２つのチャンネルの画素に、右眼用の視差画像が割り当てられる。

すなわち、例えば光変調パネル９２の−ｘ方向側の端から境界位置ＬＢ５１までの間にある各ブロック領域では、チャンネルＣＨ２とチャンネルＣＨ３の画素に、右眼用の視差画像が割り当てられる。また、境界位置ＬＢ５１から境界位置ＬＢ５２までの間では、チャンネルＣＨ０とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられ、境界位置ＬＢ５２から境界位置ＬＢ５３までの間では、チャンネルＣＨ０とチャンネルＣＨ１の画素に右眼用の視差画像が割り当てられる。

さらに、境界位置ＬＢ５３から境界位置ＬＢ５４までの間では、チャンネルＣＨ１とチャンネルＣＨ２の画素に右眼用の視差画像が割り当てられ、境界位置ＬＢ５４から光変調パネル９２の＋ｘ方向側の端までの間では、チャンネルＣＨ２とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられる。

右眼における場合と同様に、図８において、折れ線Ｃ１３は、ユーザの左眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ１４は、ユーザの左眼から見える各ブロック領域の視認画素における視認位置を示している。例えば、０番目の開口部１１１に対して＋ｘ方向側に隣接するいくつかの開口部１１１を観察するユーザの左眼には、それらの開口部１１１を介してチャンネルＣＨ３の画素が視認されることが分かる。

このような折れ線Ｃ１３から、矢印Ｑ２２に示すように、光変調パネル９２の表示面上の各領域において、ユーザの左眼によりどのチャンネルの画素が観察されるかが分かる。なお、矢印Ｑ２２に示される横長の四角形は、光変調パネル９２の表示面全体を表しており、その四角形内の縦長の長方形内の数字は、その長方形の領域を観察するユーザの左眼により視認される画素のチャンネル番号を示している。

したがって、光変調パネル９２の表示面の図中、右端の領域から左端の領域まで順番に、ユーザの左眼によって、チャンネルＣＨ０、チャンネルＣＨ３、チャンネルＣＨ２、およびチャンネルＣＨ１の画素が観察される領域が並んでいることが分かる。

また、折れ線Ｃ１４から、ユーザの左眼位置から見た各視認画素の視認位置が分かるので、視認位置が０となるブロック領域（開口部１１１）の位置を連続ブロック領域の境界位置とすれば、矢印Ｑ２２に示すように境界位置ＬＢ６１乃至境界位置ＬＢ６４が定まる。

境界位置ＬＢ６１乃至境界位置ＬＢ６４により分割されて得られる各連続ブロック領域では、その連続ブロック領域内で視認画素とされる２つのチャンネルの画素に、左眼用の視差画像が割り当てられる。

すなわち、光変調パネル９２の−ｘ方向側の端から境界位置ＬＢ６１までの間にある各ブロック領域では、チャンネルＣＨ０とチャンネルＣＨ１の画素に、左眼用の視差画像が割り当てられる。また、境界位置ＬＢ６１から境界位置ＬＢ６２までの間では、チャンネルＣＨ１とチャンネルＣＨ２の画素に左眼用の視差画像が割り当てられ、境界位置ＬＢ６２から境界位置ＬＢ６３までの間では、チャンネルＣＨ２とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられる。

さらに、境界位置ＬＢ６３から境界位置ＬＢ６４までの間では、チャンネルＣＨ０とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられ、境界位置ＬＢ６４から光変調パネル９２の＋ｘ方向側の端までの間では、チャンネルＣＨ０とチャンネルＣＨ１の画素に左眼用の視差画像が割り当てられる。

このように、各開口部１１１（ブロック領域）について、視認画素のチャンネル番号と、その視認画素における視認位置とが求まると、連続ブロック領域の境界位置が定まる。これにより、各連続ブロック領域に属すブロック領域ごとに、左右の視差画像を割り当てるチャンネルが定まる。

但し、連続ブロック領域の境界位置は、右眼から見たときの境界位置と、左眼から見たときの境界位置とが同じ位置となるのが理想的であるが、実際にはユーザの右眼と左眼の位置は異なる位置にあるので、それらの境界位置にずれが生じる。

例えば、ユーザの視点位置が番号０の開口部１１１の略正面に位置し、かつ表示部２７から視点位置までの距離が適視距離Ｚ０の略半分である場合でも、図９に示すようにユーザの右眼と左眼を基準とした境界位置のずれは、中央から離れた位置ほど大きくなる。

なお、図９において、横軸は開口部１１１の番号ｎを示しており、縦軸は視認画素のチャンネル番号または視認位置を示している。

図９では、折れ線Ｃ２１は、ユーザの右眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ２２は、ユーザの右眼から見える各ブロック領域の視認画素における視認位置を示している。また、直線ＬＢ７１乃至直線ＬＢ７４は、それぞれ折れ線Ｃ２２から定まる連続ブロック領域の境界位置を示している。

さらに、折れ線Ｃ２３は、ユーザの左眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ２４は、ユーザの左眼から見える各ブロック領域の視認画素における視認位置を示している。また、直線ＬＢ８１乃至直線ＬＢ８４は、それぞれ折れ線Ｃ２４から定まる連続ブロック領域の境界位置を示している。

なお、以下、直線ＬＢ７１乃至直線ＬＢ７４を境界位置ＬＢ７１乃至境界位置ＬＢ７４とも称し、直線ＬＢ８１乃至直線ＬＢ８４を境界位置ＬＢ８１乃至境界位置ＬＢ８４とも称する。

図９の例では、左眼を基準とした境界位置ＬＢ８１乃至境界位置ＬＢ８４のそれぞれが、右眼を基準とした境界位置ＬＢ７１乃至境界位置ＬＢ７４に対応するが、それらの境界位置のずれは、光変調パネル９２の中央から遠い位置にある境界位置ほど大きい。

このようなずれが生じると、ブロック領域における各チャンネルの画素への視差画像の割り当てに矛盾が生じてしまう。

例えば、右眼を基準として、境界位置ＬＢ７１から境界位置ＬＢ７２までの間のブロック領域で、チャンネルＣＨ０とチャンネルＣＨ３の画素に右眼用の視差画像を割り当てるとする。また、左眼を基準として、光変調パネル９２の−ｘ方向側の端から境界位置ＬＢ８１までの間のブロック領域で、チャンネルＣＨ０とチャンネルＣＨ１の画素に左眼用の視差画像を割り当てるとする。

そうすると、境界位置ＬＢ７１から境界位置ＬＢ８１までの間のブロック領域では、チャンネルＣＨ０の画素に対して、右眼用の視差画像と左眼用の視差画像の両方が割り当てられることになってしまう。

そこで、表示装置１１では、境界位置ＬＢ７１乃至境界位置ＬＢ７４のそれぞれと、境界位置ＬＢ８１乃至境界位置ＬＢ８４のそれぞれとの中間位置（平均位置）を、最終的な境界位置である境界位置ＬＢ９１乃至境界位置ＬＢ９４とする。

これにより、例えば図中、下側に示すように、境界位置ＬＢ９１乃至境界位置ＬＢ９４で分割される領域を連続ブロック領域として、各ブロック領域で視差画像の割り当てが行なわれる。なお、図中、下側には、各領域で右眼用および左眼用の視差画像が割り当てられる画素のチャンネル番号が記されている。

例えば、境界位置ＬＢ９１から境界位置ＬＢ９２までの間では、ブロック領域内のチャンネルＣＨ０とチャンネルＣＨ３の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ１とチャンネルＣＨ２の画素に左眼用の視差画像が割り当てられる。

また、境界位置ＬＢ９２から境界位置ＬＢ９３の間では、ブロック領域内のチャンネルＣＨ０とチャンネルＣＨ１の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ２とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられる。

なお、右眼を基準とする境界位置と左眼を基準とする境界位置との中間位置を、最終的な連続ブロック領域の境界位置とすると、境界位置近傍では右眼または左眼を基準とした視差画像の割り当てと多少のずれが生じるが、特に視差画像の立体視に影響は生じない。

但し、ユーザの視点位置が、半視距離表示方式における最適な視距離であるＺ０／２からずれてくると、すなわち、例えばユーザの視点位置が表示部２７に近付いたり、遠ざかったりすると、次第に右眼を基準とする境界位置と左眼を基準とする境界位置とのずれが大きくなる。

そうすると、例えば図１０に示すように、いくつかのブロック領域において、ユーザの右眼と左眼とで同じチャンネルの画素が視認画素として観察されてしまう。なお、図１０において、横軸は開口部１１１の番号ｎを示しており、縦軸は視認画素のチャンネル番号または視認位置を示している。

図１０では、折れ線Ｃ３１は、ユーザの右眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ３２は、ユーザの右眼から見える各ブロック領域の視認画素における視認位置を示している。また、折れ線Ｃ３３は、ユーザの左眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線Ｃ３４は、ユーザの左眼から見える各ブロック領域の視認画素における視認位置を示している。

この例では、折れ線Ｃ３１と折れ線Ｃ３３の一部が重なっており、これらの部分ではブロック領域において、ユーザの右眼と左眼とで同じチャンネルの画素が視認画素として観察される。そのため、右眼を基準として求めた境界位置と、左眼を基準として求めた境界位置との中間位置を最終的な連続ブロック領域の境界位置としても、所定のブロック領域では、同じチャンネルに右眼用と左眼用の両方の視差画像を割り当てなくてはならなくなる。つまり、ユーザが被写体を立体的に観察できなくなり、右眼用の視差画像と左眼用の視差画像とを用いた立体表示が不可能となる。

このように、所定の視点位置において、開口部１１１（ブロック領域）ごとに、ブロック領域内の視認画素を求めると、その結果から、ユーザが現視点位置から表示部２７を観察する場合に、視差画像の立体視が可能であるかを特定することができる。

したがって、各視点位置について、ブロック領域ごとに視認画素を求める演算を行なえば、例えば図１１に示すように、ｘｙ平面上において立体表示（立体視）が可能な領域と不可能な領域とを求めることができる。なお、図１１において、横方向および縦方向はｘ方向およびｙ方向を示している。

図１１の例では、表示部２７の周囲の領域のうち、斜線の施された領域ＷＲ１１は、視差画像の立体表示が可能な領域を示している。そこで、表示装置１１は、半視距離表示方式により視差画像の立体表示を行なう場合において、領域ＷＲ１１内にある領域ＷＲ１２を視差画像の立体表示が可能な領域とする。そして、表示装置１１は、ユーザの視点位置が領域ＷＲ１２内にある場合、左右の視差画像に基づいて被写体を立体表示させ、ユーザの視点位置が領域ＷＲ１２外にある場合、左右の何れか一方の視差画像を表示する。

このようにユーザの視点位置に応じて、３Ｄ表示と２Ｄ表示を切り替えることで、ユーザに違和感のない自然な画像を提示することができる。

［半視距離表示方式による立体画像の表示処理について］
次に、表示装置１１が半視距離表示方式により立体画像（合成画像）を表示する場合の具体的な動作について説明する。

そのような場合、まず撮像部２１は、表示部２７の周囲の領域の画像を周辺画像として撮像し、検出部２２は撮像部２１により撮像された周辺画像からユーザの眼を検出する。例えば検出部２２は、周辺画像からユーザの顔を検出し、検出された顔の領域から、さらにユーザの眼を検出する。

周辺画像からユーザの眼が検出されると、視点位置算出部４１は、検出されたユーザの眼の位置と、眼間距離保持部４２に保持されている眼間距離とに基づいて、ユーザの視点位置を算出し、割り当て制御部２３に供給する。

例えば視点位置算出部４１は、ｘｙ平面上におけるユーザの左右の眼の中間の位置を、視点位置として求める。また、眼間距離保持部４２に保持されている眼間距離は、後述するキャリブレーション処理により求められた眼間距離である。

また、割り当て制御部２３の判定部５１は、視点位置算出部４１から供給されたユーザの視点位置に基づいて、視差画像の立体表示が可能であるか否かを判定する。

例えば、判定部５１は、図１１に示した立体表示可能な領域ＷＲ１２を特定するための領域情報を予め記録しており、ユーザの視点位置が領域ＷＲ１２内の位置である場合、立体表示が可能であると判定する。

このとき、立体表示が可能でないと判定された場合には、割り当て制御部２３は、生成部２５に２次元の視差画像の表示を指示し、生成部２５は、その指示に応じて２次元の視差画像を表示させる。すなわち、生成部２５は、記録部２４から右眼用または左眼用の何れかの視差画像を読み出して、読み出した視差画像をそのまま表示制御部２６に供給する。

すると、表示制御部２６は、生成部２５から供給された視差画像を表示部２７に供給し、視差画像を表示させる。このとき、例えばバリア素子９３は、パララックスバリアを形成せず、表示部２７は視差画像をそのまま表示させる。また、表示部２７に設けられるパララックスバリアが固定式のものである場合でも、表示部２７に視差画像をそのまま表示させることで、視差画像が２次元表示（２Ｄ表示）される。

これに対して、判定部５１により立体表示が可能であると判定された場合、視認位置算出部５２は、視点位置算出部４１から供給されたユーザの視点位置に基づいて、開口部１１１ごとに視認画素および視認位置を算出する。

すなわち、視認位置算出部５２は、視点位置から定まるユーザの右眼位置と左眼位置とについて、図７を参照して説明した演算を行なって、開口部１１１（ブロック領域）ごとに、その開口部１１１を介して観察される視認画素と、その視認画素における視認位置を算出する。これにより、例えば図８に示した演算結果が得られる。すなわち、各ブロック領域について、ユーザの右眼または左眼から観察される画素（視認画素）のチャンネル番号と、その画素上のユーザにより観察される位置（視認位置）が求まる。

すると、境界位置算出部５３は、各ブロック領域についての視認位置の算出結果に基づいて、連続ブロック領域の境界位置を算出する。

具体的には境界位置算出部５３は、右眼位置について求められた各ブロック領域の視認位置の算出結果に基づいて、視認位置が「０」となる位置を、右眼を基準とする境界位置とする。すなわち、開口部１１１を介して、右眼により画素の中央が観察されるブロック領域の位置が、右眼を基準とする境界位置とされる。同様に、境界位置算出部５３は、左眼位置について求められた各ブロック領域の視認位置の算出結果に基づいて、視認位置が「０」となる位置を、左眼を基準とする境界位置とする。

そして、境界位置算出部５３は、右眼を基準とする境界位置と、それらの境界位置に対応する、左眼を基準とする境界位置との中間の位置を、最終的な連続ブロック領域の境界位置とする。ここで、右眼を基準とする境界位置に対応する、左眼を基準とする境界位置とは、右眼を基準とする境界位置に最も近い位置にある、左眼を基準とする境界位置である。

このような演算により、例えば図９に示した境界位置ＬＢ９１乃至境界位置ＬＢ９４が求められる。

続いて、境界位置算出部５３は、連続ブロック領域の境界位置の算出結果に基づいて、各ブロック領域の画素に右眼用または左眼用の視差画像を割り当てる。

図９の例では、例えば光変調パネル９２の表示面上のブロック領域のうち、境界位置ＬＢ９１から境界位置ＬＢ９２の間にあるブロック領域では、チャンネルＣＨ０とチャンネルＣＨ３の画素（チャンネル領域）に対して、右眼用の視差画像が割り当てられる。また、境界位置ＬＢ９１から境界位置ＬＢ９２の間にあるブロック領域において、チャンネルＣＨ１とチャンネルＣＨ２の画素に対して、左眼用の視差画像が割り当てられる。

より具体的には、例えば図１２に示すように、光変調パネル９２上の４つの画素からなる領域がブロック領域ＢＲ１およびブロック領域ＢＲ２とされたとする。なお、図１２において、横方向はｘ方向を示している。

図１２では、矢印Ｑ４１乃至矢印Ｑ４３により示される長方形は、右眼用の視差画像、左眼用の視差画像、および光変調パネル９２を表している。また、それらの長方形内の１つの四角形は１つの画素を表しており、各画素内の文字「Ｒ」，「Ｇ」，「Ｂ」は、それぞれ画素の色を表している。

例えば、光変調パネル９２上の画素Ｇ５１乃至画素Ｇ５４が含まれる領域が、ブロック領域ＢＲ１とされており、画素Ｇ５５乃至画素Ｇ５８が含まれる領域が、ブロック領域ＢＲ２とされている。ここで、例えば画素Ｇ５１は、Ｒ（赤）のカラーフィルタが設けられた、Ｒの光のみを透過させる画素であり、画素Ｇ５２は、Ｇ（緑）のカラーフィルタが設けられた、Ｇの光のみを透過させる画素である。

また、光変調パネル９２上の各画素の図中、下側には、それらの画素のチャンネル番号が記されている。例えば、画素Ｇ５１はチャンネルＣＨ０の画素であり、画素Ｇ５２は、チャンネルＣＨ１の画素である。

さらに、図中、横方向において光変調パネル９２上の各画素と同じ位置には、それらの画素と同じ位置にある、右眼用および左眼用の視差画像の画素が示されている。

一般的に、画像上の画素は、Ｒ，Ｇ，Ｂの各色の値をもつため、互いに隣接するＲ，Ｇ，Ｂの領域が１つの画素とされ、Ｒ，Ｇ，Ｂの各色の領域がサブピクセル（サブ画素）として扱われることが多い。

具体的には、例えば右眼用の視差画像の図中、左端の連続するＲ，Ｇ，Ｂの３つの画素からなる領域が一般的には１つの画素（以下、適宜、ＲＧＢ画素とも称する）とされ、各色の画素Ｇ６１や画素Ｇ６２がサブピクセルとして扱われることが多い。しかし、ここでは、これらの画素Ｇ６１や画素Ｇ６２を１つの画素と呼ぶこととする。

同様に、例えば一般的に、画素Ｇ５１乃至画素Ｇ５３からなる３つの色の領域が１つの画素として扱われることがあるが、ここでは画素Ｇ５１乃至画素Ｇ５３のそれぞれを、１つの画素として扱うこととする。

例えば、ブロック領域ＢＲ１とブロック領域ＢＲ２において、境界位置算出部５３により、チャンネルＣＨ０とチャンネルＣＨ１の画素に右眼用の視差画像が割り当てられ、チャンネルＣＨ２とチャンネルＣＨ３の画素に左眼用の視差画像が割り当てられたとする。

このとき、境界位置算出部５３は、右眼用の視差画像の画素Ｇ６１と画素Ｇ６２を、それらの画素と同じ位置にある光変調パネル９２上の画素Ｇ５１と画素Ｇ５２に割り当てる。また、境界位置算出部５３は、左眼用の視差画像の画素Ｇ７１と画素Ｇ７２を、それらの画素と同じ位置にある光変調パネル９２上の画素Ｇ５３と画素Ｇ５４に割り当てる。

同様に、境界位置算出部５３は、右眼用の視差画像の画素Ｇ６３と画素Ｇ６４を、画素Ｇ５５と画素Ｇ５６に割り当て、左眼用の視差画像の画素Ｇ７３と画素Ｇ７４を、画素Ｇ５７と画素Ｇ５８に割り当てる。

このように、ブロック領域の所定のチャンネルに右眼用または左眼用の視差画像が割り当てられたとき、より詳細には、そのチャンネルの画素には、その画素と同じ位置にある右眼用または左眼用の視差画像の画素が割り当てられる。

このようにして、ブロック領域ごとに、各チャンネルの画素に対して右眼用または左眼用の視差画像を割り当てると、境界位置算出部５３はその割り当て結果を生成部２５に供給し、合成画像の生成を指示する。

生成部２５は、境界位置算出部５３から供給された割り当て結果と、記録部２４から読み出した右眼用および左眼用の視差画像とに基づいて、合成画像を生成し、表示制御部２６に供給する。例えば、図１２に示した割り当てが行なわれた場合、生成部２５は、右眼用の視差画像の画素Ｇ６１と画素Ｇ６２が、画素Ｇ５１と画素Ｇ５２に表示され、左眼用の視差画像の画素Ｇ７１と画素Ｇ７２が、画素Ｇ５３と画素Ｇ５４に表示されるように、合成画像を生成する。

また、表示制御部２６は、生成部２５から供給された合成画像を表示部２７に供給して表示させる。

例えば、表示部２７は、供給された合成画像に基づいてバックライト９１から光を射出させるとともに、光変調パネル９２に電圧を印加させてバックライト９１からの光の透過率を画素ごとに制御する。また、表示部２７はバリア素子９３に電圧を印加させて開口部１１１と遮蔽部１１２とからなるパララックスバリアを形成させる。

これにより、バックライト９１から光変調パネル９２の各画素を透過した光は、パララックスバリアにより光学的に分離され、分離された一部の光がユーザの右眼または左眼に入射して、ユーザにより視差画像上の被写体が立体的に観察される。すなわち、合成画像上の右眼用の視差画像の領域がユーザの右眼により観察され、合成画像上の左眼用の視差画像の領域がユーザの左眼により観察される。

このようにして表示部２７に立体画像（合成画像）が表示されると、例えばユーザにより電源のオフが指示されるなど、処理の終了が指示されるまで、上述した処理が繰り返し行なわれる。すなわち、ユーザの視点位置の移動に応じて、ブロック領域内の各チャンネルの画素に対する視差画像の割り当てが変更され、新たな割り当てにしたがって生成された合成画像が表示される。

以上のようにして、表示装置１１は、ユーザの視点位置に基づいて、ブロック領域ごとに視認画素と視認位置を算出し、その算出結果に基づいて、ブロック領域の各チャンネルの画素に、右眼用または左眼用の視差画像を割り当てて合成画像を生成する。

このとき、ブロック領域のｘ方向に隣接して並ぶ少なくとも２つの画素に、右眼用または左眼用の視差画像のうちの同じ視差画像が割り当てられるようにすることで、より簡単にクロストークの発生を抑制し、より高品位な画像を提示することができるようになる。

また、ユーザの視点位置の移動に応じて、ブロック領域内の各チャンネルの画素に対する視差画像の割り当てを変化させることで、各チャンネルにおける視差画像の表示の切り替えをユーザに感じさせることなく、より自然で高品位な画像を提示することができる。

［キャリブレーション処理について］
ところで、上述した半視距離表示方式による立体画像の表示処理では、周辺画像からユーザの眼が検出され、その検出結果と、ユーザの実空間上の眼間距離とに基づいてユーザの視点位置が算出される。そして、得られた視点位置に基づいて、ブロック領域の各チャンネルの画素に右眼用または左眼用の視差画像が割り当てられて合成画像が生成される。

したがって、視点位置の算出に用いられる眼間距離に誤差があると、視認画素や視認位置の算出にも誤差が生じ、各チャンネルに適切に視差画像を割り当てることができなくなってしまう恐れがある。各チャンネルに適切に視差画像が割り当てられないと、ユーザが表示された立体画像を観察するときに違和感が生じることがある。

特に、眼間距離はユーザごとに異なるため、予め各ユーザの眼間距離を求めておき、立体画像の表示処理時には、求めておいた眼間距離を利用することが望ましい。なお、各ユーザが自分の眼間距離を予めノギス等により測定し、表示装置１１に入力しておくようにしてもよいが、そのような方法は手間がかかってしまい面倒である。

そこで、表示装置１１では、予めキャリブレーション処理を行なって、その結果得られた眼間距離を眼間距離保持部４２に保持させることにより、より正確な眼間距離を用いて、簡単に高品質な立体画像を提示できるようにする。

以下、図１３のフローチャートを参照して、表示装置１１によるキャリブレーション処理について説明する。

ステップＳ１１において、キャリブレーション処理部２９は、表示部２７の一部の領域にキャリブレーション画像を表示させる。

すなわち、キャリブレーション処理部２９が、予め保持しているキャリブレーション画像を、生成部２５を介して表示制御部２６に供給すると、表示制御部２６は、供給されたキャリブレーション画像を表示部２７に供給して表示させる。このとき、バリア素子９３にはパララックスバリアが形成される。

例えば、キャリブレーション画像は、光変調パネル９２の画素のチャンネルごとに異なる色の画像などとされる。具体的には、例えばチャンネルＣＨ０の画素に白い画像が表示され、チャンネルＣＨ１の画素に青い画像が表示され、チャンネルＣＨ２の画素に緑の画像が表示され、チャンネルＣＨ３の画素に赤い画像が表示される、白，青，緑，赤の４つの色の領域からなる画像とされる。

なお、キャリブレーション画像は、各チャンネルに独立した色が割り当てられた画像に限らず、チャンネルごとに異なる画像が割り当てられたものであれば、どのような画像であってもよい。また、ブロック領域内の互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられた画像がキャリブレーション画像とされてもよい。

ステップＳ１２において、撮像部２１は周辺画像の撮像を開始する。

すなわち、撮像部２１は、表示部２７の周囲の領域の画像を周辺画像として撮像し、順次、検出部２２に供給する。すると、検出部２２は、撮像部２１から供給された周辺画像からユーザの顔を検出し、ユーザの顔の検出結果に基づいて、周辺画像からユーザの眼を検出する。検出部２２は、周辺画像からの眼の検出結果と周辺画像をキャリブレーション処理部２９に供給する。

ステップＳ１３において、キャリブレーション処理部２９は、仮想視点位置を定める。例えば、表示装置１１ではｘｙｚ空間上におけるいくつかの位置が、予め仮想視点位置として定められており、キャリブレーション処理部２９は、それらの複数の仮想視点位置のうち、まだ処理対象とされていないものを１つ選択し、処理対象の仮想視点位置とする。

なお、仮想視点位置はどのような位置であってもよいが、例えば仮想視点位置は図１１の領域ＷＲ１２内の位置などとされる。

ステップＳ１４において、キャリブレーション処理部２９は、検出部２２から供給された眼の検出結果に基づいて、周辺画像からユーザの眼が検出されたか否かを判定する。

ステップＳ１４において、ユーザの眼が検出されなかったと判定された場合、眼間距離のキャリブレーションを行なうことはできないので、キャリブレーション処理は終了する。

これに対して、ステップＳ１４において、ユーザの眼が検出されたと判定された場合、ステップＳ１５において、理論観察画像生成部６１は、表示部２７の一部の領域に理論観察画像を表示させる。

例えば、理論観察画像生成部６１は、ステップＳ１３で定められた処理対象の仮想視点位置と、キャリブレーション画像とに基づいて、理論観察画像を生成する。

具体的には、仮想視点位置が指定されると、理論観察画像生成部６１は図７を参照して説明した演算を行なうことで、開口部１１１（ブロック領域）ごとに、開口部１１１を介して観察される視認画素と、その視認画素における視認位置を算出することができる。これにより、例えば図８に示した演算結果が得られる。すなわち、各ブロック領域について、ユーザの右眼（仮想視点位置）から観察される視認画素のチャンネル番号と、その視認画素上のユーザにより観察される視認位置が求まる。

理論観察画像生成部６１は、各ブロック領域についての視認画素のチャンネル番号と、キャリブレーション画像とに基づいて、理論観察画像を生成する。

例えば、キャリブレーション画像が、チャンネルＣＨ０乃至チャンネルＣＨ３のそれぞれの画素に白，青，緑，赤の各色が割り当てられた画像であるとする。

また図８の例では、ユーザが仮想視点位置から表示部２７を観察した場合、矢印Ｑ２１に示すように、表示部２７（光変調パネル９２）上の各領域では、チャンネルＣＨ０乃至チャンネルＣＨ３の何れかのチャンネルの画素が観察されるはずである。すなわち、表示部２７の図中、左側の領域ではチャンネルＣＨ３の画素が観察され、その領域の右側の領域ではチャンネルＣＨ０の画素が観察され、さらにその領域の右側の領域ではチャンネルＣＨ１の画素が観察され、表示部２７の図中、右側の領域ではチャンネルＣＨ２の画素が観察されるはずである。

したがって、仮想視点位置を右眼の位置とするユーザには、図中、左側から順番に、赤い領域，白い領域，青い領域，緑の領域が並ぶ画像が観察されるはずであるので、理論観察画像生成部６１は、そのような画像を理論観察画像として生成する。

なお、この場合、理論観察画像の各色の領域が表示されるブロック領域内の各チャンネルの画素には、同じ色の画像が表示される。例えば、理論観察画像の赤い領域が割り当てられたブロック領域では、そのブロック領域内の全ての画素に赤い画像が表示される。したがって、表示部２７に表示される理論観察画像は、どの位置（視点位置）から観察しても同じ画像となる。

理論観察画像生成部６１は、理論観察画像を生成すると、得られた理論観察画像を、生成部２５および表示制御部２６を介して表示部２７に供給し、表示部２７に理論観察画像を表示させる。この場合、理論観察画像が表示されるバリア素子９３の領域には、パララックスバリアが形成されてもよいし、パララックスバリアが形成されなくてもよい。

これにより、例えば図１４の矢印Ｑ６１に示すように、表示部２７（光変調パネル９２）の図中、上側の領域ＰＤ１１に理論観察画像が表示され、表示部２７の図中、下側の領域ＰＤ１２にはキャリブレーション画像が表示された状態となる。なお、図中、横方向および縦方向は、それぞれｘ方向およびｚ方向を示している。

この例では、領域ＰＤ１１に表示されている理論観察画像は、図中、横方向に４つの異なる色の領域が並んでいる画像となっており、この理論観察画像は、表示部２７を観察する位置によらず同じ画像となる。つまり、理論観察画像は、観察位置によらず見え方が同じ画像である。

これに対して、領域ＰＤ１２に表示されるキャリブレーション画像は、チャンネルごとに異なる色が割り当てられた画像であるので、表示部２７を観察する位置によって異なる画像となる。つまり、キャリブレーション画像は、観察位置によって見え方が異なる。

そして、ユーザの右眼の位置が仮想視点位置にある場合には、ユーザの右眼には矢印Ｑ６２に示すように、領域ＰＤ１１に表示されている理論観察画像と、領域ＰＤ１２に表示されるキャリブレーション画像とが、同じ画像に見えるようになる。

また、例えば矢印Ｑ６３に示すように、表示部２７（光変調パネル９２）の図中、中央の領域ＰＤ２１に理論観察画像が表示され、表示部２７の図中、上側の領域ＰＤ２２、および下側の領域ＰＤ２３にキャリブレーション画像が表示されるようにしてもよい。

この場合においても、ユーザの右眼の位置が仮想視点位置にある場合には、ユーザの右眼には、領域ＰＤ２１上の理論観察画像、領域ＰＤ２２上のキャリブレーション画像、および領域ＰＤ２３上のキャリブレーション画像が、同じ画像に見えるようになる。

なお、理論観察画像とキャリブレーション画像は、表示部２７上にどのようにして表示されてもよいが、これらの画像は図１４に示すように、図中、縦方向、つまりｚ方向に並べられて表示されるのが好ましい。また、理論観察画像は、仮想視点位置ごとに予め用意されていてもよい。

図１３のフローチャートの説明に戻り、表示部２７に理論観察画像とキャリブレーション画像が表示された状態となると、処理はステップＳ１５からステップＳ１６へと進む。

ステップＳ１６において、誘導部６２は、ユーザに対して仮想視点位置への移動を促す。すなわち、誘導部６２は、ユーザを仮想視点位置へと誘導する。例えば、誘導部６２は、ユーザが右眼で表示部２７を観察した場合に、キャリブレーション画像が理論観察画像と同じ見え方をする位置への移動を促す文字メッセージや画像を、生成部２５および表示制御部２６を介して表示部２７に供給し、表示させる。

また、誘導部６２が、音声メッセージを出力させることにより、ユーザに仮想視点位置への移動を促すようにしてもよい。

このような文字メッセージ等が表示部２７に提示されると、ユーザは例えば左眼を閉じて、右眼のみで表示部２７を観察しながら、キャリブレーション画像が理論観察画像と同じ見え方をする位置に移動する。このとき、ユーザの移動先の位置が仮想視点位置となるはずである。ユーザは、例えばリモートコマンダ等を操作することで、移動の完了を表示装置１１に通知する。

ステップＳ１７において、入力受付部２８は、仮想視点位置への移動完了の通知の入力を受け付ける。

例えば、ユーザが仮想視点位置に移動した後、リモートコマンダを操作すると、リモートコマンダからは、ユーザの操作に応じた光信号が発せられる。入力受付部２８は、リモートコマンダから送信されてきた光信号を受信して光電変換し、その結果得られた信号をキャリブレーション処理部２９に供給する。

キャリブレーション処理部２９は、入力受付部２８からの信号の供給を受けることで、ユーザが仮想視点位置に移動したことを知ることができる。

なお、ユーザが入力受付部２８としてのボタン等を操作することで、仮想視点位置への移動完了を通知するようにしてもよい。また、ユーザが特定の音声を発したり、特定の顔の表情をしたりすることにより、仮想視点位置への移動完了が通知されてもよい。そのような場合、例えば表示装置１１において、特定の音声が検出されたり、周辺画像から特定の表情の顔が検出されたりした場合に、仮想視点位置にユーザが移動したと特定される。

ステップＳ１８において、位置算出部６３は、入力受付部２８から信号が供給された後に検出部２２から供給された、周辺画像および周辺画像からの眼の検出結果と、処理対象の仮想視点位置とに基づいて、ｘｙｚ空間におけるユーザの左眼の位置を算出する。

例えば、位置算出部６３は、周辺画像上におけるユーザの左右の眼の位置、それらの眼の距離、および予め定められた周辺画像の画角に基づいて、表示部２７上の特定点とユーザの右眼を結ぶ直線と、表示部２７上の特定点とユーザの左眼を結ぶ直線とがなす角度θを求める。ここで、角度θは、表示部２７上の特定点がユーザの注視点である場合には、ユーザの輻輳角に相当する角度である。

また、位置算出部６３は、求めた角度θと、仮想視点位置、つまりユーザの実空間における右眼の位置とに基づいて、ユーザの実空間における左眼の位置を算出する。例えば、ユーザの左右の眼が仮想視点位置を含む平面上にあるとする。この場合、表示部２７上の特定点と仮想視点位置を結ぶ直線と、角度θとから、表示部２７上の特定点とユーザの左眼位置とを結ぶ直線を求めることができ、このようにして得られた直線と上述した平面との交点の位置がユーザの実空間上における左眼の位置となる。

なお、視点位置算出部４１により視点位置が算出される場合には、周辺画像から得られた角度θと、眼間距離とから視点位置が算出される。

ステップＳ１９において、距離算出部６４は、ユーザの左右の眼の位置に基づいて、実空間上におけるユーザの眼間距離、つまり左眼と右眼との間の距離を算出する。すなわち、ユーザの右眼の位置である仮想視点位置から、ステップＳ１８により求められたユーザの左眼の位置までの距離が眼間距離として求められる。

ステップＳ２０において、距離算出部６４は、ステップＳ１９の処理で求めた眼間距離を一時的に保持する。

ステップＳ２１において、キャリブレーション処理部２９は、全ての仮想視点位置について処理を行なったか否かを判定する。

ステップＳ２１において、まだ全ての仮想視点位置について処理を行なっていないと判定された場合、処理はステップＳ１３に戻り、上述した処理が繰り返される。すなわち、まだ処理対象とされていない仮想視点位置が選択されて、その仮想視点位置について眼間距離が算出される。

一方、ステップＳ２１において、全ての仮想視点位置について処理が行なわれたと判定された場合、ステップＳ２２において、距離算出部６４は、保持している仮想視点位置ごとの眼間距離の平均値を算出し、最終的な眼間距離とする。このように、いくつかの仮想視点位置について求めた眼間距離の平均値を、最終的なユーザの眼間距離とすることで、より確からしい眼間距離を得ることができる。

ステップＳ２３において、距離算出部６４は、ステップＳ２２で算出した平均値を、最終的なユーザの眼間距離として採用し、検出部２２の眼間距離保持部４２に供給して保持させる。眼間距離保持部４２は、距離算出部６４から供給された眼間距離を保持すると、キャリブレーション処理は終了する。

なお、眼間距離保持部４２に眼間距離を保持する場合に、眼間距離と各ユーザの顔登録情報とを対応付けて保持するようにしてもよい。例えば、顔登録情報は、ユーザにより入力されたユーザ自身を識別する情報でもよいし、周辺画像のユーザの顔の領域から抽出された特徴量とされてもよい。

このように、顔登録情報と眼間距離を対応付けて保持しておくことで、立体画像の表示処理時において、ユーザによる入力や周辺画像の顔領域から抽出された特徴量に基づいて、各ユーザに対して算出された眼間距離を特定し、視点位置の算出に用いることができる。これにより、より高精度にユーザの視点位置を求めることができるようになり、より簡単に高品質な立体画像を提示することができる。

以上のようにして、表示装置１１は、表示部２７にキャリブレーション画像と理論観察画像を表示させて、ユーザを仮想視点位置に移動させ、ユーザの眼間距離を求める。このように、キャリブレーション画像と理論観察画像を表示し、ユーザを仮想視点位置に移動させて眼間距離を求めることで、より簡単に、正確な眼間距離を得ることができる。これにより、眼間距離を用いて適切に立体画像の表示制御を行なうことができ、より高品質な立体画像を提示することができるようになる。

なお、以上においてはユーザの右眼の位置を仮想視点位置に移動させる例について説明したが、ユーザの左眼の位置を仮想視点位置に移動させるようにしてもよい。そのような場合、ステップＳ１８の処理ではユーザの右眼の位置が算出され、ユーザの左右の眼の位置から眼間距離が求められる。

また、キャリブレーション処理により得られた眼間距離が、半視距離表示方式による立体画像の表示処理で用いられると説明したが、眼間距離は、他の立体画像の表示制御、すなわち２以上の視点の視差画像からなる多視点の立体画像の表示処理にも当然用いることが可能である。

さらに、図１では、表示装置１１に撮像部２１や表示部２７が設けられている例について説明したが、これらの撮像部２１や表示部２７は、表示装置１１の外部に設けられるようにしてもよい。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、カメラ、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

［１］
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、
互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像が前記表示部の一部の領域に表示されている状態で、前記表示部の前記一部の領域とは異なる領域に、所定の仮想視点位置から前記表示部上の前記キャリブレーション画像を見た場合に観察される理論観察画像を表示させる理論観察画像表示制御部と、
前記表示部上の前記キャリブレーション画像と前記理論観察画像が同じ画像に見える位置にいるユーザを撮像して得られた周辺画像と、前記仮想視点位置とに基づいて、実空間における前記ユーザの眼間距離を算出する距離算出部と
を備える表示装置。
［２］
前記理論観察画像は、前記ブロック領域内の各チャンネルに同じ画像が割り当てられた画像である
［１］に記載の表示装置。
［３］
前記ユーザを前記仮想視点位置に誘導する誘導部をさらに備える
［１］または［２］に記載の表示装置。
［４］
前記距離算出部は、複数の前記仮想視点位置について求められた前記眼間距離の平均値を最終的な前記眼間距離とする
［１］乃至［３］の何れかに記載の表示装置。
［５］
前記ユーザの前記眼間距離を保持する保持部と、
任意の位置にいる前記ユーザの前記周辺画像および前記眼間距離に基づいて、前記ユーザの視点位置を算出する視点位置算出部と、
前記視点位置に基づいて、互いに視点の異なる複数の視差画像を前記ブロック領域内の各チャンネルの画素に割り当てる割り当て制御部と、
前記割り当て制御部の割り当てにしたがって複数の前記視差画像を合成し、合成画像を生成する生成部と
をさらに備える［１］乃至［４］の何れかに記載の表示装置。

１１ 表示装置， ２１ 撮像部， ２２ 検出部， ２６ 表示制御部， ２７ 表示部， ２８ 入力受付部， ２９ キャリブレーション処理部， ４２ 眼間距離保持部， ６１ 理論観察画像生成部， ６２ 誘導部， ６３ 位置算出部， ６４ 距離算出部

Claims (7)

1. 複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
   前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、
   互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像が前記表示部の一部の領域に表示されている状態で、前記表示部の前記一部の領域とは異なる領域に、所定の仮想視点位置から前記表示部上の前記キャリブレーション画像を見た場合に観察される理論観察画像を表示させる理論観察画像表示制御部と、
   前記表示部上の前記キャリブレーション画像と前記理論観察画像が同じ画像に見える位置にいるユーザを撮像して得られた周辺画像と、前記仮想視点位置とに基づいて、実空間における前記ユーザの眼間距離を算出する距離算出部と
   を備える表示装置。
2. 前記理論観察画像は、前記ブロック領域内の各チャンネルに同じ画像が割り当てられた画像である
   請求項１に記載の表示装置。
3. 前記ユーザを前記仮想視点位置に誘導する誘導部をさらに備える
   請求項１に記載の表示装置。
4. 前記距離算出部は、複数の前記仮想視点位置について求められた前記眼間距離の平均値を最終的な前記眼間距離とする
   請求項１に記載の表示装置。
5. 前記ユーザの前記眼間距離を保持する保持部と、
   任意の位置にいる前記ユーザの前記周辺画像および前記眼間距離に基づいて、前記ユーザの視点位置を算出する視点位置算出部と、
   前記視点位置に基づいて、互いに視点の異なる複数の視差画像を前記ブロック領域内の各チャンネルの画素に割り当てる割り当て制御部と、
   前記割り当て制御部の割り当てにしたがって複数の前記視差画像を合成し、合成画像を生成する生成部と
   をさらに備える請求項１に記載の表示装置。
6. 複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
   前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と
   を備える表示装置の情報処理方法であって、
   互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像が前記表示部の一部の領域に表示されている状態で、前記表示部の前記一部の領域とは異なる領域に、所定の仮想視点位置から前記表示部上の前記キャリブレーション画像を見た場合に観察される理論観察画像を表示させ、
   前記表示部上の前記キャリブレーション画像と前記理論観察画像が同じ画像に見える位置にいるユーザを撮像して得られた周辺画像と、前記仮想視点位置とに基づいて、実空間における前記ユーザの眼間距離を算出する
   ステップを含む情報処理方法。
7. 複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
   前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と
   を備える表示装置を制御するコンピュータに、
   互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像が前記表示部の一部の領域に表示されている状態で、前記表示部の前記一部の領域とは異なる領域に、所定の仮想視点位置から前記表示部上の前記キャリブレーション画像を見た場合に観察される理論観察画像を表示させ、
   前記表示部上の前記キャリブレーション画像と前記理論観察画像が同じ画像に見える位置にいるユーザを撮像して得られた周辺画像と、前記仮想視点位置とに基づいて、実空間における前記ユーザの眼間距離を算出する
   ステップを含む処理を実行させるプログラム。

Images