以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第1の実施の形態〉
[キャリブレーションシステムについて]
本技術は、パララックスバリア等の視差分離部を利用して裸眼方式により画像の立体表示を行なう表示装置について、視差分離部の固定位置に関するキャリブレーションを行なうことで、より高品質な立体画像を提示できるようにするものである。
図1は、本技術を適用したキャリブレーションシステムの一実施の形態の構成例を示す図である。
本技術のキャリブレーションシステムは、表示装置11、撮像部12、および情報処理装置13から構成される。
表示装置11は、裸眼方式により立体画像を表示する表示装置であり、表示装置11を観察するユーザの視点位置に応じて立体画像の表示を制御する。ここで、立体画像は、複数視点の視差画像からなる。
また、表示装置11は、情報処理装置13から供給された貼り付けパラメータを記録している。貼り付けパラメータは、立体画像表示時において、異なる視点の視差画像を光学的に分離する視差分離部としてのバリア素子の固定位置に関するパラメータであり、立体画像の表示制御に用いられる。
具体的には、立体画像の表示時には、ユーザの視点位置と貼り付けパラメータとに基づいて、表示装置11の表示部の各領域に複数の視点の視差画像のうちの何れかが割り当てられる。そして、その割り当てにしたがって視差画像が表示されることで、ユーザの眼には、立体画像が観察されるようになる。
さらに、キャリブレーションシステムでは、表示装置11が保持している貼り付けパラメータのキャリブレーションが行なわれる。
キャリブレーション時には、表示装置11は、予め定められた画像(以下、キャリブレーション画像とも称する)を表示し、撮像部12は、表示装置11に表示されたキャリブレーション画像を撮像して情報処理装置13に供給する。
情報処理装置13は、撮像部12から供給された、キャリブレーション画像を被写体として撮像された画像(以下、測定画像とも称する)と、撮像部12の位置(以下、測定位置とも称する)とに基づいて、より確からしい貼り付けパラメータを算出する。
情報処理装置13は、算出した貼り付けパラメータを表示装置11に供給し、保持させる。表示装置11は、このようにして情報処理装置13から供給された貼り付けパラメータを用いることで、ユーザの視点位置に対して、より適切に視差画像の割り当てを行なうことができる。これにより、クロストークの少ない、より高品質な立体画像を提示することができるようになる。
[表示装置の構成例]
まず、図1の表示装置11について説明する。
図2は、表示装置11のより詳細な構成例を示す図である。表示装置11は、撮像部21、検出部22、割り当て制御部23、記録部24、生成部25、表示制御部26、表示部27、および取得部28から構成される。
撮像部21は、表示装置11周辺のユーザの画像、例えば表示部27のほぼ正面から、表示部27に表示された画像を観察するユーザの画像(以下、周辺画像と称する)を撮像し、検出部22に供給する。
検出部22は、撮像部21から供給された周辺画像からユーザの眼を検出し、その検出結果を割り当て制御部23に供給する。また、検出部22は、視点位置算出部31を備えており、視点位置算出部31は、周辺画像に基づいて、表示部27に対するユーザの視点位置を算出し、割り当て制御部23に供給する。
割り当て制御部23は、検出部22からの検出結果やユーザの視点位置に基づいて、表示部27の表示面上の各領域に、複数の視差画像を割り当てる。割り当て制御部23は、判定部32、視認位置算出部33、境界位置算出部34、およびパラメータ保持部35を備えている。
判定部32は、検出部22からの視点位置に基づいて、複数の視差画像による被写体の立体表示(3D表示)が可能か否かを判定し、割り当て制御部23は、その判定結果に応じて生成部25での画像生成を制御する。
視認位置算出部33は、検出部22からの視点位置と、パラメータ保持部35に保持されている貼り付けパラメータとに基づいて、ユーザにより視認されている表示部27の表示面上の画素内の位置を視認位置として算出する。境界位置算出部34は、視認位置に基づいて、表示部27の表示面上の各領域に複数の視差画像を割り当てる。パラメータ保持部35は、取得部28から供給された貼り付けパラメータを保持(記録)する。
記録部24は、キャリブレーション画像や、立体画像を構成する複数の視差画像を記録しており、必要に応じてキャリブレーション画像や視差画像を生成部25に供給する。
生成部25は、割り当て制御部23の制御にしたがって、記録部24からの視差画像に基づいて、それらの視差画像を空間分割して合成した合成画像を生成し、表示制御部26に供給する。また、生成部25は、割り当て制御部23の制御にしたがって、記録部24からの視差画像のうちの何れかを、そのまま表示制御部26に供給したり、記録部24からのキャリブレーション画像を表示制御部26に供給したりする。
表示制御部26は、生成部25からの合成画像を表示部27に供給して表示させることで、視差画像上の被写体を立体表示させたり、生成部25からの視差画像やキャリブレーション画像を表示部27に供給して表示させたりする。表示部27は、裸眼方式により立体画像を表示可能な液晶表示パネルなどからなり、表示制御部26から供給された合成画像や視差画像、キャリブレーション画像を表示する。
取得部28は、情報処理装置13から貼り付けパラメータを取得し、割り当て制御部23のパラメータ保持部35に供給する。
[表示部の構成例]
また、図2の表示部27は、例えば図3に示すように構成される。
すなわち、表示部27は、バックライト61、光変調パネル62、およびバリア素子63から構成される。
バックライト61は、例えばLED(Light Emitting Diode)光源や導光板などからなり、画像を表示させるための光を射出し、光変調パネル62に入射させる。
光変調パネル62は、例えば液晶層やR,G,Bの各色のカラーフィルタなどからなり、バックライト61から入射した光を透過させることで、画像を表示させる。このとき、光変調パネル62は、光変調パネル62に設けられた画素ごとに、光の透過率を変化させることで、画像の各画素の階調表示を行なう。
より詳細には、光変調パネル62は、透明基板71、透明基板72、および液晶層73を備えており、液晶層73は、互いに対向するように配置された平板状の透明基板71と透明基板72の間に形成されている。液晶層73には、画像が表示される画素としての透過部が設けられており、画像の表示時において、透明基板71と透明基板72に設けられている電極に電圧が印加されると、バックライト61から透過部に入射した光の透過率が印加された電圧に応じて変化する。
また、バリア素子63は、偏光板やスイッチ液晶層などからなり、光変調パネル62から入射した光の一部を遮光し、残りの一部を透過させることで、各視差画像を光学的に分離させる。バリア素子63は、透明基板74、透明基板75、およびスイッチ液晶層76を備えており、スイッチ液晶層76は、互いに対向するように配置された平板状の透明基板74と透明基板75の間に形成されている。
透明基板74と透明基板75には、電極が形成されており、これらの電極の一部または全部に電圧が印加されると、スイッチ液晶層76内の液晶分子の配向方向が変化し、これにより、スイッチ液晶層76にはパララックスバリアが形成される。
図3の例では、光変調パネル62から入射した光を透過させる開口部81−1乃至開口部81−3と、光変調パネル62から入射した光を遮光する遮蔽部82−1乃至遮蔽部82−3とからなるパララックスバリアが、スイッチ液晶層76に形成されている。
なお、以下、開口部81−1乃至開口部81−3を特に区別する必要のない場合、単に開口部81とも称し、遮蔽部82−1乃至遮蔽部82−3を特に区別する必要のない場合、単に遮蔽部82とも称する。また、被写体を立体表示する合成画像が光変調パネル62に表示される場合には、バリア素子63にパララックスバリアが形成されるが、2D画像である視差画像が光変調パネル62に表示される場合には、バリア素子63にパララックスバリアは形成されない。
図3のように構成される表示部27では、ユーザはバリア素子63側から光変調パネル62に表示される画像を観察する。特に、合成画像の表示時には、バックライト61から射出され、光変調パネル62およびバリア素子63を透過した光が、ユーザの右眼ERまたは左眼ELに入射する。このとき、ユーザの右眼ERと左眼ELには、バリア素子63で分離された異なる光が入射するので、右眼ERと左眼ELで互いに視差を有する異なる視差画像が観察される。
なお、図3では、視差画像を光学的に分離する分離部の例としてバリア素子63について説明したが、分離部はパララックスバリアに限らず、レンチキュラレンズなどとされてもよい。また、分離部としてのパララックスバリアは、可変式のバリアに限らず、遮蔽板等に開口部が設けられた固定式のバリアとされてもよい。
さらに、バリア素子63は、光変調パネル62とバックライト61の間に配置されるようにしてもよい。
[適視距離からの立体画像の観察について]
ところで、表示装置11に4つの異なる視点の視差画像を合成して得られた合成画像を表示し、ユーザが表示部27から所定の距離だけ離れた位置から表示部27を観察する場合について考える。
例えば図4に示すように、ユーザの右眼ERと左眼ELの中間位置をユーザの視点位置とし、ユーザの視点位置がバリア素子63の表面から距離Z0(以下、適視距離Z0と称する)だけ離れた位置にあるとする。また、右眼ERと左眼ELとの距離(以下、眼間距離Eと称する)が65mmであるとする。なお、一般的な大人の眼間距離は約65mmである。
また、光変調パネル62の表示面上には、4つの視点の視差画像のそれぞれが表示される画素である、チャンネルCH0乃至チャンネルCH3の4つの各チャンネルの画素からなるブロック領域が、図中、横方向に並ぶように設けられている。
なお、図4では、光変調パネル62における1つの四角形は1つの画素を表しており、それらの画素の図中、下側には、各画素が属すチャンネルの番号が示されている。また、図中、横方向および縦方向をそれぞれx方向およびy方向とし、x方向およびy方向に垂直な方向をz方向とする。ここで、x方向はユーザの右眼ERと左眼ELが並ぶ方向、つまり光変調パネル62に表示される視差画像の視差方向であり、y方向は光変調パネル62の表示面と垂直な方向である。
図4では、ブロック領域内において、図中、右側から左側までチャンネルCH0の画素、チャンネルCH1の画素、チャンネルCH2の画素、およびチャンネルCH3の画素が順番に並んでいる。
また、ブロック領域において、例えばz方向には、同じチャンネルの画素が並んでいる。そして、光変調パネル62の表示面上には、このようなブロック領域がx方向に連続して並んでいる。以下、1つのブロック領域内において、同じチャンネルの画素からなる領域をチャンネル領域とも称することとする。
また、バリア素子63には、1つのブロック領域に対して、パララックスバリアを構成する1つの開口部81が設けられている。したがって、視点P0乃至視点P3の視差画像のそれぞれが、チャンネルCH0乃至チャンネルCH3の画素のそれぞれに表示されると、それらの各視点の視差画像は、バリア素子63により光学的に分離される。
すなわち、バリア素子63から適視距離Z0だけ離れたxz平面上において、チャンネルCH3の各画素から射出され、開口部81を通過した光は領域CR0に到達し、チャンネルCH2の各画素から射出され、開口部81を通過した光は領域CR1に到達する。同様に、チャンネルCH1の各画素から射出され、開口部81を通過した光は領域CR2に到達し、チャンネルCH0の各画素から射出され、開口部81を通過した光は領域CR3に到達する。
なお、図中、上側においてx方向に並ぶ数字0乃至数字3は、その数字が記された領域に到達する光が発せられた画素のチャンネル番号を示している。例えば、領域CR0の図中、上側に記された数字「3」は、領域CR0には、チャンネルCH3の画素からの光が到達することを表している。
ここで、領域CR0乃至領域CR3の各領域のx方向の幅は眼間距離E(=65mm)となる。したがって、バリア素子63から適視距離Z0だけ離れたxz平面上に位置するユーザの左右の眼には、1視点分だけずれた異なる視点の視差画像が観察されることになる。例えば、図4の例では、ユーザの右眼ERは領域CR2内に位置し、左眼ELは領域CR1内に位置するから、ユーザの右眼ERおよび左眼ELには、それぞれ視点P1の視差画像、および視点P2の視差画像が観察されることになる。その結果、ユーザにそれらの視差画像上の被写体が立体的に知覚される。
また、例えばこの状態からユーザの視点位置が図中、左方向に眼間距離Eだけ移動すると、ユーザの右眼ERおよび左眼ELには、それぞれ視点P0の視差画像、および視点P1の視差画像が観察されることになる。
[パララックスバリアの設計について]
このように、適視距離Z0だけ離れた位置から表示部27を観察するユーザに、各開口部81を介して同じチャンネルの画素が視認されるようにするには、開口部81間の距離や、開口部81から光変調パネル62までの距離などを適切に定める必要がある。
例えば、図4の例では、ユーザの左右の眼には、光変調パネル62上の互いに隣接する画素が開口部81を介して観察される。このような場合、適視距離Z0=900mmであるとすると、図5に示すように、開口部81から光変調パネル62までの距離D1と、開口部81間の距離D2が定められる。なお、図中、横方向および縦方向はx方向およびy方向を示している。
図5の左側において、開口部81の中心を通るy方向に平行な直線を直線A11とし、ユーザの片方の眼が点PE11にあるとする。ここで、点PE11は、直線A11からx方向に距離X1だけ離れており、かつ開口部81からy方向に適視距離Z0だけ離れた位置にある。また、バリア素子63の図中、下側にある各四角形は、光変調パネル62上の画素を表している。
例えば、図中、左側に示すようにユーザの眼の位置PE11から、開口部81を介して1つの画素G11が視認されるとする。各画素間の距離をD3とすると、この画素G11の中心は、直線A11から(D3)/2だけ離れた位置にある。
ここで、バリア素子63から光変調パネル62の各画素までの間がガラス材で満たされており、点PE11からこのガラス材へと進む光の相対屈折率がk1であるとすると、X1:Z0=(D3)/2:D1/k1であるので、D1=Z0×((D3)/2)×k1/X1となる。例えば、Z0=900mm,D3=0.05435mm,X1=32.5mm,k1=1.5であるとすると、これらの値からD1=900×((0.05435)/2)×1.5/32.5=1.1288mmとなる。
また、図中、右側に示すように、ユーザの眼が直線A11上の点PE12にあるとする。この場合、光変調パネル62は4視点用であるから、点PE12から図中、左側の開口部81を介して見える光変調パネル62の位置と、その開口部81の右側に隣接する開口部81を介して見える光変調パネル62の位置とは4画素分だけ離れているはずである。
したがって、Z0:D2=(Z0+(D1/k1)):4×D3が成立するので、D2=Z0×D3×4/(Z0+(D1/k1))により、開口部81間の距離D2が求まる。ここで、Z0=900mm,D3=0.05435mm,D1=1.1288mm,k1=1.5であるとすると、これらの値からD2=900×0.05435×4/(900+(1.1288/1.5))=0.2172184mmとなる。
表示装置11のパラメータ保持部35には、開口部81から光変調パネル62までの距離D1や、開口部81間の距離D2、光変調パネル62に対する各開口部81のx方向の位置など、バリア素子63の位置関係に関する値が貼り付けパラメータとして保持されている。なお、以下では、説明を簡単にするため、貼り付けパラメータは、開口部81から光変調パネル62までの距離D1のみであるものとして説明を続ける。
[適視距離の半分の距離からの観察について]
ところで、ユーザの視点位置が、表示部27からy方向に上述した適視距離の半分の距離Z0/2だけ離れた位置にあるとする。そのような場合、ユーザの右眼と左眼により視認されるブロック領域内の画素は、2画素分の距離だけ離れた位置にある画素となる。
したがって、例えばユーザの右眼ERから所定の開口部81を介してブロック領域のチャンネルCH1の画素が見えている状態では、ユーザの左眼ELからは、同じ開口部81を介してブロック領域のチャンネルCH3の画素が見える。
そこで、例えば表示装置11に表示させる立体画像が2視点の視差画像、つまり右眼用と左眼用の視差画像からなるものとし、これらの視差画像を表示部27に表示させる場合について考える。
このように右眼用と左眼用の視差画像を表示部27に表示させる場合に、各チャンネルの画素に適切に右眼用または左眼用の視差画像を表示させ、ユーザが適視距離Z0の約半分の距離から視差画像を観察すれば、クロストークの発生を抑制することができる。
例えば、図4に示した状態では、ユーザの右眼ERはチャンネルCH1の画素を観察しており、ユーザの左眼ELはチャンネルCH2の画素を観察している。この状態から、例えばユーザが図4中、右方向にわずかに移動したとする。そうすると、チャンネルCH1の画素とチャンネルCH2の画素は互いに隣接しているから、ユーザの右眼ERには、これまで見えていたチャンネルCH1の画素だけでなく、左眼ELで見えていたチャンネルCH2の画素も見えてしまい、クロストークが発生する。すなわち、左右の視差画像上の被写体が2重に見えてしまう。
これに対して、例えばユーザが適視距離Z0の約半分の距離から表示部27を観察している状態で、図4中、光変調パネル62の中央にあるブロック領域のチャンネルCH1に右眼用の視差画像を表示させ、同じブロック領域のチャンネルCH3に左眼用の視差画像を表示させたとする。
この場合、ユーザの右眼ERには右眼用の視差画像が観察され、ユーザの左眼ELには左眼用の視差画像が観察されることになる。この状態からユーザが図中、右方向にわずかに移動しても、チャンネルCH1とチャンネルCH3の画素は2画素分だけ離れているので、ユーザの右眼ERに左眼用の視差画像が観察されることはない。
さらに、ユーザの視点位置の移動に応じて、クロストークが発生する前に各チャンネルの画素における視差画像の表示の切り替えを行なえば、各領域における左右の視差画像の表示の切り替えをユーザに感じさせることなく、より自然な画像の提示が可能となる。
このように、ユーザの視点位置に応じて、各チャンネルの画素に適切に右眼用または左眼用の視差画像を表示させ、ユーザが通常の適視距離の約半分の距離から観察すれば、クロストークの発生を抑制し、より高品質な画像を提示することが可能である。以下、このような立体画像の表示方式を、半視距離表示方式と称することとする。
[半視距離表示方式における表示制御について]
次に、左眼用と右眼用の視差画像に基づいて、半視距離表示方式により立体画像を表示させる具体的な制御について説明する。
例えば、図6に示すように、ユーザが所定の位置にいる場合に、ユーザの右眼に光変調パネル62の図中、左端の領域B11内のチャンネルCH2の画素が視認されているとする。また、光変調パネル62の領域B12、領域B13、および領域B14では、それぞれユーザの右眼によりチャンネルCH1の画素、チャンネルCH0の画素、およびチャンネルCH3の画素が視認されているとする。
この場合、光変調パネル62の領域B11乃至領域B14では、ユーザの左眼には、それぞれチャンネルCH0の画素、チャンネルCH3の画素、チャンネルCH2の画素、およびチャンネルCH1の画素が視認される。
なお、これらの領域B11乃至領域B14は、複数のブロック領域からなる領域である。このような状態で、表示装置11は領域B11乃至領域B14について、それらの領域内のブロック領域のうち、ユーザにより視認される画素からの光の輝度が最も高くなるブロック領域の位置を特定し、それらの位置を境界位置LB11乃至境界位置LB14とする。
すなわち、境界位置LB11は、領域B11内のブロック領域のうち、視認される画素からの光の輝度が最も高いブロック領域の位置である。同様に、境界位置LB12乃至境界位置LB14のそれぞれは、領域B12乃至領域B14のそれぞれにあるブロック領域のうち、視認される画素からの光の輝度が最も高いブロック領域のそれぞれの位置である。
このようにして境界位置が特定されると、表示装置11は光変調パネル62上の境界位置LB11乃至境界位置LB14により分割される各領域に対して、各チャンネルへの左右の視差画像の割り当てを行なう。
具体的には、領域B11の左端から境界位置LB11までの間にある各ブロック領域では、チャンネルCH2とチャンネルCH3の画素に右眼用の視差画像が割り当てられ、チャンネルCH0とチャンネルCH1の画素に左眼用の視差画像が割り当てられる。
同様に、境界位置LB11から境界位置LB12までの間にある各ブロック領域では、チャンネルCH1とチャンネルCH2の画素に右眼用の視差画像が割り当てられ、チャンネルCH0とチャンネルCH3の画素に左眼用の視差画像が割り当てられる。また、境界位置LB12から境界位置LB13までの間にある各ブロック領域では、チャンネルCH0とチャンネルCH1の画素に右眼用の視差画像が割り当てられ、チャンネルCH2とチャンネルCH3の画素に左眼用の視差画像が割り当てられる。
さらに、境界位置LB13から境界位置LB14までの間にある各ブロック領域では、チャンネルCH0とチャンネルCH3の画素に右眼用の視差画像が割り当てられ、チャンネルCH1とチャンネルCH2の画素に左眼用の視差画像が割り当てられる。また、境界位置LB14から領域B14の右端までの間にある各ブロック領域では、チャンネルCH2とチャンネルCH3の画素に右眼用の視差画像が割り当てられ、チャンネルCH0とチャンネルCH1の画素に左眼用の視差画像が割り当てられる。
そして、このようなブロック領域における各チャンネルへの視差画像の割り当てにしたがって合成画像が生成され、生成された合成画像が光変調パネル62に表示される。
さらに、この状態からユーザの視点位置が移動すると、各ブロック領域内でユーザにより視認される画素のチャンネルが変化するので、視点位置の変化に追従して境界位置LB11乃至境界位置LB14の位置も移動する。そして、境界位置LB11乃至境界位置LB14の移動に応じて、ブロック領域内の各チャンネルの画素に対する視差画像の割り当てが変更される。
なお、以下、光変調パネル62において、連続して並ぶいくつかのブロック領域からなる領域であって、同じチャンネルの画素に同じ視差画像が割り当てられるブロック領域からなる領域を、連続ブロック領域とも称することとする。
例えば、図6の例では、境界位置LB11から境界位置LB12までの間にある各ブロック領域からなる領域や、境界位置LB12から境界位置LB13までの間にある各ブロック領域からなる領域が1つの連続ブロック領域とされる。つまり、図6では、境界位置LB11乃至境界位置LB14のそれぞれが、連続ブロック領域の境界となる。
ところで、連続ブロック領域の境界位置は、ユーザにより視認される画素からの光の輝度が最も高くなるブロック領域の位置である。ここで、輝度が最も高くなるブロック領域とは、ユーザにより画素の略中央が視認されているブロック領域である。
表示部27の端部では、バリア素子63と光変調パネル62との間にあるガラスの見かけ上の厚みが薄くなるという現象が起こることが知られている。そのため、ユーザの視点位置に基づいて、連続ブロック領域の境界位置を求める場合には、光の入射角と屈折角の厳密式を用いて、ブロック領域ごとにどのチャンネルの画素のどの位置がユーザにより視認されているかを正確に求めることが望ましい。
例えば、図7に示すように、所定の光線H11が空気中を通って、厚さD21のガラス材に入射し、光変調パネル62の表面に到達したとする。また、光線H11のガラス材への入射位置を通り、ガラス材の表面に垂直な直線を直線A21とする。
このとき、空気中を伝播する光線H11のガラス材への入射角度T1に対して、光線H11のガラス材への入射後の光路と、直線A21とのなす角度T2は、光線H11が空気中からガラス材へと進むときの相対屈折率k11と入射角度T1とから求まる。すなわち、角度T2=asin(sin(T1/k11))である。
また、角度T2が求まると、ガラス材の見かけの厚みD22と角度T2とにより、直線A21から、光線H11の光変調パネル62の表面への入射位置までの距離x11が求まる。すなわち、距離x11=D22×tan(T2)である。
このようにして距離x11を求めることで、各ブロック領域について、ユーザにより視認される画素上の正確な位置(以下、画素の視認位置とも称する)を求めることができる。
具体的には、例えば図8に示すように、図中、横方向、つまり光変調パネル62の表示面と平行な方向をx方向とし、図中、縦方向、つまり光変調パネル62の表示面と垂直な方向をy方向として、xy座標系上の所定位置がユーザの眼の位置CPであるとする。
また、バリア素子63の中央にある開口部81を0番目の開口部81として、その開口部81から図中、左方向にn番目にある開口部81をn番目の開口部81とし、0番目の開口部81から図中、右方向にn番目にある開口部81を−n番目の開口部81とする。
ここで、n番目の開口部81(以下、番号nの開口部81とも称する)について、その開口部81からユーザによりブロック領域内のどのチャンネルの画素が視認されるかを求めることを考える。まず、位置CPの座標と、開口部81の中心位置の座標とから、位置CPからの光線のn番目の開口部81への入射角度T11が求まる。すなわち、入射角度T11は、y方向に平行な直線L21と、位置CPからの光線とのなす角度である。
入射角度T11が求まると、位置CPから開口部81に入射し、光変調パネル62へと進む光線、つまりその光線の光路を示す直線L22と、直線L21とのなす角度T12が求まる。すなわち、図7を参照して説明したように、入射角度T11と、開口部81から光変調パネル62の画素までの間のガラス材の屈折率k11とから、角度T12=asin(sin(T11/k11))が求まる。
すると、直線L22を表す式(例えば、y=ax+b)が求まるので、光線の光路を表す直線L22が光変調パネル62の画素と交わる点の座標を求めれば、どのチャンネルの画素のどの位置がユーザにより視認されるかを求めることができる。
なお、直線L22と光変調パネル62の画素との交点の位置の座標の算出には、上述した貼り付けパラメータとしての距離D1、つまり開口部81から光変調パネル62までのy方向の距離が用いられる。この場合、より正確な貼り付けパラメータを用いれば、より高精度に直線L22と光変調パネル62の画素との交点位置を求めることができる。
図8では、位置CPからの光線は、画素G31に到達しており、この画素G31がユーザにより視認されることが分かる。
また、ユーザにより視認される画素内の位置、つまり画素におけるユーザの視認位置は、画素の中心位置が0とされて、−0.5から0.5までの間の値とされる。例えば、画素の図中、右端の位置が−0.5とされ、画素の図中、左端の位置が0.5とされる。
このようにして、ユーザの右眼と左眼について、ブロック領域(開口部81)ごとにユーザにより視認される画素(以下、視認画素とも称する)のチャンネルmと、その視認画素上の視認位置とを求めると、例えば図9の右側に示す結果が得られる。
なお、図9の右側において、横軸は開口部81の番号nを示しており、縦軸は視認画素のチャンネル番号または視認位置を示している。
図9では、折れ線C11は、ユーザの右眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線C12は、ユーザの右眼から見える各ブロック領域の視認画素における視認位置を示している。
ここで0番目の開口部81から、n番目(但し、1≦n)の開口部81に向かう方向を+x方向とし、+x方向と反対方向を−x方向とする。この場合、例えば0番目の開口部81に対して+x方向側に隣接するいくつかの開口部81を観察するユーザの右眼には、それらの開口部81を介してチャンネルCH1の画素が視認されることが分かる。また、チャンネルCH1の画素が視認される連続して並ぶ開口部81のほぼ中央にある開口部81では、その開口部81を介して、チャンネルCH1の画素のほぼ中央が、ユーザの右眼で観察されていることが分かる。
このような折れ線C11から、矢印Q21に示すように、光変調パネル62の表示面上の各領域において、ユーザの右眼によりどのチャンネルの画素が観察されるかが分かる。なお、矢印Q21に示される横長の四角形は、ユーザから見える光変調パネル62の表示面全体を表しており、その四角形内の縦長の長方形内の数字は、その長方形の領域を観察するユーザの右眼により視認される画素のチャンネル番号を示している。
したがって、光変調パネル62の表示面の図中、右端の領域、つまり+x方向側の端の領域では、ユーザの右眼にはチャンネルCH2の画素が観察され、その領域に対して図中、左側に隣接する領域では、ユーザの右眼にはチャンネルCH1の画素が観察される。また、光変調パネル62の表示面の中央からやや−x方向側に位置する領域では、ユーザの右眼にはチャンネルCH0の画素が観察され、その領域の左側に隣接する領域では、ユーザの右眼にはチャンネルCH3の画素が観察される。
また、折れ線C12から、ユーザの右眼位置から見た各視認画素の視認位置が分かるので、視認位置が0となるブロック領域(開口部81)の位置を連続ブロック領域の境界位置とすれば、矢印Q21に示すように境界位置LB51乃至境界位置LB54が定まる。
境界位置LB51乃至境界位置LB54により分割されて得られる各連続ブロック領域では、その連続ブロック領域内で視認画素とされる2つのチャンネルの画素に、右眼用の視差画像が割り当てられる。
すなわち、例えば光変調パネル62の−x方向側の端から境界位置LB51までの間にある各ブロック領域では、チャンネルCH2とチャンネルCH3の画素に、右眼用の視差画像が割り当てられる。また、境界位置LB51から境界位置LB52までの間では、チャンネルCH0とチャンネルCH3の画素に右眼用の視差画像が割り当てられ、境界位置LB52から境界位置LB53までの間では、チャンネルCH0とチャンネルCH1の画素に右眼用の視差画像が割り当てられる。
さらに、境界位置LB53から境界位置LB54までの間では、チャンネルCH1とチャンネルCH2の画素に右眼用の視差画像が割り当てられ、境界位置LB54から光変調パネル62の+x方向側の端までの間では、チャンネルCH2とチャンネルCH3の画素に右眼用の視差画像が割り当てられる。
右眼における場合と同様に、図9において、折れ線C13は、ユーザの左眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線C14は、ユーザの左眼から見える各ブロック領域の視認画素における視認位置を示している。例えば、0番目の開口部81に対して+x方向側に隣接するいくつかの開口部81を観察するユーザの左眼には、それらの開口部81を介してチャンネルCH3の画素が視認されることが分かる。
このような折れ線C13から、矢印Q22に示すように、光変調パネル62の表示面上の各領域において、ユーザの左眼によりどのチャンネルの画素が観察されるかが分かる。なお、矢印Q22に示される横長の四角形は、光変調パネル62の表示面全体を表しており、その四角形内の縦長の長方形内の数字は、その長方形の領域を観察するユーザの左眼により視認される画素のチャンネル番号を示している。
したがって、光変調パネル62の表示面の図中、右端の領域から左端の領域まで順番に、ユーザの左眼によって、チャンネルCH0、チャンネルCH3、チャンネルCH2、およびチャンネルCH1の画素が観察される領域が並んでいることが分かる。
また、折れ線C14から、ユーザの左眼位置から見た各視認画素の視認位置が分かるので、視認位置が0となるブロック領域(開口部81)の位置を連続ブロック領域の境界位置とすれば、矢印Q22に示すように境界位置LB61乃至境界位置LB64が定まる。
境界位置LB61乃至境界位置LB64により分割されて得られる各連続ブロック領域では、その連続ブロック領域内で視認画素とされる2つのチャンネルの画素に、左眼用の視差画像が割り当てられる。
すなわち、光変調パネル62の−x方向側の端から境界位置LB61までの間にある各ブロック領域では、チャンネルCH0とチャンネルCH1の画素に、左眼用の視差画像が割り当てられる。また、境界位置LB61から境界位置LB62までの間では、チャンネルCH1とチャンネルCH2の画素に左眼用の視差画像が割り当てられ、境界位置LB62から境界位置LB63までの間では、チャンネルCH2とチャンネルCH3の画素に左眼用の視差画像が割り当てられる。
さらに、境界位置LB63から境界位置LB64までの間では、チャンネルCH0とチャンネルCH3の画素に左眼用の視差画像が割り当てられ、境界位置LB64から光変調パネル62の+x方向側の端までの間では、チャンネルCH0とチャンネルCH1の画素に左眼用の視差画像が割り当てられる。
このように、各開口部81(ブロック領域)について、視認画素のチャンネル番号と、その視認画素における視認位置とが求まると、連続ブロック領域の境界位置が定まる。これにより、各連続ブロック領域に属すブロック領域ごとに、左右の視差画像を割り当てるチャンネルが定まる。
但し、連続ブロック領域の境界位置は、右眼から見たときの境界位置と、左眼から見たときの境界位置とが同じ位置となるのが理想的であるが、実際にはユーザの右眼と左眼の位置は異なる位置にあるので、それらの境界位置にずれが生じる。
例えば、ユーザの視点位置が番号0の開口部81の略正面に位置し、かつ表示部27から視点位置までの距離が適視距離Z0の略半分である場合でも、図10に示すようにユーザの右眼と左眼を基準とした境界位置のずれは、中央から離れた位置ほど大きくなる。
なお、図10において、横軸は開口部81の番号nを示しており、縦軸は視認画素のチャンネル番号または視認位置を示している。
図10では、折れ線C21は、ユーザの右眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線C22は、ユーザの右眼から見える各ブロック領域の視認画素における視認位置を示している。また、直線LB71乃至直線LB74は、それぞれ折れ線C22から定まる連続ブロック領域の境界位置を示している。
さらに、折れ線C23は、ユーザの左眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線C24は、ユーザの左眼から見える各ブロック領域の視認画素における視認位置を示している。また、直線LB81乃至直線LB84は、それぞれ折れ線C24から定まる連続ブロック領域の境界位置を示している。
なお、以下、直線LB71乃至直線LB74を境界位置LB71乃至境界位置LB74とも称し、直線LB81乃至直線LB84を境界位置LB81乃至境界位置LB84とも称する。
図10の例では、左眼を基準とした境界位置LB81乃至境界位置LB84のそれぞれが、右眼を基準とした境界位置LB71乃至境界位置LB74に対応するが、それらの境界位置のずれは、光変調パネル62の中央から遠い位置にある境界位置ほど大きい。
このようなずれが生じると、ブロック領域における各チャンネルの画素への視差画像の割り当てに矛盾が生じてしまう。
例えば、右眼を基準として、境界位置LB71から境界位置LB72までの間のブロック領域で、チャンネルCH0とチャンネルCH3の画素に右眼用の視差画像を割り当てるとする。また、左眼を基準として、光変調パネル62の−x方向側の端から境界位置LB81までの間のブロック領域で、チャンネルCH0とチャンネルCH1の画素に左眼用の視差画像を割り当てるとする。
そうすると、境界位置LB71から境界位置LB81までの間のブロック領域では、チャンネルCH0の画素に対して、右眼用の視差画像と左眼用の視差画像の両方が割り当てられることになってしまう。
そこで、表示装置11では、境界位置LB71乃至境界位置LB74のそれぞれと、境界位置LB81乃至境界位置LB84のそれぞれとの中間位置(平均位置)を、最終的な境界位置である境界位置LB91乃至境界位置LB94とする。
これにより、例えば図中、下側に示すように、境界位置LB91乃至境界位置LB94で分割される領域を連続ブロック領域として、各ブロック領域で視差画像の割り当てが行なわれる。なお、図中、下側には、各領域で右眼用および左眼用の視差画像が割り当てられる画素のチャンネル番号が記されている。
例えば、境界位置LB91から境界位置LB92までの間では、ブロック領域内のチャンネルCH0とチャンネルCH3の画素に右眼用の視差画像が割り当てられ、チャンネルCH1とチャンネルCH2の画素に左眼用の視差画像が割り当てられる。
また、境界位置LB92から境界位置LB93の間では、ブロック領域内のチャンネルCH0とチャンネルCH1の画素に右眼用の視差画像が割り当てられ、チャンネルCH2とチャンネルCH3の画素に左眼用の視差画像が割り当てられる。
なお、右眼を基準とする境界位置と左眼を基準とする境界位置との中間位置を、最終的な連続ブロック領域の境界位置とすると、境界位置近傍では右眼または左眼を基準とした視差画像の割り当てと多少のずれが生じるが、特に視差画像の立体視に影響は生じない。
但し、ユーザの視点位置が、半視距離表示方式における最適な視距離であるZ0/2からずれてくると、すなわち、例えばユーザの視点位置が表示部27に近付いたり、遠ざかったりすると、次第に右眼を基準とする境界位置と左眼を基準とする境界位置とのずれが大きくなる。
そうすると、例えば図11に示すように、いくつかのブロック領域において、ユーザの右眼と左眼とで同じチャンネルの画素が視認画素として観察されてしまう。なお、図11において、横軸は開口部81の番号nを示しており、縦軸は視認画素のチャンネル番号または視認位置を示している。
図11では、折れ線C31は、ユーザの右眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線C32は、ユーザの右眼から見える各ブロック領域の視認画素における視認位置を示している。また、折れ線C33は、ユーザの左眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線C34は、ユーザの左眼から見える各ブロック領域の視認画素における視認位置を示している。
この例では、折れ線C31と折れ線C33の一部が重なっており、これらの部分ではブロック領域において、ユーザの右眼と左眼とで同じチャンネルの画素が視認画素として観察される。そのため、右眼を基準として求めた境界位置と、左眼を基準として求めた境界位置との中間位置を最終的な連続ブロック領域の境界位置としても、所定のブロック領域では、同じチャンネルに右眼用と左眼用の両方の視差画像を割り当てなくてはならなくなる。つまり、ユーザが被写体を立体的に観察できなくなり、右眼用の視差画像と左眼用の視差画像とを用いた立体表示が不可能となる。
このように、所定の視点位置において、開口部81(ブロック領域)ごとに、ブロック領域内の視認画素を求めると、その結果から、ユーザが現視点位置から表示部27を観察する場合に、視差画像の立体視が可能であるかを特定することができる。
したがって、各視点位置について、ブロック領域ごとに視認画素を求める演算を行なえば、例えば図12に示すように、xy平面上において立体表示(立体視)が可能な領域と不可能な領域とを求めることができる。なお、図12において、横方向および縦方向はx方向およびy方向を示している。
図12の例では、表示部27の周囲の領域のうち、斜線の施された領域WR11は、視差画像の立体表示が可能な領域を示している。そこで、表示装置11は、半視距離表示方式により視差画像の立体表示を行なう場合において、領域WR11内にある領域WR12を視差画像の立体表示が可能な領域とする。そして、表示装置11は、ユーザの視点位置が領域WR12内にある場合、左右の視差画像に基づいて被写体を立体表示させ、ユーザの視点位置が領域WR12外にある場合、左右の何れか一方の視差画像を表示する。
このようにユーザの視点位置に応じて、3D表示と2D表示を切り替えることで、ユーザに違和感のない自然な画像を提示することができる。
[表示処理の説明]
次に、表示装置11の具体的な動作について説明する。
表示装置11のパラメータ保持部35には、予め情報処理装置13から供給された貼り付けパラメータが保持されている。この貼り付けパラメータは、後述するキャリブレーション処理により求められた、開口部81から光変調パネル62までのより正確な距離D1の値である。
表示装置11は、右眼用の視差画像と左眼用の視差画像からなる立体画像が指定され、これらの視差画像の半視距離表示方式による表示が指示されると、表示処理を行って、視差画像を立体表示させる。以下、図13のフローチャートを参照して、表示装置11による表示処理について説明する。
ステップS11において、撮像部21は、表示部27の周囲の領域の画像を周辺画像として撮像し、検出部22に供給する。
ステップS12において、検出部22は、撮像部21から供給された周辺画像に基づいて、ユーザの眼を検出する。例えば検出部22は、周辺画像からユーザの顔を検出し、検出された顔の領域から、さらにユーザの眼を検出する。
ステップS13において、検出部22は周辺画像からユーザの眼が検出されたか否かを判定する。
ステップS13において、ユーザの眼が検出されたと判定された場合、ステップS14において、視点位置算出部31は、検出されたユーザの眼の位置から、ユーザの視点位置を算出し、割り当て制御部23に供給する。例えば視点位置算出部31は、xy平面上におけるユーザの左右の眼の中間の位置を、視点位置として求める。
ステップS15において、割り当て制御部23の判定部32は、視点位置算出部31から供給されたユーザの視点位置に基づいて、視差画像の立体表示が可能であるか否かを判定する。
例えば判定部32は、図12に示した立体表示可能な領域WR12を特定するための領域情報を予め記録しており、記録している領域情報に基づいて、ユーザの視点位置が領域WR12内の位置であるか否かを特定することで、立体表示が可能であるかを判定する。したがって、例えばユーザの視点位置が領域WR12内の位置である場合、立体表示が可能であると判定される。
ステップS15において、立体表示が可能であると判定された場合、処理はステップS16に進む。
ステップS16において、視認位置算出部33は、視点位置算出部31から供給されたユーザの視点位置と、パラメータ保持部35に保持されている貼り付けパラメータとに基づいて、開口部81ごとに視認画素および視認位置を算出する。
すなわち、視認位置算出部33は、視点位置から定まるユーザの右眼位置と左眼位置とについて、貼り付けパラメータを用いて、開口部81(ブロック領域)ごとに図8を参照して説明した演算を行なう。つまり、ユーザの視点位置等から直線L22が求められ、直線L22と光変調パネル62との交点位置が求められる。このような演算を行なうことで、開口部81(ブロック領域)ごとに、その開口部81を介して観察される視認画素と、その視認画素における視認位置が算出される。
これにより、例えば図9に示した演算結果が得られる。すなわち、各ブロック領域について、ユーザの右眼または左眼から観察される画素(視認画素)のチャンネル番号と、その画素上のユーザにより観察される位置(視認位置)が求まる。
ステップS17において、境界位置算出部34は、各ブロック領域についての視認位置の算出結果に基づいて、連続ブロック領域の境界位置を算出する。
具体的には境界位置算出部34は、右眼位置について求められた各ブロック領域の視認位置の算出結果に基づいて、視認位置が「0」となる位置を、右眼を基準とする境界位置とする。すなわち、開口部81を介して、右眼により画素の中央が観察されるブロック領域の位置が、右眼を基準とする境界位置とされる。同様に、境界位置算出部34は、左眼位置について求められた各ブロック領域の視認位置の算出結果に基づいて、視認位置が「0」となる位置を、左眼を基準とする境界位置とする。
そして、境界位置算出部34は、右眼を基準とする境界位置と、それらの境界位置に対応する、左眼を基準とする境界位置との中間の位置を、最終的な連続ブロック領域の境界位置とする。ここで、右眼を基準とする境界位置に対応する、左眼を基準とする境界位置とは、右眼を基準とする境界位置に最も近い位置にある、左眼を基準とする境界位置である。
このような演算により、例えば図10に示した境界位置LB91乃至境界位置LB94が求められる。
ステップS18において、境界位置算出部34は、連続ブロック領域の境界位置の算出結果に基づいて、各ブロック領域の画素に右眼用または左眼用の視差画像を割り当てる。
図10の例では、例えば光変調パネル62の表示面上のブロック領域のうち、境界位置LB91から境界位置LB92の間にあるブロック領域では、チャンネルCH0とチャンネルCH3の画素(チャンネル領域)に対して、右眼用の視差画像が割り当てられる。また、境界位置LB91から境界位置LB92の間にあるブロック領域において、チャンネルCH1とチャンネルCH2の画素に対して、左眼用の視差画像が割り当てられる。
より具体的には、例えば図14に示すように、光変調パネル62上の4つの画素からなる領域がブロック領域BR1およびブロック領域BR2とされたとする。なお、図14において、横方向はx方向を示している。
図14では、矢印Q41乃至矢印Q43により示される長方形は、右眼用の視差画像、左眼用の視差画像、および光変調パネル62を表している。また、それらの長方形内の1つの四角形は1つの画素を表しており、各画素内の文字「R」,「G」,「B」は、それぞれ画素の色を表している。
例えば、光変調パネル62上の画素G51乃至画素G54が含まれる領域が、ブロック領域BR1とされており、画素G55乃至画素G58が含まれる領域が、ブロック領域BR2とされている。ここで、例えば画素G51は、R(赤)のカラーフィルタが設けられた、Rの光のみを透過させる画素であり、画素G52は、G(緑)のカラーフィルタが設けられた、Gの光のみを透過させる画素である。
また、光変調パネル62上の各画素の図中、下側には、それらの画素のチャンネル番号が記されている。例えば、画素G51はチャンネルCH0の画素であり、画素G52は、チャンネルCH1の画素である。
さらに、図中、横方向において光変調パネル62上の各画素と同じ位置には、それらの画素と同じ位置にある、右眼用および左眼用の視差画像の画素が示されている。
一般的に、画像上の画素は、R,G,Bの各色の値をもつため、互いに隣接するR,G,Bの領域が1つの画素とされ、R,G,Bの各色の領域がサブピクセル(サブ画素)として扱われることが多い。
具体的には、例えば右眼用の視差画像の図中、左端の連続するR,G,Bの3つの画素からなる領域が一般的には1つの画素(以下、適宜、RGB画素とも称する)とされ、各色の画素G61や画素G62がサブピクセルとして扱われることが多い。しかし、ここでは、これらの画素G61や画素G62を1つの画素と呼ぶこととする。
同様に、例えば一般的に、画素G51乃至画素G53からなる3つの色の領域が1つの画素として扱われることがあるが、ここでは画素G51乃至画素G53のそれぞれを、1つの画素として扱うこととする。
例えば、ブロック領域BR1とブロック領域BR2において、境界位置算出部34により、チャンネルCH0とチャンネルCH1の画素に右眼用の視差画像が割り当てられ、チャンネルCH2とチャンネルCH3の画素に左眼用の視差画像が割り当てられたとする。
このとき、境界位置算出部34は、右眼用の視差画像の画素G61と画素G62を、それらの画素と同じ位置にある光変調パネル62上の画素G51と画素G52に割り当てる。また、境界位置算出部34は、左眼用の視差画像の画素G71と画素G72を、それらの画素と同じ位置にある光変調パネル62上の画素G53と画素G54に割り当てる。
同様に、境界位置算出部34は、右眼用の視差画像の画素G63と画素G64を、画素G55と画素G56に割り当て、左眼用の視差画像の画素G73と画素G74を、画素G57と画素G58に割り当てる。
このように、ブロック領域の所定のチャンネルに右眼用または左眼用の視差画像が割り当てられたとき、より詳細には、そのチャンネルの画素には、その画素と同じ位置にある右眼用または左眼用の視差画像の画素が割り当てられる。
このようにして、ブロック領域ごとに、各チャンネルの画素に対して右眼用または左眼用の視差画像を割り当てると、境界位置算出部34はその割り当て結果を生成部25に供給し、合成画像の生成を指示する。
ステップS19において、生成部25は、境界位置算出部34から供給された割り当て結果と、記録部24から読み出した右眼用および左眼用の視差画像とに基づいて、合成画像を生成し、表示制御部26に供給する。例えば、図14に示した割り当てが行なわれた場合、生成部25は、右眼用の視差画像の画素G61と画素G62が、画素G51と画素G52に表示され、左眼用の視差画像の画素G71と画素G72が、画素G53と画素G54に表示されるように、合成画像を生成する。
なお、視差画像を記録部24から取得するのではなく、外部の装置から視差画像を取得したり、視差画像を受信したりするようにしてもよい。
ステップS20において、表示制御部26は、生成部25から供給された合成画像を表示部27に供給して表示させる。
例えば、表示部27は、供給された合成画像に基づいてバックライト61から光を射出させるとともに、光変調パネル62に電圧を印加させてバックライト61からの光の透過率を画素ごとに制御する。また、表示部27はバリア素子63に電圧を印加させて開口部81と遮蔽部82とからなるパララックスバリアを形成させる。
これにより、バックライト61から光変調パネル62の各画素を透過した光は、パララックスバリアにより光学的に分離され、分離された一部の光がユーザの右眼または左眼に入射して、ユーザにより視差画像上の被写体が立体的に観察される。すなわち、合成画像上の右眼用の視差画像の領域がユーザの右眼により観察され、合成画像上の左眼用の視差画像の領域がユーザの左眼により観察される。
このとき、例えば左右の視差画像に付随する音声がある場合には、表示装置11は、合成画像の表示に合わせて、付随する音声を図示せぬスピーカから出力させる。
ステップS21において、表示装置11は、表示装置11の電源をオフするか否かを判定する。例えば、ユーザの操作により電源のオフが指示された場合、電源をオフすると判定される。
ステップS21において、電源をオフしないと判定された場合、処理はステップS11に戻り、上述した処理が繰り返される。すなわち、ユーザの視点位置の移動に応じて、ブロック領域内の各チャンネルの画素に対する視差画像の割り当てが変更され、新たな割り当てにしたがって生成された合成画像が表示される。
これに対して、ステップS21において、電源をオフすると判定された場合、表示装置11は各部の処理を停止させて電源をオフし、表示処理は終了する。
また、ステップS15において、立体表示が可能でないと判定された場合、割り当て制御部23は、生成部25に2次元の視差画像の表示を指示し、処理はステップS22へと進む。
ステップS22において、生成部25は、割り当て制御部23からの指示に応じて、2次元の視差画像を表示させる。すなわち、生成部25は、記録部24から右眼用または左眼用の何れかの視差画像を読み出して、読み出した視差画像をそのまま表示制御部26に供給する。
すると、表示制御部26は、生成部25から供給された視差画像を表示部27に供給し、視差画像を表示させる。このとき、例えばバリア素子63は、パララックスバリアを形成せず、表示部27は視差画像をそのまま表示させる。また、表示部27に設けられるパララックスバリアが固定式のものである場合でも、表示部27に視差画像をそのまま表示させることで、視差画像が2次元表示(2D表示)される。
ステップS22において視差画像が表示されると、その後、処理はステップS21へと進み、上述した処理が行われる。
また、ステップS13において、ユーザの眼が検出されなかったと判定された場合、検出部22は、眼が検出されなかった旨の検出結果を割り当て制御部23に供給し、処理はステップS23に進む。
ステップS23において、割り当て制御部23は、ユーザの眼が検出されていない状態となってから、一定時間が経過したか否かを判定する。
ステップS23において、一定時間が経過していないと判定された場合、処理はステップS22に進み、上述した処理が行われる。すなわち、表示部27に視差画像が2次元表示される。
これに対して、ステップS23において、一定時間経過したと判定された場合、ステップS24において、割り当て制御部23は、生成部25を制御して画像が表示されない状態とさせる。生成部25は、割り当て制御部23の制御にしたがって、画像の表示制御部26への供給を停止する。これにより、表示部27には、画像が表示されない状態となる。つまり、消画された状態となる。
なお、視差画像に付随する音声がある場合、消画された状態で音声のみが継続して再生されるようにしてもよいし、音声も消音されるようにしてもよい。このように、一定時間、ユーザの眼が検出されなかった場合、ユーザは視差画像を見ていないはずであるので、消画することで消費電力を抑えることができる。
ステップS24において消画された状態とされると、その後、処理はステップS21に進み、上述した処理が行われて表示処理は終了する。
以上のようにして、表示装置11は、ユーザの視点位置と貼り付けパラメータに基づいて、ブロック領域ごとに視認画素と視認位置を算出し、その算出結果に基づいて、ブロック領域の各チャンネルの画素に、右眼用または左眼用の視差画像を割り当てて合成画像を生成する。
このとき、ブロック領域のx方向に隣接して並ぶ少なくとも2つの画素に、右眼用または左眼用の視差画像のうちの同じ視差画像が割り当てられるようにすることで、より簡単にクロストークの発生を抑制し、より高品位な画像を提示することができるようになる。
また、ユーザの視点位置の移動に応じて、ブロック領域内の各チャンネルの画素に対する視差画像の割り当てを変化させることで、各チャンネルにおける視差画像の表示の切り替えをユーザに感じさせることなく、より自然で高品位な画像を提示することができる。
さらに、キャリブレーションにより得られた貼り付けパラメータを用いて、視認画素と視認位置を算出することで、より正確に視認画素と視認位置を求めることができ、より適切に視差画像の割り当てを行なうことができる。
例えば、表示装置11の組み立て時には、予め定められた値、つまり設計値に基づいて光変調パネル62に対するバリア素子63の位置が定められ、バリア素子63が固定される。しかしながら、バリア素子63の固定時には誤差が生じるため、バリア素子63と光変調パネル62の位置関係が設計通りになるとは限らない。また、バリア素子63における開口部81の間隔等にも誤差が生じる可能性がある。
そのため、視認画素や視認位置の算出に用いる貼り付けパラメータを、設計値により定まる値とすると、表示装置11の組み立てに誤差が生じた場合には、算出される視認画素や視認位置にも誤差が生じてしまう。そうすると、各ブロック領域における視差画像の割り当てが不適切なものとなって、クロストークの発生により立体画像の画質が低下してしまうおそれがある。
そこで、本技術のように、より確からしい貼り付けパラメータを求めておき、その貼り付けパラメータを用いて視認画素や視認位置を求めることで、より高精度に連続ブロック領域の境界位置を算出することができるようになる。その結果、ブロック領域における視差画像の割り当てをより適切に行なうことができ、クロストークの少ない高品質な立体画像を提示することができる。
なお、以上において説明した表示処理では、判定部32が立体表示可能な領域を特定するための領域情報を予め記録していると説明したが、そのような領域情報を予め記録せずに、視認画素の算出結果から、立体表示可能かを判定するようにしてもよい。
そのような場合、判定部32は、視認位置算出部33により算出された、各ブロック領域の視認画素の算出結果を用いる。すなわち、判定部32は、右眼を基準とする視認画素と、左眼を基準とする視認画素とが、同じチャンネルの画素となるブロック領域がある場合、立体表示が可能でないと判定する。
また、表示装置11には、撮像部21と表示部27が設けられると説明したが、これらの撮像部21や表示部27は、表示装置11の外部に設けられるようにしてもよい。
[情報処理装置の構成例]
続いて、貼り付けパラメータのキャリブレーションを行なう情報処理装置13について説明する。図15は、情報処理装置13の構成例を示す図である。
図15の情報処理装置13は、撮像制御部121、測定境界位置算出部122、測定境界位置保持部123、およびパラメータ決定部124から構成される。
撮像制御部121は、撮像部12を制御して、撮像部12を所望の測定位置に移動させるとともに、撮像部12により撮像された測定画像を撮像部12から取得し、測定画像と測定位置を測定境界位置算出部122に供給する。
ここで、撮像部12の測定位置とは、撮像部12が表示装置11に表示されたキャリブレーション画像を測定画像として撮像するときの撮像位置である。
測定境界位置算出部122は、撮像制御部121からの測定画像に基づいて、測定位置がユーザの視点位置であるとした場合における、表示装置11の連続ブロック領域の境界位置を算出し、得られた境界位置と測定位置を測定境界位置保持部123に供給する。
なお、以下、測定画像に基づいて算出された境界位置を、測定境界位置とも称することとする。この測定境界位置は、測定画像から求められた、測定位置から画素のほぼ中央が観察されるブロック領域の光変調パネル62上の位置である。
測定境界位置保持部123は、測定境界位置算出部122から供給された測定境界位置と測定位置とを対応付けて保持し、必要に応じて測定境界位置と測定位置をパラメータ決定部124に供給する。
パラメータ決定部124は、測定境界位置保持部123に保持されている測定境界位置と測定位置のペアを複数用いて、貼り付けパラメータを決定し、表示装置11の取得部28に供給する。
パラメータ決定部124は、理論境界位置算出部131、差分算出部132、選択部133、およびパラメータ保持部134を備えている。
理論境界位置算出部131は、測定境界位置保持部123に保持されている測定位置をユーザの視点位置として、その視点位置と貼り付けパラメータとに基づいて、連続ブロック領域の理論上の境界位置を算出する。理論境界位置算出部131は、貼り付けパラメータを変化させながら、貼り付けパラメータの各値に対して境界位置を算出する。
なお、以下、測定位置をユーザの視点位置として、視点位置と貼り付けパラメータから算出された境界位置を、理論境界位置とも称することとする。この理論境界位置は、測定位置と貼り付けパラメータに基づいて算出された、測定位置から画素のほぼ中央が観察されるブロック領域の光変調パネル62上の位置である。
差分算出部132は、貼り付けパラメータの各値について、理論境界位置と測定境界位置との誤差を評価する。選択部133は、差分算出部132による誤差の評価結果に基づいて、複数の貼り付けパラメータのなかから、より確からしい貼り付けパラメータを選択する。すなわち、誤差が最小となる貼り付けパラメータが選択される。
パラメータ保持部134は、選択部133により選択された貼り付けパラメータを一時的に保持し、選択部133の制御にしたがって保持する貼り付けパラメータを更新する。
[キャリブレーション処理の説明]
次に、図1のキャリブレーションシステムにより行なわれるキャリブレーション処理について説明する。
例えば、キャリブレーション処理が行なわれる前の状態では、表示装置11のパラメータ保持部35や情報処理装置13のパラメータ決定部124には、貼り付けパラメータの値として設計値が保持されている。但し、この貼り付けパラメータでは、表示装置11における視認画素や視認位置の算出に誤差が生じるため、キャリブレーション処理が行なわれ、貼り付けパラメータが、より確からしい値に更新される。
以下、図16のフローチャートを参照して、キャリブレーションシステムによるキャリブレーション処理について説明する。
ステップS61において、表示装置11は、キャリブレーション画像を表示させる。
すなわち、情報処理装置13が、表示装置11にキャリブレーション画像の表示を指示すると、表示装置11の生成部25は、その指示に応じて、記録部24からキャリブレーション画像を読み出して、表示制御部26に供給する。すると、表示制御部26は、生成部25から供給されたキャリブレーション画像を表示部27に供給して表示させる。
ここで、キャリブレーション画像は、光変調パネル62の画素のチャンネルごとに異なる色の画像などとされる。具体的には、例えばチャンネルCH0の画素に白い画像が表示され、チャンネルCH1の画素に青い画像が表示され、チャンネルCH2の画素に緑の画像が表示され、チャンネルCH3の画素に赤い画像が表示される、白,青,緑,赤の4つの色の領域からなる画像とされる。
キャリブレーション画像の表示時には、バリア素子63にはパララックスバリアが形成される。したがって、表示されたキャリブレーション画像をユーザが観察した場合には、ユーザの視点位置によって異なる画像が観察されることになる。
なお、キャリブレーション画像は、各チャンネルに独立した色が割り当てられた画像に限らず、表示部27に表示したときに、表示部27の各領域においてユーザからどのチャンネルの画素が視認されているかが特定できる画像であれば、どのような画像であってもよい。
ステップS62において、撮像制御部121は、撮像部12による測定位置を定める。例えば、キャリブレーション処理では、予めいくつかの測定位置が定められており、撮像制御部121は、それらの測定位置のなかから、まだ処理対象とされていない測定位置を1つ選択することで、処理対象とする測定位置を定める。測定位置はどのような位置であってもよいが、例えば各測定位置は、図12の領域WR12内の位置などとされる。
撮像制御部121は、処理対象とする測定位置を定めると、撮像部12を制御し、その測定位置に撮像部12を移動させる。例えば、撮像部12は、被写体を撮像するカメラと、カメラの位置を移動させるアクチュエータなどからなり、撮像部12としてのアクチュエータは、撮像制御部121の指示に応じて駆動し、カメラの位置を測定位置に移動させる。
ステップS63において、撮像部12は撮像制御部121の制御にしたがって表示装置11、より詳細には表示装置11に表示されたキャリブレーション画像を撮像し、その結果得られた測定画像を撮像制御部121に供給する。撮像制御部121は、撮像部12からの測定画像と、その測定画像の測定位置とを測定境界位置算出部122に供給する。
ステップS64において、測定境界位置算出部122は、撮像制御部121からの測定画像に基づいて、測定画像上の各色領域の重心位置を求めることで測定境界位置を算出する。
例えば、キャリブレーション画像を被写体として撮像すると、図17に示す測定画像MP11が得られる。この測定画像MP11には、それぞれ異なる色の領域MR11乃至領域MR14が含まれている。
ここで、チャンネルCH0乃至チャンネルCH3に、それぞれ白,青,緑,赤の各色が割り当てられたキャリブレーション画像が撮像されて、測定画像MP11が得られたとする。そのような場合、例えば領域MR11は白い領域となり、領域MR12は青い領域となり、領域MR13は緑の領域となり、領域MR14は赤い領域となる。
つまり、領域MR11乃至領域MR14は、それぞれ光変調パネル62上のチャンネルCH0乃至チャンネルCH3の画素の領域の画像となる。
このような測定画像MP11が得られた場合、測定境界位置算出部122は、領域MR11乃至領域MR14のそれぞれについて、それらの領域の図中、横方向、すなわちx方向の重心位置を求める。そして測定境界位置算出部122は、測定画像MP11上における領域MR11乃至領域MR14の重心位置、領域MR11乃至領域MR14の色、および測定画像MP11と光変調パネル62の大きさの関係等から、測定境界位置を算出する。
例えば、図17の例では、直線GR11乃至直線GR14の位置が、領域MR11乃至領域MR14のそれぞれのx方向の重心位置として得られる。例えば、直線GR11の位置は、領域MR11の図中、左右の端の中間の位置となっている。
ここで、領域MR11は光変調パネル62における同じチャンネルの画素の領域であり、領域MR11のx方向の重心位置である直線GR11の位置は、光変調パネル62のブロック領域のうち、視認画素の中央の位置が視認位置となるブロック領域の位置である。
したがって、測定画像MP11を撮像したときの測定位置を、ユーザが表示装置11を観察するときの視点位置(眼の位置)と考えると、測定画像MP11上における直線GR11の位置は、連続ブロック領域の境界位置に対応する位置となる。
測定画像MP11と光変調パネル62の大きさ等の関係から、測定画像MP11上における直線GR11の位置が、光変調パネル62のどのブロック領域に対応するかが分かる。また、領域MR11の色から、直線GR11の位置に対応するブロック領域の視認画素のチャンネルを特定することができる。
したがって、測定画像MP11上の直線GR11乃至直線GR14の各位置と、領域MR11乃至領域MR14の色とから、測定位置をユーザの視点位置とした場合における実際の境界位置(測定境界位置)と、その境界位置における視認画素のチャンネルが得られることになる。
なお、以上においては、例えば領域MR11の図中、横方向の端の中間位置を重心位置として求めると説明したが、領域MR11内の各画素の画素値(色の濃度)に重みを付けて領域MR11の図中、横方向の重心位置を求めるようにしてもよい。
図16のフローチャートの説明に戻り、測定位置に対して測定境界位置が算出されると、測定境界位置算出部122は、求めた測定境界位置と測定位置とを対応付けて測定境界位置保持部123に供給し、処理はステップS64からステップS65に進む。
ステップS65において、測定境界位置保持部123は、測定境界位置算出部122から供給された測定位置と測定境界位置のペアを保持する。
ステップS66において、撮像制御部121は、予め定めた全ての測定位置において、測定画像の撮像を行なったか否かを判定する。
ステップS66において、まだ全ての測定位置について撮像を行なっていないと判定された場合、処理はステップS62に戻り、上述した処理が繰り返される。すなわち、新たな測定位置が定められ、その測定位置について測定境界位置が求められる。
これに対して、ステップS66において、全ての測定位置について撮像を行なったと判定された場合、処理はステップS67に進む。
ステップS67において、パラメータ決定部124は、貼り付けパラメータを定める。
例えば、パラメータ決定部124は、予め貼り付けパラメータの値(初期値)としての設計値を保持している。パラメータ決定部124は、以降の処理では、貼り付けパラメータの値を、例えば設計値を中心とする所定の処理対象範囲内の各値に変更しながら、変更後の各貼り付けパラメータについて処理を行なう。
したがって、パラメータ決定部124は、ステップS67では、処理対象範囲内のまだ処理対象とされていない所定の値を、貼り付けパラメータの値として定める。
ステップS68において、理論境界位置算出部131は、測定境界位置保持部123に保持されている各測定位置について、その測定位置と、ステップS67で定めた貼り付けパラメータの値とに基づいて理論境界位置を算出する。
例えば、理論境界位置算出部131は、測定位置がユーザの視点位置である、より詳細には測定位置がユーザの眼の位置であるとして、測定位置と貼り付けパラメータとに基づいて、バリア素子63の開口部81ごとに視認画素および視認位置を算出する。
これにより、各ブロック領域について、測定位置、つまりユーザの眼から観察される視認画素のチャンネル番号と、その画素上のユーザにより観察される視認位置が求まるので、理論境界位置算出部131は、視認位置が「0」となる位置を理論境界位置とする。この理論境界位置は、連続ブロック領域の境界位置に相当する。
このように、ステップS68では、図13のステップS16およびステップS17と同様の処理が行なわれ、各測定位置に対する理論境界位置が算出される。
ステップS69において、差分算出部132は、測定境界位置保持部123に保持されている測定位置と測定境界位置を参照して、測定境界位置と理論境界位置との誤差として、境界位置の差分絶対値和を算出する。
すなわち、差分算出部132は、測定境界位置保持部123に保持されている各測定位置について、その測定位置について求められた測定境界位置と理論境界位置との差分絶対値の和を求め、各測定位置の差分絶対値の和の総和を、境界位置の差分絶対値和として算出する。
ここで、測定境界位置は、測定により得られた、実際に境界位置とすべき位置を示しており、理論境界位置は、貼り付けパラメータが用いられて算出された理論上の境界位置、つまり表示装置11で算出される境界位置を示している。したがって、測定境界位置と理論境界位置の差分絶対値は、測定位置をユーザの眼の位置とした場合に生じる、実測値と理論値の誤差を示している。
また、ステップS69で求められる差分絶対値和は、各測定位置における誤差を示す差分絶対値和の総和であるから、その総和の値が小さいほど、理論境界位置の算出に用いられた貼り付けパラメータは、より確からしいことになる。つまり、貼り付けパラメータの値が真値に近いことになる。
例えば、図17の例では、直線GR11乃至直線GR14の各位置について、測定境界位置が得られる。そこで、差分算出部132は、直線GR11乃至直線GR14のそれぞれの位置について、各位置の測定境界位置と、それらの測定境界位置に対応する理論境界位置との差分の絶対値を求め、それらの差分絶対値の和を算出する。
ここで、各理論境界位置が、どの測定境界位置に対応するものであるかは、測定境界位置について求められた視認画素のチャンネルと、理論境界位置について求められた視認画素のチャンネルとから特定される。つまり、視認画素のチャンネルが同じである理論境界位置と測定境界位置との差分絶対値が求められる。
このようにして、1つの測定位置について、4つの差分絶対値の和が求められると、各測定位置で求められた差分絶対値和の総和が求められ、得られた総和がステップS69の処理で得ようとする、境界位置の差分絶対値和とされる。このようにして得られる境界位置の差分絶対値和は、各測定位置における理論境界位置と測定境界位置の誤差の総和である。
なお、対応する理論境界位置と測定境界位置のそれぞれで観察される視認画素は、同じチャンネルの画素であることが必要であるので、それらの視認画素が同じチャンネルの画素となるように貼り付けパラメータの処理対象範囲が定められることが望ましい。
対応する理論境界位置と測定境界位置における視認画素のチャンネルが同じとならない場合には、例えば処理対象となっている貼り付けパラメータを最終的に出力する貼り付けパラメータから除外すればよい。
また、対応する理論境界位置と測定境界位置における視認画素のチャンネルが必ず同じとなるように処理対象範囲が定められる場合には、測定画像上において互いに隣接する、同じチャンネルの画素の領域の境界の位置が特定できればよい。したがって、そのような場合には、キャリブレーション画像は、ブロック領域上において、互いに隣接するチャンネル領域に異なる画像が割り当てられた画像とされてもよい。
ステップS70において、選択部133は、差分絶対値和が最小となる貼り付けパラメータを選択し、パラメータ保持部134に保持させる。
すなわち、パラメータ保持部134には、これまでのステップS67乃至ステップS70の処理で処理対象とされた各貼り付けパラメータのうち、最も差分絶対値和が小さいものが、差分絶対値和と対応付けられて保持されている。
選択部133は、パラメータ保持部134に保持されている貼り付けパラメータの差分絶対値和と、直前のステップS67乃至ステップS69の処理で求められた貼り付けパラメータの差分絶対値和とを比較し、差分絶対値和の小さい貼り付けパラメータを選択する。
そして、選択部133は、選択した貼り付けパラメータと、その貼り付けパラメータの差分絶対値和をパラメータ保持部134に供給し、保持させる。
つまり、これまでパラメータ保持部134に保持されていた貼り付けパラメータが選択された場合には、パラメータ保持部134に保持されている貼り付けパラメータと差分絶対値和がそのまま保持される。
また、直前のステップS67乃至ステップS69の処理で処理対象となっていた貼り付けパラメータが選択された場合には、これまでパラメータ保持部134に保持されていた貼り付けパラメータと差分絶対値和が破棄される。そして、新たに選択された貼り付けパラメータと差分絶対値和がパラメータ保持部134に保持される。
このようにしてパラメータ保持部134に保持される貼り付けパラメータは、これまで処理対象とされていた貼り付けパラメータのなかで、最も確からしい貼り付けパラメータである。
ステップS71において、パラメータ決定部124は、全ての貼り付けパラメータの値について処理を行なったか否かを判定する。
すなわち、処理対象範囲内の全ての値が、処理対象の貼り付けパラメータの値とされたか否かが判定される。なお、貼り付けパラメータが複数種類ある場合には、各種類の貼り付けパラメータの全ての組み合わせについて処理が行なわれたか否かが判定される。
ステップS71において、まだ全ての貼り付けパラメータの値について処理を行なっていないと判定された場合、処理はステップS67に戻り、上述した処理が繰り返される。すなわち、新たな貼り付けパラメータの値が定められ、その貼り付けパラメータについて、誤差の評価が行なわれる。
これに対して、ステップS71において、全ての貼り付けパラメータの値について処理を行なったと判定された場合、処理はステップS72に進む。
ステップS72において、パラメータ決定部124は、パラメータ保持部134に保持されている貼り付けパラメータを、最終的な貼り付けパラメータとして採用し、その貼り付けパラメータを表示装置11の取得部28に供給(出力)する。そして、取得部28は、パラメータ決定部124から供給された貼り付けパラメータを、パラメータ保持部35に供給する。
ステップS73において、パラメータ保持部35は、取得部28から供給された貼り付けパラメータを保持(記録)し、キャリブレーション処理は終了する。すなわち、パラメータ保持部35は、これまで保持していた貼り付けパラメータを破棄し、取得部28から供給された貼り付けパラメータを保持することで、貼り付けパラメータの更新を行なう。
パラメータ保持部35に保持された貼り付けパラメータは、その後、図13を参照して説明した表示処理に用いられる。
以上のようにしてキャリブレーションシステムは、貼り付けパラメータの値を変化させながら、貼り付けパラメータの各値について測定境界位置と理論境界位置との誤差を評価し、より確からしい貼り付けパラメータを求める。
このように、より確からしい貼り付けパラメータを求めて表示装置11に保持させておくことで、表示装置11では、簡単に、より確からしい境界位置を求めることができ、クロストークの少ない高品質な立体画像を提示することができるようになる。
特に、本技術では、光変調パネル62に対するバリア素子63の位置を再調整する必要がないので、簡単な処理で、より高精度な画像制御を行なうことができる。
なお、以上において説明したキャリブレーションシステムは、例えば表示装置11の組み立て後、表示装置11に確からしい貼り付けパラメータを記録させる場合に限らず、他の用途にも適用することができる。例えば、表示装置11の組み立て時において、光変調パネル62に対してバリア素子63を仮固定させておき、キャリブレーション処理により得られた貼り付けパラメータに基づいて、バリア素子63の固定位置を微調整する場合などにも適用することが可能である。
また、貼り付けパラメータは、半視距離表示方式による立体画像の表示に限らず、2以上の視点の視差画像からなる立体画像を表示する場合にも、当然用いることができる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図18は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インターフェース205が接続されている。入出力インターフェース205には、入力部206、出力部207、記録部208、通信部209、及びドライブ210が接続されている。
入力部206は、キーボード、マウス、マイクロホンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記録部208は、ハードディスクや不揮発性のメモリなどよりなる。通信部209は、ネットワークインターフェースなどよりなる。ドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア211を駆動する。
以上のように構成されるコンピュータでは、CPU201が、例えば、記録部208に記録されているプログラムを、入出力インターフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU201)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア211に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インターフェース205を介して、記録部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記録部208にインストールすることができる。その他、プログラムは、ROM202や記録部208に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、本技術は、以下の構成とすることも可能である。
[1]
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、
前記表示部と前記分離部の位置関係を示すパラメータを保持する保持部と、
前記表示部を観察するユーザの視点位置と前記パラメータとに基づいて定められた、前記ブロック領域内の各チャンネルの画素への視差画像の割り当てにしたがって、複数の前記視差画像を合成し、合成画像を生成する生成部と
を備え、
前記保持部は、前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を所定の測定位置で撮像することで得られた測定画像と、前記測定位置とに基づいて定められた前記パラメータを保持する
表示装置。
[2]
前記保持部は、
前記測定画像に基づいて算出された、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置とし、
前記パラメータと前記測定位置に基づいて算出された、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として、
複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となる前記パラメータを保持する
[1]に記載の表示装置。
[3]
前記測定境界位置は、前記測定画像上における、同じチャンネルの画素が観察されている領域の重心位置を求めることにより算出される
[2]に記載の表示装置。
[4]
前記ユーザの前記視点位置と前記パラメータとに基づいて、前記ブロック領域内の画素のうちの前記視点位置から視認される視認画素と、前記視認画素の視認位置とを算出する視認位置算出部と、
前記視認画素と前記視認位置の算出結果に基づいて、前記ブロック領域内の各チャンネルの画素に複数の前記視差画像の何れかを割り当てる割り当て部と
をさらに備え、
前記生成部は、前記割り当て部による割り当てにしたがって前記合成画像を生成する
[1]乃至[3]の何れかに記載の表示装置。
[5]
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、
前記表示部と前記分離部の位置関係を示すパラメータを保持する保持部と、
前記表示部を観察するユーザの視点位置と前記パラメータとに基づいて定められた、前記ブロック領域内の各チャンネルの画素への視差画像の割り当てにしたがって、複数の前記視差画像を合成し、合成画像を生成する生成部と
を備え、
前記保持部が、前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を所定の測定位置で撮像することで得られた測定画像と、前記測定位置とに基づいて定められた前記パラメータを保持する
表示装置の表示方法であって、
前記生成部が前記合成画像を生成し、
前記表示部が前記合成画像を表示する
ステップを含む表示方法。
[6]
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、
前記表示部と前記分離部の位置関係を示すパラメータを保持する保持部と、
前記表示部を観察するユーザの視点位置と前記パラメータとに基づいて定められた、前記ブロック領域内の各チャンネルの画素への視差画像の割り当てにしたがって、複数の前記視差画像を合成し、合成画像を生成する生成部と
を備え、
前記保持部が、前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を所定の測定位置で撮像することで得られた測定画像と、前記測定位置とに基づいて定められた前記パラメータを保持する
表示装置を制御するコンピュータに、
前記生成部に前記合成画像を生成させ、
前記表示部に前記合成画像を表示させる
ステップを含む処理を実行させるプログラム。
[7]
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部とを有する表示装置における、前記表示部と前記分離部の位置関係を示すパラメータを出力する情報処理装置であって、
前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を、所定の測定位置で撮像することで得られた測定画像に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置として算出する測定境界位置算出部と、
前記パラメータと前記測定位置に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として算出する理論境界位置算出部と、
複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となるものを、出力する前記パラメータとして選択する選択部と
を備える情報処理装置。
[8]
前記測定境界位置算出部は、前記測定画像上における、同じチャンネルの画素が観察されている領域の重心位置を求めることで前記測定境界位置を算出する
[7]に記載の情報処理装置。
[9]
前記選択部は、複数の前記測定位置について求められた前記誤差の和が最小となる前記パラメータを選択する
[7]または[8]に記載の情報処理装置。
[10]
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部とを有する表示装置における、前記表示部と前記分離部の位置関係を示すパラメータを出力する情報処理方法であって、
前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を、所定の測定位置で撮像することで得られた測定画像に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置として算出し、
前記パラメータと前記測定位置に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として算出し、
複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となるものを、出力する前記パラメータとして選択する
ステップを含む情報処理方法。
[11]
複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部とを有する表示装置における、前記表示部と前記分離部の位置関係を示すパラメータを出力する情報処理用のプログラムであって、
前記表示部に表示された、互いに隣接する異なるチャンネルの画素に、異なる画像が割り当てられたキャリブレーション画像を、所定の測定位置で撮像することで得られた測定画像に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を測定境界位置として算出し、
前記パラメータと前記測定位置に基づいて、前記測定位置から画素のほぼ中央が観察される前記ブロック領域の前記表示部上の位置を理論境界位置として算出し、
複数の前記パラメータのうち、前記測定境界位置と前記理論境界位置の誤差が最小となるものを、出力する前記パラメータとして選択する
ステップを含む処理をコンピュータに実行させるプログラム。