JP2013121031A - 表示装置および方法、並びにプログラム - Google Patents

Abstract

【課題】ユーザの視点位置によらず、高品質な立体画像を提示できるようにする。
【解決手段】表示装置の表示部には、立体画像を構成する右眼画像と左眼画像を光学的に分離するバリア素子と、バリア素子を固定するｘ枠、ｘ枠を保持するｙ枠、およびｙ枠を保持するｚ枠が設けられている。表示装置では撮像部により撮像された撮像画像に基づいて、ユーザの視点位置が算出され、視点位置の変化に応じて、ｘ枠，ｙ枠，ｚ枠の移動量が求められる。そして、それらの移動量に応じて、ｘ枠がｙ枠に対してｘ方向に移動され、ｙ枠がｚ枠に対してｙ方向に移動され、ｚ枠が表示部に対してｚ方向に移動されることで、バリア素子の位置が適切な位置に移動される。これにより、クロストークの発生が抑制され、高品質な立体画像が提示される。本発明は、表示装置に適用することができる。
【選択図】図１

Description

本技術は表示装置および方法、並びにプログラムに関し、特に、ユーザの視点位置によらず、高品質な立体画像を提示できるようにした表示装置および方法、並びにプログラムに関する。

従来、左眼画像と右眼画像とからなる立体画像を表示する表示装置が知られており、立体画像の表示方式には、主に特殊な眼鏡を必要とする眼鏡方式と、ユーザが裸眼で観察できる裸眼方式とがある。

例えば、ユーザが裸眼で立体画像を観察できる裸眼方式では、表示装置に表示された左眼画像と右眼画像がバリア等により光学的に分離され、それぞれユーザの左右の眼で観察される。そのような場合に、液晶を利用してバリアを形成するとともに、ユーザの顔、すなわちユーザの視点の位置を検出し、その検出結果に応じてバリアが形成される位置を変化させる技術も提案されている（例えば、特許文献１参照）。また、ユーザの頭部位置に基づいてレンチキュラレンズを移動させることで、立体視領域を移動させる技術も提案されている（例えば、特許文献２参照）。

特開平１０−３３３０９１号公報 特開平１０−０７８５６２号公報

しかしながら、特許文献１に記載の技術では、高品質な立体画像を提示することができなかった。

例えば、バリアの位置を変化させる方法では、バリアが形成される位置がいくつかの位置のなかから選択されるだけであるので、ユーザの顔の位置に応じてバリアの位置を連続的に移動させることができない。そのため、ユーザの顔の位置に対して、バリアの位置を常にクロストークが最小となる位置とすることができず、高品質な立体画像を提示することができなかった。

しかも、このような表示装置では、ユーザが表示装置を見る角度によって立体画像の明るさが変化しないように精密にバリア等の設計をする必要があり、高精度に設計が行なわれないと、バリアの位置を変化させたときに立体画像の明るさが変化してしまう。また、液晶を利用したバリアは光の透過率が低いため、立体画像の明るさが低下してしまう。

また、特許文献２に記載の技術では、以上で述べたユーザの視点位置の移動により生じる立体画像の品質低下については、ストライプバリア方式の場合には改善される。しかし、表示画面と視聴者の距離がある範囲を超えると、充分な品質の立体画像を提示することができなくなってしまう。また、水平解像度と垂直解像度のバランスがとれるステップバリア方式やデルタバリア方式では、ユーザの視点が縦方向に移動すると、立体画像の品質低下を抑制することができなくなってしまう。

本技術は、このような状況に鑑みてなされたものであり、ユーザの視点位置やバリア方式によらず、高品質な立体画像を提示できるようにするものである。

本技術の一側面の表示装置は、複数の異なる視点の画像を表示する表示部と、前記複数の異なる視点の画像を光学的に分離する分離部と、前記表示部を観察するユーザの視点位置の変化に応じて、前記表示部に対する前記分離部の複数方向の移動量を算出する移動量算出部と、前記移動量に基づいて駆動し、前記表示部に対して前記分離部を移動させる複数の駆動部とを備える。

前記駆動部には、前記表示部の表示面と垂直な方向に前記分離部を移動させることができる。

前記移動量算出部には、前記分離部から前記ユーザの視点位置までの距離、前記ユーザの両眼の間隔、および前記表示部に設けられた画素の幅に基づいて、前記表示面と垂直な方向への前記分離部の移動量を算出させることができる。

前記駆動部には、前記表示部の表示面と平行な複数方向に前記分離部を移動させることができる。

前記移動量算出部には、前記ユーザの視点位置の前記表示面と平行な複数方向の変化量、前記分離部と前記表示部との距離、および前記分離部から前記ユーザの視点位置までの距離に基づいて、前記表示面と平行な複数方向への前記分離部の移動量を算出させることができる。

表示装置には、前記分離部を保持する第１の保持部材と、前記第１の保持部材を保持する第２の保持部材とをさらに設け、前記駆動部を、前記第１の保持部材と前記第２の保持部材との間に設け、前記駆動部には、前記第２の保持部材に対して前記第１の保持部材を移動させることで、前記分離部を移動させることができる。

本技術の一側面の表示方法またはプログラムは、複数の異なる視点の画像を表示する表示部と、前記複数の異なる視点の画像を光学的に分離する分離部と、前記表示部に対して前記分離部を複数方向に移動させる駆動部とを備える表示装置の表示方法またはプログラムであって、前記表示部を観察するユーザの視点位置の変化に応じて、前記表示部に対する前記分離部の複数方向の移動量を算出し、前記移動量に基づいて前記駆動部を駆動させ、前記表示部に対して前記分離部を移動させるステップを含む。

本技術の一側面においては、表示装置には複数の異なる視点の画像を表示する表示部と、前記複数の異なる視点の画像を光学的に分離する分離部と、前記表示部に対して前記分離部を複数方向に移動させる駆動部とが設けられ、前記表示部を観察するユーザの視点位置の変化に応じて、前記表示部に対する前記分離部の複数方向の移動量が算出され、前記移動量に基づいて前記駆動部が駆動され、前記表示部に対して前記分離部が移動される。

本技術の一側面によれば、ユーザの視点位置やバリア方式によらず、高品質な立体画像を提示することができる。

表示装置の外観の構成例を示す図である。 表示装置の機能の構成例を示す図である。 ストライプバリアについて説明する図である。 ステップバリアについて説明する図である。 バリア素子の移動について説明する図である。 バリア素子の移動について説明する図である。 バリア素子の移動について説明する図である。 バリア素子の移動について説明する図である。 立体画像表示処理を説明するフローチャートである。 表示装置の他の外観の構成例を示す図である。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
［表示装置の外観の構成例］
図１は、本技術を適用した表示装置の一実施の形態の構成例を示す図である。

この表示装置１１は、互いに視差を有する左眼画像と右眼画像からなる立体画像を表示する液晶表示ディスプレイなどからなる。表示装置１１の筐体には、立体画像を表示させる表示部２１、ユーザを照明する照明部２２、およびユーザを撮像する撮像部２３が設けられている。

なお、表示装置１１に表示される立体画像は、互いに視点の異なる２つの画像からなる２視点の立体画像に限らず、３以上の互いに異なる視点の画像からなる多視点の立体画像であってもよい。多視点の立体画像が表示される場合には、各視点の画像のうちの２つの視点の画像が、それぞれユーザの右眼と左眼で観察されるように、立体画像の表示が制御される。また、以下では、表示装置１１に２視点の立体画像が表示されるものとして説明を続ける。

表示部２１には、図示せぬ光変調パネルに表示された左眼画像と右眼画像を光学的に分離するバリア素子３１が設けられている。より詳細には、バリア素子３１は、光変調パネルから入射した光を遮光する遮光部と、光変調パネルから入射した光を通過させる開口部とからなる視差バリアにより構成される。

立体画像の表示時には、ユーザは、バリア素子３１の開口部を介して光変調パネルに表示された左眼画像と右眼画像を観察する。すなわち、表示装置１１では、光変調パネルから発せられ、バリア素子３１を通過した左眼画像表示用の光がユーザの左眼に入射し、光変調パネルから発せられ、バリア素子３１を通過した右眼画像表示用の光がユーザの右眼に入射するように、各光が分離される。

また、表示部２１には、表示装置１１の筐体に対してバリア素子３１を図中、横方向、縦方向、および奥行き方向に移動させるｘ枠３２、ｙ枠３３、およびｚ枠３４が設けられており、バリア素子３１はｘ枠３２の内側に固定されている。なお、以下、図中、横方向、縦方向、および奥行き方向を、それぞれｘ方向、ｙ方向、およびｚ方向と称する。

ここで、ｘ方向は、左眼画像と右眼画像が有する視差の方向、つまりユーザが立体画像を観察するときの左右の眼が並ぶ方向である。また、ｘ方向およびｙ方向は、ともに表示装置１１の表示面に平行な方向であり、ｚ方向は表示装置１１の表示面に垂直な方向である。

ｚ枠３４は、矩形のｚ枠３４の四隅に設けられたｚ駆動部３５−１乃至ｚ駆動部３５−４を介して表示装置１１の筐体に接続されている。ｚ駆動部３５−１乃至ｚ駆動部３５−４は、例えば超音波アクチュエータなどからなり、表示装置１１の筐体に対してｚ枠３４をｚ方向に移動させることで、バリア素子３１をｚ方向に移動させる。

なお、以下、ｚ駆動部３５−１乃至ｚ駆動部３５−４を個々に区別する必要のない場合、単にｚ駆動部３５とも称する。

また、ｚ枠３４の内側には、ｚ枠３４の図中、上下の辺の内側に設けられた伸縮可能なガイドロッド３６−１乃至ガイドロッド３６−４を介して矩形状のｙ枠３３が固定されている。ｚ枠３４とｙ枠３３の間には、超音波アクチュエータなどからなるｙ駆動部３７が設けられており、ｙ駆動部３７は、ｚ枠３４に対してｙ枠３３をｙ方向に移動させることで、バリア素子３１をｙ方向に移動させる。

なお、以下、ガイドロッド３６−１乃至ガイドロッド３６−４を個々に区別する必要のない場合、単にガイドロッド３６とも称する。

さらに、ｙ枠３３の内側には、ｙ枠３３の図中、左右の辺の内側に設けられた伸縮可能なガイドロッド３８−１乃至ガイドロッド３８−４を介して矩形状のｘ枠３２が固定されている。ｙ枠３３とｘ枠３２の間には、超音波アクチュエータなどからなるｘ駆動部３９が設けられており、ｘ駆動部３９は、ｙ枠３３に対してｘ枠３２をｘ方向に移動させることで、バリア素子３１をｘ方向に移動させる。

なお、以下、ガイドロッド３８−１乃至ガイドロッド３８−４を個々に区別する必要のない場合、単にガイドロッド３８とも称する。

ｘ駆動部３９、ｙ駆動部３７、およびｚ駆動部３５が駆動していない状態では、ｘ枠３２乃至ｚ枠３４のそれぞれは、ｘ駆動部３９、ｙ駆動部３７、およびｚ駆動部３５の駆動機構に生じる摩擦力によって、各方向に移動しないように保持されている。なお、ｘ枠３２乃至ｚ枠３４のｙ方向、つまり重力方向への保持力が充分でない場合には、ばねなどの補強部材により、各枠が重力分だけ図中、上方向に引き上げられるようにしてもよい。

また、表示装置１１では、いわゆるアイトラッキングによりバリア素子３１がｘ，ｙ，ｚの各方向に移動されるようになされている。すなわち、立体画像の表示時には、照明部２２によりユーザに対して照明光が照射されるとともに、撮像部２３によりユーザの画像が撮像される。

そして、撮像部２３による撮像で得られた画像に基づいて、ｘ，ｙ，ｚの各方向へのユーザの眼の位置の移動量が算出され、その算出結果に応じてｘ駆動部３９、ｙ駆動部３７、およびｚ駆動部３５が駆動され、バリア素子３１が移動される。

照明部２２によるユーザの照明は、アイトラッキング時に、撮像部２３で撮像された画像からユーザを容易に検出できるようにするために行われる。そのため、照明部２２から射出される照明光は、例えば近赤外線など、特定の波長の光とされることが望ましい。人の肌は近赤外線を多く吸収するため、近赤外線を照明光とし、撮像部２３が各被写体で反射された近赤外線を受光することで表示装置１１周辺の画像を撮像すれば、得られた画像から容易に人の顔の領域を特定することが可能となる。

［表示装置の機能の構成例］
次に、表示装置１１の機能的な構成について説明する。例えば表示装置１１は、図２に示すように構成される。なお、図２は、表示装置１１の機能的な構成例を示す図であり、図２において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図２の表示装置１１は、表示部２１、照明部２２、撮像部２３、同期制御部６１、肌領域検出部６２、眼検出部６３、移動量算出部６４、記録部６５、および表示制御部６６から構成される。

照明部２２は、例えば近赤外線など、特定の波長の照明光を射出して、表示装置１１を観察するユーザを照明する。撮像部２３は、例えば近赤外線カメラなどからなり、表示装置１１を観察するユーザを被写体として撮像し、その結果得られた撮像画像を同期制御部６１を介して肌領域検出部６２に供給する。

同期制御部６１は、撮像部２３による撮像画像の撮像に同期させて、照明部２２に照明光を射出させるとともに、撮像部２３から供給された撮像画像を肌領域検出部６２に供給する。肌領域検出部６２は、同期制御部６１から供給された撮像画像から、ユーザの肌の領域（以下、肌領域と称する）を検出し、その検出結果を眼検出部６３に供給する。

眼検出部６３は、肌領域検出部６２から供給された撮像画像上の肌領域の検出結果に基づいて、ｘ方向、ｙ方向、およびｚ方向の各方向を軸の方向とするｘｙｚ座標空間におけるユーザの眼の位置を算出し、その算出結果を移動量算出部６４に供給する。なお、以下、眼検出部６３により算出されたｘｙｚ座標空間上におけるユーザの眼の位置を、視点位置とも称することとする。

移動量算出部６４は、眼検出部６３から供給された視点位置に基づいて、バリア素子３１を移動させるべき移動量を算出し、算出された移動量に基づいて表示部２１におけるバリア素子３１の移動を制御する。記録部６５は、再生対象となる立体画像を記録しており、記録している立体画像を必要に応じて表示制御部６６に供給する。表示制御部６６は、記録部６５から供給された立体画像に基づいて表示部２１を制御し、表示部２１に立体画像を表示させる。

表示部２１は、バックライト７１、光変調パネル７２、バリア素子３１、ｚ駆動部３５、ｙ駆動部３７、ｘ駆動部３９、ｘ枠３２、ｙ枠３３、およびｚ枠３４から構成される。

バックライト７１は、表示制御部６６の制御に従って立体画像を表示させるための光を射出して、光変調パネル７２に入射させる。光変調パネル７２は、表示制御部６６の制御に従ってバックライト７１から入射した光の透過率を領域ごとに変化させることで、立体画像を構成する左眼画像と右眼画像を表示する。バックライト７１から光変調パネル７２に入射した光は、光変調パネル７２の透過率に応じた光量の分だけ光変調パネル７２を透過して、バリア素子３１に入射する。

バリア素子３１は、光変調パネル７２から入射した光の一部を遮光部で遮光するとともに、残りの一部の光を通過（透過）させることで、左眼画像と右眼画像とを光学的に分離させ、ユーザに立体画像を知覚させる。

ｘ駆動部３９は、移動量算出部６４の制御に従ってｘ枠３２を移動させる。ｙ駆動部３７は、移動量算出部６４の制御に従ってｙ枠３３を移動させ、ｚ駆動部３５は、移動量算出部６４の制御に従ってｚ枠３４を移動させる。

［バリア素子について］
このような表示装置１１に設けるバリア素子３１として、例えばステップバリアや、デルタバリア、ストライプバリアなど、各種のバリア素子を採用することができる。

例えば、バリア素子３１がストライプバリアである場合、図３に示すようにバリア素子３１には、長方形状の開口部と遮光部とがｘ方向に交互に設けられる。なお、図３において、図中、横方向および縦方向はｘ方向およびｙ方向を示しており、奥行き方向はｚ方向を示している。

図３の例では、Ｒ，Ｇ，Ｂの各色の画素が設けられた光変調パネル７２の図中、手前側にバリア素子３１が設けられている。なお、光変調パネル７２上の各四角形は１つの画素を表しており、各画素内の文字「Ｒ」，「Ｇ」，「Ｂ」はそれらの画素の色を示している。例えば、文字「Ｒ」が記された画素は、バックライト７１から入射した光のうち、Ｒ（赤）の色の光のみを透過させる画素である。

また、バリア素子３１において斜線が施された部分は遮光部を表しており、バリア素子３１において斜線が施されていない部分は開口部を表している。すなわち、バリア素子３１上では、ｙ方向に長い開口部と遮光部とがｘ方向に交互に並ぶように設けられている。

図３では、ユーザの右眼から見たバリア素子３１が示されている。この例では１つの開口部からは、ｙ方向に並べられた画素の列がユーザの右眼により視認されるようになされており、その画素列の左右に並ぶ画素列はユーザの右眼には視認されないようになっている。逆に、ユーザの左眼からは、図３において遮光部により覆われて右眼には視認されないようになされている各画素が視認されるようになっている。

このようなストライプバリアでは、光変調パネル７２においてｙ方向に並ぶ各画素は、ユーザの左右のうちの同じ眼により視認されるので、ユーザの視点位置がｙ方向に移動したとしてもバリア素子３１をｙ方向に移動させる必要はない。

また、例えば、バリア素子３１がステップバリアである場合、図４に示すようにバリア素子３１には、矩形状の開口部と遮光部が市松状に並べられて設けられる。なお、図４において、図中、横方向および縦方向はｘ方向およびｙ方向を示しており、奥行き方向はｚ方向を示している。

図４の例ではＲ，Ｇ，Ｂの各色の画素が設けられた光変調パネル７２の図中、手前側にバリア素子３１が設けられている。なお、図４では、図３における場合と同様に光変調パネル７２上の各四角形は１つの画素を表しており、各画素内の文字「Ｒ」，「Ｇ」，「Ｂ」はそれらの画素の色を示している。

また、バリア素子３１において斜線が施された部分は遮光部を表しており、バリア素子３１において斜線が施されていない部分は開口部を表している。すなわち、バリア素子３１上では、遮光部に対して開口部が市松状に配置されている。

図４では、ユーザの右眼から見たバリア素子３１が示されている。この例では１つの開口部からは１つの画素がユーザの右眼により視認されるようになされており、その画素の上下左右に並ぶ画素はユーザの右眼には視認されないようになっている。逆に、ユーザの左眼からは、図４において遮光部により覆われて右眼には視認されないようになされている各画素が視認されるようになっている。

このようなステップバリアでは、ユーザの視点位置が変化すると、開口部を介してユーザの眼により視認される画素が変化するので、視点位置の移動に応じて、ｘ，ｙ，ｚの各方向へのバリア素子３１の移動が必要となる。

なお、以下においては、ユーザの視点位置の変化に応じて、ｘ，ｙ，ｚの各方向にバリア素子３１が移動されるものとして、説明を続ける。つまり、バリア素子３１がステップバリアなどであるものとして、説明を続ける。

［バリア素子の移動量について］
表示装置１１では、ユーザの視点位置の変化に応じてバリア素子３１がｘ，ｙ，ｚの各方向に移動されるが、移動量算出部６４は、ユーザの現在の視点位置と、その直前の視点位置とに基づいて、ｘ，ｙ，ｚの方向ごとにバリア素子３１の移動量を算出する。

例えば図５の上側に示すように、光変調パネル７２上の画素１０１−１乃至画素１０１−５に右眼画像が表示され、光変調パネル７２上の画素１０２−１乃至画素１０２−４に左眼画像が表示されるとする。そして、ユーザがそれらの左眼画像と右眼画像を、バリア素子３１を介して観察するものとする。なお、図５において、図中、縦方向および横方向は、それぞれｘ方向およびｚ方向を示している。

図５の例では、バリア素子３１には、光変調パネル７２の各画素から入射した光を通過させる開口部１０３−１乃至開口部１０３−５と、光変調パネル７２からの光を遮光する遮光部１０４−１乃至遮光部１０４−５とが設けられている。

なお、以下、画素１０１−１乃至画素１０１−５を個々に区別する必要のない場合、単に画素１０１とも称し、画素１０２−１乃至画素１０２−４を個々に区別する必要のない場合、単に画素１０２とも称する。また、以下、開口部１０３−１乃至開口部１０３−５を個々に区別する必要のない場合、単に開口部１０３とも称し、遮光部１０４−１乃至遮光部１０４−５を個々に区別する必要のない場合、単に遮光部１０４とも称する。

図５の上側に示す状態では、画素１０１−１乃至画素１０１−５のそれぞれから射出された光は、開口部１０３−１乃至開口部１０３−５のそれぞれを通過して、ユーザの右眼ＥＲに入射する。また、画素１０２から射出された光は遮光部１０４により遮光されてユーザの右眼ＥＲには入射しないので、ユーザの右眼ＥＲには、画素１０１に表示された右眼画像のみが観察されることになる。

同様に、画素１０２−１乃至画素１０２−４のそれぞれから射出された光は、開口部１０３−２乃至開口部１０３−５のそれぞれを通過して、ユーザの左眼ＥＬに入射する。また、画素１０１から射出された光は遮光部１０４により遮光されてユーザの左眼ＥＬには入射しないので、ユーザの左眼ＥＬには、画素１０２に表示された左眼画像のみが観察されることになる。

このように図５の上側に示す状態から、図５の下側に示すように、ユーザの視点位置がｘ方向、より詳細には図中、上側に移動距離Ｓｅだけ移動したとする。すると、表示装置１１は、光変調パネル７２に対してバリア素子３１をｘ方向、より詳細には図中、上方向に移動距離Ｓｂだけ移動させる。

ユーザの視点位置の変化量である移動距離Ｓｅに対して、バリア素子３１を移動距離Ｓｂだけ移動させることで、画素１０１に表示された右眼画像がユーザの右眼ＥＲで観察され、画素１０２に表示された左眼画像がユーザの左眼ＥＬで観察される状態が維持される。

視点位置の移動距離Ｓｅに対するバリア素子３１の移動距離Ｓｂは、例えば図６に示すように、光変調パネル７２からバリア素子３１までのｚ方向の距離Ｄｂと、バリア素子３１からユーザの視点位置までのｚ方向の距離Ｄｅとに基づいて算出される。

なお、図６において、縦方向および横方向は、それぞれｘ方向およびｚ方向を示している。また、図６において、図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図６では、ユーザの右眼ＥＲの移動距離Ｓｅに対して、遮光部１０４−１、つまりバリア素子３１が移動距離Ｓｂだけ移動されている。ここで、光変調パネル７２、バリア素子３１、およびユーザの視点位置の位置関係から、移動距離Ｓｂと移動距離Ｓｅの比は、距離Ｄｂと、光変調パネル７２から視点位置までのｚ方向の距離（Ｄｂ＋Ｄｅ）の比と等しいことが分かる。つまり、Ｓｂ／Ｓｅ＝Ｄｂ／（Ｄｂ＋Ｄｅ）が成立することが分かる。

この式を変形すると、次式（１）に示すように、求めるべきバリア素子３１の移動距離Ｓｂが得られる。

移動量算出部６４は、眼検出部６３から供給されたユーザの視点位置に基づいて、移動距離Ｓｅと距離Ｄｅを求め、さらに式（１）の演算を行なうことでバリア素子３１の移動距離Ｓｂを算出する。

なお、ユーザの視点位置のｙ方向への移動に対して、バリア素子３１をｙ方向に移動させるべき移動距離は、上述した式（１）と同様の計算により求まる。

但し、バリア素子３１が、ストライプバリアである場合には、ユーザの視点位置がｙ方向に移動しても、バリア素子３１をｙ方向に移動させる必要がないため、バリア素子３１のｙ方向への移動は行なわれない。これに対して、バリア素子３１がステップバリアやデルタバリアである場合には、ユーザの視点位置がｙ方向に移動すると、バリア素子３１もｙ方向に移動させる必要がある。

また、例えば図７の上側に示すように、ユーザが開口部１０３を介して光変調パネル７２に表示された左眼画像または右眼画像を観察している状態から、図中、下側に示すようにユーザが、バリア素子３１から遠ざかる方向に移動したとする。

なお、図７において、図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また、図中、縦方向および横方向は、それぞれｘ方向およびｚ方向を示している。

図７の下側では、図中、上側の状態からユーザの視点位置がｚ方向に、より詳細には図中、右方向にΔＤｅだけ移動している。この場合、バリア素子３１を移動させないと、クロストークが発生したり、観察される画像の輝度が低下したりすることがある。

そこで、表示装置１１は、ユーザの視点位置の移動距離ΔＤｅに合わせて、バリア素子３１全体をｚ方向、より詳細には図中、右方向に移動距離ΔＤｂだけ移動させて、ユーザにより適切に立体画像が観察されるようにする。これにより、画素１０１に表示された右眼画像が右眼ＥＲで観察され、画素１０２に表示された左眼画像が左眼ＥＬで観察される状態が維持される。

視点位置の移動に対するバリア素子３１の移動距離は、例えば図８に示すように、ユーザの両眼間の距離Ｐｅと、光変調パネル７２上の各画素の画素ピッチＰｐとに基づいて算出される。

なお、図８において、縦方向および横方向は、それぞれｘ方向およびｚ方向を示している。また、図８において、図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図８では、ユーザの右眼ＥＲから左眼ＥＬまでの距離がＰｅとなっており、画素１０１や画素１０２のｘ方向の長さである画素ピッチがＰｐとなっている。ここで、光変調パネル７２、バリア素子３１、およびユーザの視点位置の位置関係や各部の長さから、次式（２）が成立する。

なお、式（２）において、Ｄｂは光変調パネル７２からバリア素子３１までのｚ方向の距離を示しており、Ｄｅはバリア素子３１からユーザの視点位置までのｚ方向の距離を示している。したがって、式（２）は、バリア素子３１から視点位置までの距離Ｄｅと、光変調パネル７２からバリア素子３１までの距離Ｄｂの比が、ユーザの両眼間の距離Ｐｅと画素ピッチＰｐの比と等しいことを表している。

そこで、ユーザの視点位置がｚ方向に移動すると、移動量算出部６４は、眼検出部６３から供給されたユーザの視点位置に基づいて、上述した式（２）が成立するように視点位置までの距離Ｄｅの変化に対し、バリア素子３１までの距離Ｄｂを調節する。すなわち、距離Ｄｅと距離Ｄｂの比が一定になるように、それらの新たな距離を算出する。

［立体画像表示処理の説明］
次に、表示装置１１の動作について説明する。

ユーザが表示装置１１を操作して立体画像の再生を指示すると、表示装置１１はユーザの操作に応じて立体画像表示処理を開始して、立体画像を表示するとともにユーザの視点位置の変化に応じてバリア素子３１を移動させる。以下、図９のフローチャートを参照して、表示装置１１による立体画像表示処理について説明する。

ステップＳ１１において、表示装置１１は立体画像の表示を開始する。すなわち、表示制御部６６は、ユーザにより指定された立体画像を構成する左眼画像および右眼画像を記録部６５から取得し、取得した左眼画像および右眼画像を光変調パネル７２に供給して表示させるとともに、バックライト７１を制御する。

バックライト７１は、表示制御部６６の制御にしたがって光を射出して光変調パネル７２に入射させ、バリア素子３１はバックライト７１から射出され、光変調パネル７２を透過した光の一部を遮光することで、左眼画像と右眼画像とを光学的に分離させる。

これにより、ユーザには、バリア素子３１を介して、光変調パネル７２に表示された右眼画像と左眼画像が観察される。つまり、立体画像が観察される。

ステップＳ１２において、撮像部２３はユーザの撮像を開始する。すなわち、同期制御部６１は、照明部２２を制御して一定の時間間隔でユーザに対して照明光を照射させる。また、撮像部２３は、照明部２２によるユーザの照明に同期して、順次、各フレームの撮像画像を撮像し、同期制御部６１を介して肌領域検出部６２に供給する。

ステップＳ１３において、肌領域検出部６２は、同期制御部６１を介して撮像部２３から供給された撮像画像に基づいて、撮像画像からユーザの肌領域を検出し、その検出結果を眼検出部６３に供給する。

例えば、撮像部２３の撮像素子には、互いに異なる波長特性のフィルタ、つまり異なる色のフィルタが設けられた画素が設けられており、撮像画像としてフィルタの色ごとの画像が得られる。このとき、例えば所定の色のフィルタの波長特性は、その色の画像上では、人の肌の領域の輝度値が、他の色の画像上の肌の領域の輝度値と比べて低くなるようになされている。肌領域検出部６２は、それらの色の画像の差分を画素ごとに求め、求めた差分、すなわち輝度差が所定の閾値以上となる画素からなる領域を肌領域とする。

ステップＳ１４において、眼検出部６３は、肌領域検出部６２から供給された肌領域の検出結果に基づいて、ユーザの眼の領域を検出する。

例えば、眼検出部６３は、撮像画像上の肌領域から、ユーザの顔の領域を特定し、さらに特定された顔の領域内から、ユーザの眼の領域を検出する。このようにして撮像画像上の眼の領域が特定されると、眼検出部６３は、ユーザの眼の領域の位置や大きさ、両眼の間隔等から、ｘｙｚ座標空間におけるユーザの左右の眼の位置（視点位置）を算出し、その算出結果を移動量算出部６４に供給する。

より具体的には、例えばユーザは、立体画像の視聴前に表示装置１１を操作し、予めユーザの左右の眼幅（左右の眼の間隔）を入力する。眼幅入力では、ユーザが直接、数値入力するようにしてもよいし、ユーザが表示装置１１により提示された、いくつかの候補から選択するようにしてもよい。また、表示装置１１において、予めユーザの一般的な眼幅が定められているようにしてもよい。

また、眼検出部６３は、例えばユーザの実際の各眼幅（距離Ｐｅ）について、撮像画像上におけるユーザの眼幅と、その眼幅が観察されたときの光変調パネル７２から視点位置までの距離Ｄｂ＋Ｄｅとが対応付けられているテーブルを予め保持している。

表示装置１１の眼検出部６３にユーザの眼幅が入力されると、眼検出部６３は、予め保持しているテーブルを参照して、入力されたユーザの眼幅（距離Ｐｅ）と、求めた撮像画像上のユーザの眼幅とから、光変調パネル７２から視点位置までの距離Ｄｂ＋Ｄｅを求めることで、ユーザの視点位置を算出する。なお、テーブルを用いるのではなく、入力されたユーザの眼幅（距離Ｐｅ）と、撮像画像上のユーザの眼幅とから、眼検出部６３が直接、距離Ｄｂ＋Ｄｅを求めるようにしてもよい。

また、以上においては、ユーザが眼幅を入力する例について説明したが、ユーザが視聴距離として、立体画像の視聴開始時における、光変調パネル７２から視点位置までの距離Ｄｂ＋Ｄｅを入力するようにしてもよい。そのような場合、眼検出部６３では、入力された距離Ｄｂ＋Ｄｅと、撮像画像上のユーザの眼幅の変化等に基づいてユーザの視点位置が算出される。また、移動量算出部６４では、入力された距離Ｄｂ＋Ｄｅと撮像画像上のユーザの眼幅とに基づいて、実際のユーザの眼幅（距離Ｐｅ）が算出される。

さらに、表示装置１１に距離センサを設け、距離センサにより光変調パネル７２から視点位置までの距離Ｄｂ＋Ｄｅが測定されるようにしてもよい。また、表示装置１１にステレオカメラを設け、それらのステレオカメラにより撮像された視差を有する画像対から距離Ｄｂ＋Ｄｅが求められるようにしてもよい。

さらに、例えば距離Ｄｂ＋Ｄｅがユーザによる入力や距離センサによる測定により得られ、ユーザの眼幅が一定の値であるものとされて各処理が行なわれる場合には、眼検出部６３において撮像画像上のユーザの眼の検出を行なわないようにすることが可能である。

以上のようにして、ユーザの視点位置が算出されると、処理はステップＳ１４からステップＳ１５に進む。

ステップＳ１５において、移動量算出部６４は、今回新たに眼検出部６３から供給されたユーザの視点位置と、前回の処理で眼検出部６３から供給されたユーザの過去の視点位置とに基づいて、ユーザの視点位置がｚ方向に移動したか否かを判定する。例えば、過去の視点位置と、現時点における視点位置とのｚ方向の位置が異なる場合、ｚ方向に移動したと判定される。

ステップＳ１５において、ｚ方向に移動したと判定された場合、ステップＳ１６において、移動量算出部６４は、ユーザの視点位置と上述した式（２）とに基づいて、バリア素子３１のｚ方向への移動量を算出する。これにより、例えば図７の移動距離ΔＤｂが、バリア素子３１のｚ方向への移動量として算出される。すなわち、新たに算出された距離Ｄｂと、現時点における距離Ｄｂとの差が移動距離ΔＤｂである。

移動量算出部６４は、ｚ方向の移動量が算出されると、算出された移動量だけバリア素子３１がｚ方向に移動されるように、ｚ駆動部３５を駆動させる。

ステップＳ１７において、ｚ駆動部３５は移動量算出部６４の制御に従ってｚ枠３４を移動させることで、算出されたｚ方向の移動量だけバリア素子３１を光変調パネル７２に対して移動させ、処理はステップＳ１８に進む。

また、ステップＳ１５において、視点位置がｚ方向に移動していないと判定された場合、ステップＳ１６およびステップＳ１７の処理は行われず、処理はステップＳ１８に進む。

ステップＳ１５において視点位置がｚ方向に移動していないと判定されたか、またはステップＳ１７においてｚ枠３４が移動されると、ステップＳ１８において、移動量算出部６４は、ユーザの視点位置がｘ方向に移動したか否かを判定する。

例えば、移動量算出部６４は、今回新たに眼検出部６３から供給されたユーザの視点位置と、前回の処理で眼検出部６３から供給されたユーザの過去の視点位置とのｘ方向の位置が異なる場合、ｘ方向に移動したと判定する。

ステップＳ１８において、ユーザの視点位置がｘ方向に移動したと判定された場合、ステップＳ１９において、移動量算出部６４は、バリア素子３１をｘ方向へ移動させるべき移動量を算出する。

例えば、移動量算出部６４はユーザの現在の視点位置と過去の視点位置とに基づいて、図６に示したユーザの視点位置のｘ方向への移動距離Ｓｅを求め、さらに上述した式（１）を計算することで、バリア素子３１のｘ方向への移動量を算出する。これにより、例えば図６の移動距離Ｓｂが、バリア素子３１のｘ方向への移動量として算出される。

移動量算出部６４は、ｘ方向の移動量が算出されると、算出された移動量だけバリア素子３１がｘ方向に移動されるように、ｘ駆動部３９を駆動させる。

ステップＳ２０において、ｘ駆動部３９は移動量算出部６４の制御に従ってｘ枠３２を移動させることで、算出されたｘ方向の移動量だけバリア素子３１を光変調パネル７２に対して移動させ、処理はステップＳ２１に進む。

また、ステップＳ１８において、視点位置がｘ方向に移動していないと判定された場合、ステップＳ１９およびステップＳ２０の処理は行われず、処理はステップＳ２１に進む。

ステップＳ１８において視点位置がｘ方向に移動していないと判定されたか、またはステップＳ２０においてｘ枠３２が移動されると、ステップＳ２１において、移動量算出部６４は、ユーザの視点位置がｙ方向に移動したか否かを判定する。

例えば、移動量算出部６４は、今回新たに眼検出部６３から供給されたユーザの視点位置と、前回の処理で眼検出部６３から供給されたユーザの過去の視点位置とのｙ方向の位置が異なる場合、ｙ方向に移動したと判定する。

ステップＳ２１において、ユーザの視点位置がｙ方向に移動したと判定された場合、ステップＳ２２において、移動量算出部６４は、バリア素子３１をｙ方向へ移動させるべき移動量を算出する。例えば、移動量算出部６４はユーザの現在の視点位置と過去の視点位置とに基づいて、ステップＳ１９と同様の処理を行ない、バリア素子３１のｙ方向への移動量を算出する。

移動量算出部６４は、ｙ方向の移動量が算出されると、算出された移動量だけバリア素子３１がｙ方向に移動されるように、ｙ駆動部３７を駆動させる。

ステップＳ２３において、ｙ駆動部３７は移動量算出部６４の制御に従ってｙ枠３３を移動させることで、算出されたｙ方向の移動量だけバリア素子３１を光変調パネル７２に対して移動させ、処理はステップＳ２４に進む。

また、ステップＳ２１において、視点位置がｙ方向に移動していないと判定された場合、ステップＳ２２およびステップＳ２３の処理は行われず、処理はステップＳ２４に進む。

ステップＳ２４において、表示装置１１は処理を終了するか否かを判定する。例えば、ユーザにより表示装置１１が操作され、立体画像の再生終了が指示された場合、処理を終了すると判定される。

ステップＳ２４において、処理を終了しないと判定された場合、処理はステップＳ１３に戻り、上述した処理が繰り返される。

これに対して、ステップＳ２４において処理を終了すると判定された場合、表示装置１１の各部は行なっている処理を停止して、立体画像表示処理は終了する。

以上のようにして、表示装置１１は立体画像の表示が開始されると、ユーザの視点位置を検出し、その視点位置の移動に応じてバリア素子３１を、最適な位置まで物理的に移動させる。つまりバリア素子３１が連続的に移動される。これにより、ユーザの視点位置やバリア方式によらず、立体画像の明るさの変化やクロストークの発生を抑制し、高品質な立体画像を提示することができる。

なお、以上においては、撮像画像からユーザの眼の領域を検出することで、ユーザの視点位置を求める場合について説明したが、撮像画像から検出されたユーザの顔の位置に基づいて、バリア素子３１の各方向への移動量が算出されるようにしてもよい。そのような場合、検出されたユーザの顔の位置の変化に基づいて、バリア素子３１の移動量が算出される。ユーザの顔の位置の変化からバリア素子３１の移動量を算出する場合には、ユーザの眼の位置を検出する場合と比較して、バリア素子３１の移動量の算出精度は低くなるが、より簡単な演算で迅速にバリア素子３１の移動量を求めることができるようになる。

〈変形例１〉
［表示装置の外観の構成例］
さらに以上においては、ｘ駆動部３９、ｙ駆動部３７、およびｚ駆動部３５として、超音波アクチュエータを例に説明をしたが、バリア素子３１を移動させるための駆動部は、バイモルフ素子など、どのようなものであってもよい。

例えば、バリア素子３１をバイモルフ素子で物理的に移動させる場合、図１０に示すように、ｚ枠３４と表示装置１１の筐体の間、ｙ枠３３とｚ枠３４の間、およびｘ枠３２とｙ枠３３の間には、それぞれバイモルフ素子が設けられている。

なお、図１０中、横方向、縦方向、および奥行き方向は、それぞれｘ方向、ｙ方向、およびｚ方向を示している。また、図１０において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１０の例では、ｙ枠３３の内側には、ｙ枠３３の図中、左右の辺の内側に設けられた板ばね１３１−１乃至板ばね１３１−４を介してｘ枠３２が固定されている。すなわち、板ばね１３１−１乃至板ばね１３１−４により、ｘ枠３２がｙ枠３３に対して内側に押された状態が保たれることで、ｘ枠３２がｙ枠３３に対して固定されている。なお、以下、板ばね１３１−１乃至板ばね１３１−４を個々に区別する必要のない場合、単に板ばね１３１と称する。

また、ｘ枠３２とｙ枠３３の間には、バイモルフ素子１３２が設けられており、バイモルフ素子１３２は、ｙ枠３３に対してｘ枠３２をｘ方向に移動させることで、バリア素子３１をｘ方向に移動させる。

ｚ枠３４の内側には、ｚ枠３４の図中、上下の辺の内側に設けられた板ばね１３３−１乃至板ばね１３３−４を介してｙ枠３３が固定されている。すなわち、板ばね１３３−１乃至板ばね１３３−４により、ｙ枠３３がｚ枠３４に対して内側に押された状態が保たれることで、ｙ枠３３がｚ枠３４に対して固定されている。なお、以下、板ばね１３３−１乃至板ばね１３３−４を個々に区別する必要のない場合、単に板ばね１３３と称する。

ｚ枠３４とｙ枠３３の間には、バイモルフ素子１３４が設けられており、バイモルフ素子１３４は、ｚ枠３４に対してｙ枠３３をｙ方向に移動させることで、バリア素子３１をｙ方向に移動させる。

さらに、ｚ枠３４は、ｚ枠３４の四隅に設けられた図示せぬ板ばねを介して表示装置１１の筐体に接続されており、ｚ枠３４は、ｚ枠３４と表示装置１１の筐体との間に設けられた図示せぬバイモルフ素子により、表示装置１１の筐体に対してｚ方向に移動する。

表示装置１１が図１０のような構成とされる場合、図２に示した表示装置１１の機能の構成では、ｘ駆動部３９、ｙ駆動部３７、およびｚ駆動部３５に代えて、バイモルフ素子１３２、バイモルフ素子１３４、および図示せぬバイモルフ素子が設けられることになる。そして、これらのバイモルフ素子１３２等は、移動量算出部６４から供給された、視点位置の移動量に応じた電圧信号に基づいて駆動し、バリア素子３１を移動させる。

なお、以上においては、バリア素子３１等の分離部が光変調パネル７２とユーザの眼との間に配置される場合について説明したが、光変調パネル７２の裏面側に点光源アレイを配置する形式の表示装置もある。そのような場合には、点光源アレイを移動させることで、以上の実施の形態で説明した場合と同等の効果を得ることができる。

なお、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。ここでは、出力部３０７が図１の表示部２１に対応する。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

さらに、本技術は、以下の構成とすることも可能である。

［１］
複数の異なる視点の画像を表示する表示部と、
前記複数の異なる視点の画像を光学的に分離する分離部と、
前記表示部を観察するユーザの視点位置の変化に応じて、前記表示部に対する前記分離部の複数方向の移動量を算出する移動量算出部と、
前記移動量に基づいて駆動し、前記表示部に対して前記分離部を移動させる複数の駆動部と
を備える表示装置。
［２］
前記駆動部は、前記表示部の表示面と垂直な方向に前記分離部を移動させる
［１］に記載の表示装置。
［３］
前記移動量算出部は、前記分離部から前記ユーザの視点位置までの距離、前記ユーザの両眼の間隔、および前記表示部に設けられた画素の幅に基づいて、前記表示面と垂直な方向への前記分離部の移動量を算出する
［２］に記載の表示装置。
［４］
前記駆動部は、前記表示部の表示面と平行な複数方向に前記分離部を移動させる
［１］乃至［３］の何れかに記載の表示装置。
［５］
前記移動量算出部は、前記ユーザの視点位置の前記表示面と平行な複数方向の変化量、前記分離部と前記表示部との距離、および前記分離部から前記ユーザの視点位置までの距離に基づいて、前記表示面と平行な複数方向への前記分離部の移動量を算出する
［４］に記載の表示装置。
［６］
前記分離部を保持する第１の保持部材と、
前記第１の保持部材を保持する第２の保持部材と
をさらに備え、
前記駆動部は、前記第１の保持部材と前記第２の保持部材との間に設けられ、前記第２の保持部材に対して前記第１の保持部材を移動させることで、前記分離部を移動させる
［１］乃至［５］の何れかに記載の表示装置。

１１ 表示装置， ３１ バリア素子， ３２ ｘ枠， ３３ ｙ枠， ３４ ｚ枠， ３５ ｚ駆動部， ３７ ｙ駆動部， ３９ ｘ駆動部， ６４ 移動量算出部， ７２ 光変調パネル

Claims (8)

1. 複数の異なる視点の画像を表示する表示部と、
   前記複数の異なる視点の画像を光学的に分離する分離部と、
   前記表示部を観察するユーザの視点位置の変化に応じて、前記表示部に対する前記分離部の複数方向の移動量を算出する移動量算出部と、
   前記移動量に基づいて駆動し、前記表示部に対して前記分離部を移動させる複数の駆動部と
   を備える表示装置。
2. 前記駆動部は、前記表示部の表示面と垂直な方向に前記分離部を移動させる
   請求項１に記載の表示装置。
3. 前記移動量算出部は、前記分離部から前記ユーザの視点位置までの距離、前記ユーザの両眼の間隔、および前記表示部に設けられた画素の幅に基づいて、前記表示面と垂直な方向への前記分離部の移動量を算出する
   請求項２に記載の表示装置。
4. 前記駆動部は、前記表示部の表示面と平行な複数方向に前記分離部を移動させる
   請求項１に記載の表示装置。
5. 前記移動量算出部は、前記ユーザの視点位置の前記表示面と平行な複数方向の変化量、前記分離部と前記表示部との距離、および前記分離部から前記ユーザの視点位置までの距離に基づいて、前記表示面と平行な複数方向への前記分離部の移動量を算出する
   請求項４に記載の表示装置。
6. 前記分離部を保持する第１の保持部材と、
   前記第１の保持部材を保持する第２の保持部材と
   をさらに備え、
   前記駆動部は、前記第１の保持部材と前記第２の保持部材との間に設けられ、前記第２の保持部材に対して前記第１の保持部材を移動させることで、前記分離部を移動させる
   請求項５に記載の表示装置。
7. 複数の異なる視点の画像を表示する表示部と、
   前記複数の異なる視点の画像を光学的に分離する分離部と、
   前記表示部に対して前記分離部を複数方向に移動させる駆動部と
   を備える表示装置の表示方法であって、
   前記表示部を観察するユーザの視点位置の変化に応じて、前記表示部に対する前記分離部の複数方向の移動量を算出し、
   前記移動量に基づいて前記駆動部を駆動させ、前記表示部に対して前記分離部を移動させる
   ステップを含む表示方法。
8. 複数の異なる視点の画像を表示する表示部と、
   前記複数の異なる視点の画像を光学的に分離する分離部と、
   前記表示部に対して前記分離部を複数方向に移動させる駆動部と
   を備える表示装置を制御するコンピュータに、
   前記表示部を観察するユーザの視点位置の変化に応じて、前記表示部に対する前記分離部の複数方向の移動量を算出し、
   前記移動量に基づいて前記駆動部を駆動させ、前記表示部に対して前記分離部を移動させる
   ステップを含む処理を実行させるプログラム。

Images