JP2011215422A - 表示装置及び立体画像の表示方法 - Google Patents

Abstract

【課題】 運動視差の犠牲を抑える。
【解決手段】 観察位置を推定する推定部と、観察位置に応じて所定の撮影間隔でＣＧ空間上に配置する仮想カメラの座標を決定する座標決定部と、観察位置と視差数とからいずれのサブ画素に、いずれの仮想カメラから撮影された画像のうちいずれの画素を表示させるかを選択する選択部と、仮想カメラを配置し、描画オブジェクトを撮影し、撮影された多視点画像と選択部の選択結果に基づいて要素画像を生成する生成部と、要素画像に基づいて立体画像を表示する表示手段と、撮影間隔よりも広い光線間隔で出射する光線を制御する光線制御素子と、を有する。
【選択図】 図１

Description

立体画像を表示するための表示装置と、その表示方法に関する。

インテグラルフォトグラフィ（ＩＰ）技術を応用し、ＦＰＤの表示面側にたとえばピンホールやスリット、レンズアレイを用いた視差バリアを配置した裸眼立体ディスプレイがある。

裸眼立体ディスプレイの画素は、射出瞳と、その背面にある複数のＦＰＤのサブ画素で構成される。サブ画素と射出瞳を結ぶ方向から取得した画素情報をサブ画素に表示する。結果、観察者は観察位置や左右の目の位置に応じた映像情報を視認可能となり、立体を知覚できる。射出瞳に対応したサブ画素単位で表示された画素情報の集合を要素画像と呼ぶ。

ＦＰＤの画素数が有限であるため、射出瞳に割り当てられたサブ画素の数（視差数と同じ）も有限となり、表示できる要素画像の範囲も制約を受ける。従って、立体映像が見える範囲（視域）や、表現できる奥行き（奥行き表現範囲）に制限が生じる。

そこで、観察者の方向を検出し、射出瞳に対応した要素画像を割り当てるサブ画素を、射出瞳を通して観察されるサブ画素に切り替えることで、視域を広げることができる。サブ画素を切り替えるときには、そこに表示する画素情報も、光線の射出方向に合わせて切り替える。これによって、観察者が立体映像を見るために必要な光線を選択して再生する。

また、多視点画像を取得する際、射出瞳を通してＦＰＤから観察される光線の間隔より視点間隔を狭くする方法がある。視点間隔を狭くすることによって、奥行き表現範囲を超えた表示対象物も奥行き表現範囲の中に潰して表示することができる。

特開２００６−１７４４３４号公報 特開２００７−１９６６６号公報 特許第３８９２８０８号 特許第３９４４１８８号

多視点画像の視点間隔を狭くすると、両眼に見える画像の視差が小さくなり、奥行き表現範囲を超えた表示物も表現範囲の中に潰して表示することができる。一方、観察位置が水平に移動してもなかなか側面が見えない（運動視差が小さい）。すなわち、両眼視差を抑えた結果、視域を制御した場合であっても、運動視差の犠牲が大きくなってしまう。

従って、本発明は視点間隔を狭くした場合であっても、運動視差の犠牲を抑えた表示装置および立体画像の表示方法を提供する事を目的とする。

本発明の実施の一態様に係る表示装置は、観察者の観察位置を推定する推定部と、前記観察位置に応じて所定の撮影間隔でＣＧ空間上に配置する仮想カメラの座標を決定する座標決定部と、前記観察位置と表示可能な視差数とからいずれのサブ画素に、いずれの仮想カメラから撮影された画像のうちいずれの画素を表示させるかを選択する選択部と、前記ＣＧ空間上の前記仮想カメラ座標に仮想カメラを配置し、前記ＣＧ空間上の描画オブジェクトを撮影し、撮影された多視点画像と前記選択部の選択結果に基づいて要素画像を生成する生成部と、前記要素画像に基づいて、立体画像を表示する表示手段と、前記撮影間隔よりも広い光線間隔で前記観察者が立体視可能となるように、前記表示手段から出射する光線を制御する光線制御素子と、を有することを特徴とする。

また、本発明の実施の一態様に係る立体画像の表示方法は、観察者の観察位置を推定し、前記観察位置に応じて所定の撮影間隔でＣＧ空間上に配置する仮想カメラの座標を決定し、前記観察位置と表示可能な視差数とからいずれのサブ画素に、いずれの仮想カメラから撮影された画像のうちいずれの画素を表示させるかを選択し、前記ＣＧ空間上の前記仮想カメラ座標に仮想カメラを配置し、前記ＣＧ空間上の描画オブジェクトを撮影し、撮影された多視点画像と前記選択部の選択結果に基づいて要素画像を生成し、前記要素画像に基づいて、立体画像を表示する立体画像の表示方法であって、前記表示手段に設けられた光線制御素子によって制御された出射する光線の光線間隔よりも狭い前記撮影間隔となる様に前記仮想カメラの座標を決定することを特徴とする。

本発明によれば、視点間隔を狭くした場合であっても、運動視差の犠牲を抑えた表示装置および立体画像の表示方法を提供する事ができる。

本実施の形態に係る表示装置。 本実施の形態に係る表示装置。 観察位置取得部の機能を説明。 座標決定部の機能説明図。 画素選択部と要素画像生成部の機能説明図。 画素選択部と要素画像生成部の機能説明図。 本実施の形態に係る表示装置の構成例。

以下、本発明の実施の形態を図面に基づき説明する。説明の都合上、図面上の大きさの比率は実際の実施の形態とは異なる部分があり、また上下左右等の向きは相対的な位置関係であり、重力方向を基準とした向きとは異なる部分がある。

図１は、本実施の形態に係る表示装置を示すブロック図である。本実施の形態に係る表示装置１０では、観察位置取得部１０１、座標決定部１０２、画素選択部１０３、要素画像生成部１０４、表示部１０５を有する。

観察位置取得部１０１は、表示装置１０を観察する観察者の観察位置を取得するために設けられている。観察位置取得部１０１には、例えば表示装置１０の重力方向に対する角度を測定するための加速度センサや、カメラ画像を用いて認識された顔や頭の方向を推定するためのヘッドドラッキング部を用いることができる。また、観察者と表示部１０５との距離を測定するための距離センサを、さらに用いることができる。

座標決定部１０２は、観察位置取得部１０１にて取得された観察位置に応じてＣＧ空間上に配置する仮想カメラの座標を決定するために設けられている。座標は多視点画像の視点間隔と独立に運動視差を付与するために、ＣＧ空間中に配置する仮想カメラの座標を決定する。座標の決定方法は後述する。

画素選択部１０３は、観察位置取得部１０１にて取得された観察位置と表示部１０５に表示可能な視差数に応じて、いずれのサブ画素に、いずれの仮想カメラから撮影された画素情報を表示させるかを選択するために設けられている。すなわち、どの射出瞳に対応した要素画像を表示するかを選択するために設けられている。画素の選択は、表示部１０５に設けられた射出瞳に対応する視点番号を決定することで、選択することができる。ここで、サブ画素の位置が視点番号と対応づけられているのは、光線の間隔と多視点画像の視点間隔が一致している場合、仮想カメラの視点番号を選ぶことがすなわち、サブ画素を選択することと一対一に対応するからである。

要素画像生成部１０４は、表示部１０５に表示する画像情報の元となる要素画像を生成する。座標決定部１０２が決定した座標に配置された仮想カメラを用いて、ＣＧ空間上の表示オブジェクトを撮影する。画素選択部１０３での画素の選択に基づいて、撮影された多視点画像を画素単位で並べ替え、要素画像を生成する。画像情報の取り扱いの便宜上、要素画像生成部１０４は、生成された各射出瞳に対応する複数の要素画像を連結した、要素画像アレイを生成することが望ましい。具体的な要素画像の生成方法は、例えば特許第３８９２８０８号（特許文献３）に記載された方法を用いて生成することができる。

表示部１０５は、要素画像生成部１０４が生成した要素画像をＦＰＤ（表示手段）に表示する。ＦＰＤに表示された画像情報は、光線制御素子を通じて出射され、観察者に立体画像として観察される。

図２は、本実施の形態に係る表示装置を示す図である。表示装置の断面、サブ画素、射出される光線、および視点番号の関係を模式的に表している。サブ画素は有限の幅を持っており、光線も有限の幅を持って射出する。図２に係る例では、射出瞳１つに対応した０〜１２の１３視点のうち、射出瞳と対向して設けられたサブ画素である視点番号２〜１０番を決定した様子を図示している。また、射出瞳にはレンチキュラーレンズを適用した例であり、１つのレンチキュラーレンズより射出する光線を図示している。図２では分かりやすくするために、レンズに割り当てられたＮ個（Ｎ＝視差数、図２の場合９視差）のサブ画素の画素幅がレンズピッチより大きく描かれているが、実際は、Ｎ個のサブ画素の画素幅はレンズピッチに略等しく設計され、全てのレンズの後ろに、Ｎ個（設計によっては（Ｎ＋１）個）のサブ画素を設ける。

図３は、観察位置取得部１０１の機能を説明する図である。ここでは、観察位置取得部１０１に加速度センサを用いた例について説明する。表示装置１０の角度を傾けた場合、表示装置１０を基準とした観察者１１の位置が変化する。表示装置１０の重力方向を加速度センサにて検出することにより、観察者１１の観察位置を間接的に取得する。観察者の観察位置は、表示装置１０の表示面と平行な方向であるＸＹ方向と表示面との距離方向（Ｚ方向）とがあるが、少なくともＸ方向を取得する。ここで、Ｘ方向とはレンチキュラーレンズの延伸方向と垂直な方向である。

図４は、座標決定部１０２の機能を説明する図である。多視点仮想カメラの座標連続的に左右に変化するが、重なると見づらいので、便宜条上下にずらして図示する。座標決定部１０２は、ＣＧ空間上に配置する仮想カメラの座標を決定する。まず、観察位置取得部１０１にて取得した観察位置のうち、Ｘ方向の観察位置に対応したＣＧ空間上の位置にセンター視点２０１を決定する。センター視点２０１は、図４中の一点鎖線でしめした直線上いずれかの位置に決定する。例えば、観察位置が視点６に一致する場合、図２の例で示した視点番号６番がセンター視点となる（図４の例）。同様に、観察位置が視点８に一致する場合、図２の例で示した視点番号８番、視点６と７の間である場合は視点番号６と７の間がセンター視点となる。

センター視点２０１を決定した後、センター視点２０１に対応した位置に、仮想カメラ２０２を配置する。ここで仮想カメラ２０２の間隔は、表示装置の光線間隔よりも小さくする。すなわち、前述した観察位置に対応したセンター視点の視点番号を決めるときのＣＧ空間上の視点間隔よりも小さくする。

具体的には、表示部１０５に配置される画素を構成するサブ画素の水平ピッチをｐｐｘ、垂直ピッチをｐｐｙ、表示部１０５と光線制御素子の光学的開口との距離をｇ、観察者と光学的開口との距離をＬとした時、多視点画像の取得間隔（視点間隔）をＬ／ｇ×ｐｐｘの（１／ｚ）倍にする。仮想カメラ（センター：センター視点に一致）の初期座標をX０、センター視点２０１のシフト量をＸｓとすると、センター視点２０１のシフトを考慮した仮想カメラ（センター）の座標X１（連続値）は、
Ｘ１＝Ｘ０＋Ｘｓ・・・（１）
となる。図４では、観察位置（センター視点）が連続的な値をとりうる様子を一点鎖線で示した。これに対して、図４の視点番号６の仮想カメラは、Ｘｓ＝０のときにＸ１に一致するが、センター視点２０１の座標のシフトと、これに追随する仮想カメラ（センター）に対応する視点番号のシフト、そして、視点間隔（Ｌ／ｇ×ｐｐｘ／ｚ）を反映して、移動する。 具体的には、視点番号６の移動後の座標Ｘ２（６）（連続値）は、
Ｘ２（６）＝Ｘ１−（Ｘｓ／（ｐｐｘ×Ｌ／ｇ））×（ｐｐｘ×Ｌ／ｇ／ｚ）
＝Ｘ０＋Ｘｓ−（Ｘｓ／ｚ）
＝Ｘ０＋Ｘｓ（１−１／ｚ）・・・（２）
となる。同様に、視点番号７の移動後の座標Ｘ２（７）（連続値）は、
Ｘ２（７）＝Ｘ１−（Ｘｓ／（ｐｐｘ×Ｌ／ｇ））×（ｐｐｘ×Ｌ／ｇ／ｚ）＋（ｐｐｘ×Ｌ／ｇ／ｚ）
＝Ｘ０＋Ｘｓ−（Ｘｓ／ｚ）＋（ｐｐｘ×Ｌ／ｇ／ｚ）
＝Ｘ０＋Ｘｓ（１−１／ｚ）＋（ｐｐｘ×Ｌ／ｇ／ｚ）・・・（３）
となる。すなわち、視点番号Ｂの仮想カメラの座標Ｘ２（Ｂ）は、初期のセンター視点（Ａ）との視点番号の差を考慮して、
Ｘ２（Ｂ）＝Ｘ１−（Ｘｓ／（ｐｐｘ×Ｌ／ｇ））×（ｐｐｘ×Ｌ／ｇ／ｚ）＋（Ｂ−Ａ）（ｐｐｘ×Ｌ／ｇ／ｚ）
出与えられる。

（２）式は、ｚ＝１の場合は初期値から移動せず、ｚが１より大きくなると、シフトする必要が生じ、ｚが無限大（２Ｄ表示）で、観察位置（センター視点）に一致することを意味している。すなわち、多視点画像の視点間隔が光線間隔に一致している場合は、仮想カメラ２０２の座標は変化しない。視点間隔が光線間隔より狭い場合は、仮想カメラ２０２の座標が観察位置のシフトを考慮して移動する。視点間隔がゼロの場合、すなわち、２Ｄ表示の場合は、多視点画像の座標は全てセンター視点に一致する（視差がない）。

（２）、（３）式の扱いによって、前述したように、図４に破線で示したように、仮想カメラ２０２の座標が連続値をとりうる。前述したように、観察位置（センター視点）は一点鎖線で示したような連続値をとりうるのに対し、センター視点２０１と一致する座標に配された仮想カメラ（センター）から取得した画素情報を表示するためのサブ画素は、有限のサイズで連続して並べられてはいるものの、サブ画素境界で区切られている。同様に、光線が担う領域も、有限の幅をもち、かつ、不連続になっている。

例えば、観察位置が、視点４から５に相当する位置に移動するとき、仮想カメラ（センター）から取得した画像を、最初は視点４に表示し、視点４と視点５の境界を越えたときに、視点５に表示することになる。しかしながら、（２）、（３）式の扱い従って、観察位置からセンター視点画像が見えるように多視点仮想カメラ位置を逆算することにより、このような不連続性を解消することが可能になる。

図５は、画素選択部１０３の機能を説明する図である。画素選択部１０３は、サブ画素が表示する画素情報を、いずれの仮想カメラから撮影された画像から取得するかを選択する。図５下段には、複数の視点番号からの画像を一括して取り扱うため、同時刻に撮影された画像をタイル状に並べたタイル画像を図示した。９視差の場合、縦横ともに１／３の９枚のタイル画像が３行３列にわたって並べられる。左側に向かうに従って、観察位置がより左側になった場合のタイル画像を構成する視点番号の選択を表している。図５右側に向かうに従って、観察位置がより右側になった場合のタイル画像を構成する視点番号の選択を表している。

観察位置が右側になるにつれ視点番号−１〜４、観察位置が左側になるにつれ視点番号８〜１３の割合が増える。一方観察位置が右側になるにつれ視点番号８〜１３、観察位置が左側になるにつれ視点番号１〜４の画像の割合が減る。視点番号−１、１３の画像は選択されない場合もある。これは、観察位置に向かう光線を再生するためのサブ画素を選択していることを意味する。この視点番号の選択については、詳細は特許第３８９２８０８号に記載されている。

要素画像生成部１０４は多視点画像から要素画像を生成する。具体的には、画素選択部１０３の選択結果に基づいて、撮影された多視点画像の画素情報を、射出瞳に対応した要素画像となるように、サブ画素単位で並べ替えを行う。

図６は、画素選択部１０３の機能の別の例を説明する図である。三次元画像表示装置を観察する距離と、各射出瞳から射出する光線が集光する点が一致するようにすると、観察位置に応じた多視点画像の切り替えは図６に示したように単純なものになる。

具体的には、図５に示す例の場合、観察位置に集光点を作らない、インテグラフフォトグラフィ方式に基づく立体表示方法の例である。一方図６に示す例の場合、多眼方式に基づく立体表示方法の例である。前述したように、多眼方式の場合、出射される光線が集光点を持つため、タイル画像の各視点番号からの画像同士の境界が、インテグラルフォトグラフィ方式と異なる。

図７は、本実施の形態に係る表示装置１０の構成例を示す図である。表示装置１０は、制御部３０１、センサ３０２、表示部１０５を有する。制御部３０１は、座標位置決定部１０２、画素選択部１０３、要素画像生成部１０４、観察位置推定部３０３を有する。先に説明した観察位置取得部１０１は、センサ３０２、観察位置推定部３０３を有する。

制御部３０１は、例えばＣＰＵ、主記憶装置、外部記憶装置を有する。センサ３０２は、上述した加速度センサ、ヘッドドラッキング部を用いることができる。また、加速度センサ、ヘッドドラッキング部に加えて距離センサを用いることができる。観察位置推定部３０３は、センサ３０２の出力に基づいて、表示装置１０を観察する観察者の観察位置を推定する。

各仮想カメラ２０２間の距離を視点番号との距離に対応するＣＧ空間上の距離よりも小さくする原理について説明する。

立体映像を表示するためには、観察位置から射出瞳越しに観察できるサブ画素に、そこに実際の立体物があった時に、見えるべき色と輝度情報を表示する。言い方を変えると、サブ画素と射出瞳を結んだ方向に射出する光線が、立体物からの光と輝度情報を再現する。

射出瞳に対応したN個のサブ画素に表示される画素情報は、N方向から撮影した多視点画像の画素情報を、サブ画素単位で並べ替えられた状態で再現する。N方向から撮影した画素情報の集合が要素画像に相当する。ＦＰＤの画素数が有限であることから、要素画像を構成するサブ画素数N、すなわち、光線の数Nも有限の自然数となり、視域も制約を受ける。歪みの小さい立体映像を表示するために、サブ画素とそこに表示される画素情報は、画素と射出瞳の相対位置、すなわち、光線の方向から決定する。

射出瞳が並ぶ面を基準面として、観察者側（飛び出し側）と他方側（奥行き側）に離れるに従い、立体画像の表示品質が劣化する。光線の本数がN本に限られることから、基準面から離れた表示を行うと、光線間の視差が大きくなり、不連続な変化として視認される。具体的には、観察位置が変化したときの側面の見え方（運動視差）が不連続になったり、立体映像が歪んだり多重化したりする。

このため、表示品質の劣化を想定し、表示できる領域（視域）に限度を設定する。また、観察者の位置・方向を検出し、N本の光線が再生される方向が観察者の方向になるように、射出瞳に対応したＦＰＤのN個のサブ画素の割り当てを変更する。さらに、射出瞳を通してＦＰＤから観察される光線の間隔より仮想カメラ間隔を狭くする。

この時、多視点画像の視点間隔を狭くすると、両眼に見える画像の視差が小さくなり、奥行き表現範囲を超えた表示対象物も奥行き表現範囲の中に潰して表示することができる。一方、仮想カメラの座標の中心は、観察位置に応じたＣＧ空間上の座標と略一致するので、十分な運動視差を有する画像を撮影できる。

この様にしてできた表示装置１０は、視点間隔を狭くした場合であっても、運動視差の犠牲を抑制することができる。より詳細には、観察者が観察位置を表示装置１０に対して大きく傾けた場合、描画オブジェクトの側面を回り込んだ様な運動視差を表示できる。

表示部１０５の飛び出し方向と奥行き方向の表現範囲は表現可能な解像度により制約があるが、運動視差の犠牲を抑制した場合であっても、表現範囲を超える大きさの描画オブジェクトを表現する場合に撮影間隔を狭くすることができる。

なお、これまで説明した実施の形態は、発明の思想の範囲において当業者であれば各種の変更及び修正をすることができる。これら変更及び修正についても本発明の範囲に属する。例えば、仮想カメラの配置の具体例は、表示装置１０の水平方向に配置される例を示したが、垂直方向あるいは水平方向と垂直方向との２次元配置とすることができる。また、表示部１０５の光線制御素子は、視差を与える方向、例えば水平方向、垂直方向の一次元配列、水平方向と垂直方向の両方の二次元配列のいずれであっても構わない。

１０・・・表示装置、１０１・・・観察位置取得部、１０２・・・座標決定部、１０３・・・画素選択部、１０４・・・要素画像生成部、１０５・・・表示部、２０１・・・センター視点、２０２・・・仮想カメラ、３０１・・・制御部、３０２・・・センサ、３０３・・・観察位置推定部

Claims (5)

1. 観察者の観察位置を推定する推定部と、
   前記観察位置に応じて所定の撮影間隔でＣＧ空間上に配置する仮想カメラの座標を決定する座標決定部と、
   前記観察位置と表示可能な視差数とからいずれのサブ画素に、いずれの仮想カメラから撮影された画像のうちいずれの画素を表示させるかを選択する選択部と、
   前記ＣＧ空間上の前記仮想カメラ座標に仮想カメラを配置し、前記ＣＧ空間上の描画オブジェクトを撮影し、撮影された多視点画像と前記選択部の選択結果に基づいて要素画像を生成する生成部と、
   前記要素画像に基づいて、立体画像を表示する表示手段と、
   前記撮影間隔よりも広い光線間隔で前記観察者が立体視可能となるように、前記表示手段から出射する光線を制御する光線制御素子と、を有することを特徴とする表示装置。
2. 前記表示手段に配置される画素を構成するサブ画素の水平ピッチをｐｐｘ、前記サブ画素の垂直ピッチをｐｐｙ、前記表示手段と前記光線制御素子の光学的開口との距離をｇ、前記観察者と前記光学的開口との距離をＬとした時、前記撮影間隔はＬ／ｇ×ｐｐｘまたはＬ／ｇ×ｐｐｙよりも小さい事を特徴とする請求項１に記載の表示装置。
3. 前記観察位置から前記仮想カメラのうち中央に配置される仮想カメラから多視点画像のうち中央視点からの画像が見えるように仮想カメラの座標を選択することを特徴とする請求項２に記載の表示装置。
4. 前記表示手段は、前記観察位置に応じた立体画像を表示することを特徴とする請求項３に記載の表示装置。
5. 観察者の観察位置を推定し、
   前記観察位置に応じて所定の撮影間隔でＣＧ空間上に配置する仮想カメラの座標を決定し、
   前記観察位置と表示可能な視差数とからいずれのサブ画素に、いずれの仮想カメラから撮影された画像のうちいずれの画素を表示させるかを選択し、
   前記ＣＧ空間上の前記仮想カメラ座標に仮想カメラを配置し、
   前記ＣＧ空間上の描画オブジェクトを撮影し、
   撮影された多視点画像と前記選択部の選択結果に基づいて要素画像を生成し、
   前記要素画像に基づいて、立体画像を表示する立体画像の表示方法であって、
   前記表示手段に設けられた光線制御素子によって制御された出射する光線の光線間隔よりも狭い前記撮影間隔となる様に前記仮想カメラの座標を決定することを特徴とする立体画像の表示方法。

Images