JP2009077234A - 三次元画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】任意の条件で取得された多視点情報を用い、簡易なプロセスで正確さを維持した三次元画像を表示する要素画像アレイを生成することが可能な三次元画像処理装置、方法及びプログラムを提供する。
【解決手段】任意の条件で取得された多視点情報に含まれる各視差画像を、第１視距離において略同一の領域に入射されるよう要素画像を構成する画素数を調整した各画素からの光線の入射位置と、多視点画像の画像取得位置と、に基づき、多視点画像に由来する視差情報を表示パネルを構成する各画素に割り当て、三次元画像表示のための要素画像アレイを生成する。
【選択図】 図１７

Description

本発明は、三次元画像の表示にかかる要素画像アレイを生成するための三次元画像処理装置、方法及びプログラムに関する。

注視点を含む投影面に対し、互いに異なる複数の視点位置から取得した複数の多視点画像を用いた三次元画像表示装置として、多眼式、稠密多眼式、インテグラルイメージング方式（ＩＩ式）、一次元ＩＩ式（１Ｄ−ＩＩ方式：水平方向にのみ視差画像表示）等の表示方式を採用したものが知られている。これら表示方式では、視差画像の数（視点数）が増えるほど三次元画像の画質が向上するが、視差画像の元となる多視点画像の取得に要する負担が増すという共通の特性を有している。なお、複数の多視点画像の投影面を同一に設定したときの投影面をディスプレイ面とし、射出瞳の座標に対応した画素情報を抽出したものが、その射出瞳の要素画像を構成する視差画像となる。

上記した各種の表示方式では、表示方式毎に視点数や視差画像の提示間隔や光線の関係が異なっている。そのため、三次元画像を正しく表示したい場合には注視点を含む投影面が同一であっても各々の表示方式に応じた視点から多視点画像を取得する必要がある。逆に、表示方式の異なる多視点画像を用いると、表示される三次元画像は誤りを含んだものとなるため、画質が低下するという問題がある。このように、多視点画像の取得にかかる負荷が高いのに対し、取得された多視点画像の汎用性は低いものとなっている。

そのため、従来、表示方式間の互換を高めるため種々の技術が提案されている。例えば、特許文献１には、視点数が所望の値に満たない場合に、視点間の画像を作成し補間する技術が開示されている。また、特許文献２には、隣接する複数の画素列に同一視点位置から取得した視点画像からの視差画像を複数割り当てることで、視点数を補間する技術が開示されている。

また、表示方式の異なる多視点情報を統一的に扱うアプローチ方法として、光線空間と呼ばれる技術が知られている（例えば、非特許文献１参照）。この技術を用いることで、光線空間から任意の三次元画像表示装置に応じた多視点情報を生成することができる。例えば、１００の視点位置の多視点情報から生成した光線空間からは、任意の位置から取得した多視点情報を生成することができる。即ち、一度光線空間を生成すれば任意の表示方式に応じた多視点情報を生成することが可能である。

特開平０９−９１４３号公報 特開２００５−３３１８４４号公報 Masayuki Tanimoto and Toshiaki Fujii, "FTV-Free Viewpoint Television"，ISO/IEC JTC1/SC29/WG11 M8595， July 2002.

しかしながら、特許文献１の技術では、三次元画像の正確さを増そうとすると補間のための計算量が増加するという問題がある。また、計算量を増したとしても、不足した情報から補間で生成する視差画像の精度、即ち、三次元画像の正確さは、正しい視差画像から生成した三次元画像に及ぶことはない。

また、特許文献２の技術では、補間した部分の視点画像は正しい情報ではなくなるため、表示される三次元画像が不正確になる等、画質の劣化が避けられないという問題がある。また、前もって生成した複数の多視点情報から任意の多視点情報を生成できる非特許文献１の技術では、光線空間生成のための負荷が高いという問題がある。

本発明は上記に鑑みてなされたものであって、任意の条件で取得された多視点情報を用い、簡易なプロセスで正確さを維持した三次元画像を表示する要素画像アレイを生成することが可能な三次元画像処理装置、方法及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、所定幅を有する画素がマトリクス状に配列され、三次元画像表示のための各要素画像が複数画像に表示される表示パネルと、前記表示パネルの前面に配置され、前記所定幅の略整数倍のピッチ幅で設けられた射出瞳により前記各画素からの光線方向を制御し、当該各射出瞳に対応する要素画像を前記表示パネルから所定距離離間した領域に向けて射出する光線制御部と、に関する仕様を定義した仕様情報を記憶する記憶手段と、互いに異なる視点位置から取得された複数の視差画像を含む多視点画像を受け付ける受付手段と、前記仕様情報に基づき、前記要素画像を構成する各画素の中心と、当該要素画像に対応する前記射出瞳の中心とを結んだ光線の軌跡群が、前記光線制御部から所定距離離間した第１視距離において略同一の領域に入射されるよう前記要素画像の画素数を決定する視域制御手段と、前記仕様情報に基づき、前記光線制御部から所定距離離間した第２視距離の面上に、前記多視点画像の画像取得位置を設定する取得位置設定手段と、前記射出瞳を通じて射出された前記要素画像の各画素からの光線が、前記第２視距離の面に入射する入射位置を夫々導出する入射位置導出手段と、前記入射位置毎に、当該入射位置に最も近接する画像取得位置を特定する取得位置特定手段と、前記各入射位置に対応する光線の射出元の各画素に、前記取得位置特定手段で特定した画像取得位置に対応する多視点画像から抽出した視差画像を割り当て、要素画像アレイを生成する生成手段と、を備えたことを特徴とする。

また、本発明は、互いに異なる視点位置から取得された複数の多視点画像を受け付ける受付工程と、所定幅を有する画素がマトリクス状に配列され、三次元画像表示のための各要素画像が複数画像に表示される表示パネルと、前記表示パネルの前面に配置され、前記所定幅の略整数倍のピッチ幅で設けられた射出瞳により前記各画素からの光線方向を制御し、当該各射出瞳に対応する要素画像を前記表示パネルから所定距離離間した領域に向けて射出する光線制御部と、に関する仕様を定義した仕様情報に基づいて、前記要素画像を構成する各画素の中心と、当該要素画像に対応する前記射出瞳の中心とを結んだ光線の軌跡群が、前記光線制御部から所定距離離間した第１視距離において略同一の領域に入射されるよう前記要素画像の画素数を決定する視域制御工程と、前記仕様情報に基づき、前記光線制御部から所定距離離間した第２視距離の面上に、前記多視点画像の画像取得位置を設定する取得位置設定工程と、前記射出瞳を通じて射出された前記要素画像の各画素からの光線が、前記第２視距離の面に入射する入射位置を夫々導出する入射位置導出工程と、前記入射位置毎に、当該入射位置に最も近接する画像取得位置を特定する取得位置特定工程と、前記各入射位置に対応する光線の射出元の各画素に、前記取得位置特定工程で特定した画像取得位置に対応する多視点画像から抽出した視差画像を割り当て、要素画像アレイを生成する生成工程と、を含むことを特徴とする。

また、本発明は、コンピュータを、互いに異なる視点位置から取得された複数の多視点画像情報を受け付ける受付手段と、所定幅を有する画素がマトリクス状に配列され、三次元画像表示のための各要素画像が複数画像に表示される表示パネルと、前記表示パネルの前面に配置され、前記所定幅の略整数倍のピッチ幅で設けられた射出瞳により前記各画素からの光線方向を制御し、当該各射出瞳に対応する要素画像を前記表示パネルから所定距離離間した領域に向けて射出する光線制御部と、に関する仕様を定義した仕様情報に基づいて、前記要素画像を構成する各画素の中心と、当該要素画像に対応する前記射出瞳の中心とを結んだ光線の軌跡群が、前記光線制御部から所定距離離間した第１視距離において略同一の領域に入射されるよう前記要素画像の画素数を決定する視域制御手段と、前記仕様情報に基づき、前記光線制御部から所定距離離間した第２視距離の面上に、前記多視点画像の画像取得位置を設定する取得位置設定手段と、前記射出瞳を通じて射出された前記要素画像の各画素からの光線が、前記第２視距離の面に入射する入射位置を夫々導出する入射位置導出手段と、前記入射位置毎に、当該入射位置に最も近接する画像取得位置を特定する取得位置特定手段と、前記各入射位置に対応する光線の射出元の各画素に、前記取得位置特定手段で特定した画像取得位置に対応する多視点画像から抽出した視差画像を割り当て、要素画像アレイを生成する生成手段と、して機能させる。

本発明によれば、任意の条件で取得された多視点情報に含まれる各視差画像を、第１視距離において略同一の領域に入射されるよう要素画像を構成する画素数を調整した各画素からの光線の入射位置と、多視点画像の画像取得位置と、に基づき、表示パネルを構成する各画素に割り当てる。これにより、各画素からの光線方向と、各視差画像の取得方向とを近付けることができるため、簡易なプロセスで正確さを維持した三次元画像を表示する要素画像アレイを生成することができる。

以下に添付図面を参照して、三次元画像処理装置、方法及びプログラムの最良な実施形態を詳細に説明する。

図１は、本実施形態にかかる三次元画像表示装置１００のハードウェア構成を示したブロック図である。図１に示したように、三次元画像表示装置１００は、制御部１、操作部２、表示部３、ＲＯＭ（Read Only Memory）４、ＲＡＭ（Random Access Memory）５、記憶部６、通信部７等を備え、各部はバス８により接続されている。

制御部１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の演算装置からなり、ＲＡＭ５の所定領域を作業領域として、ＲＯＭ４又は記憶部６に予め記憶された各種制御プログラムとの協働により各種処理を実行し、三次元画像表示装置１００を構成する各部の動作を統括的に制御する。また、制御部１は、ＲＯＭ４又は記憶部６に予め記憶された所定のプログラムとの協働により、後述する各機能部（多視点情報受付部１１、仕様情報取得部１２、要素画像アレイ生成部１３、表示制御部１４）の機能を実現させる。

操作部２は、マウスやキーボード等の入力デバイスであって、ユーザから操作入力された情報を指示信号として受け付け、その指示信号を制御部１に出力する。

表示部３は、液晶等に代表されるフラットパネルディスプレイ（ＦＰＤ）と、レンチキュラーレンズ等の光線制御素子と、を備えている。なお、表示部３の構成については後述する。

ＲＡＭ５は、ＳＤＲＡＭ等の揮発性記憶デバイスであって、制御部１の作業エリアやビデオメモリとして機能する。具体的には、後述する要素画像アレイの生成にかかる処理時において、各種変数やパラメータの値を一時記憶するバッファ等の役割を果たす。

記憶部６は、磁気的又は光学的に記録可能な記憶媒体を有し、三次元画像表示装置１００の制御にかかるプログラムや各種情報を書き換え可能に記憶する。また、記憶部６は、表示部３の仕様に関する後述する仕様情報９（図９参照）を記憶している。

通信部７は、外部装置との間で通信を行うインターフェイスであって、受信した各種情報を制御部１に出力し、また、制御部１から出力される各種情報を外部装置へと送信する。

ここで、図２を参照して、表示部３の構成について詳細に説明する。図２は、表示部３の構造を概略的に示した斜視図である。なお、図２では視点数ｎをｎ＝９とした表示部３を示している。

表示部３は、上述したようにＦＰＤと光線制御素子とを有し、観察位置に応じて光線制御素子の射出瞳を経由して見える画素が切り替わることにより、観察者に三次元画像を視認させる。即ち、射出瞳の一つが、表示部３の画素の一つに相当している。このため、表示部３の解像度は、ＦＰＤ３１自体が有する解像度より低くなる。なお、解像度の低下を最小限に抑制するには、視差画像を水平方向のみに提示するのが有効であることが知られている。以下、本実施形態では視差画像を水平方向のみに提示する場合について説明する。

図２に示したように、表示部３は、サブ画素３２がマトリクス状に配列されたＦＰＤ３１と、当該ＦＰＤ３１の表示面の前面に配置された光線制御素子としてのレンチキュラー板３４と、を備えている。ここで、上記した解像度低下を抑制する理由により、視差画像を水平方向のみに提示することからレンチキュラー板３４を構成するシリンドリカルレンズ３５のレンズ成分は水平成分のみになっている。なお、図２では垂直方向に光学開口が連続したシリンドリカルレンズ３５を用いた構成を示したが、このシリンドリカルレンズ３５を斜めに配置した構成としてもよい。

ＦＰＤ３１の表示面において、垂直方向に一列に並ぶサブ画素３２は、単一のレンズで拡大されるサブ画素が単色とならないために、同一列内で赤（Ｒ）、緑（Ｇ）、青（Ｂ）
が交互に並ぶように配列されている。このような色配列を採用することで、観察位置からシリンドリカルレンズ３５を介して観察される視差画像をＲ、Ｇ、Ｂを用いて構成することができる。一方、水平方向にも直線上に一列に並んでおり、同一列内でＲ、Ｇ、Ｂが交互に並ぶように配列されているが、この例に限らず、同一行で同じ色となるよう配列される態様としてもよい。

一般的なカラー画像表示装置においては、横に並んだＲＧＢの３つのサブ画素３２で１実効画素、即ち、輝度と色とが任意に設定できる最小単位が構成されることから、サブ画素の縦幅（３Ｐｐ）と横幅（Ｐｐ）との比は３：１となっている。なお、本実施形態では、サブ画素の縦幅と横幅との比が３：１の場合を示しているが、縦幅と横幅との比はこの例に限らないものとする。以下、サブ画素３２の横幅Ｐｐを画素ピッチという。

図２に示した表示面では、縦に並んだＲＧＢの３つのサブ画素３２で１の実効画素が形成され、これが横に並んだ９列の実行画素により、シリンドリカルレンズ３５一つに対する視差画像の集合である要素画像３３（黒枠で示される）が表示される。

レンチキュラー板３４を構成する各シリンドリカルレンズ３５は、要素画像３３の略正面に夫々配置される。このような構成により、表示部３の画素に相当する射出瞳、即ち、シリンドリカルレンズ３５のレンズ越しに拡大して見える実行画素が、水平方向の観察位置の変動に応じて切り替わる。なお、本説明ではサブ画素３２の縦横比を３：１としているので、９視差とすることで表示部３の画素を正方形にすることができる。

１Ｄ−ＩＩ方式や多眼式においても、表示部３の基本構成は図２に示した構成例と同様であり、観察位置に応じて射出瞳越しに観察される実行画素に表示された視差画像３３（射出瞳ひとつに対応した要素画像の構成成分）が切り替わることで、観察者に三次元画像を視認させる。ここで、シリンドリカルレンズ３５背後の要素画像３３の要素画像幅Ｐは有限であることから、三次元画像を観察することが可能な領域、即ち視域も制限されることになる。以下、図３−１、図３−２を用いて要素画像３３の幅と視域との関係について説明する。

図３−１は、表示部３の水平断面図である。また、図３−２は、図３−１に示したＦＰＤ３１の最左端部分の要素画像３３Ｌを拡大した図である。なお、図３−１、図３−２において、「Ｐ」は要素画像の横幅を意味している。また、「ｇ」はレンチキュラー板３４のレンズと要素画像３３との間の距離（レンズ画素間距離）を意味している。また、「Ｌｓ１」は観察者の観察位置からレンチキュラー板３４までの距離（視距離）を意味しており、後述する視域最適化距離に対応する。なお、図３−１中暗影部は要素画像３３Ｌにより形成された視域を示している。

図３−１に示したように、観察者の観察位置がＯ１→Ｏ２→Ｏ３というように水平方向に移動すると、図３−２に示したように、この移動に応じて、シリンドリカルレンズ３５のレンズ越しにサブ画素（実行画素）Ｐ１→Ｐ９からの表示用光線が順次切り替わって観察されることになる。なお、図３−２において、矢印はシリンドリカルレンズ３５のレンズ越しに各実行画素が観察される主な方向を示している。実際は、画素が有限の幅を持っており、またレンズのデフォーカスも影響して、この主な方向を中心に観察できる範囲が広がっている。

ここで、一の要素画像について、視距離Ｌｓ１で三次元画像が観察される視域の幅（視域幅）を「ＶＷ」とすると、視域幅ＶＷは下記式（１）の関係を有するため、下記式（２）のように表すことができる。
ＶＷ：（Ｐｐ×ｎ）＝Ｌｓ１：ｇ （１）
ＶＷ＝（（Ｐｐ×ｎ）×Ｌｓ１）／ｇ （２）

上記式（２）から明らかなように、画素ピッチＰｐと視点数ｎとが一定の場合は、レンズ画素間距離ｇの値を小さくすることで視域幅ＶＷを広くすることができる。なお、この場合、視差画像を提示する光線の間隔が広くなるため、奥行き方向の表示性能は低下することになる。

このように、三次元画像を観察できる領域には表示部３のハードウェア的な仕様や制約が深く関係している。そのため、有限の視距離で三次元画像を観察可能な領域を最大にするためには、上記式（１）の関係式で決まる全てのシリンドリカルレンズ３５越しに要素画像が見える範囲、つまり視域幅ＶＷを、視距離Ｌｓ１で一致させる必要がある。

ここで、図４−１、図４−２を参照して、視域幅ＶＷを視距離Ｌｓ１で一致させる場合の手続きについて説明する。なお、図４−１は、表示部３の水平断面図を示した図である。また、図４−２は、図４−１に示したＦＰＤ３１の最左端部分に含まれる一の要素画像３３Ｌを拡大した図であり、要素画像幅と要素画像を表示するサブ画素を示している。

視域幅ＶＷを視距離Ｌｓ１で一致させる場合には、図４−１、図４−２に示したように、要素画像３３Ｌの中心と、シリンドリカルレンズ３５の中心（射出瞳）と、を結ぶ直線を視距離Ｌｓ１で一点に交わらせればよい。このためには、シリンドリカルレンズ３５の水平ピッチＰｓと要素画像幅Ｐとは下記式（３）の関係を満たす必要がある。なお、下記式（３）は下記式（４）のように変形できる。
Ｌｓ１：（Ｌｓ１＋ｇ）＝Ｐｓ：Ｐ （３）
Ｐｓ＝Ｐ×Ｌｓ１／（Ｌｓ１＋ｇ） （４）

上記式（４）を満たすために、多眼式の表示部３では、各シリンドリカルレンズ３５の水平ピッチＰｓを表示面内に配列されたサブ画素３２の横周期、即ち画素ピッチＰｐの視点数ｎ倍よりＬｓ／（Ｌｓ１＋ｇ）倍だけ短くなるよう作成する。これを一般化すると、シリンドリカルレンズ３５の水平ピッチＰｓは、下記式（５）のように表すことができる。
Ｐｓ＝（ｎ×Ｐｐ）×Ｌｓ１／（Ｌｓ１＋ｇ） （５）

このため、多眼式における要素画像は常に視点数ｎに対応するｎ画素から形成されるとともに、水平方向にｎ個おきのサブ画素からの光線は視距離Ｌｓ１で集光点を形成する。

また、１Ｄ−ＩＩ方式では、視距離Ｌｓ１に集光点を設けないようにする。このために、例えば、各シリンドリカルレンズの水平ピッチＰｓを、表示面内に配列されたサブ画素３２の画素ピッチＰｐのｎ倍（ｎは視点数）に等しくする。即ち、下記式（６）を満たすようにシリンドリカルレンズの水平ピッチＰｓを作成する。
Ｐｓ＝ｎ×Ｐｐ （６）

これによって、水平方向にｎ個おきのサブ画素３２から照射される光線は平行光線となる。このハードウェア構成において、視距離Ｌｓ１における視域を確保する（（４）式を満たす）ためには、要素画像をｎ個のサブ画素から構成するとともに、（ｎ＋１）個のサブ画素から構成される要素画像を離散的に配置すればよい。

ここで、（ｎ＋１）個のサブ画素を発生させる割合を「ｍ」とすると、要素画像幅Ｐは下記式（７）のように表すことができる。
Ｐ＝｛（１−ｍ）×ｎ＋ｍ×（ｎ＋１）｝×Ｐｐ （７）

また、上記式（７）は、式（４）及び式（６）より、下記式（８）となる。この式（８）を満たすように割合ｍを定めることで、視距離に集光点が発生することを防ぎつつ、上記式（４）を満たすことができる。
Ｐｓ／Ｐ＝ｎ／｛（１−ｍ）×ｎ＋ｍ×（ｎ＋１）｝
＝Ｌｓ１／（Ｌｓ１＋ｇ） （８）

式（８）から、視域幅が最大になる視距離Ｌｓ１を長く設定したければ、割合ｍを小さくすればよいことが分かる。また、Ｌｓ１を短く設定したければ、割合ｍを大きくすればよいことが分かる。以下、本実施形態では、（ｎ＋１）個のサブ画素からなる要素画像を、上記式（８）から導出した割合ｍで離散的に発生させることで各要素画像を構成する画素数を決定し、視距離Ｌｓ１で視域幅ＶＷを略一致させる処理を「視域最適化」と呼ぶ。また、この時の視距離Ｌｓ１を視域最適化距離と呼ぶ。

なお、（ｎ＋１）個のサブ画素からなる要素画像の発生位置は、視距離Ｌｓ１における視域の中心Ｏｃから、各射出瞳の中心にむけてひかれた直線Ｌ１を中心に要素画像幅Ｐを定めたときの境界と、サブ画素の中心とを比較し、所属する要素画像を決定する判定を繰り返すことで定めることができる。

例えば、ｎ＝９であるとすると、各射出瞳の中心に向けて引かれた直線Ｌ１を中心に要素画像幅Ｐを定めたときの境界（左端と右端）より、画素中心が内側になるサブ画素３２は、図４−２に示したように主に９個となるため、要素画像は主に９個のサブ画素から構成されることになる。しかしながら、上記式（８）よりＰ＞９×Ｐｐであることから、まれに、要素画像幅Ｐを定めたときの境界（左端と右端）の内側にサブ画素３２の中心が入り、要素画像を構成するサブ画素３２が１０個になる場合がある。

なお、上記した視域最適化は、視距離Ｌｓ１で集光点が発生する多眼式にも適用可能である。即ち、ハードウェア的に設定された視距離Ｌｓ１以外の距離で視域幅を最大にしたい場合には、上記式（８）の関係を満たすように（ｎ＋１）個のサブ画素からなる要素画像が発生する割合ｍを定めればよい。

また、三次元画像の表示のためにＦＰＤ３１に表示される要素画像アレイは、以下のように生成される。

図５は、多眼式の表示方式に応じた画像取得位置４３と、視差画像４５と、の関係の一例を示した模式図である。なお、図５では、視点数ｎをｎ＝３とした場合を示している。同図において、要素画像４４は、レンチキュラー板のレンズ一つに対応する視差画像４５の集合である。このような要素画像の集合を要素画像アレイ（要素画像アレイ４１）と称する。ここで、多視点画像とは、視点番号に応じた複数の異なる視点位置（画像取得位置）から単一の投影面を設定して撮影することで取得される画像（この図では４６により表される二次元画像）である。このように取得した多視点画像を元に要素画像アレイを生成すると、三次元画像表示時に投影面がディスプレイ表面と一致することになる。

図５において、４２は、視差画像４５を表示したサブ画素と射出瞳（レンズ）の中心とを結ぶ線分であり、有限の距離（具体的にはＬｓ１）で集光している。つまり、多眼式により三次元画像の表示を行う場合、この集光点が画像取得位置４３に相当する。

図６は、１Ｄ−ＩＩ方式の表示方式に応じた画像取得位置５３と、視差画像５５と、の関係の一例を示した模式図である。なお、図６では、視点数ｎをｎ＝３とした場合を示している。要素画像５４は、レンチキュラー板のレンズ一つに対応する視差画像５５の集合であり、この要素画像５４の集合が要素画像アレイ５１となる。また、５２は視差画像を表示したサブ画素と射出瞳（レンズ）の中心とを結ぶ線分である。ここで、線分５２は上記式（６）の関係を満たしているため、平行光線で射出される。つまり、ＩＤ−ＩＩ方式では、平行光線で多視点画像の取得を行い、この多視点画像をｎ画素毎のサブ画素に割り当てることが理想的である。ここで画像取得位置５３は、取得される多視点画像は平行投影画像であるため、方向のみが規定され距離は規定されないことから、仮想的に配置している。

ところで、表示部３のＦＰＤ３１に表示された要素画像アレイの観察は、表示部３から有限の距離離間した位置で行うことになる。有限の視距離で視域最適化を行った場合、より角度のついた光線情報が必要になることから、要素画像アレイを構成するために必要な多視点画像は、レンズ一本あたりの水平サブ画素数である視点数ｎより多くなる。具体的に、図６で示した１Ｄ−ＩＩ方式では、視点数ｎ＝３（レンズ一本あたりの水平サブ画素数が３）と図５の多眼式とは同数であるが、画像取得位置は６箇所（視点番号−３、−２、−１、１、２、３）と多眼式の２倍となっている。

以下、図７を参照して、１Ｄ−ＩＩ方式において、要素画像を構成するのに必要な多視点画像の数が増加する理由を説明する。図７は、視点数ｎ＝９とした場合の、要素画像３３と、これを構成する視差画像と、射出瞳（シリンドリカルレンズ３５）との関係を示した図である。

図７において、右端に位置するｎ＝９個のサブ画素からなる要素画像３３が、視点番号−２〜７に対応する視差画像から構成されているものとする。この要素画像３３の左側にｎ＋１＝１０個のサブ画素からなる要素画像３３（図中中央の要素画像）が発生すると、追加された１のサブ画像は視点番号８の視差画像を表示することになる。そのため、図中左端に位置するｎ＝９個のサブ画素からなる要素画像３３は、視点番号−１〜８に対応する視差画像から構成される。つまり、上述した（ｎ＋１）個のサブ画素からなる要素画像が発生することで、要素画像を構成する視点番号が１ずれるとともに、レンズに対する
要素画像の相対的な位置も１サブ画素だけずれることになる。

視点番号のずれが意味するところは、射出瞳から射出される要素画像からの光線群の射出方向、即ち、三次元画像が表示される方向がシフトしたことに等しい。つまり、上記式（８）により、視域幅を広くする場合、つまり、視距離Ｌｓをより小さくするような場合には、より角度のついた光線情報を包含した視差画像が必要になることから割合ｍの値が増加する。

なお、１Ｄ−ＩＩ方式での視差画像は、前述したように同一視点の視点画像に由来する画像は平行光線に割り当てられている。そのため、観察者は、表示部３のＦＰＤ３１に表示された要素画像アレイ（視差画像）を有限の距離から観察すると、複数の視点画像の足し合わせでその距離からの透視投影画像を見ることになる。

図８−１、図８−２、図８−３及び図８−４は、ＩＤ−ＩＩ方式における要素画像アレイの見え方を説明するための図である。表示部３を有限の距離（図中矢印位置）から観察し、図８−１に示したように視点番号−２〜２の視差画像６１が観察されたとすると、観察位置が左にずれた場合には、図８−２に示したように、視点番号−３〜１の視差画像６１が観察されることになる。

また、図８−１で示した観察位置から、表示部３に近付いたときは、図８−３に示したように、視点番号−３、−１、１、３の視差画像６１が観察されることになり、表示部３から遠ざかったときには、図８−４に示したように、視点番号−１、１の視差画像６１が観察されることになる。結果的に観察者は、各観察位置に応じた透視投影画像を観察することで、三次元画像として視認することなる。

なお、図８−１、図８−２、図８−３及び図８−４では、単視点から見た場合を図示したが、両眼での観察においても同様であり、両眼夫々の観察位置に応じた透視投影映像を、三次元画像として視認することになる。つまり、表示された三次元画像は、実際に物が存在した場合の光線を荒くではあるがサンプリングしたものとなっており、三次元画像は空間中に固有の座標を持つ。これは、従来の２眼式に代表される両眼視差を利用した技術との決定的な相違点である。

また、図５に示した多眼式も、従来は集光点が設定視点距離で両眼間隔に設定された２眼式の延長上にある手法である。しかしながら近時、集光点を想定視距離より意図的に遠方に設定したり、両眼間隔より十分狭い間隔で設定する稠密多眼式とすることで、空間像的に表示する方式も提案されている。

上述したように、三次元画像の表示方式や表示を行う表示装置の仕様により多視点画像の生成方法は異なるため、生成した多視点画像を他の表示方式や表示装置に転用するような場合では、表示される三次元画像の正確さを維持することは困難である。そのため、本実施形態の三次元画像表示装置１００では、後述する機能的構成の制御により、任意の画像取得位置で取得された多視点画像を、表示部３の仕様に応じて並び替え各サブ画素に割り当て直すことで、表示される三次元画像の正確さを維持する。

図９は、制御部１とＲＯＭ４又は記憶部６に予め記憶された所定のプログラムとの協働により実現される、三次元画像表示装置１００の機能的構成を示した図である。同図に示したように、三次元画像表示装置１００は、機能的構成として多視点情報受付部１１、仕様情報取得部１２、要素画像アレイ生成部１３及び表示制御部１４を備えている。

多視点情報受付部１１は、通信部７を介し外部から入力された多視点情報を受け付ける受付手段として機能し、受け付けた多視点情報を要素画像アレイ生成部１３に出力する。ここで、多視点情報とは三次元画像の表示にかかる複数の多視点画像と、各視点画像の撮影位置の前後関係を示す視点番号と、を少なくとも含んだ情報群である。なお、多視点画像の入力は通信部７を介して外部から入力されるものに限らず、記憶部６に予め記憶された多視点情報を読み出すことで、受け付ける態様としてもよい。

仕様情報取得部１２は、表示部３のハードウェア的な仕様や制約を定義した仕様情報９を記憶部６から読み出し、要素画像アレイ生成部１３に出力する。ここで、仕様情報９としては、シリンドリカルレンズ３５の水平ピッチＰｓや一のシリンドリカルレンズ３５に対応する要素画像の視点数ｎ、サブ画素３２の画素ピッチＰｐ、シリンドリカルレンズ３５を通じて隣接するサブ画素から照射される光線間の角度（視域射出角）等が挙げられる。

要素画像アレイ生成部１３は、仕様情報取得部１２により取得された仕様情報に基づいて、表示部３の構成を仮想的に実現し、後述する要素画像アレイ生成処理時における表示部３から射出される光線の状態をシミュレーションにより導出する。

なお、本実施形態では、三次元画像表示装置１００が備える表示部３に関する仕様情報を記憶部６に記憶する態様としたが、これに限らず、通信部７を介して外部装置から取得する態様としてもよい。また、他の三次元画像表示装置に備えられた表示部の仕様情報を取得する態様としてもよく、この場合、三次元画像表示装置１００自身が表示部３を備えない態様としてもよい。

要素画像アレイ生成部１３は、多視点情報受付部１１及び仕様情報取得部１２から取得した各種情報に基づいて、入力された多視点情報から表示部３の仕様に応じた要素画像アレイを生成する。

具体的に、要素画像アレイ生成部１３は、仮想的に実現した表示部３の構成に基づいて、シリンドリカルレンズ３５から所定距離離間した視距離Ｌｓ１において上述した視域最適化を行い、（ｎ＋１）個のサブ画素からなる要素画像が発生する割合ｍを定めることで、各要素画像３３を構成するサブ画素３２の数を決定する視域制御手段として機能する。

また、要素画像アレイ生成部１３は、多視点情報受付部１１で受け付けられた多視点情報に、画像取得位置情報が含まれているか否かを判定する。ここで、画像取得位置情報とは、多視点情報に含まれた各視点画像の画像取得位置に関する情報群であって、少なくとも画像取得距離Ｌｃが含まれているものとする。

また、要素画像アレイ生成部１３は、多視点情報受付部１１で受け付けられた多視点情報に含まれた画像取得位置情報又は多視点画像の総数から、視距離Ｌｓ２を決定する。

また、要素画像アレイ生成部１３は、ＦＰＤ３１の中心線に対応するＬｃ２面の位置から、後述する光線間距離ｘ毎に視点番号をＦＰＤ３１の両側方向に順次割当て、対応する画像取得位置を設定する取得位置設定手段として機能する。

また、要素画像アレイ生成部１３は、視域最適化を適用した後のＦＰＤ３１の各サブ画素から射出される表示用光線のＬｓ２面への入射位置を夫々導出する入射位置導出手段として機能する。ここで、Ｌｓ２面とは、三次元画像の表示面である表示部３（シリンドリカルレンズ３５）から、視距離Ｌｓ２だけ離間した位置に仮想的に設けた表示部３の対向面である。なお、Ｌｓ２面は、表示部３と平行な面としてもよいし、曲面としてもよい。

また、要素画像アレイ生成部１３は、視域最適化を適用した後のＦＰＤ３１の各サブ画素から射出される表示用光線のＬｓ２面への各入射位置と、Ｌｓ２面での画像取得位置とを比較し、各入射位置について最も近接する画像取得位置を夫々特定する取得位置特定手段として機能する。

また、要素画像アレイ生成部１３は、各入射位置に対応する表示用光線の射出元となったサブ画素に特定した画像取得位置の視点番号に対応する視差画像を割り当て、要素画像アレイを生成する生成手段として機能する。

また、要素画像アレイ生成部１３は、操作部２を介してユーザから指示される光線間距離ｘや視距離Ｌｓ２、視距離Ｌｓ１の値の変更指示を受け付ける変更受付手段として機能し、指示された値に基づいて要素画像アレイを生成する。

以下、図１０〜１７を参照して、要素画像アレイ生成部１３について説明する。まず、図１０は、ｎ＝９で且つ１Ｄ−ＩＩ方式を採用した表示部３の水平断面図であって、視域最適化を適用する前の状態の各射出瞳（シリンドリカルレンズ３５）から射出される光線の軌跡を示している。なお、正面に射出される光線を視点番号「０」で表し、視点番号０の左側に射出される光線をマイナス、右側に射出される光線をプラスでナンバリングしている（以下、同様）。

上述したように、特定の距離に集光点を設けない１Ｄ−ＩＩ方式の場合では、各射出瞳
から射出される光線が平行の関係にある。そのため、これらの光線に対応する光線情報を取得するためには、図１１に示したように、図１０の視点番号−４〜４に対応する視点番号−４〜４の合計９視点から、投影面Ｖｓに向けて平行投影、即ち、無限遠からの透視投影で多視点画像を取得する必要がある。これにより、各要素画像を構成するサブ画素のうち、同一位置のサブ画素に対応する射出瞳から射出される光線を平行光線とすることができる。

一方、図１０と同様のハードウェア構成の表示部３において、有限の視距離Ｌｓ１について視域最適化を施した場合の各射出瞳から射出される光線の軌跡は、図１２のように示される。抽象的な図ではあるが、最も左端の射出瞳（シリンドリカルレンズ３５）からの光線情報を取得するためには、視点番号３〜１１に対応する合計９視点から、平行投影で多視点画像を取得する必要がある。１Ｄ−ＩＩ方式の場合、上述したように要素画像を構成する多視点画像の数は増加する。そのため、図１２の構成では、全てのサブ画素について必要となる多視点画像の数、即ち、視点番号は−１１〜１１の２３個必要となり、これら視点番号と投影面Ｖｓに対する画像取得方向との関係は、図１３のように表すことができる。

なお、平行投影で多視点画像を取得する際に必要となる多視点画像の総数、即ち、総視点数Ｎａは、下記式（９）により求めることができる。ここで、ＨはＦＰＤ３１の画面幅を意味している。
Ｎａ＝（Ｈ−Ｐｓ＋ＶＷ）×ｇ／Ｌ／Ｐｐ＋１ （９）

図１４は、投影面と多視点画像取得位置の視点番号との関係を示した図である。同図では、図１３で示した２３方向からの平行投影で取得した多視点画像が保有する光線情報が満たす領域を、図中の暗影部で表している。ここで、投影面Ｖｓに対する視点番号−１１〜１１からの破線で示した線分が実際に三次元画像の表示に用いる光線情報、即ち表示用光線に対応する。つまり、図１４から、多視点画像が保有する光線情報が満たす領域が、表示用光線に較べ過多であることが分かる。

一方、図１５は、図１４と比較するための図であって、投影面Ｖｓと多視点画像取得位置の視点番号との関係を示した図である。同図では、視域最適化距離Ｌｓ１から透視投影で取得した多視点画像が保有する光線情報が満たす領域を、図中の暗影部で表している。なお、多視点画像取得距離が有限の距離であるということは、多視点画像が透視投影で取得されることを意味する。有限の距離Ｌｓ１の視点番号−４〜４の９視点から取得した光線は、３次元画像の表示に用いる表示用光線（図中破線部）と略等しい。即ち、視域最適化距離Ｌｓ１が最も効率良く光線情報を取得することができる距離となっている。多眼式の場合では視距離に集光点があるため、三次元画像の表示に用いる光線情報と多視点画像として取得する光線情報とを完全に一致させることができる。

また、図１６は、図１４、１５と対比するための図であって、投影面Ｖｓと多視点画像取得位置の視点番号との関係を示した図である。同図では、無限遠より近く、視域最適化距離Ｌｓ１より遠い視距離Ｌｓ２から、透視投影で取得した多視点画像が保有する光線情報が満たす領域を、図中の暗影部で表している。図１６の構成では、図１４と比較しより効率的に多視点画像の光線情報を利用できるが、図１５の構成よりは効率は悪いものとなっている。

図１４、１５、１６での状態をまとめると、下記表のように表すことができる。ここで、表示用光線に含まれる誤差とは、平行光線とのずれ量であって、距離が無限遠に近付くほど誤差は低下することになる。

要素画像アレイ生成部１３は、上述した画像取得用の光線が満たす光線領域と三次元画像の表示用光線が満たす光線領域との乖離に着目し、視域最適化距離Ｌｓ１での表示用光線に基づいて、多視点情報に含まれた視差画像群から要素画像アレイを生成する。以下、要素画像アレイ生成部１３の動作原理について説明する。

射出瞳を介して射出された各サブ画素３２からの表示用光線間は、有限の視距離Ｌにおいて等間隔で観察されることになる。このとき、一の要素画像から射出された表示要光線の距離Ｌにおける表示用光線間の間隔（光線間距離ｘ）は、下記式（１０）により表される。
Ｐｐ：ｘ＝ｇ：Ｌ （１０）

ここで、各表示用光線が距離Ｌの面に入射する位置（入射位置）は、表示部３を投影面Ｖｓとした場合での画像取得位置と対応している。つまり、これら画像取得位置で取得された多視点画像から抽出した視差画像を、対応するサブ画素に割り当てた要素画像アレイを生成することで、距離Ｌに応じた三次元画像を表示することが可能である。この場合、図１３で示した視点番号分の多視点画像よりも多視点画像の数を減少させることができる。

例えば、図１６の例では、視域最適化距離Ｌｓ１で投影面Ｖｓからの光線の入射位置が略同一化された表示用光線群は、Ｌｓ１以遠で再度広がりを見せる。このとき、一の要素画像から射出された距離Ｌｓ２面での表示用光線の光線間距離ｘは、上記式（１０）により規定され、視点番号−６〜６の各位置に表示用光線が入射される。これら表示用光線の入射位置は、表示部３を投影面Ｖｓとした場合での多視点画像取得位置と対応しており、視点番号−６〜６の合計１３個となっている。つまり、図１３で示した２３視点の平行投影多視点画像と比較して、１０視点分の多視点画像を減少させることができる。

要素画像アレイ生成部１３は、上述した表示用光線の入射位置と画像取得位置との関係に基づいて、多視点情報受付部１１により受け付けられた多視点情報から要素画像アレイを生成する。つまり、要素画像アレイ生成部１３は、多視点情報から導出した視距離Ｌｓ２面での画像取得位置を上記（１０）式に基づいて設定し、このＬｓ２面に入射する視距離Ｌｓ１で視域最適化した各サブ画素からの表示用光線の位置に最も近接した画像取得位置を対応するサブ画素に割り当てることで、多視点情報から要素画像アレイを生成する。

ここで、図１７を参照して、多視点画像から抽出した視差画像のサブ画素への割り当てについて説明する。図１７は、表示部３の水平断面図を示した図であって、視距離Ｌｓ１で視域最適化後のサブ画素から射出された表示用光線の軌跡を示している。３３Ｌは、ＦＰＤ３１の左端に位置する要素画像を示しており、３３ＣはＦＰＤ３１の中央に位置する要素画像を示しており、３３Ｒは、ＦＰＤ３１の右端に位置する要素画像を示している。また、要素画像アレイ生成部１３により、多視点情報に含まれた画像取得距離Ｌｃ又は多視点画像数に基づき有限の視距離Ｌｓ２が設定され、このＬｓ２面において、上記式（１０）により画像取得位置に対応する視点番号−５〜５が夫々設定されたものとする。

ここで、要素画像３３Ｌに着目すると、要素画像３３Ｌの各サブ画素から射出された表示用光線のＬｓ２面での入射位置は、視点番号−３〜５に夫々近接していることがわかる。この場合、要素画像アレイ生成部１３は、これら視点番号−３〜５に対応する９個の視差画像を多視点情報から取り出し、要素画像３３Ｌの各サブ画素に割り当てる。

また、要素画像３３Ｃに着目すると、要素画像３３Ｃの各サブ画素から射出された表示用光線のＬｓ２面での入射位置は、視点番号−４〜４に夫々近接していることが分かる。この場合、要素画像アレイ生成部１３は、これら視点番号−４〜４に対応する９個の多視点画像から視差画像を取り出し、要素画像３３Ｃの各サブ画素に割り当てる。

さらに、要素画像３３Ｒに着目すると、要素画像３３Ｒの各サブ画素から射出された表示用光線のＬｓ２面での入射位置は、視点番号−５〜３に夫々近接していることがわかる。この場合、要素画像アレイ生成部１３は、これら視点番号−５〜３に対応する９個の多視点画像から視差画像を取り出し、要素画像３３Ｒの各サブ画素に割り当てる。

このように、要素画像アレイ生成部１３は、ＦＰＤ３１を構成する全てのサブ画素について、対応する多視点画像から抽出した視差画像を割り当てて行くことで要素画像アレイを生成する。なお、図１７の例では、（ｎ＋１）個のサブ画素から構成される要素画像については図示していないが、上記同様（ｎ＋１）個のサブ画素について対応する多視点画像から抽出した視差画像が割り当てられるものとする。

以下、図１８を参照して、三次元画像表示装置１００の動作を説明する。ここで、図１８は、要素画像アレイ生成処理の手順を示したフローチャートである。なお、本処理の前提として、仕様情報取得部１２により表示部３に関する仕様情報９が記憶部６等から取得され、要素画像アレイ生成部１３に出力されているものとする。

まず、多視点情報受付部１１により、通信部７等を介して多視点情報の入力が受け付けられると（ステップＳ１１）、要素画像アレイ生成部１３は、この多視点情報に画像取得位置情報が含まれているか否かを判定する（ステップＳ１２）。

ステップＳ１２において、多視点情報に画像取得位置情報が含まれていると判定した場合には（ステップＳ１２；Ｙｅｓ）、要素画像アレイ生成部１３は、画像取得位置情報に含まれた画像取得距離Ｌｃを視距離Ｌｓ２として設定する（ステップＳ１３）。

要素画像アレイ生成部１３は、仕様情報取得部１２により取得された仕様情報９に基づいて、視距離Ｌｓ１で視域最適化を実行する（ステップＳ１４）。なお、ここで視距離Ｌｓ１は有限の視距離であるものとし、Ｌｓ１≦Ｌｓ２の関係を満たすものとする。

続いて、要素画像アレイ生成部１３は、ＦＰＤ３１の中心線に対応するＬｃ２面の位置から、上記式（１０）により導出した光線間距離ｘ毎に視点番号をＦＰＤ３１の両側方向に順次割当て、Ｌｓ２面上での画像取得位置を設定する（ステップＳ１５）。

なお、本実施形態では、上記式（１０）に基づいて光線間距離ｘを決定する態様としたが、これに限らず、多視点情報に画像取得位置の間隔を示す情報が含まれていた場合には、この画像取得位置の間隔を光線間距離ｘとする態様としてもよい。

次いで、要素画像アレイ生成部１３は、視域最適化後の各サブ画素から射出された表示用光線が、Ｌｓ２面に入射する入射位置を夫々導出し（ステップＳ１６）、各入射位置に最も近接する画像取得位置（視点番号）を夫々特定する（ステップＳ１７）。

次に、要素画像アレイ生成部１３は、Ｌｓ２面への各入射位置に対応する表示用光線の射出元となったサブ画素に、ステップＳ１７で特定した視点番号の多視点画像から抽出した視差画像を夫々割当て、要素画像アレイを生成し（ステップＳ１８）、ステップＳ２６の処理へと移行する。

一方、ステップＳ１２において、多視点情報に画像取得位置情報が含まれていないと判定した場合には（ステップＳ１２；Ｎｏ）、要素画像アレイ生成部１３は、仕様情報取得部１２により取得された仕様情報９に基づいて、有限の視距離Ｌｓ１で視域最適化を実行した後（ステップＳ１９）、有限の視距離Ｌｓ２を仮設定する（ステップＳ２０）。ここで、Ｌｓ１とＬｓ２との関係は、Ｌｓ１≦Ｌｓ２であるものとする。

要素画像アレイ生成部１３は、ＦＰＤ３１の中心線に対応するＬｃ２面の位置から、上記式（１０）により導出した光線間距離ｘ毎に視点番号をＦＰＤ３１の両側方向に順次割当て、Ｌｓ２面上での画像取得位置を設定する（ステップＳ２１）。

次いで、要素画像アレイ生成部１３は、視域最適化後の各サブ画素から射出された表示用光線が、Ｌｓ２面に入射する入射範囲の幅、即ちＬｓ２面における視域幅ＶＷを導出する（ステップＳ２２）。

続いて、要素画像アレイ生成部１３は、多視点情報に含まれた総視点番号に基づいて、Ｌｓ２面上における画像取得範囲の幅を導出する（ステップＳ２３）。具体的には、（視差画像数−１）×光線間距離ｘを算出することで画像取得範囲を導出することができる。

次に、要素画像アレイ生成部１３は、ステップＳ２２で導出した入射範囲の幅と、ステップＳ２３で導出した取得範囲の幅と、が略一致するか否かを判定する（ステップＳ２４）。なお、両幅が略一致すると判定する程度は任意に設定することが可能であるものとする。

ステップＳ２４において、両幅が一致しないと判定した場合には（ステップＳ２４；Ｎｏ）、要素画像アレイ生成部１３は、ステップＳ１９の処理へと再び戻り、Ｌｓ２を他の値で仮設定する。また、ステップＳ２４において、両幅が略一致すると判定した場合には（ステップＳ２４；Ｙｅｓ）、要素画像アレイ生成部１３は、現在仮設定中のＬｓ２の値を正式な値として設定し直し（ステップＳ２５）、ステップＳ１６の処理に移行する。

ステップＳ２６では、表示制御部１４が、ステップＳ１８で生成された要素画像アレイを、ＦＰＤ３１の各サブ画素３２に表示させることで、三次元画像を表示部３に表示させる（ステップＳ２６）。

ここで、操作部２を介し、光線間距離ｘの値を変更する指示情報が入力されると（ステップＳ２７；Ｙｅｓ）、要素画像アレイ生成部１３は、この指示された値に光線間距離ｘを変更した後、ステップＳ１５の処理へと再び戻り、ステップＳ１６〜１８の処理を行うことで、変更後の光線間距離ｘについて要素画像アレイを生成する。

即ち、三次元画像表示装置１００のユーザは、表示部３に表示された三次元画像を観察しながら、光線間距離ｘの値を変更することが可能となっており、その見え方を適宜修正することができる。

また、操作部２を介し、Ｌｓ２の値を変更する指示情報が入力されると（ステップＳ２７；Ｎｏ→ステップＳ２８；Ｙｅｓ）、要素画像アレイ生成部１３は、この指示された値にＬｓ２を変更した後、ステップＳ１５の処理へと再び戻り、ステップＳ１６〜１８の処理を行うことで、変更後のＬｓ２についての要素画像アレイを生成する。

即ち、三次元画像表示装置１００のユーザは、表示部３に表示された三次元画像を観察しながら、Ｌｓ２の値を変更することが可能となっており、その見え方を適宜修正することができる。なお、変更後のＬｓ２の値は、Ｌｓ１以上であるものとするが、Ｌｓ１を下回らないよう操作部２からの入力を制限することとしてもよいし、Ｌｓ２の値に応じＬｓ１の値を自動的に修正する態様としてもよい。

また、操作部２を介し、Ｌｓ２の値を変更する指示情報が入力された場合には（ステップＳ２８；Ｎｏ→ステップＳ２９；Ｙｅｓ）、要素画像アレイ生成部１３は、この指示された値にＬｓ１を変更した後、ステップＳ１４の処理へと再び戻り、ステップＳ１５〜１８の処理を行うことで、変更後のＬｓ１についての要素画像アレイを生成する。

即ち、三次元画像表示装置１００のユーザは、表示部３に表示された三次元画像を観察しながら、Ｌｓ１の値を変更することが可能となっており、その見え方を適宜修正することができる。なお、変更後のＬｓ１の値は、Ｌｓ２以下であるものとするが、Ｌｓ２を上回らないよう操作部２からの入力を制限することとしてもよいし、Ｌｓ１の値に応じＬｓ２の値を自動的に修正する態様としてもよい。

また、要素画像アレイ生成部１３は、操作部２を介しパラメータを変更する指示が入力されないと判断すると（ステップＳ２７；Ｎｏ→ステップＳ２８；Ｎｏ→ステップＳ２９；Ｎｏ）、本処理を終了する。

なお、上記要素画像アレイ生成処理の手順は、多眼式又は１Ｄ−ＩＩ方式であっても変わりはない。つまり、多視点情報受付部１１により受け付けられた多視点情報が多眼式又は１Ｄ−ＩＩ方式に基づいて生成されたものであったとしても、この多視点情報から表示部３の仕様に応じた要素画像アレイを生成することができる。

ここで、図１９、２０を参照して、本要素画像アレイ生成処理により生成された要素画像アレイの表示状態について説明する。図１９、２０は、１Ｄ−ＩＩ方式で同一視点位置から取得された多視点画像に由来する視差画像が割り当てられた各サブ画素のからの光線の軌跡を示したものである。

図１９は、平行投影画像として取得した単一の視点画像から抽出した視差画像をサブ画素に割り当てた場合の光線群の軌跡を示している。図中太線で示したようにサブ画素からの光線は平行関係にある。この場合、各サブ画素からの光線方向と各視差画像取得時の視線方向とは一致するため、視差画像が表す情報と各サブ画素からの表示用光線が表す情報に乖離は生じず、正しい三次元画像を表示することができる。

また、図２０は、有限の視距離から透視投影画像として取得された単一の視点画像から抽出した視差画像をサブ画素に割り当てた場合の光線群の軌跡を示している。図中太線で示したようにサブ画素からの光線は略透視の関係にある。１Ｄ−ＩＩ方式では、有限の視距離で集光点を設けないようにしていることから、視差画像が表す情報と各サブ画素からの表示用光線が表す情報との間に誤差が生じることになる。しかしながら、各サブ画素からの光線方向と各視差画像取得時の視線方向とを近付けることができるため、全体としては略正しい三次元画像を表示することができる。

以上のように、本実施形態の三次元画像表示装置１００によれば、任意の条件で取得された多視点情報に含まれる各視差画像を、視距離Ｌｓ１において略同一の領域に入射されるよう要素画像を構成する画素数を調整した各画素からの光線の入射位置と、各視差画像の画像取得位置と、に基づき、表示パネルを構成する各画素に割り当てる。これにより、各画素からの光線方向と、各視差画像取得時の視線方向とを近付けることができるため、簡易なプロセスで正確さを維持した三次元画像を表示する要素画像アレイを生成することができる。

なお、上述した要素画像アレイ生成処理において、画像取得位置の間隔、即ち光線間距離ｘの値が変更された場合、表示される三次元画像の奥行きが変化することになる。例えば、画像取得位置の間隔が１／２になると、三次元画像は奥行き方向に略１／２につぶれた状態で表示される。

また、視距離Ｌｓ１、視距離Ｌｓ２の変更により、画像取得距離が変更されると、三次元画像の透視度が変化することになる。この場合、例えば、画像取得距離が小さくなると透視度が大きくなり、表示部３より手前にあるものがより大きく、奥にあるものがより小さく表示される。また、画像取得距離が大きくなると透視度が小さくなり、透視度がゼロの場合は、手前にあるものに比べて奥にあるものが小さく表示される。正しい三次元画像の表示状態が分かる場合、この関係を意識して画像取得距離、画像取得間隔を調整し、所望の表示状態を実現することが可能である。

なお、本実施形態では、表示部３に表示された三次元画像をユーザが視認することで、表示状態の正確さを確認する態様としたが、これに限らず、例えば、正しい三次元画像データと表示部３に表示された三次元画像とを照合することで、表示状態の正確さを判定する態様としてもよい。

具体的には、表示部３に表示された三次元画像を、好ましくは複数の視点から撮影する撮像装置を備え、要素画像アレイ生成部１３は、この撮像装置で取得された三次元画像の画像データと、記憶部６等に予め記憶した正しい三次元画像データと、の照合度を算出することで、表示された三次元画像の正確さを判定する。この判定の結果、照合度が所定の閾値以下であった場合、要素画像アレイ生成部１３は、視距離Ｌｓ１やＬｓ２、光線間距離ｘの値を修正し、照合度が所定の閾値を超えるまで調整を行う。このように、表示された三次元画像の正確さを自動的に調整することで、正確な三次元画像をユーザに提示することができる。

また、本実施形態では、水平方向の三次元画像の表示について説明したが、これに限らず、垂直方向についても適用することとしてもよい。例えば、視差画像の垂直方向と水平方向との画像取得距離を異ならせることができる場合（透視度を異ならせることができる場合）、水平方向については視距離Ｌｓ２、垂直方向については視距離Ｌｓ１で視差画像を取得することにより、垂直方向と水平方向ともに透視度が正しい三次元画像を表示することができる。

以上、発明の実施の形態について説明したが、本発明はこれに限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加などが可能である。

例えば、三次元画像表示装置１００における各処理を実行するプログラムを、インストール可能な形式又は実行可能な形式でＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供する態様としてもよい。

また、三次元画像表示装置１００における各処理を実行するプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。

この場合には、プログラムは、三次元画像表示装置１００において上記記録媒体から読み出して実行することによりＲＡＭ５上にロードされ、上記機能的構成で説明した各部がＲＡＭ５上に生成される。

また、本実施形態では、光線制御子としてシリンドリカルレンズ３５からなるレンチキュラー板３４を用いた態様を説明したが、これに限らず、レンズアレイやピンホールアレイ等を光線制御子として用いた態様としてもよい。

三次元画像表示装置の構成を示した図である。 表示部の構造を示した図である。 表示部の水平断面図である。 要素画像から射出される光線を示した図である。 表示部の水平断面図である。 要素画像幅と要素画像を表示するサブ画素を示した図である。 多視点画像取得位置と視差画像との関係の一例を示した模式図である。 多視点画像取得位置と視差画像との関係の一例を示した模式図である。 要素画像とこれを構成する視差画像と射出瞳との関係を示した図である。 視差画像の見え方を説明するための図である。 視差画像の見え方を説明するための図である。 視差画像の見え方を説明するための図である。 視差画像の見え方を説明するための図である。 三次元画像表示装置の機能的構成を示した図である。 表示部の水平断面図である。 投影面と多視点画像取得位置の視点番号との関係を示した図である。 表示部の水平断面図である。 投影面と多視点画像取得位置の視点番号との関係を示した図である。 投影面と多視点画像取得位置の視点番号との関係を示した図である。 投影面と多視点画像取得位置の視点番号との関係を示した図である。 投影面と多視点画像取得位置の視点番号との関係を示した図である。 表示部の水平断面図である。 要素画像アレイ生成処理の手順を示したフローチャートである。 表示部の水平断面図である。 表示部の水平断面図である。

符号の説明

１００ 三次元画像表示装置
１ 制御部
２ 操作部
３ 表示部
３１ ＦＰＤ
３２ サブ画素
３３ 要素画像
３４ レンチキュラー板
３５ シリンドリカルレンズ
４ ＲＯＭ
５ ＲＡＭ
６ 記憶部
７ 通信部
８ バス
９ 仕様情報
１１ 多視点情報受付部
１２ 仕様情報取得部
１３ 要素画像アレイ生成部
１４ 表示制御部

Claims (10)

1. 所定幅を有する画素がマトリクス状に配列され、三次元画像表示のための各要素画像が複数画像に表示される表示パネルと、前記表示パネルの前面に配置され、前記所定幅の略整数倍のピッチ幅で設けられた射出瞳により前記各画素からの光線方向を制御し、当該各射出瞳に対応する要素画像を前記表示パネルから所定距離離間した領域に向けて射出する光線制御部と、に関する仕様を定義した仕様情報を記憶する記憶手段と、
   互いに異なる視点位置から取得された複数の視差画像を含む多視点画像を受け付ける受付手段と、
   前記仕様情報に基づき、前記要素画像を構成する各画素の中心と、当該要素画像に対応する前記射出瞳の中心とを結んだ光線の軌跡群が、前記光線制御部から所定距離離間した第１視距離において略同一の領域に入射されるよう前記要素画像の画素数を決定する視域制御手段と、
   前記仕様情報に基づき、前記光線制御部から所定距離離間した第２視距離の面上に、前記多視点画像の画像取得位置を設定する取得位置設定手段と、
   前記射出瞳を通じて射出された前記要素画像の各画素からの光線が、前記第２視距離の面に入射する入射位置を夫々導出する入射位置導出手段と、
   前記入射位置毎に、当該入射位置に最も近接する画像取得位置を特定する取得位置特定手段と、
   前記各入射位置に対応する光線の射出元の各画素に、前記取得位置特定手段で特定した画像取得位置に対応する多視点画像から抽出した視差画像を割り当て、要素画像アレイを生成する生成手段と、
   を備えたことを特徴とする三次元画像処理装置。
2. 前記受付手段は、前記多視点画像を取得した際の注視点を含む投影面と画像取得位置との間の距離を示した画像取得距離を受け付け、
   前記取得位置設定手段は、前記受付手段で受け付けられた画像取得距離を、前記第２視距離として設定することを特徴とする請求項１に記載の三次元画像処理装置。
3. 前記取得位置設定手段は、前記光線制御部から所定距離離間した第３視距離面において、前記多視点画像について画像取得位置を設定した際の画像取得領域の幅と、前記射出瞳を通じて射出された前記要素画像の各画素からの光線の、前記第３視距離面への入射領域の幅と、が略一致する第３視距離を前記第２視距離として決定することを特徴とする請求項１に記載の三次元画像処理装置。
4. 前記取得位置設定手段は、前記表示パネルと光線制御部との間の距離と前記光線制御部からの視距離との関係に基づき、前記画素の所定幅から前記第２視距離の面上における画像取得位置間の間隔を決定することを特徴とする請求項１〜３の何れか一項に記載の三次元画像処理装置。
5. 前記第１視距離の変更指示を受け付ける変更受付手段を更に備え、
   前記視域制御手段は、前記変更された第１視距離において略同一の領域に入射されるよう、前記要素画像の画素数を再度調整することを特徴とする請求項１に記載の三次元画像処理装置。
6. 前記第２視距離の変更指示を受け付ける変更受付手段を更に備え、
   前記取得位置設定手段は、前記変更された第２視距離の面上に前記多視点画像の画像取得位置を再度設定することを特徴とする請求項１に記載の三次元画像処理装置。
7. 前記第２視距離の面上に設定された前記画像取得位置間の間隔の変更指示を受け付ける変更受付手段を更に備え、
   前記取得位置設定手段は、前記変更された画像取得位置間の間隔で前記視点画像の画像取得位置を再度設定することを特徴とする請求項１に記載の三次元画像処理装置。
8. 前記視域制御手段は、前記要素画像がｎ個の視点位置から取得された多視点画像から抽出したｎ個の視差画像から構成される第１要素画像の表示配列中に、（ｎ＋１）個の視点位置から取得された多視点画像から抽出した（ｎ＋１）個の視差画像から構成される第２要素画像を離散的に発生させることを特徴とする請求項１に記載の三次元画像処理装置。
9. 互いに異なる視点位置から取得された複数の多視点画像を受け付ける受付工程と、
   所定幅を有する画素がマトリクス状に配列され、三次元画像表示のための各要素画像が複数画像に表示される表示パネルと、前記表示パネルの前面に配置され、前記所定幅の略整数倍のピッチ幅で設けられた射出瞳により前記各画素からの光線方向を制御し、当該各射出瞳に対応する要素画像を前記表示パネルから所定距離離間した領域に向けて射出する光線制御部と、に関する仕様を定義した仕様情報に基づいて、前記要素画像を構成する各画素の中心と、当該要素画像に対応する前記射出瞳の中心とを結んだ光線の軌跡群が、前記光線制御部から所定距離離間した第１視距離において略同一の領域に入射されるよう前記要素画像の画素数を決定する視域制御工程と、
   前記仕様情報に基づき、前記光線制御部から所定距離離間した第２視距離の面上に、前記多視点画像の画像取得位置を設定する取得位置設定工程と、
   前記射出瞳を通じて射出された前記要素画像の各画素からの光線が、前記第２視距離の面に入射する入射位置を夫々導出する入射位置導出工程と、
   前記入射位置毎に、当該入射位置に最も近接する画像取得位置を特定する取得位置特定工程と、
   前記各入射位置に対応する光線の射出元の各画素に、前記取得位置特定工程で特定した画像取得位置に対応する多視点画像から抽出した視差画像を割り当て、要素画像アレイを生成する生成工程と、
   を含むことを特徴とする三次元画像処理方法。
10. コンピュータを、
    互いに異なる視点位置から取得された複数の多視点画像情報を受け付ける受付手段と、
    所定幅を有する画素がマトリクス状に配列され、三次元画像表示のための各要素画像が複数画像に表示される表示パネルと、前記表示パネルの前面に配置され、前記所定幅の略整数倍のピッチ幅で設けられた射出瞳により前記各画素からの光線方向を制御し、当該各射出瞳に対応する要素画像を前記表示パネルから所定距離離間した領域に向けて射出する光線制御部と、に関する仕様を定義した仕様情報に基づいて、前記要素画像を構成する各画素の中心と、当該要素画像に対応する前記射出瞳の中心とを結んだ光線の軌跡群が、前記光線制御部から所定距離離間した第１視距離において略同一の領域に入射されるよう前記要素画像の画素数を決定する視域制御手段と、
    前記仕様情報に基づき、前記光線制御部から所定距離離間した第２視距離の面上に、前記多視点画像の画像取得位置を設定する取得位置設定手段と、
    前記射出瞳を通じて射出された前記要素画像の各画素からの光線が、前記第２視距離の面に入射する入射位置を夫々導出する入射位置導出手段と、
    前記入射位置毎に、当該入射位置に最も近接する画像取得位置を特定する取得位置特定手段と、
    前記各入射位置に対応する光線の射出元の各画素に、前記取得位置特定手段で特定した画像取得位置に対応する多視点画像から抽出した視差画像を割り当て、要素画像アレイを生成する生成手段と、
    して機能させる三次元画像処理プログラム。

Images