JP2006162945A - 立体視表示装置 - Google Patents

Abstract

【課題】ディスプレイにレンズアレイを設置することで立体視を行う表示装置において、レンズアレイのレンズ間隔を設計のとおりに精度よく製作することが難しく、また、ディスプレイとレンズアレイとを組み合わせる際の設置精度を得ることが困難である。
【解決手段】ディスプレイ１とレンズアレイ２とが一体となった立体視ディスプレイ２７をカメラ３で撮影することにより、ディスプレイ１の画素とレンズアレイ２の各レンズ中心の位置関係とを計測用装置４で求め、求めたレンズと画素との対応位置関係情報を基に、立体視用画像生成・出力装置１２は立体視用画像を生成して立体視ディスプレイ２７に供給する。
【選択図】図１

Description

本発明は、立体視を行う装置に関し、特に、裸眼で立体視可能な立体視表示装置に関するものである。

近年のディスプレイの高解像度化、微小レンズの製作技術の向上などを背景とし、下記非特許文献１に述べられたインテグラル・フォトグラフィ方式（以下「ＩＰ方式」という。）を利用した裸眼立体視ディスプレイに関する市場動向がある。また、レンチキュラレンズやパララックスバリアを用いて横方向だけ立体感を実現する多眼式立体視ディスプレイ装置も存在する。

これらの立体視ディスプレイ装置においては、ディスプレイ装置とレンズアレイやパララックスバリアなどの位置合わせが重要であり、下記特許文献１のように、パララックスバリアの位置に合わせて表示する画像の位置を調整するための技術がある。

また、位置合わせをするための元の情報として、表示された画素の位置を求めるという課題もあるが、表示する画像により空間コーディングする技術が下記非特許文献２に示されている。
特開２００３−１６９３５１号公報 M.G. Lippmann, "Epreuves reversibles donnant la sensation du relief," J. de Phys., vol.7, 4th series, pp.821-825, November 1908. J-P Tardif, S. Roy and M. trudeau, "Multi-projectors for arbitrary surfaces without explicit calibration nor reconstruction," Proceedings of the Fourth International Conference on 3-D Digital Imaging and Modeling (3DIM'03), pp.217-224, (2003)

まず、ＩＰ方式について、図１６と図１７を用いて説明する。ディスプレイ装置１の前面に凸レンズをアレイ上に配置したレンズアレイ２を設置する。図１６は立体的な位置関係を示おり、そのうちの一断面を図１７に示している。

ディスプレイの画素がレンズに対して非常に小さいとしたとき、ディスプレイ１上で図１７における白丸３６の位置の画素のみをある色と輝度を表示したとき、レンズアレイ２の効果により、白丸３６で示した位置に光が集まり、そこから広がるような光線となる。

これを観察者２３が視野角範囲３５内において観察すると、あたかも、白丸３６の位置に点光源、すなわち、物体が存在するように知覚させることができるようになる。なお、このレンズの代わりにピンホールを用いることも可能である。

このとき、レンズアレイ２の各レンズと画素の位置関係及び各レンズの間隔は正確でなければ、図１６，１７のように理想的に光線を再現することができない。

上記特許文献１に記載の技術では、パララックスバリアのピッチは画素に合わせて正確なものであることを想定しているが、ＩＰ方式に用いる微小な凸レンズアレイを製作する場合には、画素に合わせた正確なピッチを実現することが難しいという課題がある。

例えば、ｍ×ｎ画素に対して１レンズを割当てようとするとき、画素サイズがｐ×ｑ［μｍ］の場合には、横方向のレンズピッチをｍｐ、縦方向のレンズピッチをｎｑにする必要があるが、現在の液晶ディスプレイを想定した場合のｍｐ、ｎｑの精度単位は１μｍか０．１μｍ単位となり、この精度でレンズアレイを製作するためには非常に高度な技術が必要となり、高価となってしまう。

精度を落とすことによりレンズアレイを安価に製造することが可能であるが、そのレンズアレイを用いた場合には、正しく立体視画像を表示できないということが課題である。

レンズ間隔が不均一、不正確なレンズアレイを用いて正しく立体視画像を表示するためには、レンズ中心が画素のどの位置に対応しているかの関係を求める必要がある。

上記非特許文献２では、プロジェクタにより表示された画素を直接カメラで計測することが可能であるが、ＩＰ方式の立体視ディスプレイにおいては、レンズと画素の位置関係を求めることが課題であり、これを解決することはできない。

そこで、本発明は、レンズと画素の対応位置関係情報を利用し、画素毎に実際のディスプレイとレンズアレイの位置関係に応じた立体視画像を生成することにより、正しい立体視表示を行うための技術を提供する。

レンズと画素の対応位置関係情報は、一体となったディスプレイとレンズアレイのセットを、カメラを用いて撮影し、ディスプレイの外形とレンズ中心位置の関係から推定する手段、又は、複数の画素表示パターンをレンズ光軸に一致する位置から一部のレンズを撮影した複数画像情報を利用し、全体関係を補間により求める手段により求めることが可能となる。

また、立体視用画像は、レンズと画素の対応位置関係情報を用いて、３次元データからレイトレースを用いた立体視用画像を生成する手段、又は、複数視点の画像から、補間により立体視用画像を生成する手段により生成することが可能となる。

本発明による立体視表示装置は、レンズ画素位置関係情報を有することにより、レンズピッチの精度があまり高くない安価なレンズを用いることが可能であり、また、レンズアレイとディスプレイを一体に組み合わせる際の位置精度もある程度の範囲であれば、正しい立体視表示が可能となるため、立体視ディスプレイそれぞれの個体差を吸収し、製造を容易にするという効果がある。

レンズ位置が設計と異なる場合、実際のレンズ位置とディスプレイの画素の位置関係を求め、求められたレンズ画素対応位置関係情報を利用し、正しい立体視用画像を生成し、表示する。そのための計測用装置、立体視用画像生成装置と立体視用画像出力装置（以下「立体視用画像生成・出力装置」という。）を含めた立体視表示装置を実現した。

図１は、本発明を実現する実施例１の構成図であり、図中の点線の矢印は、概念的なデータの流れを示している。立体視ディスプレイ２７は、通常の２次元画像を表示するディスプレイ１と凸レンズアレイ２を組み合わせたものであり、観察者２３は凸レンズアレイ２の方から立体視ディスプレイ２７を観察する。

まず、この立体視ディスプレイ２７のレンズと画素の関係を、計測用装置４を用いて求める。計測用装置４の記憶装置６には、計測用のパターン画像７が記憶されており、ユーザ入力部２５からの入力に応じて、ＯＳ(Operating System)を介してフレームメモリ２６へパターン画像７をロードし、入出力ＩＦ（インタフェイス）５を介してディスプレイ１へパターン画像７を表示する。

カメラ３は、ディスプレイ１へ表示された画像を、レンズアレイ２を通して撮影する。撮影された画像は、入出力ＩＦ５を通して記憶装置６に撮影画像８として記憶される。そして、ユーザ入力部２５、又は、予め定めた時間的なタイミングにより、レンズ画素対応位置推定プログラム９が、ＯＳを介してメインメモリ１１に読み込まれ、ＣＰＵ１０により実行される。

ここで、ＣＰＵ１０は演算装置であり、複数のプロセッサから構成されてもよい。また、ＤＳＰ（ディジタル・シグナル・プロセッサ）やＧＰＵ（グラフィックス・プロセッサ・ユニット）であってもよい。

レンズ画素対応位置推定プログラム９により求められたレンズ画素対応位置関係情報は、入出力ＩＦ５を介して、立体視用画像生成・出力装置１２の不揮発性メモリ１４へ、入出力ＩＦ１３を介して、レンズ画素対応位置関係データ１５として書き込まれる。

なお、レンズ画素対応位置関係データ１５は、計測用装置４の記憶装置６に一度記憶しておいて、後に立体視用画像生成・出力装置１２の不揮発性メモリ１４へ書き込むようにしてもよい。

立体視ディスプレイ２７に表示するための立体視用画像（静止画でも動画でもよい）は、立体視用画像生成・出力装置１２により生成され、ディスプレイ１へ表示される。

立体視用画像生成・出力装置１２では、入出力ＩＦ１３を介して、計測用装置４で得られたレンズ画素対応位置関係データ１５を不揮発性メモリ１４に記憶している。ここで、不揮発性メモリ１４はＲＯＭなど書き換えできないものであってもよいし、ハードディスクなど書き換え可能なものでもよい。

不揮発性メモリ１４には、立体視用画像を生成するための元となる３Ｄデータ１６と、多視点画像データ１７と、それらのデータから立体視用画像を生成するための立体視用画像生成プログラム１８が記録されている。

立体視用画像生成プログラム１８や３Ｄデータ１６又は多視点画像データ１７は、ユーザ入力部２４からの入力や、予め定めた時間的なタイミングなどに応じて、ＯＳを介して適宜メインメモリ２０へ読み込まれ、ＣＰＵ１９により処理が実行される。

その結果、生成された立体視用画像２２はフレームメモリ２１へ書き込まれ、逐次入出力ＩＦ１３を介してディスプレイ１へ送られ、表示される。

本発明では、このように立体視用画像生成・出力装置１２と立体視ディスプレイ２７を合わせて立体視表示装置２８と呼ぶこととする。これら立体視用画像生成・出力装置１２と立体視ディスプレイ２７は一体構造となっていても、別々の装置として存在してもよい。

また、図２に示すように、ディスプレイ１内に不揮発性メモリ９５を持ち、その中にレンズ画素対応位置関係データ１５を記憶し、立体視用画像生成・出力装置１２は、入出力ＩＦ１３を介して、レンズ画素対応位置関係データ１５を取得し、立体視用画像を生成するように実装してもよい。

続いて、本実施例による立体視表示を行うフローについて、図３を用いて説明する。まず、レンズ画素対応位置関係データ１５を求める計測用装置４における処理について説明する。

レンズ中心とディスプレイ１の画素の対応する位置を、カメラ３で撮影した画像から求めるためには、カメラ３の撮影条件（理想視点位置、画角、解像度）の情報とディスプレイ１の画素とカメラ３の位置関係、ディスプレイ１とレンズアレイ２との距離、及び、カメラ３による撮影画像におけるレンズ中心位置が分かればよい、以下、順に説明する。

最初に、カメラ３で撮影された画像の歪み補正を行う（ステップＳ１）。この歪み補正は従来技術を用い、既知のパターンを撮影することにより、画像の歪みを補正することが可能である。歪みは幾何学的な歪みの他に、輝度補正を含む色の歪みの補正も含んでいる方がよい。

次に、カメラ３と立体視ディスプレイ２７の位置関係を計測又は推定する（ステップＳ２）。基本的には、ディスプレイ１の中心を通り、ディスプレイ１に垂直な直線がカメラ３の光軸と一致するように設置することが望ましく、ディスプレイ１とカメラ３をある位置関係に固定する治具を用意しておくことにより、複数の立体視ディスプレイ２７の計測を効率的に行うことができる。

あるいは、ディスプレイ１とカメラ３の３次元的な位置関係について、光などを用いた３次元計測器を用いることにより計測することが可能である。

また、別の方法として、カメラ３の画角を事前に求めておくことで、撮影したディスプレイ１の外形の形状から、カメラ３とディスプレイ１の関係を推定することができる。

計測又は推定（ステップＳ２）について、図４を用いて説明する。撮影された画像上のディスプレイ１の外形形状が長方形であり、各辺の実際の寸法は既知で横方向がｗ、縦方向がｈであることを考える。カメラ３の画角を事前に求めておくことで、理想視点Ｅ（図４中４０）を原点としたとき、射影面４１までの距離Ｌとして適当な距離を定めると、カメラ３により撮影された画像は、投影面４１にディスプレイ１が射影された形状４２となり、その大きさは定まる。

ディスプレイ１の各頂点が、Ａ，Ｂ，Ｃ，Ｄであり、各頂点の射影されたものが、Ａ’，Ｂ’，Ｃ’，Ｄ’であるとすると、撮影された画像からＡ’，Ｂ’，Ｃ’，Ｄ’の座標値は求めることができるため、点Ａ，Ｂ，Ｃ，Ｄは、以下の数式１により表すことができる。

また、ディスプレイ１は長方形を想定しているため、以下の数式２の関係がある。

さらに、ディスプレイ１の各辺の長さが既知であるので、以下の数式３が分かる。

だだし、ｓ、ｔ、ｕ、ｖは未知数であって、これを求め、数式１，２，３の関係を用いることにより、点Ａ，Ｂ，Ｃ，Ｄの座標を求めることが可能であり、カメラ３とディスプレイ１の位置関係を求めることが可能であり、ディスプレイ１の画素の位置とカメラ３の位置関係が分かったことになる。

再び、図３のフローに戻って説明を行う。ステップＳ２によりカメラとディスプレイ１の位置関係を求めた後、ディスプレイ１にパターン画像７を表示し、カメラ３で撮影する（ステップＳ３）。

このとき、撮影された画像が、どのパターン画像７を撮影したか分かるような情報を保持する。例えば、撮影画像８を記憶装置６に記憶する際に、パターン画像７と別のディレクトリに表示されたパターン画像７と同じ名称で保存する。

あるいは、パターン画像７の名称と撮影画像８の名称を対応付けるテーブルを記憶装置６に記憶してもよい。

次に、撮影された画像８からレンズと画素の位置関係を推定し（ステップＳ４）、レンズと画素の対応位置関係データ１５を作成する。

ステップＳ４について、図５を用いて詳しく説明する。なお、この実施例では、ステップＳ３で撮影したパターン画像７は、ディスプレイ１の全画面を白表示した画像であることを想定し、ディスプレイ１は、フィールドシーケンシャル方式の液晶ディスプレイやＲＧＢの各サブピクセルの前に光学的なフィルタを置くことによりＲＧＢを混色したり、レンズアレイの焦点距離をずらしてディスプレイを配置したりするなど、ブラックマスクを目立たなくするような、１画素全体が一色に表示されるディスプレイを推奨する。

また、レンズアレイ２の各レンズの間には非レンズ部が存在し、遮光処理（黒でマスクされるなど）がなされているものとする。

まず、図５に示すように、撮影画像８において、レンズアレイ２の一つのレンズ大きさに対応する画素数Ｎを求める（ステップＳ２１）。これは、レンズアレイ２の直径の設計値と、ステップＳ２で得られたディスプレイ１とカメラ理想視点の位置関係、及び、ディスプレイ１の画素の大きさに関する仕様から概算する。

次に、撮影画像８の全画素について、しきい値を設定し、しきい値以上の画素が隣接している場合、一つのレンズ領域として扱うものとし、各レンズ領域を形成する画素数（接続画素数）ｎを調べる（ステップＳ２２）。

接続画素数ｎが、画素数Ｎよりも大きかった場合（ステップＳ２３）、しきい値をより高くするように変更し（ステップＳ２４）、ステップＳ２２へ戻る。この変更は、計測用装置４のユーザ入力部２５から入力してもよいし、予め定めた割合で自動的にしきい値を変更するようにしてもよい。

ステップＳ２３にて、接続画素数ｎが、画素数Ｎ以下だった場合には、レンズ領域を形成する画素の輝度値の加重平均を利用し、レンズ中心位置を推定する（ステップＳ２５）。この推定方法について、図６を用いて説明する。

図６は、パターン画像７を撮影した画像８の一部を示した例である。正方形４７の各一つづつが撮影画像８の画素であり、点線の円４８はレンズが写っている領域だとする。また、撮影画像８の画素の輝度値を、代表する一部の画素に示した。

ここで、例えば、図５のステップＳ２２におけるしきい値が、１００だったとすると、図６に示す左上の領域では、太線４５で囲まれた領域がレンズ領域と判定され、また、右下の領域では、太線４６で囲まれた領域がレンズ領域と判定される。

なお、この例における１レンズに対する画素数Ｎは７である。レンズ領域内の画素ｉ（レンズ領域内の画素のについて１〜ｍの番号をふるとする）の輝度値をｇ_i，座標値を（ｘ_i，ｙ_i）とすると、以下の数式４によりレンズ領域内の中心位置を求める。

続いて、図５において、上記で求めたレンズ中心位置とディスプレイの画素の対応を推定する（ステップＳ２６）。これについて、図４のある断面に相当する図７を用いて説明する。

図７に示す射影面４１における撮影画像８において、点５０の位置がステップＳ２５により推定されたレンズ中心位置であるとする。

レンズアレイ２は、ある距離ｆ離れた位置にディスプレイ１に平行に設置されることから、図３のステップＳ２において、カメラ３とディスプレイ１の関係は求まっているため、レンズアレイ２の底面を含む平面を求めることができる。

すると、レンズ中心５０とカメラ３の理想視点Ｅ（図７中４０）を結ぶ直線と、レンズアレイ２を含む平面との交点５１を求めることができる。交点５１よりディスプレイ１に垂線をおろした点５２がレンズ中心５０に対応する画素位置であるとする。

最後に、図５において、以上のように求めたレンズと画素の対応位置関係データ１５を生成する（ステップＳ２７）。例えば、図８のように、レンズアレイ２のレンズ１つに対してディスプレイ１の４個の画素が対応している場合、撮影画像から求められたレンズＩ（レンズ領域に順に番号をふるものとする、図８中３１）は、ディスプレイ１の画素のｘｙ座標系において、レンズ中心３０が（ｘ_I，ｙ_I）であるとき、レンズ番号Ｉと対応画素の座標値ｘｙを記憶したテーブルとしたデータとする。

あるいは、対応画素の座標値のみ順に記憶したテーブルとしてもよい。なお、この図８の例では、レンズは正方格子上に並んでいるが、最密充填配置や、上下の列間で横方向にレンズ間隔の１／２ずらして配置するデルタ配置など、任意の配列でよい。また、ディスプレイ１の画素の位置は、既知であればよく、デルタ配置などでもよい。

以上のような計測用装置４によるレンズと画素の対応位置関係データ１５の計測は、１度行えば位置関係に変化がない限り、その後は行う必要はない。

レンズ画素対応位置関係データ１５は、立体視ディスプレイ２７の一つ一つに固有であり、立体視ディスプレイ２７が出荷される際には、記憶媒体に記憶したレンズ画素対応関係データ１５もセットとして出荷されるようにしておき、立体視ディスプレイ２７のシリアル番号の情報をレンズ画素対応関係データ１５内にも記憶するようにする。

立体視用画像生成・出力装置１２がＰＣである場合、立体視ディスプレイ２７と接続する際に、記憶媒体に記憶したドライバソフトと一緒にレンズ画素対応位置関係データ１５をインストールするようにすればよい。

この際、ドライバを通じて立体視ディスプレイ２７側のシリアル番号を確認できるようにしておくことで、この立体視ディスプレイ２７とセットのレンズ中心位置データであるかどうかを調べるようにすることで、誤った情報で立体視用画像を生成しないようにすることができる。

なお、本実施例では、１台のカメラで計測することを想定しており、１００μｍの非レンズ部幅のレンズアレイを計測するとき、前記レンズ間隔を１ｐｉｘｅｌで撮影したとすると、現在の８Ｍピクセルのディジタルカメラを用いた場合、１６インチの画面程度まで一度に撮影することが可能である。

それ以上大きな画面を考えるような場合、あるいはより細かく撮影するような場合には、複数のカメラを用いたり、カメラの位置を移動させて撮影したりすればよい。

立体視ディスプレイを複数のカメラ位置で計測する場合には、各画像間のレンズの対応をとる必要があり、ディスプレイの外枠に印をつけておくことで対応付けしたり、一つ以上のレンズに対応する画素のみ明るく表示しておき、その画素とレンズの対応関係が変わらない範囲内において、カメラの位置をかえて撮影することにより対応付けをしたりすればよい。

また、本実施例では、非レンズ部が存在することを想定しているが、レンズ同士がくっ付いたレンズアレイを用いてもよく、レンズ周辺部では中心部よりも輝度が少なく観測されることから、しきい値で一つのレンズ領域を切り分けてもよいし、さらに、輝度変化量を用いることにより、一つのレンズ領域を切り分けるようにしてもよい。

続いて、図３のフローに従って、図１の立体視表示装置２８における処理内容について説明する。立体視用画像生成・出力装置１２は、少なくとも３Ｄデータ１６又は多視点画像データ１７をコンテンツの元として不揮発性メモリ１４に保持している。

まず、３Ｄデータ１６を用いて、立体視用画像２２を生成する場合、レイトレースを用いて立体視用画像２２を生成し（ステップＳ１０）、ディスプレイ１へ表示する（ステップＳ１２）。ステップＳ１０について、図９を用いて説明する。

まず、レンズ画素対応位置関係データ１５と、１レンズに対応する画素数の設計値より、ディスプレイ１上の各画素が対応するレンズの番号を求める。例えば、画素座標系におけるレンズ中心に最も近い画素から設計対応画素数分を割当てればよい。

次に、各画素について対応するレンズ中心と画素の中心を結んだ光線を想定する。例えば、図９の画素５５について、画素５５の中心と対応するレンズ中心３０を結ぶ光線５８を考える。ここで、３Ｄデータ１６に定義された３次元の直方体５７を立体視表示するとする。

このとき、光線５８上で最も観察者に近い表面上の点５６の色と輝度を求め、画素５５に表示するものとする。以上のようなレイトレースによる計算を全画素について行うことにより、立体視用画像２２を生成することができる。

本実施例により立体視画像を生成するためには、非常に高速な演算が必要となるため、図１の立体視用画像生成・出力装置１２のＣＰＵ１９は複数存在してもよい。また、高速な演算を行うため、ＤＳＰを利用したり、グラフィックスボード上のプロセッサ（ＧＰＵ）を利用したりして演算を行ってもよい。

本実施例によれば、レンズアレイのレンズピッチが設計とずれていた場合にも、正確な位置に３次元オブジェクトを定位させるように立体視画像を生成することが可能である。また、ユーザ入力部２４を介して３Ｄデータを変更することにより、ユーザインタラクションを伴うコンテンツを実現することも可能である。

実施例２として、図３のフローにおいて、３Ｄデータ１６から、多視点画像データ１７を生成し、近似的に立体視用画像を生成する場合について説明する。

多視点画像データ１７は、３Ｄデータ１６から、複数視点の画像としてレンダリングしたものとして用意する（ステップＳ７）。このレンダリングの実施例について、図１０を用いて説明する。この実施例では、視点は無限遠と考えた平行投影を利用し、立体視画像を生成しやすいように、投影面は固定した方法を用いる。

まず、図１０において、ディスプレイの解像度に合わせて、投影面６０を定める。次に、３Ｄデータ１６に基づき、立体視表示させたい位置に３次元オブジェクト５７を設置する。

そして、指定した投影方向６２に平行な光線６３を、投影面６０上の各画素６１に対して定義し、光線６３上で最も投影面６０から遠い位置にある３次元オブジェクト５７の表面の色と輝度を画素値とすることで平行投影レンダリングを行う。

この平行投影により作成した画像が多視点画像１７の一つとなり、投影方向の逆方向の単位ベクトル６６とともに不揮発性メモリ１４へ記憶するものとする。

別の視点の画像を生成する際には、投影面６０の位置は固定したまま、この投影方向を、例えば、投影方向６４として、光線６５により別の視点の投影画像を生成する。

視点数については、少なくとも１レンズに対応する画素数分以上、例えば、３×３画素に対応する場合には９視点分以上の画像を用意することが望ましい。

上記のような複数視点画像１７のレンダリングは、立体視用画像生成・出力装置１２で行ってもよいが、別の装置によりレンダリングした多視点画像データを不揮発性メモリ１４に記憶するようにしてもよい。

また、動画データの場合データ量が多くなるため、圧縮して記憶してもよく、画質を優先させる場合には可逆圧縮を利用することが望ましい。

次に、図３において、多視点画像１７とレンズ画素対応位置関係データ１５から、補間を用いて立体視用画像２２を生成する（ステップＳ１１）。なお、多視点画像１７が圧縮されている場合には、伸張した画像を用いて立体視用画像を生成すればよい。これを、図９と図１０を用いて説明する。

まず、レンズ画素対応位置関係データ１５より、図９のように、ディスプレイ１上の画素５５に対応するレンズ中心３０から、画素５５に表示すべき光線５８が求まり、その光線方向の単位ベクトルＲを５９とする。

次に、画素５５に対応する、図１０の多視点画像上の画素６１に着目する。各視点ｊの投影方向の逆向き単位ベクトルｒ_jとしたとき、最も単位ベクトルＲの５９に近い画素の値を強く反映する補間計算を行うことにより、画素５５に表示すべき画素値Ｐを求める。各視点ｊの画素６１の画素値をｐ_jとしたとき、例えば、以下の数式５により求める。

本実施例によれば、立体視用画像を生成する際に必要な計算量を実施例１の場合よりも少なくすることができ、より処理能力の少ないＣＰＵを用いることが可能となる。

なお、本実施例では、３Ｄデータからレンダリングする際に平行投影を用いたが、透視投影を用いてもよく、その場合には、多視点画像上の各画素における投影方向の逆向き単位ベクトルｒ_jをそれぞれレンダリング条件から求めればよい。

このとき、多視点画像とセットとして投影方向逆向き単位ベクトルｒ_jを記憶しておくことにより、立体視用画像生成の際の計算量を減らすことが可能である。

実施例３として、図３のフローにおいて、マルチカメラを用いた多視点での撮影（ステップＳ９）により取得した多視点画像データ１７から、近似的に補間を用いて立体視用画像を生成する（ステップＳ１１）場合について、図１１を用いて説明する。

図３のステップＳ９における撮影について、分かりやすく説明するため、図１１に示す物体７０を２つのカメラで撮影する際のモデルを考える。

各カメラは事前に歪みが補正され、理想視点からの透視投影として画像が撮影されると考え、基準カメラ位置のカメラの理想視点が７１、光軸が７９のとき、カメラの画角から、投影面を７２と考え、理想視点に近い側の物体７０の表面が投影されるとする。

このカメラに対して、光軸７９上の点８３を光軸が通るカメラで、別視点の画像を撮影するとし、理想視点が７３、光軸が８０、投影面が７４であるとする。投影面７２、７４に投影された画像は、それぞれ別の視点の多視点画像データ１７として記憶される。

このとき、撮影情報も合わせて記憶するものとし、本実施例では、カメラの画角、画素数、基準座標における理想視点位置、光軸の向きを撮影情報として記憶するものとする。

次に、図３のステップＳ１１の多視点からの立体視用画像生成において、基準カメラ位置で撮影した際の投影面７２上の画像を基準と考え、ディスプレイの画面全体に表示することを考える。このとき、投影面７４に投影された画像を投影面７２に射影する。

例えば、本実施例では、投影面７２上の各画素の位置に対応する位置として、投影面７２上の点７６に対しては、カメラの理想視点７３と結んだ光線８１上の７５の位置に相当する画素値を投影する。

同様に、点７８については、光線８２上の点７７の位置に相当する画素値を投影する。このとき、投影面７４上の点７５、７７は、必ずしも画素座標の格子点上にはあたらないため、補間して画素値を求めることとする。以上のように求めた投影面７４の画像を投影面７２に投影した画像を投影後別視点画像と呼ぶことにする。

次に、上記のように投影面７４上の画素を投影面７２に投影する際に、利用した光線８１、８２の方向も併せて光線ベクトルとして記憶する。同様に、基準投影面となっている７２の各画素についても、各画素と理想視点７１を結ぶ光線方向について、光線ベクトルとして記憶しておく。

以上の説明はカメラを２つとして説明したが、より多くのカメラを用いて撮影してもよく、１レンズに割当てるディスプレイの画素数以上の視点数で撮影することが望ましい。また、撮影対象が静止物体であれば、一つのカメラを移動することにより、複数の視点の画像を撮影してもよい。

ここで、視点ｊのある位置の画素に対応して記憶された光線ベクトルをベクトルｒｊ、画素の値をＰｊとする。さらに、レンズ画素対応位置関係データ１５から、ディスプレイの各画素の位置とレンズ中心の関係を用いて求めた、各画素における立体視表示用の光線ベクトルをベクトルＲとする。

すると、基準投影面の画素の位置とディスプレイの画素の位置は一致することから、実施例２の数式５に示した計算を用いることにより、光線ベクトルＲに最も近い光線方向の画素値が最も反映された立体視用画像を生成することができる。

ただし、このとき、図３のステップＳ９において撮影したカメラの位置によっては、視点ｊの投影後別視点画像では、注目する画素の画素値が求まっていない場合があり、その場合には、計算から除いて考えるものとする。

なお、図３のステップＳ９において撮影するカメラの位置は、上記のようにある点を中心として理想視点が円状、又は、球面状にしてもよいが、任意の方向に設置してもよく、平行に設置してもよい。各カメラの画素数や視野角は異なってもよく、基準とする投影面に合わせて投影後別視点画像を生成すればよい。

また、本実施例においては、基準カメラ位置で撮影された画像の範囲をディスプレイの全画面に表示するとしたが、撮影範囲の一部のみをディスプレイに表示するようにしてもよい。

本実施例によれば、上記のようにＣＧだけでなく、実写の立体視表示の際にも、実際のレンズと画素の位置関係に合わせた立体視表示が可能となる。

図３のステップＳ９で多視点の画像を撮影する別の方法として、B.Javidi,F. Okano, "Three-Dimensional Television, Video, and Display Technology," p118, Springer(2002)に示された方法により、一つのカメラの前にレンズアレイを置くことにより多視点画像を撮影してもよい。

この場合、レンズアレイを設置した状態で、カメラの投影面の各画素に投影される光線方向を事前に求めておけばよい。また、レンズアレイとカメラの位置関係をずらす機構を設け、視点位置を変えたことに相当する撮影を行うことにより、より多くの視点の画像を得ることができる。このずらし量は、撮影画像面に換算して、１レンズに割当てる撮影画像の画素幅よりも小さいものとする。

本実施例によれば、カメラの前に設置するレンズ１つあたりのカメラの画素数に応じて、撮影される画像の解像度は悪くなるが、カメラ１台で複数視点の画像を効率的に撮影することが可能となる。

実施例１の図３における撮影された画像からレンズと画素の位置関係を推定するステップＳ４に関し、ディスプレイ１が通常のＲＧＢのサブピクセルからなる液晶ディスプレイやプラズマディスプレイなどのディスプレイである場合の、別の実施例について、図１２を用いて説明する。

ディスプレイ１の各画素がＲＧＢのサブピクセルからなり、そのサブピクセルの間はブラックマスクなど非発光部（又は非透過部）であるとする。レンズアレイ２の内のあるレンズ９１に着目したとき、カメラの理想視点Ｅ（図１２中４０）とレンズ中心を結ぶ光線が９２であるとき、カメラの投影面上における輝度値の分布を９０で示している。

レンズ９１が理想的なレンズであり、レンズアレイ２とディスプレイ１との距離がレンズ９１の焦点距離である場合には、レンズ９１の領域は、ブラックマスクが全面に表示されるはずであるが、実際には、レンズ９１には収差などがあり、また、液晶ディスプレイの場合には、ブラックマスクの部分もある程度バックライトの光が透過することから、現実的な分布は９０のようになる。

よって、図１２のように、光線９２とディスプレイ１の交点が非発光部であるとき、ディスプレイ１の全画面を白に表示していても、カメラで撮影された画像上では、暗く撮影されてしまう。

そのため、図５のステップＳ２３により、しきい値を超える接続する画素数ｎが、１レンズに対応する画素数Ｎ以下となった場合に、レンズ領域を検出し落としている可能性、あるいは、一つのレンズ領域を二つのレンズ領域として検出している可能性がある。

そこで、図５のステップＳ２５により、レンズ中心位置を推定した後に、隣り合うレンズ同士の間隔を調べ（ステップＳ３０）、設計したレンズ間隔の１／２以下である場合、又は、３／２以上である場合には（ステップＳ３１）、再度ステップＳ２４へ戻り、しきい値設定をやり直す。なお、ステップＳ３１を通った後のステップＳ２２、Ｓ２５、Ｓ３０の計算では、すでに設計値に近いレンズ間隔と確定した領域については、計算を省略するようにしてよい。

本実施例によれば、通常の液晶ディスプレイを用いた場合にも、レンズ画素対応位置関係データを生成することが可能である。

レンズと画素の位置関係のずれとして、ディスプレイ１にレンズアレイ２を取り付ける際のずれや、レンズアレイ２の温度による収縮が考えられる。このとき、各レンズの間隔は均等であると仮定して、高速にレンズ画素対応位置関係データを生成する実施例について、図１３、図１４、図１５を用いて説明する。

本実施例では、レンズ間隔は均等であると仮定することにより、４隅のレンズと画素との位置関係を求め、残りを補間により求めることを基本とする。そのため、図１３に示すように顕微鏡１０３にカメラ３を取り付け、レンズ一つのみが視野となるような撮影を行うことを想定する。

例えば、カメラ３及び顕微鏡１０３は、立体視ディスプレイ１，２に垂直となるように固定しておき、立体視ディスプレイ１，２を平行移動させ、レンズアレイ２の隅にあるレンズ中心が中心にくるように撮影する。

環境光が存在する状況であれば、レンズ領域を判定することは容易であり、自動的に位置決めを行ってよい。このように、本実施例においては、ディスプレイの画素とカメラで撮影された画像の位置関係が分からない代わりに、レンズ中心とカメラで撮影された画像の位置関係が分かっている状態で、レンズ中心と画素の位置関係を求めることとなる。

図１４は、立体視ディスプレイの一部を拡大表示したものである。ディスプレイ１の画素５５の各座標が（０，０），（１，０），…（１，２），（２，２）のように示されており、レンズ３１の中心位置は（１，１）の画素の左上に存在している状態を示している。

ディスプレイ１の各画素はＲＧＢのサブピクセルからなっているものとし、赤のサブピクセルが１００、緑が１０１、青が１０２のようになっているものとする。

図１５を用いて処理のフローについて説明する。まず、図１３のような装置を用い、図３のステップＳ１において、カメラの歪み補正を行った後、カメラとディスプレイの位置関係を垂直に設定し、レンズアレイの隅のレンズ３１が撮影画像の中央にくるように立体視ディスプレイの位置を調整する（ステップＳ３９）。

次に、ディスプレイ上で表示する画素を決定する（ステップＳ４０）。例えば、図１４のように左上のレンズ中心を求めようとする場合、ディスプレイ上の左上隅から、画素を囲むピクセルに広げていくように順に１画素ずつ表示するようにする。

図１４の場合、座標値の下に書いてある数字が表示する画素の順位及び順番である。（０，０）が表示順位１番目、（１，０），（０，１），（１，１）は順位としては２番目で同じであり、ハイフンの後の枝番が同一順位の画素の中での表示順である。

同一順位の画素については、ステップＳ４０にて表示する画素を決定する時点ですべて表示することを決定し、ステップＳ４１にて、順に表示しては撮影を行うものとする。各画素に表示する色は白とし、各サブピクセルが同じ輝度で表示されているものとする。

次に、ステップＳ４２にて、レンズ中心に対応する画素位置がこれまでに撮影された画像から求まるかどうか調べる。レンズ中心に対応する画素位置の求め方は以下のように行う。

表示順位が同一の画素を撮影した画像すべての中で最も輝度の高い画素を求め、表示順位ｋの最大輝度をＰｋとする。Ｐｋの変化を調べ、極大値が存在しない場合、まだ、レンズ中心が求まっていない可能性があるとして、ステップＳ４０へ戻る。よって、少なくとも表示順位の３番目までの表示は必ず行う必要がある。

ここで、極大値が存在した場合には、極大値をとったときに表示した画素領域内にレンズ中心が存在することが推測できる。そこで、その画素（図１４の場合には（１，１）の画素）に隣接する画素（図１４の場合周囲の８画素）を表示した場合の画像も利用し、以下の方法でレンズ中心に対応する画素位置を求める。

まず、ステップＳ４１で撮影した各画像から中心位置の色を求める。極大値を取ったときの表示画素とその周囲の画素に順に番号Ｉをつけたとして（図１４の場合、Ｉは０〜８）、画素Ｉを表示したときの撮影画像の中心位置における色をＲＧＢに分解したとき、Ｒ_i，Ｇ_i，Ｂ_iであったとする。

また、画素ｉの座標が（ｘ_i，ｙ_i）であったとき、図１４のような場合には、画素の間隔がｑだとすると、その画素のＲＧＢそれぞれの座標は、Ｒ：（ｘ_i−ｑ／３，ｙ_i），Ｇ：（ｘ_i，ｙ_i），Ｂ：（ｘ_i＋ｑ／３，ｙ_i）となる。

カメラで撮影した画像の中心は、レンズ中心に最も近い色になるはずであり、表示した画素の位置と撮影された画像の色を利用した加重平均により、以下の数式６を用いてレンズ中心位置に対応する画素の位置を求める。

なお、フィールドシーケンシャル方式など、画素がサブピクセルに分かれていない場合には、輝度値とピクセル中心座標の情報のみを用いればよい。

以上のようにして、レンズ中心に対応する画素位置を求めたら、レンズアレイ２の４隅のレンズについて、すべて求めたかどうかを調べ（ステップＳ４３）、求め終わっていなければステップＳ３９へ戻る。

求め終わっていれば、４隅のレンズと画素の位置関係の対応より、間のレンズを補間することにより各レンズと画素の位置関係を推定し（ステップＳ４４）、レンズ画素対応位置関係データを生成する（ステップＳ４８）。

ステップＳ４４における補間では、レンズアレイのレンズの個数を利用し、レンズ間隔が等間隔として補間することができる。また、レンズアレイの製造法の特徴として、レンズアレイの中心ほどレンズ間隔がある割合で狭くなるなどの特性が事前に分かっているのであれば、その特性に応じた補間をしてもよい。

以上のように、本実施例によれば効率的にレンズ画素対応位置関係データを生成することが可能であり、レンズ間の間隔が少ない、あるいは、ない場合にも容易にレンズ画素対応位置関係データを求めることが可能である。

実施例６において、より正確にレンズ画素対応位置関係情報を求める場合には、全部のレンズについて、ステップＳ３９からＳ４２を繰り返してもよい。しかしながら、その場合には時間が非常にかかってしまう。そこで、あまり時間を費やさずに、より正確にレンズ画素対応位置関係情報を求める例について、同じく図１５を用いて示す。

本実施例ではステップＳ４４までは、実施例６と同じ処理を行うとする。

次に、立体視ディスプレイの全体を撮影できるカメラを立体視ディスプレイの中心に垂直に設置する（ステップＳ４９）。このとき、カメラとディスプレイの位置関係は求められているものとする。

ステップＳ４４で推定されたレンズ画素対応位置関係情報から、カメラの理想視点とレンズ中心を結んだ光線と交わるディスプレイ上の画素を表示させる。このとき、白を表示してもよいし、より精度を上げるためには、交点に最も近いサブピクセルを表示させる（ステップＳ４５）。

そして、カメラにより立体視ディスプレイの全体を撮影し（ステップＳ４６）、全画面の各レンズについて、推定した通りに表示されているかを確認し（ステップＳ４７）、推定通りであれば、ステップＳ４８へ進み、推定通りでなかった場合には、図３のステップＳ３へ進み、実施例１の推定法を用いてレンズ画素対応位置関係情報を生成する。

この際、レンズと画素の対応が正しかった領域については、図３のステップＳ４でのレンズ領域を求める処理において省略してよい。

本実施例によれば、実施例６における効率性と、実施例１における正確性の両方の性質をもった処理が可能となる。

本発明における立体視表示装置と計測用装置の構成図 図１の立体視表示装置に関する別の構成図 図１の装置を用いて立体視表示する際の処理フローチャート カメラの理想視点からディスプレイ外形を投影面に射影する図 図３のステップＳ４を詳細化したフローチャート カメラで立体視ディスプレイを撮影した図 カメラの理想視点と投影面及び立体視ディスプレイの位置関係の断面図 レンズとディスプレイの画素との関係図 立体視用画像を生成するためのレイトレースを説明する図 複数視点の画像を３Ｄデータから生成する際の説明図 複数視点のカメラ映像を撮影する際の断面図 ＲＧＢサブピクセルとブラックマスクが存在するディスプレイにおける輝度分布を説明するための図 図１５のフローチャートにおける撮影例を示した図 図１５のフローチャートにおけるレンズ中心と画素との関係図 図３とは別の方法によりレンズ画素対応位置関係情報を生成するフローチャート ＩＰ方式の立体視ディスプレイの原理を示す３次元的な説明図 図１６のある断面を示した２次元の説明図

符号の説明

１…ディスプレイ、２…レンズアレイ、３…カメラ、４…計測用装置、９…レンズ画素対応位置推定プログラム、１２…立体視用画像生成・出力装置、１５…レンズ画素対応位置関係データ、１６…３Ｄデータ、１７…多視点画像データ、１８…立体視用画像生成プログラム、２７…立体視ディスプレイ、２８…立体視表示装置

Claims (14)

1. 画像を表示するディスプレイと、前記ディスプレイの複数画素に対応したレンズが複数設けられたレンズアレイとからなる立体視表示装置において、
   前記レンズアレイの各レンズの中心がディスプレイの画素のどの位置に対応するかというレンズ画素対応位置関係情報を利用して、立体視用画像を生成する立体視用画像生成装置を備え、
   前記立体視用画像生成装置が生成した立体視用画像を前記ディスプレイで表示することを特徴とする立体視表示装置
2. 請求項１に記載の立体視表示装置において、前記レンズ画素対応位置関係情報は、歪み補正可能なカメラを用いて、一体となったディスプレイとレンズアレイを撮影し、ディスプレイの外形からディスプレイと撮影画像の位置関係を推定する処理と、撮影画像からレンズアレイの各レンズ中心を推定する処理とから求められた情報であることを特徴とする立体視表示装置
3. 請求項１に記載の立体視表示装置において、前記レンズ画素対応位置関係情報は、歪み補正可能なカメラを用いて、カメラの光軸が各レンズ光軸と一致する位置にて、一体となったディスプレイとレンズアレイの一部を撮影し、ディスプレイ上で表示させる画素の位置を変更して撮影した複数の撮影画像を用いることにより、一部のレンズと画素の対応位置関係を求め、残りのレンズについては、前記一部のレンズ画素対応位置関係から補間することにより求められた情報であることを特徴とする立体視表示装置
4. 請求項１ないし３に記載の立体視表示装置において、前記立体視用画像生成装置は、元となる３次元データから、前記レンズ画素対応位置関係情報を利用し、各画素とレンズ中心を通る光線上の３次元オブジェクトのうち、最も観察者側に近い点の色及び輝度情報を求めることにより、立体視用画像を生成することを特徴とする立体視表示装置
5. 請求項１ないし３に記載の立体視表示装置において、前記立体視用画像生成装置は、複数視点からの画像データを元とし、前記レンズ画素対応位置関係情報を利用し、各画素とレンズ中心を通る光線の位置と向きに近い複数視点からの画像データから補間することにより、立体視用画像を生成することを特徴とする立体視表示装置
6. 請求項１ないし５に記載の立体視表示装置において、前記レンズ画素対応位置関係情報は、ディスプレイ毎に不揮発性メモリに記録されており、前記前記立体視用画像生成装置では、前記レンズ画素対応位置関係情報をディスプレイより取得して立体視用画像を生成することを特徴とする立体視表示装置
7. 請求項１ないし５に記載の立体視表示装置において、前記レンズ画素対応位置関係情報は、ディスプレイ毎にディスプレイと独立する記憶媒体に記録され、前記立体視用画像生成装置は、前記レンズ画素対応位置関係情報を、前記記憶媒体を経由して取得することを特徴とする立体視表示装置
8. 請求項３に記載の立体視表示装置において、前記補間により求められたレンズ画素対応位置関係情報を用いて、歪み補正可能なカメラで撮影した際に、各レンズを通して撮影される画素のみを表示し、カメラで撮影するステップと、前記カメラで撮影された画像上で、画素が正しく対応していな領域を検出するステップとを有し、正しく対応していない領域については、歪み補正可能なカメラを用いて、一体となったディスプレイとレンズアレイを撮影し、ディスプレイの外形からディスプレイと撮影画像の位置関係を推定する処理と撮影画像からレンズアレイの各レンズ中心を推定する処理とからレンズ画素対応位置関係情報を求め直すことを特徴とする立体視表示装置
9. 画像を表示するディスプレイと、前記ディスプレイの複数画素に対応したレンズが複数設けられたレンズアレイと、前記ディスプレイに立体視用画像を表示させる立体視用画像生成装置おいて、
   前記レンズアレイの各レンズの中心がディスプレイの画素のどの位置に対応するかというレンズ画素対応位置関係情報を利用して、立体視用画像を生成することを特徴とする立体視用画像生成装置
10. 請求項９に記載の立体視用画像生成装置において、元となる３次元データから、前記レンズ画素対応位置関係情報を利用し、各画素とレンズ中心を通る光線上の３次元オブジェクトのうち、最も観察者側に近い点の色及び輝度情報を求めることにより、立体視用画像を生成することを特徴とする立体視用画像生成装置
11. 請求項９に記載の立体視用画像生成装置において、複数視点からの画像データを元とし、前記レンズ画素対応位置関係情報を利用し、各画素とレンズ中心を通る光線の位置と向きに近い複数視点からの画像データから補間することにより、立体視用画像を生成することを特徴とする立体視用画像生成装置
12. 画像を表示するディスプレイと、前記ディスプレイの複数画素に対応したレンズが複数設けられたレンズアレイと、前記ディスプレイに立体視用画像を表示させる立体視用画像生成方法おいて、
    前記レンズアレイの各レンズの中心がディスプレイの画素のどの位置に対応するかというレンズ画素対応位置関係情報を利用して、立体視用画像を生成することを特徴とする立体視用画像生成方法
13. 請求項１２に記載の立体視用画像生成方法において、元となる３次元データから、前記レンズ画素対応位置関係情報を利用し、各画素とレンズ中心を通る光線上の３次元オブジェクトのうち、最も観察者側に近い点の色及び輝度情報を求めることにより、立体視用画像を生成することを特徴とする立体視用画像生成方法
14. 請求項１２に記載の立体視用画像生成方法において、複数視点からの画像データを元とし、前記レンズ画素対応位置関係情報を利用し、各画素とレンズ中心を通る光線の位置と向きに近い複数視点からの画像データから補間することにより、立体視用画像を生成することを特徴とする立体視用画像生成方法
    

Images