JP2006115198A - 立体画像生成プログラム、立体画像生成システムおよび立体画像生成方法 - Google Patents

Abstract

【課題】 使用する立体表示デバイスに応じて、立体画像を構成する視点画像の視点位置を自動的に調整し、立体画像の観察時のクロストークを少なくして自然な立体観察を可能とする。
【解決手段】 立体画像生成プログラムは、複数の第１の視点画像から該第１の視点画像のサイズに関する第１のサイズ情報および該第１の視点画像間の視差に関する視差情報を取得する第１の情報取得ステップＳ１０２と、立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得ステップＳ１０３と、該第１のサイズ情報、視差情報およびデバイス情報に基づいて、立体表示デバイスに対応した複数の視点を決定する視点決定ステップＳ１０４と、第１の視点画像を用いて、該決定された複数の視点に対応する複数の第２の視点画像を生成し、該複数の第２の視点画像を用いて立体画像を生成する画像生成ステップｓ０５，１０６とを有する。
【選択図】 図１

Description

本発明は、立体表示デバイスを介して立体観察される立体画像の生成システム、コンピュータプログラムおよび方法に関するものである。

画像を立体的に観察する方法として、インテグラルフォトグラフィを用いる方法や、パララックスバリヤ、レンチキュラ板等の立体表示デバイスを用した方法が知られている。そして、このような立体観察可能な画像（立体画像）を生成するためには、被写体を複数の視点から撮影した画像（視点画像）群を用意する必要がある。

この場合において、比較的少数の複数視点で撮影した視点画像群から、撮影を行っていない視点に対応した視点画像を補間手法により生成して、多数の視点から立体画像観察ができるようにした方法が提案されている。例えば、特許文献１において提案された方法では、複数視点から被写体を撮影した視点画像群から該被写体の奥行き分布を表す視差マップを生成し、該視点画像群と該視差マップとに基づいて任意の視点で撮影したのと同様の仮想視点画像を生成し、該仮想視点画像を用いて立体画像を生成する。

また、立体画像を表示する場合には、立体表示デバイスの画面のサイズを考慮する必要がある。画面サイズに合わせて表示される立体画像のサイズが変化する場合、立体表示デバイスを介して観察者の左右の眼に提示される視点画像間の視差（つまりは立体感）が変化する。視差が小さくなりすぎると、満足な立体感が得られず、また視差が大きくなりすぎると、不自然な立体感を与えてしまう。

このような問題に対処するため、主に２眼式の立体画像表示においては、特許文献２において提案されているように、複数の視点画像の相対位置をシフトさせる等の単純な並進処理等のアフィン処理を用いて、観察者の左右の眼に提示される視点画像間の視差範囲を、一般的な融像範囲と呼ばれる固定値的な視差量にスケーリングする。
特開２００１−３４６２２６号公報（段落００４８〜００８５、図３等） 特開平９−１２１３７０号公報（段落００１２〜００２６、図１等）

しかしながら、上記特許文献２にて提案の手法を多眼式立体表示の場合に適用しても、次の２つの点から不都合がある。

第１に、特許文献２にて提案の手法は、主に２眼式立体表示を想定しているために、表示面上における視差量の許容値、つまりは表示視差許容量を、融像範囲若しくはそれに準じた固定範囲により設定している点である。該手法では、２眼式のように少ない視差画像を提示することを目的としているために、立体表示デバイスが有する個々の光学素子の性能によって左右される、隣接する視点画像間でのクロストーク、すなわち立体表示デバイスが有する個々の光学素子の解像力によって生じる問題、および観察者の眼が最適観察距離から外れた場合に生じる隣接視点画像間の混濁を考慮していないためである。

ここで、立体表示デバイスの個々の光学素子の解像力に起因するクロストークの問題について説明する。まず、図１２には、立体表示デバイスの例として、（ａ）パララックスバリヤおよび（ｂ）レンチキュラレンズを示す。図示のように、このような光学素子に対して相対的に順に視点画像を並べることにより、観察位置において左右の眼に異なる画像を提示することができる。図中の１，２，３，・・・６は各視点画像のインデックスナンバーを表す。

次に、図１３には、立体画像を構成する視点画像の数の変化と、立体表示デバイスから射出される個々の視点画像に対応する光束との関係を示している。（ａ）は２眼、（ｂ）は５眼、（ｃ）は１０眼の場合を模式的に示している。

１３０１は立体表示デバイスの個々の光学素子であり、ここではレンチキュラレンズの場合を示す。また、１３０２はある視点位置に配置された観察者の眼であり、手前に設定したスリットの範囲は光束が眼に入射する有限範囲を示す。

１３０３、１３０４、１３０５は立体画像を構成する個々の視点画像の領域を示す。また、１３０３は個々の光学素子の性能に依存する立体画像面での解像範囲ｒ_ｅｘｐを模式的に表したものである。Ｐは立体表示デバイスの個々の光学素子のピッチ幅Ｐ、ｐは立体画像を構成する個々の視点画像の幅である。つまり、（ａ）のように個々の視点画像の領域ｐが光学素子の解像範囲ｒ_ｅｘｐよりも広い場合には、観察者の眼１３０２にはそれぞれの視点画像のみが入射される。しかし、（ｃ）のように個々の視点画像の領域ｐが光学素子の解像範囲ｒ_ｅｘｐよりも狭い場合には、それぞれの視点画像からの光束のみを観察者の眼に入射させることができず、隣接した視点画像からの光束も観察者の眼１３０２に入射する。

さらに、図１４の（ａ）には、理想的な形状をした光学素子から射出する光束を、（ｂ）には、形状精度の悪い光学素子から射出する光束を示す。これらの光学素子を並列させて像を観察した場合、（ａ）では理想的な平行光束が射出されるため、最適観察距離の近傍で観察すれば、クロストークの小さい像が観察されるが、（ｂ）のように射出される光束が発散している場合には、最適観察距離の近傍で観察したとしても、クロストークにより、複数の隣接視点画像の像が観察されてしまう。その影響は、図１３における像数の変化に対する個々の視点画像から射出される光束の幅の変化から分かるように、像数がある一定以上になり、個々の視点画像の幅が狭くなるに従って避けられない問題となる。

次に、最適観察距離を外れた場合に生じる視差画像の混濁について説明する。図１５には、上記のような光学素子を並列させて像を表示した場合の光束の状態を示す。８０１は立体表示デバイス（立体画像）であり、８０２〜８０６はある最適観察距離を示す。光学素子が理想的にその要求性能を満たす場合、図のように最適観察距離においては像が分離され、あるインデックスで表される視点画像のみが観察される。しかし、最適観察距離を外れた位置で像を観察する場合、複数のインデックスで表される視点画像が眼に同時に入射してしまう。立体表示の視点数が少ない場合には、このクロストークが問題になることが一般的である。

また、図１６には、像数の変化と眼に入射する光束の幅との関係を示す。図１３と同様に、１６０１は立体表示デバイスの個々の光学素子であり、ここではレンチキュラレンズの場合を示す。また、１６０２はある視点位置に配置された観察者の眼であり、手前に設定したスリットの範囲は光束が眼に入射する有限範囲を示す。１６０３、１６０４は立体画像を構成する個々の視点画像の領域を示す。１６０５、１６０６は個々の視点画像の領域の幅から光学素子１６０１を介して理想的に眼１６０２に向けて射出される光束を示している。図１６（ａ），（ｂ）の光束の幅の変化と観察眼の入射可能範囲との関係から類推できるように、個々の視点画像の幅が狭くなるに従ってクロストークの発生が最適観察距離に対して敏感になる。したがって、多眼式の立体画像表示において、観察視点について表示面からの距離をある程度許容する場合には、クロストークが発生してしまうため、個々の視点画像の幅が狭くなる場合、すなわち多くの視点画像によって立体画像を構成する場合には、隣接する視点画像間でのクロストークはより厳しく考慮しなければならなくなる。

ところで、個々の光学素子の解像力は立体表示デバイスの種類、構造、材質、製造方法によって大きく異なる。したがって、具体的には、立体表示デバイスを非常に高精度なガラス製のレンチキュラシートからプラスチック製の簡易的なものに交換した場合等のように、立体表示デバイスを変更した場合、該立体表示デバイスを構成する光学素子の性能の違いからクロストークが生じやすくなる問題が生じる。このため、提示視差量を調整することなく同じ立体画像を観察した場合、観察者に像のボケや像の重なり（重像）を感じさせる等、不快感を与えてしまう。

また、第２に、特許文献２にて提案の視差量の調整手法では、多眼式に特有の運動視差を発生させられなくなってしまう点にある。特許文献２の手法では、提示されるステレオ画像（一対の視点画像）間の位置関係を相対的に平行移動させることにより、視点画像間の視差を調整している。しかし、このような簡易的な手法は、３つ以上の視点画像によって立体画像を構成する場合には有効ではない。なぜならば、多眼式の立体表示においては、視点移動によって運動視差を生じさせるため、自然な運動視差の変化を実現しつつ、観察者に不快感を与えない立体画像を作成するためには、立体画像を構成する視点画像の視点位置自体を変化させる必要があるからである。

本発明は、使用する立体表示デバイスに応じて、立体画像を構成する視点画像の視点位置を自動的に調整し、立体画像の観察時のクロストークを少なくして自然な立体観察が可能な立体画像を生成することを目的の１つとする。

上記の目的を達成するために、１つの観点としての本発明の立体画像生成プログラムおよび方法（システム）は、複数の第１の視点画像から該第１の視点画像のサイズに関する第１のサイズ情報および該第１の視点画像間の視差に関する視差情報を取得する第１の情報取得ステップ（第１の情報取得手段）と、立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得ステップ（第１の情報取得手段）と、該第１のサイズ情報、視差情報およびデバイス情報に基づいて、立体表示デバイスに対応した複数の視点を決定する視点決定ステップ（視点決定手段）と、第１の視点画像を用いて、該決定された複数の視点に対応する複数の第２の視点画像を生成し、該複数の第２の視点画像を用いて立体画像を生成する画像生成ステップ（画像生成手段）とを有する。

また、他の観点としての本発明の立体画像生成プログラムおよび方法（システム）は、物体の三次元モデル情報と、視点画像に対応する視点に仮想的に配置される仮想カメラの撮影パラメータに関するパラメータ情報と、該仮想カメラのビューサイズに関する第１のサイズ情報とを取得する第１の情報取得ステップ（第１の情報取得手段）と、立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得ステップ（第２の情報取得手段）と、該パラメータ情報、第１のサイズ情報およびデバイス情報に基づいて、立体表示デバイスに対応した複数の視点を決定する視点決定ステップ（視点決定手段）と、三次元モデル情報を用いて、該決定された複数の視点に対応する複数の視点画像を生成し、該複数の視点画像を用いて立体画像を生成する画像生成ステップ（画像生成手段）とを有する。

本発明によれば、立体表示デバイスが変更されても立体画像の生成元となる複数の第２の視点画像の視点位置が自動的に調整されるので、観察時のクロストークが少なく自然な立体感を提示可能な立体画像を生成することができる。

以下、本発明の実施例について図面を参照しながら説明する。

図２には、本発明の実施例１である立体画像生成システムの構成を示している。図２において、２０１は画像入力装置であり、異なる視点で撮影された同一被写体に関する複数の画像（第１の視点画像）により構成される入力ステレオ画像を、後述する立体画像合成装置（画像生成手段）２０２に入力する。この画像入力装置２０１は、ＣＦカード（登録商標）やスマートメディア（登録商標）等の固定記録メディアに記録された画像ファイルを読み込む入出力装置、若しくは入出力インターフェースを持つデジタルカメラ、デジタルビデオカメラ等の撮像機器、スキャナ、フィルムスキャナ等のアナログメディアから画像情報をデジタル化して読み込みを行う画像入力機器により構成される。

また、画像入力装置２０１をネットワークと接続し、遠隔地の撮像機器により撮像されて、蓄積、伝送されたネットワーク上に存在するステレオ画像を立体画像合成装置２０２に入力することもできる。

立体画像合成装置２０２は、入力されたステレオ画像の中から少なくとも２枚の視点画像を選択し、必要に応じて仮想視点画像生成を行い、立体画像データを合成する。該立体画像合成装置２０２は、例えば汎用のパーソナルコンピュータにより構成される。

２０３は操作ディスプレイであり、立体画像合成において必要な情報をユーザーとの対話的手順により取得するための表示を行ったり、該取得のアシストを行ったり、立体画像合成処理の処理状況を表示したりする。さらに、メニュー画面や、立体画像を構成する視点画像群を表示することもできる。該ディスプレイ２０３は、コンピュータディスプレイ等により構成される。

２０４は操作入力部であり、マウス、キーボード、ジョイスティック等により構成され、ユーザーがディスプレイ上に表示されたメニュー画像を見ながらメニューを選択するのに用いられる。

２０５は立体表示ディスプレイ２１０や他のコンピュータ等の外部機器と接続された入出力部であり、立体画像データ等をファイルとして出力する。ここで、図２に示す立体表示デバイス２１０は、ＣＲＴ、ＬＣＤディスプレイ等により構成されるディスプレイ部２１０ａと、該ディスプレイ部２１０ａの前面に配置され、ディスプレイ部２１０ａに表示された立体画像を構成する各視点画像からの光束を所定の視点に配置された観察者の左右の眼Ｅに導くレンチキュラ板、パララクスバリア等の光学部材２１０ｂとにより構成されている。

なお、該入出力部２０５は、イーサネット(登録商標)等のネットワークに接続されたネットワークポートやフロッピー(登録商標)ディスク、ＭＯ（登録商標）、ＺＩＰ（登録間商標）、ＣＤ−ＲＯＭ等の固定記録メディアで構成してもよい。なお、入出力部２０４を画像入力装置２０１と同じ機器により構成してもよく、この場合は画像入力装置２０１と入出力部２０５とを共用することができる。

プリンタ２０６は、立体画像合成装置２０２で合成された立体画像を印刷する。印刷された立体画像上に、レンチキュラ板等の立体表示デバイスとしての光学部材を重ねることにより、立体像を観察することができる。

次に、立体画像合成装置２０２の内部構成について説明する。２０２１は本装置全体の制御を司るコントローラとしての中央演算処理装置であり、以下、ＣＰＵと称する。

２０２２は大容量記憶装置であり、画像入力装置２０１等から読み込まれたステレオ画像や生成された仮想視点画像や立体画像データを保存したり、立体表示デバイスや像数に関連して経験的若しくは解析的に設定される表示視差範囲のパラメータの値を記憶したりする。該大容量記憶装置２０２２は、ハードディスク等により構成される。

２０２３は主記憶装置であり、ＲＡＭ等で構成される。該主記憶装置２０２３は、画像入力装置２０１から読み込まれたステレオ画像や大容量記憶装置２０２２に保存されたステレオ画像を主記憶領域上に展開したり、立体画像生成のためのパラメータや生成された仮想視点画像を立体画像生成のために一時的に記憶したりする。さらに、該主記憶装置２０２３は、生成された立体画像データを大容量記憶装置２０２２に記憶させたり、入出力部２０５から出力したり、プリンタ２０６で印刷する前に一次的に記憶したりする。

次に、図１を用いて、本実施例における立体画像合成装置２０２（主としてＣＰＵ２０２１）の処理の流れを説明する。この処理は、ＣＰＵ２０２１内に格納されたコンピュータプログラムである立体画像合成プログラムに従って実行される。

ステップＳ１０１では、ＣＰＵ２０２１は、ステレオ画像を画像入力装置２０１から入力し、大容量記憶装置２０２２に蓄積する。該入力ステレオ画像を構成する複数の視点画像（第１の視点画像）は、例えば図３に示すように、静止している被写体３０３〜３０５に対して、撮像機器３０１の視点（撮影位置）及び視線方向（撮影方向）を変化させながら被写体３０３〜３０５を撮影することにより得られる。図３においては、撮像機器はデジタルカメラ若しくはビデオカメラである。３０２は視点およご視線方向を変化させた後の撮影機器３０１を示している。なお、このように撮像機器を移動させながら撮影する代わりに、２眼以上の多眼カメラを用いてステレオ画像を撮影したり、カメラの撮影光学系にいわゆるステレオアダプタを装着又は組み込んだりしたステレオカメラを用いてもよい。

本実施例においては、入力されたステレオ画像である複数の視点画像に対し、視点画像間の幾何学的歪を解消する平行視処理が施されているものとする。平行視処理とは、視点画像間の幾何配置を、該視点画像間での様々な処理を単純に行うために、いわゆる平行視配置（複数位置でのカメラの撮影光軸方向が平行になるような配置）されたカメラで撮影されたと同等の配置になるように、視点画像群に対して視線変換を行う処理方法であり、「Multiple View Geometry, Hartley and Zisserman, Cambridge Press, (2000)」等に紹介されている既知の手法である。

ステップＳ１０２では、ステレオ画像（各視点画像）のサイズの情報と、視点画像間で生じている視差の画像上での最大値および最小値の情報（存在視差範囲の情報）とを取得する。まず、ステレオ画像サイズを取得するために、立体画像の生成に用いられる基準となるビュー範囲を設定する。ビュー範囲は、画像が歪まないように、次段のステップＳ１０３で設定する出力画像サイズのアスペクト比に合わせたり、ステレオ画像の撮影で撮影画像に含まれてしまった不要な被写体を除外したり、ステレオ画像のシーン領域を制限してステレオ画像に含まれる視差の存在範囲を狭くしたりすることにより設定する。また、ビュー範囲を設定せずに、入力ステレオ画像の画角をそのまま入力ステレオ画像サイズとしてもよい。

また、存在視差範囲を取得するために、入力ステレオ画像を構成する複数の視点画像間でステレオマッチングを行うことにより、視点画像間での個々の画素の対応情報を取得し、該対応情報の差分から視点画像間で生じている視差の最大値と最小値を算出して存在視差範囲を求める。

ここで、ステレオマッチングの概略を図４を用いて説明する。ステレオマッチングには、領域ベースの手法、特徴ベースの手法、勾配法を用いた手法等、様々な手法が存在するが、マッチング対象となる２つの視点画像における画素ごとの視差が求まる手法であればどのような手法を用いてもよい。

本実施例においては領域ベースの一手法である、差分和を用いた単純なテンプレートマッチング手法を特徴点の対応付けに用いた場合について説明する。ここでは、２つの視点画像のうち撮影した視点位置が左側に相当する左画像を基準画像５０１とし、視点位置が右側に相当する右画像を参照画像５０２とし、左画像を基準としてテンプレートマッチングを行うこととする。

この場合、まず、左画像中のある特徴点を選択する。この点を注目点（注目画素）５０４と呼ぶ。そしてこの注目点５０４を中心とした所定サイズの領域をテンプレート５０３として切り出す。

次に、大まかな視点の移動量やカメラの手振れによる視点および視線方向の変動を考慮して、参照画像中での対応点探索領域５０７を任意に定める。そして、対応点探索領域５０７内に存在する特徴点である参照点５０５を順次選択するとともに、該参照点５０５を中心とした、上記テンプレート５０３と同一のサイズのウィンドウ領域５０６について、基準画像中のテンプレート５０３との相関値を求めていく。

例えば、カメラが水平移動する場合には、通常、対応点探索領域５０７は、画像座標の水平方向に長辺を持つ長方形の領域として与えられることが多い。

注目点に対応する参照画像中での対応点は、相関値の最も大きい参照点に決定される。但し、対応点での相関値が所定値より小さい場合、対応点での相関値と２番目に小さい相関値との差が所定値より小さい場合、あるいは対応点近傍での相関値の変化が所定値より小さい場合等は、対応点探索処理に関して信頼性が低いと考えられるので、その点を対応点として決定しない。

以上のようなステレオマッチング処理により、左画像を基準とした右画像の対応情報が求められる。以上のような対応付けを左画像内の他の特徴点についても行う。

なお、ここでは、左画像を基準画像とした場合について説明したが、右画像を基準画像とし、左画像を参照画像として同様の処理を行ってもよい。また、左画像を基準とした処理と右画像を基準とした処理の両方を行って得られた対応点情報の対称性を用いて、特徴点の対応関係が１対１となるように、結果の修正を行ってもよい。

ステレオマッチングにより得られた対応点情報の差分情報を視差値として計算する。例えば、左画像を基準画像と考えた場合、左画像の各画素（各注目画素）に対する右画像での対応点との位置ずれ（視差）ベクトルにより視差を表す。視差ベクトルは、

により求まる。

本実施例においては、立体表示デバイス２１０として、レンチキュラレンズ等、１次元の視差変化のみを表現可能な光学部材を有する立体表示デバイスを用いた場合について説明する。具体的には、視差としては、左画像の各画素に対して右画像の対応点の位置との水平方向での位置ずれを表す１次元方向の視差のみに着目する。したがって、視差ベクトルは、スカラー値（視差値）により表される。但し、立体表示デバイス２１０として、インテグラルフォトグラフィ等、２次元の視差を表すデバイスを用いる場合には、視差をベクトルとして扱い、垂直方向の位置ずれも考慮する。

このようにして求まる視点画像間の視差の最小値及び最大値を取得し、該最小視差値と最大視差値により表される範囲が入力ステレオ画像の存在視差範囲とする。但し、視差の最大値および最小値は、選択したビュー範囲内のみに限定して求められる。したがって、ビュー範囲が変化することにより、入力ステレオ画像の存在視差範囲も変化する。以上のようにして、ステップＳ１０２では、入力ステレオ画像サイズと存在視差範囲とを取得する。

次に、ステップＳ１０３では、操作入力部２０４を介してユーザーに立体表示デバイスを選択させ、該選択された立体表示デバイスに対応して最終的に出力される立体画像のサイズ指定を行う。

本実施例では、図５（ａ）に示すように、プリンタ２０６によって印刷された立体画像を立体視するためのガラスレンチキュラ板およびプラスチックレンチキュラ板や、ＣＲＴ，ＬＣＤ等を有する立体ディスプレイであって、１５inch、ＸＧＡサイズでパララクスバリアを用いたディスプレイＡおよび１５inch、ＸＧＡサイズでレンチキュラ板を用いたディスプレイＢ等、立体表示デバイスの構成、表示形式、表示可能な視点画像数（像数）、立体画像の表示可能領域のサイズ、該デバイスを構成する個々の光学素子の性能等の仕様に関するデバイス情報が異なるデバイスが立体表示デバイスとして選択可能であるとする。

また、立体画像は、図２の立体表示デバイス２１０中に模式的に示すように、左右方向一端の画素垂直ラインを構成する画素が視点画像１を表示し、次の画素垂直ラインを構成する画素が視点画像２を表示し、さらに次の画像垂直ラインを構成する画素が視点画像３を表示するというように、視点画像１〜ｎ（図２では、ｎ＝５）の一部である画素垂直ライン（ストライプ画像）が水平方向に循環的に配置されて構成されている。すなわち、本実施例の立体画像は、各視点画像を１画素垂直ラインずつに分割し、該分割されたストライプ画像を視点の順序とは逆の順番で循環的に並べることによって１画像として合成された画像である。以下、このような立体画像をストライプ式立体画像という。また、このストライプ式立体画像の具体的な合成方法については後述する。

但し、立体画像の形式はこのようなものに限らず、各視点画像の画素を水平方向に視点配列に従って循環的に配置し、かつ画素水平ラインごとに視点の循環位置をずらしたもの等、他の形式のものでもよい。

そして、上記立体表示デバイスの中から立体画像の観察に使用したいデバイスを選択することにより、該デバイスのデバイス情報に基づいて、該デバイスに対応する立体画像中において隣接する２つの視点画像間での表示視差許容量が決定される。

なお、本実施例では、使用する立体表示デバイスを図５（ａ）に示すように、操作ディスプレイ２０３および操作入力部２０４を用いて対話的に選択する。

立体表示デバイスのそれぞれの仕様に対応する表示視差許容値は、事前に、実験的もしくは解析的に求められた、立体表示デバイスが有する個々の光学素子（例えば、レンチキュラ板を構成するレンチキュラレンズ）の解像力に基づいて計算される。

立体表示デバイスの個々の光学素子の解像力は、大容量記憶装置２０２２にデータベースとして保存されている。また、操作入力部２０４から立体表示デバイス２１０を選択する際にパラメータとして入力してもよい。

例えば、立体表示デバイスを対話的にメニューから選択した場合、立体表示デバイスに対応する表示視差許容量が以下のようにして与えられる。

まず、表示視差許容量を、従来の２眼式等の場合のように、ユーザーによる調節と両眼視差の不一致に起因する値により決まる範囲で制限するのか、立体表示デバイスを構成する光学素子の性能により生じるクロストークに起因する値で決まる範囲で制限するのかを判定する手順を行う。

まず、選択された立体表示デバイスのパラメータ（光学素子のピッチ幅Ｐ）と像数ｎとから、立体画像を構成する各視点画像の幅ｐを求める。

ｐ＝Ｐ／ｎ ・・・（２）
次に、各視点画像の幅ｐと立体表示デバイスの個々の光学素子の解像力ｒ_ｅｘｐとを比較する。それぞれのパラメータは、図１３（ａ）のＰ，ｐ，ｒ_ｅｘｐに対応する。図１３（ａ）においてはｎ＝２である。

但し、ｒ_ｅｘｐは比較を行う場合、マージンを考えて、実測値よりも小さい値とするほうがよい。また、最適観察距離を外れた観察位置で立体像を観察する場合は、更にｒ_ｅｘｐをより小さな値として設定するほうがよい。

立体画像を構成する個々の視点画像の幅ｐが立体表示デバイスを構成する個々の光学素子の解像力ｒ_ｅｘｐよりも広い場合には、従来の２眼式のように、観察者による調節と両眼視差の不一致に起因する値により決まる視差範囲、すなわち融像範囲と呼ばれる範囲に表示視差許容量を設定する。

融像範囲の視差量については、２眼式を前提とした立体画像の撮影において古くから研究されており、「３Ｄ映像の設計について（熊田典明，放送技術，１９９２．１１）」等の文献に視差量の設定の手法が示されている。

逆に、立体画像を構成する個々の視点画像の幅ｐが、立体表示デバイスを構成する個々の光学素子の解像力ｒ_ｅｘｐよりも狭い場合には、左右の眼に提示される視点画像間の視差量が、観察者の融像範囲内であるかという問題よりも、最適な視点間距離を取った場合にも、クロストークにより一方の眼球に複数の隣接する視点画像からの光が入射してしまうという問題の影響の方が大きくなる。複数の隣接視点画像からの光が同時に１つの眼球に入射する場合、視点像画像間の視差量による像のずれで生じる二重輪郭等が、観察者に強い不快感を及ぼすことに繋がる。解像力ｒ_ｅｘｐと視点画像のピッチ幅ｐとの関係により重像数を決定し、以下のように視差許容量を決める。

但し、最適観察距離を大きく外れた観察位置で立体像の観察する場合には、図１５に示した光束の分布から分かるように、次第に隣接画像とのクロストークが問題となってくる。このため、最適観察距離を大きく外れた観察位置での立体像観察が想定され、クロストークについて実際の観察位置の最適観察距離からのずれにより生じるクロストークを重視する場合には、特に立体表示デバイスを構成する個々の光学素子の解像力を考慮する必要はない。

立体表示デバイスの個々の光学素子の解像力をデータベースから読み出す代わりに、最適観察距離からのずれの度合いに応じて直接、重像数を決定するだけでもよい。

表示視差許容量が、立体表示デバイスを構成する光学素子の性能により生じるクロストークによって決定される場合は、それぞれの立体表示デバイスを利用して立体画像を最適観察距離で観察した場合に、どれだけの像数が一度に観察できてしまうか、そして一度に複数の視点画像が提示された場合にどれだけ視点画像間のずれが許容できるかで決定される。

図６はあるステレオ画像の立体観察時に生じるクロストークの影響を示す図である。（ａ）は入力ステレオ画像、（ｂ）は（ａ）の入力ステレオ画像から生成された立体画像を立体表示デバイスを通して観察した際に見えるクロストークの影響を受けた像である。また、（ｃ）は（ｂ）のクロストークの影響を示す図である。（ｃ）では、３つの隣接視点画像が単一の視点に配置された眼に入射していることを示す。つまり、（ｂ）に示すように、視差の影響によるずれを持つ重像を観察することになる。

（ｂ）中において、１２０１は立体画像の表示面上でのずれ量を示している。重像の影響は、同一視点で一度に観察される視点画像間の視差量に関係する。つまり、表示視差許容量は、重像のずれ量がどの程度までならば許容できるかによって決定される。

また、図１３に示した立体画像を構成する視点画像数の変化と、立体表示デバイスから射出される個々の視点画像に対応する光束との関係から明らかなように、立体表示デバイスの個々の光学素子に対して挿入される像数に対し、表示視差許容量はある一定の像数以上では反比例する。つまり、一定数以上の像数においては、像数が増加すると表示視差許容量は減少し、例えば像数が倍増すると隣接視点画像間での表示視差許容量は約半分となる。

重像の影響の許容量は主観量であることから、実験的に像数と隣接視点画像間の視差範囲を変化させることにより、それぞれの立体表示デバイスについての表示許容視差量を決定する。但し、表示許容視差量は、視差を持つ部分のテクスチャの細かさにも影響される。つまり、テクスチャがぼやける遠景の沈み込み側の許容視差量は、通常の場合は大きくとることができ、逆にテクスチャがはっきりと現れる飛び出し側の視差値は小さな値に制限される。

次に、立体表示デバイスによって観察される立体画像のサイズの選択（指定）について説明する。まず、立体表示デバイスが選択されることにより、該立体表示デバイスの表示可能領域の情報を取得し、該表示可能領域内の範囲で立体画像サイズを決定する。通常の立体表示デバイスのように、選択された立体表示デバイスとその表示可能領域との関係が１対１の関係にある場合には、繰り返し立体画像サイズを指定する必要はない。

立体表示デバイスとしてプリント画像に重ねて用いられるレンチキュラ板等を選択した場合、立体表示デバイスと印刷可能領域とは当然独立したものとなる。このため、プリンタとプリントされる用紙を選択することにより決まる有効印字領域のサイズが表示可能領域のサイズとなる。

通常は、立体表示デバイスの選択と立体画像サイズの指定（選択）については、図５（ａ）に示すように、本実施例における立体画像生成システムのディスプレイ２０３および操作入力部２０４等を用いて、一括して対話的に選択することができる。

次に、表示可能領域内で立体画像サイズを決定する。表示可能領域をそのまま立体画像サイズとしてもよいが、入力される視点画像（入力ステレオ画像）のサイズと表示可能領域のサイズとのアスペクト比が異なる場合には、立体画像を表示した際に提示される像が歪んでしまう。このため、入力ステレオ画像サイズと表示可能領域のサイズのアスペクト比を確保したり、表示可能領域ぎりぎりまで立体画像を表示したくなかったりする場合には、余白領域を設定して立体画像サイズを決定する。

図５（ｂ）には、具体例として、プリントの場合に表示可能領域内で立体画像サイズを変更する様子を示す。６０１は表示可能領域、６０２はあるサイズ編集前の立体画像サイズ、６０３はあるサイズ編集後の立体画像サイズである。

なお、ステップＳ１０２では入力ステレオ画像サイズと存在視差範囲とを取得し、またステップＳ１０３では立体画像サイズを選択しており、それぞれ独立したパラメータを求めているので、これらの処理の順番を逆にしてもよい。

ステップＳ１０４では、入力ステレオ画像から新たに生成する視点画像（第２の視点画像、以下、仮想視点画像という）の視点（以下、仮想視点という）の位置を決定する。仮想視点位置とは、仮想視点画像を仮想的に撮影したカメラ（仮想カメラ）による撮影位置を示す。本実施例では、仮想視点画像を立体画像に変換したときに、立体表示デバイス２１０を通して提示される立体像の全域において隣接する視点画像間での視差が表示視差許容値を超えない範囲で最大の視差となるという条件下で、仮想視点位置を決定する。具体的には、以下のように、基準となる仮想視点位置を決定した後、順次、上記条件のもとで他の仮想視点位置を決定していく。

まず、ステップＳ１０２で得られた入力ステレオ画像のサイズおよびステップＳ１０３で得られた立体画像のサイズを用いて、入力ステレオ画像と出力立体画像とのサイズ比、すなわち変倍率を求める。

次に、求めた変倍率と、ステップＳ１０２により得られた基準となる視点画像の存在視差範囲、ステップＳ１０３により得られた隣接視点間の表示視差許容値を用いて、次段のステップＳ１０５で生成する仮想視点画像に対応する仮想視点位置を決定する。

ここでは、まず隣接する仮想視点間の表示視差許容値に変倍率の逆数を積算することにより、入力ステレオ画像のスケールに対応する隣接視点間の視差許容値の範囲を求める。

次に、基準となる仮想視点を決定する。基準となる仮想視点の位置はどのような位置でもよいが、本実施例では、入力ステレオ画像の各視点を結ぶ基線上の中間点を基準仮想視点とする。そして、ステレオ画像のスケールに対応した隣接視点間の視差許容値を超えない範囲で仮想視点位置の変位を取り、順次、他の仮想視点位置を決定していく。

図７には、入力ステレオ画像間の視差量と、新たに生成される仮想視点画像の視差量との関係を示す。幾何的な配置の関係により、平行視配置に変換された入力ステレオ画像（ここでは２つの視点画像）１００１，１００２間で算出された視差量に対し、該入力ステレオ画像１００１，１００２の視点を結んだ直線上の仮想視点位置で、入力ステレオ画像１００１，１００２と同じ視線方向を持つ仮想視点画像１００３を生成した場合、その生成された仮想視点画像と入力ステレオ画像のうち一方の視点画像との視差値は、その相対位置関係から一意に決定される。

つまり、入力ステレオ画像の視点間の距離がＳであった場合に、仮想視点画像１００３の視点が入力ステレオ画像の一方の視点画像１００１を基準として、ｔの位置にあるとすると、該一方の視点画像１００１と仮想視点画像１００３間での視差値は、

という形で得ることができる。

（３）式のｄ（ｘ，ｙ）は、（１）式により求めた視差値を、一方の視点画像の座標値に対応付けたものである。ここでは一方の視点画像１００１を基準として他方の視点画像１００２との間で求められる視差値である。また、ｄ’（ｘ，ｙ）は、一方の視点画像１００１を基準として仮想視点画像１００３との間に生じる視差値に対応する。

生成したい仮想視点画像の視線方向が入力ステレオ画像の視線方向と異なる場合には、一旦、入力ステレオ画像との平行視配置における視差値を求め、その後に視線変換を行うことによる対応点位置の変位をその視差に加算することにより、生成する仮想視点画像の各画素位置を計算する必要がある。

このようにして得られる、隣接した仮想視点画像間での視差値が、入力ステレオ画像のスケールにおける隣接視点間の視差許容値に収まる範囲内で仮想視点位置の変位を取りながら、仮想視点位置を順次決定していく。

図８（ａ）は、表示視差許容値が小さい場合において決定された仮想視点位置を、図８（ｂ）は表示視差許容値が大きい場合において決定された仮想視点位置である。

９０１は入力ステレオ画像のうち一方の視点画像、９０２は他方の視点画像である。９０３，９０４は図８（ａ），（ｂ）のそれぞれの場合の仮想視点群である。９０５は入力ステレオ画像の２つの視点を結んだ中点に取った仮想視点の基準位置である。仮想視点群９０３，９０４の位置は、基準仮想視点を中心に水平方向に均等に分布するように決定している。当然、（ａ）の表示視差許容値が小さい場合の仮想視点群の広がりよりも、（ｂ）の表示視差許容値が大きい場合の仮想視点群の広がりの方が大きくなる。

ステップＳ１０５では、前段のステップＳ１０４で決定した仮想視点に対応する仮想視点画像を生成する。

本実施例においては、ビューモーフィング(View Morphing,Steven M.Seitz,C. R. Dyer,Proc. SIGGRAPH 96(1996))の原理を用いて、入力ステレオ画像から直接、仮想視点画像を生成する、ここでは、特開２００１−３４６２２６号公報において提案されている仮想視点の生成手法を用いた場合について、図９のフローチャートを用いて説明する。

ステップＳ１１０１では、入力ステレオ画像のそれぞれの画素に対して視差値が対応するように、Ｓ１０２において得られた存在視差範囲の視差情報を補間し、密な視差分布情報である視差マップを算出する。仮想視点画像生成における視点位置の変化の影響をより精密に再現したい場合には、階層マッチングやアダプティブマッチングと呼ばれる、より高精度な視点画像間の視差値を求めるステレオマッチングを再度実施してもよい。

また、視差情報の補間については、本実施例では、補間される未対応点の算出座標位置と対応点抽出処理で視差値の求まった対応点位置における距離パラメータを重みとして加重平均し、対応点の求まっていない未対応点の位置での視差を次式（４）により求める。

ここで、ｎは補間結果を左右する任意に設定するパラメータであり、ｎの値を小さくしすぎると、求める視差は画像全域からの平均に近くなり、視差分布が一様になる。また、ｎの値を大きくしすぎると、近くの対応点の影響を大きく受ける。計算時間も考慮して、ｎ＝１程度が望ましい。

以上の処理により、左画像に対する密な視差分布情報、つまり視差マップを得る。右画像に対応する密な視差分布は、（４）式の座標位置（ｘ，ｙ）、 （ｘ’，ｙ’）を入れ替えることで得る。

次に、ステップＳ１１０２では、ワーピング処理を行ってステップＳ１０４で得られた入力ステレオ画像に対する相対位置である各仮想視点位置に対応する仮想視点画像を生成する。

具体的には、（４）式で得られる個々の画素のワープ量に従い、ワープ元となる入力ステレオ画像の個々の画素をワープさせることにより、仮想視点の像を生成することができる。生成された仮想視点画像に対してオクルージョン処理、平滑化等の後処理を行うことにより、決定した仮想視点に対応する仮想視点画像が得られる。

ステップＳ１１０３では、生成された仮想視点画像の視線方向を、平行視処理後の入力ステレオ画像の視線方向とは異なる方向にしたい場合に、視線変換を行う。具体的には、視線行列を計算し、画像に適用することにより視線変換後の画像が得られる。

このような手順を、決定した各仮想視点に対して行うことにより、各仮想視点に対応する仮想視点画像が生成される。

本実施例では、入力ステレオ画像から、立体画像の合成に必要な仮想視点画像を生成するための仮想視点を、入力ステレオ画像のサイズ情報と、立体表示デバイスの種類、像数等の仕様に関するデバイス情報と、立体画像の表示サイズ情報に基づいて決定し、次に入力ステレオ画像に基づいて、決定した仮想視点に対応する仮想視点画像を生成することで、適切な視差を有する立体画像を生成する。但し、入力ステレオ画像から仮想視点画像を生成する手法自体についてはその種類は問わない。

従来技術である特開平９−１２１３７０号公報にて提案のように、既に存在する視点画像間の相対位置をシフトさせる等、単純な視点画像のアフィン処理によって観察者の左右の眼に提示される視点画像間の視差範囲を調整する場合、その提示視差量の変化は立体の飛び出し量および沈み込み量について管面に対し近似的に垂直方向に並進するように影響するだけである。また、特に、中心視の場合のように、幾何学的関係から視点画像間の視線方向が互いに平行でない場合は大きな影響の差が出る。このような視差調整方法では、視差の変化に対し、幾何学的関係において正しくない修正を行うことになってしまうため、調整後の視点画像を観察した場合に視差変化に歪みを感じてしまう。

これに対して、本実施例のように、例えば、仮想視点画像の生成にビューモーフィング手法を用いて、画像の視差調整のために仮想視点画像を新たに生成することにより、図８（ａ），（ｂ）に示すように、視点間隔、つまりは仮想視点間の基線長が広がった、より良好に運動視差を再現できる仮想視点画像群を生成することができる。また、中心視の場合のように、視点画像間の視線方向が平行でない場合でも、仮想視点画像の生成処理後に視線方向を変更する視線変換処理を行うことにより、立体画像合成用の視点画像群として、視差変化において歪みのない自然な立体感が得られる仮想視点画像群を最終的に生成することができる。

次に、図１におけるステップＳ１０６では、ステップＳ１０５において生成された仮想視点画像群を合成して立体画像を生成する。そして、生成された立体画像は、プリンタ２０６に出力されて印刷されたり、立体表示ディスプレイ２０３に出力されて表示されたりする。また、入出力部２０５から立体画像データとして出力される場合もある。

ここでは、図２に示すように、立体表示デバイス２１０として、立体画像を表示するディスプレイ部２１０ａの前面にレンチキュラ板（光学部材）２１０ｂを配置し、ディスプレイ部２１０ａに前述したストライプ式立体画像を表示する場合の該ストライプ式立体画像の合成について説明する。

ストライプ式立体画像の合成は、生成された仮想視点画像群における各画像の同一座標の画素を、視点配列とは逆順に配列することにより行う。

まず、視点ｊに対応する仮想視点画像の画素値をＰ_ｊｍｎ（但し、ｍ，ｎはそれぞれ水平、垂直方向の画素配列のインデックス）とすると、該仮想視点画像は以下のような画素値データの２次元配列で表される。

次に、各仮想視点画像を垂直方向に延びる１ラインごとにストライプ状に分解し、該ストライプ画像を実際の視点の配列順とは逆の順番に視点数分だけ並べていく。したがって，合成後の画像は以下に示すようなストライプ画像となる。

但し、上記配列は視点１が左端、Ｎが右端の位置関係に対応する立体画像を表す。ここで、ストライプ画像の配列順序を視点の配列順と逆にするのは、レンチキュラ板２１０ｂを構成するレンチキュラレンズの１ピッチ内で、画像が左右逆に観察されるためである。このストライプ式立体画像は、各仮想視点画像がＨ×ｖのサイズであり、Ｎ個の仮想視点画像を有する場合には、Ｘ（＝Ｎ×Ｈ）×ｖのサイズとなる。

次に、このストライプ式立体画像に対して、レンチキュラ板２１０ｂとのピッチ合わせ（変倍処理）を行う。１ピッチのＲＰ（ｄｐｉ）の画素がＮ画素分存在するので、１ピッチはＮ／ＲＰ（ｉｎｃｈ）となるが、レンチキュラ板２１０ｂにおけるレンチキュラレンズのピッチがＲＬ（ｉｎｃｈ）であるので、画像を水平方向にＲＬ×ＲＰ／Ｎ倍してピッチを合わせる。

また、垂直方向の画素数は、アスペクト比を保存したい場合は、（ＲＬ×ＲＰ／Ｎ）×Ｙ画素となる必要があるので、垂直方向に（ＲＬ×ＲＰ×Ｙ）／（Ｎ×ｖ）のサイズとなる。

ここで、ＲＰ（ｄｐｉ）は印刷の解像度、ＸＰ×ＹＰは印刷サイズ、Ｘ（ＲＰ×ＸＰ）×Ｙ（ＲＰ×ＹＰ）（画素）は印刷する画像のサイズ、ＲＬ（ｉｎｃｈ）はレンチキュラ板２１０ｂにおけるレンチキュラレンズのピッチである。

このように立体画像に対して変倍処理を行い、最終的な立体画像として立体表示デバイス２１０に表示する。変倍処理は、例えば、双線形補間などにより行う。立体画像をプリンタ２０６により印刷した場合には、印刷された立体画像にレンチキュラ板等の光学部材を重ね合わせて観察する。

本実施例によれば、ストライプ式立体画像の生成元画像である仮想視点画像の生成における視点位置（仮想視点位置）を、立体表示デバイスの種類、像数等の情報や立体画像の表示サイズ情報に基づいて自動的に調整するので、十分な立体感を持ち、静止観察時や視点移動観察をした際にクロストークによる不快感を及ぼさない、より自然な立体観察が可能な立体画像を生成することが可能となる。

なお、上記実施例においては、レンチキュラ板を用いた立体表示デバイスに対応した画素配列の立体画像の合成方法について説明したが、本発明は、いわゆる斜めレンチキュラシート、パララックスステレオグラム、ホログラフィックステレオグラム等を用いた立体表示デバイスに対応した画素配列の立体画像を合成する場合にも適用することができる。

また、上記実施例では、立体画像の合成に、入力ステレオ画像から新たに生成された仮想視点画像群のみを用いた場合について説明したが、入力ステレオ画像中の視点画像に対応する視点が、ステップＳ１０４で決定される仮想視点に一致する場合は、その入力ステレオ画像に含まれる視点画像を立体画像生成用の視点画像として含めてもよい。

さらに、上記実施例においては、仮想視点画像の生成手法として、平行視配置におけるビューモーフィング手法により視線方向が平行となる仮想視点画像を生成する場合について説明したが、生成後の仮想視点画像に対して視線変換等のアフィン処理を加えることにより、シーン内の特定物体に対して各仮想視点画像の視線方向が向かう、中心視の仮想視点画像群を生成してもよい。つまり、仮想視点画像の視点位置および視線方向は、任意でよい。

上記実施例１においては、ステレオ画像を入力として、表示サイズ若しくは立体表示デバイスの種類や像数が変更されるごとに、観察者にクロストークによる不快感を与えない範囲で最も大きな立体感（視差）を与えるように、立体画像を生成するための仮想視点画像の視点位置を自動的に調整し、適切な立体感を感じさせる立体画像を生成したが、入力を三次元モデル情報とすることも可能である
本実施例の立体画像生成システム構成は、実施例１のシステム構成と基本的に同じであるので、本実施例において共通する構成要素には実施例１と同符号を付す。但し、立体画像合成装置２０２における処理が図１０に示すフローチャートように変更される。なお、該処理は、立体画像合成装置２０２のＣＰＵ２０２１内に格納されたコンピュータプログラムである立体画像合成プログラムに従って実行される。

本実施例にいう三次元モデル（情報）とは、物体の表面の頂点座標および頂点列で形成されるポリゴンと、該表面の色や反射率等の属性を表す２次元テクスチャ画像とから構成される、実物体を三次元でモデリングした情報である。該三次元モデルをある三次元の仮想空間内に配置し、該三次元モデルに対して移動、回転、拡大などの操作を行って仮想空間内での配置を変更することで、所望のシーンを構築することができる。このようにして三次元モデルが配置された仮想空間において、更に任意の仮想視点位置に仮想カメラを設置して画像をレンダリングすることにより、仮想視点画像を生成することができる。

ステップＳ１４０１では、１又は複数の物体の三次元モデルと、該三次元モデルの仮想空間での配置情報も含む詳細な三次元モデル情報を外部機器との入出力部２０５から入力し、主記憶装置２０２３もしくは大容量記憶装置２０２２に記憶する。

更に、入力された三次元モデルの形状や配置を変更したい場合には、立体表示ディスプレイ２０３に仮想空間における三次元モデルの配置を表示し、操作入力部２０４を介して変形、移動、回転、反転、拡大・縮小等の操作を行う。

ステップＳ１４０２では、仮想空間内に設置された仮想カメラの撮影パラメータおよび仮想カメラの撮像面におけるビューサイズを決定する。仮想カメラの撮影パラメータが決定されることにより、仮想空間と実空間とのスケールが決定される。仮想カメラの撮影パラメータとは、撮影方向（視線方向）、撮影倍率等、カメラの内部パラメータである。

ステップＳ１４０３では、実施例１のステップＳ１０３と同様に、選択された立体表示デバイスのデバイス情報から表示視差許容量を求めるとともに、表示立体画像サイズの指定を受ける。

ステップＳ１４０４では、仮想視点画像を撮影する仮想カメラの位置、すなわち仮想視点位置を決定する。まず、ステップＳ１４０２において決定された仮想カメラの撮影パラメータ、ビューサイズ、さらにはステップＳ１４０３で取得された表示視差許容量および表示立体画像サイズから、仮想カメラの視点において生成される仮想視点画像のスケールにおける、仮想視点画像間での許容視差量の範囲を求める。

次に、仮想視点画像を順次生成するために、仮想視点位置を決定する。図１１において、１５０１は基準となる視点の仮想カメラ、１５０２は視点移動後の仮想カメラ、１５０３、１５０４、１５０５は仮想空間内の三次元モデルである。

まず、実施例１と同様に、基準となる仮想カメラの視点位置を決定する。本実施例では、図１１における視点位置１５０１とする。次に、該視点位置１５０１を基準として、次の仮想カメラの視点位置を決定する。仮想カメラの視点位置の決定においては、順次生成される仮想視点画像の前時点で決定された視点位置（最初は基準とした視点位置１５０１）に対応する仮想視点画像と、次に選択された視点位置における仮想視点画像との間の視差量が、仮想視点画像のスケールにおける許容視差量を超えないことが条件となる。

すなわち、まず次の仮想カメラの視点位置を任意に選択する。そして、基準となる視点位置において生成される仮想視点画像との間に生じる視差量を求める。さらに、画像全域の視差量について、仮想視点画像のスケールにおける許容視差量との比較を行い、生成される仮想視点画像間の視差量が許容視差量を超えていない場合はその視点位置の仮想視点位置としての選択を許可する。一方、許容視差量を超えた場合は、より小さな視点の移動の中で次の仮想カメラの視点位置を新たに選択するという形で、１つの仮想視点画像についての仮想カメラの視点位置を決定していく。

また、視差情報は、例えば図１１のようにそれぞれの仮想カメラを仮想空間内に設置し、仮想空間内に設置された物体へとレイトレースを行い、撮影パラメータおよびビュー範囲に基づいて、仮想カメラによって撮影された２つの仮想視点画像間の一方の画像を基準とした視差情報を求めていく。また、仮想空間内に設置された３次元モデルおよび仮想カメラの幾何的な位置情報は既知であることから、幾何演算により、部分的に視差情報を求めてもよい。

１つの仮想視点画像の視点位置が決定されると、その視点位置が次の視点位置の決定における基準視点位置となる。こうして、仮想視点位置を順次決定していき、立体画像を構成する仮想視点画像数を満たす仮想視点位置が決定される。

ステップＳ１４０５では、ステップＳ１４０４で決定された仮想視点位置に対応する仮想視点画像を順次レンダリングすることにより、立体画像を合成するために必要な数の仮想視点画像群を生成する。

さらに、ステップＳ１４０６では、仮想視点画像群から立体画像を合成し、立体表示デバイス２１０やプリンタ２０６等に出力する。

本実施例によれば、三次元モデル情報を入力として、立体表示デバイスの種類、視点画像数（像数）等の仕様に関するデバイス情報および表示立体画像サイズが変更されるごとに、立体画像の生成元画像である仮想視点画像の生成における視点位置（仮想視点位置）を自動的に調整するので、十分な立体感を持ち、静止観察時や視点移動観察をした際にクロストークによる不快感を及ぼさない、より自然な立体観察が可能な立体画像を生成することが可能となる。

なお、本発明は、上述した各実施例のシステム構成に限定されず、複数の装置から構成されるシステムに適用しても、１つの装置からなるシステムに適用してもよい。

本発明の実施例１である立体画像生成システムの処理を示すフローチャート。 実施例１の立体画像生成システムの構成を示す図。 実施例１における入力ステレオ画像の撮影方法を説明する図。 実施例１において行われるステレオマッチングの方法を説明する図。 実施例１における立体表示デバイスと立体画像サイズを選択する様子を説明する図。 実施例１におけるクロストークの影響と表示視差許容値の関係を説明する図。 実施例１における入力ステレオ画像と仮想視点位置との関係を示す図。 実施例１における立体表示デバイスの違いによる仮想視点位置の違いを説明する図。 実施例１における仮想視点画像の生成手順を説明するフローチャート。 本発明の実施例２である立体画像生成システムの処理を示すフローチャート。 実施例２における三次元モデルからの仮想視点画像の生成を説明する図。 立体表示デバイスの例を示す図。 立体画像を構成する視点画像数の変化と射出される光束との関係を説明する図。 立体表示デバイスの光学素子の形状による射出光束の変化を説明する図。 立体画像の最適観察位置とクロストークの発生との関係を説明する図。 立体画像を構成する視差画像数の変化と観察眼に入射する光束の幅との関係を説明する図。

符号の説明

２０１ 画像入力装置
２０２ 立体画像合成装置
２０３ 操作ディスプレイ
２０４ 操作入力部
２０５ 外部機器との入出力部
２０６ プリンタ
２１０ 立体表示デバイス

Claims (11)

1. 複数の第１の視点画像から該第１の視点画像のサイズに関する第１のサイズ情報および該第１の視点画像間の視差に関する視差情報を取得する第１の情報取得ステップと、
   立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得ステップと、
   前記第１のサイズ情報、視差情報およびデバイス情報に基づいて、前記立体表示デバイスに対応した複数の視点を決定する視点決定ステップと、
   前記第１の視点画像を用いて、該決定された複数の視点に対応する複数の第２の視点画像を生成し、該複数の第２の視点画像を用いて前記立体画像を生成する画像生成ステップとを有することを特徴とする、コンピュータ上で動作する立体画像生成プログラム。
2. 前記第２の情報取得ステップにおいて、前記立体画像のサイズに関する第２のサイズ情報を取得し、
   前記視点決定ステップにおいて、前記第１および第２のサイズ情報、前記視差情報および前記デバイス情報に基づいて前記複数の視点を決定することを特徴とする請求項１に記載の立体画像生成プログラム。
3. 物体の三次元モデル情報と、視点画像に対応する視点に仮想的に配置される仮想カメラの撮影パラメータに関するパラメータ情報と、該仮想カメラのビューサイズに関する第１のサイズ情報とを取得する第１の情報取得ステップと、
   立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得ステップと、
   前記パラメータ情報、前記第１のサイズ情報および前記デバイス情報に基づいて、前記立体表示デバイスに対応した複数の視点を決定する視点決定ステップと、
   前記三次元モデル情報を用いて、該決定された複数の視点に対応する複数の視点画像を生成し、該複数の視点画像を用いて前記立体画像を生成する画像生成ステップとを有することを特徴とする、コンピュータ上で動作する立体画像生成プログラム。
4. 前記第２の情報取得ステップにおいて、前記立体画像のサイズに関する第２のサイズ情報を取得し、
   前記視点決定ステップにおいて、前記パラメータ情報、前記ビューサイズ情報、前記デバイス情報および前記サイズ情報に基づいて、前記複数の視点を決定することを特徴とする請求項３に記載の立体画像生成プログラム。
5. 前記視点決定ステップにおいて、前記立体表示デバイスの視差許容範囲において最大の視差が得られるように前記複数の視点を決定することを特徴とする請求項１から４のいずれか１つに記載の立体画像生成プログラム。
6. 前記視点決定ステップにおいて、前記立体表示デバイスの視差許容量に基づいて前記複数の視点を決定することを特徴する請求項５に記載の立体画像生成プログラム。
7. 前記視点決定ステップにおいて、前記立体表示デバイスの解像力に基づいて前記複数の視点を決定することを特徴する請求項５に記載の立体画像生成プログラム。
8. 複数の第１の視点画像から該第１の視点画像のサイズに関する第１のサイズ情報および該第１の視点画像間の視差に関する視差情報を取得する第１の情報取得手段と、
   立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得手段と、
   前記第１のサイズ情報、視差情報およびデバイス情報に基づいて、前記立体表示デバイスに対応した複数の視点を決定する視点決定手段と、
   前記第１の視点画像を用いて、該決定された複数の視点に対応する複数の第２の視点画像を生成し、該複数の第２の視点画像を用いて前記立体画像を生成する画像生成手段とを有することを特徴とする立体画像生成システム。
9. 物体の三次元モデル情報と、視点画像に対応する視点に仮想的に配置される仮想カメラの撮影パラメータに関するパラメータ情報と、該仮想カメラのビューサイズに関する第１のサイズ情報とを取得する第１の情報取得手段と、
   立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得手段と、
   前記パラメータ情報、前記第１のサイズ情報および前記デバイス情報に基づいて、前記立体表示デバイスに対応した複数の視点を決定する視点決定手段と、
   前記三次元モデル情報を用いて、該決定された複数の視点に対応する複数の視点画像を生成し、該複数の視点画像を用いて前記立体画像を生成する画像生成手段とを有することを特徴とする立体画像生成システム。
10. 複数の第１の視点画像から該第１の視点画像のサイズに関する第１のサイズ情報および該第１の視点画像間の視差に関する視差情報を取得する第１の情報取得ステップと、
    立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得ステップと、
    前記第１のサイズ情報、視差情報およびデバイス情報に基づいて、前記立体表示デバイスに対応した複数の視点を決定する視点決定ステップと、
    前記第１の視点画像を用いて、該決定された複数の視点に対応する複数の第２の視点画像を生成し、該複数の第２の視点画像を用いて前記立体画像を生成する画像生成ステップとを有することを特徴とする、コンピュータ上で動作する立体画像生成方法。
11. 物体の三次元モデル情報と、視点画像に対応する視点に仮想的に配置される仮想カメラの撮影パラメータに関するパラメータ情報と、該仮想カメラのビューサイズに関する第１のサイズ情報とを取得する第１の情報取得ステップと、
    立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得ステップと、
    前記パラメータ情報、前記第１のサイズ情報および前記デバイス情報に基づいて、前記立体表示デバイスに対応した複数の視点を決定する視点決定ステップと、
    前記三次元モデル情報を用いて、該決定された複数の視点に対応する複数の視点画像を生成し、該複数の視点画像を用いて前記立体画像を生成する画像生成ステップとを有することを特徴とする、コンピュータ上で動作する立体画像生成方法。

Images