JP2009524349A - 立体表示システムの調整方法 - Google Patents

Abstract

立体表示システム（１４０）において不整合を調整する方法は、一対の入力画像を画像処理装置（１２０）へ供給するステップと、画像捕捉／生成処理で導入された垂直不整合を補正するために一対の入力画像から画像ソース変位マップを生成するステップと、表示システムに導入された如何なる空間的不整合も補償するために一対の試験目標を用いて表示変位マップを得るステップ（１５０）と、調整された立体画像対を生成するよう一対の入力画像へ画像ソース変位マップ及び表示変位マップを適用するステップとを有する。

Description

本発明は、概して、立体捕捉処理及び表示システムの分野に関する。より具体的には、本発明は、画像処理アルゴリズムを用いてソース画像及び表示システムにおける空間的不整合を補償する方法を提供する立体システムに関する。

通常の人の視覚体系は、２つの目を通して２つの別個の世界観を提供する。夫々の目は、鼻側で約６０度及び側頭側で約９０度の水平視野を有する。２つの目を有する人は、全体的により広い視野を有するのみならず、自身の２つの網膜で形成される２つのわずかに異なる画像を有しており、従って、異なる視点（viewing perspectives）を形成する。通常の人の両眼視では、夫々の対象の２つのビューの間の視差は、対象の間の相対的な深さを得るために人の脳によって合図（cue）として使用される。この導出は、２つの画像における対応する対象の相対的な水平変位を比較することによって達成される。

立体ディスプレイは、夫々の目に異なる画像を表示することによって水平視差合図を視覚体系に提供するよう設計される。既知の立体ディスプレイは、通常は、時間、波長又は空間において異なる画像を分けることによって、観察者の２つの目の夫々に異なる画像を表示する。かかるシステムは、液晶シャッターを用いて時間において２つの画像を分け、レンズ型スクリーン、バリアスクリーン又は自動立体投影を用いて空間において２つの画像を分け、色フィルタ又は偏光器を用いて光学特性に基づき２つの画像を分ける。

当然、２つの目が概して水平方向に動かされる間は、それらは概して垂直方向には動かされない。従って、水平視差は予期されるが、垂直視差は予期されず、立体表示システムの有用性を著しく低下させうる。例えば、２つの画像において対応する対象の間に存在する垂直変位又は不整合は、２つの画像を単一の認知可能な画像に融合する観賞者の能力を低下させ、観賞者は、眼疲労及び他の好ましくない副作用を経験する可能性がある。不整合の量が小さい場合には、垂直視差の存在は、目の疲れ、奥行きの低下、及び奥行き認知の部分的な損失をもたらす。垂直不整合の量が大きい場合には、垂直視差は、視野闘争及び奥行き認知の総体的な損失をもたらしうる。

垂直不整合は、画像捕捉及び画像表示の間を含む様々な段階で立体画像に導入され得る。画像捕捉の間は、立体画像対は、通常は、その画像対のいずれか一方の画像が異なる光学系を通して捕捉されることで記録され、それらの画像は、それ自体、常に垂直に整列されるわけではない。あるいは、２つの画像は、１つのカメラを用いて、後に捕捉の間でカメラをシフトすることによって記録される。カメラがシフトする間にカメラの垂直位置は変化しうる。捕捉システムが垂直不整合に関してはオフである場合には、立体対の全ての画素は、垂直にある量だけオフでありうる。台形歪みは、また、捕捉システムに近い対象をしばしば捕捉する必要がある場合に、カメラが互いに平行に位置付けられない場合に生じうる。この台形歪みは、しばしば、場面の反対側に位置する対象の縦の大きさを減じ、この台形歪みは、立体対における異なる画素に関して異なる量の垂直不整合をもたらす。従って、台形歪みによる垂直不整合は、画像の中央に比較して画像の角でより一層大きくなりうる。２つの捕捉は、また、回転又は拡大差分を有することがあり、立体画像において垂直不整合を引き起こす。回転及び拡大差分からの垂直不整合は、一般に、画像の角でより大きく、画像の中心に近い場所でより小さい。通常、立体画像の垂直不整合は、上記の要素の結合の結果である。走査処理は、また、画像が捕捉され又はフィルムのようなアナログ媒体に記憶される場合に、このような垂直不整合を引き起こすことがあり、スキャナは、アナログ画像をデジタルに変換するために使用される。

垂直視差は、また、表示光学系の垂直不整合又は回転若しくは拡大によって生じうる。多くの立体表示システムは、多数の光学及び表示部品から各々構成される２つの独立した画像チャネルを有する。２つのチャネルのために使用すべき２つの同一の部品を製造することは極めて困難である。更に、また、２つの画像チャネルが垂直位置で互いに同一であって且つ水平位置で正確にオフセットされるようにシステムを組み立てることは極めて困難である。結果として、様々な空間的不整合が２つのチャネルの間に導入され得る。表示システムにおけるかかる空間的不整合は、立体画像における空間的変位として表される。立体画像では、水平変位は、一般に、深さの差として解釈され得、一方、垂直変位は、ユーザ不快感をもたらしうる。ある程度の垂直変位を伴う画像を提示しうる立体システム（頭部搭載型ディスプレイ）は、通常は、相対表示のための極めて厳しい許容範囲を有する。この厳しい許容範囲の存在は、しばしば、製造を複雑にし、このような装置を製造する費用を増大させる。

画像処理アルゴリズムは、立体捕捉システムで生ずる空間的不整合を補正するために使用されてきた。米国特許番号６，１９１，８０９号及びＥＰ１２３５４３９Ａ２は、立体捕捉装置によって、具体的には、立体内視鏡によって生成される立体画像の不整合を電子的に補正する手段について記載する。捕捉空間における目標は、較正のために使用される。目標の捕捉された左右の画像から、捕捉装置の拡大及び回転誤差は順次に推定され、捕捉された画像を補整するために使用される。水平及び垂直オフセットは、拡大および回転誤差が補正された目標の捕捉された画像の第２の組に基づき推定される。

米国特許出願公開番号２００３／０１５６７５１Ａ１は、２つの捕捉された画像を修正し、その後に、修正された画像対から垂直視差を除去するよう一対の調整変形を決定する方法について記載する。調整の目的は、立体画像対を平行でないカメラ設定から垂直平行なカメラ設定へと変形することである。この方法は、捕捉された画像と、立体画像捕捉装置のパラメータの統計値とを入力としてとる。パラメータは、例えば、単一のカメラの焦点距離及び主点のような固有パラメータと、例えば、２つのカメラの間の回転及び移動のような外因性パラメータとを含みうる。ワーピング（warping）方法は、調整変形を立体画像対に適用するために使用される。上記の引用文献の夫々は、捕捉装置に関する情報を必要とし、あるいは、画像処理システムを捕捉処理へ結び付けることを要する。未知の画像ソースの場合には、上記の方法は適切に機能しない。

また、立体表示システムのある構成要素を整列させる必要があることが分かっている。米国特許出願公開番号２００４／０２６３９７０Ａ１は、ソフトウェア手段を用いて（両凸）レンズ状レンズ（lenticular lenses）をディスプレイに整列させる方法を開示する。ソフトウェアは、ディスプレイにおいて画素配列上にレンズ配列を位置付けるのに役立つようテストパターンを提供するプログラムを有する。アラインメント相では、ユーザは、レンズ状スクリーンに対してディスプレイに示されるテストパターンの回転位置を示す幾つかの入力手段を使用する。インストールのアラインメント相によって決定される情報は、その後に、コンピュータに記憶され、レンダリングアルゴリズムがディスプレイ上の内在する画素パターンに対してレンズ状スクリーンの回転を補償することを可能にする。レンズ状スクリーンの回転アラインメントを補償するようソフトウェア処理を行う実際のアルゴリズムは当該文献に記載されないが、レンズ状スクリーンの不整合は、右目に対して左目によって見られる画素の位置の水平シフトを主としてもたらしうることが予測され、かかるアルゴリズムは、このようなアーティファクトを補償するよう期待される。従って、この文献は、立体表示システム内の垂直不整合を補償する方法を提供しない。
ＵＳ６，１９１，８０９ ＥＰ１２３５４３９Ａ２ 米国特許出願公開番号２００３／０１５６７５１Ａ１ 米国特許出願公開番号２００４／０２６３９７０Ａ１

従って、捕捉システムを知らなくとも２つの立体画像の間の総体的な空間的不整合を最小限にすることが可能な立体表示システムを作る必要がある。更に、表示システムにおいて垂直及び水平の空間的不整合を補償する方法が必要である。当該方法は、更に、ロバストであって、処理が実時間で実行されるように最低限の処理時間を要し、最小限のユーザインタラクションを必要とすべきである。

本発明は、上記の問題の１又はそれ以上を解消することを目的とする。

本発明の一態様に従って、画像処理アルゴリズムは、原因を予め知らなくとも画像捕捉／生成処理に導入された垂直不整合を補正するよう開発される。画像処理アルゴリズムは、２つの画像を比較し、一の画像を他に記録する。画像記録処理は、水平及び垂直の両方向に関する２つの変位マップを生成する。アルゴリズムは、２つの画像を垂直方向で適切に整列させるよう画像の一方又は両方に垂直変位を適用する。本発明の方法は、また、一対の試験目標、双眼映像カメラセット、映像混合器、及び映像モニタを用いて表示変位マップを生成する。この変位マップは、立体画像を前処理し、従って、表示システムに導入された如何なる空間的不整合も補償するために画像ワーピングアルゴリズムによって使用され得る。全体に、本発明は、立体表示システムにおいてソース又は表示装置のいずれかによって引き起こされる空間的不整合を最小限とする総合的解決方法を提供する。

本発明の上記及び他の目的、特徴及び効果は、以下の記載及び図面を参照して、より明らかになるであろう。図面において、同一の参照番号は、可能であれば、図に共通する同一の特徴を示すために使用されている。

理解を容易にするよう、同一の参照番号は、可能であれば、図に共通する同一の要素を表すために使用されている。

本明細書は、具体的に、本発明に従う装置、その一部又は当該装置とより直接的に協働する要素を対象とする。当然、具体的に図示又は記載をされない要素は、いわゆる当業者によく知られている様々な形態をとりうる。

本発明は、入力画像を画像処理装置へ供給するステップと、画像ソース変位マップを生成するステップと、表示変位マップを得るステップと、調整された立体画像対を形成するよう入力画像へ画像ソース変位マップ及び表示変位マップを適用するステップとを有する、立体表示システムにおいて不整合を調整する方法を対象とする。画像ソース変位マップ及び表示変位マップは、システム変位マップを形成するよう結合されても良く、このマップは、単一のステップで入力画像へ適用されても良い。代替的に、画像ソース変位マップ及び表示変位マップは、別々のステップで交互に入力画像へ適用されても良い。更に、本発明の方法を用いるシステムが提供される。更なる方法は、入力画像の解析に基づき画像ソース変位マップを形成及び適用し、また、表示変位マップを形成及び適用するよう提供される。

本発明は、立体画像システムの１又はそれ以上の構成要素が、観察者に不快感を与えうるある程度の空間的不整合を導入するところの立体画像システム内で適用される場合に有用である。ソース画像の垂直不整合は、一対の立体画像に関し画像変形関数を計算し、１つの画像が第２の画像と合わせられるよう変形されるべき程度を示し、垂直変位マップを生成するよう垂直補償を提供し、立体画像の少なくとも１つに関し作業変位マップを計算し、計算された作業変位マップを用いて立体画像を変形することにより垂直変位を補正することによって、補償される。このような処理チェーンは、更に、表示の不整合によって形成される垂直又は水平変位を補償するよう、垂直及び水平の両変位を含む変位マップを形成することによって表示特性を考慮しうる。表示システムの空間的不整合は、表示システム変位マップを生成し、観賞者が最小限のシステム導入された空間的不整合を伴った立体画像対を認知するように、画像の１又はそれ以上を前処理するようワーピングアルゴリズムを適用することによって、補償される。

このような画像処理チェーンは、立体画像鑑賞体験の快適性及び品質を改善することができる。本発明は、垂直視差を含む画像が不快感を導入するよう示されるところの、本願出願人による調査結果に基づく。鑑賞体験におけるこのような改善は、しばしば、高まるユーザの喜び、契約及び／又は存在に関して、高められたユーザ快適性又は向上した鑑賞体験をもたらしうる。このような改善は、また、立体画像対によって再現される画像内の距離又は深さの推定のようなタスクの完了の間のユーザの能力の改善と結び付けられ得る。

本発明を実施するのに有用なシステムを図１に示す。このシステムは、立体画像情報又はコンピュータグラフィックスモデル及びテクスチャを得るための画像ソース１１０と、画像ソースから水平及び垂直の変位マップを取り出し、水平不整合を最小限とするよう入力画像を処理する画像処理装置１２０と、立体画像をレンダリングするレンダリング処理装置１３０と、レンダリングされた立体の画像の対を表示する表示装置１４０とを有する。このシステムは、また、表示変位マップを得る手段１５０と、表示歪みマップを記憶する記憶装置１６０とを有する。レンダリング処理装置１３０で、表示変位マップは、表示システムにおいて不整合を補償するよう画像処理装置１２０からの画像を再レンダリングするために使用される。

画像ソース１１０は、立体画像情報を供給可能な如何なる装置又は装置の組み合わせであっても良い。例えば、この画像ソースは、立体画像情報を補足可能な一対の静止又は映像カメラを有することができる。代替的に、画像ソース１１０は、１又はそれ以上の立体画像を記憶可能なサーバであっても良い。画像ソース１１０は、また、３次元グラフィックス環境の立体視をレンダリングするために画像処理装置によって使用され得るコンピュータ処理のグラフィックス環境及びテクスチャの定義を提供可能なメモリ装置から成っても良い。

画像処理装置１２０は、画像ソース１１０から取り出された一対の立体画像の間で不整合を決定するために必要な計算を実行可能な如何なる処理装置であっても良い。例えば、この処理装置は、如何なる特定用途向け集積回路（ＡＳＩＣ）、プログラム可能な集積回路又は汎用プロセッサであっても良い。画像処理装置１２０は、画像ソース１１０からの情報を基に、必要とされる計算を実行する。

レンダリング処理装置１３０は、表示システムにおいて空間的不整合を補償するよう一対の入力画像へワーピングアルゴリズムを適用するために必要な計算を実行可能な如何なる処理装置であっても良い。この計算は、画像処理装置１２０からの情報及び記憶装置１６０からの情報に基づく。レンダリング処理装置１３０及び画像処理装置１２０は、２つの別個の装置であっても、又は同じ装置であっても良い。

立体表示装置１４０は、立体画像対をユーザへ提供可能な如何なるディスプレイであっても良い。例えば、立体表示装置１４０は、例えば、バリアスクリーン液晶表示装置、液晶シャッター及びシャッターガラスを備えるＣＲＴ、線形又は円形偏光ガラスを備える偏光投影システム、レンズを用いるディスプレイ、投写型自動立体ディスプレイ、又は一対の立体画像をディスプレイの表面で左右の目の夫々へ提供可能なその他装置のような、ディスプレイの表面で画像を提示する（すなわち、ディスプレイ表面の面で（遠近）調節及び輻輳の点を有する）直視型装置であっても良い。立体表示装置１４０は、例えば、自動立体投影表示装置、双眼頭部搭載表示装置又は網膜レーザー投影ディスプレイのような、調節及び輻輳の調整可能な点を有しながら、垂直位置で画像を表示する垂直画像ディスプレイであっても良い。

表示変位マップ１５０を得る手段は、既知の空間的な点配置を有する立体画像対を表示する表示装置と、左右の画像を捕捉する一対の立体カメラと、表示変位マップを得るために２つの画像を比較する処理装置とを有する。捕捉は、２つのカメラの空間的アラインメントが知られる限り、いずれかの静止デジタルカメラ又は映像カメラにより得られる。代替的に、表示変位マップを得る手段は、既知の空間的配置を有する立体画像対を表示する表示装置と、ユーザが２点間の一致を得るために立体画像対に含まれる画像の少なくとも１つを動かすことを可能にするユーザ入力装置と、一致が達成されたことをユーザが示す場合に画像の変位を決定する方法とを有することができる。留意すべきは、自動アラインメントにとって有用な目標は、表示変位マップを得る手段がユーザアラインメントに基づき得られる場合には適切でないことである。ユーザの目は固定の位置で合わせられ得ず、且つ、人の脳は、立体ディスプレイで同様の空間的構造を有する目標を整列させようと試みるので、左右のスクリーンで提示される目標は、ほとんど空間的な相関関係を有さないよう設計されるべきである。これを達成する１つの方法は、主として一方の目には水平ラインを、他方の目には垂直ラインを表示することである。水平又は垂直ラインが一方の目に表示されるところの目標を用いて、ユーザにこのラインを他方の目に示されるライン内のギャップへ合わせるよう求めることによって、２つの目の画像の間には空間的な相関関係がほとんど存在せず、目標は、ユーザの目がその自然の静止点の近くにある場合に、人間の２つの網膜上の同じ場所におさまることができる。

表示変位マップは記憶装置１６０に記憶され、レンダリング処理装置１３０への入力として使用される。このマップは、表示装置の水平及び垂直の不整合を補償するよう画像処理装置１２０からの入力画像を処理するために使用される。

ここで図２ａを参照すると、本発明の画像垂直不整合補正の方法に関するフローチャートが示されている。立体視覚化における垂直不整合の補正は、画像レジストレーションの問題としてモデル化され得る。画像レジストレーションの処理は、１つの空間（２次元画像）における座標と、他の空間（他の２次元画像）における座標との間のマッピングを決定することができる。従って、対象の同じ特徴点に対応する２つの空間内の点は互いへマッピングされる。立体視覚化における垂直不整合の補正のカギは、立体視覚化処理に含まれる２つの画像の座標間のマッピングを決定することである。２つの画像の座標間のマッピングを決定する処理は、２つの画像における対応する点の水平変位マップ及び垂直変位マップを提供する。見つけられた垂直変位マップは、次いで、垂直不整合を最小限とするよう、含まれる画像の少なくとも１つを変形するために使用される。

画像レジストレーション用語に関し、立体視覚化に含まれる２つの画像は、ソース画像２２０及びリファレンス画像２２２と呼ばれる。ソース画像２２０及びリファレンス画像２２２は、夫々、Ｉ（ｘ_ｔ，ｙ_ｔ，ｔ）及びＩ（ｘ_ｔ＋１，ｙ_ｔ＋１，ｔ＋１）によって表される。表記ｘ及びｙは画像座標系の水平及び垂直座標であり、ｔは画像インデックス（画像１、画像２等。）である。画像座標系の原点（ｘ＝０，ｙ＝０）は、画像平面の中心に定められる。画像座標ｘ及びｙは必ずしも整数ではないことが指摘されるべきである。

実施の便宜上、画像（又は画像画素）は、また、I（ｉ，ｊ）とインデックスを付される。ここで、ｉ及びｊは厳密に整数であり、パラメータｔは簡単のために無視される。この表示は、離散領域においてマトリクスにインデックスを付すことに一致する。画像（マトリクス）が高さｈ及び幅ｗを有する場合には、位置（ｉ，ｊ）での対応する画像平面座標ｘ及びｙは、ｘ＝ｉ−（ｗ−１）／２．０及びｙ＝（ｈ−１）／２．０−ｊとして計算され得る。列インデックスｉは０からｗ−１に及ぶ。行インデックスｊは０からｈ−１に及ぶ。

一般に、レジストレーション処理は、

のように、最適な変形関数Φ_ｔ＋１（ｘ_ｔ、ｙ_ｔ）を見つけるステップを含む（ステップ２０２参照。）。

式（１０−１）の変形関数は、以下の式（１０−２）

に示される要素を有する３×３行列である。

実際には、変形行列は、２つの部分、すなわち、回転部分行列

及び変形ベクトル

から成る。

留意すべきは、変形関数Φは、グローバル関数又はローカル関数のいずれか一方であることである。グローバル関数Φは、同様の方法で画像内の全ての画素を変形する。ローカル関数Φは、画素の位置に基づき別々に画像内の各画素を変形する。画像レジストレーションのタスクのために、変形関数Φは、グローバル関数若しくはローカル関数又はそれらの組み合わせでありうる。

実際には、変形関数Φは、２つの変位マップＸ（ｉ，ｊ）及びＹ（ｉ，ｊ）を生成する。これらのマップは、リファレンス画像内の対応する画素位置と一致する新しい位置へソース画像内の画素を導くことができる情報を含む。言い換えると、ソース画像は空間的に補正され得る。

人が見る立体視覚化の場合には、垂直方向の変位マップＹ（ｉ，ｊ）しか、リファレンス画像内の対応する画素位置と垂直方向において一致する新しい位置へソース画像内の画素を導くために必要とされないことは明らかである（ステップ２０４）。この垂直アラインメントは、例えば、遠近（perspective）歪みによる変化する垂直不整合によって引き起こされる不快感を補正する。歪みマップＹ（ｉ，ｊ）に関し、列インデックスｉは０からｗ−１に至り、行インデックスは０からｈ−１に至る。

実際には、変位Ｙ（ｉ，ｊ）を用いる垂直不整合の補正を一般化するために、作業変位マップＹ_α（ｉ，ｊ）が採用される。作業変位マップＹ_α（ｉ，ｊ）は、Ｙ_α（ｉ，ｊ）＝αＹ（ｉ，ｊ）として、特定の値の所定の係数αにより計算される（ステップ２０６）。ここで０≦α≦１である。次いで、生成された作業変位マップＹ_α（ｉ，ｊ）は、垂直不整合を補正されたソース画像２２４を得るようソース画像を変形するために使用される（ステップ２０８）。作業変位Ｙ_α（ｉ，ｊ）の採用は、必要なときに、両方の画像（左右）に対する垂直不整合の補正を容易にする。両方の画像（左右）に対する垂直不整合の補正の処理を以下で説明する。

ソース画像及びリファレンス画像の役目は、立体視覚化における垂直不整合の補正との関連で含まれる２つの画像（左右の画像）に関し交換可能であることは明らかである。

一般に、例えば、遠近歪みによる変化する垂直不整合によって引き起こされる不快感を補正するために、左右の両画像は、特定の値の所定の係数αにより計算される作業変位マップＹ_α（ｉ，ｊ）により空間的に補正され得る。

図２ａに示されるように、垂直不整合補正の処理は、３つの入力端子Ａ（２３２）、Ｂ（２３４）及びＣ（２３６）並びに１つの出力端子Ｄ（２３８）を有する箱２００によって表され得る。この配置を用いて、左画像２４２及び右画像２４４の両方に対する垂直不整合補正の構成は、図２ｂに示される画像処理システム２４０として構成され得る。画像処理システム２４０には２つの同一の箱２００がある。２つのスケーリング係数β（２４６）及び１−β（２４８）は、夫々、左画像２４２及び右画像２４４の変形量を決定するために使用される。これら２つのパラメータβ（２４６）及び１−β（２４８）は、補正された左画像２４３及び右画像２４５が垂直に整列されることを確かにする。βの有効範囲は０≦β≦１である。β＝０の場合に、補正された左画像２４３は、入力された左画像２４２であり、補正された右画像２４５は、入力された左画像２４２と一致する。β＝１の場合に、補正された右画像２４５は、入力された右画像２４４であり、補正された左画像２４３は、入力された右画像２４４と一致する。β≠０且つβ≠１の場合に、左画像２４２及び右画像２４４は両方とも補正処理を通り、補正された左画像２４３及び補正された右画像２４５は、βの値に応じて、左画像２４２と右画像２４４の間のどこかへ合わせられる。

垂直不整合補正の例となる結果は図３に示される。図３で、左側にはソース画像３０２があり、右側にはリファレンス画像３０４がある。明らかに、ソース画像３０２とリファレンス画像３０４との間には、列において、変化する垂直不整合が存在する。これら２つの画像へ図２に示されるステップを適用することによって、垂直不整合が補正されたソース画像３０６が得られる。この例となる場合において、パラメータαは１である。

留意すべきは、画像変形関数Φを計算する際に使用されるレジストレーションアルゴリズムは、リジッドレジストレーションアルゴリズム、ノンリジッドレジストレーションアルゴリズム又はこれらの組み合わせでありうる点である。いわゆる当業者には当然のことながら、異なる時間間隔で捕捉される画像を記録するために又は立体画像対から深さ若しくは距離を決定すべく異なる対象の水平視差を評価するために一般的に使用される多数のレジストレーションアルゴリズムが存在する。しかし、これら同じアルゴリズムは、左右の目の画像に関し垂直ディメンジョンで当該レジストレーションを実行することによって、立体視覚化における垂直不整合の補正のための必要とされる変位マップを生成する変形関数Φを見つけるタスクを実行することができる。例となるレジストレーションアルゴリズムは、http://www.itk.org.で公開されるＩｂａｎｅｚ，Ｌ．等による“Medical Visualization with ITK”で見つけられ得る。また、当業者には当然のことながら、変位マップにより画像を空間的に補正することは、いずれかの適切な画像補間アルゴリズムを用いることによって実現され得る（“Robot Vision”、Ｈｏｒｎ，Ｂ．著、ＭＩＴプレス、３２２から３２３頁を参照。）。

画像ソース変位マップを生成する方法について論じると、表示変位マップを決定する方法が扱われ得る。図４は、本発明における表示システム不整合を補償する方法を示すフローチャートであり、これを参照して、明らかなように、好ましい方法は、概して、一対の試験目標を表示するステップ４１０と、一般に一対の空間的に較正されたカメラを用いて実行されうる、左右の画像を捕捉するステップ４２０と、左右の捕捉された画像から表示システム変位マップを生成するステップ４３０とから成る。この情報はコンピュータに記憶され、入力された立体画像を前処理するために使用される。最後のステップは、調整された画像をディスプレイの左右の画像チャネルへ表示することである（４５０）。

例となる測定システムは図５に示される。このシステムは、対のデジタル映像カメラセット５３０及び５４０（例えば、ソニー（登録商標）カラービデオカメラＣＶＸ−Ｖ１８ＮＳ。）と、標準のカラーモニタ５６０と、映像信号混合器５５０とを有する。映像カメラは試験目標５１０及び５２０に焦点を合わせる。左右のチャネルからの映像信号は、映像混合器５５０を用いて結合され、カラーモニタ５６０に表示される。画像捕捉の前に、これらのカメラの空間的位置は、立体ディスプレイの仮の眼間距離と一致する水平距離間隔でカメラを配置し、光学的な無限遠に位置する単一の試験目標に両カメラを向け、如何なる空間的不整合も除去するようカメラ応答を調整することによって較正され得る。結果として得られる画像は映像混合器で見られ得るが、２つの試験目標での較正点の夫々の高解像度捕捉は、後の解析のためにデジタルで記憶され得る。

図６は、一対の例となる試験目標５１０及び５２０を示す。それらは、色を別にして同一である。例えば、左チャネルへ送られる目標５１０は赤色であり、一方、右チャネルへ送られる目標５２０は緑色である。これは、左右の目標画像が、アルゴリズムの観点から区別可能であると同時に、カラーモニタ５６０において視覚的に別個であることを意味する。試験目標５１０及び５２０にはアンカーポイント６３０及び６３５がある。このシステムは、固定位置で空間的不整合を測定するために使用された。比較すべき測定のための名目上の位置は存在しなかったので、測定は右チャネルからの左チャネルの偏差として得られた。符号は、左の場所が右の場所の右手（Δｘ）又は上（Δｙ）にあったならば正であるように、偏差に割り当てられた。

表示変位マップの例となる測定結果は、図７に示される。画像７１０は、１つの例となる立体表示システムに関する、左右のカメラからのオーバーレイされたアンカーポイントの画像である。それは、最大水平偏差が左側で起こり、１２画素の大きさを有することを示す。最大垂直偏差は左上角で起こり、８画素の大きさを有する。左チャネル画像の全体は、右チャネルの画像に比べて小さい。ワーピングアルゴリズムは、入力された立体画像を前処理することによって表示システムの空間的不整合を補償するために使用され得る。このアルゴリズムは、表示システムの変位マップ及び入力画像を入力としてとる。出力は、変形された画像対である。この画像対は、見られる場合に、表示システムからの如何なる水平又は垂直不整合もない。画像７２０は、不整合の補正後の２つの目標画像からのオーバーレイされたアンカーポイントの画像である。それは、ほとんどのアンカー位置において完全なアラインメントを示す。幾つかのアンカー位置７３０での誤差は、表示システムのデジタル特性に関する量子化誤差を反映する。

ここで図８ａを参照して、本発明の表示歪み不整合の方法のフローチャートが示される。この方法は、表示システムによって導入される付加的な不整合を補償するために、垂直不整合を補正されたソース画像２２４に適用される。この方法は、ソースアンカーポイント８１０及びデスティネーションアンカーポイント８１５の測定位置を入力としてとる。ここで、ソースアンカーポイント８１０は、ソース画像に対応する立体チャネルに関するアンカーポイントの測定位置を示し、デスティネーションアンカーポイント８１５は、代替の立体チャネルに関するアンカーポイントの測定位置を示す。アンカーポイントは、どのようにソース画像が代替の立体チャネルに関する画像と一致させるためにワーピングをなされるかを特定する変位マップ８２０を生成するために使用される。

当業者には明らかなように、多数のワーピングアルゴリズムは、一連のソースアンカーポイント及びデスティネーションアンカーポイントに基づき変位マップを生成するために存在する。例となる方法は、ラインセグメントのグリッドに夫々の画像内のアンカーポイントを接続し、Ｂｅｉｅｒ，Ｔ．及びＮｅｅｌｙ，Ｓ．著、“Feature-Based Image Metamorphosis”、コンピュータグラフィックス、年次大会シリーズ、ＡＣＭ ＳＩＧＧＲＡＰＨ、１９９２年、３５〜４２頁に記載されるラインセグメントに基づくワーピングのための方法を用いることである。直接的にアンカーポイントの位置に基づく代替の方法が開発されている。例となる技術は、Ｌｅｅ，Ｓ．、Ｗｏｌｂｅｒｇ，Ｇ．及びＳｈｉｎ，Ｓ．Ｙ．著、“Scattered Data Interpolation with Multilevel B-Splines”、視覚化及びコンピュータグラフィックス（Visualization and Computer Graphics）に関するＩＥＥＥ報告書、Ｖｏｌ．３、Ｎｏ．３、１９９７年、２２８〜２４４頁に記載される。

垂直不整合補正の場合と同じく、変位マップＺ（ｉ，ｊ）を用いて表示変位の補正を一般化するために、作業変位マップＺ_α（ｉ，ｊ）が採用される。作業変位マップＺ_α（ｉ，ｊ）は、Ｚ_α（ｉ，ｊ）＝αＺ（ｉ，ｊ）として、特定の値の所定の係数αにより計算される（ステップ８３０）。ここで０≦α≦１である。次いで、生成された作業変位マップＺ_α（ｉ，ｊ）は、ワーピングをされたソース画像８５０を得るようソース画像を変形するために使用される（ステップ８４０）。代替の実施例として、作業変位マップ２０６及び８４０は、当該方法の効率を改善するために単一の動作に減らされ得る。作業変位Ｚ_α（ｉ，ｊ）の採用は、必要なときに、両方の画像（左右）に対する表示不整合の補正を容易にする。両方の画像（左右）に対する表示不整合の補正の処理を以下で説明する。

図８ａに示されるように、表示歪み補正の処理は、４つの入力端子Ｍ（８０１）、Ｎ（８０２）、Ｏ（８０３）及びＰ（８０４）並びに１つの出力端子Ｑ（８０５）を有する箱８００によって表され得る。この配置を用いて、垂直補正をされた左画像２４３及び垂直補正をされた右画像２４５の両方に対する表示不整合補正の構成は、図８ｂに示されるシステム８６０として構成され得る。システム８６０には２つの同一の箱８００がある。左アンカーポイント６３０及び右アンカーポイント６３５は、左画像のためのソースアンカーポイント及びデスティネーションアンカーポイントとして使用され、右アンカーポイント６３５及び左アンカーポイント６３０は、右画像のためのソースアンカーポイント及びデスティネーションアンカーポイントとして使用される。２つのスケーリング係数β（２４６）及び１−β（２４８）は、夫々、左画像２４３及び右画像２４５の変形量を決定するために使用される。これら２つのパラメータβ（２４６）及び１−β（２４８）は、ワーピングをされた左画像８７０及び右画像８７５が、表示システムによって導入される不整合を除去する対応する位置へ整列されることを確かにする。βの有効範囲は０≦β≦１である。β＝０の場合に、ワーピングをされた左画像８７０は、入力された補正後の左画像２４３であり、ワーピングをされた右画像８７５は、入力された補正後の左画像２４３と一致する。β＝１の場合に、ワーピングをされた右画像８７５は、入力された補正後の右画像２４５であり、ワーピングをされた左画像８７０は、入力された補正後の右画像２４５と一致する。β≠０且つβ≠１の場合に、左画像２４３及び右画像２４５は両方とも補正処理を通り、ワーピングをされた左画像８７０及びワーピングをされた右画像８７５は、βの値に応じて、左画像２４３と右画像２４５の間のどこかへ合わせられる。

先に論じられた画像ソース変位マップと、表示変位マップとを適用することによって、ソース画像における垂直不整合並びに表示システムにおける欠陥による水平及び垂直不整合はほとんど除去され得る。これらは夫々別個に適用され得ることが好ましいが、それら両方が有効にされて、システム内で適用されることが望ましい。例えば、参照することによって本願に援用される米国特許番号６，１９１，８０９号及びＥＰ１２３５４３９Ａ２に含まれるような、他の手段に基づき生成される画像ソース変位マップとともに、ここで記載される表示変位マップを適用することも可能である。

本発明の実施において用いられるシステムの図である。 本発明の画像垂直不整合補正の方法を示すフローチャートである。 図２ａで採られた方法を用いるシステムを示す。 画像垂直不整合補正の例となる結果である。 本発明において表示システム不整合を補償するステップを示すフローチャートである。 表示システム変位マップを記憶する捕捉システムの表示である。 表示不整合補償で使用される試験目標の例である。 表示システム不整合補償の例となる結果である。 本発明の表示不整合補正の方法を示すフローチャートである。 図８ａで採られた方法を用いるシステムを示す。

Claims (16)

1. 立体表示システムにおいて不整合を調整する方法であって、
   一対の入力画像を画像処理装置へ供給するステップと、
   前記一対の入力画像に関し画像ソース変位マップを生成するステップと、
   表示変位マップを得るステップと、
   調整された立体画像対を生成するよう前記一対の入力画像へ前記画像ソース変位マップ及び前記表示変位マップを適用するステップとを有する方法。
2. 前記画像ソース変位マップ及び前記表示変位マップは、システム変位マップに一体化され、
   前記システム変位マップは、前記調整された立体画像対を生成するよう前記一対の入力画像に適用される、請求項１記載の立体表示システムにおいて不整合を調整する方法。
3. 前記画像ソース変位マップ及び前記表示変位マップは、個々に、前記調整された立体画像対を生成するよう前記一対の入力画像に適用される、請求項１記載の立体表示システムにおいて不整合を調整する方法。
4. 前記表示変位マップを得るステップは、１又はそれ以上の試験目標を表示装置に表示するステップと、前記１又はそれ以上の試験目標の部分のアラインメントを決定するステップとを有する、請求項１記載の立体表示システムにおいて不整合を調整する方法。
5. 前記１又はそれ以上の試験目標は、表示され且つユーザが前記表示変位マップを生成するよう左右の目の画像の１又はそれ以上の部分の知覚されるアラインメントに関して当該システムへフィードバックを提供するところの左右の目のコンポーネントを有する、請求項４記載の立体表示システムにおいて不整合を調整する方法。
6. 光学機器は、既知のアラインメントの左右の目のビューを捕捉し、
   結果として得られる画像は、左右の目のビューの中の特徴のアラインメントを決定して、前記表示変位マップを生成するよう処理される、請求項４記載の立体表示システムにおいて不整合を調整する方法。
7. 画像ソースと、画像処理要素と、表示部とを有し、
   前記画像処理要素は、請求項１記載の方法を用いて、調整された立体画像対を前記表示部で生成する、立体表示システム。
8. 立体表示システムにおいて不整合を調整する方法であって、
   一対の入力画像を画像処理装置へ供給するステップと、
   画像ソース変位マップを生成するステップと、
   前記一対の入力画像において垂直不整合を補正するよう前記画像ソース変位マップを適用するステップとを有する方法。
9. 前記画像ソース変位マップを生成するステップは、
   前記一対の入力画像に関し画像変形関数を計算するステップと、
   前記計算された変形関数を用いて垂直変位マップを生成するステップと、
   前記一対の入力画像に関し作業変位マップを計算するステップとを有する、請求項８記載の立体表示システムにおいて不整合を調整する方法。
10. 前記一対の入力画像において垂直不整合を補正するよう前記画像ソース変位マップを適用するステップは、計算された作業変位マップを用いて前記一対の入力画像を変形させるステップを有する、請求項８記載の立体表示システムにおいて不整合を調整する方法。
11. 画像ソースと、画像処理要素と、画像出力部とを有し、
    前記画像処理要素は、請求項８記載の方法を用いて、調整された立体画像対を生成する、画像処理システム。
12. 立体表示システムにおいて不整合を調整する方法であって、
    一対の入力画像を画像処理装置へ供給するステップと、
    表示変位マップを得るステップと、
    調整された立体表示を生成するよう前記一対の入力画像へ前記表示変位マップを適用するステップとを有する方法。
13. 前記表示変位マップを得るステップは、
    左右の目標を表示するステップと、
    表示変位マップを生成するよう前記左右の目標内の特徴の不整合を決定するステップと、
    調整された立体表示を生成するよう前記一対の入力画像へ前記表示変位マップを適合するステップとを有する、請求項１２記載の立体表示システムにおいて不整合を調整する方法。
14. １又はそれ以上の試験目標は、表示され且つユーザが前記表示変位マップを生成するよう左右の目の画像の１又はそれ以上の部分の知覚されるアラインメントに関して当該システムへフィードバックを提供するところの左右の目のコンポーネントを有する、請求項１３記載の立体表示システムにおいて不整合を調整する方法。
15. 既知のアラインメントの光学機器は、左右の目のビューを捕捉するために使用され、
    結果として得られる画像は、前記表示変位マップを生成するよう左右の目のビューの中の特徴のアラインメントを決定するよう処理される、請求項１３記載の立体表示システムにおいて不整合を調整する方法。
16. 画像ソースと、画像処理要素と、表示部とを有し、
    前記画像処理要素は、請求項１３記載の方法を用いて、調整された立体画像対を前記表示部で生成する、画像処理システム。

Images