JP2009524349A - 立体表示システムの調整方法 - Google Patents
立体表示システムの調整方法 Download PDFInfo
- Publication number
- JP2009524349A JP2009524349A JP2008551280A JP2008551280A JP2009524349A JP 2009524349 A JP2009524349 A JP 2009524349A JP 2008551280 A JP2008551280 A JP 2008551280A JP 2008551280 A JP2008551280 A JP 2008551280A JP 2009524349 A JP2009524349 A JP 2009524349A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- displacement map
- pair
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
立体表示システム(140)において不整合を調整する方法は、一対の入力画像を画像処理装置(120)へ供給するステップと、画像捕捉/生成処理で導入された垂直不整合を補正するために一対の入力画像から画像ソース変位マップを生成するステップと、表示システムに導入された如何なる空間的不整合も補償するために一対の試験目標を用いて表示変位マップを得るステップ(150)と、調整された立体画像対を生成するよう一対の入力画像へ画像ソース変位マップ及び表示変位マップを適用するステップとを有する。
Description
本発明は、概して、立体捕捉処理及び表示システムの分野に関する。より具体的には、本発明は、画像処理アルゴリズムを用いてソース画像及び表示システムにおける空間的不整合を補償する方法を提供する立体システムに関する。
通常の人の視覚体系は、2つの目を通して2つの別個の世界観を提供する。夫々の目は、鼻側で約60度及び側頭側で約90度の水平視野を有する。2つの目を有する人は、全体的により広い視野を有するのみならず、自身の2つの網膜で形成される2つのわずかに異なる画像を有しており、従って、異なる視点(viewing perspectives)を形成する。通常の人の両眼視では、夫々の対象の2つのビューの間の視差は、対象の間の相対的な深さを得るために人の脳によって合図(cue)として使用される。この導出は、2つの画像における対応する対象の相対的な水平変位を比較することによって達成される。
立体ディスプレイは、夫々の目に異なる画像を表示することによって水平視差合図を視覚体系に提供するよう設計される。既知の立体ディスプレイは、通常は、時間、波長又は空間において異なる画像を分けることによって、観察者の2つの目の夫々に異なる画像を表示する。かかるシステムは、液晶シャッターを用いて時間において2つの画像を分け、レンズ型スクリーン、バリアスクリーン又は自動立体投影を用いて空間において2つの画像を分け、色フィルタ又は偏光器を用いて光学特性に基づき2つの画像を分ける。
当然、2つの目が概して水平方向に動かされる間は、それらは概して垂直方向には動かされない。従って、水平視差は予期されるが、垂直視差は予期されず、立体表示システムの有用性を著しく低下させうる。例えば、2つの画像において対応する対象の間に存在する垂直変位又は不整合は、2つの画像を単一の認知可能な画像に融合する観賞者の能力を低下させ、観賞者は、眼疲労及び他の好ましくない副作用を経験する可能性がある。不整合の量が小さい場合には、垂直視差の存在は、目の疲れ、奥行きの低下、及び奥行き認知の部分的な損失をもたらす。垂直不整合の量が大きい場合には、垂直視差は、視野闘争及び奥行き認知の総体的な損失をもたらしうる。
垂直不整合は、画像捕捉及び画像表示の間を含む様々な段階で立体画像に導入され得る。画像捕捉の間は、立体画像対は、通常は、その画像対のいずれか一方の画像が異なる光学系を通して捕捉されることで記録され、それらの画像は、それ自体、常に垂直に整列されるわけではない。あるいは、2つの画像は、1つのカメラを用いて、後に捕捉の間でカメラをシフトすることによって記録される。カメラがシフトする間にカメラの垂直位置は変化しうる。捕捉システムが垂直不整合に関してはオフである場合には、立体対の全ての画素は、垂直にある量だけオフでありうる。台形歪みは、また、捕捉システムに近い対象をしばしば捕捉する必要がある場合に、カメラが互いに平行に位置付けられない場合に生じうる。この台形歪みは、しばしば、場面の反対側に位置する対象の縦の大きさを減じ、この台形歪みは、立体対における異なる画素に関して異なる量の垂直不整合をもたらす。従って、台形歪みによる垂直不整合は、画像の中央に比較して画像の角でより一層大きくなりうる。2つの捕捉は、また、回転又は拡大差分を有することがあり、立体画像において垂直不整合を引き起こす。回転及び拡大差分からの垂直不整合は、一般に、画像の角でより大きく、画像の中心に近い場所でより小さい。通常、立体画像の垂直不整合は、上記の要素の結合の結果である。走査処理は、また、画像が捕捉され又はフィルムのようなアナログ媒体に記憶される場合に、このような垂直不整合を引き起こすことがあり、スキャナは、アナログ画像をデジタルに変換するために使用される。
垂直視差は、また、表示光学系の垂直不整合又は回転若しくは拡大によって生じうる。多くの立体表示システムは、多数の光学及び表示部品から各々構成される2つの独立した画像チャネルを有する。2つのチャネルのために使用すべき2つの同一の部品を製造することは極めて困難である。更に、また、2つの画像チャネルが垂直位置で互いに同一であって且つ水平位置で正確にオフセットされるようにシステムを組み立てることは極めて困難である。結果として、様々な空間的不整合が2つのチャネルの間に導入され得る。表示システムにおけるかかる空間的不整合は、立体画像における空間的変位として表される。立体画像では、水平変位は、一般に、深さの差として解釈され得、一方、垂直変位は、ユーザ不快感をもたらしうる。ある程度の垂直変位を伴う画像を提示しうる立体システム(頭部搭載型ディスプレイ)は、通常は、相対表示のための極めて厳しい許容範囲を有する。この厳しい許容範囲の存在は、しばしば、製造を複雑にし、このような装置を製造する費用を増大させる。
画像処理アルゴリズムは、立体捕捉システムで生ずる空間的不整合を補正するために使用されてきた。米国特許番号6,191,809号及びEP1235439A2は、立体捕捉装置によって、具体的には、立体内視鏡によって生成される立体画像の不整合を電子的に補正する手段について記載する。捕捉空間における目標は、較正のために使用される。目標の捕捉された左右の画像から、捕捉装置の拡大及び回転誤差は順次に推定され、捕捉された画像を補整するために使用される。水平及び垂直オフセットは、拡大および回転誤差が補正された目標の捕捉された画像の第2の組に基づき推定される。
米国特許出願公開番号2003/0156751A1は、2つの捕捉された画像を修正し、その後に、修正された画像対から垂直視差を除去するよう一対の調整変形を決定する方法について記載する。調整の目的は、立体画像対を平行でないカメラ設定から垂直平行なカメラ設定へと変形することである。この方法は、捕捉された画像と、立体画像捕捉装置のパラメータの統計値とを入力としてとる。パラメータは、例えば、単一のカメラの焦点距離及び主点のような固有パラメータと、例えば、2つのカメラの間の回転及び移動のような外因性パラメータとを含みうる。ワーピング(warping)方法は、調整変形を立体画像対に適用するために使用される。上記の引用文献の夫々は、捕捉装置に関する情報を必要とし、あるいは、画像処理システムを捕捉処理へ結び付けることを要する。未知の画像ソースの場合には、上記の方法は適切に機能しない。
また、立体表示システムのある構成要素を整列させる必要があることが分かっている。米国特許出願公開番号2004/0263970A1は、ソフトウェア手段を用いて(両凸)レンズ状レンズ(lenticular lenses)をディスプレイに整列させる方法を開示する。ソフトウェアは、ディスプレイにおいて画素配列上にレンズ配列を位置付けるのに役立つようテストパターンを提供するプログラムを有する。アラインメント相では、ユーザは、レンズ状スクリーンに対してディスプレイに示されるテストパターンの回転位置を示す幾つかの入力手段を使用する。インストールのアラインメント相によって決定される情報は、その後に、コンピュータに記憶され、レンダリングアルゴリズムがディスプレイ上の内在する画素パターンに対してレンズ状スクリーンの回転を補償することを可能にする。レンズ状スクリーンの回転アラインメントを補償するようソフトウェア処理を行う実際のアルゴリズムは当該文献に記載されないが、レンズ状スクリーンの不整合は、右目に対して左目によって見られる画素の位置の水平シフトを主としてもたらしうることが予測され、かかるアルゴリズムは、このようなアーティファクトを補償するよう期待される。従って、この文献は、立体表示システム内の垂直不整合を補償する方法を提供しない。
US6,191,809
EP1235439A2
米国特許出願公開番号2003/0156751A1
米国特許出願公開番号2004/0263970A1
従って、捕捉システムを知らなくとも2つの立体画像の間の総体的な空間的不整合を最小限にすることが可能な立体表示システムを作る必要がある。更に、表示システムにおいて垂直及び水平の空間的不整合を補償する方法が必要である。当該方法は、更に、ロバストであって、処理が実時間で実行されるように最低限の処理時間を要し、最小限のユーザインタラクションを必要とすべきである。
本発明は、上記の問題の1又はそれ以上を解消することを目的とする。
本発明の一態様に従って、画像処理アルゴリズムは、原因を予め知らなくとも画像捕捉/生成処理に導入された垂直不整合を補正するよう開発される。画像処理アルゴリズムは、2つの画像を比較し、一の画像を他に記録する。画像記録処理は、水平及び垂直の両方向に関する2つの変位マップを生成する。アルゴリズムは、2つの画像を垂直方向で適切に整列させるよう画像の一方又は両方に垂直変位を適用する。本発明の方法は、また、一対の試験目標、双眼映像カメラセット、映像混合器、及び映像モニタを用いて表示変位マップを生成する。この変位マップは、立体画像を前処理し、従って、表示システムに導入された如何なる空間的不整合も補償するために画像ワーピングアルゴリズムによって使用され得る。全体に、本発明は、立体表示システムにおいてソース又は表示装置のいずれかによって引き起こされる空間的不整合を最小限とする総合的解決方法を提供する。
本発明の上記及び他の目的、特徴及び効果は、以下の記載及び図面を参照して、より明らかになるであろう。図面において、同一の参照番号は、可能であれば、図に共通する同一の特徴を示すために使用されている。
理解を容易にするよう、同一の参照番号は、可能であれば、図に共通する同一の要素を表すために使用されている。
本明細書は、具体的に、本発明に従う装置、その一部又は当該装置とより直接的に協働する要素を対象とする。当然、具体的に図示又は記載をされない要素は、いわゆる当業者によく知られている様々な形態をとりうる。
本発明は、入力画像を画像処理装置へ供給するステップと、画像ソース変位マップを生成するステップと、表示変位マップを得るステップと、調整された立体画像対を形成するよう入力画像へ画像ソース変位マップ及び表示変位マップを適用するステップとを有する、立体表示システムにおいて不整合を調整する方法を対象とする。画像ソース変位マップ及び表示変位マップは、システム変位マップを形成するよう結合されても良く、このマップは、単一のステップで入力画像へ適用されても良い。代替的に、画像ソース変位マップ及び表示変位マップは、別々のステップで交互に入力画像へ適用されても良い。更に、本発明の方法を用いるシステムが提供される。更なる方法は、入力画像の解析に基づき画像ソース変位マップを形成及び適用し、また、表示変位マップを形成及び適用するよう提供される。
本発明は、立体画像システムの1又はそれ以上の構成要素が、観察者に不快感を与えうるある程度の空間的不整合を導入するところの立体画像システム内で適用される場合に有用である。ソース画像の垂直不整合は、一対の立体画像に関し画像変形関数を計算し、1つの画像が第2の画像と合わせられるよう変形されるべき程度を示し、垂直変位マップを生成するよう垂直補償を提供し、立体画像の少なくとも1つに関し作業変位マップを計算し、計算された作業変位マップを用いて立体画像を変形することにより垂直変位を補正することによって、補償される。このような処理チェーンは、更に、表示の不整合によって形成される垂直又は水平変位を補償するよう、垂直及び水平の両変位を含む変位マップを形成することによって表示特性を考慮しうる。表示システムの空間的不整合は、表示システム変位マップを生成し、観賞者が最小限のシステム導入された空間的不整合を伴った立体画像対を認知するように、画像の1又はそれ以上を前処理するようワーピングアルゴリズムを適用することによって、補償される。
このような画像処理チェーンは、立体画像鑑賞体験の快適性及び品質を改善することができる。本発明は、垂直視差を含む画像が不快感を導入するよう示されるところの、本願出願人による調査結果に基づく。鑑賞体験におけるこのような改善は、しばしば、高まるユーザの喜び、契約及び/又は存在に関して、高められたユーザ快適性又は向上した鑑賞体験をもたらしうる。このような改善は、また、立体画像対によって再現される画像内の距離又は深さの推定のようなタスクの完了の間のユーザの能力の改善と結び付けられ得る。
本発明を実施するのに有用なシステムを図1に示す。このシステムは、立体画像情報又はコンピュータグラフィックスモデル及びテクスチャを得るための画像ソース110と、画像ソースから水平及び垂直の変位マップを取り出し、水平不整合を最小限とするよう入力画像を処理する画像処理装置120と、立体画像をレンダリングするレンダリング処理装置130と、レンダリングされた立体の画像の対を表示する表示装置140とを有する。このシステムは、また、表示変位マップを得る手段150と、表示歪みマップを記憶する記憶装置160とを有する。レンダリング処理装置130で、表示変位マップは、表示システムにおいて不整合を補償するよう画像処理装置120からの画像を再レンダリングするために使用される。
画像ソース110は、立体画像情報を供給可能な如何なる装置又は装置の組み合わせであっても良い。例えば、この画像ソースは、立体画像情報を補足可能な一対の静止又は映像カメラを有することができる。代替的に、画像ソース110は、1又はそれ以上の立体画像を記憶可能なサーバであっても良い。画像ソース110は、また、3次元グラフィックス環境の立体視をレンダリングするために画像処理装置によって使用され得るコンピュータ処理のグラフィックス環境及びテクスチャの定義を提供可能なメモリ装置から成っても良い。
画像処理装置120は、画像ソース110から取り出された一対の立体画像の間で不整合を決定するために必要な計算を実行可能な如何なる処理装置であっても良い。例えば、この処理装置は、如何なる特定用途向け集積回路(ASIC)、プログラム可能な集積回路又は汎用プロセッサであっても良い。画像処理装置120は、画像ソース110からの情報を基に、必要とされる計算を実行する。
レンダリング処理装置130は、表示システムにおいて空間的不整合を補償するよう一対の入力画像へワーピングアルゴリズムを適用するために必要な計算を実行可能な如何なる処理装置であっても良い。この計算は、画像処理装置120からの情報及び記憶装置160からの情報に基づく。レンダリング処理装置130及び画像処理装置120は、2つの別個の装置であっても、又は同じ装置であっても良い。
立体表示装置140は、立体画像対をユーザへ提供可能な如何なるディスプレイであっても良い。例えば、立体表示装置140は、例えば、バリアスクリーン液晶表示装置、液晶シャッター及びシャッターガラスを備えるCRT、線形又は円形偏光ガラスを備える偏光投影システム、レンズを用いるディスプレイ、投写型自動立体ディスプレイ、又は一対の立体画像をディスプレイの表面で左右の目の夫々へ提供可能なその他装置のような、ディスプレイの表面で画像を提示する(すなわち、ディスプレイ表面の面で(遠近)調節及び輻輳の点を有する)直視型装置であっても良い。立体表示装置140は、例えば、自動立体投影表示装置、双眼頭部搭載表示装置又は網膜レーザー投影ディスプレイのような、調節及び輻輳の調整可能な点を有しながら、垂直位置で画像を表示する垂直画像ディスプレイであっても良い。
表示変位マップ150を得る手段は、既知の空間的な点配置を有する立体画像対を表示する表示装置と、左右の画像を捕捉する一対の立体カメラと、表示変位マップを得るために2つの画像を比較する処理装置とを有する。捕捉は、2つのカメラの空間的アラインメントが知られる限り、いずれかの静止デジタルカメラ又は映像カメラにより得られる。代替的に、表示変位マップを得る手段は、既知の空間的配置を有する立体画像対を表示する表示装置と、ユーザが2点間の一致を得るために立体画像対に含まれる画像の少なくとも1つを動かすことを可能にするユーザ入力装置と、一致が達成されたことをユーザが示す場合に画像の変位を決定する方法とを有することができる。留意すべきは、自動アラインメントにとって有用な目標は、表示変位マップを得る手段がユーザアラインメントに基づき得られる場合には適切でないことである。ユーザの目は固定の位置で合わせられ得ず、且つ、人の脳は、立体ディスプレイで同様の空間的構造を有する目標を整列させようと試みるので、左右のスクリーンで提示される目標は、ほとんど空間的な相関関係を有さないよう設計されるべきである。これを達成する1つの方法は、主として一方の目には水平ラインを、他方の目には垂直ラインを表示することである。水平又は垂直ラインが一方の目に表示されるところの目標を用いて、ユーザにこのラインを他方の目に示されるライン内のギャップへ合わせるよう求めることによって、2つの目の画像の間には空間的な相関関係がほとんど存在せず、目標は、ユーザの目がその自然の静止点の近くにある場合に、人間の2つの網膜上の同じ場所におさまることができる。
表示変位マップは記憶装置160に記憶され、レンダリング処理装置130への入力として使用される。このマップは、表示装置の水平及び垂直の不整合を補償するよう画像処理装置120からの入力画像を処理するために使用される。
ここで図2aを参照すると、本発明の画像垂直不整合補正の方法に関するフローチャートが示されている。立体視覚化における垂直不整合の補正は、画像レジストレーションの問題としてモデル化され得る。画像レジストレーションの処理は、1つの空間(2次元画像)における座標と、他の空間(他の2次元画像)における座標との間のマッピングを決定することができる。従って、対象の同じ特徴点に対応する2つの空間内の点は互いへマッピングされる。立体視覚化における垂直不整合の補正のカギは、立体視覚化処理に含まれる2つの画像の座標間のマッピングを決定することである。2つの画像の座標間のマッピングを決定する処理は、2つの画像における対応する点の水平変位マップ及び垂直変位マップを提供する。見つけられた垂直変位マップは、次いで、垂直不整合を最小限とするよう、含まれる画像の少なくとも1つを変形するために使用される。
画像レジストレーション用語に関し、立体視覚化に含まれる2つの画像は、ソース画像220及びリファレンス画像222と呼ばれる。ソース画像220及びリファレンス画像222は、夫々、I(xt,yt,t)及びI(xt+1,yt+1,t+1)によって表される。表記x及びyは画像座標系の水平及び垂直座標であり、tは画像インデックス(画像1、画像2等。)である。画像座標系の原点(x=0,y=0)は、画像平面の中心に定められる。画像座標x及びyは必ずしも整数ではないことが指摘されるべきである。
実施の便宜上、画像(又は画像画素)は、また、I(i,j)とインデックスを付される。ここで、i及びjは厳密に整数であり、パラメータtは簡単のために無視される。この表示は、離散領域においてマトリクスにインデックスを付すことに一致する。画像(マトリクス)が高さh及び幅wを有する場合には、位置(i,j)での対応する画像平面座標x及びyは、x=i−(w−1)/2.0及びy=(h−1)/2.0−jとして計算され得る。列インデックスiは0からw−1に及ぶ。行インデックスjは0からh−1に及ぶ。
一般に、レジストレーション処理は、
式(10−1)の変形関数は、以下の式(10−2)
実際には、変形行列は、2つの部分、すなわち、回転部分行列
留意すべきは、変形関数Φは、グローバル関数又はローカル関数のいずれか一方であることである。グローバル関数Φは、同様の方法で画像内の全ての画素を変形する。ローカル関数Φは、画素の位置に基づき別々に画像内の各画素を変形する。画像レジストレーションのタスクのために、変形関数Φは、グローバル関数若しくはローカル関数又はそれらの組み合わせでありうる。
実際には、変形関数Φは、2つの変位マップX(i,j)及びY(i,j)を生成する。これらのマップは、リファレンス画像内の対応する画素位置と一致する新しい位置へソース画像内の画素を導くことができる情報を含む。言い換えると、ソース画像は空間的に補正され得る。
人が見る立体視覚化の場合には、垂直方向の変位マップY(i,j)しか、リファレンス画像内の対応する画素位置と垂直方向において一致する新しい位置へソース画像内の画素を導くために必要とされないことは明らかである(ステップ204)。この垂直アラインメントは、例えば、遠近(perspective)歪みによる変化する垂直不整合によって引き起こされる不快感を補正する。歪みマップY(i,j)に関し、列インデックスiは0からw−1に至り、行インデックスは0からh−1に至る。
実際には、変位Y(i,j)を用いる垂直不整合の補正を一般化するために、作業変位マップYα(i,j)が採用される。作業変位マップYα(i,j)は、Yα(i,j)=αY(i,j)として、特定の値の所定の係数αにより計算される(ステップ206)。ここで0≦α≦1である。次いで、生成された作業変位マップYα(i,j)は、垂直不整合を補正されたソース画像224を得るようソース画像を変形するために使用される(ステップ208)。作業変位Yα(i,j)の採用は、必要なときに、両方の画像(左右)に対する垂直不整合の補正を容易にする。両方の画像(左右)に対する垂直不整合の補正の処理を以下で説明する。
ソース画像及びリファレンス画像の役目は、立体視覚化における垂直不整合の補正との関連で含まれる2つの画像(左右の画像)に関し交換可能であることは明らかである。
一般に、例えば、遠近歪みによる変化する垂直不整合によって引き起こされる不快感を補正するために、左右の両画像は、特定の値の所定の係数αにより計算される作業変位マップYα(i,j)により空間的に補正され得る。
図2aに示されるように、垂直不整合補正の処理は、3つの入力端子A(232)、B(234)及びC(236)並びに1つの出力端子D(238)を有する箱200によって表され得る。この配置を用いて、左画像242及び右画像244の両方に対する垂直不整合補正の構成は、図2bに示される画像処理システム240として構成され得る。画像処理システム240には2つの同一の箱200がある。2つのスケーリング係数β(246)及び1−β(248)は、夫々、左画像242及び右画像244の変形量を決定するために使用される。これら2つのパラメータβ(246)及び1−β(248)は、補正された左画像243及び右画像245が垂直に整列されることを確かにする。βの有効範囲は0≦β≦1である。β=0の場合に、補正された左画像243は、入力された左画像242であり、補正された右画像245は、入力された左画像242と一致する。β=1の場合に、補正された右画像245は、入力された右画像244であり、補正された左画像243は、入力された右画像244と一致する。β≠0且つβ≠1の場合に、左画像242及び右画像244は両方とも補正処理を通り、補正された左画像243及び補正された右画像245は、βの値に応じて、左画像242と右画像244の間のどこかへ合わせられる。
垂直不整合補正の例となる結果は図3に示される。図3で、左側にはソース画像302があり、右側にはリファレンス画像304がある。明らかに、ソース画像302とリファレンス画像304との間には、列において、変化する垂直不整合が存在する。これら2つの画像へ図2に示されるステップを適用することによって、垂直不整合が補正されたソース画像306が得られる。この例となる場合において、パラメータαは1である。
留意すべきは、画像変形関数Φを計算する際に使用されるレジストレーションアルゴリズムは、リジッドレジストレーションアルゴリズム、ノンリジッドレジストレーションアルゴリズム又はこれらの組み合わせでありうる点である。いわゆる当業者には当然のことながら、異なる時間間隔で捕捉される画像を記録するために又は立体画像対から深さ若しくは距離を決定すべく異なる対象の水平視差を評価するために一般的に使用される多数のレジストレーションアルゴリズムが存在する。しかし、これら同じアルゴリズムは、左右の目の画像に関し垂直ディメンジョンで当該レジストレーションを実行することによって、立体視覚化における垂直不整合の補正のための必要とされる変位マップを生成する変形関数Φを見つけるタスクを実行することができる。例となるレジストレーションアルゴリズムは、http://www.itk.org.で公開されるIbanez,L.等による“Medical Visualization with ITK”で見つけられ得る。また、当業者には当然のことながら、変位マップにより画像を空間的に補正することは、いずれかの適切な画像補間アルゴリズムを用いることによって実現され得る(“Robot Vision”、Horn,B.著、MITプレス、322から323頁を参照。)。
画像ソース変位マップを生成する方法について論じると、表示変位マップを決定する方法が扱われ得る。図4は、本発明における表示システム不整合を補償する方法を示すフローチャートであり、これを参照して、明らかなように、好ましい方法は、概して、一対の試験目標を表示するステップ410と、一般に一対の空間的に較正されたカメラを用いて実行されうる、左右の画像を捕捉するステップ420と、左右の捕捉された画像から表示システム変位マップを生成するステップ430とから成る。この情報はコンピュータに記憶され、入力された立体画像を前処理するために使用される。最後のステップは、調整された画像をディスプレイの左右の画像チャネルへ表示することである(450)。
例となる測定システムは図5に示される。このシステムは、対のデジタル映像カメラセット530及び540(例えば、ソニー(登録商標)カラービデオカメラCVX−V18NS。)と、標準のカラーモニタ560と、映像信号混合器550とを有する。映像カメラは試験目標510及び520に焦点を合わせる。左右のチャネルからの映像信号は、映像混合器550を用いて結合され、カラーモニタ560に表示される。画像捕捉の前に、これらのカメラの空間的位置は、立体ディスプレイの仮の眼間距離と一致する水平距離間隔でカメラを配置し、光学的な無限遠に位置する単一の試験目標に両カメラを向け、如何なる空間的不整合も除去するようカメラ応答を調整することによって較正され得る。結果として得られる画像は映像混合器で見られ得るが、2つの試験目標での較正点の夫々の高解像度捕捉は、後の解析のためにデジタルで記憶され得る。
図6は、一対の例となる試験目標510及び520を示す。それらは、色を別にして同一である。例えば、左チャネルへ送られる目標510は赤色であり、一方、右チャネルへ送られる目標520は緑色である。これは、左右の目標画像が、アルゴリズムの観点から区別可能であると同時に、カラーモニタ560において視覚的に別個であることを意味する。試験目標510及び520にはアンカーポイント630及び635がある。このシステムは、固定位置で空間的不整合を測定するために使用された。比較すべき測定のための名目上の位置は存在しなかったので、測定は右チャネルからの左チャネルの偏差として得られた。符号は、左の場所が右の場所の右手(Δx)又は上(Δy)にあったならば正であるように、偏差に割り当てられた。
表示変位マップの例となる測定結果は、図7に示される。画像710は、1つの例となる立体表示システムに関する、左右のカメラからのオーバーレイされたアンカーポイントの画像である。それは、最大水平偏差が左側で起こり、12画素の大きさを有することを示す。最大垂直偏差は左上角で起こり、8画素の大きさを有する。左チャネル画像の全体は、右チャネルの画像に比べて小さい。ワーピングアルゴリズムは、入力された立体画像を前処理することによって表示システムの空間的不整合を補償するために使用され得る。このアルゴリズムは、表示システムの変位マップ及び入力画像を入力としてとる。出力は、変形された画像対である。この画像対は、見られる場合に、表示システムからの如何なる水平又は垂直不整合もない。画像720は、不整合の補正後の2つの目標画像からのオーバーレイされたアンカーポイントの画像である。それは、ほとんどのアンカー位置において完全なアラインメントを示す。幾つかのアンカー位置730での誤差は、表示システムのデジタル特性に関する量子化誤差を反映する。
ここで図8aを参照して、本発明の表示歪み不整合の方法のフローチャートが示される。この方法は、表示システムによって導入される付加的な不整合を補償するために、垂直不整合を補正されたソース画像224に適用される。この方法は、ソースアンカーポイント810及びデスティネーションアンカーポイント815の測定位置を入力としてとる。ここで、ソースアンカーポイント810は、ソース画像に対応する立体チャネルに関するアンカーポイントの測定位置を示し、デスティネーションアンカーポイント815は、代替の立体チャネルに関するアンカーポイントの測定位置を示す。アンカーポイントは、どのようにソース画像が代替の立体チャネルに関する画像と一致させるためにワーピングをなされるかを特定する変位マップ820を生成するために使用される。
当業者には明らかなように、多数のワーピングアルゴリズムは、一連のソースアンカーポイント及びデスティネーションアンカーポイントに基づき変位マップを生成するために存在する。例となる方法は、ラインセグメントのグリッドに夫々の画像内のアンカーポイントを接続し、Beier,T.及びNeely,S.著、“Feature-Based Image Metamorphosis”、コンピュータグラフィックス、年次大会シリーズ、ACM SIGGRAPH、1992年、35〜42頁に記載されるラインセグメントに基づくワーピングのための方法を用いることである。直接的にアンカーポイントの位置に基づく代替の方法が開発されている。例となる技術は、Lee,S.、Wolberg,G.及びShin,S.Y.著、“Scattered Data Interpolation with Multilevel B-Splines”、視覚化及びコンピュータグラフィックス(Visualization and Computer Graphics)に関するIEEE報告書、Vol.3、No.3、1997年、228〜244頁に記載される。
垂直不整合補正の場合と同じく、変位マップZ(i,j)を用いて表示変位の補正を一般化するために、作業変位マップZα(i,j)が採用される。作業変位マップZα(i,j)は、Zα(i,j)=αZ(i,j)として、特定の値の所定の係数αにより計算される(ステップ830)。ここで0≦α≦1である。次いで、生成された作業変位マップZα(i,j)は、ワーピングをされたソース画像850を得るようソース画像を変形するために使用される(ステップ840)。代替の実施例として、作業変位マップ206及び840は、当該方法の効率を改善するために単一の動作に減らされ得る。作業変位Zα(i,j)の採用は、必要なときに、両方の画像(左右)に対する表示不整合の補正を容易にする。両方の画像(左右)に対する表示不整合の補正の処理を以下で説明する。
図8aに示されるように、表示歪み補正の処理は、4つの入力端子M(801)、N(802)、O(803)及びP(804)並びに1つの出力端子Q(805)を有する箱800によって表され得る。この配置を用いて、垂直補正をされた左画像243及び垂直補正をされた右画像245の両方に対する表示不整合補正の構成は、図8bに示されるシステム860として構成され得る。システム860には2つの同一の箱800がある。左アンカーポイント630及び右アンカーポイント635は、左画像のためのソースアンカーポイント及びデスティネーションアンカーポイントとして使用され、右アンカーポイント635及び左アンカーポイント630は、右画像のためのソースアンカーポイント及びデスティネーションアンカーポイントとして使用される。2つのスケーリング係数β(246)及び1−β(248)は、夫々、左画像243及び右画像245の変形量を決定するために使用される。これら2つのパラメータβ(246)及び1−β(248)は、ワーピングをされた左画像870及び右画像875が、表示システムによって導入される不整合を除去する対応する位置へ整列されることを確かにする。βの有効範囲は0≦β≦1である。β=0の場合に、ワーピングをされた左画像870は、入力された補正後の左画像243であり、ワーピングをされた右画像875は、入力された補正後の左画像243と一致する。β=1の場合に、ワーピングをされた右画像875は、入力された補正後の右画像245であり、ワーピングをされた左画像870は、入力された補正後の右画像245と一致する。β≠0且つβ≠1の場合に、左画像243及び右画像245は両方とも補正処理を通り、ワーピングをされた左画像870及びワーピングをされた右画像875は、βの値に応じて、左画像243と右画像245の間のどこかへ合わせられる。
先に論じられた画像ソース変位マップと、表示変位マップとを適用することによって、ソース画像における垂直不整合並びに表示システムにおける欠陥による水平及び垂直不整合はほとんど除去され得る。これらは夫々別個に適用され得ることが好ましいが、それら両方が有効にされて、システム内で適用されることが望ましい。例えば、参照することによって本願に援用される米国特許番号6,191,809号及びEP1235439A2に含まれるような、他の手段に基づき生成される画像ソース変位マップとともに、ここで記載される表示変位マップを適用することも可能である。
Claims (16)
- 立体表示システムにおいて不整合を調整する方法であって、
一対の入力画像を画像処理装置へ供給するステップと、
前記一対の入力画像に関し画像ソース変位マップを生成するステップと、
表示変位マップを得るステップと、
調整された立体画像対を生成するよう前記一対の入力画像へ前記画像ソース変位マップ及び前記表示変位マップを適用するステップとを有する方法。 - 前記画像ソース変位マップ及び前記表示変位マップは、システム変位マップに一体化され、
前記システム変位マップは、前記調整された立体画像対を生成するよう前記一対の入力画像に適用される、請求項1記載の立体表示システムにおいて不整合を調整する方法。 - 前記画像ソース変位マップ及び前記表示変位マップは、個々に、前記調整された立体画像対を生成するよう前記一対の入力画像に適用される、請求項1記載の立体表示システムにおいて不整合を調整する方法。
- 前記表示変位マップを得るステップは、1又はそれ以上の試験目標を表示装置に表示するステップと、前記1又はそれ以上の試験目標の部分のアラインメントを決定するステップとを有する、請求項1記載の立体表示システムにおいて不整合を調整する方法。
- 前記1又はそれ以上の試験目標は、表示され且つユーザが前記表示変位マップを生成するよう左右の目の画像の1又はそれ以上の部分の知覚されるアラインメントに関して当該システムへフィードバックを提供するところの左右の目のコンポーネントを有する、請求項4記載の立体表示システムにおいて不整合を調整する方法。
- 光学機器は、既知のアラインメントの左右の目のビューを捕捉し、
結果として得られる画像は、左右の目のビューの中の特徴のアラインメントを決定して、前記表示変位マップを生成するよう処理される、請求項4記載の立体表示システムにおいて不整合を調整する方法。 - 画像ソースと、画像処理要素と、表示部とを有し、
前記画像処理要素は、請求項1記載の方法を用いて、調整された立体画像対を前記表示部で生成する、立体表示システム。 - 立体表示システムにおいて不整合を調整する方法であって、
一対の入力画像を画像処理装置へ供給するステップと、
画像ソース変位マップを生成するステップと、
前記一対の入力画像において垂直不整合を補正するよう前記画像ソース変位マップを適用するステップとを有する方法。 - 前記画像ソース変位マップを生成するステップは、
前記一対の入力画像に関し画像変形関数を計算するステップと、
前記計算された変形関数を用いて垂直変位マップを生成するステップと、
前記一対の入力画像に関し作業変位マップを計算するステップとを有する、請求項8記載の立体表示システムにおいて不整合を調整する方法。 - 前記一対の入力画像において垂直不整合を補正するよう前記画像ソース変位マップを適用するステップは、計算された作業変位マップを用いて前記一対の入力画像を変形させるステップを有する、請求項8記載の立体表示システムにおいて不整合を調整する方法。
- 画像ソースと、画像処理要素と、画像出力部とを有し、
前記画像処理要素は、請求項8記載の方法を用いて、調整された立体画像対を生成する、画像処理システム。 - 立体表示システムにおいて不整合を調整する方法であって、
一対の入力画像を画像処理装置へ供給するステップと、
表示変位マップを得るステップと、
調整された立体表示を生成するよう前記一対の入力画像へ前記表示変位マップを適用するステップとを有する方法。 - 前記表示変位マップを得るステップは、
左右の目標を表示するステップと、
表示変位マップを生成するよう前記左右の目標内の特徴の不整合を決定するステップと、
調整された立体表示を生成するよう前記一対の入力画像へ前記表示変位マップを適合するステップとを有する、請求項12記載の立体表示システムにおいて不整合を調整する方法。 - 1又はそれ以上の試験目標は、表示され且つユーザが前記表示変位マップを生成するよう左右の目の画像の1又はそれ以上の部分の知覚されるアラインメントに関して当該システムへフィードバックを提供するところの左右の目のコンポーネントを有する、請求項13記載の立体表示システムにおいて不整合を調整する方法。
- 既知のアラインメントの光学機器は、左右の目のビューを捕捉するために使用され、
結果として得られる画像は、前記表示変位マップを生成するよう左右の目のビューの中の特徴のアラインメントを決定するよう処理される、請求項13記載の立体表示システムにおいて不整合を調整する方法。 - 画像ソースと、画像処理要素と、表示部とを有し、
前記画像処理要素は、請求項13記載の方法を用いて、調整された立体画像対を前記表示部で生成する、画像処理システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/334,275 US20070165942A1 (en) | 2006-01-18 | 2006-01-18 | Method for rectifying stereoscopic display systems |
PCT/US2007/000079 WO2007084267A2 (en) | 2006-01-18 | 2007-01-04 | A method for rectifying stereoscopic display systems |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009524349A true JP2009524349A (ja) | 2009-06-25 |
Family
ID=38171589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008551280A Pending JP2009524349A (ja) | 2006-01-18 | 2007-01-04 | 立体表示システムの調整方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20070165942A1 (ja) |
EP (1) | EP1974550A2 (ja) |
JP (1) | JP2009524349A (ja) |
KR (1) | KR20080085044A (ja) |
CN (1) | CN101371593A (ja) |
WO (1) | WO2007084267A2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015198930A1 (ja) * | 2014-06-23 | 2015-12-30 | 株式会社デンソー | 測距装置および補正パラメータを用いた測距補正装置 |
Families Citing this family (75)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005000101A2 (en) * | 2003-06-12 | 2005-01-06 | University Of Utah Research Foundation | Apparatus, systems and methods for diagnosing carpal tunnel syndrome |
US8872754B2 (en) * | 2006-03-29 | 2014-10-28 | Nvidia Corporation | System, method, and computer program product for controlling stereo glasses shutters |
US8169467B2 (en) | 2006-03-29 | 2012-05-01 | Nvidia Corporation | System, method, and computer program product for increasing an LCD display vertical blanking interval |
US20070248260A1 (en) * | 2006-04-20 | 2007-10-25 | Nokia Corporation | Supporting a 3D presentation |
EP2201774A4 (en) * | 2007-10-13 | 2012-02-29 | Samsung Electronics Co Ltd | APPARATUS AND METHOD FOR GENERATING THREE DIMENSIONAL STEREOSCOPIC IMAGE / VIDEO CONTENT ON TERMINAL FROM LIGHT APPLICATION SCENIC REPRESENTATION |
JP5298507B2 (ja) * | 2007-11-12 | 2013-09-25 | セイコーエプソン株式会社 | 画像表示装置及び画像表示方法 |
US8199995B2 (en) * | 2008-01-29 | 2012-06-12 | Carestream Health, Inc. | Sensitometric response mapping for radiological images |
BRPI0822142A2 (pt) | 2008-01-29 | 2015-06-30 | Thomson Licensing | Método e sistema para converter dados de imagem em 2d para dados de imagem estereoscópica |
EP2259601B1 (en) * | 2008-04-03 | 2016-09-07 | NLT Technologies, Ltd. | Image processing method, image processing device, and recording medium |
US8167793B2 (en) * | 2008-04-26 | 2012-05-01 | Intuitive Surgical Operations, Inc. | Augmented stereoscopic visualization for a surgical robot using time duplexing |
US8355042B2 (en) * | 2008-10-16 | 2013-01-15 | Spatial Cam Llc | Controller in a camera for creating a panoramic image |
US11119396B1 (en) | 2008-05-19 | 2021-09-14 | Spatial Cam Llc | Camera system with a plurality of image sensors |
US10585344B1 (en) | 2008-05-19 | 2020-03-10 | Spatial Cam Llc | Camera system with a plurality of image sensors |
JP4852591B2 (ja) * | 2008-11-27 | 2012-01-11 | 富士フイルム株式会社 | 立体画像処理装置、方法及び記録媒体並びに立体撮像装置 |
KR101095670B1 (ko) * | 2009-07-06 | 2011-12-19 | (주) 비전에스티 | 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치 |
US8508580B2 (en) * | 2009-07-31 | 2013-08-13 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene |
US9380292B2 (en) | 2009-07-31 | 2016-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene |
US8436893B2 (en) | 2009-07-31 | 2013-05-07 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images |
KR20120084775A (ko) | 2009-10-30 | 2012-07-30 | 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. | 입체 디스플레이 시스템 |
US10095953B2 (en) | 2009-11-11 | 2018-10-09 | Disney Enterprises, Inc. | Depth modification for display applications |
US9445072B2 (en) | 2009-11-11 | 2016-09-13 | Disney Enterprises, Inc. | Synthesizing views based on image domain warping |
US8711204B2 (en) * | 2009-11-11 | 2014-04-29 | Disney Enterprises, Inc. | Stereoscopic editing for video production, post-production and display adaptation |
EP2354893B1 (en) * | 2009-12-31 | 2018-10-24 | Sony Interactive Entertainment Europe Limited | Reducing inertial-based motion estimation drift of a game input controller with an image-based motion estimation |
GB2478164A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Calculating misalignment between a stereoscopic image pair based on feature positions |
US20110249889A1 (en) * | 2010-04-08 | 2011-10-13 | Sreenivas Kothandaraman | Stereoscopic image pair alignment apparatus, systems and methods |
JP5683025B2 (ja) * | 2010-04-19 | 2015-03-11 | パナソニックIpマネジメント株式会社 | 立体画像撮影装置および立体画像撮影方法 |
JP5573379B2 (ja) * | 2010-06-07 | 2014-08-20 | ソニー株式会社 | 情報表示装置および表示画像制御方法 |
KR20110137607A (ko) * | 2010-06-17 | 2011-12-23 | 삼성전자주식회사 | 디스플레이 장치 및 그 3d 영상 인식 진단 방법 |
CN102340636B (zh) * | 2010-07-14 | 2013-10-16 | 深圳Tcl新技术有限公司 | 一种立体画面自适应显示方法 |
US9344701B2 (en) | 2010-07-23 | 2016-05-17 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation |
US8571350B2 (en) * | 2010-08-26 | 2013-10-29 | Sony Corporation | Image processing system with image alignment mechanism and method of operation thereof |
GB2483431A (en) * | 2010-08-27 | 2012-03-14 | Sony Corp | A Method and Apparatus for Determining the Movement of an Optical Axis |
JP5450330B2 (ja) * | 2010-09-16 | 2014-03-26 | 株式会社ジャパンディスプレイ | 画像処理装置および方法、ならびに立体画像表示装置 |
US8922633B1 (en) | 2010-09-27 | 2014-12-30 | Given Imaging Ltd. | Detection of gastrointestinal sections and transition of an in-vivo device there between |
US8965079B1 (en) | 2010-09-28 | 2015-02-24 | Given Imaging Ltd. | Real time detection of gastrointestinal sections and transitions of an in-vivo device therebetween |
US9094678B1 (en) | 2010-09-29 | 2015-07-28 | Nvidia Corporation | System, method, and computer program product for inverting a polarity of each cell of a display device |
US9094676B1 (en) | 2010-09-29 | 2015-07-28 | Nvidia Corporation | System, method, and computer program product for applying a setting based on a determined phase of a frame |
US9185388B2 (en) | 2010-11-03 | 2015-11-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
FR2967324B1 (fr) * | 2010-11-05 | 2016-11-04 | Transvideo | Procede et dispositif de controle du dephasage entre cameras stereoscopiques |
US10200671B2 (en) | 2010-12-27 | 2019-02-05 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
US8274552B2 (en) | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
CN102170576A (zh) * | 2011-01-30 | 2011-08-31 | 中兴通讯股份有限公司 | 双摄像头立体拍摄的处理方法及装置 |
JP5807354B2 (ja) * | 2011-03-22 | 2015-11-10 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
GB2489931A (en) * | 2011-04-08 | 2012-10-17 | Sony Corp | Analysis of 3D video to detect frame violation within cropped images |
CN102821287A (zh) * | 2011-06-09 | 2012-12-12 | 承景科技股份有限公司 | 立体影像校正系统及方法 |
US20130038684A1 (en) * | 2011-08-11 | 2013-02-14 | Nvidia Corporation | System, method, and computer program product for receiving stereoscopic display content at one frequency and outputting the stereoscopic display content at another frequency |
US9129378B2 (en) * | 2011-09-07 | 2015-09-08 | Thomson Licensing | Method and apparatus for recovering a component of a distortion field and for determining a disparity field |
KR101272571B1 (ko) * | 2011-11-11 | 2013-06-10 | 재단법인대구경북과학기술원 | 지능형 자동차의 스테레오 비전 시스템에 대한 시뮬레이션 장치 및 이를 이용한 카메라 교정 방법 |
KR101862404B1 (ko) * | 2011-12-09 | 2018-05-29 | 엘지이노텍 주식회사 | 스테레오 영상의 노이즈 제거장치 및 방법 |
US20130163854A1 (en) * | 2011-12-23 | 2013-06-27 | Chia-Ming Cheng | Image processing method and associated apparatus |
US9164288B2 (en) | 2012-04-11 | 2015-10-20 | Nvidia Corporation | System, method, and computer program product for presenting stereoscopic display content for viewing with passive stereoscopic glasses |
CN102759848B (zh) * | 2012-06-11 | 2015-02-04 | 海信集团有限公司 | 一种投影显示系统、投影设备及投影显示方法 |
US9013558B2 (en) * | 2012-07-02 | 2015-04-21 | Sony Corporation | System and method for alignment of stereo views |
US20140003706A1 (en) * | 2012-07-02 | 2014-01-02 | Sony Pictures Technologies Inc. | Method and system for ensuring stereo alignment during pipeline processing |
CN103713387A (zh) * | 2012-09-29 | 2014-04-09 | 联想(北京)有限公司 | 电子设备和采集方法 |
US9560343B2 (en) | 2012-11-23 | 2017-01-31 | Samsung Electronics Co., Ltd. | Apparatus and method for calibrating multi-layer three-dimensional (3D) display |
US9384551B2 (en) * | 2013-04-08 | 2016-07-05 | Amazon Technologies, Inc. | Automatic rectification of stereo imaging cameras |
US9571812B2 (en) | 2013-04-12 | 2017-02-14 | Disney Enterprises, Inc. | Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding |
US9324145B1 (en) | 2013-08-08 | 2016-04-26 | Given Imaging Ltd. | System and method for detection of transitions in an image stream of the gastrointestinal tract |
CN104581112B (zh) * | 2013-10-14 | 2016-10-05 | 钰立微电子股份有限公司 | 快速产生摄像机的距离对视差关系表的系统及其相关方法 |
US9229228B2 (en) * | 2013-12-11 | 2016-01-05 | Honeywell International Inc. | Conformal capable head-up display |
CN104933755B (zh) * | 2014-03-18 | 2017-11-28 | 华为技术有限公司 | 一种静态物体重建方法和系统 |
KR102224716B1 (ko) | 2014-05-13 | 2021-03-08 | 삼성전자주식회사 | 스테레오 소스 영상 보정 방법 및 장치 |
US10459224B2 (en) | 2014-09-29 | 2019-10-29 | Honeywell International Inc. | High transmittance eyewear for head-up displays |
US9606355B2 (en) | 2014-09-29 | 2017-03-28 | Honeywell International Inc. | Apparatus and method for suppressing double images on a combiner head-up display |
KR102242923B1 (ko) * | 2014-10-10 | 2021-04-21 | 주식회사 만도 | 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법 |
CN105578175B (zh) * | 2014-10-11 | 2018-03-30 | 深圳超多维光电子有限公司 | 立体显示装置检测系统及其检测方法 |
US9997199B2 (en) * | 2014-12-05 | 2018-06-12 | Warner Bros. Entertainment Inc. | Immersive virtual reality production and playback for storytelling content |
KR101729165B1 (ko) | 2015-09-03 | 2017-04-21 | 주식회사 쓰리디지뷰아시아 | 타임 슬라이스 영상용 오차교정 유닛 |
KR101729164B1 (ko) * | 2015-09-03 | 2017-04-24 | 주식회사 쓰리디지뷰아시아 | 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법 |
US10082865B1 (en) * | 2015-09-29 | 2018-09-25 | Rockwell Collins, Inc. | Dynamic distortion mapping in a worn display |
US20170171456A1 (en) * | 2015-12-10 | 2017-06-15 | Google Inc. | Stereo Autofocus |
CN106600573B (zh) * | 2016-12-27 | 2020-07-14 | 宁波视睿迪光电有限公司 | 一种图像处理方法 |
KR20190006329A (ko) * | 2017-07-10 | 2019-01-18 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
US10964034B1 (en) | 2019-10-30 | 2021-03-30 | Nvidia Corporation | Vertical disparity detection in stereoscopic images from optical flow data |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU1742895A (en) * | 1994-06-09 | 1996-01-04 | Kollmorgen Instrument Corporation | Stereoscopic electro-optical system for automated inspection and/or alignment of imaging devices on a production assembly line |
EP0908060A4 (en) * | 1996-06-28 | 2004-04-28 | Stanford Res Inst Int | SMALL IMAGE MODULES FOR REAL-TIME STEREO AND MOTION ANALYSIS |
US6191809B1 (en) * | 1998-01-15 | 2001-02-20 | Vista Medical Technologies, Inc. | Method and apparatus for aligning stereo images |
JP4235291B2 (ja) * | 1998-10-02 | 2009-03-11 | キヤノン株式会社 | 立体映像システム |
US6720988B1 (en) * | 1998-12-08 | 2004-04-13 | Intuitive Surgical, Inc. | Stereo imaging system and method for use in telerobotic systems |
US6671399B1 (en) * | 1999-10-27 | 2003-12-30 | Canon Kabushiki Kaisha | Fast epipolar line adjustment of stereo pairs |
US6674892B1 (en) * | 1999-11-01 | 2004-01-06 | Canon Kabushiki Kaisha | Correcting an epipolar axis for skew and offset |
JP2001339742A (ja) * | 2000-03-21 | 2001-12-07 | Olympus Optical Co Ltd | 立体映像プロジェクション装置、及びその補正量演算装置 |
GB2372659A (en) * | 2001-02-23 | 2002-08-28 | Sharp Kk | A method of rectifying a stereoscopic image |
CN1640153A (zh) * | 2002-01-04 | 2005-07-13 | 纽鲁克公司 | 使用回归反射屏幕的三维图像投影 |
US7209161B2 (en) * | 2002-07-15 | 2007-04-24 | The Boeing Company | Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras |
US7489445B2 (en) * | 2003-01-29 | 2009-02-10 | Real D | Convertible autostereoscopic flat panel display |
JP4677175B2 (ja) * | 2003-03-24 | 2011-04-27 | シャープ株式会社 | 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US8094927B2 (en) * | 2004-02-27 | 2012-01-10 | Eastman Kodak Company | Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer |
-
2006
- 2006-01-18 US US11/334,275 patent/US20070165942A1/en not_active Abandoned
-
2007
- 2007-01-04 JP JP2008551280A patent/JP2009524349A/ja active Pending
- 2007-01-04 KR KR1020087017445A patent/KR20080085044A/ko not_active Application Discontinuation
- 2007-01-04 WO PCT/US2007/000079 patent/WO2007084267A2/en active Application Filing
- 2007-01-04 EP EP07716246A patent/EP1974550A2/en not_active Withdrawn
- 2007-01-04 CN CNA2007800026315A patent/CN101371593A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015198930A1 (ja) * | 2014-06-23 | 2015-12-30 | 株式会社デンソー | 測距装置および補正パラメータを用いた測距補正装置 |
JP2016008847A (ja) * | 2014-06-23 | 2016-01-18 | 株式会社日本自動車部品総合研究所 | 測距補正装置 |
Also Published As
Publication number | Publication date |
---|---|
KR20080085044A (ko) | 2008-09-22 |
CN101371593A (zh) | 2009-02-18 |
WO2007084267A2 (en) | 2007-07-26 |
WO2007084267A3 (en) | 2007-09-13 |
US20070165942A1 (en) | 2007-07-19 |
EP1974550A2 (en) | 2008-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009524349A (ja) | 立体表示システムの調整方法 | |
JP5238429B2 (ja) | 立体映像撮影装置および立体映像撮影システム | |
CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
US9792684B2 (en) | System and method for imaging device modelling and calibration | |
JP4942221B2 (ja) | 高解像度仮想焦点面画像生成方法 | |
JP5036132B2 (ja) | 裸眼立体表示のための視差画像のクリティカルな位置合わせ | |
CN101563709B (zh) | 校准照相机系统 | |
JP5973707B2 (ja) | 三次元内視鏡装置 | |
US7583307B2 (en) | Autostereoscopic display | |
JP2002324234A (ja) | 立体画像を偏歪修正する方法および装置 | |
JP2017531976A (ja) | アレイカメラを動的に較正するためのシステム及び方法 | |
US20130222556A1 (en) | Stereo picture generating device, and stereo picture generating method | |
US20160134859A1 (en) | 3D Photo Creation System and Method | |
JP2006113807A (ja) | 多視点画像の画像処理装置および画像処理プログラム | |
JPH07287761A (ja) | 画像処理装置及び画像処理方法 | |
US20110064298A1 (en) | Apparatus for evaluating images from a multi camera system, multi camera system and process for evaluating | |
JP2010278878A (ja) | 立体画像表示装置及びその表示画像切替方法 | |
CN110505468B (zh) | 一种增强现实显示设备的测试标定及偏差修正方法 | |
CN103947199A (zh) | 图像处理装置、立体图像显示设备、图像处理方法和图像处理程序 | |
KR20200144097A (ko) | 라이트 필드 화상 생성 시스템, 화상 표시 시스템, 형상 정보 취득 서버, 화상 생성 서버, 표시 장치, 라이트 필드 화상 생성 방법 및 화상 표시 방법 | |
WO2007007924A1 (en) | Method for calibrating distortion of multi-view image | |
Nozick | Multiple view image rectification | |
US10621694B2 (en) | Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium | |
US10148931B2 (en) | Three-dimensional video image display processing device, video information recording medium, video information providing server, and recording medium storing a program | |
JP2022506104A (ja) | 広角画像からの視差推定 |