JP2002324234A

JP2002324234A - 立体画像を偏歪修正する方法および装置

Info

Publication number: JP2002324234A
Application number: JP2002042310A
Authority: JP
Inventors: Delman Lee; リーデルマン; Graham R Jones; ロジャージョーンズグラハム
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2001-02-23
Filing date: 2002-02-19
Publication date: 2002-11-08
Also published as: EP1235439A3; GB2372659A; GB0104599D0; EP1235439A2; US20030156751A1; US7113632B2

Abstract

(57)【要約】【課題】第１およひ第２の画像を含む立体画像を偏歪
修正する方法を提供すること。【解決手段】本発明は、第１および第２の画像キャプ
チャデバイスのうちの対応する１つを使用してキャプチ
ャされた第１および第２の画像を含む立体画像を偏歪修
正する方法であって、第１および第２の画像キャプチャ
デバイスは立体画像キャプチャデバイスを形成し、上記
方法は、第１および第２の画像のうちの対応する１つを
偏歪修正し、これにより、縦方向ディスパリティを低減
するための第１および第２の偏歪修正変換を決定するス
テップを包含し、上記方法は、第１および／または第２
の偏歪修正変換の決定の際に、立体画像キャプチャデバ
イスのパラメータの統計データを使用するステップを包
含することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、立体画像対を偏歪
修正する方法に関し、特に、画像対を構成する２枚のキ
ャプチャされた画像を偏歪修正し、これにより、偏歪修
正された画像対から縦方向ディスパリティを実質的に除
去するための１対の偏歪修正変換を決定する方法に関す
る。本発明は、特に、観察者によって直接見られる立体
画像表示デバイス上に表示することを意図された立体画
像対の偏歪修正に適用可能である。本発明はまた、立体
画像対を偏歪修正する装置に関する。

【０００２】

【従来の技術】立体表示の原理は周知である。立体表示
を生成するために、２つの画像が、２画像キャプチャデ
バイスを提供する立体画像キャプチャデバイスを使用し
て取得される。１つの画像キャプチャデバイス（「左画
像キャプチャデバイス」として区別される）は、観察者
の左目で見られるであろう画像に対応する画像をキャプ
チャし、他の画像キャプチャデバイス（「右画像キャプ
チャデバイス」として区別される）は、観察者の右目で
見られるであろう画像に対応する画像をキャプチャす
る。このようにして取得された２つの画像は、立体画像
の対、または立体画像対として知られる。その２つの画
像が適切な立体表示デバイスを使用して表示される場
合、見る人は、３次元画像を知覚する。立体画像キャプ
チャデバイスは、例えば２台のカメラのような２つの別
個の画像キャプチャデバイスを含み得る。あるいは、立
体キャプチャ画像デバイスは、左画像キャプチャデバイ
スおよび右画像キャプチャデバイスの両方として作用し
得る単一の画像キャプチャデバイスを含み得る。例え
ば、カメラなどの単一の画像キャプチャデバイスがスラ
イド棒に搭載され得、それにより、画像キャプチャデバ
イスは、その画像キャプチャデバイスが左画像キャプチ
ャデバイスとして作用する場所と、右画像キャプチャデ
バイスとして作用する場所との間を並進し得る。他の例
として、立体画像キャプチャデバイスは、単一の画像キ
ャプチャデバイスと、その画像キャプチャデバイスが、
左画像キャプチャデバイスまたは右画像キャプチャデバ
イスのどちらか一方として作用することを可能にする移
動ミラー構成とを含み得る。

【０００３】従来の立体ディスプレイの１つの問題は、
立体画像が、高品質な立体表示デバイス上でさえ、見づ
らくあり得る事である。この不快さの１つの原因は、縦
方向ディスパリティが立体画像対の中に存在することで
ある。縦方向ディスパリティとは、立体画像の一方の中
の対象物の画像が、他の立体画像の中の同じ対象物の画
像とは異なる垂直方向の位置を有していることを意味す
る。縦方向ディスパリティは、カメラシステムの多くの
種類の取り付け不良によって起こり、見る人に不快感を
起こさせる。画像偏歪修正は、立体画像対の２つの画像
の間の縦方向ディスパリティを除去し、それにより、結
果として得られる立体画像をより見やすくするためのプ
ロセスである。

【０００４】以下、２つのピンホールカメラ、すなわ
ち、一方は観察者の左目で見られるであろう画像を記録
するカメラ、他方は観察者の右目で見られるであろう画
像を記録するカメラからなるカメラ設定を使用する単純
化されたモデルを参照して、立体画像対の中の縦方向デ
ィスパリティの発生源を説明する。左ピンホールカメ
ラ、すなわち、左目で見られるであろう画像を記録する
ピンホールカメラは、ピンホール１Ｌと、画像平面２Ｌ
とからなり、右ピンホールカメラ、すなわち、右目で見
られるであろう画像を記録するピンホールカメラも、ピ
ンホール１Ｒと、画像平面２Ｒとを備えている。

【０００５】図１の２台のカメラの設定において、ベー
ス線３は、左カメラのピンホール１Ｌと右カメラのピン
ホール１Ｒとの間の距離である。各カメラの光軸は、カ
メラの画像平面に垂直で、カメラのピンホールを通過す
る軸である。各カメラについて、「主点」は、カメラの
画像平面２Ｌ、２Ｒ中の、カメラのピンホール１Ｌ、１
Ｒに最も近い点５Ｌ、５Ｒである。最後に、各カメラの
有効焦点距離は、カメラのピンホールとカメラの主点と
の間の距離ｆ_L、ｆ_Rである。

【０００６】図２ａおよび図２ｂは、理想的な立体記録
設定を示す。理想的な設定では、左および右のカメラは
同一であり、その結果、とりわけ、左カメラの焦点距離
は右カメラの焦点距離と同一であり、左カメラの主点は
右カメラの主点と同一である。さらに、理想的なカメラ
設定において、左および右のカメラの光軸は平行であ
り、また、ベース線に垂直である。明瞭化のために、図
２ａまたは図２ｂに示されるようなカメラ設定を「平行
カメラ設定」と呼ぶ。

【０００７】立体画像対が、平行カメラ設定に正確に配
置された２つの理想的なカメラまたは他の記録デバイス
によってキャプチャされる場合、立体画像対の２つの画
像の間に縦方向ディスパリティは発生しない。しかし、
立体画像対が理想的でないカメラ設定でキャプチャされ
た場合、立体画像対に縦方向ディスパリティが導入され
る。実際、通常の低コスト立体カメラシステムは、平行
カメラ設定の単なる近似に過ぎない。通常の低コスト立
体カメラシステムにおける２台のカメラは、２台のカメ
ラが名目上は同一であっても、実際、一致しない焦点距
離および一致しない主点を有する。さらに、２台のカメ
ラの光軸は、ベース線に正確に垂直ではないことがあり
がちであり、互いに平行でないことがありがちである。
そのような通常の立体カメラシステムが、図２ｃに示さ
れている。図２ｃに示される欠陥を有するカメラ設定を
使用してキャプチャされた立体画像は、縦方向ディスパ
リティを含む。

【０００８】焦点距離と主点とは、これらのパラメータ
が単一のカメラに関連しているので、時々、「固有」カ
メラパラメータと呼ばれる。回転および並進は、ステレ
オカメラ設定の一方のカメラが他方のカメラに対してど
のように整列されているかに関連しているので、「非固
有」カメラパラメータと呼ばれる。

【０００９】縦方向ディスパリティを低減するために非
平行カメラ設定を使用してキャプチャされた立体画像を
処理することは、公知である。この処理は、「偏歪修正
（ｒｅｃｔｉｆｉｃａｔｉｏｎ）」として知られてい
る。偏歪修正処理が完全に有効である場合、元の画像が
非平行なカメラ整列を使用してキャプチャされた場合で
さえ、縦方向ディスパリティは除去され、高品質な立体
表示が得られ得る。偏歪修正された画像は（偏歪修正処
理が正しく行われたと仮定すると）平行カメラ設定を使
用して取得されたであろう画像に対応するので、偏歪修
正処理は、２台のカメラを仮想的に整列させる処理とし
て考えられ得る。

【００１０】図３ａは、従来技術の偏歪修正処理のブロ
ックフロー図である。ステップ１１において立体画像対
がキャプチャされ、次いで、ステップ１２において対応
検出ステップが行われ、２つの画像の中の対応する点の
対（すなわち、１つの画像中の点と、他の画像中の対応
する点とからなるそれぞれの対）が検出される。２つの
画像の間に縦方向ディスパリティがある場合、縦方向デ
ィスパリティは、対応検出ステップの間に明らかにな
る。

【００１１】ステップ１３において、２つの立体画像の
間の縦方向ディスパリティを除去するために必要な偏歪
修正手順の詳細が、対応検出ステップの結果から決定さ
れる。ステップ１４において、偏歪修正変換の対が決定
される。１つは左画像を偏歪修正するための変換であ
り、１つは右画像を偏歪修正するための変換である。ス
テップ１５において、左および右の画像は、その画像に
ついてステップ１４において決定された偏歪修正変換に
よって作用される。左および右の画像が偏歪修正変換に
よって歪曲（ワーピング）されるので、これは、一般に
「ワーピング（ｗａｒｐｉｎｇ）ステップ」として知ら
れている。ステップ１５の結果は、偏歪修正された画像
対をステップ１６において生成することである。偏歪修
正変換が正しく選ばれた場合、偏歪修正された画像対
は、縦方向ディスパリティを含まないはずである。最後
に、偏歪修正された画像は、ステップ１７において、立
体画像デバイスに表示され得る。

【００１２】ステップ１４において決定された偏歪修正
変換は、カメラ設定の幾何に依存する。従って、いった
ん適切な偏歪修正変換が１つのキャプチャされた画像対
から決定されると、同じカメラ設定を使用して取得され
た引き続く画像対について、ステップ１２、１３および
１４を繰り返す必要はない。その代わりに、同じカメラ
設定を使用して取得された引き続くキャプチャされた画
像対は、既に決定された偏歪修正変換を使用して、ステ
ップ１５において直接ワーピングされ得る。

【００１３】立体画像対の中の縦方向ディスパリティの
除去とは別に、偏歪修正はまた、従来技術において、引
き続くステレオ分析を単純化するためにも使用される。
特に、ステレオマッチングすなわち対応問題は、２次元
探索から１次元探索に単純化される。左および右の画像
についての偏歪修正変換は、対応する画像特徴が偏歪修
正の後にマッチングされ得るように選ばれる。

【００１４】図３ａに一般的に示されるタイプの従来の
偏歪修正技術は、２つの主なタイプに属する。偏歪修正
処理の第１のタイプは、カメラ設定の「カメラパラメー
タ」の知識を必要とする。カメラパラメータは、例え
ば、２台のカメラの焦点距離、ベース線、各カメラの主
点および各カメラの光軸がベース線となす角度を含む。
カメラパラメータの知識は、適切な偏歪修正変換を推定
するために使用される。図３ｂは、そのような従来技術
の偏歪修正処理のブロックフロー図である。図３ｂの方
法は、図３ａの方法とは、カメラパラメータの知識がス
テップ１３において偏歪修正変換を推定するために使用
されている点で異なる。

【００１５】図３ｂに模式的に示されるタイプの従来技
術の偏歪修正方法は、例えば、「Ｉｎｔｅｒｎａｔｉｏ
ｎａｌＣｏｎｆｅｒｅｎｃｅｏｆＰａｔｔｅｒｎ
Ｒｅｃｏｇｎｉｔｉｏｎ」、ｐｐ１１−１６（１９９
８）の中の「ＲｅｃｔｉｆｉｃａｔｉｏｎｏｆＩｍ
ａｇｅｓｆｏｒｂｉｎｏｃｕｌａｒａｎｄｔｒ
ｉｎｏｃｕｌａｒｓｔｅｒｅｏｖｉｓｉｏｎ」におい
てＮ．Ａｙａｃｈｅらにより、また、「Ｉｎｔｅｒｎａ
ｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅ
ｒｎＲｅｃｏｇｎｉｔｉｏｎ」、ｐｐ２３−２６（１
９９２）の中の「ＡＨａｒｄｗａｒｅＡｒｃｈｉｔ
ｅｃｔｕｒｅｆｏｒＩｍａｇｅＲｅｃｔｉｆｉｃａ
ｔｉｏｎａｎｄＧｒｏｕｎｄＰｌａｎｅＯｂｓ
ｔａｃｌｅＤｅｔｅｃｔｉｏｎ」においてＰ．Ｃｏｕ
ｒｔｎｅｙらにより、また、Ｔｅｃｈ．Ｒｅｐ．Ｃ
ＭＵ−ＣＳ−９４−１６７、ＳｃｈｏｏｌｏｆＣｏ
ｍｐｕｔｅｒＳｃｉｅｎｃｅ、ＣａｒｎｅｇｉｅＭ
ｅｌｌｏｎＵｎｉｖｅｒｓｉｔｙ（１９９４）の「Ａ
ｎＡｃｔｉｖｅＭｕｌｔｉｂａｓｅｌｉｎｅＳｔ
ｅｒｅｏＳｙｓｔｅｍｗｉｔｈＲｅａｌ−Ｔｉｍ
ｅＩｍａｇｅＡｃｑｕｉｓｉｔｉｏｎ」においてＳ．
Ｋａｎｇらにより、また、「Ｐｒｏｃｅｅｄｉｎｇｓ
ｏｆＢｒｉｔｉｓｈＭａｃｈｉｎｅＶｉｓｉｏｎ
Ｃｏｎｆｅｒｅｎｃｅ」、ｐｐ４００−４０９（１９
９７）の中の「Ｒｅｃｔｉｆｉｃａｔｉｏｎｗｉｔｈ
ＵｎｃｏｎｓｔｒａｉｎｅｄＳｔｅｒｅｏｇｅｏｍ
ｅｔｒｙ」においてＡ．Ｆｕｓｉｅｌｌｏらにより、
開示されている。

【００１６】図３ｂに模式的に示されるタイプの従来技
術の偏歪修正方法は、偏歪修正変換を推定するために使
用されるカメラパラメータと同程度にしか信頼性がない
という欠点を有する。原理的には、正確なカメラパラメ
ータが偏歪修正変換を推定するために使用された場合、
縦方向ディスパリティは完全に除去され得る。しかし、
実際には、カメラパラメータは正確には分からず、この
場合に、偏歪修正変換は不正確に選ばれる。その結果、
偏歪修正された画像対は、依然として縦方向ディスパリ
ティを含む。

【００１７】代替的な従来技術の偏歪修正方法が、図３
ｃに模式的に示されている。この方法は、適切な偏歪修
正変換を決定するためにカメラパラメータを使用しな
い。カメラパラメータの使用を伴わない偏歪修正は、時
々、「投影偏歪修正（ｐｒｏｊｅｃｔｉｖｅｒｅｃｔ
ｉｆｉｃａｔｉｏｎ）」と呼ばれる。

【００１８】投影偏歪修正では、偏歪修正変換を選ぶ際
に自由度が存在する。ほとんどの従来技術の投影偏歪修
正の方法は、これらの自由度を除去して一対の偏歪修正
変換以外を除去するために、何らかのヒューリスティッ
クを使用する。残された一対の偏歪修正変換が、次い
で、左および右の画像を偏歪修正するために使用され
る。ヒューリスティックにより、何らかの方法で測定さ
れた場合に、偏歪修正された画像対における画像歪みが
最小化される。この従来技術の方法は、決定される一対
の偏歪修正変換が、必ずしも、平行カメラ設定を与える
ために仮想的にカメラを整列することに対応しないとい
う特徴を有する。偏歪修正処理により生成された偏歪修
正された画像対が、ステレオ対応のようなステレオ分析
のためであると意図される場合、偏歪修正変換が、平行
カメラ設定を与える仮想的な整列に対応する必要はな
い。しかし、偏歪修正された立体画像対が立体画像デバ
イス上で見られる場合、偏歪修正変換が平行カメラ設定
を与える仮想的な整列に実際に対応することが好まし
い。なぜなら、偏歪修正変換が平行カメラ設定を与える
仮想的な整列に対応しない場合、知覚される３次元画像
は、平行カメラ設定を使用した場合に観察されたであろ
う画像から歪んで見え得るからである。例えば、キャプ
チャされた画像中の直線を偏歪修正された画像中の曲線
に変換する偏歪修正変換は、平行カメラ設定を与える仮
想的な整列に対応しない。

【００１９】米国特許第６０１１８６３号は、図３
ｃに示される一般的なタイプの方法を開示する。この方
法では、元のキャプチャされた画像が非平面の表面に投
影され、その結果、キャプチャされた画像中の直線は、
偏歪修正された画像中の曲線に変換される。上述したよ
うに、この変換は、平行カメラ整列に対応しない。

【００２０】Ｄ．Ｐａｐａｄｉｍｉｔｒｉｏｕらは、
「ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｏｆＩｍａｇｅ
Ｐｒｏｃｅｓｓｉｎｇ」、Ｖｏｌ．５、ｐｐ６７２−
６７６（１９９６）の「ＥｐｉｐｏｌａｒＬｉｎｅ
ＥｓｔｉｍａｔｉｏｎａｎｄＲｅｃｔｉｆｉｃａｔ
ｉｏｎｆｏｒＳｔｅｒｅｏｉｍａｇｅＰａｉｒ
ｓ」において、カメラ回転が特定の軸回りだけに制限さ
れる偏歪修正方法を開示している。このような制限され
たカメラジオメトリを用いて、すべてのカメラの固有お
よび非固有のパラメータが、対応検出から推定され得
る。偏歪修正変換は、次いで、そのカメラパラメータか
ら決定され得る。この方法は、１つの特定のカメラジオ
メトリに限定される。

【００２１】Ｒ．Ｈａｒｔｌｅｙらは、「Ｃｏｎｆｅｒ
ｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎ
ｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ」、ｐｐ
５４９−５５５（１９９３）の中の「Ｃｏｍｐｕｔｉｎ
ｇｍａｔｃｈｅｄ−ｅｐｉｐｏｌａｒｐｒｏｊｅｃ
ｔｉｏｎｓ」において、（ｉ）画像の１つについての偏
歪修正変換は特定の点（通常、画像の中心）において剛
体変換であり、（ｉｉ）横方向ディスパリティは最小化
されている、というヒューリスティックを使用する偏歪
修正方法を開示している。同様のヒューリスティック
が、「ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌ
ｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ」（１９９８）
の中の「ＴｈｅｏｒｙａｎｄＰｒａｃｔｉｃｅｏ
ｆＰｒｏｊｅｃｔｉｖｅＲｅｃｔｉｆｉｃａｔｉｏ
ｎ」においてＲ．Ｈａｒｔｌｅｙによって開示される方
法、および、「ＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐ
ｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲ
ｅｃｏｇｎｉｔｉｏｎ」、ｐｐ９４−９９（１９９９）
の中の「ＰｒｏｊｅｃｔｉｖｅＲｅｃｔｉｆｉｃａｔ
ｉｏｎＷｉｔｈｏｕｔＥｐｉｐｏｌａｒＧｅｏｍ
ｅｔｒｙ」においてＦ．Ｉｓｇｒｏらによって開示され
る方法でも使用されている。

【００２２】

【発明が解決しようとする課題】これらの方法は、偏歪
修正変換が必ずしも平行カメラ設定への仮想的な整列に
対応しないという欠点を有する。

【００２３】Ｃ．Ｌｏｏｐらは、「ＴｅｃｈＲｅｐ
ＭＳＲ−ＴＲ−９９−２１」、ＭｉｃｒｏｓｏｆｔＲ
ｅｓｅａｒｃｈ（１９９９）の「ＣｏｍｐｕｔｅｒＲ
ｅｃｔｉｆｙｉｎｇＨａｒｍｏｇｒａｐｈｉｅｓｆ
ｏｒＳｔｅｒｅｏＶｉｓｉｏｎ」において、アスペ
クト比と、画像境界の中央点によって形成される２本の
線の垂直性とを保存するというヒューリスティックを使
用する偏歪修正方法を開示している。この方法によって
決定されたこの偏歪修正変換もまた、必ずしも平行カメ
ラ設定への仮想的な整列に対応しない。

【００２４】日本国特許第２０５８９９３号および第７
０５０８５６号は、ステレオビデオ信号を補正し、左目
ビデオ信号と右目ビデオ信号との間の明るさまたはカラ
ーバランスの差異を補償することを記載する。これらの
文献は、左目画像と右目画像との間の縦方向ディスパリ
ティを補正することには関係がない。

【００２５】米国特許第６１９１８０９号は、（例
えば、ステレオ電子内視鏡によって生成される）立体画
像対の２つの画像の光学的な整列ずれを補正することを
記載する。この引例は、２つの画像をデジタル化するこ
とによって画像データを電子的に処理し、２つの画像の
間のいかなる整列ずれをも補正するために、縦方向画像
シフトおよび／または画像サイズ変更および／または画
像回転によって、デジタル的に画像を偏歪修正すること
を開示する。しかし、偏歪修正変換の詳細は何ら与えら
れていない。

【００２６】欧州特許公開公報第１１０００４８号
は、本出願の優先日の後に公開されたものであるが、画
像偏歪修正ステップを含む画像対の処理方法を記載す
る。しかし、画像偏歪修正ステップの詳細は何ら与えら
れていない。

【００２７】

【課題を解決するための手段】本発明による第１および
第２の画像キャプチャデバイスのうちの対応する１つを
使用してキャプチャされた第１および第２の画像を含む
立体画像を偏歪修正する方法であって、該第１および第
２の画像キャプチャデバイスは立体画像キャプチャデバ
イスを形成し、該方法は、該第１および第２の画像のう
ちの対応する１つを偏歪修正し、これにより、縦方向デ
ィスパリティを低減するための第１および第２の偏歪修
正変換を決定するステップを包含し、該方法は、該第１
および／または第２の偏歪修正変換の該決定の際に、該
立体画像キャプチャデバイスのパラメータの統計データ
を使用するステップを包含することを特徴とし、これに
より上記目的を達成する。

【００２８】各偏歪修正変換は、横方向せん断およびス
ケーリング成分を含み、前記立体画像キャプチャデバイ
スの前記パラメータの前記統計データは、前記第１およ
び／または第２の偏歪修正変換の該横方向せん断および
スケーリング成分の前記決定の際に使用されてもよい。

【００２９】前記第１よび第２の偏歪修正変換を決定す
るステップと、前記立体画像キャプチャデバイスの前記
パラメータの前記統計データを変動させるステップと、
該第１および第２の偏歪修正変換を再決定するステップ
と、該再決定された第１および第２の偏歪修正変換のう
ちの対応する１つを使用して前記第１および第２の画像
を偏歪修正するステップとを包含してもよい。

【００３０】前記最初に決定された第１および第２の偏
歪修正変換のうちの対応する１つを使用して、前記第１
の画像の少なくとも一部と、前記第２の画像の少なくと
も一部とを偏歪修正するステップと、該第１および第２
の画像の該偏歪修正された部分を立体表示デバイスに表
示するステップとをさらに包含してもよい。

【００３１】前記最初に決定された第１および第２の偏
歪修正変換のうちの対応する１つを使用して、前記第１
の画像の少なくとも一部と、前記第２の画像の少なくと
も一部とを偏歪修正するステップと、該第１および第２
の画像の該偏歪修正された部分を立体表示デバイスに表
示するステップと、前記立体画像キャプチャデバイスの
前記パラメータの前記統計データを該第１および第２の
画像の該偏歪修正された部分の表示に基づいて変動させ
るステップとをさらに包含してもよい。

【００３２】前記立体画像キャプチャデバイスの前記パ
ラメータの前記統計データは、前記第１の画像キャプチ
ャデバイスのパラメータおよび／または前記第２の画像
キャプチャデバイスのパラメータに関連してもよい。

【００３３】前記立体画像キャプチャデバイスの前記パ
ラメータの前記統計データは、前記第１および第２の画
像キャプチャデバイスの焦点距離の平均を含んでもよ
い。

【００３４】前記立体画像キャプチャデバイスの前記パ
ラメータの前記統計データは、前記第１および第２の画
像キャプチャデバイスの焦点距離の標準偏差を含んでも
よい。

【００３５】前記立体画像キャプチャデバイスの前記パ
ラメータの前記統計データは、前記第１および第２の画
像キャプチャデバイスの主点の平均を含んでもよい。

【００３６】前記立体画像キャプチャデバイスの前記パ
ラメータの前記統計データは、前記第１および第２の画
像キャプチャデバイスの主点の標準偏差を含んでもよ
い。

【００３７】前記立体画像キャプチャデバイスの前記パ
ラメータの前記統計データは、前記第２の画像キャプチ
ャデバイスに対する前記第１の画像キャプチャデバイス
の整列に関連してもよい。

【００３８】前記立体画像キャプチャデバイスの前記パ
ラメータの前記統計データは、前記第２の画像キャプチ
ャデバイスの光軸に対する前記第１の画像キャプチャデ
バイスの光軸の回転の平均を含んでもよい。

【００３９】前記立体画像キャプチャデバイスの前記パ
ラメータの前記統計データは、前記第２の画像キャプチ
ャデバイスの光軸に対する前記第１の画像キャプチャデ
バイスの光軸の回転の標準偏差を含んでもよい。

【００４０】前記第１および第２の偏歪修正変換は、平
行カメラ設定への仮想的な整列に対応するように決定さ
れてもよい。

【００４１】前記第１のキャプチャされた画像および第
２のキャプチャされた画像は、静止立体画像を含んでも
よい。

【００４２】前記第１のキャプチャされた画像および第
２のキャプチャされた画像は、立体ビデオ画像のフレー
ムを含んでもよい。

【００４３】前記立体ビデオ画像の１番目のフレームに
ついて、上記に規定される方法を使用して、第１および
第２の偏歪修正変換を決定するステップと、該立体ビデ
オ画像の該１番目のフレームについて決定された該第１
および第２の偏歪修正変換を使用して、該立体ビデオ画
像の引き続くフレームを偏歪修正するステップとを包含
してもよい。

【００４４】前記立体ビデオ画像の１番目のフレームに
ついて、上記に規定される方法を使用して、第１および
第２の偏歪修正変換を決定するステップと、該立体ビデ
オ画像の該１番目のフレームについて決定された該第１
および第２の偏歪修正変換を使用して、該立体ビデオ画
像の１番目からＮ番目までのフレームを偏歪修正するス
テップと、該立体ビデオ画像の（Ｎ＋１）番目のフレー
ムについて、上記に規定される方法を使用して、第１お
よび第２の偏歪修正変換を決定するステップと、該立体
ビデオ画像の該（Ｎ＋１）番目のフレームについて決定
された該第１および第２の偏歪修正変換を使用して、該
立体ビデオ画像の（Ｎ＋１）番目から（２Ｎ）番目まで
のフレームを偏歪修正するステップとを包含してもよ
い。

【００４５】前記立体ビデオ画像の各フレームについ
て、上記に規定される方法を使用して、第１および第２
の偏歪修正変換を決定するステップと、そのフレームに
ついて決定された該第１および第２の偏歪修正変換を使
用して、該立体ビデオ画像の各フレームを偏歪修正する
ステップとを包含してもよい。

【００４６】前記第１および第２の偏歪修正変換のうち
の対応する１つを使用して、前記第１および第２のキャ
プチャされた画像を偏歪修正するステップをさらに包含
してもよい。

【００４７】観察者が見るために、前記第１および第２
の偏歪修正された画像を立体表示デバイスに表示するス
テップをさらに包含してもよい。

【００４８】本発明による第１および第２の画像キャプ
チャデバイスを使用してキャプチャされた第１および第
２の画像を含む立体画像を偏歪修正する方法であって、
該第１および第２の画像キャプチャデバイスは立体画像
キャプチャデバイスを形成し、該方法は、該第１および
第２の画像のうちの対応する１つを偏歪修正するための
第１および第２の偏歪修正変換を決定し、これにより、
縦方向ディスパリティを低減するステップを包含し、該
方法は、該第１および第２の偏歪修正変換が平行カメラ
設定への仮想的な整列に対応するように、該第１および
第２の偏歪修正変換を決定するステップを包含すること
を特徴とし、これにより上記目的を達成する。

【００４９】前記第１および第２の偏歪修正変換を決定
する前記ステップにおいて、前記立体画像キャプチャデ
バイスのパラメータの統計データを使用するステップを
さらに包含してもよい。

【００５０】前記立体画像キャプチャデバイスの前記パ
ラメータの前記統計データは、前記第２の画像キャプチ
ャデバイスに対する前記第１の画像キャプチャデバイス
の整列に関連してもよい。

【００５１】前記第１および第２の偏歪修正変換を決定
する前記ステップは、該第１および第２の偏歪修正変換
のそれぞれの第１の成分を決定するステップであって、
該第１の偏歪修正変換の該第１の成分および該第２の偏
歪修正変換の該第１の成分は、偏歪修正された画像対か
ら実質的に縦方向ディスパリティを除去する、ステップ
と、該第１および第２の偏歪修正変換が平行カメラ設定
への仮想的な整列に対応するように、該第１および第２
の偏歪修正変換のそれぞれの第２の成分を決定するステ
ップとを包含してもよい。

【００５２】前記第１および第２の偏歪修正変換を決定
する前記ステップにおいて、前記立体画像キャプチャデ
バイスのパラメータの統計データを使用するステップを
さらに包含し、該立体画像キャプチャデバイスの該パラ
メータの該統計データは、該第１および第２の偏歪修正
変換の前記第２の成分を決定する前記ステップにおいて
使用されてもよい。

【００５３】前記立体画像キャプチャデバイスの前記パ
ラメータの前記統計データは、前記第２の画像キャプチ
ャデバイスに対する前記第１の画像キャプチャデバイス
の整列に関連してもよい。

【００５４】前記第１のキャプチャされた画像および第
２のキャプチャされた画像は、静止立体画像を含んでも
よい。

【００５５】前記第１のキャプチャされた画像および第
２のキャプチャされた画像は、立体ビデオ画像のフレー
ムを含んでもよい。

【００５６】前記立体ビデオ画像の１番目のフレームに
ついて、上記に規定される方法を使用して、第１および
第２の偏歪修正変換を決定するステップと、該立体ビデ
オ画像の該１番目のフレームについて決定された該第１
および第２の偏歪修正変換を使用して、該立体ビデオ画
像の引き続くフレームを偏歪修正するステップとを包含
してもよい。

【００５７】前記立体ビデオ画像の１番目のフレームに
ついて、上記に規定される方法を使用して、第１および
第２の偏歪修正変換を決定するステップと、該立体ビデ
オ画像の該１番目のフレームについて決定された該第１
および第２の偏歪修正変換を使用して、該立体ビデオ画
像の１番目からＮ番目までのフレームを偏歪修正するス
テップと、該立体ビデオ画像の（Ｎ＋１）番目のフレー
ムについて、上記に規定される方法を使用して、第１お
よび第２の偏歪修正変換を決定するステップと、該立体
ビデオ画像の該（Ｎ＋１）番目のフレームについて決定
された該第１および第２の偏歪修正変換を使用して、該
立体ビデオ画像の（Ｎ＋１）番目から（２Ｎ）番目まで
のフレームを偏歪修正するステップとを包含してもよ
い。

【００５８】前記立体ビデオ画像の各フレームについ
て、上記に規定される方法を使用して、第１および第２
の偏歪修正変換を決定するステップと、そのフレームに
ついて決定された該第１および第２の偏歪修正変換を使
用して、該立体ビデオ画像の各フレームを偏歪修正する
ステップとを包含してもよい。

【００５９】前記第１および第２の偏歪修正変換のうち
の対応する１つを使用して、前記第１および第２のキャ
プチャされた画像を偏歪修正するステップをさらに包含
してもよい。

【００６０】観察者が見るために、前記第１および第２
の偏歪修正された画像を立体表示デバイスに表示するス
テップをさらに包含してもよい。

【００６１】本発明による第１および第２の画像キャプ
チャデバイスのうちの対応する１つを使用してキャプチ
ャされた第１および第２の画像を含む立体画像を偏歪修
正する装置であって、該第１および第２の画像キャプチ
ャデバイスは立体画像キャプチャデバイスを形成し、該
装置は、該第１および第２の画像のうちの対応する１つ
を偏歪修正し、これにより、縦方向ディスパリティを低
減するための第１および第２の偏歪修正変換を決定する
手段であって、該手段は、該第１および／または第２の
偏歪修正変換の該決定の際に、該立体画像キャプチャデ
バイスのパラメータの統計データを使用する、手段を備
え、これにより上記目的を達成する。

【００６２】前記第１および第２の偏歪修正変換のうち
の対応する１つを使用して前記第１および第２のキャプ
チャされた画像を偏歪修正する手段をさらに備えてもよ
い。

【００６３】プログラム可能なデータプロセッサを備え
てもよい。

【００６４】本発明による、上記に規定される装置の前
記データプロセッサのためのプログラムを格納した格納
媒体であって、これにより上記目的を達成する。

【００６５】本発明による第１および第２の画像キャプ
チャデバイスを使用してキャプチャされた第１および第
２の画像を含む立体画像を偏歪修正する装置であって、
該第１および第２の画像キャプチャデバイスは立体画像
キャプチャデバイスを形成し、該装置は、該第１および
第２の画像のうちの対応する１つを偏歪修正し、これに
より、縦方向ディスパリティを低減するための第１およ
び第２の偏歪修正変換を決定する手段を備え、該第１お
よび第２の偏歪修正変換は、平行カメラ設定への仮想的
な整列に対応し、これにより上記目的を達成する。

【００６６】前記第１および第２の偏歪修正変換のうち
の対応する１つを使用して前記第１および第２のキャプ
チャされた画像を偏歪修正する手段をさらに備えてもよ
い。

【００６７】プログラム可能なデータプロセッサを備え
てもよい。

【００６８】本発明による上記に規定される装置の前記
データプロセッサのためのプログラムを格納した格納媒
体であって、これにより上記目的を達成する。

【００６９】本発明の第１の局面は、対応する第１およ
び第２の画像キャプチャデバイスを使用してキャプチャ
された第１およひ第２の画像を含む立体画像を偏歪修正
する方法を提供する。その第１および第２の画像キャプ
チャデバイスは、立体画像キャプチャデバイスを形成
し、その方法は、対応する第１および第２の画像を偏歪
修正して縦方向ディスパリティを低減する第１および第
２の偏歪修正変換を決定するステップを包含する。その
方法は、第１および／または第２の偏歪修正変換を決定
する際に、立体画像キャプチャデバイスのパラメータの
統計データを使用することを包含する。

【００７０】用語「第１の画像キャプチャデバイス」お
よび「第２の画像キャプチャデバイス」は、本明細書中
で、説明を容易にするために使用される。しかし、本発
明は、上述したような、第１の画像キャプチャデバイス
および第２の画像キャプチャデバイスの両方として作用
し得る単一の画像キャプチャデバイスを有する立体画像
キャプチャデバイスを使用してキャプチャされた立体画
像に、適用することができる。

【００７１】第１および第２の偏歪修正変換が第１およ
び第２の画像に適用された場合、変換された画像の縦方
向ディスパリティは、除去されるか少なくともかなり低
減される。偏歪修正変換は、変換された画像が、２つの
画像キャプチャデバイスが互いに同一であり、互いに対
して正しく整列している場合に得られたであろう画像で
あるように、効果的に画像キャプチャデバイスの向きを
調節する。

【００７２】偏歪修正変換を決定するために、画像キャ
プチャデバイスのパラメータの知識を使用する従来技術
の方法では、パラメータが正確に分かっていることが仮
定される。しかし、偏歪修正変換の決定の際に使用され
るパラメータが、正確に画像キャプチャシステムの真の
パラメータでない場合、結果として得られる偏歪修正変
換は、偏歪修正された画像対から縦方向ディスパリティ
を除去しない。本発明は、立体画像対を取得するために
使用される特定の画像キャプチャデバイスについて正確
なパラメータが分かっていることを仮定することによっ
てではなく、偏歪修正変換の決定の際に画像キャプチャ
デバイスのパラメータについての統計データを使用する
ことによって、この問題点を克服する。従って、本発明
では、偏歪修正された画像対からの縦方向ディスパリテ
ィの除去が従来技術よりも効果的に達成される。

【００７３】各偏歪修正変換は、横方向せん断およびス
ケーリング成分を含み得、立体画像キャプチャデバイス
のパラメータの統計データは、第１および／または第２
の偏歪修正変換の横方向せん断およびスケーリング成分
の決定の際に使用され得る。

【００７４】その方法は、第１および第２の偏歪修正変
換を決定するステップと、立体画像キャプチャデバイス
のパラメータの統計データを変化させるステップと、第
１および第２の偏歪修正変換を再決定するステップと、
再決定された第１および第２の偏歪修正変換のうちの対
応する１つを使用して第１および第２の画像を偏歪修正
するステップとを包含し得る。これにより、ユーザは、
偏歪修正変換を決定するために、使用される画像キャプ
チャデバイスのパラメータを変えることが可能になる。

【００７５】その方法は、最初に決定された第１および
第２の偏歪修正変換のうちの対応する１つを使用して、
第１の画像の少なくとも一部と第２の画像の少なくとも
一部とを偏歪修正するステップと、第１および第２の画
像のその偏歪修正された部分を立体表示デバイスに表示
するステップとをさらに包含し得る。これにより、ユー
ザは、最初の偏歪修正変換の満足度をモニタリングする
ことが可能である。さらに、このステップが第１および
第２の画像の一部のみに行われる場合、必要な処理パワ
ーは低減される。

【００７６】その方法は、最初に決定された第１および
第２の偏歪修正変換のうちの対応する１つを使用して、
第１の画像の少なくとも一部と第２の画像の少なくとも
一部とを偏歪修正するステップと、第１および第２の画
像のその偏歪修正された部分を立体表示デバイスに表示
するステップと、第１および第２の画像の偏歪修正され
た部分の表示に基づいて立体画像キャプチャデバイスの
パラメータの統計データを変化させるステップとをさら
に包含し得る。最初の偏歪修正変換が満足できないもの
であった場合には、ユーザは偏歪修正変換を決定するた
めに使用されるパラメータを変動させることができる。

【００７７】立体画像キャプチャデバイスのパラメータ
の統計データは、第１の画像キャプチャデバイスのパラ
メータおよび／または第２の画像キャプチャデバイスの
パラメータに関連し得る。これらは、「固有」パラメー
タとして知られ、第１の画像キャプチャデバイスが第２
の画像キャプチャデバイスとどのように異なるかの尺度
である。

【００７８】立体画像キャプチャデバイスのパラメータ
の統計データは、第１および第２の画像キャプチャデバ
イスの焦点距離の平均を含み得、また、第１および第２
の画像キャプチャデバイスの焦点距離の標準偏差を含み
得る。

【００７９】立体画像キャプチャデバイスのパラメータ
の統計データは、第１および第２の画像キャプチャデバ
イスの主点の平均を含み得、また、第１および第２の画
像キャプチャデバイスの主点の標準偏差を含み得る。

【００８０】立体画像キャプチャデバイスのパラメータ
の統計データは、第１の画像キャプチャデバイスの第２
の画像キャプチャデバイスに対する整列に関連し得る。
これらは、「非固有」カメラパラメータとして知られ
る。

【００８１】立体画像キャプチャデバイスのパラメータ
の統計データは、第１の画像キャプチャデバイスの光軸
の第２の画像キャプチャデバイスの光軸に対する回転の
平均を含み得、第１の画像キャプチャデバイスの光軸の
第２の画像キャプチャデバイスの光軸に対する回転の標
準偏差を含み得る。

【００８２】第１および第２の偏歪修正変換は、平行カ
メラ設定への仮想的な整列に対応するように決定され得
る。

【００８３】本発明の第２の局面は、立体画像を偏歪修
正する方法を提供し、その立体画像は、第１および第２
の画像キャプチャデバイスを使用してキャプチャされた
第１および第２の画像を含む。第１および第２の画像キ
ャプチャデバイスは、立体画像キャプチャデバイスを形
成する。その方法は、縦方向ディスパリティを低減する
ように第１および第２の画像のうちの対応する１つを偏
歪修正するための第１および第２の偏歪修正変換を決定
するステップを含む。その方法は、第１および第２の偏
歪修正変換が平行カメラ設定への仮想的な整列に対応す
るように、第１および第２の偏歪修正変換を決定するス
テップを包含する。

【００８４】偏歪修正変換が平行カメラ設定への仮想的
な整列に対応しない場合、結果として得られる３次元画
像は、歪んで見え得る。例えば、元の対象物の直線は、
結果として得られる３次元画像においては曲線に見え得
る。偏歪修正変換された画像が観察者によって直接見ら
れるように表示されることが意図される場合、そのよう
な歪みは、観察者がその偏歪修正された画像を見る場合
に、不快感を経験することを意味する。本発明は、偏歪
修正変換が平行カメラ設定の仮想的な整列に対応するこ
とを保証することによって、そのように歪む可能性を防
ぐ。

【００８５】その方法はさらに、第１および第２の偏歪
修正変換を決定するステップにおいて、画像キャプチャ
デバイスのパラメータの統計データを使用するステップ
をさらに包含する。可能ではあるがありそうにはない偏
歪修正変換は、本発明のこの実施形態に従って、除去さ
れ得る。

【００８６】第１および第２の偏歪修正変換を決定する
ステップは、第１および第２の偏歪修正変換のそれぞれ
の第１の成分を決定するステップであって、第１の偏歪
修正変換の第１の成分と、第２の偏歪修正変換の第１の
成分とは、偏歪修正された画像対から縦方向ディスパリ
ティを実質的に除去する、ステップと、第１および第２
の偏歪修正変換のそれぞれの第２の成分を決定し、その
結果第１および第２の偏歪修正変換が平行カメラ設定へ
の仮想的な整列に対応する、ステップとを包含し得る。
立体画像キャプチャデバイスのパラメータの統計データ
は、第１および第２の偏歪修正変換の第２の成分を決定
するステップにおいて使用され得る。

【００８７】立体画像キャプチャデバイスのパラメータ
の統計データは、第１の画像キャプチャデバイスの第２
の画像キャプチャデバイスに対する整列に関連し得る。

【００８８】第１の画像および第２の画像は、静止立体
画像を含み得る。あるいは、第１の画像および第２の画
像は、立体ビデオ画像のフレームを含み得る。

【００８９】その方法は、上述した方法を使用して立体
ビデオ画像の１番目のフレームについての第１および第
２の偏歪修正変換を決定するステップと、立体ビデオ画
像の１番目のフレームについて決定された第１および第
２の偏歪修正変換を使用して、立体映像画像の引き続く
フレームを偏歪修正するステップとを包含し得る。これ
により、必要な処理パワーが低減される。

【００９０】その方法は、あるいは、上で定義した方法
に従って、立体ビデオ画像の１番目のフレームについて
の第１および第２の偏歪修正変換を決定するステップ
と、立体ビデオ画像の１番目のフレームについて決定さ
れた第１および第２の偏歪修正変換を使用して、立体ビ
デオ画像の１番目からＮ番目までのフレームを偏歪修正
するステップと、立体ビデオ画像の（Ｎ＋１）番目のフ
レームについての第１および第２の偏歪修正変換を決定
するステップと、立体ビデオ画像の（Ｎ＋１）番目のフ
レームについて決定された第１および第２の偏歪修正変
換を使用して、立体ビデオ画像の（Ｎ＋１）番目から
（２Ｎ）番目までのフレームを偏歪修正するステップと
を包含し得る。これにより、特定のフレームについての
偏歪修正変換を決定する際のどんな誤差も、立体ビデオ
画像の限定された数のフレームにしか影響しないことが
保証される。

【００９１】その方法は、あるいは、上で定義された方
法に従って、立体ビデオ画像の各フレームについての第
１および第２の偏歪修正変換を決定するステップと、そ
のフレームについて決定された第１および第２の偏歪修
正変換を使用して、立体ビデオ画像の各フレームを偏歪
修正するステップとを包含し得る。これにより、特定の
フレームについての偏歪修正変換を決定する際のどんな
誤差も、立体ビデオ画像のそのフレームにしか影響しな
いことが保証される。

【００９２】その方法は、第１および第２の偏歪修正変
換のうちの対応する１つを使用して、第１および第２の
キャプチャされた画像を偏歪修正するさらなるステップ
を包含し得る。

【００９３】その方法は、観察者が見るために、第１お
よび第２の偏歪修正された画像を立体表示デバイスに表
示するさらなるステップを包含し得る。

【００９４】本発明の第３の局面は、立体画像キャプチ
ャデバイスを形成する第１および第２の画像キャプチャ
デバイスのうちの対応する１つを使用してキャプチャさ
れた第１および第２の画像を含む立体画像を偏歪修正す
る装置を提供する。その装置は、第１および第２の画像
のうちの対応する１つを偏歪修正するための第１および
第２の偏歪修正変換を決定し、それにより、第１および
／または第２の偏歪修正変換の決定の際に、立体画像キ
ャプチャデバイスのパラメータの統計データを使用し
て、縦方向ディスパリティを低減する手段を備える。

【００９５】本発明の第４の局面は、立体画像キャプチ
ャデバイスを形成する第１および第２の画像キャプチャ
デバイスを使用してキャプチャされた第１および第２の
画像を含む立体画像を偏歪修正する装置を提供する。そ
の装置は、第１および第２の画像のうちの対応する１つ
を偏歪修正するための第１および第２の偏歪修正変換を
決定し、それにより、縦方向ディスパリティを低減する
手段を備え、第１および第２の偏歪修正変換は、平行カ
メラ設定への仮想的な整列に対応する。

【００９６】その装置は、第１および第２の偏歪修正変
換のうちの対応する１つを使用して第１および第２のキ
ャプチャされた画像を偏歪修正する手段をさらに備え得
る。

【００９７】その装置は、プログラム可能なデータプロ
セッサを備え得る。

【００９８】本発明の第５の局面は、上で定義された装
置のデータプロセッサのためのプログラムを格納した格
納媒体を提供する。

【００９９】ここで、本発明の好適な特徴が、添付の図
面を参照して例示的な実施形態によって説明される。

【０１００】

【発明の実施の形態】図５は、本発明の第１の実施形態
に組み込まれる方法の模式的なフロー図である。図５
は、最初の画像対のキャプチャから、適切な立体画像デ
バイスへの偏歪修正された画像の表示までの全部の偏歪
修正処理を示す。図５の偏歪修正変換の決定は、本発明
に従って行われる。

【０１０１】図５の方法は、立体画像対を形成するキャ
プチャされた画像の対とともに使用されることが意図さ
れており、この画像の対は、その方法への１つの入力を
形成する。画像の対をキャプチャするために使用される
立体画像キャプチャデバイスの設定のパラメータ（以
下、便宜のために「カメラパラメータ」という）の統計
データが、他の入力を形成する。本発明の第１の局面に
従うと、カメラパラメータの統計データは、偏歪修正変
換の決定の際に使用される。（偏歪修正変換は数学的に
は、直線性および平面性を保存する線形投影変換である
ホモグラフィであるが、本明細書において、偏歪修正変
換という一般用語が一般に使用される。）図５の方法と
ともに使用するために適切な画像キャプチャデバイス
は、デジタルカメラの対からなるステレオカメラであ
る。ただし、原理的には任意の立体画像キャプチャデバ
イスが使用され得る。立体画像を表示するために適切な
立体表示デバイスの例は、欧州特許公開公報ＥＰ−Ａ−
０７２６４８号に開示されるタイプの自動立体ディ
スプレイである。ただし、他の画像デバイスが使用され
得る。

【０１０２】本発明の説明において使用される座標系
が、図４ａに示されている。図４ａでは、立体カメラを
形成する２台のカメラが、単純化のためにピンホールカ
メラとして図示されている。座標系の原点は、１つのカ
メラのピンホール（この例では、左カメラのピンホール
１Ｌ）になるように選ばれる。演算子ｔは、左カメラの
ピンホール１Ｌを右カメラのピンホール１Ｒに移動する
ために必要な並進である。演算子Ｒは、いったん左カメ
ラのピンホール１Ｌが右カメラのピンホール１Ｒに一致
するように並進された場合に、左カメラの光軸４Ｌを右
カメラの光軸４Ｒに一致させるために必要な回転であ
る。演算子Ｒは、３×３の回転行列によって表現され
得、演算子ｔは、並進３次元ベクトル（ｔｒａｎｓｌａ
ｔｉｏｎａｌ３−ｖｅｃｔｏｒ）によって表現され得
る。

【０１０３】２台のカメラ設定のエピポーラ幾何が、図
４ｂに示されている。左および右カメラのピンホール１
Ｌ、１Ｒと、左カメラの画像平面２Ｌの中の画像点ｘ₀
は、平面ｐを定義する。図４ｂに示される鎖線は、すべ
て平面ｐにある。平面ｐと右カメラの画像平面２Ｒとの
交差は、「エピポーラライン」として知られる線ｌを定
義する。左画像点ｘ₀に対応する右画像点（これは、左
カメラの画像平面の中に画像点ｘ₀を生み出す対象物内
の点に対応する、右カメラの画像平面２Ｒの中に形成さ
れる画像点である）は、エピポーララインｌ上にあらね
ばならない。

【０１０４】左または右画像についての偏歪修正変換
は、２つの部分に分解され得る。第１の部分は、Ｈ_pと
記され、変換の投影および相似成分を含んでいる。変換
の第２の部分は、Ｈ_sと記され、横方向せん断および横
方向スケーリング成分を含んでいる。変換全体は、投影
および相似成分と、横方向せん断およびスケーリング成
分との組み合わせである。これは、図１０に模式的に示
される。

【０１０５】図５の方法のステップ１１において、左画
像と右画像との対からなる立体画像対は、立体カメラ設
定を用いてキャプチャされる。そのカメラ設定の固有お
よび非固有のパラメータの統計データが、例えば、製造
中になされる測定から何らかの方法で決定できるような
カメラ設定の使用を本発明が必要としている点以外は、
このステップは、概して、図３ａ〜図３ｃの方法のステ
ップ１１に対応している。

【０１０６】ステップ１２において、左画像と右画像と
の間のピクセル対応が、任意の標準的な技術を使用して
検出され、ステップ１８において、これらの対応が、２
つの画像に関連する「基本（Ｆｕｎｄａｍｅｎｔａ
ｌ）」行列を計算するために使用される。ステップ１２
および１８は、概して、図３ａ〜図３ｃの方法のステッ
プ１２および１８に対応する。

【０１０７】ステップ１９において、対応情報が、２つ
の画像を偏歪修正するために使用される偏歪修正変換の
成分（「投影成分および相似成分」）を決定するために
使用される。偏歪修正変換全体のこの成分は、偏歪修正
された画像対から縦方向ディスパリティを除去するよう
に意図されている。しかし、偏歪修正変換のこの成分
は、必ずしも平行カメラ設定への仮想的な整列に関連す
る変換を結果として生じるわけではない。もしも画像が
偏歪修正変換のこの成分のみを使用して処理されるなら
ば、画像の歪みが起こり得、偏歪修正された画像は、観
察者が見るのに不快であろう。

【０１０８】ステップ２１および２２において、偏歪修
正変換の全体の他の成分が決定される。この成分それ自
体は、キャプチャされた画像対を偏歪修正変換の第１の
成分のみを使用して変換することによって得られるであ
ろう偏歪修正された画像の仮想的な整列に対して、何の
変化も引き起こさない。その効果は、むしろ、偏歪修正
変換の全体を平行カメラ設定への仮想的な整列に対応さ
せることである。

【０１０９】一般に、ステップ２２で選ばれた成分につ
いて、１よりも多い可能な解が存在する。異なる可能な
解は、異なるカメラパラメータに対応している。ステッ
プ２１およびステップ２２は、より確からしい解を選択
するためにカメラ統計データを利用する。

【０１１０】ステップ２２に対する異なる可能な解は、
異なるカメラパラメータに対応している。ステップ２２
に対する最も確からしい解がいったん決定されると、こ
の解に対応するカメラパラメータのセットは、カメラパ
ラメータの最も確からしいセットである。従って、最も
確からしいカメラパラメータは、ステップ２２に対する
最も確からしい解から得られ、ステップ２４において、
オペレータに出力され得る。

【０１１１】図５の方法におけるステップ２１およびス
テップ２２は、横方向次元のみで効果的に作用し、「横
方向せん断およびスケーリング」成分として知られる変
換の成分を決定することに関連している。せん断は、縦
方向には画像に対して何の効果も持たない横方向の画像
の歪みを表す。これは、例えば、画像の外観を矩形から
同じ縦方向寸法を有する台形に変形させることであり得
る。ただし、せん断のステップは、これよりもより複雑
であり得る。横方向スケーリングは、単に、画像の横方
向のサイズのスケーリングを表す。

【０１１２】いったん変換の投影および相似成分と、変
換の横方向せん断およびスケーリング成分とが決定され
ると、それらは、ステップ２３において組み合わされ、
ステップ１４において、偏歪修正変換の対が生成され
る。

【０１１３】いったん偏歪修正変換が決定されると、そ
れらは、直ちに使用されてもよいし、またはそれらは引
き続く使用のために出力および／または格納されてもよ
い。偏歪修正変換が使用される場合、それらは、キャプ
チャされた画像対をステップ１５において従来の態様で
ワーピングするために使用され、偏歪修正された画像対
がステップ１６において生成される。最終の生成物は、
縦方向ディスパリティが全くないか、あるいは実質的に
ない偏歪修正された画像対である。この偏歪修正された
画像対は、元のキャプチャされた画像対よりも、快適な
立体的観察のためにずっと適切である。

【０１１４】その偏歪修正された画像対は、ステップ１
７において、観察者が直接見るために適切な立体表示デ
バイスに表示され得る。あるいは、その偏歪修正された
画像対は、将来の使用のために格納されてもよい。

【０１１５】１つの従来技術では、上述したように、偏
歪修正変換は、２台のカメラの焦点距離および主点等の
カメラパラメータから決定される。これも上述したよう
に、偏歪修正変換を推定するために使用されるカメラパ
ラメータが真のカメラパラメータに正確に等しくない場
合、結果として得られる偏歪修正変換は正しくない。こ
れは、偏歪修正変換の横方向せん断およびスケーリング
成分がそのカメラパラメータを使用して決定され、その
結果、カメラパラメータの正しくない値の使用が、左お
よび右の偏歪修正変換の横方向せん断およびスケーリン
グ成分の正しくない決定を導くからである。

【０１１６】本願の図５に示される実施形態において、
本発明は、カメラパラメータの統計データを利用し、こ
れにより、偏歪修正変換の決定された横方向せん断およ
びスケーリング成分が、真の横方向せん断およびスケー
リング成分に可能な限り近いことを保証する。カメラの
統計データは、例えば、カメラの焦点距離の平均および
標準偏差、カメラの主点の平均および標準偏差、１つの
カメラの光軸と他のカメラの光軸との間の回転Ｒの平均
および標準偏差、および、２台のカメラのピンホールの
間の並進ｔの平均および標準偏差のうちの１つ以上を含
み得る。カメラの統計データは、例えば、個々のカメラ
の製造中およびそれらのカメラのステレオカメラ設定へ
の組み立て中に収集され得る。カメラの統計データは、
ステップ２０において入力される。

【０１１７】偏歪修正変換の可能な対のそれぞれは、カ
メラパラメータの何らかの特定の値に対応する。従っ
て、カメラパラメータに確率を割り当てることによっ
て、確率は偏歪修正変換の可能な対のそれぞれにも割り
当てられる。図５の方法のステップ２１は、カメラパラ
メータの統計データの観点から最も確からしい偏歪修正
変換の対を見出すことを試みる。これは、例えば、カメ
ラパラメータの平均値を出発点として使用して、最も確
からしいカメラパラメータのセットを見出すようにカメ
ラパラメータの値を繰り返し変化させることによって、
行われ得る。いったん最も確からしいカメラパラメータ
のセットが見出されると、この最も確からしいカメラパ
ラメータのセットに対応する偏歪修正変換の対の横方向
せん断およびスケーリング成分が、ステップ２２におい
て決定される。ステップ２２において決定された横方向
せん断およびスケーリング成分は、ステップ１９におい
て決定された投影および相似成分と、ステップ２３にお
いて組み合わされ、最も確からしいカメラパラメータの
セットに対応する偏歪修正変換の対が生成される。

【０１１８】推定されるカメラパラメータは、画像対を
キャプチャした２台のカメラの設定についての固有およ
び非固有パラメータであり、それらの画像から集められ
たデータに依存する。各カメラパラメータは、測定され
た平均のまわりに分散を有し、その分散は未知である。
本発明は、その分散を考慮に入れることを可能にする。
カメラパラメータの統計データを知ることにより、パラ
メータの最も確からしい組み合わせを選ぶことが可能に
なる。すなわち、使用される実際のカメラに最もよく一
致するパラメータの組み合わせを選ぶことが可能にな
る。

【０１１９】例として、特定のタイプのステレオカメラ
の製造中に収集されたカメラの統計データは、回転Ｒが
４５°以上の大きさを有することはありそうにないと示
すかもしれない。この場合、４５°よりも大きい回転Ｒ
を伴うカメラパラメータに関連するどんな偏歪修正変換
も、選ばれる見込みはないであろう。

【０１２０】図５の方法を実行する１つの可能なアルゴ
リズムが、式（１）〜式（２７）を参照して以下に詳細
に説明される。このアルゴリズムでは、図５のステップ
２１は、式（２５）を最小化することによって実行され
る。

【０１２１】図６は、本発明の第２の実施形態を示す。
図６の方法ではいくつかのカメラパラメータが正確に既
知であると仮定され、それらのカメラパラメータについ
ては統計的な推定段階が必要でない点以外では、図６の
方法は、全体的に、図５の方法に対応している。

【０１２２】ステップ１１、１２、１４〜１９、２２お
よび２３は図５の方法と同じであり、さらに議論はされ
ない。

【０１２３】本発明のこの実施形態では、左および右の
カメラの焦点距離および主点は、例えば、製造中になさ
れた試験から既知であると仮定され、これらはステップ
２５において入力される。ステップ２６において、回転
演算子Ｒおよび並進演算子ｔがカメラの焦点距離および
主点と、変換の投影および相似成分とから推定される。
これは、最終的な行列を数個の部分に計算されるように
分解することによって行われる。その数個の部分のほと
んどは、既知である。標準的な数学的方法が、次いで、
未知量を解くために使用される。

【０１２４】いったん回転演算子および並進演算子が推
定されると、偏歪修正変換の横方向せん断およびスケー
リング成分が、カメラの既知の焦点距離および主点と、
その推定された回転演算子および並進演算子とから、ス
テップ２２において決定される。次いで、偏歪修正変換
の対が、変換の投影および相似成分と横方向せん断およ
びスケーリング成分とを組み合わせることによって、見
出される。

【０１２５】所望であれば、推定されたカメラの回転演
算子および並進演算子は、ステップ２７において出力さ
れ得る。

【０１２６】本発明のこの実施形態は、特に、固有カメ
ラパラメータが正確に分かっているが、非固有カメラパ
ラメータが正確には分かっていないステレオカメラ設定
（すなわち、各カメラが個々には高い品質を有し、立体
カメラ設定の平行カメラ設定からのずれは、主に一方の
カメラの他方のカメラに対する向きに発生するような立
体カメラ設定）を使用してキャプチャされたステレオ画
像対を処理するために、適している。

【０１２７】図５および図６に説明される本発明の実施
形態では、変換の横方向せん断およびスケーリング成分
の選択は、結果として得られる偏歪修正変換の対が平行
カメラ設定への仮想的な整列に対応することを保証する
ように、拘束される。これを保証するために、せん断成
分は、最終的な行列が回転および並進と内部カメラパラ
メータとの組み合わせであるように定式化された式か
ら、計算される。従来技術の方法とは対照的に、回転お
よび並進は、解が平行カメラ設定への仮想的な整列に対
応することを保証する。

【０１２８】図７は、本発明のさらなる実施形態を示
す。この実施形態は図５の実施形態に対応するが、立体
映像カメラ等の立体映像記録システムによってキャプチ
ャされた立体映像入力とともに使用されることが意図さ
れている。これとは対照的に、図５の方法は、「静止」
立体画像の対を生成する立体画像キャプチャデバイスと
もに使用することが意図されている。

【０１２９】図７の方法では、立体映像ソースは立体映
像ピクチャを生成する。立体映像ピクチャは、各フレー
ムが１つの立体画像対を含むフレームのシーケンスと見
なされ得る。各フレームの画像対は、ステップ１５にお
いて画像をワーピングすることによって、縦方向ディス
パリティを除去するように偏歪修正される。ステップ１
５における画像をワーピングするステップは、リアルタ
イムで実行され、その結果、偏歪修正された立体ビデオ
信号が、映像ソースによって生成されるのと同じ速度で
表示される。各画像対の偏歪修正は、図５を参照して上
述した態様で実行される。

【０１３０】図７の方法は、本質的に３つのやり方で実
行され得る。１つのアプローチでは、立体映像ソースに
よってキャプチャされた１番目のフレームの画像対は、
図５を参照して上述した態様で処理され、偏歪修正変換
が決定される。いったん１番目のフレームの画像対につ
いて偏歪修正変換が決定されると、それらの偏歪修正変
換は、次いで、すべての引き続くフレームの画像対をさ
らなる計算なしで偏歪修正するために使用される。換言
すると、ステップ１２および１８〜２３は、第２および
引き続くフレームの画像対については実行されない。そ
うではなく、第２および引き続くフレームの画像対は、
１番目のフレームの画像対について決定された偏歪修正
変換の対を用いて、ステップ１５において処理される。

【０１３１】偏歪修正変換が１番目のフレームの画像対
について決定され、引き続いて再計算されない方法は、
立体ビデオ信号を表示するために必要な処理パワーを低
減するという利点を有する。しかし、この方法は、１番
目のフレームの画像対から決定された偏歪修正変換が万
一、正しくない場合、映像信号中の引き続くすべての画
像対が正しく処理されないという潜在的な欠点を実際に
有する。

【０１３２】従って、図７の方法の他の実施形態では、
いくつかのフレームが処理された後に偏歪修正変換が再
計算される。原理的には、偏歪修正変換は不規則な周期
で（すなわち、不規則な数のフレームが処理された後
に）再計算され得るが、好適な実施形態では、再計算は
規則的な周期で実行される。例えば、偏歪修正変換は、
Ｎフレームの画像対が偏歪修正されるごとに再決定され
得る。換言すると、１番目のフレームの画像対は、図５
を参照して説明したように処理されて偏歪修正変換の対
が決定され、これらの偏歪修正変換が、１番目からＮ番
目までのフレームの画像対を修正するために使用され
る。偏歪修正変換は、次いで、（Ｎ＋１）番目のフレー
ムの画像対について再計算され、この再計算された偏歪
修正変換の対が、（Ｎ＋１）番目から（２Ｎ）番目まで
のフレームの画像対を偏歪修正するために使用され、以
下同様に続けられる。

【０１３３】図７の方法の第３の実施形態では、偏歪修
正変換は、すべてのフレームの画像対について再計算さ
れる。ステップ１５において適用される偏歪修正変換
は、フレームごとに更新される。これにより、最も正確
な偏歪修正が提供される。なぜなら、１つのフレームに
ついて偏歪修正変換の対を決定する際の誤差はそのフレ
ームにしか影響しないからである。しかし、最大の処理
パワーが要求される。

【０１３４】図７に示されるフロー図は、模式的なスイ
ッチ２９を含む。このスイッチ２９は、上述した３つの
実施形態の任意の１つの選択を可能にする。第１の実施
形態の場合、スイッチ２９は、最初は閉じられ、その結
果、立体映像ソース２８によって記録された１番目の立
体画像対は、ステップ１１、１２および１８〜２３によ
り、完全な偏歪修正処理がなされる。次いで、スイッチ
２９は開かれ、その結果、映像ソース２８によってキャ
プチャされた２番目および引き続く立体画像対は、直
接、ステップ１５に渡され、ステップ１５において、１
番目の画像対から決定された偏歪修正変換によって処理
される。

【０１３５】上述した第２の方法では、スイッチ２９
は、最初は閉じられ、その結果、立体映像ソース２８に
よって記録された１番目の立体画像対は、ステップ１
１、１２および１８〜２３により、完全な偏歪修正処理
がなされる。１番目の画像対は、次いで、その１番目の
画像対から決定された偏歪修正変換を使用して処理され
る。次いで、スイッチ２９は開かれ、２番目からＮ番目
までの画像対が、１番目の画像対について決定された偏
歪修正変換を使用して処理される。次いで、（Ｎ＋１）
番目の画像対について偏歪修正変換が再計算されること
を可能にするために、スイッチは閉じられ、（Ｎ＋１）
番目の画像対は、その（Ｎ＋１）番目の画像対から決定
された偏歪修正変換を使用して処理される。次いで、ス
イッチは開かれ、その結果、（Ｎ＋２）番目から（２
Ｎ）番目までの画像対が、（Ｎ＋１）番目の画像対につ
いて決定された偏歪修正変換を使用して処理される。以
下、同様に続けられる。（不規則な数のフレームの後に
偏歪修正変換を再計算することが所望される場合、スイ
ッチは、Ｎ個のフレームが処理されるごとにではなく、
不規則な数のフレームが処理された後に、偏歪修正変換
が再計算されることを可能にするために開かれる。）最後に、すべてのフレームについて偏歪修正変換が再計
算される上述した第３の方法では、スイッチ２９は閉に
保たれる。

【０１３６】図８は、本発明のさらなる実施形態を示
す。この方法は、静止立体画像記録デバイスとともに使
用されることが意図される。

【０１３７】図８の方法のステップ１１、１２および１
４〜２４は、図５の方法のそれらのステップに対応して
おり、さらに説明しない。図８の方法は、図５の方法に
比較して、ユーザが、偏歪修正変換の決定の際に使用さ
れるカメラパラメータの統計データに対する対話型制御
を提供されるという、追加の特徴を有する。図８の方法
では、ユーザはステップ３０において、カメラパラメー
タの統計データを選択または修正することができる。

【０１３８】カメラパラメータに対する対話型制御によ
り、ユーザは、１以上のカメラパラメータに関するユー
ザの知識を、ステップ２０において使用されるカメラパ
ラメータの統計データに重ね合わせることができる。カ
メラパラメータに対するユーザの制御は、例えば、１以
上のカメラパラメータの分散をそのパラメータの最初に
入力された分散から変化させることによって実現され得
る。例えば、立体カメラ設定の２台のカメラの光軸の間
の相対的な回転は小さいと確信するユーザは、回転に関
する分散を減少させることができ、これにより、選択さ
れた偏歪修正変換が大きな回転に対応する可能性がさら
に低減される。

【０１３９】図８の実施形態の修正されたバージョンで
は、偏歪修正された画像の適切に切り出された部分をリ
アルタイムで表示することが可能である。例えば、左お
よび右の画像の切り出された部分は、偏歪修正変換の最
初の対を使用して偏歪修正され、その結果が表示され得
る。表示された結果が、最初の偏歪修正変換が縦方向デ
ィスパリティの除去の点で満足できることを示す場合、
最初の偏歪修正変換が採用され得る。しかし、表示され
た結果が、最初の偏歪修正変換が縦方向ディスパリティ
を満足に除去しないことを示した場合、ユーザは、１以
上のカメラパラメータを変動させ、これにより偏歪修正
変換を変化させることができる。新しい偏歪修正変換
は、切り出された部分を偏歪修正するために使用され
得、新しい結果が表示され得る。これらのステップは、
満足な偏歪修正変換が得られるまで繰り返され得る。こ
の実施形態により、ユーザはカメラパラメータの調整の
効果をモニタリングすることができ、最終的な画像がど
う見え得るかというフィードバックを得ることができ
る。このようにして表示され得る切り出された画像の最
大のサイズは、利用可能な処理パワーに依存する。

【０１４０】図９は、本発明のさらなる実施形態を示
す。図９の実施形態は、カメラパラメータに対する対話
型制御を提供するという点で、概して図８の実施形態と
対応している。しかし、図９の実施形態は、静止立体画
像ソースとではなく、立体映像ソースとともに用いるた
めのものである。図９の実施形態のステップは、概し
て、図７または図８の実施形態のステップと対応するの
で、詳細には説明しない。

【０１４１】本発明のさらなる実施形態（図示せず）
は、概して、図６の実施形態に対応するが、静止立体カ
メラとではなく立体映像ソースとともに使用されるよう
に適応している。

【０１４２】ここで、図５に示される方法を実行するた
めに適切なアルゴリズムを詳細に説明する。

【０１４３】カメラモデルは、図３ａに示される２台の
ピンホールカメラの設定である。レンズの歪みは無視で
きるか、または画像の前処理によって考慮されているも
のとする。ワールド座標の原点は、第１のカメラのピン
ホールになるように選ばれる。画像座標の原点は、画像
の中心である。ベクトルおよび行列は、特に断らない限
り、投影量（ｐｒｏｊｅｃｔｉｖｅｑｕａｎｔｉｔ
ｙ）である。投影量が等しいことは、スケーリングまで
もが等しいことをいう。

【０１４４】３×４（３行×４列）のカメラ行列Ｐ
_iは、３次元の点Ｘを撮影し、それを２次元の画像点ｘ_i
に投影する。すなわち、ｘ_i＝Ｐ_iＸである。Ｘは３次元
の点であるが、その行列表現は、行列変換、特に透視変
換において通常使用されるように、４次の座標を有して
いる。ｘ_iの行列表現は、３つの座標を有しており、ｘ_i
は、スケーリングされた２次元の座標と、（典型的な透
視変換の結果である）１に等しい第３の座標とを有する
と考えられ得る。

【０１４５】カメラ行列は、

【０１４６】

【数１】によって与えられる。ここで、Ｋ_iは、ｉ番目のカメラ
（左カメラについてはｉ＝０であり、右カメラについて
はｉ＝１である）の３×３のキャリブレーション行列で
あり、Ｒは３×３の回転行列であり、ｔは並進３次元ベ
クトルである。Ｒおよびｔは、それぞれ、図３ａにおけ
る左カメラ（ｉ＝０）に対する右カメラ（ｉ＝１）の回
転および並進である。スキューを無視すると、キャリブ
レーション行列Ｋ_iは、

【０１４７】

【数２】となる。ここで、ｆ_iは有効焦点距離であり、（ｐ_i，ｑ
_i）は、画像平面の主点である。

【０１４８】３×３の基本行列Ｆは、図５〜図９のステ
ップ１８によって示されたように、偏歪修正変換の投影
および相似成分に関連する。基本行列Ｆは、画像対の左
画像中の点ｘ_ojをその画像対の右画像中の対応する点ｘ
_ijに関連付ける。すべてのｊについて、

【０１４９】

【数３】である。基本行列は、２台のカメラ設定のエピポーラ幾
何を保存し、次のように与えられる。

【０１５０】

【数４】ここで、［ｔ］ｘは、非対称行列

【０１５１】

【数５】を表す。

【０１５２】２台のカメラのエピポーラ幾何は、図４ｂ
に示されている。上述したように、左画像点ｘ₀に対応
する右画像点は、エピポーラライン上になければなら
ず、これは式（３）に代数的に表される。

【０１５３】

【数６】によって与えられる、変換された対応する画像点

【０１５４】

【外１】が、

【０１５５】

【数７】を満たすような、偏歪修正ホモグラフィ（Ｈ_o，Ｈ₁）の
対を見出すことが必要である。

【０１５６】式（７）は、カメラの間に並進のみを有す
る同一のカメラに対応する基本行列に伴う、エピポーラ
拘束条件であることに注意されたい。変換された画像中
の一致するエピポーララインは、横方向であり、同じｙ
オフセットを有する。従って、偏歪修正ホモグラフィの
拘束条件は、

【０１５７】

【数８】となり、ここで、ｉ＝［１，０，０］^Tである。

【０１５８】「対応検出」とラベル付けされた図５〜図
９の方法におけるステップ１２は、対象物のシーンにお
ける一意な３次元の点の画像である、画像点の対（左画
像中の１つの点および右画像中の１つの点）を確定す
る。ステップ１２に対する入力は、画像対およびカメラ
パラメータの統計データ（省略可能）である。出力は、
基本行列である。

【０１５９】点の特徴の対応は、例えば、Ｍ．Ｆｉｓｃ
ｈｌｅｒらにより「Ｃｏｍｍｕｎｉｃａｔｉｏｎｓｏ
ｆｔｈｅＡＣＭ」、Ｖｏｌ２４、Ｎｏ．６、ｐｐ
３８１−３９５（１９８１）の中の「Ｒａｎｄｏｍｓ
ａｍｐｌｅｃｏｎｓｅｎｓｕｓ：Ａｐａｒａｄｉ
ｇｍｆｏｒｍｏｄｅｌｆｉｔｔｉｎｇｗｉｔｈ
ａｐｐｌｉｃａｔｉｏｎｓｔｏｉｍａｇｅａｎ
ａｌｙｓｉｓａｎｄａｕｔｏｍａｔｅｄｃａｒｔｏ
ｇｒａｐｈｙ」において開示され、または、Ｐ．Ｔｏｒ
ｒらにより、「ＳＰＩＥＳｅｎｓｏｒＦｕｓｉｏｎ
ＶＩ”、Ｖｏｌ２０５９ｐｐ４３２−４４３
（１９９３）の中の「Ｏｕｔｌｉｅｒｄｅｔｅｃｔｉｏ
ｎａｎｄｍｏｔｉｏｎｓｅｇｍｅｎｔａｔｉｏ
ｎ」において開示されたようなＲＡＮＳＡＣ、または、
Ｒ．Ｄｅｒｉｃｈｅらにより「ＥｕｒｏｐｅａｎＣｏ
ｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉ
ｏｎ」、ｐｐ５６７−５７６（１９９４）の中の「Ｒ
ｏｂｕｓｔｒｅｃｏｖｅｒｙｏｆｔｈｅｅｐｉ
ｐｏｌａｒｇｅｏｍｅｔｒｙｆｏｒａｎｕｎｃａ
ｌｉｂｒａｔｅｄｓｔｅｒｅｏｒｉｇ」において開
示されたような最小中央値２乗法（ＬｅａｓｔＭｅｄ
ｉａｎＳｑｕａｒｅ）等の公知のロバストな統計的方
法を使用して確定される。ロバストな方法は、過半数の
対応付けによって支配されるエピポーラ幾何に適合しな
いような偶然の対応付けを却下する。

【０１６０】対応付けの探索において、カメラパラメー
タの統計データは探索を制限するために使用される。カ
メラパラメータが正確に分かっている場合、正確な基本
行列Ｆが式（４）によって与えられる。左画像（画像
０）中の点の特徴ｘ_ojは、エピポーララインｘ_1j ^TＦｘ
_oj＝０上にある右画像（画像１）中の点の特徴ｘ_ijに対
応するはずである。カメラパラメータが正確に分かって
いない場合、対応付けの探索は、エピポーラライン沿い
を探索するだけでなく、エピポーララインの周りの領域
にまで広げられる。カメラキャリブレーションがより高
い精度で分かっていればいるほど、対応付けの探索は制
限される。

【０１６１】「カメラパラメータの統計データ」とラベ
ル付けされた図５〜図９のボックス２０は、固有および
非固有カメラパラメータの変動を確定する何らかのキャ
リブレーション手順の結果からなる。例えば、パラメー
タの平均および分散が、決定され得る。典型的なキャリ
ブレーション手順は、既知のキャリブレーション対象物
の異なる位置から見た図を記録することを伴う。公知の
方法の例は、Ｒ．Ｔｓａｉにより、「Ｃｏｎｆｅｒｅｎ
ｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄ
ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ」、ｐｐ３６
４−３７４（１９８６）の中の「Ａｎｅｆｆｉｃｉｅ
ｎｔａｎｄａｃｃｕｒａｔｅｃａｍｅｒａｃａｌ
ｉｂｒａｔｉｏｎｔｅｃｈｎｉｑｕｅｆｏｒ３Ｄ
ｍａｃｈｉｎｅｖｉｓｉｏｎ」において、および、Ｚ
Ｚｈａｎｇにより、「Ｉｎｔｅｒｎａｔｉｏｎａｌ
ＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓ
ｉｏｎ」（１９９９）の中の「Ｆｌｅｘｉｂｌｅｃａ
ｍｅｒａｃａｌｉｂｒａｔｉｏｎｂｙｖｉｅｗｉ
ｎｇａｐｌａｎｅｆｒｏｍｕｎｋｎｏｗｎｏ
ｒｉｅｎｔａｔｉｏｎｓ」において、開示されている。
これらの方法のどちらも、レンズの歪みを考慮してい
る。キャリブレーション対象物を使用せず、シーンの特
徴に依存する「自己キャリブレーション」として知られ
るキャリブレーション方法もある。その例は、Ｒ．Ｈａ
ｒｔｌｅｙにより、「ＥｕｒｏｐｅａｎＣｏｎｆｅｒ
ｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ」、
ｐｐ４７１−４７８、Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａ
ｇ（１９９４）の中の「Ｓｅｌｆ−Ｃａｌｉｂｒａｔ
ｉｏｎｆｒｏｍｍｕｌｔｉｐｌｅｖｉｅｗｓｗ
ｉｔｈａｒｏｔａｔｉｎｇｃａｍｅｒａ」におい
て、および、Ａ．Ｚｉｓｓｅｒｍａｎらにより、「Ｍ
ｅｔｒｉｃｃａｌｉｂｒａｔｉｏｎｏｆａｓｔｅ
ｒｅｏｒｉｇ」、ＩＥＥＥＷｏｒｋｓｈｏｐｏｎ
ＲｅｐｒｅｓｅｎｔａｔｉｏｎｏｆＶｉｓｕａｌ
Ｓｃｅｎｅｓ、Ｂｏｓｔｏｎ、ｐｐ９３−１００
（１９９５）において、開示されている。

【０１６２】Ｌｏｏｐら（前出）は、偏歪修正ホモグラ
フィＨ₀およびＨ₁の有用な分解および関係を提供した。
投影行列

【０１６３】

【数９】は、Ｈ＝Ｈ_sＨ_rＨ_pに分解され得、ここで、

【０１６４】

【数１０】であり、Ｈ_s＝ＨＨ_p ^-1Ｈ_r ^-1は、以下の形式を有する。

【０１６５】

【数１１】行列Ｈ_pは、投影項（ｐｒｏｊｅｃｔｉｖｅｔｅｒ
ｍ）のみを含む。行列Ｈ_rは、左上部の２×２の部分行
列が直交行列（スケーリング＋回転）である相似変換で
ある。行列Ｈ_sは、横方向スケーリングおよびせん断変
換である。明確化のために、Ｈ_sをせん断成分と呼ぶこ
とにする。

【０１６６】カメラｉについての偏歪修正ホモグラフィ
Ｈ_iがＨ_is、Ｈ_irおよびＨ_ipに分解されるものとする。
Ｈ₀およびＨ₁は、式（８）を満たす偏歪修正ホモグラフ
ィなので、分解された行列の間には、以下に議論するよ
うな特定の関係がある。

【０１６７】ここで、「投影および相似成分を推定」と
ラベル付けされた図５〜図９の方法のステップ１９を考
察する。

【０１６８】ｅ_iおよび

【０１６９】

【外２】は、それぞれ、元のおよび偏歪修正された画像対のエピ
ポール（ｅｐｉｐｏｌｅ）を表すものとする。エピポー
ルｅ_iは、基本行列Ｆから容易に計算される。偏歪修正
された画像の対について、エピポール

【０１７０】

【外３】は無限遠にあり、ｘ軸上にある。すなわち、

【０１７１】

【外４】である。Ｈ_ip中の投影項のみが、有限の点を無限遠に写
像することができるので、投影項に関する情報はエピポ
ールに含まれている。以下は、エピポールから投影項を
決定する手順を説明する。

【０１７２】画像０についての相似および投影成分は、
まずエピポールｅ₀をｘ軸上に回転させ、次いで投影成
分によって無限遠に写像することによって、決定され
る。エピポールをｘ軸上に（すなわち、ｘ軸の正および
負の側に）写像する２つの回転がある。最も小さい角度
を有する回転が選ばれ、それは、

【０１７３】

【数１２】と記される。

【０１７４】回転されたエピポールをｅ’₀＝Ｈ_0rｅ₀と
する。回転された座標フレームにおける投影成分を以下
のように設定する。

【０１７５】

【数１３】ここで、ｅ（ｉ）は、ベクトルｅのｉ番目の成分を示
す。Ｈ’_0pは、回転されたエピポールｅ’₀を無限遠に
写像する。さしあたり、

【０１７６】

【外５】であるものとする。

【０１７７】従って、元の座標フレームにおける投影成
分は、

【０１７８】

【数１４】となる。すなわち、

【０１７９】

【外６】である。

【０１８０】ここで、問題は、（Ｈ_0r，Ｈ_op）および基
本行列Ｆが与えられた場合に、適合する偏歪修正ホモグ
ラフィ（Ｈ_1r，Ｈ_1p）を見出すことである。ホモグラフ
ィに関する偏歪修正拘束条件は、式（８）に与えられて
いる。Ｈ_1s ^T［ｉ］×Ｈ_0s＝［ｉ］ｘなので、せん断成
分Ｈ_isは、偏歪修正に影響しない。式（８）は、相似お
よび投影成分のみを拘束する。すなわち、

【０１８１】

【数１５】である。（Ｈ_or,Ｈ_op）が与えられると、式（１５）を
使用して（Ｈ_1r，Ｈ_1p）について解くことができる。特
に、

【０１８２】

【数１６】である場合、

【０１８３】

【数１７】ここで、

【０１８４】

【外７】である。上の式を解き、相等がスケーリングまでである
ことに留意すると、以下の解が生成される。

【０１８５】

【数１８】ここで、

【０１８６】

【数１９】である。

【０１８７】Ｍ（ｉ，ｊ）は、行列Ｍの（ｉ，ｊ）番目
の要素を示す。Ｈ_orおよびＨ_1r中の回転行列が、ｘ軸上
へのエピポールｅ₀およびｅ₁の回転に対応することが検
証され得る。ｃ_0z ²＋ｓ_0z ²＝１であることに留意された
い。しかし、ｃ_1z ²＋ｓ_1z ²は、必ずしも１ではない。相
似変換Ｈ_1rには、スケーリング係数がある。

【０１８８】上述の手順において、画像０の投影項

【０１８９】

【外８】は、式（１３）において、任意に０に設定された。これ
により、右画像（画像１）中の投影項

【０１９０】

【外９】が、ある特定の値になる。実際、対

【０１９１】

【外１０】のための選択肢である１つのパラメータの解の集合があ
り、そのそれぞれから、式（８）の偏歪修正拘束条件を
満たすホモグラフィの対が導かれる。投影項

【０１９２】

【外１１】の選択における自由度は、平行カメラの対のベース線の
回りの回転の選択における自由度に関連する。平行カメ
ラの対のベース線の回りのすべての回転は、偏歪修正さ
れた画像の対を与える。

【０１９３】画像歪みの量を最小化するために、

【０１９４】

【外１２】を選択することができる。Ｒ．Ｈａｒｔｌｅｙ（１９
９８）（前出）およびＬｏｏｐら（前出）は、本明細書
中で開示される基準とは異なる画像歪みの基準を使用し
た。

【０１９５】

【外１３】が、Ｈ_irによって回転された座標フレームにおけるｙ成
分投影項を示す（すなわち、

【０１９６】

【外１４】である）ことに留意すると、次の式を解くことが必要で
ある。

【０１９７】

【数２０】

【０１９８】

【外１５】について式（１９）により与えられたｗ_1aおよびｗ_1bを
用いて、以下の２次方程式が導かれる。

【０１９９】

【数２１】これは、２次方程式の根の標準公式を使用して解くこと
ができ、小さい方の値を持つ解が選ばれる。

【０２００】図６は、カメラキャリブレーションが分か
っている方法を示す。図６において、「回転および並進
を推定」とラベル付けされた図６のステップ２６をここ
で考察する。

【０２０１】式（７）は、せん断成分に何の拘束条件も
課さないので、６個（画像あたり３個）の横方向せん断
およびスケーリングパラメータの選択における自由度の
説明を完了した。これらの項は、典型的には、何らかの
画像歪み基準を最小化することによって選ばれる。Ｒ．
Ｈａｒｔｌｅｙ（１９９８）（前出）によって使用され
た基準は、偏歪修正された画像におけるディスパリティ
の範囲に関連する。Ｌｏｏｐら（前出）によって使用さ
れた基準は、アスペクト比と、画像境界の中央点によっ
て形成される２本の線の直交性とに関連する。これらの
従来の方法における偏歪修正の出力は、ディスパリティ
の推定のために使用される。

【０２０２】これらの従来技術の方法においてせん断成
分を決定するために使用された基準は、平行カメラ設定
への仮想的な整列に対応しない偏歪修正変換を導き得
る。これは、これらの従来技術の方法が、立体画像の表
示に関連しないからである。せん断項が著しい歪みを結
果として引き起こさない限り、ディスパリティの推定者
は、画像間の特徴を関連付けることができる。しかし、
偏歪修正された画像対を立体ディスプレイ上で見る目的
のためには、より厳しい必要条件が存在する。

【０２０３】図６の方法によれば、せん断成分の決定の
ための基準は、物理的に確からしいことに関連する。せ
ん断成分は、偏歪修正ホモグラフィがカメラの仮想的な
回転に対応するように、選ばれる。さらに、せん断項
は、カメラの固有および非固有のパラメータの演繹的な
（アプリオリな）知識を使用して拘束される。この演繹
的な知識は、確率密度に関して表現される。すべてのパ
ラメータは、ある特定の平均および分散を有するガウス
分布（または打ち切りガウス分布）に従うと仮定され
る。

【０２０４】さしあたり、キャリブレーション行列Ｋ_i
は既知であると仮定する。ある回転行列Ｒ_iについて、
Ｋ_iＲ_iＫ_i ^-1は、カメラｉをＲ_iだけ仮想的に回転させる
ホモグラフィである。偏歪修正ホモグラフィの対につい
て、Ｒ₀およびＲ₁は、カメラ回転Ｒおよび並進ｔの関数
である。せん断成分Ｈ_isは、あるスケーリングおよび並
進変換Ｈ_itについて、

【０２０５】

【数２２】を満たさなければならない。そのスケーリングおよび並
進変換Ｈ_itは、

【０２０６】

【数２３】の形式である。

【０２０７】（Ｈ_ir，Ｈ_ip，Ｋ_i）が与えられると、式
（２２）が満たされるように、上三角行列Ｕ_i＝Ｈ_itＨ
_isが必要とされる。Ｒ_iは直交行列なので、

【０２０８】

【数２４】が得られる。

【０２０９】式（２４）の右辺をチョレスキー分解する
と、Ｕ_iが得られ、それゆえ、せん断成分Ｈ_isが得られ
る。また、これにより回転Ｒ₀およびＲ₁が得られ、これ
らからカメラ回転Ｒおよび並進ｔが計算され得る。

【０２１０】それゆえ、慣例はＲおよびｔを既知のキャ
リブレーション行列Ｋ_iと、投影および相似成分とから
推定するための手順を提供する。横方向せん断およびス
ケーリング成分のみが、キャリブレーション行列Ｋ_iに
よって影響されるので、キャリブレーション行列におけ
る不正確さは、最終的な偏歪修正ホモグラフィにおける
正しくない横方向せん断およびスケーリングを導くだけ
である。ゼロの縦方向ディスパリティは、不正確なカメ
ラキャリブレーションに関わらず維持される。これは、
図６に示されている。図６では、「カメラの焦点距離お
よび主点」ボックス（ボックス２５）における誤差は、
「横方向せん断およびスケーリング成分」ボックスにし
か伝播しない。Ａｙａｃｈｅらの方法、Ｋａｎｇらの方
法およびＦｕｓｉｅｌｌｏらの方法は、誤差に対して強
いというこの性質を持ち合わせていない。

【０２１１】ここで、「最も確からしい焦点距離、主
点、回転および並進を見出す」とラベル付けされた図５
〜図９の方法のステップ２１を考察する。図６の方法で
は、キャリブレーション行列は、既知であると仮定され
る。行列は、実際、正確には分かっていない。パラメー
タは、ガウス分布の平均および分散によって特定される
ある精度までしか分かっていない。図５の方法におい
て、図６の点線のボックス内の手順が、この点を考慮す
るために修正される。

【０２１２】パラメータｘの平均および標準偏差をそれ
ぞれμ_xおよびσ_xで表すことにする。平均からの誤差の
２乗の重み付け和を最小にするパラメータ（Ｋ₀，Ｋ₁，
Ｒ，ｔ）を求める。平均からの誤差の２乗の重み付け和
とは、すなわち、

【０２１３】

【数２５】である。

【０２１４】式（２５）の解は、パラメータの最も確か
らしい集合である。５つの関数θ_j（Ｒ，ｔ）は、単
に、回転行列Ｒおよび並進ベクトルｔから回転の角度を
抽出する関数である。Ｒについて３つの角度があり、並
進ｔの向きについて２つの角度があるので、５つの角度
がある。

【０２１５】単純化のために、式（２５）において、打
ち切りを考慮する関数（すなわち、焦点距離は正でなけ
ればならず、主点は画像内になければならず、角度は±
１８０°以内でなければならない）は、省略された。こ
れらの拘束条件は、実際にはインプリメントされる。

【０２１６】図８および図９の実施形態において、ユー
ザは、式（２５）中の１以上の量を変動させることがで
き、その結果、ユーザはカメラパラメータに対する制御
を有する。

【０２１７】式（２５）における非線形の目標関数は、
任意の適切な数学的技術によって最小化され得る。式
（２５）を最小化するための１つの適切な技術は、Ｌｅ
ｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法である。繰り返
しＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔアルゴリズ
ムに対する最初の入力は、前のセクションの手順ととも
に平均キャリブレーション行列を使用して推定されたカ
メラ回転Ｒおよび並進ｔである。

【０２１８】偏歪修正ホモグラフィは、Ｈ_i＝Ｈ_isＨ_ir
Ｈ_ipによって与えられる。最終的なステップは、（ｉ）
画像の面積が偏歪修正の後にもほぼ保存されるように、
両方のホモグラフィＨ₀およびＨ₁にスケーリングを適用
し、（ｉｉ）偏歪修正された画像がほぼ中心にあるよう
に、両方のホモグラフィＨ₀およびＨ₁に並進を適用す
る。Ａ_iおよび

【０２１９】

【外１６】をそれぞれもとの画像ｉおよび偏歪修正された画像ｉの
面積であるとする。平均のスケーリング

【０２２０】

【数２６】が、両方の偏歪修正された画像の面積を保存するために
使用される。算術平均ではなく、幾何平均が代替的に使
用され得る。画像ｉ中の中心点は、［Ｈ_i（０，２），
Ｈ_i（１，２），１］^Tに写像される。好適には、中心点
が偏歪修正された２つの中心画像点の平均に写像される
ような変換が使用される。両方のＨ_iに適用されるスケ
ーリングおよび並進行列は、

【０２２１】

【数２７】である。

【０２２２】図５の方法をインプリメントするために適
切なアルゴリズムの主要な特徴は、以下のように要約さ
れ得る。１．推定されたＦからエピポールｅ₀およびｅ₁を計算す
る。２．エピポールｅ₀がｘ軸上にあるように、第１の画像
を回転させる。回転されたエピポール

【０２２３】

【外１７】が無限遠［１，０，０］^Tに写像されるように、投影項
を見出す。３．第１の画像の相似および投影成分から、式（１８）
および式（１９）に従って、第２の画像についての対応
する相似および投影ホモグラフィを見出す。４．投影項ｗ_0bおよびｗ_1bを選び直し、画像歪みを最小
化する。５．カメラパラメータの演繹的知識に基づいた式（２
５）に従って、せん断項を選ぶ。６．Ｈ_i＝Ｈ_isＨ_irＨ_ipを用いた結果として得られる偏
歪修正ホモグラフィを形成する。ここで、Ｈ_is、Ｈ_irお
よびＨ_ipはそれぞれ、せん断、相似および投影成分であ
る。７．画像の面積がほぼ保存されるように、両方のホモグ
ラフィＨ₀およびＨ₁に、スケーリングを適用する。偏歪
修正された画像がほぼ中心にあるように、両方のホモグ
ラフィＨ₀およびＨ₁に、並進を適用する。

【０２２４】本発明の他の実施形態についてのアルゴリ
ズムは、上述したルーチンに対して適切な修正を施すこ
とによって得ることができる。

【０２２５】本願に記載される方法において、偏歪修正
変換の２つの成分が決定され、それらは、次いで、組み
合わされる。画像は、次いで、その組み合わされた変換
を使用して画像をワーピングすることによって、偏歪修
正される。原理的には、変換の２つの成分を組み合わせ
るステップが省略されてもよく、ワーピングのステップ
が２つの段階（すなわち、偏歪修正変換の第１の成分を
使用する第１のワーピングステップと、それに続く、第
２の成分を使用する第２のワーピングステップ）を有し
ていてもよい。

【０２２６】図１１は、本発明の方法を実行することが
できる装置３１の模式的なブロック図である。その装置
は、上述の任意の方法に従って立体画像対に適用するこ
とができ、それにより、偏歪修正変換の対が得られる。
その装置はさらに、得られた偏歪修正変換を使用して、
１以上の画像対を処理し得る。

【０２２７】装置３１は、プログラム可能なデータプロ
セッサ３２を含む。データプロセッサ３２は、本発明の
方法によって音響的（ａｃｏｕｓｔｉｃ）データを処理
するためにそのデータプロセッサ３２を制御するプログ
ラムを格納する、例えば読み出し専用メモリ（ＲＯＭ）
の形態のプログラムメモリ３３を有する。その装置はさ
らに、例えば、電源がない場合に保持されなければなら
ない任意のデータを格納する、不揮発性読み出し／書き
込みメモリ３４をさらに含む。データプロセッサのため
の「作業用」または「スクラッチパッド」メモリが、ラ
ンダムアクセスメモリＲＡＭ３５によって提供される。
入力デバイス３６が、例えばユーザコマンドおよびデー
タを受け取るために、設けられる。出力デバイス３７
が、例えば処理の進行および結果に関連する情報を表示
するために、設けられる。出力デバイスは、例えば、プ
リンタ、視覚的表示ユニット、または出力メモリであり
得る。

【０２２８】処理のための画像対は、入力デバイス３６
を介して供給されてもよいし、随意に、機械で読み取り
可能な格納部３８によって提供されてもよい。

【０２２９】決定された偏歪修正変換は、出力デバイス
３７を介して出力されてもよいし、格納されてもよい。
代替的に、いったん偏歪修正変換の対が決定されると、
その装置は、その偏歪修正変換を使用して１以上の画像
対を処理し得る。偏歪修正された画像対は、例えば表示
のために、出力デバイス３７を介して出力されてもよい
し、格納されてもよい。

【０２３０】このシステムを動作させ、上述した方法を
実行するためのプログラムは、プログラムメモリ３３に
格納される。プログラムメモリ３３は、例えば周知のＲ
ＯＭのタイプの半導体メモリとして実現され得る。しか
し、プログラムは、磁気データ担体３３ａ（「フロッピ
ー（Ｒ）ディスク」等）またはＣＤ−ＲＯＭ３３ｂのよ
うな任意の他の適切な格納媒体に格納されてもよい。

【０２３１】

【発明の効果】上述してきたように、本発明による、左
および右のキャプチャされた画像からなる立体画像を偏
歪修正する方法は、左および右の偏歪修正変換を求める
ステップ（ステップ１４）を含む。本発明の１つの局面
によれば、左および右の画像をキャプチャするために使
用される立体画像キャプチャデバイスのパラメータの統
計データが、左および／または右の偏歪修正変換の決定
の際に使用される（ステップ２０、２１、２２）。本発
明の他の局面によれば、左および右の偏歪修正変換は、
平行カメラ設定への仮想的な整列への変換に対応するよ
うに拘束される。いったん左および右の偏歪修正変換が
決定されると、それらは、好適には左および右の画像を
偏歪修正するために使用され（ステップ１５）、偏歪修
正された画像対から、縦方向ディスパリティを除去する
か、または実質的に除去する。左および右の偏歪修正さ
れた画像は、次いで、観察者が見るために立体表示デバ
イスに表示（ステップ１７）されてもよいし、代替的
に、以後の使用のために格納されてもよい。従って、上
記方法によれば、本発明では、立体画像キャプチャデバ
イスのパラメータの統計データを用いることによって偏
歪修正された画像対からの縦方向ディスパリティの除去
が従来技術よりも効果的に達成される。

【図面の簡単な説明】

【図１】立体画像対を記録するための画像キャプチャデ
バイスの模式的な斜視図である。

【図２ａ】図１の画像キャプチャデバイスの平面図であ
る。

【図２ｂ】立体画像対を記録するための平行カメラ設定
を模式的に示す図である。

【図２ｃ】立体画像対を記録するための非平行カメラ設
定を模式的に示す図である。

【図３ａ】従来技術の偏歪修正プロセスのブロックフロ
ー図である。

【図３ｂ】さらなる従来技術の偏歪修正プロセスの模式
的なブロック図である。

【図３ｃ】さらなる従来技術の偏歪修正プロセスの模式
的なブロック図である。

【図４ａ】カメラ設定を記述するために使用される表記
を示す図である。

【図４ｂ】カメラ設定を記述するために使用される表記
を示す図である。

【図５】本発明の第１の実施形態を組み込んだ偏歪修正
方法の模式的なフロー図である。

【図６】本発明の第２の実施形態を組み込んだ偏歪修正
方法の模式的なフロー図である。

【図７】本発明の第３の実施形態を組み込んだ偏歪修正
方法の模式的なフロー図である。

【図８】本発明の第４の実施形態を組み込んだ偏歪修正
方法の模式的なフロー図である。

【図９】本発明の第５の実施形態を組み込んだ偏歪修正
方法の模式的なフロー図である。

【図１０】偏歪修正変換を投影相似成分（ｐｒｏｊｅｃ
ｔｉｖｅｓｉｍｉｌａｒｉｔｙｃｏｍｐｏｎｅｎｔ
ｓ）と、横方向せん断およびスケーリング成分とに分解
することを模式的に示す図である。

【図１１】本発明の実施形態に従う装置を模式的に示す
ブロック図である。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１４年７月１９日（２００２．７．１
９）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０１８２

【補正方法】変更

【補正内容】

【０１８２】

【数１６】である場合、

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０１８３

【補正方法】変更

【補正内容】

【０１８３】

【数１７】ここで、

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】０１８４

【補正方法】変更

【補正内容】

【０１８４】

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】０１８６

【補正方法】変更

【補正内容】

【０１８６】

【数１９】である。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】０１９６

【補正方法】変更

【補正内容】

【０１９６】

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】０１９７

【補正方法】変更

【補正内容】

【０１９７】

【数２０】

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】０１９９

【補正方法】変更

【補正内容】

【０１９９】

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 AA20 BA02 CA08 CA13 CA16 CB08 CB13 CB16 CC01 CD02 CD03 CD05 CD12 DA07 DB03 DB09 DC19 DC30 DC32 5C061 AA20 AB04 AB08 AB24

Claims

【特許請求の範囲】

【請求項１】第１および第２の画像キャプチャデバイ
スのうちの対応する１つを使用してキャプチャされた第
１および第２の画像を含む立体画像を偏歪修正する方法
であって、該第１および第２の画像キャプチャデバイス
は立体画像キャプチャデバイスを形成し、該方法は、該第１および第２の画像のうちの対応する１つを偏歪修
正し、これにより、縦方向ディスパリティを低減するた
めの第１および第２の偏歪修正変換を決定するステップ
を包含し、該方法は、該第１および／または第２の偏歪修正変換の該決定の際
に、該立体画像キャプチャデバイスのパラメータの統計
データを使用するステップを包含することを特徴とす
る、方法。
【請求項２】各偏歪修正変換は、横方向せん断および
スケーリング成分を含み、前記立体画像キャプチャデバ
イスの前記パラメータの前記統計データは、前記第１お
よび／または第２の偏歪修正変換の該横方向せん断およ
びスケーリング成分の前記決定の際に使用される、請求
項１に記載の方法。
【請求項３】前記第１および第２の偏歪修正変換を決
定するステップと、前記立体画像キャプチャデバイスの前記パラメータの前
記統計データを変動させるステップと、該第１および第２の偏歪修正変換を再決定するステップ
と、該再決定された第１および第２の偏歪修正変換のうちの
対応する１つを使用して前記第１および第２の画像を偏
歪修正するステップとを包含する、請求項１に記載の方
法。
【請求項４】前記最初に決定された第１および第２の
偏歪修正変換のうちの対応する１つを使用して、前記第
１の画像の少なくとも一部と、前記第２の画像の少なく
とも一部とを偏歪修正するステップと、該第１および第２の画像の該偏歪修正された部分を立体
表示デバイスに表示するステップとをさらに包含する、
請求項３に記載の方法。
【請求項５】前記最初に決定された第１および第２の
偏歪修正変換のうちの対応する１つを使用して、前記第
１の画像の少なくとも一部と、前記第２の画像の少なく
とも一部とを偏歪修正するステップと、該第１および第２の画像の該偏歪修正された部分を立体
表示デバイスに表示するステップと、前記立体画像キャプチャデバイスの前記パラメータの前
記統計データを該第１および第２の画像の該偏歪修正さ
れた部分の表示に基づいて変動させるステップとをさら
に包含する、請求項４に記載の方法。
【請求項６】前記立体画像キャプチャデバイスの前記
パラメータの前記統計データは、前記第１の画像キャプ
チャデバイスのパラメータおよび／または前記第２の画
像キャプチャデバイスのパラメータに関連する、請求項
１に記載の方法。
【請求項７】前記立体画像キャプチャデバイスの前記
パラメータの前記統計データは、前記第１および第２の
画像キャプチャデバイスの焦点距離の平均を含む、請求
項６に記載の方法。
【請求項８】前記立体画像キャプチャデバイスの前記
パラメータの前記統計データは、前記第１および第２の
画像キャプチャデバイスの焦点距離の標準偏差を含む、
請求項６に記載の方法。
【請求項９】前記立体画像キャプチャデバイスの前記
パラメータの前記統計データは、前記第１および第２の
画像キャプチャデバイスの主点の平均を含む、請求項６
に記載の方法。
【請求項１０】前記立体画像キャプチャデバイスの前
記パラメータの前記統計データは、前記第１および第２
の画像キャプチャデバイスの主点の標準偏差を含む、請
求項６に記載の方法。
【請求項１１】前記立体画像キャプチャデバイスの前
記パラメータの前記統計データは、前記第２の画像キャ
プチャデバイスに対する前記第１の画像キャプチャデバ
イスの整列に関連する、請求項１に記載の方法。
【請求項１２】前記立体画像キャプチャデバイスの前
記パラメータの前記統計データは、前記第２の画像キャ
プチャデバイスの光軸に対する前記第１の画像キャプチ
ャデバイスの光軸の回転の平均を含む、請求項１１に記
載の方法。
【請求項１３】前記立体画像キャプチャデバイスの前
記パラメータの前記統計データは、前記第２の画像キャ
プチャデバイスの光軸に対する前記第１の画像キャプチ
ャデバイスの光軸の回転の標準偏差を含む、請求項１１
に記載の方法。
【請求項１４】前記第１および第２の偏歪修正変換
は、平行カメラ設定への仮想的な整列に対応するように
決定される、請求項１に記載の方法。
【請求項１５】前記第１のキャプチャされた画像およ
び第２のキャプチャされた画像は、静止立体画像を含
む、請求項１に記載の方法。
【請求項１６】前記第１のキャプチャされた画像およ
び第２のキャプチャされた画像は、立体ビデオ画像のフ
レームを含む、請求項１に記載の方法。
【請求項１７】前記立体ビデオ画像の１番目のフレー
ムについて、請求項１に規定される方法を使用して、第
１および第２の偏歪修正変換を決定するステップと、該立体ビデオ画像の該１番目のフレームについて決定さ
れた該第１および第２の偏歪修正変換を使用して、該立
体ビデオ画像の引き続くフレームを偏歪修正するステッ
プとを包含する、請求項１６に記載の方法。
【請求項１８】前記立体ビデオ画像の１番目のフレー
ムについて、請求項１に規定される方法を使用して、第
１および第２の偏歪修正変換を決定するステップと、該立体ビデオ画像の該１番目のフレームについて決定さ
れた該第１および第２の偏歪修正変換を使用して、該立
体ビデオ画像の１番目からＮ番目までのフレームを偏歪
修正するステップと、該立体ビデオ画像の（Ｎ＋１）番目のフレームについ
て、請求項１に規定される方法を使用して、第１および
第２の偏歪修正変換を決定するステップと、該立体ビデオ画像の該（Ｎ＋１）番目のフレームについ
て決定された該第１および第２の偏歪修正変換を使用し
て、該立体ビデオ画像の（Ｎ＋１）番目から（２Ｎ）番
目までのフレームを偏歪修正するステップとを包含す
る、請求項１６に記載の方法。
【請求項１９】前記立体ビデオ画像の各フレームにつ
いて、請求項１に規定される方法を使用して、第１およ
び第２の偏歪修正変換を決定するステップと、そのフレームについて決定された該第１および第２の偏
歪修正変換を使用して、該立体ビデオ画像の各フレーム
を偏歪修正するステップとを包含する、請求項１６に記
載の方法。
【請求項２０】前記第１および第２の偏歪修正変換の
うちの対応する１つを使用して、前記第１および第２の
キャプチャされた画像を偏歪修正するステップをさらに
包含する、請求項１に記載の方法。
【請求項２１】観察者が見るために、前記第１および
第２の偏歪修正された画像を立体表示デバイスに表示す
るステップをさらに包含する、請求項２０に記載の方
法。
【請求項２２】第１および第２の画像キャプチャデバ
イスを使用してキャプチャされた第１および第２の画像
を含む立体画像を偏歪修正する方法であって、該第１お
よび第２の画像キャプチャデバイスは立体画像キャプチ
ャデバイスを形成し、該方法は、該第１および第２の画像のうちの対応する１つを偏歪修
正するための第１および第２の偏歪修正変換を決定し、
これにより、縦方向ディスパリティを低減するステップ
を包含し、該方法は、該第１および第２の偏歪修正変換が平行カメラ設定への
仮想的な整列に対応するように、該第１および第２の偏
歪修正変換を決定するステップを包含することを特徴と
する、方法。
【請求項２３】前記第１および第２の偏歪修正変換を
決定する前記ステップにおいて、前記立体画像キャプチ
ャデバイスのパラメータの統計データを使用するステッ
プをさらに包含する、請求項２２に記載の方法。
【請求項２４】前記立体画像キャプチャデバイスの前
記パラメータの前記統計データは、前記第２の画像キャ
プチャデバイスに対する前記第１の画像キャプチャデバ
イスの整列に関連する、請求項２３に記載の方法。
【請求項２５】前記第１および第２の偏歪修正変換を
決定する前記ステップは、該第１および第２の偏歪修正変換のそれぞれの第１の成
分を決定するステップであって、該第１の偏歪修正変換
の該第１の成分および該第２の偏歪修正変換の該第１の
成分は、偏歪修正された画像対から実質的に縦方向ディ
スパリティを除去する、ステップと、該第１および第２の偏歪修正変換が平行カメラ設定への
仮想的な整列に対応するように、該第１および第２の偏
歪修正変換のそれぞれの第２の成分を決定するステップ
とを包含する、請求項２２に記載の方法。
【請求項２６】前記第１および第２の偏歪修正変換を
決定する前記ステップにおいて、前記立体画像キャプチ
ャデバイスのパラメータの統計データを使用するステッ
プをさらに包含し、該立体画像キャプチャデバイスの該
パラメータの該統計データは、該第１および第２の偏歪
修正変換の前記第２の成分を決定する前記ステップにお
いて使用される、請求項２５に記載の方法。
【請求項２７】前記立体画像キャプチャデバイスの前
記パラメータの前記統計データは、前記第２の画像キャ
プチャデバイスに対する前記第１の画像キャプチャデバ
イスの整列に関連する、請求項２５に記載の方法。
【請求項２８】前記第１のキャプチャされた画像およ
び第２のキャプチャされた画像は、静止立体画像を含
む、請求項２２に記載の方法。
【請求項２９】前記第１のキャプチャされた画像およ
び第２のキャプチャされた画像は、立体ビデオ画像のフ
レームを含む、請求項２２に記載の方法。
【請求項３０】前記立体ビデオ画像の１番目のフレー
ムについて、請求項２２に規定される方法を使用して、
第１および第２の偏歪修正変換を決定するステップと、該立体ビデオ画像の該１番目のフレームについて決定さ
れた該第１および第２の偏歪修正変換を使用して、該立
体ビデオ画像の引き続くフレームを偏歪修正するステッ
プとを包含する、請求項２９に記載の方法。
【請求項３１】前記立体ビデオ画像の１番目のフレー
ムについて、請求項２２に規定される方法を使用して、
第１および第２の偏歪修正変換を決定するステップと、該立体ビデオ画像の該１番目のフレームについて決定さ
れた該第１および第２の偏歪修正変換を使用して、該立
体ビデオ画像の１番目からＮ番目までのフレームを偏歪
修正するステップと、該立体ビデオ画像の（Ｎ＋１）番目のフレームについ
て、請求項２２に規定される方法を使用して、第１およ
び第２の偏歪修正変換を決定するステップと、該立体ビデオ画像の該（Ｎ＋１）番目のフレームについ
て決定された該第１および第２の偏歪修正変換を使用し
て、該立体ビデオ画像の（Ｎ＋１）番目から（２Ｎ）番
目までのフレームを偏歪修正するステップとを包含す
る、請求項２９に記載の方法。
【請求項３２】前記立体ビデオ画像の各フレームにつ
いて、請求項２２に規定される方法を使用して、第１お
よび第２の偏歪修正変換を決定するステップと、そのフレームについて決定された該第１および第２の偏
歪修正変換を使用して、該立体ビデオ画像の各フレーム
を偏歪修正するステップとを包含する、請求項２９に記
載の方法。
【請求項３３】前記第１および第２の偏歪修正変換の
うちの対応する１つを使用して、前記第１および第２の
キャプチャされた画像を偏歪修正するステップをさらに
包含する、請求項２２に記載の方法。
【請求項３４】観察者が見るために、前記第１および
第２の偏歪修正された画像を立体表示デバイスに表示す
るステップをさらに包含する、請求項３３に記載の方
法。
【請求項３５】第１および第２の画像キャプチャデバ
イスのうちの対応する１つを使用してキャプチャされた
第１および第２の画像を含む立体画像を偏歪修正する装
置であって、該第１および第２の画像キャプチャデバイ
スは立体画像キャプチャデバイスを形成し、該装置は、該第１および第２の画像のうちの対応する１つを偏歪修
正し、これにより、縦方向ディスパリティを低減するた
めの第１および第２の偏歪修正変換を決定する手段であ
って、該手段は、該第１および／または第２の偏歪修正
変換の該決定の際に、該立体画像キャプチャデバイスの
パラメータの統計データを使用する、手段を備えた、装
置。
【請求項３６】前記第１および第２の偏歪修正変換の
うちの対応する１つを使用して前記第１および第２のキ
ャプチャされた画像を偏歪修正する手段をさらに備え
た、請求項３５に記載の装置。
【請求項３７】プログラム可能なデータプロセッサを
備えた、請求項３５に記載の装置。
【請求項３８】請求項３７に規定される装置の前記デ
ータプロセッサのためのプログラムを格納した格納媒
体。
【請求項３９】第１および第２の画像キャプチャデバ
イスを使用してキャプチャされた第１および第２の画像
を含む立体画像を偏歪修正する装置であって、該第１お
よび第２の画像キャプチャデバイスは立体画像キャプチ
ャデバイスを形成し、該装置は、該第１および第２の画像のうちの対応する１つを偏歪修
正し、これにより、縦方向ディスパリティを低減するた
めの第１および第２の偏歪修正変換を決定する手段を備
え、該第１および第２の偏歪修正変換は、平行カメラ設
定への仮想的な整列に対応する、装置。
【請求項４０】前記第１および第２の偏歪修正変換の
うちの対応する１つを使用して前記第１および第２のキ
ャプチャされた画像を偏歪修正する手段をさらに備え
た、請求項３９に記載の装置。
【請求項４１】プログラム可能なデータプロセッサを
備えた、請求項３９に記載の装置。
【請求項４２】請求項４１に規定される装置の前記デ
ータプロセッサのためのプログラムを格納した格納媒
体。