JP2009520975A - ステレオビジョンにおいて密な視差場を求める方法 - Google Patents

Abstract

異なる位置から同じ場面を撮影する２台のカメラ（Ｔ１、Ｔ２）を備えたステレオビジョンシステム（Ｓ）において、２台のカメラにより撮影されたデジタル画像間の密な視差場を求める方法が実行される。この方法は、当該場面の第１の画像及び第２の画像（ＩＭ１、ＩＭ２）を取り込むステップ、及び第２の画像の各ピクセルについて、第１の画像内のポイントからオプティカルフロー目的関数を最小化する第２の画像内の当該ピクセルへの変位を求めるステップを含む。オプティカルフロー目的関数は、第２の画像の各ピクセルについて、当該ピクセルに関連付けられたエピポーラ線と第１の画像内の上記ポイントとの間の距離に単調増加にて依存した項を含む。この項は、２台のカメラの校正パラメータに依存すると共に、校正データの不確かさに依存して重み付けされる。
【選択図】図１

Description

一般に、本発明はステレオビジョン画像を自動的に分析する方法を取り扱い、特に、エピポーラ幾何が知られている場合に密な視差場を求める方法を取り扱う。

画像を自動的に分析する際に解決すべき頻出課題は、１台以上のカメラにより異なる視点から得られた同じ場面を示す２つのフレーム間に存在する差を記述する視差(disparity)を求めることである。視差は２つのフレーム中の同じ場面要素の位置の差を表す。すべての画像ピクセルについて視差を計算するアルゴリズムがあり、また、画像ピクセルのサブセット（すなわち関連した特徴群）に限定された別のアルゴリズムもある。前者の場合、密な視差場（dense disparity field）と称され、後者の場合、疎な視差場(sparse disparity field)と称される。本発明は第１のカテゴリーに属する。

２つの画像を比較し、画像内に含まれるピクセル間の対応を決定する公知の技術は、オプティカルフロー技術である。従来技術では、ビデオカメラ校正パラメータを考慮に入れることにより計算を実行する形式の技術が提供される。

ＵＳ２００３／００８６５９０には、例えばいわゆるエピポーラ拘束を考慮することによってオプティカルフローを計算する技術が開示されており、オプティカルフローを２回適用することが仮定されている。第１回目は、重要な情報内容により特定のポイントの移動を識別するため、すなわちエピポーラ幾何の基本マトリックスを計算するために、「疎な」方法にて（すなわち画像ピクセルのセットについてのみ）適用され、第２回目はこの基本マトリックスから得られるエピポーラ拘束を用いることによって「密な」方法にて適用される。実際には、第２のステップにおいて用いられる個々のエピポーラ線は基本マトリックスから得られ、下記の式により特定される。
ここで、ａ_ｘ，ｙ、ｂ_ｘ，ｙ及びｃ_ｘ，ｙはポイント（ｘ，ｙ）にて計算されたエピポーラ線に関係した係数を示し、ｕ_ｘ，ｙ及びｖ_ｘ，ｙは当該ポイントの移動量を示す。この式は下記の周知のオプティカルフロー方程式の解についての拘束である。
ここで、Ｊ_ｘ、Ｊ_ｙ及びＪ_ｔは当該ポイントにおける画像強度の空間−時間導関数を示す。このように移動はエピポーラ線上に存在する位置に対応する。

ＵＳ０５７６４８７１には、ステレオビジョンにおいて中間画像を合成する方法が開示されている。中間の視点がオプティカルフロー技術を用いて計算される。しかしながら、移動は水平方向に沿ったまったくの並進移動に拘束され、したがって平行なエピポーラ線が得られる。一般性を損なうのを避けるため、得られるフレームの垂直位置合わせの手順を、オプティカルフロー計算より先行させる。
ＵＳ２００３／００８６５９０ ＵＳ０５７６４８７１

発明の簡単な説明
出願人は、たとえエピポーラ幾何により課せられる拘束をオプティカルフロー技術に導入することによって２つの画像間の視差場の計算が改善できたとしても、上記引用文献に記載の技術は課題を抱えていることが分かった。

特に、これらの技術はオプティカルフロー方程式の解がエピポーラ線上に存在するという拘束を課す。一般にはカメラ校正の不正確さに起因してエピポーラ線の計算で誤差が生じる場合、このような拘束によって、撮影された場面に対して最適でない解が計算されてしまう。したがって、エピポーラ線に拘束された推定により、とりわけフレーム中に輪郭及び強い不連続性が存在する場合には許容できない解が与えられ得る。

出願人は、校正を絶対的な拘束として考慮するのではなく、可変の影響をカメラ校正に割り当てるならば、視差場の質を改善できることを見いだした。というのは、システム校正誤差を補償するために随意にプロセスに影響を与えることができるからである。これは、オプティカルフロー問題を解決するために最小化すべき関数に新たな項を加えることによって実現できる。このように修正されたオプティカルフロー目的関数における追加項は、カメラ構成に関連付けられた幾何に関係している。

実際には、同じ場面の２つの画像を取り込んだ後、第２の画像の各ピクセルについて、（当該ピクセルが第１の画像中で取り込まれた場面の要素に関係している場合）第１の画像中に対応するポイント（必ずしも１ピクセルではない）が存在することを考慮すると、本発明の方法では、エピポーラ拘束を考慮した項を有するオプティカルフロー目的関数を最小化する動きを求めることによって、２つの画像間の視差場、すなわち第１の画像中のポイントから第２の画像中の関連のピクセルまでの変位のセットを計算できる。特に、第２の画像のすべてのピクセルについて、この項は、第１の画像中の対応するポイントと当該ピクセルに関連付けられたエピポーラ線との間の距離に依存する。詳しくは、この項は当該ポイントと当該エピポーラ線との間の距離の２乗に比例する。したがって、本発明の第１の態様によると、本発明はデジタル画像間の密な視差場を求める方法に関するものであり、
・同じ場面の第１の画像及び第２の画像を該同じ場面に関係した２つの異なる位置から取り込むステップ；及び
・第２の画像の各ピクセルについて、第１の画像中のポイントから、オプティカルフロー目的関数を最小化する第２の画像の当該ピクセルまでの動きを求めるステップ；
を含み、オプティカルフロー目的関数は、第２の画像の各ピクセルについて、当該ピクセルに関連付けられたエピポーラ線と第１の画像の上記ポイントとの間の距離に単調増加的に依存した項を含む。

好ましくは、第１の画像及び第２の画像は第１のカメラ及び第２のカメラによりそれぞれ取り込まれ、上記の項は２台のカメラの校正パラメータに依存する。別法として、例えば場面自体の周りを回転する操作台上に取り付けられ、撮影する場面に対して移動する１台のカメラによって、第１の画像及び第２の画像を取り込むこともできる。

カメラ校正データの不確かさに依存して上記の項を重み付けできる。

また、好ましくは、上記の項は、第２の画像の上記ピクセルに関連付けられたエピポーラ線と第１の画像中の上記ポイントとの間の距離の２乗に比例する。

オプティカルフロー目的関数を最小化する変位は場合によっては残差変位成分(residual displacement component)を表し得る。この場合、本方法は、この残差変位成分を求める前に、残差成分を追加しなければならない前の変位成分を求めるステップを含む。

前の変位成分は、
− 第１の画像中の特徴を識別するステップ；
− 該特徴について第２の画像への変位を求めるステップ；
− この関連スポットについて第２の画像への変位を補間するステップ；
により決定できる。

別法として、少なくとも１回上記オプティカルフロー目的関数を最小化することによって、前の変位成分を求めることができる。したがって、本方法は該目的関数を最小化するための反復計算プロセスを含み得る。

別の可能な代替案によると、第１の画像及び第２の画像は、より低い解像度の少なくとも１つのバージョンと、より高い解像度の１つのバージョンとから成り得る。この場合、前の変位成分を求めるステップが、より低い解像度のバージョンについてオプティカルフロー目的関数を最小化することを含み、残差変位成分を求めるステップが、より高い解像度のバージョンについてオプティカルフロー目的関数を最小化することを含む。

好ましくは、オプティカルフロー目的関数は、２つの画像について輝度変化拘束方程式（ＢＣＣＥ）のテーラー展開によって得られる第１の項を含む。

また、好ましくは、オプティカルフロー目的関数は、上記変位の空間成分の第２導関数がほぼゼロである条件を課することにより得られる第２の項を含む。

例えばステレオビジョンにおいて中間画像を合成するために本発明の技術を使用できる。

本発明はまた、２つの異なる位置から少なくとも２つの画像を撮影できる少なくとも１台のカメラ、好ましくは２台と、これら２つの画像を受信できると共に上述した方法により該画像を処理するよう構成された処理装置とを備えるステレオビジョンシステムにも関する。
以下、限定するものではないが、本発明の態様を示す添付の図面に関して本発明を説明する。

発明の詳細な説明
図１では、複数のカメラを有するビデオ・キャプチャー・システムを全体としてＳで示す。特に、システムＳは、同じ場面について異なる位置から撮影でき、かつそのようにして得られた画像間の密な視差場を求めることができる。

システムＳは、同じ場面について夫々のデジタル画像（又はフレーム）ＩＭ_１、ＩＭ_２を生成できる第１のカメラＴ_１及び第２のカメラＴ_２を備える。これら２台のカメラＴ_１、Ｔ_２は相互に平行に又は相互に傾斜して場面に方向付けることができる。

システムＳはまた、両カメラＴ_１、Ｔ_２に接続された処理装置ＰＵを更に備え、処理装置ＰＵは、下記に説明する方法により密な視差場を得るためにこれら２台のカメラＴ_１、Ｔ_２から受信したデジタル画像ＩＭ_１及びＩＭ_２を処理できる。また、本システムはカメラ校正モジュールＣＭ、好ましくはソフトウエアモジュールを備え、このモジュールは、処理装置ＰＵ内又は（図１の例のように）別の装置内に存在し、また本発明の方法により処理するのに用いられる校正データを処理装置ＰＵに提供できる。

ビデオ列においては、場面の特定の対象物又はカメラの移動に起因して連続的なフレームがしばしば異なるけれども、しばしば類似してもいる。この場合、前又は後の時間でのフレームに近づけるように、フレームを変形することができる。この事が動き推定技術のベースになっている。

この事は、同じ場面を示しかつ同時に撮影された一対のフレームに対しても有効である。２つのフレームが類似している条件は、２台のカメラが互いに十分近接して配置されること、及び２台のカメラが場面の同じ部分に向けられていることである。

同じビデオ列に属する後続フレームの場合を再度考慮に入れると、画像輝度変化についての周知の拘束方程式（「輝度変化拘束方程式」、ＢＣＣＥ）では、当該ビデオ列内の２つの連続的なフレーム（以下、ｇ_ｔ及びｇ_ｔ＋δｔで示す）が空間歪みに起因して異なっていることを仮定する。換言すれば、座標を下記のように変形できる「動き場」ｕ及びｖを識別することが可能である。

１台のカメラにより撮影された時間的に後続のフレームの代わりに、異なる位置に配置された２台のカメラから同時に得れたフレームについて、同じ式を使用できる。この場合、ＢＣＣＥはフレームｇ_１、ｇ_２を参照し、次式のようになる。

この場合、動き場を「視差場」ともいう。ＢＣＣＥによると、２つのフレーム間の変化は、あたかも開始フレームｇ_１が変形可能な弾性布上に付けられているかのように生じる。したがって、画像要素が現れたり消えたりすることも、予想される変化を照らすことも考慮されていない。したがって、ＢＣＣＥは絶対的な有効性を有してはいない近似である。それにも関わらず、これらの式はいくつかの視差推定技術の基本である。例えば、視差場ｕ及びｖが正方形又は長方形のエリア内で一定である場合は、ビデオコーディングの分野で広く用いられている技術である「ブロック・マッチング」のケースを有する。

ＢＣＣＥ方程式（１）のテーラー展開を線形化することにより、次式が得られる。
ここでｇ_ｘ、ｇ_ｙ、ｇ_ｔはそれぞれｘ、ｙ及びｔに関する偏導関数である。離散的な画像の実際的な場合には、隣接したピクセルにおける輝度差に基づいて偏導関数ｇ_ｘ、ｇ_ｙが計算される一方、時間導関数は差ｇ_ｔ＝ｇ_２−ｇ_１により近似し得る。

フレームのすべてのピクセルについて式（３）が定められる。例えばそれを構成する個々の列を垂直に積み重ねることによって、フレームピクセルのセットを列ベクトルに整えることができる。このようにして、式（３）のセットをマトリックス形式にて整え、偏導関数
及び未知の視差場値
を列ベクトルに配置できる。よって、線形ＢＣＣＥ項の式は次式のようになる。

この式では、演算子ｄｉａｇ（ ）がベクトル（フレーム）を、対角線上にベクトル要素（フレームピクセル）を有するマトリックスに変換する。別のマトリックス要素はゼロに等しい。

簡単のため、２つの対角線を含んだマトリックスが記号Ｇにより示されるならば、次式が得られる。
この解は、次式
で表されるノルムを最小にする視差場
である。

式（６）で表される問題は、劣決定であり、従来の対応策は、視差場ｕ及びｖがほぼゼロの第２導関数を有するという条件を課することによって正則化を行なうことである。そのために、次の式が加えられる。
ここでｕ_ｘ２、ｕ_ｙ２、ｖ_ｘ２、ｖ_ｙ２は２つの視差場の第２空間導関数を示す。これらの第２導関数は、下記のようにそれらを実現（又は近似）するマトリックスとして表すことができる。

ここでも簡単のため下記の置き換え：
を行なうと、ほぼゼロの第２導関数の基準（７）が次式で表される。

式（８）の解は下記の条件を満たす。

式（９）により表された基準は、その総和をとることによって、（ＢＣＣＥから得られた）式（６）により表された基準と結合させることができる。演算子Ｈに係数λ（正則化係数という）を乗じることで、式（６）中の項に対する相対的な重要度を式（９）中の項に関連付けることができる。このようにして、視差場が下記の式の解として与えられる。

式（１０）において最小化される関数はオプティカルフロー目的関数である。

パラメータλは予め決めておかなければならないことに留意すべきである。このために、いくつかの発見的方法がある。簡単な方法は、いくつかのテストにおいて値を変えて、良好な結果を確保しかつ一意的な解を保証する値のセットを決定することからなる。このことは、パラメータλの変化に対する解の安定性ゆえに可能となる。

式（１０）の解は、式（６）及び（９）をオプティカルフロー系に整えることによって得られる線形連立方程式を解くことにより見いだすことができる。

この系は優決定の系であり、一般には最小二乗近似により解くことができる。解は次式により与えられる。

２台のカメラによる同じ場面の撮影を考慮することにより、そのようにして撮影されたフレーム間の関係がエピポーラ幾何により表される。両画面内で見ることのできるすべての場面要素が、簡単な式を満たす位置にて２つのフレーム内に投影される。この式の係数は、３ｘ３要素からなるいわゆる基本マトリックスＦ中に含まれる。基本マトリックスは、ビジョンシステムを記述するパラメータ（すなわちカメラの特性及び位置）を考慮し、エピポーラ幾何について同じ場面に関係した２つの画像間に存在する関係を記述する。これはカメラ校正プロセスにより計算できる。場面の同じ要素が、同種の座標に表し得る２つのピクセルにおいてフレーム上に次のように投影される。
この座標は次式を満たさなければならない。

したがって、２つのフレームのうち第１のフレーム内のピクセルｍ_１を考えると、第２のフレーム内のピクセルｍ_２は、係数が積Ｆｍ_１により決められる直線上に存在しなければならない。対称的に、第２のフレーム内のピクセルｍ_２を考えると、ピクセルｍ_１は積ｍ_２ ^ＴＦに含まれる係数を有した線上に存在しなければならない。これらの線はエピポーラと称され、上記関係はエピポーラ幾何の表現であり、基本マトリックスＦにより完全に表される。

後に説明する技術により、エピポーラ幾何を利用して、同じ場面の２つの画面間に存在する差を記述する視差場を計算でき、それにより得ることのできる正確さを改善できる。しかしながら、基本マトリックスは推定誤差の影響を受け得るので、その中に含まれる情報を絶対的な拘束として用いるのは正しくないかもしれず、したがって本発明の技術では、このようにして表されたエピポーラ幾何からの逸脱に対して費用を関連付けて、相対的な方法で基本マトリックスを用いる。

特に、本発明により、エピポーラ情報から費用項を得ることができる。この項は（式（１０）中に表された）他の従来のオプティカルフロー項と結合されることで、目的関数を修正する。すべての項の影響は正則化係数によって設定できるので、基本マトリックスに関連付けられる相対値の要件は満たされる。

実際には、本発明の技術により、このような逸脱を禁止することなく、エピポーラ幾何からの逸脱に対してペナルティを与えることができる。この目的のため、直線からピクセルまでの距離の式を考慮する必要がある。直線は下記のベクトルによりパラメータ化し得る。
直線上の任意のポイントｗ＝［ｘ ｙ ｌ］^Ｔが次式を満たす。
したがって、直線は下記のセットから構成される。

直線から一般ポイントｗ＝［ｘ’ ｙ’ ｌ］^Ｔまでの距離は、
に等しい。

既に述べたように、視差推定により、２つのフレーム中のポイント間の対応を見いだすことができる。従来のオプティカルフロー式では、２つのポイントの直ぐ隣の近傍を比較し、視差場を滑らかに保つために、容易に最小化し得る基準が与えられる。エピポーラ幾何は、オプティカルフロー目的関数への補足として追加し得る追加情報を供給する。

一般には、同種の座標ｚ_２＝［ｘ_２ ｙ_２ ｌ］^Ｔを有するすべてのピクセルは、目的関数を最も満足する第１のフレーム中のピクセル（又はより一般にはポイント）ｚ_１＝［ｘ_１ ｙ_１ ｌ］^Ｔに関連付けられなければならない。このような関連付けは、視差ベクトルｄ＝ｚ_２−ｚ_１を意味し、その２つの成分はｕ及びｖである。ここでの主な関心事は、ピクセルｚ_２に関連付けられたエピポーラ線からピクセルｚ_１までの距離であり、ｚ_１＝ｚ_２−ｄで表される。

ｚ_１を含んだフレーム内のエピポーラ線を表す係数は下記の通りである。

式（１６）を考慮すると、エピポーラ線からスポットまでの距離ｚ_２−ｄは次式により表すことができる。
ここで
は開始ポイントであり、
は視差ベクトルであり、
はエピポーラ線の係数である。

ｚ_２−ｄとエピポーラ線との距離をエピポーラ誤差をいう。

オプティカルフロー式中の正則化項にエピポーラ誤差を挿入するためには、すべてのピクセルにおける誤差を視差場の線形関数として表す必要がある。式（１７）中のすべての変数が座標ｘ、ｙの関数であることを考慮すると、次式が得られる。

オプティカルフロー式について既に行なったように、視差場ｕ、ｖを列ベクトルに整えることができる。同じようにして残りの係数を下記のように整えることができる。

ここで、すべての要素は一意的な座標対ｘ、ｙを有するピクセルに対応している。

このようにして、すべてのピクセルについてエピポーラ誤差を含んだベクトルは次式のようになる。

２つの対角線のマトリックスを、
とすると、式（１９）の右辺は次式のように書き直すことができる。

このベクトルのノルムが、視差場を適用することにより得られるエピポーラ誤差の尺度を与える。本発明では、このノルムの２乗が式（１０）により表されたオプティカルフロー目的関数に加えられ、次式が得られる。

係数μが目的関数におけるエピポーラ誤差の相対重みを決定する。もう一方の正則化係数λの場合と同様に、μもまた予め設定される必要がある。この係数は、これも基本マトリックスに割り当てられた信頼度に基づいて発見的に決定できる。新たに導入された総和の第３項は、関連ポイントとエピポーラ線との距離の２乗に比例しており、よってこの距離と共に単調増加する。

最小化の問題を解決するために、係数が下記の系に整えられる。
というのは、ノルム
が式（２０）において最小化された目的関数と同一であるからである。本発明により修正されたオプティカルフロー式の解（最良近似）は次式により与えられる。

オプティカルフローが用いられ且つエピポーラ幾何についての情報が利用可能であるどんな場合にも、上記修正されたオプティカルフロー技術を適用できる。したがって、例えば「オプティカルフロー初期化」、「反復計算解法」及び「マルチ解像度」として公知のプロセスなど、オプティカルフローにより得ることのできる結果を改善することを狙ったプロセスにおいても、本発明の技術を使用できる。

リストアップしたすべてのプロセスにおいて、前の解（実際には改善する必要のある視差場である）から開始してオプティカルフローが適用される。

初期化の場合、オプティカルフローとは異なる方法により生成された視差場を利用する。例えば本出願人の特許出願０５ＷＯ−ＩＢ００３５９８に開示されているように、公知の方法のうち、疎な視差場を求める方法、すなわち特徴ポイントの特定及びフレーム間でのそれらのトラッキングが用いられる。トラッキングされたポイントの移動から補間により、密な場、すなわちすべてのピクセルに対して定められた場を構築できる。このような場は最適な視差の粗い近似であり、オプティカルフローにより求められていない視差の偏位を低減できる。したがって、最終的な視差場を得るために、オプティカルフローがこのような密な場により初期化される。

反復計算解法の場合、オプティカルフローにより生成された視差場が後続のオプティカルフロー適用の初期化場として用いられる。中断基準が満たされるまで、例えば最後の繰り返しで決定された増分の場が所与の閾値より低いエネルギーを有する場合に、このプロセスを何回も繰り返すことができる。

最後に、マルチ解像度の場合、例えば本出願人の特許出願０５ＷＯ−ＩＢ００２９２０に開示されているように、最小サイズから開始してフレームの減縮バージョンにオプティカルフローが階層的に適用される。１つの解像度にて推定された視差場が、より高い解像度で計算を初期化するために適切にスケールアップされ適用される。

上述した３つの場合の各々において、結果として得られる場は２つの場の和として表すことができる。第１の項は前に決定された場であり、第２の項は計算する必要のある残差である。換言すれば、（第２の画像の）すべてのピクセルについて、上記３つの技術の１つにより得られた前の視差成分と、式（２２）に記載のオプティカルフロー目的関数を最小化することにより得られた残差視差成分とが存在する。しかしながら、後に説明する修正により適切に適合させ得る。

前に求められた場は、
により示すことができる。オプティカルフローにより計算される残差は、
により示すことができる。よって、結果はそれらの和として次のように表すことができる。

このように分解された視差場をエピポーラ誤差の式（１７）に挿入することにより、個々のピクセルについて次式が得られる。

これは、ベクトル
の修正とベクトル
の修正を意味する。前者は、
となり、後者は、フレームｇ_２と開始フレームｇ_１との差からなり、前に求められた場
を適用し画像変形演算子Ｍ
を使用することにより修正されて、
となる。
演算子Ｍは、座標（ｘ−ｕ（ｘ，ｙ），ｙ−ｖ（ｘ，ｙ））がフレームの外部に存在すべきピクセルについて適当な規則を用いることにより、双一次補間、双三次補間又は他の補間により実現し得る。この場合、例えば、この演算子は、特定の座標に最も近くかつ画像に属しているピクセルの色を提供できる。

したがって、目的関数の最小化により次の残差
が生成される。

マルチ解像度の計算の場合、基本マトリックスを異なる画像サイズに適合させる更なる必要性がある。倍率ｓによりサイズを変える場合には、基本マトリックスを次のように修正しなければならない。
したがって、正則化項において用いられる係数ａ、ｂ、ｃが修正される。

以下で、視差場を計算するステップ列を、図２のフローチャートを参照してまとめる。本発明の修正されたオプティカルフロー技術が異なる技術又は繰り返される同じオプティカルフロー技術により得られた前の解に適用されるという、新たに説明する一般的な場合を考慮に入れる（修正オプティカルフロー技術の個々の適用は、ゼロの視差場の初期化と一致するので、このような一般的な技術の取るに足りない場合である）。

このプロセスは、カメラＴ_１及びＴ_２により２つの同時フレームｇ_１及びｇ_２を取得し、カメラＴ_１及びＴ_２の校正パラメータに基づいて基本マトリックスＦを計算し、前の視差場
を決定（又は取得）することによって開始する（ステップ１００）。

校正パラメータ（焦点距離及び投影中心などの固有のパラメータ、及び回転−並進マトリックスなどの付随的なパラメータ）は、カメラＴ_１、Ｔ_２の校正プロセスにおいて予め計算される。

次に、場
及び演算子Ｍを適用することにより、開始フレームｇ_１の変形が決定される（ステップ２００）。

次に、本プロセスでは式（２６）に従って残差視差場
の計算が行われる（ステップ３００）。

次に、前の視差場と残差視差場の２つの成分が合計され（ステップ４００）、全視差場
を出力として得る（ステップ５００）。

２台のカメラと、本発明に記載のプロセスを構成するブロックとを含んだビデオ・キャプチャー・システムを概略的に示す。 本発明の方法により視差場を得るために実行される処理フローを概略的に示す。

符号の説明

Ｔ_１ 第１のカメラ
Ｔ_２ 第２のカメラ
ＩＭ_１ デジタル画像
ＩＭ_２ デジタル画像
ＣＭ カメラ校正モジュール
ＰＵ 処理装置

Claims (12)

1. デジタル画像間の密な視差場を求める方法であって、
   ・同じ場面の第１の画像及び第２の画像を前記同じ場面に関係した２つの異なる位置から取り込むステップ；
   ・第２の画像の各ピクセルについて、第１の画像中のポイントから、オプティカルフロー目的関数を最小化する第２の画像の前記ピクセルまでの視差を求めるステップ；
   を含み、オプティカルフロー目的関数は、第２の画像の前記ピクセルの各々について、前記ピクセルに関連付けられたエピポーラ線と第１の画像の前記ポイントとの間の距離に単調増加的に依存した項を含むことを特徴とする方法。
2. 前記第１の画像及び第２の画像は第１のカメラ及び第２のカメラによりそれぞれ取り込み、前記項が前記第１のカメラ及び第２のカメラの校正パラメータに依存する、請求項１に記載の方法。
3. カメラ校正データの不確かさに依存して前記項を重み付けする請求項２に記載の方法。
4. 前記項が、前記ピクセルに関連付けられたエピポーラ線と第１の画像の前記ポイントとの間の距離の２乗に比例している請求項１〜３のいずれか一項に記載の方法。
5. オプティカルフロー目的関数を最小化する前記視差が残差視差成分を表し、前記方法が前記残差視差成分を求める前に、前記残差成分が追加される前の視差成分を求めるステップを含む、請求項１〜４のいずれか一項に記載の方法。
6. 前記前の視差成分を求めるステップが、
   − 第１の画像上の特徴ポイントを識別するステップ；
   − 前記特徴ポイントについて第２の画像上への変位を求めるステップ；
   − 前記特徴ポイントについて第２の画像上への変位を補間するステップ；
   を含む請求項５に記載の方法。
7. 前記前の視差成分を求めるステップが、少なくとも１回前記オプティカルフロー目的関数を最小化することを含む請求項５に記載の方法。
8. 前記第１の画像及び第２の画像が、より低い解像度の少なくとも１つのバージョンと、より高い解像度の１つのバージョンとからなり、前記前の視差成分を求めるステップが、前記より低い解像度のバージョンについて前記オプティカルフロー目的関数を最小化することを含み、前記残差視差成分を求めるステップが、前記より高い解像度のバージョンについて前記オプティカルフロー目的関数を最小化することを含む、請求項５に記載の方法。
9. オプティカルフロー目的関数が、輝度変化拘束式（ＢＣＣＥ）のテーラー展開により得られた第１の項を含む請求項１〜８のいずれか一項に記載の方法。
10. オプティカルフロー目的関数が、前記視差の空間成分の第２導関数がほぼゼロである条件を課すことによって得られた第２の項を含む請求項１〜９のいずれか一項に記載の方法。
11. 同じ場面について２つの異なる位置から少なくとも２つの画像を撮影できる少なくとも１台のカメラと、これら２つの画像を受信できると共に請求項１〜１０のいずれか一項に記載の方法により前記画像を処理するよう構成された処理装置とを備えたステレオビジョンシステム。
12. 異なる位置に配置された２台のカメラを備えた請求項１１に記載のシステム。