JP2001521650A

JP2001521650A - 点対のパララックス幾何学を使用する３次元シーン処理の方法及び装置

Info

Publication number: JP2001521650A
Application number: JP53295297A
Authority: JP
Inventors: イラニ，マイケル; アナンダン，パーマナバン
Original assignee: サーノフコーポレイション
Priority date: 1996-02-12
Filing date: 1997-02-12
Publication date: 2001-11-06
Also published as: KR20000064528A; EP0880675A1; WO1997035161A1; EP0880675A4; DE69722378T2; DE69722378D1; US6192145B1; EP0880675B1

Abstract

(57)【要約】３次元シーンを表す多重画像フレームにわたる点対の面像運動間の幾何学的関係を処理する方法及び装置。この関係は、任意の平らの表面に対する点のパララックス運動に基づき、エピポール幾何学を含まない。その画像座標及びそのパララックス変位だけに基づいた制約は、（平面に対する）その投影構造に関する任意の点対（５０６）に対する二つのフレーム（５０４）にわたり得られる。同様に、多重フレームにわたる点対間の３次元剛性制約が得られる。これらのパララックスベース制約に対して開示された応用は、３次元シーン構造の再生（５１２）と、カメラで誘導された運動がある場合の移動物体の検出（５１０）と、所与のビューセットに基づいた新しいカメラビューの合成とを含んでいる。更に、この方式は、３次元シーン解析に対する困難な状況、例えば、少数のパララックスベクトルセットだけがある場合、及び別々に移動する物体がある場合、を取り扱うことができる。

Description

【発明の詳細な説明】点対のパララックス幾何学を使用する３次元シーン処理の方法及び装置発明の分野本発明は、一般に画像処理システム、より詳細には３次元シーン内の点対のパララックス幾何学を処理する方法及び装置に関するものである。発明の背景画像シーケンスからの３次元シーン解析は多数の目的を有する。これらの目的は、次のものを含むが、これに限定されない。即ち、（ｉ）３次元シーン構造の再生、（ｉｉ）カメラで誘起される運動がある場合の移動物体の検出、及び(ｉｉｉ）所与のビューセットに基づいた新しいカメラビューの合成。これらの種類の問題の伝統的な取り組み方は、フレーム対の間のエピポール幾何学を再生し、それからこの情報を適用し、上記の目的を達成する。しかしながら、この取り組み方はエピポール幾何学の再生に関連する障害で悩まされる。３次元シーン解析の最近の研究方法は、運動を平面のホモグラフィ及び残留パララックスの組み合わせに分解することによってエピポール幾何学を再生する際の困難の幾つかを解決しようと試みた。残留パララックス運動は、投影構造及びカメラ系間の平行移動によって決まる。これらの方法はカメラの回転を推定する際のあいまいさの幾つかを取り除くが、これらの方法は、多数の状況の下で困難である可能性があるエピポールそのものの明確な推定をなおも必要とする。特に、エピポールが画像の中心から著しく離れた所にあり、パララックスの運動ベクトルが互いにほとんど平行である場合、エピポール推定は不十分に条件付けられている。更に、少数のパララックスベクトルだけがあり、シーンが移動物体を含む場合、これらの物体はエピポール推定に誤って影響を及ぼす。一般に、多点幾何学の処理は、シーンが静止しており、形状推定のために選択された全ての点が単一の剛体にあることが知られている事実によるものであると仮定する。その最新の形式において、この種の方法は欠点を有し、例えば、これらの方法は、特に別々の移動物体による画像運動量が無視できない場合、ダイナミックシーンにおける形状再生の問題を扱わない。発明の概要本発明は、シーンを表す複数の２次元画像を受信し、複数の画像内部の点対のためのパララックス関連制約を計算し、複数の画像内部の所与の点がパララックス関連制約と一致するかどうかを表す情報を生成するために複数の画像内部の複数の点にパララックス関連制約を適用し、受信された複数の画像に関連する画像処理タスクのために生成情報を使用する画像処理のための技術を含むものである。図面の簡単な説明本発明の教示は、添付図面にとともに下記の詳細図面を考察することによって容易に理解することができる。図１は、３次元シーン解析システムのブロック図を示す。図２は、平面ホモグラフィ＋パララックス分解の幾何学的図を提供する。図３は、対状パララックス制約の幾何学的図を示している。図４は、エピポール推定が信頼できないが、相対構造制約はシーン内部の相対構造を再生するために確実に使用することができるシーンの幾何学的図を示している。図５は、パララックス制約を利用するルーチンの流れ図を示している。図６及び図７は、パララックス幾何学及びエピポールの双対の図を提供する。図８ａ〜図８ｇは、単一パララックスベクトルによる形状再生中に使用され、発生される一連の画像を示している。図９ａ〜図９ｂは、ボール及び木を使用したまばらなパララックス情報と一致しない３次元運動の信頼できる検出を示している。図１０ａ〜図１０ｆは、単一パララックスベクトルによる移動物体検出を示す一連の画像である。図１１ａ〜図１１ｆは、図１０ａ〜図１０ｆのような、単一パララックスベクトルによる一連の画像である。理解を容易にするために、同一の参照番号は、可能である場合、図に共通である同一要素を示すために使用されている。詳細な説明概要本発明は、いろいろな画像処理タスクにおいて、二つあるいはそれ以上の画像内部の二つあるいはそれ以上の点のパララックス変位間の幾何学的関係を使用する。本発明は、これらの関係を（ｉ）３次元シーン構造の再生、（ｉｉ）カメラで誘起される運動がある場合の移動物体の検出、及び（ｉｉｉ）所与のビューセットに基づいた新しいカメラビューの合成のようないろいろな画像処理タスクに応用する。本発明の重要な利点は、困難な画像処理の場合（例えば、少数のパララックスベクトルがある場合、エピポール推定が不十分な条件付けがされ、移動物体がある場合）効果的に作動できる能力である。本発明は処理中エピポールの再生を必要としない。従って、本発明はエピポールの正確な再生が困難である場合に応用する。更に、少数のパララックスベクトルセットだけが使用可能である場合、３次元シーン解析のための本技術が応用可能である。実際、単一点の平面パララックスは、全シーンの構造を再生し、他の点が静止シーンあるいは移動物体にあるかどうかを決定する基準として使用することができる。ここに示されている結果は、平面ホモグラフィを取り消した後の点の残留パララックス変位によって示される。画像運動をホモグラフィ＋パララックスに分解することは、回転＋平行移動に分解するよりもより頑丈で、より一層一般的であるように示されている。画像対から平面ホモグラフィを推定する技術は、ここに参照により組み込まれる、J.R.Bergen，P.Anandan，K,J.Hanna，及びR.Hingoran i著の“階層モデル方式の運動推定(Hierarchical model-based motion estlim a tion)”(European Conference on Computer Vision，pages237-252,Santa Marga rita Ligure，May 1992)に記載されている。本発明では、二つの点の投影構造をその画像位置及びそのパララックス変位に関連付けるパララックスベース構造制約が得られる。三つのフレーム間の点対の相対投影構造を取り除くことによって、これらのフレームにわたって剛性物体として移動する二つの点のパララックス変位に対するパララックスベース剛性制約と呼ばれる制約が得られる。パララックスベース剛性制約を得るための他の方法も下記に示されている。代替の導出において、制約は代数的よりもむしろ幾何学的に決定される。そのようにすることは、マルチフレーム剛性制約の簡単で直観的な幾何学的説明及びエピポールに対する双対の導出をもたらす。これらのパララックスベース制約を３次元シーン解析で三つの重要な問題を解決することに応用する例も示されている。この応用は、（ｉ）３次元シーン構造の再生、（ｉｉ）カメラで誘起される運動がある場合の移動物体の検出、及び（ｉｉｉ）所与のビューセットに基づいた新しいカメラビューの合成を含んでいる。最後に、平面ホモグラフィ成分を含むことによる全画像運動の制約の普遍化が示されている。例示的な実施例図を参照すると、図１は、本発明を実施するのに適している３次元シーン解析システム１００のブロック図を示す。このシステムは、画像供給源１０２と、コンピュータシステム１０４と、１つあるいはそれ以上の装置１０６と、１つあるいはそれ以上の入力装置１０８とを含んでいる。画像供給源１０２は、ビデオカメラ、赤外線カメラ、あるいはシーンを示す一連の２次元画像を生成するある他のセンサであってもよい。代替的に、画像供給源は、シーンを示す逐次画像を記憶するビデオテープレコーダのような記憶装置、ディスク駆動装置あるいは他の手段であってもよい。このシステムは一般にデジタル画像を処理する。従って、画像供給源がアナログ画像を発生する場合、ディジタイザ（図示せず）は画像供給源とコンピュータシステムとの間で使用される。汎用コンピュータ１０４は、画像処理、シーン解析及び面像ディスプレイを容易にする。特に、コンピュータシステムは、データバッファ１１０と、中央処理装置（ＣＰＵ）１１２と、サポート回路１１４と、ランダムアクセスメモリ（ＲＡＭ）１１６と、読み出し専用メモリ（ＲＯＭ）１１８と、ディスプレイドライバ１２０とを含んでいる。更に、ユーザは、キーボード、マウス、トラックボール、タッチパッド等の１つあるいはそれ以上の入力装置１０８によってコンピュータシステムと対話する。更に、コンピュータシステムは、コンピュータモニタのような出力ディスプレイ装置１０６上に画像及びいろいろなグラフィックインタフェースディスプレイ（スクリーン）を表示する。代替的に、コンピュータシステムは、プリンタのような他の出力ディスプレイ装置とも対話し、コンピュータモニタ上に表示される任意のディスプレイの“ハードコピー”を提供する。データバッファ１１０は、画像供給源とＣＰＵとの間にデータ速度等化（フレームバッファリング）を提供する。典型的には、このバッファはファーストイン・ファーストアウト（ＦＩＦＯ）バッファである。このようなバッファは一般的には一定のデータ速度を提供すると同時に画像供給源によって生成することができるデータ速度の汎用性を提供するために使用される。ＣＰＵは、典型的にはパワーＰＣ、ペンティアム、あるいは他の通常使用可能なプロセッサのような汎用プロセッサである。パワーＰＣはニューヨーク州のアーモンク市のＩＢＭの登録商標であり、ペンティアムはカリフォルニア州のサンタクララ市のインテル社の登録商標である。本発明のソフトウェアインプリメンテーションは任意の特定のプロセッサで実行する必要がなく、本発明のルーチンは、任意の種類のプロセッサあるいは並列処理コンピュータ環境におけるプロセッサの組み合わせで実行できる。更に、汎用コンピュータを使用するよりもむしろ、シーン解析は実時間画像プロセッサ内部で行うことができる。ＣＰＵ１１２は、ＲＡＭ１１６、ＲＯＭ１１８及びコプロセッサ、クロック回路、キャッシュ、電源回路及び他の周知回路のようなサポート回路１１４のようないろいろな他の回路とともに作動する。これらの様々なコンピュータの操作及び関係は当分野で周知であり、更なる説明は不要である。ディスプレイドライバ１２０は、出力装置１０６によって必要されるビデオカードプリンタドライバあるいは他の共通ドライバソフトウェアあるいはハードウェアであってもよい。ＲＡＭ１１６は、本発明のソフトウェアインプリメンテーションを記憶する。典型的には、本発明のルーチンは大容量記憶装置（図示せず）に記憶され、ＣＰＵ１１２によって実行される場合、ＲＡＭ１１６に一時記憶するために読み出される。図１において、本発明は３次元シーン解析ルーチン１２２において具体化される。点対のパララックスベース制約ビデオカメラによって画像を形成されるような３次元シーンを示す二つの画像フレーム間の点対のパララックス運動の制約が下記に記載されている。得られた制約は、いかなる追加情報もなしに、特にカメラエピポールの再生を必要としないで、そのパララックスベクトルだけから２点の不変の相対３次元構造を再生するために使用できる。パララックス制約は、任意の画像点対の剛性制約（三つの線の制約と同様である）を形成するために多重フレームに拡大される。即ち、独立して移動する３次元物体がある二つの点の３次元運動の不一致は、任意の３次元情報を推定する必要なしに三つ（あるいはそれより多く）のフレームの中のそのパララックス変位に基づいて検出することができる。パララックス制約を得るために、最初に、画像運動をホモグラフィ（即ち任意の平面の画像運動）及び残留パララックス変位に分解することが記載されている。この分解は当該技術分野で周知である。１．平面パララックス表記方法像平面上に投影されるようなシーン点の対応する座標をそれぞれ示すものとする。ものとする。Ｓは任意の平らの表面であり、Ａ’は、第２のフレームと第１フレームとの間に平らの表面Ｓを整列させるホモグラフィであるとする（即ち、全ての点に対しることができることを示し得る。は、第１フレームの座標系に示されるような二つのフレーム間の３次元平行移動であり、ｄ_Nは平らの表面ＳからのＰの距離であり、ｄは第２のカメラ中心からの平面までの距離である。ある。る。式（１）を画像変位の形式に再記述することによって、同次座標において下記が、２次元画像座標において、下記がス２次元運動を示している。同様に、Ｔ_Z＝０である場合（式（２））下記のようになる。式（４）及び（５）は紙の残りに使用されるパララックス表記法の形式を提供する。これらは２次元画像座標によって示されることに注目されたい。Ｔ_Z＝０およびＴ_Z≠０に対して別々にパララックス表記方法を得たが、これらは統合され、下記の節で単一のケースとして取り扱われる。２．パララックスベース構造制約とによって始める。式（４）から、下記が得られる。とすると、下記となる。従って、である。を得る。す。ある。従って、二つの点のピクセル座標及びパララックスベクトルによって下記のように再記述できる。式（１０）は、二つの点の構造パラメータ（ｇ１およびｇ２）の制約をその画像（ピクセル）座標及びそのパラメータベクトルだけを使用して提供する。ｇ１およびｇ２は第２のビューに依存する。しかしながら、そのパララックスよって下記のように再記述することができる。Ｔ_Z＝０である場合、式（１１）より強い制限が導出される式（１１）がなお成り立つ。二つの場合を区別するためにＴ_Zの事前の知識がないために、これは重要である。（１１）から次のように、あるいはより正確には下記のように、取り出すことができる。ある。ここでＡＣおよびＡＢは図３で規定される。式（１２）の制約の利点は、一方の点が他方の点状に示されるのと同じ量の情報を使用して、エピポールの計算を遂行する必要なしに二つの点の位置及びパララックスベクトルから直接この情報を提供することにある。図４は、エピポールを推定することが信頼できないのに対して、相対構造を式（１２）から直接推定することが信頼性がある構成の例を示している。３．パララックスベース剛性制約この節では、いかにパララックスベース構造制約が構造パラメータもカメラの構造のどちらも含んでいない画像点対の剛性制約を形成するために多重フレームに拡大するかが記載されている。多重フレームにわたる剛性きる。任意の二つのフレームｊおよびｋに対する式（１２）の構造不変動制約を使用して、下記のものを得る。分母を掛けることによって三つのフレーム（基準フレーム、フレームｊ、及びフレームｋ）にわたる二つの点の剛性制約が下記のように得られる。パララックス運動軌跡の制約を示している。従って、式（１３）の剛性制約は、カメラ幾何学あるいは構造パラメータのいずれかを推定する必要がなく、フレームだけの間のそのパララックス運動に基づいて二つの画像点の３次元運動の不一致（即ち、二つの画像点が同じあるいは異なる３次元の移動物体がある３次元点の投影であるかどうかを示す）を検出するために適用することができる。多点にわたる剛性多重フレームにわたる点対を考察する代わりに、代替法は異なる形式の剛性制約を見つけるために二つのフレームにわたる多点を考察することにある。式（１２）の形状不変動制約を使用すると下記のようになる。等式を使用すると、下記のようになり、分母を掛けて、フレームの対にわたる三つの点に対する剛性制約を下記のように得る。剛性制約（１４）の利点は、剛性制約（１４）が二つの点が第３の点上に与えることができるのと同じ量の情報を使用して、エピポールの不安定な計算を遂行する必要がなく、三つの点からの位置及びパララックスベクトルから直接この情報を提供するということである。Ｂ．パララックス幾何学及びエピポールデュアルこの節において、パララックスベース剛性制約を得る異なる方法が記載されている。制約を代数的に得るよりもむしろ、他の導出は幾何学を使用する。これは、多重フレームの剛性制約の簡単で、直観的な幾何学的表示及びエピポールに対する双対点の導出をもたらす。この別個の画像点（エピポールデュアル）は示されるけれども、剛性制約そのものは、ちょうどエピポールそのものの推定を必要としないようにデュアルエピポールの推定を必要としない。図６は、二つのフレーム間の点対の平面パララックスに関連した３次元の幾何学的構造を示している。この図において、Ｓは平らな表面であり、ＰおよびＱは二つのシーン点である。図２の場合のように、Ｐ_wおよびＱ_wは、平面Ｓに対するＲは、平面Ｓに対するＰおよびＱを接続する直線の交点であるとする。点Ｐ、Ｑ、Ｒ、Ｐ_w、Ｑ_wは同じ平面にあることに注目されたい。従って、Ｐ_wおよびＱ_w ならびにＲは、同一直線上にある。もちろん、Ｐ、ＱおよびＲは制約により同一直線上にある。影であるので、次のことを推論できる。る。図７は、直線の集束を示している。この図を参照すると、直線ｑＣ、ｐＢおよびｒＡは互いに平行であり、直線ｑｐｒおよびＣＡＢを交差する。即ち、同様に、従って、これは式（１３）で得られた剛性制約と同じである。しかしながら、剛性制約そを必要としないことに注目されたい。複数のパララックスベクトルの交点、即ち、各画像点をフレーム対間のそのゆが対及び全ての他のフレームからの対応するゆがみ点対を接続する全ての直線の交点である。Ｃ．対状のパララックス幾何学の応用この節において、そのいろいろな形式におけるどんな対状のパララックス幾何学も、３次元シーン解析、特に、（ｉ）移動物体の検出、（ｉｉ）形状再生、（ｉｉｉ）新しいビュー発生における幾つかの周知の問題点を処理する研究の方法を提供する。パララックス制約は、最初に“より複雑な”問題を解決する必要がないこれらの問題点を解決する機能を提供する。図５は、式（１２）（あるいは等価的に式（１１））の形状制約および式（１３）及び（１４）の剛性制約を使用する３次元シーン解析を実行する処理の流れ図を示している。この処理は、ステップ５０２で始まり、ステップ５０４に進む実行可能なソフトウェアルーチン５００として示されている。ステップ５０４で、ルーチンには複数の入力画像が提供される。ステップ５０６で、ルーチンは、画れから、ステップ５０８で、ステップ５０６で決定された各運動軌跡に対して、式（１１）、（１２）、及び（１４）の制約の１つあるいはそれ以上は全ての他の点に対して適用される。ルーチン５００は、１つあるいはそれ以上の画像処理タスク内部でステップ５０８からの情報（即ち、制約と一致するような幾つかの画像点及び制約と一致しない幾つかの画像点を示す情報）を使用する。これらのタスクは、移動物体検出（ステップ５１０）、形状再生（ステップ５１２）、及び新しいビュー生成（ステップ５１４）を含むが、これに限定されない。本発明の技術のこれらの具体的な応用が後述される。１．平面パララックス運動の推定この節に示された実験を実行するために使用された平面パララックス運動の推定は、二つの連続する計算ステップ、即ち、（ｉ）検出平面パララックス運動を補償する２次元画像アライメント（即ち、２次元パラメトリック変換の形式のホモグラフィ）及び（ｉｉ）整列画像間の残留画像変位（即ち、パララックス）の推定を使用して行われた。このようなシステムは、１９９６年２月１２日に出願された米国仮特許出願第６０／０１１，４９６号（代理人事件番号第１２０４０号）に開示され、参照によりここに組み込まれる。２．形状再生パララックスベース構造制約（式（１２））は、そのパララックスベクトルから直接点対間の３次元相対構造を再生するために使用できる。これは、全シーンの構造が（非ゼロパララックスを有する）単一基準画像点に対して再生できることを意味する。制約（式（１２））の分母がゼロになる傾向がある場合、即ち、そのパララックスベクトルの方向に基準点を通過する直線上にある点に対して特異性が生じる。図８ａ〜図８ｇは、単一基準点に対して全シーンの構造を再生する例を示している。玩具の自動車および箱でカバーされたヘアーピースの携帯カメラで得られた三つのビューは、その高さが測定されたソースデータとして使用された。検出された２次元平面運動はヘアーピースの平面運動であった（図８ｄ）。非ゼロの平面パララックスを有する単一点は相対形状を推定する基準点として選択された（図８ｅ）。図８ｆは、二つのフレーム（図８ｂ及び図８ｃ）からの全シーンの再生相対画像を示している。画像境界に近い領域は無視された。得られた結果は、基準点のパララックスの方向に特異な直線に沿うことを除いてかなり正確であった。特異な直線は図８ｆで明らかである。特異性は取り除くことができ、計算構造の特性は、多重フレームを使用することあるいは複数の基準点を使用することのいずれかによって改善することができる。即ち、・多重フレーム：特異性は、そのエピポールが同一直線上にないならば、多重フレームを使用して取り除かれる。エピポールが同一直線上にないことは基準画像点のパララックス方向の変化によって検出することができる。・多点：特異性は、付加基準画像点を使用することによって取り除くことができる。付加基準点は、下記のように選択されるべきである。即ち、（ｉ）付加基準点は第１の基準点の特異な直線上にない（即ち、パララックスベクトルの方向に）（付加基準点は直線に垂直な直線上に選択されるべきことが好ましい）及び（ｉｉ）付加基準点は、若干のフレームにわたり式（１３）の剛性制約による第１基準点と一致して移動するように最初に検証されるべきである。多重フレームにわたる多基準点の組み合わせも使用できる。図８ｇは、図８ｆにおけるのと同じ単一基準点に対する三つのフレームからの全シーンの構造を再生する例を示している。図８ｆの特異な直線は見えなくなった。単一点に対してさえ比較的十分な構造情報を得る能力は、下記のいつくかの重要な長所を有する。・この能力はエピポールの推定を必要としないので、甚だしい情報を必要としない。・構造を再生する従来の技術と違って、この能力は、演鐸的に単一の３次元移動物体に属するものと知られている画像点の集合を有する必要がないようなダイナミックシーンを処理する能力を提供する。・この能力は単一パララックスベクトルによるので、この能力は、平面運動だけが存在すると仮定する２次元場合と、パララックスデータを有することによる３次元場合との間のギャップに埋めるために本来の連続的な方法を提供する。３．移動物体検出より簡単な２次元の場合において、多数の運動分析を処理するために多数の技術が存在し、その場合、別個の移動物体の運動が２次元パラメトリック変換によってモデル化される。しかし、移動物体は背景の平面部分とは異なる２次元画像運動を持つので、これらの方法は移動物体として平面のパララックス運動を伴うポイントを検出する。一般的な３次元の場合には、３次元運動の不一致の検出を必要とするので、移動物体検出問題はもっと複雑である。典型的に、これはエピポールの外形を回復することによって行われる。事前のセグメント化をせずに、多数の移動物体の存在下にエピポールの外形（つまり、カメラの動き）を評価しようとすることは非常に困難である。貧弱なパララックス情報しかない場合に、この問題はますます深刻になる。図９aは、幾つかの従来の技術によって提案されているように、エピポールドメインにおいてクラスター化技術を使用するときでさえも、多数の移動物体の存在下にエピポールを評価することが、比較的多数の誤差を生じさせ得る構成例をグラフで表示している。３次元運動における不一致を検出するためにエピポール計算方法に頼ると、このような場合における移動物体の検出に失敗する。図９aにおいて、カメラは右に移動している。純粋なパララックス運動を伴う唯一の静止物体は木のものである。ボールは別個に落下している。エピポールは eとして不正確に計算されるかもしれない。偽のエピポールeは両方の運動と一致する。カメラの外形または形状パラメータを評価する必要なしに、パララックス剛性制約（式１３）を適用して、多数の（三つまたはそれ以上の）フレームに関するそれらの「パララックス」ベクトルから直接的に、別の画像点に対する１つの画像点の３次元運動の不一致を検出することができる。これはパララックス情報が最小であり、別個の運動を無視できない、図９aのような場合でさえも、「パララックス」ベクトル（つまり、平面登録後の残差運動）を一貫して３次元の移動物体に属する一致グループにクラスター化（セグメント化）するために有用なメカニズムを提供する。図９bは、適用されたとき、式（１３）の剛性制約がどのようにして三つのフレームに関する３次元的不一致を検出するかをグラフで示している。図１０a〜fは式（１３）の剛性制約を使用して３次元的不一致を検出する例を示している。このシーケンスでは、カメラは動いて（左から右に移動して）おり、家や道路や道路標識に対する異なる大きさのパララックス運動を誘発している。車は別個に左から右に動いている。検出された２次元平面運動は家のものであった。平面パララックス運動は家に対する三つの画像の２次元登録後に計算された（図１０d）。道路標識上の１点が基準点として選択された（図１０e）。図１０fは選択された道路標識上の点に対する画像内の各々の点の不一致測定を表示している。明るい領域は、式（１３）の制約（つまり、道路標識の点に対して三つのフレームで検出された３次元剛性における歪曲）を適用したときの、大きな値を示す。道路標識の点に対して移動する３次元的不一致として検出された領域は、車に対応する。画像の境界に近い領域は無視された。画像の他の全ての領域は道路標識の点と共に移動する３次元一致として検出された。従って、未較正のカメラと仮定して、この方法は（２次元平面安定化の後）全ての非ゼロ残差運動ベクトルを、（３次元的な意味で）一致して移動するグループに分割するためのメカニズムを提供する。図１１a〜fは３次元不一致を検出するために、式（１３）の剛性制約を使用する別の例を示している。このシーケンスでは、カメラは左から右に飛ぶヘリコプターに装着され、家の屋根や木（画像の下部）の、及び（道路ぎわの）電柱の（異なる大きさの）幾つかのパララックス運動を誘発する。道路を３台の車が別個に移動する。検出された２次元平面運動は、地上表面のものであった（図１１d ）。基準点として木上の１点が選択された（図１１e）。図１１fは選択された基準点に対して、画像の各点の不一致測定を表示している。明るい領域は、三つのフレームで検出された３次元不一致を示している。３台の車は選択された木の点と一致せずに移動するものとして検出された。画像の境界に近い領域は無視された。他の全ての画像領域は、選択された木の点と一致して移動するものとして検出された。先行技術では、三つの線に囲まれたテンソルの形態の三つのフレーム間の剛性制約が、定期的な画像変位を使用して提示されてきた。しかし、それは１つの３次元移動物体に属するために、先験的事実（priori）として知られている一組の画像点のコレクションを持つことを必要とする。一致しない一組の点を選択することは、間違いの多いテンソルに導くことになり、従って偽の移動物体検出に導く。１つの点に対して３次元不一致を検出する本発明のパララックス剛性制約の能力は、２次元アルゴリズム（これは平面運動とは異なる２次元運動が別個の移動物体であると仮定する）と、３次元アルゴリズム（これは一致する一組の点に関する事前の知識、あるいはその代わりに緻密なパララックスデータを有することに依存する）間の橋渡しをする自然な方法を提供する。４．新規なビューの発生この節では、一組の「モデル」ビューを使用して新規なビューを発生させるための、パララックス剛性制約に基づくアプローチについて説明する。エピポールの外形回復に基づいて新しいビューを発生させる方法は、新しい２次元画像平面（虚像ビュー）上に再度情報を再投影するために、２次元情報のみに基づいて、つまり２次元媒体から３次元媒体にわたって調査せずに新しいビューを発生させる方法より、雑音に敏感であろう。新しいビュー発生のための後述するアプローチは、エピポールの外形もしくは形状評価を必要としない。二つの「モデル」フレームを仮定すれば、第１の（基準）フレームと第２のフレーム間の全ての画像点に対して、平面パララックス運動を計算することができる。非ゼロパララックスを持つ画像点が選択され、基準フレームから、発生すべき「虚像」フレームまでのその点に対する「虚像」パララックスベクトルが定義される。次に、剛性制約（式１３）が基準フレームから虚像フレームまでの他の全ての点の虚像パララックス運動に関して１つの制約を指定する。各々の２次元パララックスベクトルが二つの成分（つまり、二つの未知数）を持つので、他の全ての虚像パララックスベクトルを解くために、少なくとも二つの「虚像」パララックスベクトルを指定することが必要である。一旦虚像パララックスベクトルが計算されると、基準箇像を二度ワープさせることによって：まず、その計算された虚像パララックス分だけ各々の画像点をワープさせ、次に、虚像ホモグラフィに対する２次元虚像平面運動で全体のフレームを包括的にワープさせることによって、新しい虚像ビューを作成することができる。二つの虚像パララックスベクトルは一部の画像点に対しては十分な制約を提供しないかもしれないことに注意されたい。これは二つの選択された基準点とそれらのパララックスベクトルに対する、画像平面内のこれらの点の望ましくない位置のためである。しかし、個別の点の虚像パララックスを確実に抑制するための付加的な点として、抑制が強く信頼できる虚像パララックスを提供するのに十分である他の画像点を（一旦それらの虚像パララックスが計算された後）使用することができる。Ｄ．法則化されたパララックス制約本節では、ホモグラフィが未知である場合でも、（パララックス運動に対立するものとして）完全な画像運動を処理するために、対をなすパララックス制約（式１１、１２、１３、１４）をどのようにして拡張できるかについて説明する。これは物理的な平面を含まない場面を処理するのに有用である。未知のホモグラフィパラメーターと点対の相対的投影構造に関して、二つのフレーム間の法則化されたパララックス制約の形態を説明する。式（１）と式（２）は以下のように１つの形態に統合できる：フレームまでの未知のホモグラフィである。それはその場面のどの平面にも関連することができ、特に虚像面に関連することができる。重要なことは、構造を因数分解する前に、まず上記と同様の方法でエピポールを因数分解することである。等式（１６）は式の両側のベクトルが平行であることを必要とし、それは下記の式に導く：が明確に与えられる。法則化されたパララックス制約（１７）はホモグラフィＡ^'-、二つのフレーム内の一対の点の画像座標、及び２点の相対的投影構造の式で表される。法則化された制約はエピポールを含まない。法則化されたパララックス制約は、全般的な２次元画像運動の新らしい暗黙の表示を提案する。ホモグラフィ＋エピポール＋投影構造の式で２次元画像運動の表示を調べるより、むしろそれはホモグラフィ＋ペアの点の相対的投影構造の式で、２次元画像運動の暗黙の表示を提案する。この表示はエピポールを含まないので、多数のフレームに容易に拡張することができる。二つのフレーム内の２点の画像位置の式で明示して表すことができる：計算法は新しいカメラ位置に対して不変であるので、多数のフレーム（J及びk ）に関して因数分解できる：それはその形態の剛性制約に導く：式（１９）は三つのフレームの全域での一対の点に関する剛性制約である。先行技術の三つの線に囲まれたテンソルのように、それは三つのフレームの全域にわたる二つのホモグラフィのパラメータを必要とする。三つの線に囲まれたテンソルとは異なり、それはエピポールを含まないが、その代わりに点の対に関して表現される。三つの線に囲まれた制約は初期の基準点に基づいており、テンソルの未知数を制約するために、付加的な点が４つの直線的に別個の式（ホモグラフィのパラメータとエピポールの組み合わせである）を加える。法則化されたパララックス剛性制約では、基準は一対の点である。この場合にも、付加的な点が４つの直線的に別個の剛性制約を加える。これらは（まだ一対のフレーム内にある）付加的な３番目の点で等式（１６）からＴ_Zを因数分解することを通して引き出され、三つのフレームに関する４つの直線的に別個の式を形成することができる。本発明の教示を含む様々な態様を図示し詳細に説明してきたが、当業者であればこれらの教示を組み込む多くの他の変化した態様を容易に考案することができるであろう。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＣＡ，ＪＰ，ＫＲ，ＭＸ

Claims

【特許請求の範囲】１． a) シーンを表す複数の２次元画像を受信するステップと、 b) 前記複数の画像内の一対の点に対するパララックス関連の制約をコンピュータ計算するステップであって、前記パララックス関連の制約は一対の点に対して定めることができるエピポール幾何学とは独立したものであるステップと、 c) 前記複数の画像内の所与の点が前記パララックス関連の制約と整合性があるかどうかを表す情報を発生させるために前記複数の画像内の複数の点に対して前記パララックス関連の制約を適用するステップと、 d) 前記受信した複数の画像に関連した画像処理のタスクに対して前記発生させた情報を用いるステップと、を含む画像処理方法。２． a) シーンを表す複数の２次元画像を受信するステップと、 b) 前記複数の画像内の少なくとも一対の点に対するパララックス剛性の制約をコンピュータ計算するステップであって、前記パララックス剛性の制約は一対の点に対して定めることができるエピポール幾何学とは独立したものであるステップと、 c) 前記複数の画像内の所与の点が前記パララックスの制約と整合性があるかどうかを表す情報を発生させるために前記複数の画像内の複数の点に対して前記パララックス関連の制約を適用するステップと、 d) 前記発生させた情報を用いて、前記受信した複数の画像に関連した移動物体の検出を行うステップと、を含む移動物体を検出する画像処理方法。３．前記パララックス剛性の制約が、前記受信した複数の画像の内の三つから発生した一対の点のパララックスベクトルと一対の点の位置情報とから派生する、請求項２の方法。４．前記パララックス剛性の制約が、前記受信した複数の画像の内の二つから発生した少なくとも三つの点の位置情報と少なくとも三つの点のパララックスベクトルとから派生する、請求項２の方法。５．ステップ(c)が更に、 (c1) 前記複数の画像に対して２次元変換を行うステップであって、前記複数の画像の領域を整列し、前記複数の画像の誤整列になった領域を確認するステップと、 (c2) 前記確認された領域を分割して整列して分割領域を作成するステップととを含み、ステップ(d)が更に (d1) 残りの領域が残余の領域を前記複数の画像内で残余の動作として残りの領域を確認する基準を達成するまで、繰り返して分割された領域を整列しかつ分割するステップを含む、請求項２の方法。６．残りの領域によって達成される基準はパララックス剛性の制約との不整列性を含む、請求項５の方法。７．ステップ(b)が、 (b1) 前記複数の画像に対して２次元変換を行うステップであって、前記複数の画像の領域を整列し、前記複数の画像の誤整列となった領域を確認するステップを含み、ステップ(c)が、 (c1) 前記誤整列となった領域を分割するステップであって分割領域を生成するステップと、 (c2) 残りの誤整列の領域が、該残りの誤整列の領域を前記複数の画像内で残余の動作として残余の領域が確認される基準が達成されるまで、繰り返して誤整列の領域を整合しかつ分割するステップと、を含む、請求項２の方法。８． a) シーンを表す複数の２次元画像を受信するステップと、 b) 前記複数の画像内の一対の点に対するパララックス構造の制約をコンピュータ計算するステップとであって、前記パララックス構造の制約が一対の点に対して定めることができるエピポール幾何学とは独立したものであるステップと、 c) 前記複数の画像内の所与の点が前記パララックス構造の制約と整合性があるかどうかを表す情報を発生させるために前記複数の画像内の前記複数の点に対して前記パララックス構造の制約を適用するステップと、 d) 前記発生させた情報を用いて、前記受信した複数の画像に関連したシーン構造の回復を行うステップと、を含む、画像処理方法。９． a) シーンを表す複数の２次元画像を受信するステップと、 b) 前記複数の画像内の点の部分集合に対する平面のパララックス運動の軌道をコンピュータ計算するステップであって、前記部分集合点間の関係パララックス運動を表す情報を発生させ、前記平面のパララックス運動の軌道が点の部分集合に対して定めることができるエピポール幾何学とは独立したものであるステップと、 c) 非ゼロのパララックス運動を持った点の前記部分集合から少なくとも二つの点を選択するステップと、 d) 前記選択された点の各々に対してそれぞれの仮想パララックス運動ベクトルを定義するステップとであって、前記仮想パララックス運動ベクトルが仮想のシーンにおいては選択された点の夫々の位置を表しているステップと、 e) 前記定義されたパララックス運動ベクトルに関して前記複数の画像内の少なくとも点の部分集合に対してパララックス剛性の制約を適用するステップとであって、前記点の対象の各々に対してパララックス運動ベクトルを発生させるステップと、 f) 前記パララックス運動ベクトルを持った前記複数の画像でパララックス運動ベクトルにより各点をゆがめるステップであって、中間的仮想シーンを発生させるステップと、 g) 仮想シーンに相当する２次元仮想平面運動で中間的仮想シーンを球状にゆがめるステップとであって、仮想シーンを発生させるステップとを含む新規なビューを発生させる、画像処理方法。 10．前記パララックス剛性の制約が前記受信した複数の画像の内の三つから発生した少なくとも二つの点の位置情報と少なくとも二つの点のパララックスベクトルとから派生する、請求項９の方法。 11．前記パララックス剛性の制約が前記受信した複数の画像の内の二つから発生した少なくとも三つの点の位置情報と少なくとも三つの点のパララックスベクトルとから派生する、請求項９の方法。 12．シーンを表す２次元画像のソースと、２次元画像を処理するためのコンピュータ・プロセッサと、を含み、該コンピュータ・プロセッサが、 (a) シーンを表す複数の２次元画像を受信する手段と、 (b) 複数の画像内の所与の点がパララックス関連の制約と整合性があるかどうかを表す情報を発生させるために複数の画像内の複数の点に対してパララックス関連の制約を適用する手段であって、前記パララックス関連の制約が複数の点に対して定義され得るエピポール幾何学とは独立している手段と、 (c) 前記複数の画像内の所与の点がパララックス関連の制約と整合性があるかどうかを表す情報を発生させるために前記複数の画像内の複数の点に対してパララックスの制約を適用する手段と、 (d) 受信した複数の画像に関連する画像処理タスクのために、生成させた情報を用いて、それに関連した出力信号を発生させる手段と、 (e) 画像処理タスクの出力信号を出す出力装置と、を含む、画像を処理するための装置。 13．画像のソースがビデオカメラを含む、請求項12の装置。 14．一連の画像から複数の画像を選択する手段と、前記複数の画像にパララックスの制約をかけて前記複数の画像の領域を整合させ、また前記複数の画像の不整合になった領域を確認する手段と、前記不整合になった領域内でパララックスの動作を確認する手段と、不整合になった領域からパララックスの動作を除去する手段であってシーン内の移動物体を検出する手段と、を含む、シーンを表す一連の画像内の物体の動きを検出する装置。 15．前記パララックスの動作を除去する手段が、シーンの残存動作内でのパララックス発生した動作を確認するために、更にパララックスの動作の制約に関して整合性をもって動く画像コンポーネントを含む、請求項14の装置。 16．複数の命令をストアしたコンピュータ読み込み可能媒体であって、該複数の命令がプロセッサによって実行されると、プロセッサが、 a) シーンを表す複数の２次元画像をデジタル形式で受信するステップと、 b) 前記複数の画像内の一対の点に対するパララックス関連の制約をコンピュータ計算するステップとであって、前記パララックス関連の制約が前記一対の点に対して定義できるエピポーラ幾何学とは独立したステップと、 c) 前記複数の画像内の所与の点がパララックス関連の制約と整合性があるかどうかを表す情報を発生させるために前記複数の画像内の複数の点に対して前記パララックス関連の制約を適用するステップと、 d) 前記受信した複数の画像に関連する画像処理タスクのために生成させた情報を用いるステップとを行うコンピュータ読み取り可能媒体。 17．複数の命令をストアしたコンピュータ読み取り可能媒体であって、複数の命令がプロセッサによって実行されると、プロセッサが、 (a) 前記一連の画像から複数の画像を選択するステップと、 (b) 前記複数の画像に対して２次元変換を行い前記複数の画像の静止領域を整合させ、前記複数の画像の誤整合した領域を確認するステップと、 (c) 前記誤整合した領域内に残余の動作を決定するステップと、 (d) 前記残余の動作からパララックス動作を除去してシーン内で動体を検出するステップと、を行うコンピュータ読み取り可能媒体。