JP2004514228A - カイラル性のローバストな使用によるシーン復元およびカメラ較正 - Google Patents

Abstract

本発明は非較正画像から３次元シーンを復元することに関し、シーンの復元とカメラの較正に対するカイラル性の使用にローバストで系統的な戦略を提供する。特に、本発明は、一般的な射影復元を準アフィン復元にアップグレードするものである。本発明の考え方は、カメラに関するカイラル的な制約の数を、シーン内の点を選択方式で統計的に使用することにより推論することである。推論されたカイラル的な制約は、無限平面の位置に関する制約として働き、線形プログラミングを使用して仮の無限平面を決定することができる。この仮の無限平面に基づき、最初の射影復元をカメラに関する準アフィン復元（いわゆるＱＵＡＲＣ復元）に変換することができる。ＱＵＡＲＣ復元を元に自動較正の最適化を開始することが必要であり、またその結果大部分の自動較正アルゴリズムが収束するのに十分な条件が必要である。

Description

【０００１】
本発明の属する分野
本発明は、概して、コンピュータビジョンおよび画像処理に関し、さらに詳細には、複数の非較正画像から３次元シーンを復元することに関する。
【０００２】
本発明の背景
一連の非較正画像から３次元の物体またはシーンを復元することは、画像処理およびコンピュータビジョンの分野において現在最新のテーマである。シーンの復元技術が最近多大な興味を引いている理由として、１つにはシーン復元アプリケーションの急増が挙げられ、それに加えてデジタルカメラ、フィルムスキャナ、写真スキャナおよびその他デジタル化装置の広範な使用が上げられる。シーン復元アプリケーションの例には、３Ｄシーンおよび物体の復元、ロボットナビゲーションのためのシーン決定および物体の位置確認、３Ｄ　ＣＡＤモデルの自動構築ならびに仮想現実環境の生成、さらには動的シーンのリアルタイム３Ｄビューが含まれる。例えば、家の周りをカメラを持って一周し、異なる視点から取得した画像をコンピュータ化した３Ｄシーンビルダーに送り込むことにより、家をヴァーチャルな３Ｄに視覚化できる。
【０００３】
基本的な復元の問題を次のように定義することができる。１または複数のカメラにより複数の視点から取得した３次元のシーンまたは物体の一連の非較正画像に基づいて、シーンの一般的な３次元構造、ならびに各カメラの視点ごとのカメラの位置および方向を再生することが望ましい。単純化のために、たとえすべての画像を１台のカメラで取得する場合も、またコンピュータで画像を人工的に生成する場合も、科学的文献ではカメラの１つの位置および方向の組み合わせを多くの場合「カメラ」と称する。人工的に生成されたコンピュータ画像の場合、各画像のビユーは独自の位置および方向を有する１台の「想像上の」カメラに関連づけられる。
【０００４】
復元の問題を解決する典型的な方法では、まず非較正画像間の一致点に基づいていわゆる射影復元を行い、続いて射影復元を「通常の」ユークリッド復元に精緻化する。一連の非較正画像から始めるとき、画像の一致点、つまり画像内で特徴が一致する点に基づいて得られる最初の復元で通常最善なのが、射影復元である。射影復元とは、シーン点とカメラの構成であり、画像化される真のユークリッド構成とは離れた射影変換である。ユークリッドおよびいわゆるアフィン変換と同様に、未知の射影変換はシーン点とカメラの構成の移動、回転および歪曲が可能である。しかしながら、射影変換は無限平面を動かすこともできる。つまり平行性は通常維持されない。ユークリッド空間におけるシーンの復元を考えるために、未知の射影変換を決定しなければならない。実際には、未知の射影変換の決定は非常に難しく複雑な作業である。
【０００５】
先行技術では、カメラの視点に対し、すべてのカメラが同じ内在性較正を有する必要があるという制約を設けることにより、射影変換の決定を行おうと試みてきた。通常の射影変換により再射影された画像が変化することはないとはいえ、歪められて期待に沿わないものになる可能性がある。較正に課した制約により、ありそうな復元可能性のファミリの構成員の検索が容易になる。較正に制約を課すことによりそのような復元可能性を探す工程は、通常自動較正または自己較正と呼ばれ、例えば参考文献１に記載されている。自動較正の基本的理論を拡大し、例えば参考文献２および３に記載されているように、もっとゆるい条件の下、すなわち、カメラに歪みがない、またはピクセルが固定の、または周知のアスペクト比を有する、という最低限の条件下で、自動較正が可能であることが分かっている。これにより、ズームカメラを有するビデオシーケンスの自動較正の幅が広がる。
【０００６】
上記自動較正処理により非常に満足のゆく結果が得られる場合があるが、結果が思わしくないことも多く、完全な失敗につながることさえある。
【０００７】
自動較正の主要な障害の１つは、射影復元において真の無限平面を見つけることであることが分かっており、よって参考文献４ないし６には、いわゆるカイラル性を考慮することにより制約を追加することが提案されている。カイラル性の概念および理論の基本的な説明である参考文献５の定義によると、所定のカメラより前方にあるか後方にあるかを示す点の特性を、通常、カメラに対する点のカイラル性と称する。射影復元にカイラル性に関する制約を追加するためは、復元されるシーン点のすべてがそれらを画像化するカメラの前方に位置することが必要である。これは任意射影復元には当てはまらない。カイラル不均衡と表現されるカイラル性に関する制約を使用することにより、射影復元内のすべての点について、真の無限平面の検索範囲をかなり狭めることができる。これは、最初の射影復元を、所定のカイラル不均衡に基づくカメラとシーン点のいわゆる準アフィン復元に予備変換することにより、大部分が達成される。シーンの準アフィン復元とは、復元されたシーンが無限平面により分割されない射影復元である。
【０００８】
カイラル性に基づくシーン復元法の導入は、自動較正の分野に大きな進歩をもたらすが、収束および安定性の問題が残る。
【０００９】
本発明の概要
本発明は、従来技術による構成が持つ前述およびその他の欠点を克服するものである。
【００１０】
本発明の目的は、概して、デジタルまたはデジタル化された一連の非較正画像から３次元のユークリッドシーンの復元を速く正確に行うことである。
【００１１】
本発明の目的はまた、通常の射影復元を、その後ユークリッド復元に精緻化することが可能な準アフィン復元にアップグレードするための方法およびシステムを提供することを目的とする。特に、この通常の射影復元のアップグレードを行うのに、ローバストで信頼性があると同時に比較的速い方法を見つけることが重要である。
【００１２】
また、本発明の別の目的は、通常の射影復元をローバストで系統的に準アフィン復元にアップグレードするプログラム要素で構成されるコンピュータプログラムを提供することである。
【００１３】
前述および他の目的は、本明細書の請求項により定義される本発明により達成される。
【００１４】
本発明は、通常の射影復元を準アフィン復元にアップグレードするためのカイラル性に基づく従来の方法は不良な点の影響を受け易いという認識に基づいている。注意深く幾何学的配置を考慮することにより異常値を除去したとしても、数万のシーン点には不確定要素または意図せず配置された異常値により、不良な点が１または２残ってしまう。このような不良または不正確な点は、総じて、解決不可能であるか、無限平面に０ベクトルを返すか、または単に不正確な解決法を返すカイラル不均衡を導く場合がある。
【００１５】
要約すると、本発明は、従来の方法より信頼性の高い、シーンの復元とカメラの較正に対するカイラル性の使用にローバストで系統的な戦略を提供する。本発明の概念は、最初の射影シーン復元を変換して、カメラの射影中心および場合によっては最初の射影復元のシーン点の部分的サブセットのみに対して準アフィン変換となることが明確なシーン復元にすることである。
【００１６】
これに関し、総じて解決可能な１セットのカイラル不均衡を常に獲得することができるとは想定せず、むしろ、シーン点を合理的に使用することにより、カメラの射影中心（本明細書では単純にカメラと呼ぶ）に関する正確な不均衡を発見することができると想定する。これを行うのに鍵となる特徴は、カメラに対する複数のシーン点のカイラル性を考慮する選択方式でシーン点を統計的に使用することにより、カメラについて正確なカイラル不均衡を推論することである。推論されたカイラル不均衡は、無限平面の位置に関する制約として働き、カメラのカイラル不均衡を解消することにより、カメラの射影中心について準アフィン変換可能な、ＱＵＡＲＣ復元とも呼ばれる復元が通常可能になる。これは、カメラの射影中心の直交接線が無限平面により分割されないことを意味し、よって自動較正をうまく行うのに非常に強力な条件となる。
【００１７】
次に、得られたＱＵＡＲＣ復元を元に、ユークリッド復元へのアップグレードが対話式最適化手順により行われる。ＱＵＡＲＣ復元を元に対話式最適化を始めることは、大部分の自動較正アルゴリズムを収束させるために必要であることが分かっている。実際には、最適化された目的関数が物理的に有意味な量を表す場合、これは殆どの場合十分な条件となる。
【００１８】
本発明による方法は、大規模および小規模両方の復元において特に信頼性が高いことが分かった。ビュー間に回転が殆どないか、または全くないという一般的な縮退があっても、本発明による方法は、非常に論理的に解決法となる可能性のあるファミリの構成員を導き出すことができる。さらに、本発明による方法は速く、よって復元を観るという目的に適している。
【００１９】
カメラのカイラル不均衡を推論するための系統的な方法では、まずカメラの射影中心を個々のサブセットに分割する。次いで、各サブセットについて、サブセット内のカメラの射影中心のうち少なくとも２つに対する複数のシーン点のカイラル性に基づいた統計的多数決を行うことにより、無限平面の位置に対する制約を設ける。好適には、カメラの射影中心は２つを１セットとするセットに分割され、該カメラの中心のセット、ｃ（ｎ）、ｃ（ｎ＋１）（ｎ＝１からＮ−１、Ｎはカメラの射影中心の総数に等しい）それぞれに対して制約を推論する。
【００２０】
カメラだけのカイラル不均衡を推論するうえでの補足として、真の無限平面の検索範囲をさらに狭めることが可能である。これは、無限平面に複数の異なる仮説を考え、シーン点のカイラル性に基づく仮説を受け入れることによりなされる。このときすべてのシーン点について正確なカイラル性は必要でない。実際には、これは、満足されたカイラル不均衡の数が所定のしきい値を超える仮説を受け入れることを意味する。
【００２１】
本発明は次の利点を提供する：
−　迅速で正確なシーンの復元
−　カイラル性のローバストな使用（これにより自動較正中に安定した収束が与えられる）
−　計算の複雑性が比較的小さいこと
【００２２】
本発明により提供されるほかの利点は、後述する本発明の実施形態により明らかにする。
【００２３】
本発明の実施形態の詳細な説明
すべての図面について、対応する要素または同様の要素には同一の参照番号を付した。
【００２４】
本発明のよりよい理解のために、本発明を実行するのに適切なコンピュータシステムの概略的な説明から始めるのが有益である。
【００２５】
システムの概要
図１は本発明の実行に適したコンピュータシステムの例示的および概略的なブロック図である。コンピュータの形態は、パーソナルコンピュータ、メインフレームコンピュータ、マルチプロセッサシステム、マイクロプロセッサに基づくコンスーマエレクトロニクス、ネットワークＰＣ，携帯用デバイスなどを含め、任意の従来型コンピュータシステムでよい。いずれにせよ、基本的にコンピュータシステム１００は中央演算処理装置（ＣＰＵ）１０と、システムメモリ２０と、様々なシステム構成要素を相互接続するシステムバス３０とを備える。一般的にシステムメモリ２０は、基本的な入力／出力システム（ＢＩＯＳ）および同様のルーチンを有する読み取り専用メモリ（ＲＯＭ）２１と、ランダムアクセスメモリ（ＲＡＭ）２２を含む。さらに、通常コンピュータシステムは、ハードディスク、磁気ディスク、光ディスク、フロッピー（登録商標）ディスクまたはデジタルビデオディスクなどの１つ以上の周辺記憶装置４０を備え、持久記憶装置およびプログラム情報を提供する。各周辺記憶装置４０は、通常記憶装置４５ならびにドライブインターフェース４６に繋がり、記憶装置４０をシステムバス３０に接続している。複数のプログラムモジュール（一般的にオペレーティングシステムを含む）、１つ以上のアプリケーションプログラムおよびその他プログラムモジュールを周辺記憶装置４０に保存し、システムメモリ２０のＲＡＭ２２にロードしてＣＰＵ１０で実行することができる。一般的にコンピュータシステムは、キーボード、ポインティングデバイスまたは音声認識装置などのユーザインターフェース（図示しない）を有する。コンピュータシステムはまた、ビデオアダプタ５５などの適切なインターフェースを介してシステムバス３０に接続されたモニタ５０を備える。本発明に特に重要なものとして、一連の画像を提供できる画像装置６０がコンピュータシステムに接続されている。適切な画像装置の例としては、デジタルビデオカメラ、フィルムまたは写真スキャナまたはその他デジタル化装置、並びにフレームグラバなどが挙げられる。画像装置６０は、適切なインターフェース６５を介してシステムバス３０に接続されており、そのため画像データの伝送や、画像データを周辺記憶装置４０および／またはシステムメモリ２０に保存して、１つ以上のアクティブなプログラムモジュールの制御下でＣＰＵ１０により処理することが可能である。しかしながら、システムに直接接続されたカメラまたはディジタイザを必要とせずに、前述したいずれの周辺記憶装置からも画像データをコンピュータシステムに提供することができる。さらには、従来のネットワークインターフェース７５を介したローカルエリアネットワーク、インターネットまたはその他いかなる種類のネットワーク７０を通じて画像データをリモートコンピュータからダウウンロードすることができる。画像はカメラによる実写画像である必要はなく、人工的に創られたコンピュータ画像でもよいことに注意されたい。
【００２６】
上述で指摘したように、本発明は好適にはプログラムモジュール、ファンクションまたはそれらの相当物の形態のソフトウェアとして実行される。ソフトウェアは、Ｃ、Ｃ＋＋、ジャバまたは特定の独自に開発された言語など、任意のコンピュータ言語で書かれていてよい。実際には、後述する工程、機能および動作はコンピュータプログラムにマッピングされており、コンピュータで該プログラムを実行すると適切な画像データに応じてシーン復元が達成される。
【００２７】
当業者には自明であるように、本発明は図１のシステム構成に限定されない。実際には、適切である限りハードウェアとソフトウェアとのどのような組み合わせでも実行でき、カスタマイズした演算構造を使用するハードウェアだけで実行することもできる。
【００２８】
前述のように、シーン復元の基本的な問題は、シーンの異なるビューの一連の非較正画像に基づいてシーンまたは物体の全体的な３次元構造を復元することである。これは、一般的に、平行運動並びに回転運動を行うカメラの場合に対応する。また、各ビューについて、カメラの位置および方向を見つけることも必要である。
【００２９】
基本的な復元問題と本発明が提供する解決法の完全な理解に有益であるので、根本的なカメラのモデルについて簡単に説明する。
【００３０】
カメラのモデル
図２は、１画像面のカメラの射影中心ｃ、および３次元点ｘとカメラから見たそれに対応する画像点ｕを概略的に示している。複数のカメラに共通に使用されるモデルは、３次元射影空間から２次元射影空間への射影マッピングを使用する。射影マッピングは、カメラ行列と呼ばれる３×４の行列Ｐで表すことができ、３次元の点ｘを画像平面上の画像点ｕ（＝Ｐｘ）に移す。カメラ行列ＰはＰ＝Ｋ（Ｒ｜−Ｒｔ）に分解することができ、Ｐ＝ＫＲ（Ｉ｜−ｔ）とも表せる。ここで、Ｋはカメラの較正行列であり、Ｒは絶対座標フレームに対するカメラの方向を表す回転行列であり、ｔはカメラの位置を表す。較正行列Ｋは通常、以下の数式で定義される上方三角行列である。
【数４２】

ここで、ｋ_１ないしｋ_５は、次のように定義される内的なカメラのパラメータである：
ｋ_１は焦点距離に関する。
ｋ_２は歪みを示す。
ｋ_３およびｋ_５は主点の座標である。
ｋ_４はアスペクト比に関する。
【００３１】
射影復元
対応するカメラ行列Ｐ（ｎ）を有する（ｎは１からＮまでの整数）、Ｎ個のカメラの視点（以降は単にカメラと称す）から見た１セットのシーン点ｘ_ｊを想定する。異なるビュー間の、１セットの画像の一致点
【数４３】

（ここで、
【数４４】

は、ｉ番目のカメラから見たｊ番目の点である）
に基づき、カメラ行列Ｐ（ｎ）および点ｘ_ｊを、ゼロでない縮尺率までＰ（ｎ）ｘｊが
【数４５】

と等しくなるように決定することにより、一般に最初の復元が行われる。任意の３次元射影変換Ｈにより点ｘ_ｊは真の復元
【数４６】

と異なってもよいので、Ｐ（ｎ）またはｘ_ｊがそれ以上制約されることがなく、そのような復元を射影復元と呼ぶ。ユークリッド空間にシーンの復元を観ることを可能にするために、未知の射影変換Ｈが決定されなければならない。
【００３２】
無限平面の発見
上述のように、未知の射影変換を決定するための従来の方法は、殆どがカメラの較正（いわゆる自動較正）に制約を課すことに基づいている。しかしながら、射影変換は無限平面を移動する場合があり、よって射影変換において任意の位置を有するため、未知の射影変換を決定する工程の主要な問題は射影変換に真の無限平面を見つけることである。射影復元における真の無限平面の検索を容易にするために、参考文献４、５および６では、射影復元のすべての点についてカイラル不均衡を使用することにより復元に付加的な制約を課することが提案されている。理想的には、この結果、射影空間に復元されたシーンがマッピングされる平面により分割されることのない、シーン点およびカメラの準アフィン射影復元が得られる。
【００３３】
カイラル性に基づく従来の方法による分析
しかしながら、本発明者が注意深く分析したところ、通常の射影復元を準アフィン復元にアップグレードするためのカイラル性に基づく従来の方法には、収束および安定性に関して多くの問題があることが分かった。特に、参考文献４、５および６に提示されている方法は不良な点の影響を受けやすい。注意深く幾何学的配置を考慮することにより異常値を除去したとしても、数万のシーン点には不確定要素または意図せず配置された異常値により、不良な点が１または２残ってしまう。このような不良または不正確な点は、総じて、解決不可能であるか、または単に無限平面の解決法を不正確なものにする。
【００３４】
図３Ａは、１つの点のわずかな移動により、そうでなければ完全な射影復元であったものが変化して、その結果無限平面の妥当な位置がなくなり、よってカイラル不均衡のすべてのセットに対する妥当な解がなくなる様子を示している。この状態において、無限ｐ_∞における真の無限平面（未知）の「無限点」に注目すると興味深い。ここで、そのような点は概ね反対の方向に観察されている。理論的には、唯一可能な解決として、三角測量により無限平面上の位置をほぼ正確に求めることができるので、無限平面に強力な制約を有する。しかしながら、図３Ａに示すように、不確定要素によるわずかな移動により、総じてカイラル不均衡は妥当な解決法を持たず、参考文献４に記載されているような解決法を試すと、無限平面にゼロベクトルを返す。
【００３５】
図３Ｂは、１つの異常値がカイラル不均衡の全セットについて不正確な解決法をもたらす様子を示している。図３Ｂは、ユークリッド空間における無限平面に対する不正確な解決法を表す。意図せず配置された異常値がわずか１または２あるだけで、カイラル不均衡により決定される無限平面の多角解決領域が変化してしまい、その結果不正確な解決が得られる。
【００３６】
ＱＵＡＲＣ復元およびカイラル性のローバストな使用
本発明はシーンの復元とカメラの較正に対するカイラル性の使用にローバストで系統的な戦略を提供する。本発明の概念は、簡潔には、カメラの射影中心だけに、および場合によっては最初の射影復元のシーン点の部分的サブセットに準アフィンであるよう実行された復元に、最初の射影復元を変換することである。これに関し、総じて解決可能な１セットのカイラル不均衡を獲得することができるとは想定せず、むしろ、カメラに対する複数のシーン点のカイラル性を考慮する選択方式でシーン点を統計的に使用することにより、カメラに関する正確な不均衡を発見することができると想定する。要するに、統計的選択方式によりカメラのカイラル不均衡を推論する。カメラのカイラル不均衡は無限平面の位置に対する制約として働き、不均衡を解消することにより、ＱＵＡＲＣ復元とも呼ばれるカメラの射影中心に対して準アフィンな復元が得られる。ＱＵＡＲＣ復元を元に自動較正を始めるには、収束を目的とする複数の相関的自動較正アルゴリズムが絶対的に必要である。実際には、特に物理的に有意味な目的関数を使用する場合、これはまた十分条件となる。
【００３７】
以降、本発明の好適な実施形態により射影復元をＱＵＡＲＣ復元へアップデートするための特別なアルゴリズムを参照しながら、本発明をより詳細に説明する。次のアルゴリズムは、一対のカメラの射影中心のためにカスタマイズされており、よってアルゴリズムの理論的背景も、一対のカメラの射影中心に関係している。
【００３８】
カメラの射影中心の凸面形状が保護される、つまりカメラの中心の凸面形状のいかなる点も無限平面に変換されないとすると、射影変換ｈは、カメラの射影中心について準アフィンである。次に、復元をユークリッド対応物にする復元がカメラの射影中心のセットについて準アフィンである場合、射影復元は同時にＱＵＡＲＣ復元である。
【００３９】
凸面形状を考慮すると、カメラの中心ｃ（１）、．．．、ｃ（Ｎ）による射影復元は、それがカメラの中心のすべての組ｃ（ｎ）、ｃ（ｎ＋１）（ｎは１からＮ−１）について準アフィンであれば、またその場合のみ、すべてのカメラの中心について準アフィンであることが示される。これは、カメラの中心の組ｃ（ｎ）、ｃ（ｎ＋１）のいずれにも、その間に無限大にマッピングされない
【数４７】

における連続的な経路があるということを意味し、カメラの中心間の直線分が真の無限平面により分割されないということを含む。結果的に、すべてのカメラの中心点は、ｈにより無限大にマッピングされた平面の一方の側にあるということになり、カメラの中心の凸面が無限平面により分割されないということを意味する。
【００４０】
この時点で、ＱＵＡＲＣ復元とそうでないものについての説明をすることが有益である。図４は、復元されたカメラに囲まれた一鉢の花のユークリッド復元を表す。当然これはＱＵＡＲＣ復元でもあり、またカメラのほぼ円形の軌道が楕円形である他のすべての射影相当物も、カメラの凸面形状を保護しており、ＱＵＡＲＣ復元である。しかしながら、反対に図５に示す射影相当物は、ユークリッド復元におけるカメラの縁が双曲線の形に変わっているためＱＵＡＲＣ復元ではない。無限大にマッピングされなければならない平面が復元の中央を通過し、カメラの凸面形状を分断している。
【００４１】
図５に示すようなシーン点とカメラの任意の射影復元がある場合、無限平面がカメラの中心の凸面形状を分割しないＱＵＡＲＣ復元を見つける必要がある。本発明では、点の不適合または不適切な配置による問題がなく、これを極端にローバストに行うことができる。ＱＵＡＲＣ復元を得るために、復元が、確実に、カメラの中心の組ｃ（ｎ）、ｃ（ｎ＋１）のすべてに対して準アフィンであることが十分条件であると既に指摘したので、残る問題は、カメラの中心について準アフィンであることを確実にするにはどうしたらよいかということである。
【００４２】
参考文献５では、アフィン変換は、それが肯定の決定因子を有する場合、およびその場合のみ、カメラに対するカイラル性を保護することと、点がカメラの中心と無限平面の同じ側に位置する場合、およびその場合のみ、点のカイラル性が肯定の決定因子による射影変換により保護されることが示されている。この知識に基づき、ある点の所定のカメラに対するカイラル性は該点がカメラの前に位置するか後ろに位置するかを示すということに留意すると、一対のカメラにより画像化された点が、双方のカメラに対して同じカイラル性を有する場合、およびその場合のみ、射影復元は該１対のカメラに対して準アフィンであると推論できる。
【００４３】
無限平面がカメラの中心を分割しない場合、およびその場合のみ、射影復元は一対のカメラに対して準アフィンである。上に示したように、一対のカメラが画像化した１点が両方のカメラに対して同一のカイラル性を有する場合、およびその場合のみ、これは真である。任意の射影復元が一対のカメラを含む場合、復元が準アフィンかどうかの決定は、必然的に二項的な決定となる。現在の射影復元が既にＱＵＡＲＣであるか、または真の無限平面がカメラの中心を分割しないかである。この二項的不明瞭は、一対のカメラに対する点のカイラル性を考慮することにより、両方のカメラが画像化した単一の点により解消できる。しかしながら、該点が不正確であるか、または意図せず配置された異常値の形態である場合、二項的決定は自動的に機能しない。
【００４４】
統計的選択方式によるカメラのカイラル不均衡の獲得
本発明による解決法は、一対のカメラが、特に一連の連続的なビューを提供する場合、一般に複数の共通点を有するという事実を利用することにより、二項的不明瞭を解消することである。統計のこの存在度をローバストな選択アルゴリズムに使用し、後述するように各共通点にそれぞれ独自の点数を与える。
【００４５】
カメラのカイラル不均衡を記録するために、対応する一対のカメラに対する複数の点のカイラル性に応じて各カメラに＋１または−１を乗じる。射影復元にカメラ行列Ｐ（１）からＰ（Ｎ）で表すＮ個のカメラがあると仮定すると、該カメラ行列には次のように＋１または−１を乗じる。
【数４８】

（ｎ＝２からＮ）
ここで、式ｓｉｇｎ［（Ｐ（ｎ）Ｘ（ｂ））_３（Ｐ（ｎ−１）Ｘ（ｂ））_３］は、Ｐ（ｎ）およびＰ（ｎ−１）で表したカメラに対する点Ｘ（ｂ）のカイラル性を表し、合計
【数４９】

は、Ｐ（ｎ）およびＰ（ｎ−１）で表したカメラから見たシーン点Ｘ（ｂ）Ｌ個についての合計である。演算（ａｒｇ）_３によりその独立変数ａｒｇの第３の要素が選択される。関数ｓｉｇｎ（ｘ）は以下のように定義される。
【数５０】

【００４６】
上記数式の本質は、一対のカメラの両方から見た複数の点（好適にはすべての点）をカイラル性に基づく選択方式に使用してカメラ行列に乗じる符号を決定し、よって該一対のカメラの準アフィン性に関する二項的不明瞭を解消する。カメラの対すべてに対して選択方式を繰り返し、該カメラのすべての対、すなわちＮ個のカメラからなるセット全体の二項的不明瞭を解消する。本発明に従ってローバストな「多数」選択方式を使用することにより、非常に高い確率で正しい符号をカメラに乗じることになる。
【００４７】
当然であるが、異なる点には異なる荷重で選択方式が実行される。
【００４８】
次いで、対応するカメラ行列Ｐ（ｎ）（ここでは単純にＰと表す）に基づき、以下の式に従って各カメラの投影中心ｃ（ｎ）を計算する：
【数５１】

（１＝１，．．．４）
ここで、
【数５２】

はＰからｌ番目の列を除去したものである。前出の数式５１で計算したものにローバストな数式４８の符号乗算を加味したものであり、またベクトル空間
【数５３】

における４次元ベクトルとみなされるカメラの中心はこのとき、すべて
【数５４】

の半分に位置している。これは、該すべてのカメラの中心の、無限平面を現すベクトルｐ_∞を有するスカラー積の符号がみな同じであるということを一般に意味する。ｐ_∞の符号は重要でないので、以下の式を求めることができる：
【数５５】

（ｎ＝１，．．．Ｎ）
【００４９】
この論理的処理は無限平面に効果的な制約を産む。この処理が機能しないのは、対になるカメラの複数組から見た点の半分以上がカメラの不正な側に位置する異常値であるか、あるいはカメラの位置が大幅にずれている場合である。幾何学的制約により異常値の多くは既に除去されており、完全なトラッキング不良によりカメラ間の関係がどこかで失われているという意味でシーケンスが「壊れて」いるのでない限り、一般に問題は起こらない。
【００５０】
線形プログラミングによる仮の無限平面の決定
妥当な射影復元のために、最大スカラーδが以下の式で表される不均衡を満たすような仮の無限平面をみつけ、ベクトルｐ_∞とする。：
【数５６】

（ｎ＝１，．．．，Ｎ、−１≦（ｐ_∞）_ｉ≦１、ｉ＝１，．．．，４）
このベクトルを発見することは線形プログラミングの問題であり、参考文献７に概要が記載されている方法を使用することにより迅速に解決できる。ベクトルｐ_∞が発見されたら、射影復元を以下の式に示す変換行列で変換する。：
【数５７】

ここでＡは３×４の行列であって、該行列は最大値を有する
【数５８】

の要素として同じ列にゼロを有し、その他の３列は単位行列に等しい。この変換によりＱＵＡＲＣ復元が生まれる。
【００５１】
上記をユークリッドに近づけるために、シーケンスの中央からビューＰを取り、復元全体を以下のように変換することができる。：
【数５９】

次いで、カメラの運動（ｎからｎ＋１）のメジアンが（Ｎ−１）^−１となるよう復元の縮尺を標準化することができる。最後に、過半数の点がカメラの前方ではなく後方にある場合、以下の式に示す復元を適用することができる。
【数６０】

【００５２】
カメラの中心に対する無限平面の位置
無限平面の位置に対する制約を確立するためにカイラル性をいかにして使用するかを、より直感的に、且つ深く理解できるように、ここで図６ないし９を参照する。
【００５３】
図６は、複数のカメラおよびシーン点の射影復元の概略図である。該射影復元は複数のシーン点および複数のカメラを含み、図はうち４台のカメラを示す。それらカメラはカメラの中心ｃ（１）、ｃ（２）、ｃ（３）およびｃ（４）を有する。真の無限平面ｐ_∞（すなわち、ユークリッド空間内の無限領域にマッピングされる平面）は、射影復元内に明確に定義されるが当初は未知である位置にある。
【００５４】
カメラの中心のいずれのセットについても、真の無限平面ｐ_∞はカメラの中心を２セット（空のセットと、全数個のセットに分割する場合も含む）に分割する。通常、点が正確であると仮定すると、各点が、いずれのカメラから捕らえられる点であるか、およびそれらカメラに対して該点はカメラの前方にあるか、または後方にあるかにより、無限平面の分割構成例が複数除去される。カメラの中心すべてについて真である分割構成を決定することができれば、無限平面の位置を効果的に絞り込むことができ、ＱＵＡＲＣ復元が得られる。
【００５５】
本発明の好適な実施例では、カメラの中心を２個１組と考え、各カメラの中心の組について複数の分割構成例を除去することにより、無限平面の位置に対する制約を得ることができる。
【００５６】
図７は、図６の射影復元に可能な、カメラの中心ｃ（１）およびｃ（２）に対する無限平面の複数の分割構成を示す概略図である。図７により、全てのシーン点がカメラの中心ｃ（１）およびｃ（２）双方の前方にあることが分かる。全ての点は、両方のカメラに対して同一のカイラル性を有し、よって復元は２つのカメラの中心に対して準アフィンである。これは、真の無限平面がカメラの中心ｃ（１）とｃ（２）との間の線分と交差しないということと、該２つのカメラの中心を分割するような無限平面の分割構成はすべて排除できるということを意味する。カメラの中心ｃ（１）のカメラ行列Ｐ（１）を元に、数式４８および５１を使用する、制約を確立するための論理的処理では、カメラ行列Ｐ（２）およびそれに関連するカメラの中心ｃ（２）に＋１を乗じる。
【００５７】
無限平面の位置をさらに絞り込むために、続いてカメラの中心ｃ（２）およびｃ（３）を考慮する。図８を参照すると、全てのシーン点がカメラの中心ｃ（２）およびｃ（３）双方の前方にあることが分かる。これは、該復元もまたこれら２つのカメラの中心に対して準アフィンであることを意味し、よって真の無限平面がカメラの中心ｃ（２）とｃ（３）との間の線分と交差しないということが導かれる。その結果、該２つのカメラの中心ｃ（２）およびｃ（３）を分割するような無限平面の分割構成はすべて排除できる。数式４８および５１を使用する論理的処理では、これはカメラ行列Ｐ（３）およびそれに関連するカメラの中心ｃ（３）に＋１を乗じることに相当する。
【００５８】
図９を参照すると、シーン点はカメラの中心ｃ（３）の前方にあるが、カメラの中心ｃ（４）の後方に位置することが分かる。シーン点はカメラの中心ｃ（３）およびｃ（４）に対して同一のカイラル性を有さず、よって、復元はこれら２つのカメラに対して準アフィンでない。これは、真の無限平面が実際にカメラの中心ｃ（３）とｃ（４）との間の線分と交差しなければならないということを意味し、無限平面の位置に対する非常に強力な制約となる。論理的処理では、これはカメラ行列Ｐ（４）とそれに関連するカメラの中心ｃ（４）に−１を乗じることに相当する。
【００５９】
この手順をカメラの中心の全ての組に順次繰り返すことにより、無限平面を効果的に絞り込む。
【００６０】
自動較正の最適化
上述のように、続いてＱＵＡＲＣ復元を元に行われる自動較正最適化は、大部分の自動較正アルゴリズムを収束させるための必要条件であることが分かっている。実際には、最適化された目的関数が物理的に有意味な量を表すとき、ＱＵＡＲＣ初期化は殆どの場合十分条件である。
【００６１】
焦点距離（ｋ_１）、歪み（ｋ_２）、主点（ｋ_３，ｋ_５）およびアスペクト比（ｋ_４）に関する内在的カメラのパラメータを含む数式２で規定される較正行列Ｋによりカメラの内因子を獲得する。通常、カメラの歪みは０に近いと推定することができる。さらに、最も現実的な場合、アスペクト比と主点に関しては少なくとも概数が分かる。内因子の近似値を使用し、アスペクトが約１に、主点が原点の近くに、および画像の大きさが焦点距離と同位となるように、画像の座標システムを選択する。射影復元に重大な変形を実際にもたらす可能性のある未知のパラメータは、無限平面の３つのパラメータ、および１つのカメラの未知の焦点距離である。焦点距離以外の内因子の値が正確に推定されれば、基準とするカメラによる前段階からＱＵＡＲＣ復元を行うことは、距離復元から以下の変換を行うことである。
【数６１】

ここで、ｆは基準とするカメラの未知の焦点距離であり、３つのパラメータｖ^Ｔ＝［ｖ_１　ｖ_２　ｖ_３］は無限平面に関する。本発明が提案する方法は、まずこれら４つのパラメータのみに集中して最適化を行うことにより、全体的な空間束調整へと進む前に射影変形の大部分を除去する。これは、ＱＵＡＲＣ復元から最適化を開始した場合で、有意味な目的関数を最小化した場合に、顕著に有効に働く。最小化はＱＵＡＲＣ復元から、
【数６２】

および
【数６３】

として始める。目的関数は、後述するように較正行列から直接構築される。仮の変換
【数６４】

を用いて復元を変換する。次いでカメラ行列をＰ（ｎ）≒Ｋ（ｎ）Ｒ（ｎ）［Ｉ｜−ｔ（ｎ）］に因数分解する。ここで、Ｒ（ｎ）は回転行列であり、
【数６５】

（ｋ_１≧０，ｋ_４≧０）である。
【００６２】
次いで、本発明の好適な実施例による新規目的関数を、すべてのカメラの残差ｒ（ｎ）の合計と定義する。：
【数６６】

ここで、
【数６７】

定数α_１、α_２、α_３は、歪み、主点およびアスペクトそれぞれの事前推定値の信頼度から決定される。単純化のために、それらすべてを１に設定してもよい。例えば参考文献８に記載されている周知のレーベンベルグ−マルカート法を使用して、実際の最小化を行うことができる。推定された焦点距離に概ね比例する因数（ｋ_１＋ｋ_４）^−２による標準化は、縮重状態で焦点距離が激減することを防ぐことが分かっている。明らかに、数式６７の第３項が１からアスペクトの偏差比となることが必要である。焦点距離が大きいとき、主点の原点からの偏差はさらに許容可能であるため、該偏差を表す項についても必要とされる。同様のことが歪みについても言える。質を最適化するために、シーン復元を全体的な空間束調整の段階に進める。該調整とは、局地的に適正な最適化を行うことにより、すべての点とすべてのカメラを同時に合わせて復元する従来の方法である。空間束調整の現代的且つ完全なガイドとして参考文献９を参照することができる。
【００６３】
フローチャート
本発明の基本的な特徴をまとめるため、本発明の好適な実施例によるシーン復元方法のフローチャートである図１０を参照する。ステップＳ１では、異なる視点から見た一連の非較正画像を取得し、シーン復元の入力として使用する。ステップＳ２では、例えば参考文献４および１０に開示されているような、画像間の一致点に基づく従来型の方法により、最初の射影復元を生成する。ステップＳ３では、本発明によるカイラル性に基づく統計的選択を行い、異なるビューに対する複数のカイラル的な制約を設ける。次いでステップＳ４では、カイラル不均衡と表現したカイラル的制約を線形プログラミングに使用して無限平面を発見する。ステップＳ５では、仮に推定した無限平面を使用して最初の射影復元をＱＵＡＲＣ復元に変換する。次に、ステップＳ６において、ＱＵＡＲＣ復元を入力として使用して対話式自動較正処理を開始することにより、良質のユークリッドシーン復元が得られる。質を最適化するために、全体的な空間束調整をステップＳ７で行う。
【００６４】
実験
実世界シーケンスから得た射影復元の延長的実験により、カイラル性に基づく選択によるＱＵＡＲＣ復元の発見と、線形プログラミングおよびそれに続く最適化は、良好な結果を産むことが判明した。第一に、カイラル性に基づく選択を行うことにより、高い確率でＱＵＡＲＣ復元を獲得するための正確で適切な制約が得られる。第二に、ＱＵＡＲＣ復元を元に自動較正の最適化を行うことにより、全体的な空間束調整による質の最適化に使用できる結果が常に得られる。
【００６５】
別の実施形態
カメラだけのカイラル不均衡を推論するうえでの補足として、無限平面に複数の異なる仮説を考え、シーン点のカイラル性に基づいて仮説を受け入れることにより（すべてのシーン点について正確なカイラル性は必要でない）、真の無限平面の検索範囲をさらに狭めることが可能である。実際には、これは、満足されたカイラル不均衡の数が所定のしきい値を超える仮説を受け入れることを意味する。一般的に、無限平面の検索は３より大きい自由度で行われ、従来の検索グリッドを用いて無限平面に可能なすべての位置を検証する。各仮の無限表面について、以下のステップを実行する：
１．カメラのカイラル不均衡について仮説を検証する。カメラのカイラル不均衡が満たされた場合、ステップ２に進む。そうでない場合は該仮説を捨てる。
２．点のカイラル不均衡について仮説を検証する。点のカイラル不均衡のうち所定の割合（例えば９０％）以上が満たされた場合、該仮説を容認する。そうでない場合は該仮説を捨てる。
【００６６】
容認した仮の無限平面のうちどれを選択するかを決定するためには、例えば参考文献６に概説されているような従来の方法を適応する。
【００６７】
点のカイラル不均衡の部分的サブセットが正確であることを必要とするだけの戦略は、提案された統計的選択方式とは独立して使用することができ、すべてのカメラについて正確なカイラル性を必要とすることもなく、よって不良な点が存在する場合の失敗を避けることができる。しかしながら、膨大な数の仮説についてすべての不均衡を検証することは計算的に負担が大きく、リアルタイムな応用に常に適しているわけではない。
【００６８】
本発明の好適な実施例は統計的選択を実行すること、および一対のカメラに関するカイラル不均衡を獲得することを必要とするが、代わりに他のカメラのサブセットを使用することを妨げるものではない。
【００６９】
要約すると、それぞれ少なくとも２つのカメラの中心を有する複数のサブセットにカメラ（または詳細にはカメラの射影中心）を分割する。その後、関連するサブセット内の少なくとも２つのカメラの中心に対する複数のシーン点のカイラル性に基づく選択方式により、各サブセットについて無限平面の位置に制約を確立する。例えば、カメラの中心は３つのカメラの中心を有するサブセットに分割することができる。選択を行う１つの方法は、各サブセットについて３つのカメラすべてから画像化される点を考慮することである。別の実施例では、カメラの中心を以下の表１に示すような大きさが増大するサブセットに分割する。
【表１】

【００７０】
統計的選択を行うために、関連するサブセット内の２つ以上のカメラから画像化できる複数の点を発見し、該カメラに対する該点のカイラル性を考慮することが必要である。それらは例えば、サブセットＤのカメラの中心１および５により画像化されるシーン点、および／またはサブセットＤのカメラの中心２、３および５により画像化されるシーン点である。
【００７１】
上述の実施形態は単に例として示したもので、本発明はそれに限定されると理解されるべきではない。本明細書に開示され、請求の範囲に記載された、基本的理念を保持する修正、変更および改良は、本発明の範囲および精神に含まれる。
【００７２】
参考文献
１．Ｓ．ＭａｙｂａｎｋおよびＯ．Ｆａｕｇｅｒａｓによる「移動するカメラの自動較正の理論（Ａ ｔｈｅｏｒｙ ｏｆ ｓｅｌｆ−ｃａｌｉｂｒａｔｉｏｎ ｏｆ ａ ｍｏｖｉｎｇ ｃａｍｅｒａ）」（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ８（２）：１２３−１５１， １９９２年）
２．Ｍ．Ｐｏｌｌｅｆｅｙｓ，Ｒ．ＫｏｃｈおよびＬ．Ｖａｎ　Ｇｏｏｌによる「カメラの内因性パラメータが不定または未知である場合の自動較正および距離復元（Ｓｅｌｆ−ｃａｌｉｂｒａｔｉｏｎ ａｎｄ ｍｅｔｒｉｃ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｉｎ ｓｐｉｔｅ ｏｆ ｖａｒｙｉｎｇ ａｎｄ ｕｎｋｎｏｗｎ ｉｎｔｅｒｎａｌ ｃａｍｅｒａ ｐａｒａｍｅｔｅｒｓ）」（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ３２（１）：７−２６， １９９９年）
３．Ａ．ＨｅｙｄｅｎおよびＫ．Ａｓｔｒｏｍによる、「柔軟な較正：自動較正の最小事例（Ｆｌｅｘｉｂｌｅ ｃａｌｉｂｒａｔｉｏｎ： Ｍｉｎｉｍａｌ ｃａｓｅｓ ｆｏｒ ａｕｔｏ−ｃａｌｉｂｒａｔｉｏｎ）」（第７回Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ議事録， 第１巻， ３５０−３５５頁， １９９９年）
４．Ｒ．Ｈａｒｔｌｅｙによる「非較正ビューからのユークリッド復元（Ｅｕｃｌｉｄｅａｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ｕｎｃａｌｉｂｒａｔｅｄ ｖｉｅｗｓ）」（コンピュータサイエンス講義録， 第８２５巻， ２３７−２５６頁， Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ， １９９４年）
５．Ｒ．Ｈａｒｔｌｅｙによる「カイラル性（Ｃｈｅｉｒａｌｉｔｙ）」（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２６（１）：４１−６１， １９９８年）
６．Ｒ．Ｈａｒｔｌｅｙ，Ｅ．Ｈａｙｍａｎ，Ｌ．ｄｅ　ＡｇａｐｉｔｏおよびＩ．Ｒｅｉｄによる「カメラ較正および無限領域の検索（Ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ａｎｄ ｔｈｅ ｓｅａｒｃｈ ｆｏｒ ｉｎｆｉｎｉｔｙ）（第７回Ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ議事録， 第１巻， ５１０−５１７ページ， １９９９年）
７．Ｗ．Ｐｒｅｓｓ，Ｓ．Ｔｅｕｋｏｌｓｋｙ，Ｗ．ＶｅｔｔｅｒｌｉｎｇおよびＢ．Ｆｌａｎｎｅｒｙによる「Ｃにおける数値的方法（Ｎｕｍｅｒｉｃａｌ ｒｅｃｉｐｅｓ ｉｎ Ｃ）」（ＩＳＢＮ ０−５２１−４３１０８−５， ４３０−４４３頁， ケンブリッジ大学出版， １９８８年）
８．Ｗ．Ｐｒｅｓｓ，Ｓ．Ｔｅｕｋｏｌｓｋｙ，Ｗ．ＶｅｔｔｅｒｌｉｎｇおよびＢ．Ｆｌａｎｎｅｒｙによる「Ｃにおける数値的方法（Ｎｕｍｅｒｉｃａｌ ｒｅｃｉｐｅｓ ｉｎ Ｃ）」（ＩＳＢＮ ０−５２１−４３１０８−５， ６８１−６８８頁， ケンブリッジ大学出版， １９８８年）
９．Ｂ．Ｔｒｉｇｇｓ，Ｐ．ＭｃＬａｕｃｈｌａｎ，Ｒ．ＨａｒｔｌｅｙおよびＡ．Ｆｉｔｚｇｉｂｂｏｎによる「束調整−現代的合成（Ｂｕｎｄｌｅ ａｄｊｕｓｔｍｅｎｔ − ａ ｍｏｄｅｒｎ ｓｙｎｔｈｅｓｉｓ）」（コンピュータサイエンス講義録， 第１８８３巻， ２９８−３７２頁， Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ， ２０００年）
１０．Ｄ．Ｎｉｓｔｅｒによる「三焦点テンソルの階層性による非較正シーケンスからの復元（Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ｕｎｃａｌｉｂｒａｔｅｄ ｓｅｑｕｅｎｃｅ ｗｉｔｈ ａ ｈｉｅｒａｒｃｈｙ ｏｆ ｔｒｉｆｏｃａｌ ｔｅｎｓｏｒｓ）」（Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｐｕｔｅｒ Ｖｉｓｉｏｎ議事録， 第１巻， ６４９−６６３頁， ２０００年）
【図面の簡単な説明】
【図１】図１は本発明の実行に適した例示的コンピュータシステムを示す概略図である。
【図２】図２は本発明で使用するカメラのモデルの概略図である。
【図３】図３Ａは、単一の点がわずかに移動することにより、カイラル不均衡の全セットに妥当な解がなくなる様子を示す概略図である。図３Ｂは、単一の異常値によりカイラル不均衡の全セットに不正確な解がもたらされる様子を示す概略図である。
【図４】図４は復元されたカメラに囲まれた一鉢の花のユークリッド復元を表す。
【図５】図５は、図４の復元に相当する射影を示す。
【図６】図６は、複数のカメラおよびシーン点の射影復元の概略図である。
【図７】図７は、カメラの中心の１対に関する無限平面の分割構成例を示す、図６の射影復元の概略図である。
【図８】図８は、カメラの中心の別の１対に関する無限平面の分割構成例を示す、図６の射影復元の概略図である。
【図９】図９は、カメラの中心のまた別の１対に関する無限平面の分割構成例を示す、図６の射影復元の概略図である。
【図１０】図１０は、本発明の好適な実施例によるシーン復元の方法の概略的フローチャートである。

Claims (41)

1. 複数の非較正２次元画像から３次元のユークリッドシーンを復元する方法であって：
   −　非較正画像の一致点に基づき最初の射影シーン復元を確立するステップと、
   −　最初の射影シーン復元を、カメラの射影中心および最初の射影シーン復元のシーン点の部分的サブセットのみに対して準アフィンとなることが明確な第二の射影シーン復元に変換するステップと、
   −　第二の射影シーン復元をユークリッドシーン復元に変換するステップと
   を含む方法。
2. 前記シーン点の部分的サブセットが空のセットである、請求項１に記載の方法。
3. 前記最初の射影シーン復元を第二の射影シーン復元に変換するステップが：
   −　カメラの射影中心に対する複数のシーン点のカイラル性を考慮する選択方式に基づいて無限平面の位置に複数の制約を課すステップと、
   −　課された制約に基づいて前記最初の射影シーン復元を前記第二の射影シーン復元に変換する変換を決定するステップと
   を含む、請求項１または２に記載の方法。
4. 前記複数の制約を課すステップが：
   −　前記カメラの射影中心を、それぞれが少なくとも２つのカメラの射影中心を有する個々のサブセットに分割するステップと、
   −　各カメラの中心のサブセットについて、該カメラの中心のサブセットの少なくとも２つのカメラの射影中心に対する複数のシーン点のカイラル性に基づいて無限平面の位置に制約を課すステップと
   を含む、請求項３に記載の方法。
5. 各カメラの中心のサブセットについて制約を課すステップは：
   −　各カメラの中心のサブセットごとに、該カメラの中心のサブセットのカメラの射影中心に関する無限平面について、複数の分割構成を前記カイラル性に基づいて排除し、それによりカメラの中心のサブセットが順に検証されるにしたがって無限平面の位置が効果的に絞り込まれるステップ
   を含む、請求項４に記載の方法。
6. 前記カメラの射影中心を２個１セットのセットに分割し、前記複数の制約を課すステップをカメラの射影中心の各セットｃ（ｎ）、ｃ（ｎ＋１）（ここで、ｎ＝１からＮ−１、Ｎはカメラの射影中心の総数に等しい）について実行する、請求項４に記載の方法。
7. 前記複数の制約を課すステップが：
   −　無限平面ｐ_∞の位置について、複数の不均衡に関する制約：
   

   

   （ｎ＝１，．．．，Ｎ）
   を導くステップを含み、
   ここでｃ（ｎ）は、
   

   

   （ｎ＝２からＮ）
   により決定される対応するカメラ行列Ｐ（ｎ）に基づいて計算され、数式２において合計
   

   

   は、一対のカメラの射影中心であるＰ（ｎ）及びＰ（ｎ−１）から見た複数のシーン点Ｘ（ｂ）について行われるもので、演算（ａｒｇ）_３によりその独立変数ａｒｇの第三の要素が選択され、関数ｓｉｇｎ（ｘ）が：
   

   

   と定義される、請求項６に記載の方法。
8. 前記課された制約に基づいて最初の射影シーン復元を前記第二の射影シーン復元に変換するための変換を決定するステップは：
   −　最大スカラーδが
   

   

   （ｎ＝１，．．．，Ｎ、−１≦（ｐ_∞）_ｉ≦１、ｉ＝１，．．．，４）
   で表される不均衡を満たすような仮の無限平面ｐ_∞を見つけることと定義される線形プログラミングタスクを解くステップと、
   −　変換を
   

   

   と決定するステップを含み、ここでＡは、最大値を有する
   

   

   の要素として同じ列にゼロを有し、その他の３列は単位行列に等しい３×４の行列である、請求項７に記載の方法。
9. 前記第二の射影シーン復元をユークリッドシーン復元に変換するステップは：
   −　少なくとも部分的にカメラの焦点距離の表出に基づく、目的関数に関して対応する射影からユークリッドへの変換を最適化するステップを含む、請求項３に記載の方法。
10. 前記目的関数が、カメラの焦点距離の推定値とほぼ比例する標準化因子を伴う、請求項９に記載の方法。
11. 前記目的関数が
    

    

    と定義され、ここで
    

    

    であって、式中のｋ_１ないしｋ_５は：
    

    

    （ｋ_１≧０，ｋ_４≧０）
    により求められる対応するカメラの較正行列Ｋ（ｎ）から得られ、α_１、α_２、α_３は、歪み、主点およびアスペクトそれぞれの事前推定値の信頼度から決定される定数である、請求項９に記載の方法。
12. 非較正の２次元画像に基づいて射影シーン復元を準アフィン射影シーン復元にアップグレードする方法であって：
    −　カメラの射影中心に対する複数のシーン点のカイラル性を考慮する選択方式に基づいて無限平面の位置に複数の制約を課すステップと、
    −　課された制約に基づいて前記最初の射影シーン復元を前記第二の射影シーン復元に変換する変換を決定するステップと
    を含む方法。
13. 前記複数の制約を課すステップが：
    −　前記カメラの射影中心を、それぞれが少なくとも２つのカメラの射影中心を有する個々のサブセットに分割するステップと、
    −　各カメラの中心のサブセットについて、該カメラの中心のサブセットの少なくとも２つのカメラの射影中心に対する複数のシーン点のカイラル性に基づいて無限平面の位置に制約を課すステップと
    を含む、請求項１２に記載の方法。
14. 各カメラの中心のサブセットについて制約を課すステップは：
    −　各カメラの中心のサブセットごとに、該カメラの中心のサブセットのカメラの射影中心に関する無限平面について、複数の分割構成を前記カイラル性に基づいて排除し、それによりカメラの中心のサブセットが順に検証されるにしたがって無限平面の位置が効果的に絞り込まれるステップ
    を含む、請求項１３に記載の方法。
15. 前記カメラの射影中心を２個１セットのセットに分割し、前記複数の制約を課すステップをカメラの射影中心の各セットｃ（ｎ）、ｃ（ｎ＋１）（ここで、ｎ＝１からＮ−１、Ｎはカメラの射影中心の総数に等しい）について実行する、請求項１３に記載の方法。
16. 前記複数の制約を課すステップが：
    −　無限平面ｐ_∞の位置について、複数の不均衡に関する制約：
    

    

    （ｎ＝１，．．．，Ｎ）
    を導くステップを含み、
    ここでｃ（ｎ）は、
    

    

    （ｎ＝２からＮ）
    により決定される対応するカメラ行列Ｐ（ｎ）に基づいて計算され、数式１２において合計
    

    

    は、一対のカメラの射影中心であるＰ（ｎ）及びＰ（ｎ−１）から見た複数のシーン点Ｘ（ｂ）について行われるもので、演算（ａｒｇ）_３によりその独立変数ａｒｇの第三の要素が選択され、関数ｓｉｇｎ（ｘ）が：
    

    

    と定義される、請求項１５に記載の方法。
17. 前記課された制約に基づいて最初の射影シーン復元を前記第二の射影シーン復元に変換するための変換を決定するステップは：
    −　最大スカラーδが
    

    

    （ｎ＝１，．．．，Ｎ、−１≦（ｐ_∞）_ｉ≦１、ｉ＝１，．．．，４）
    で表される不均衡を満たすような仮の無限平面ｐ_∞を見つけることと定義される線形プログラミングタスクを解くステップと、
    −　変換を
    

    

    と決定するステップを含み、ここでＡは、最大値を有する
    

    

    の要素として同じ列にゼロを有し、その他の３列は単位行列に等しい３×４の行列である、請求項１６に記載の方法。
18. シーンの複数の非較正２次元画像からユークリッド３次元シーンを復元するシステムであって：
    −　非較正画像の一致点に基づき最初の射影シーン復元を確立する手段と、
    −　最初の射影シーン復元を、カメラの射影中心および最初の射影シーン復元のシーン点の部分的サブセットのみに対して準アフィンとなることが明確な第二の射影シーン復元に変換する手段と、
    −　第二の射影シーン復元をユークリッドシーン復元に変換する手段と
    を備えるシステム。
19. 前記シーン点の部分的サブセットが空のセットである、請求項１８に記載のシステム。
20. 前記最初の射影シーン復元を第二の射影シーン復元に変換する手段が：
    −　カメラの射影中心に対する複数のシーン点のカイラル性を考慮する選択方式に基づいて無限平面の位置に複数の制約を課す手段と、
    −　課された制約に基づいて前記最初の射影シーン復元を前記第二の射影シーン復元に変換する変換を決定する手段と
    を備える、請求項１８または１９に記載のシステム。
21. 前記複数の制約を課す手段が：
    −　前記カメラの射影中心を、それぞれが少なくとも２つのカメラの射影中心を有する個々のサブセットに分割する手段と、
    −　各カメラの中心のサブセットについて、該カメラの中心のサブセットの少なくとも２つのカメラの射影中心に対する複数のシーン点のカイラル性に基づいて無限平面の位置に制約を課す手段と
    を含む、請求項２０に記載のシステム。
22. 各カメラの中心のサブセットについて制約を課す手段は：
    −　各カメラの中心のサブセットごとに、該カメラの中心のサブセットのカメラの射影中心に関する無限平面について、複数の分割構成を前記カイラル性に基づいて排除し、それによりカメラの中心のサブセットが順に検証されるにしたがって無限平面の位置が効果的に絞り込まれる手段
    を含む、請求項２１に記載のシステム。
23. 前記カメラの射影中心が２個１セットのセットに分割され、前記複数の制約を課す手段がカメラの射影中心の各セットｃ（ｎ）、ｃ（ｎ＋１）（ここで、ｎ＝１からＮ−１、Ｎはカメラの射影中心の総数に等しい）に関する制約確立に実行される、請求項２１に記載のシステム。
24. 前記複数の制約を課す手段が：
    −　無限平面ｐ_∞の位置について、複数の不均衡に関する制約：
    

    

    （ｎ＝１，．．．，Ｎ）
    を導く手段を含み、
    ここでｃ（ｎ）は、
    

    

    （ｎ＝２からＮ）
    により決定される対応するカメラ行列Ｐ（ｎ）に基づいて演算処理装置により計算され、数式１９において合計
    

    

    は、一対のカメラの射影中心であるＰ（ｎ）及びＰ（ｎ−１）から見た複数のシーン点Ｘ（ｂ）について演算処理装置により行われるもので、演算（ａｒｇ）_３によりその独立変数ａｒｇの第三の要素が選択され、関数ｓｉｇｎ（ｘ）が：
    

    

    と定義される、請求項２３に記載のシステム。
25. 前記課された制約に基づいて最初の射影シーン復元を前記第二の射影シーン復元に変換するための変換を決定する手段は：
    −　最大スカラーδが
    

    

    （ｎ＝１，．．．，Ｎ、−１≦（ｐ_∞）_ｉ≦１、ｉ＝１，．．．，４）
    で表される不均衡を満たすような仮の無限平面ｐ_∞を見つけることと定義される線形プログラミングタスクを解く手段と、
    −　変換を
    

    

    と決定する手段を含み、ここでＡは、最大値を有する
    

    

    の要素として同じ列にゼロを有し、その他の３列は単位行列に等しい３×４の行列である、請求項２４に記載のシステム。
26. 前記第二の射影シーン復元をユークリッドシーン復元に変換する手段は：
    −　少なくとも部分的にカメラの焦点距離の表出に基づく、目的関数に関して対応する射影からユークリッドへの変換を最適化するステップを含む、請求項２０に記載のシステム。
27. 前記目的関数が、カメラの焦点距離の推定値とほぼ比例する標準化因子を伴う、請求項２６に記載のシステム。
28. 前記目的関数が
    

    

    と定義され、ここで
    

    

    であって、式中のｋ_１ないしｋ_５は：
    

    

    （ｋ_１≧０，ｋ_４≧０）
    により求められる対応するカメラの較正行列Ｋ（ｎ）から得られ、α_１、α_２、α_３は、歪み、主点およびアスペクトそれぞれの事前推定値の信頼度から決定される定数である、請求項２６に記載のシステム。
29. 非較正の２次元画像に基づいて射影シーン復元を準アフィン射影シーン復元にアップグレードするシステムであって：
    −　カメラの射影中心に対する複数のシーン点のカイラル性を考慮する選択方式に基づいて無限平面の位置に複数の制約を課す手段と、
    −　課された制約に基づいて前記最初の射影シーン復元を前記第二の射影シーン復元に変換する変換を決定する手段と
    を含むシステム。
30. 前記複数の制約を課す手段が：
    −　前記カメラの射影中心を、それぞれが少なくとも２つのカメラの射影中心を有する個々のサブセットに分割する手段と、
    −　各カメラの中心のサブセットについて、該カメラの中心のサブセットの少なくとも２つのカメラの射影中心に対する複数のシーン点のカイラル性に基づいて無限平面の位置に制約を課す手段と
    を含む、請求項２９に記載のシステム。
31. 各カメラの中心のサブセットについて制約を課す手段は：
    −　各カメラの中心のサブセットごとに、該カメラの中心のサブセットのカメラの射影中心に関する無限平面について、複数の分割構成を前記カイラル性に基づいて排除し、それによりカメラの中心のサブセットが順に検証されるにしたがって無限平面の位置が効果的に絞り込まれる手段
    を含む、請求項２９に記載のシステム。
32. 前記カメラの射影中心が２個１セットのセットに分割され、前記複数の制約を課す手段が、カメラの射影中心の各セットｃ（ｎ）、ｃ（ｎ＋１）（ここで、ｎ＝１からＮ−１、Ｎはカメラの射影中心の総数に等しい）に関する前記制約確立に実行される、請求項３０に記載のシステム。
33. 前記複数の制約を課す手段が：
    −　無限平面ｐ_∞の位置について、複数の不均衡に関する制約：
    

    

    （ｎ＝１，．．．，Ｎ）
    を導く手段を含み、
    ここでｃ（ｎ）は、
    

    

    （ｎ＝２からＮ）
    により決定される対応するカメラ行列Ｐ（ｎ）に基づいて演算処理装置により計算され、数式２９において合計
    

    

    は、一対のカメラの射影中心であるＰ（ｎ）及びＰ（ｎ−１）から見た複数のシーン点Ｘ（ｂ）について演算処理装置により行われるもので、演算（ａｒｇ）_３によりその独立変数ａｒｇの第三の要素が選択され、関数ｓｉｇｎ（ｘ）が：
    

    

    と定義される、請求項３２に記載のシステム。
34. 前記課された制約に基づいて最初の射影シーン復元を前記第二の射影シーン復元に変換するための変換を決定する手段は：
    −　最大スカラーδが
    

    

    （ｎ＝１，．．．，Ｎ、−１≦（ｐ_∞）_ｉ≦１、ｉ＝１，．．．，４）
    で表される不均衡を満たすような仮の無限平面ｐ_∞を見つけることと定義される線形プログラミングタスクを解く手段と、
    −　変換を
    

    

    と決定するステップを含み、ここでＡは、最大値を有する
    

    

    の要素として同じ列にゼロを有し、その他の３列は単位行列に等しい３×４の行列である、請求項３３に記載のシステム。
35. コンピュータ上で動作させたとき、非較正の２次元画像に基づいて射影シーン復元を準アフィン射影シーン復元にアップグレードするコンピュータプログラムであって：
    −　カイラル性に基づく統計的選択により無限平面の位置に複数の制約を課すプログラム手段と、
    −　課された制約に基づいて前記最初の射影シーン復元を前記第二の射影シーン復元に変換する変換を決定するプログラム手段と
    を備えるコンピュータプログラム。
36. 前記複数の制約を課すプログラム手段は、カメラの射影中心に対する複数のシーン点のカイラル性を考慮することにより、前記統計的選択を実行するように構築されている、請求項３５に記載のコンピュータプログラム。
37. 前記複数の制約を課すプログラム手段が：
    −　前記カメラの射影中心を、それぞれが少なくとも２つのカメラの射影中心を有する個々のサブセットに分割するプログラム手段と、
    −　各カメラの中心のサブセットについて、該カメラの中心のサブセットの少なくとも２つのカメラの射影中心に対する複数のシーン点のカイラル性に基づいて無限平面の位置に制約を課すプログラム手段と
    を含む、請求項３５に記載のコンピュータプログラム。
38. 各カメラの中心のサブセットについて制約を課すプログラム手段は：
    −　各カメラの中心のサブセットごとに、該カメラの中心のサブセットのカメラの射影中心に関する無限平面について、複数の分割構成を前記カイラル性に基づいて排除し、それによりカメラの中心のサブセットが順に検証されるにしたがって無限平面の位置が効果的に絞り込まれるプログラム手段
    を含む、請求項３７に記載のコンピュータプログラム。
39. 前記カメラの射影中心が２個１セットのセットに分割され、前記複数の制約を課すプログラム手段がカメラの射影中心の各セットｃ（ｎ）、ｃ（ｎ＋１）（ここで、ｎ＝１からＮ−１、Ｎはカメラの射影中心の総数に等しい）に関する制約確立に実行される、請求項３７に記載のコンピュータプログラム。
40. 前記複数の制約を課すプログラム手段が：
    −　無限平面ｐ_∞の位置について、複数の不均衡に関する制約：
    

    

    （ｎ＝１，．．．，Ｎ）
    を導くプログラム手段を含み、
    ここでｃ（ｎ）は、
    

    

    （ｎ＝２からＮ）
    により決定される対応するカメラ行列Ｐ（ｎ）に基づいて計算され、数式３６において合計
    

    

    は、一対のカメラの射影中心であるＰ（ｎ）及びＰ（ｎ−１）から見た複数のシーン点Ｘ（ｂ）について演算処理装置により行われるもので、演算（ａｒｇ）_３によりその独立変数ａｒｇの第三の要素が選択され、関数ｓｉｇｎ（ｘ）が：
    

    

    と定義される、請求項３９に記載のコンピュータプログラム。
41. 前記課された制約に基づいて最初の射影シーン復元を前記第二の射影シーン復元に変換するための変換を決定するコンピュータプログラムは：
    −　最大スカラーδが
    

    

    （ｎ＝１，．．．，Ｎ、−１≦（ｐ_∞）_ｉ≦１、ｉ＝１，．．．，４）
    で表される不均衡を満たすような仮の無限平面ｐ_∞を見つけることと定義される線形プログラミングタスクを解くプログラム手段と、
    −　変換を
    

    

    と決定するプログラム手段を含み、ここでＡは、最大値を有する
    

    

    の要素として同じ列にゼロを有し、その他の３列は単位行列に等しい３×４の行列である、請求項４０に記載のコンピュータプログラム。

Images