JP2003203238A - フレームレートで多数のビデオストリームを対応させるスケーラブルアーキテクチャ - Google Patents

Abstract

(57)【要約】 【課題】 複数個のカメラから二次元画像を作成するこ
とを可能とするスケーラブルな方法及び装置を提供す
る。 【解決手段】 本発明画像処理システムは、三次元動画
の再生をサポートするために画像内の特徴をマッチング
するためにビデオデータの同一のオブジェクトとの異な
るビューである複数個の画像を実時間で処理する。これ
らの異なる画像は複数個のカメラによってキャプチャさ
れ、デジタル処理装置によって処理されて特徴を識別し
且つ予備的２ビュー特徴マッチングを実施する。画像デ
ータ及びマッチングされた特徴点定義が少なくとも２画
像マッチングをサポートするために隣接するカメラへ通
信される。マッチングされた特徴点データは中央コンピ
ュータへ転送され、該中央コンピュータは全ての画像の
間でのマルチビュー対応を実施する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、大略、画像処理シ
ステム及び方法に関するものであって、更に詳細には、
実時間で多数のビデオストリームにわたって画像特徴を
マッチングさせるシステム及び方法に関するものであ
る。

【０００２】

【従来の技術】採取されたシーン内においてビュア即ち
視聴者が自由にパン及びズームする能力を提供する三次
元ビデオシーケンスを発生するために多数のデジタルビ
デオカメラを同期して使用するための研究がなされてい
る。このことを達成するための典型的なシステムは視野
がオーバーラップしている多数のカメラから構成されて
いる。これらのカメラは同期されており、従ってビデオ
フレームは全て正確に同時的である。このことは同一の
シーンの多数のビデオストリームを発生し、それらを使
用して後にユーザが特定した視点からレンダリングさせ
るための三次元データベースを形成することが可能であ
る。

【０００３】シーンの多数のビデオストリームをキャプ
チャ即ち捕獲するために多数のカメラを使用する方法が
継続して改善されるが、それら全てについての基本的な
共通の条件は、ビデオシーケンスを発生するカメラを記
述する多数のパラメータが、何等かの有用な画像処理を
行うことが可能となる前に既知のものでなければならな
い。これらのパラメータとしては、各カメラの位置、オ
リエンテーション即ち配向状態、アパーチャ及び焦点距
離を包含しており、それらは集約的にカメラポーズと呼
ばれる。

【０００４】スチル (静止)画像の採取の場合、及びあ
るビデオ適用例の場合には、固定したカメラポーズを使
用することが適切である場合があり、その場合には、そ
れらのパラメータはオペレータが測定し且つ設定するこ
とが可能である。然しながら、多くの現実の世界での適
用例の場合には、カメラのフレームレートにおいてカメ
ラ位置を決定する能力は著しい利点であり、且つシーン
の動的カバレッジのためのカメラの特別のカメラ配置、
付加及び除去及びシーンキャプチャ期間中におけるカメ
ラの運動を可能とさせることによってシステムの利用可
能性を拡張させる。

【０００５】カメラポーズを確立する場合の基本的な第
一ステップは画像間のコレスポンデンス (ｃｏｒｒｅｓ
ｐｏｎｄｅｎｃｅ)即ち対応を確立することである。こ
の手順は画像を検査し且ついずれか１つの画像における
どの特徴が他の画像のうちのいずれかにおける同一の特
徴であるかを決定することを試みる。これはコレスポン
デンス即ち対応と呼ばれる。ビューの全てにわたっての
多数の特徴の対応が確立されると、カメラの位置を派生
することが可能である。重要な点は、全ての画像におけ
る全てのピクセルの間の対応を確立することが必要なも
のではないということである (又、通常そのことは可能
なことではない)。何故ならば、比較的少数の対応から
カメラポーズを派生することが可能であることが知られ
ているからである。

【０００６】対応を確立するための第一ステップとし
て、画像内の特徴点が低レベル信号処理技術によって抽
出される。このことは、多数の対応で行うことが可能で
あるが、通常、画像における鮮鋭なコーナー点が識別す
ることが可能であるようにその画像及びその派生物にわ
たっていくつかのフィルタカーネルを順番に通過させる
ことが関与する。このことの必要な一部として、充分な
る算術的精度を維持するために、一時的に格納されるデ
ータの量はオリジナルの画像よりも著しく一層大きなも
のとなる。

【０００７】特徴検出のために必要とされる処理の量は
フィデューシャル（ｆｉｄｕｃｉａｌ）と呼ばれる公知
のオブジェクトを包含させることにより、又はそのシー
ン内に構造化画像を投影させ且つそれらを対応のために
使用することによって減少させることが可能である。こ
れらの技術は良好な画像品質が必要とされる適用におい
ては通常許容可能なものではなく、従って存在する特徴
点を見つけ出し且つ対応させることが可能なシステムが
必要とされる。

【０００８】第二ステップとして、抽出した特徴点を他
の画像内のものとマッチさせる試みが行われる。このこ
とも、種々の手段によって達成することが可能である
が、通常、１つの画像における各特徴点の周りに中心位
置決めされた小さな領域を取り且つ多数のその他の画像
において同様の領域をサーチすることが関与する。カメ
ラポーズは不知であるので、該特徴点がその他の画像の
いずれかにおいて見える範囲までこのサーチに関しての
拘束条件は存在せず、従ってそのサーチは全てのその他
の画像の全ての部分をカバーせねばならない。

【０００９】該対応ステップは、更に、誤ったマッチを
見つけ出させる場合がある画像中の不明確性に対する可
能性によって複雑化される。後の段階においてのバンド
ル調整 (ｂｕｎｄｌｅ ａｄｊｕｓｔｍｅｎｔ)技術の
使用が成功するためには、ロバスト即ち堅牢なシステム
はこれらの誤ったマッチを見つけ出し且つ拒否する方法
を包含せねばならない。

【００１０】多数のビデオストリームの間での対応を確
立する例示的な技術は「ビデオレート稠密深さマッピン
グ用ステレオマシン及びその新しい適用 (Ａ Ｓｔｅｒ
ｅｏＭａｃｈｉｎｅ ｆｏｒ Ｖｉｄｅｏ−ｒａｔｅ
Ｄｅｎｓｅ ＤｅｐｔｈＭａｐｐｉｎｇ ａｎｄ ｉｔ
ｓ Ｎｅｗ Ａｐｐｌｉｃａｔｉｏｎ)」、Ｔａｋｅｏ
Ｋａｎａｄｅ、Ａｔｓｕｓｈｉ Ｙｏｓｈｉｄａ、Ｋ
ａｚｕｏ Ｏｄａ、Ｈｉｒｏｓｈｉ Ｋａｎｏ、Ｍａｓ
ａｙａ Ｔａｎａｋａ、第１５回コンピュータビジョン
・アンド・パターンレコグニションコンフェレンス (Ｃ
ＶＰＲ)のプロシーディングズ、６月、１８２０、１９
９６、サンフランシスコの文献に開示されている。この
技術はエピポーラ拘束条件を使用することにより画像処
理の総量を減少させるために固定され且つ既知の物理的
関係を有する複数個のカメラを使用している。この技術
は予備処理を実施するために複数個のプロセッサを使用
しているが、その予備処理は各カメラに対してビットマ
ップ型画像データセットを発生し、それは後続の処理に
よって処理されねばならない非常に大きなデータセット
である。このシステムによって発生されるデータの量
は、特に、多数のカメラが使用される場合には、実時間
で単一のプロセッサによって実際的に処理することは不
可能である。

【００１１】多数の画像にわたっての点をマッチ即ち照
合させるために必要とされる帯域幅及び格納部と共に、
特徴検出のために必要とされるピクセルレベルの処理は
この特徴の実際的な実現化を制限する。

【００１２】デジタルカメラは矩形状のサンプリンググ
リッドを使用して画像をキャプチャ即ち捕獲し且つ格納
し、尚該グリッドの各行は従来のアナログカメラのラス
タースキャンラインと整合されており、且つ該グリッド
の各列はピクセル (画素)と呼ばれるサンプルを形成す
る。各ピクセルのカラー即ち色は赤、緑、青に対して各
々８ビットを使用するカラーコンポーネントとして、又
はルミナンスと２個のクロミナンスフィールドとして
(その場合には、データの量はピクセル当たり１６ビッ
トに減少される)格納される。

【００１３】典型的なデジタルＴＶ信号は７２０個の列
と４８５個の行とを有しており、従ってデータ量は画像
当たり５，５８７，２００ビットと８，３８０，８００
ビットとの間である。毎秒３０個のフレームの典型的な
フレームレートにおいて、全体的なデータレートは１６
７，６１６，０００ｂｐｓと２５１，４２４，０００ｂ
ｐｓとの間で変化する。処理、格納 (記憶)及び通信帯
域幅における現在の技術水準は、中央位置においてこの
データを集め且つ処理しようとするどのようなシステム
も少数のカメラへ制限する。

【００１４】例えばライトフィールドレンダリング (Ｌ
ｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ)等の動画
に対する三次元シーケンスの展開を許容する技術は非常
に多数のカメラを必要とし且つ厳しい柔軟性に関する制
限を有している。カメラポーズはカメラ位置の物理的測
定によって決定され、そのことはキャプチャした画像の
解析によるカメラ位置の決定の困難性を完全に回避する
が幾つかの欠点を有している。それらの欠点は、特別の
カメラ配置を排除することを包含しており、従って、例
えば、複数個のカメラが移動するオブジェクトを追跡す
ることが可能なシステムは不可能であり、又オクルージ
ョンを除去するためのカメラの運動は不可能である。例
えばニュースイベント等の現実世界のシーンを記録する
場合には特別カメラ配置が望ましい。ライトフィールド
レンダリングと共にこれらのカメラ配置技術を使用する
ことは、又、カメラの必要な大きなアレイを注意深く較
正し且つその位置に維持せねばならないことを意味して
おり、そのことは製造上及び使用上の問題を発生させ
る。全ての３Ｄ画像キャプチャシステムは計算された三
次元画像における歪みを回避するためにカメラポーズに
おける変動を強制するか又は考慮するものでなければな
らない。これらの変動は製造上のトリランス、熱膨張効
果又は支持物質における永年変化、及びオペレータが知
らない場合のあるシステムの損傷又はインパクト等によ
って発生される場合がある。

【００１５】

【発明が解決しようとする課題】従って、上述した従来
技術の問題を解消し、且つ、特に、その位置及びポーズ
が事前に知られていない複数個のカメラからの二次元画
像を、好適には、最大で少なくとも各カメラから毎秒３
０個のフレームを有する三次元動画を作成するために受
付け且つ実時間で処理することを可能とするスケーラブ
ルな方法及び装置を提供することが所望されている。

【００１６】

【課題を解決するための手段】本発明の好適実施例によ
れば、本方法が、事前に知られていない異なる物理的位
置から同時的にキャプチャしたシーンの複数個の画像の
間で画像特徴をマッチングさせることによってフレーム
レートで複数個のビデオストリームを対応させる。本好
適な方法は、第一複数個の画像のうち第一画像における
第一組の独特の画像特徴を検知するステップを有してお
り、該第一複数個の画像は事前に知られていない異なる
物理的位置から同時的にキャプチャしたシーンの画像を
有している。本方法は、更に、該第一組の独特な画像特
徴と該第一複数個の画像のうちの少なくとも第二画像に
おいて検知した少なくとも第二組の独特の画像特徴との
間の独特の画像特徴の第一対応を決定するステップを有
している。本方法は、更に、該第一複数個の画像内にお
いて、該第一画像と該少なくとも第二画像とを包含する
第二複数個の画像において検知した独特の画像特徴の最
終的対応を決定するステップを有している。

【００１７】本発明の好適実施例によれば、フレームレ
ートで複数個のビデオストリームを対応させるスケーラ
ブルアーキテクチャを具備するシステムが複数個の画像
特徴検知器を有している。該複数個の画像特徴検知器の
各々は、夫々、第一複数個の画像のうちの１つにおける
１組の独特の画像特徴を検知し、該第一複数個の画像は
事前に知られていない異なる物理的位置から同時的にキ
ャプチャしたシーンの画像を有している。本システム
は、更に、複数個の初期画像相関器を有しており、該複
数個の初期画像相関器の各々は該第一複数個の画像のう
ちの少なくとも２つの画像において検知した独特の画像
特徴の第一対応を決定するために該複数個の画像特徴検
知器のうちの少なくとも２つと通信可能であるように結
合されている。本システムは、更に、該第一複数個の画
像内において、該少なくとも２つの画像を包含する第二
複数個の画像において検知した独特の画像特徴の最終的
対応を決定するために、該複数個の初期画像相関器の各
々と通信可能に結合されている最終画像相関器を有して
いる。

【００１８】

【発明の実施の形態】本発明の好適実施例は、可変数の
ビデオストリームカメラによってキャプチャ即ち捕獲さ
れる三次元シーンのビデオストリームをスケーラブルな
態様で且つ実時間で処理する構成とされている。ビデオ
ストリームをキャプチャする複数個のカメラの位置及び
ポーズ (姿勢)は本発明の好適実施例に基づく画像処理
にとって不知であるか又は部分的に既知とすることが可
能である。本例示的実施例に基づく画像処理は、該複数
個のカメラによってキャプチャした複数個のビデオスト
リームデータの処理によってシーンの新たなビュー即ち
視点を描画するビデオストリームの再生を可能とさせ
る。本発明の例示的実施例はフィデューシャル即ち投影
した光構造を必ずしも包含することのない画像のビデオ
ストリームデータを処理することによって画像相関及び
カメラポーズを決定する。

【００１９】好適実施例に基づく画像処理システムは、
複数個のカメラによってキャプチャされたビデオストリ
ームを受付け、該画像の各々における特徴点を検知し、
且つ隣接するビデオカメラによってキャプチャした画像
対の間で画像特徴点マッチングを実施する。本画像処理
システムは、２つの画像の間で特徴点がマッチされる
と、複数個の画像にわたっての特徴点のマッチングはピ
クセルレベル画像データを処理することは必要ではない
という事実を利用する。隣接する２ビュー画像に関して
実施する特徴点マッチングの結果はマルチビュー特徴点
相関のマッチングのために中央処理コンピュータへ通信
される。そのマルチビュー特徴点相関は、カメラポーズ
の決定及び三次元動画の発生をサポートするために本画
像処理システムによって使用される。

【００２０】本画像処理システムは、好適には、各カメ
ラから少なくとも２５メガバイト／秒の程度であるレー
トで発生されるデータを処理する。複数個のビデオスト
リームカメラによって発生されるデータは、典型的に、
各カメラと共に増加する。例えば、データを発生するた
めに１０個のカメラが使用される場合には、実時間で処
理されることを必要とする発生されたデータの総量は２
５０メガバイト／秒の程度である。

【００２１】本発明の好適実施例に基づく画像処理シス
テムは、例えば上述したように２５０メガバイト／秒で
あるこれらの複数個のカメラによって発生されるデータ
の量を取扱うために多数のプロセッサの間で画像処理を
分割させる。該例示的実施例によって使用されるアルゴ
リズムは３つの主要な部分に分解される。これら３つの
処理部分のうちの２つは該イメージ内において識別され
るマッチされた特徴点の定義を発生するためにキャプチ
ャされた画像データの全体の組を処理することを必要と
する。これら最初の２つの処理部分は該イメージデータ
に関して処理を行い且つ隣接するカメラによってキャプ
チャされた画像対におけるマッチングする特徴点の組合
わせを発生する。これら２つの処理部分のマッチした特
徴点データはオリジナルの画像データの組よりも著しく
小さなデータセットを有している。最終処理部分は画像
データそれ自身を必要とするものではなく、そのシーン
からキャプチャした全てのビューから派生されたデータ
の処理を必要とする。従って、この例示的実施例の最終
処理部分は中央プロセッサ上で動作し且つ本システムの
出力としてマッチした特徴点の最終組を発生するために
該最初の２つの処理部分によって発生されるより小さな
データ量の結果に関して動作するに過ぎない。

【００２２】好適実施例に基づく本画像処理システム
は、画像データをキャプチャする各カメラと関連してい
る別個のデータプロセッサを使用する。これらの別個の
データプロセッサの各々はそれと関連するカメラからの
データを受付け且つそのカメラによって発生される全体
的な画像データに関する初期的処理を実施する。個別的
なデータプロセッサによって実施される処理は１つの画
像内における１組の検知された特徴点を発生し且つこれ
らの特徴点と最も近くの隣りのカメラによってキャプチ
ャされた同一のシーンの同時的にキャプチャした画像内
の検知された特徴点とのマッチングを実施する。本画像
処理システムは、各特徴点の二次元座標によって識別さ
れるマッチされた特徴点の明細を最終処理のために複数
個のデータプロセッサから中央プロセッサへ通信する。
画像データの完全な組の代わりにマッチされた特徴点デ
ータのみを中央プロセッサへ通信することは、カメラに
よって最初に発生されたものよりも著しく小さな量のデ
ータを中央プロセッサへ通信させることとなる。

【００２３】従って、中央プロセッサによって実施され
る処理は、マッチされた特徴点データの著しくより小さ
なデータセットを効果的に処理するに過ぎず、それによ
りデータプロセッサと中央プロセッサとの間のデータ通
信及びその中央プロセッサの処理条件の両方を著しく減
少させる。中央プロセッサによって受取られるマッチさ
れた特徴点データの処理は全てのキャプチャした画像に
わたっての特徴点の改善され且つより正確なマッチング
を発生し且つこれらの決定された関係を使用してカメラ
ポーズを決定する。中央プロセッサによって決定される
カメラポーズデータは、次いで、稠密対応 (ｄｅｎｓｅ
ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ)を決定する後で使用
するために、メタデータとしてビデオ画像ストリームへ
付加させることが可能である。中央プロセッサによって
決定されるカメラポーズ (姿勢)は、又、そのカメラと
関連するデジタルプロセッサを使用して更なる稠密対応
情報を抽出することが可能であるように適宜のカメラへ
フィードバックさせることも可能である。

【００２４】本発明の好適実施例によって実施される処
理は２００１年４月３日付で出願した発明者Ｃｈｅｎの
関連する米国特許出願第０９／８２５，２６６号におい
て記載されており、その特許出願の記載内容全てを引用
によって本明細書に取込む。以下に説明する代替的実施
例は本明細書に記載する処理に対応する処理を実現する
ことが可能である。代替的実施例は、例えば、「ビデオ
レート稠密深さマッピング用ステレオマシン及びその新
たな適用（Ａ Ｓｔｅｒｅｏ Ｍａｃｈｉｎｅｆｏｒ
Ｖｉｄｅｏ−ｒａｔｅ Ｄｅｎｓｅ Ｄｅｐｔｈ Ｍａ
ｐｐｉｎｇａｎｄ ｉｔｓ Ｎｅｗ Ａｐｐｌｉｃａｔ
ｉｏｎ）」、Ｔａｋｅｏ Ｋａｎａｄｅ、Ａｔｓｕｓｈ
ｉ Ｙｏｓｈｉｄａ、Ｋａｚｕｏ Ｏｄａ、Ｈｉｒｏｓ
ｈｉＫａｎｏ、Ｍａｓａｙａ Ｔａｎａｋａ、第１５回
コンピュータビジョン・アンド・パターンレコグニショ
ンコンフェレンス (ＣＶＰＲ)のプロシーディングズ、
６月１８２０、１９９６、サンフランシスコの文献に記
載されているマルチベースライン方法を使用することが
可能である。別の例としては、代替的実施例はＫ． Ｎ
ｇの「３Ｄビデュアルモデリング及びバーチャルビュー
合成：全方向性画像を使用した共同レンジスペースステ
レオアプローチ（３Ｄ ＶｉｓｕａｌＭｏｄｅｌｉｎｇ
ａｎｄ Ｖｉｒｔｕａｌ Ｖｉｅｗ Ｓｙｎｔｈｅｓ
ｉｓ：Ａ Ｓｙｎｅｒｇｅｔｉｃ． Ｒａｎｇｅ−Ｓｐ
ａｃｅ Ｓｔｅｒｅｏ Ａｐｐｒｏａｃｈ Ｕｓｉｎｇ
Ｏｍｎｉ−Ｄｉｒｅｃｔｉｏｎａｌ Ｉｍａｇｅ
ｓ）」、博士論文、カリフォルニア大学、サンディエ
ゴ、２０００年３月に記載されているレンジスペース方
法を使用することが可能である。更に、別の例はＫｉｍ
Ｃ． Ｎｇ、Ｍｏｈａｎ Ｔｒｉｖｅｄｉ、Ｈｉｒｏ
ｓｈｉ Ｉｓｈｉｇｕｒｏの「一般化したマルチベース
ラインステレオ用レンジスペースアプローチ及び直接的
バーチャルビュー合成 (Ｒａｎｇｅ−Ｓｐａｃｅ Ａｐ
ｐｒｏａｃｈｆｏｒ Ｇｅｎｅｒａｒｉｚｅｄ Ｍｕｌ
ｔｉｐｌｅ Ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ ａｎｄ
Ｄｉｒｅｃｔ Ｖｉｒｔｕａｌ Ｖｉｅｗ Ｓｙｎｔ
ｈｅｓｉｓ)」、ＩＥＥＥ・ワークショップ・オン・ス
テレオ・アンド・マルチベースラインビジョン、２００
１年１２月９−１０の文献に記載されている。種々の代
替的実施例に対する適宜のハードウエア構成は本明細書
の開示に鑑み当業者にとって自明なものである。

【００２５】図１に示したように、本発明の好適実施例
によれば、画像マッチングシステム１００は１組のデジ
タルビデオカメラ１０２を有しており、この例示的実施
例においては３個のカメラ１０４，１０６，１０８によ
って示されており、それらは異なるポーズ即ち姿勢で配
設されている。各ビデオストリームカメラ１０４，１０
６，１０８は、夫々、デジタルプロセッサ１１５，１１
７，１１９へ結合されている。

【００２６】該ビデオストリームカメラの各々によって
キャプチャされる画像は初期的処理のために夫々のデジ
タルプロセッサの各々へ通信される。デジタルプロセッ
サ１１５，１１７，１１９によって実施される初期的処
理は関連するカメラによってキャプチャされた画像内の
特徴点の検知を包含している (それについては以下に説
明する)。

【００２７】各カメラからキャプチャされた画像及び画
像データ内の検知された特徴点の (Ｘ，Ｙ)座標によっ
て好適実施例において表現されている検知された特徴記
述は、複数個の画像データの初期的処理をサポートする
ためにカメラ間通信チャンネル１２０ａ，１２０ｂ，１
２０ｃを介してそのカメラの「最も近くの隣りの」カメ
ラへ通信され、これら２つの画像における特徴点は以下
に説明する如くにマッチ即ち照合される。

【００２８】例示的な画像処理システム１００におい
て、最も近くの隣りのカメラはカメラ間通信チャンネル
１２０ａ，１２０ｂ，１２０ｃの接続によって選択され
る。第一カメラと関連する第一デジタルプロセッサは第
一カメラによってキャプチャされた画像情報及びマッチ
された特徴点データを第二カメラと関連する第二下流側
デジタルプロセッサへ送信する。同様の態様で、第一カ
メラ用のデジタルプロセッサは第三カメラと関連する上
流側デジタルプロセッサから画像及びマッチされた特徴
点データを受取る。

【００２９】例示した実施例の各デジタルプロセッサは
カメラ間通信チャンネル１２０ａ，１２０ｂ，１２０ｃ
によってその「最も隣りの」プロセッサへ接続されてい
る。「最も近くの隣り」カメラの定義はデジタルプロセ
ッサ１１５，１１７，１１９の相互接続によって定義さ
れる。例示的な画像処理システム１００においては、中
間デジタルプロセッサ１１５がカメラ間通信チャンネル
１２０ｂによって下流側デジタルプロセッサ１１７へ接
続されており且つカメラ間通信チャンネル１２０ａを介
して上流側デジタルプロセッサ１１９へ接続している。
この実施例においては、各デジタルプロセッサによって
発生される画像及びマッチされた特徴点データは下流側
デジタルプロセッサが２ビュー画像マッチングを実施す
ることを可能とするために下流側デジタルプロセッサへ
通信される。

【００３０】この例示的な画像処理システム１００にお
いては、下流側デジタルプロセッサ１１７はカメラ間通
信リンク１２０ｃによって上流側デジタルプロセッサ１
１９へ接続している。デジタルプロセッサ１１５，１１
７，１１９によって発生されるデータは、次いで、最終
処理のためにカメラ・コンピュータ通信チャンネル１２
４を介して中央コンピュータ１１６へ通信される。

【００３１】ある時刻において、これらのカメラが３個
のカメラ１０４，１０６，１０８に対して図示されてい
る３個のキャプチャした画像１１４，１１６，１１８の
ような１組の画像を収集する。該１組の画像１１２内の
各画像はカメラの相対的運動によって該１組の画像１１
２における他の画像からずれている。例えば、第一画像
１１４及び第二画像１１６はシーン１２６に対してカメ
ラ１０４，１０６の異なるポーズ即ち姿勢に起因して両
方の画像１１４，１１６上で見つかる対応する特徴点の
間の距離だけ互いにずれることが可能である。２つの画
像１１４，１１６の間のこのカメラの相対的な運動は、
これら２つの画像１１４，１１６の間の対応 (即ち、マ
ッチ)する特徴点の間の運動ベクトルによって表わすこ
とが可能である。本明細書においては、カメラ相対運動
という用語は本発明の全ての変形実施例を広くカバーす
ることを意図しており、移動するシーン１２６及び／又
はカメラ１０４，１０６，１０８の任意の組合わせを表
わすことが可能である。

【００３２】例示した実施例のデジタルプロセッサ１１
５は図２に更に詳細に示してある。他のカメラ１０６，
１０８の各々に取付けられている本例におけるその他の
デジタルプロセッサ１１７，１１９の代表的なものであ
るカメラ１０４に取付けられている例示的なデジタルプ
ロセッサ１１５のコンポーネントが説明の便宜上図示さ
れている。デジタルプロセッサ１１５，１１７，１１９
の各々は、共通のアーキテクチャを共有しており且つ好
適実施例によって使用されるカメラの間で分散されてい
る各デジタルプロセッサ内において同様の処理が実施さ
れる。

【００３３】例示的なデジタルプロセッサ１１５は多数
の専用プロセッサを有しており、それらは、カメライン
ターフェース２２４を介して受取られる例示的なデジタ
ルプロセッサ１１５と関連するカメラから受取られるデ
ジタル画像データ、及び第一の隣りのインターフェース
入力２２６を介してカメラ間通信リンク１２０ａを介し
て受取られる本発明の例示的実施例における最も近くの
隣りのカメラから受取られる画像及び検知された特徴点
データを包含するデータメモリ２１４内に格納されてい
るデータを処理する。

【００３４】カメラインターフェース２２４は取付けら
れているカメラ１０４からの画像データを受付け且つプ
ロセッサ２４０によって発生されるコンフィギュレーシ
ョン(形態)及び動作コマンドを供給する。図示例におけ
る第一チャンネル間通信リンク１２０ａ及び第二チャン
ネル間通信リンク１２０ｂを包含するカメラ間通信リン
ク１２０は画像及び検知した特徴データを隣り合うカメ
ラの間で転送して初期データ処理をサポートする。好適
実施例におけるカメラ間通信リンク１２０はＩＴＵ６５
６スタンダードに準拠するインターフェースを介して実
現される。本明細書の記載に鑑み当業者にとって自明で
あるように、デジタルプロセッサ間において別の通信リ
ンクが必要なデータな通信することが可能である。この
ような変形例は、ＩＥＥＥ１３９４スタンダード (商品
名ＦＩＲＥＷＩＲＥ又はＩ−ＬＹＮＹとして知られてい
る)及びＵＳＢ２インターフェーススタンダードに準拠
するインターフェースを包含している。

【００３５】本発明の例示的実施例はデジタルプロセッ
サ１１５内の２画像相関を実施する処理を実現する。本
発明の別の実施例は各デジタルプロセッサ１１５内にお
いて３個又はそれ以上の画像間での相関を実施する処理
を実現することが可能である。このような変形実施例の
１つの例はデジタルプロセッサ１１５内においてトライ
フォーカル（三焦点）テンソル方法を実現することが可
能である。この三焦点テンソル方法は３個の画像の比較
を必要とする。このような変形実施例はデジタルプロセ
ッサ１１５，１１７，１１９間において双方向カメラ間
通信リンク１２０を使用することが可能である。デジタ
ルプロセッサ間の双方向通信リンクは２つの隣り合うカ
メラによってキャプチャされた画像データ及び必要とさ
れる場合には検知された特徴点データを、取付けられて
いるカメラ１０４によってキャプチャされた画像データ
での同時的処理のために、ローカルバッファ２６２及び
ローカル特徴点バッファ２６４からデジタルプロセッサ
１１５へ転送させることを可能とする。その他の変形実
施例は処理のために各デジタルプロセッサ１１５におい
てより多数の画像及び特徴点データを使用可能とさせる
ために、付加的なカメラ間において付加的なカメラ間通
信リンクを使用することが可能である。その他の変形実
施例は、付加的な画像及び特徴点データを各デジタルプ
ロセッサ１１５において使用可能とさせるために、隣り
のカメラから受取ったデータを「パススルー」即ち通過
させるようにデジタルプロセッサ１１５をコンフィギュ
ア (ｃｏｎｆｉｇｕｒｅ)即ち形態特定することが可能
である。

【００３６】本好適実施例の例示的なデジタルプロセッ
サ１１５は、更に、特徴検知器２３０、２ビュー画像比
較器２３２、２ビュー改良型マッチングプロセッサ２３
４を包含する専用のデータプロセッサを有しており、そ
れらは、全て、実際的な実時間画像処理のために必要と
される処理能力を維持するために並列的に動作する。本
実施例におけるこれらのプロセッサの機能について以下
に詳細に説明する。

【００３７】例示的なデジタルプロセッサ１１５はデー
タメモリ２１４を有している。データメモリ２１４は画
像メモリ２２０と特徴点メモリ２２１とを有している。
画像メモリ２２０はカメラインターフェース２２４を介
して受取られた画像データを包含するローカル画像バッ
ファ２６２を包含している。画像メモリ２２０は、又、
本実施例の隣りのインターフェース入力２２６を介して
隣りのカメラから受取られる画像データを包含するため
の遠隔画像バッファ２６６を包含している。特徴点メモ
リ２２１はローカル特徴点バッファ２６４、遠隔特徴点
バッファ２６８、マッチ済特徴点バッファ２５２用のメ
モリを包含している。ローカル特徴点バッファ２６４は
カメラインターフェース２２４から受取られた画像デー
タに対して特徴検知器２３０によって検知された特徴点
定義を格納するために使用される。遠隔特徴点データバ
ッファ２６８は本例の隣りのインターフェース入力２６
６を介して隣りのカメラから受取られる特徴点定義を格
納する。ローカル画像バッファ２６２内の画像データ及
びローカル特徴点バッファ２６４内に格納されている検
知された特徴点は隣りのインターフェース出力２２７を
介して次の隣りのカメラへ通信される。

【００３８】データメモリ２１４は、デジタルプロセッ
サ１１５内の特徴検知器プロセッサ２３０、２ビュー画
像比較器プロセッサ２３２、２ビュー改良型マッチング
プロセッサ２３４へ電気的に結合されている。特徴点メ
モリ２２１は、更に、マッチング済特徴点バッファ２５
２を有しており、それは、２ビュー画像比較器２３２に
よって決定され且つ以下に詳細に説明するように例示的
なデジタルプロセッサ１１５内の２ビュー改良型マッチ
ングプロセッサ２３４によって改良されたマッチ済の特
徴点を格納する。更に、データメモリ２１４はパラメー
タメモリ２２２を包含しており、デジタルプロセッサ１
１５内のプロセッサはコンフィギュレーション (形態)
及び計算パラメータを格納する。

【００３９】本実施例の専用プロセッサは特徴検知器２
３０を有しており、それはローカルバッファ２６２内に
包含している画像内の特徴点である独特の画像特徴を検
知するためにローカルバッファ２６２内に包含されてい
る画像データを処理する画像特徴検知器である。２ビュ
ー画像比較器２３２は、ローカル特徴点バッファ２６４
及び遠隔特徴点バッファ２６８内に格納されている特徴
点及びこれら２つの画像の解析を介してローカルバッフ
ァ２６２及び遠隔バッファ２６６内に格納されている画
像の間の画像特徴の第一対応を決定する初期画像相関器
である。本実施例の２ビュー画像比較器２３２は遠隔特
徴点バッファ２６８から検知された特徴点を受取る。遠
隔特徴点バッファ内の検知された特徴点は、異なるデジ
タルプロセッサ、即ち隣りのカメラと関連するデジタル
プロセッサ、例えば第一の隣りのカメラ１０６と関連す
る第一の隣りのデジタルプロセッサ１１７における特徴
点検知器によって本実施例において検知されたものであ
る。検知された特徴点の隣りのデジタルプロセッサ、例
えば第一の隣りのデジタルプロセッサからの通信は２ビ
ュー画像比較器も第一の隣りのデジタルプロセッサ１１
７内に包含されている特徴検知器２３０と通信可能に結
合させる。この文脈においての通信可能に結合されると
言うことは、特定の実施例の物理的エンティティ即ち実
体の間でデータ及び命令を通信する全ての手段及び方法
を包含することを意味している。２ビュー画像比較器２
３２はマッチ済特徴点メモリバッファ２５２内に第一対
応を格納する。本実施例の２ビュー改良型マッチングプ
ロセッサ２３４はマッチ済特徴点メモリバッファ２５２
内に格納されている第一対応を改良するために付加的な
処理を実施する。

【００４０】例示的なデジタルプロセッサ１１５はプロ
セッサ２４０及びプログラムメモリ２４４を包含してい
る。プロセッサ２４０はデジタルプロセッサ１１５の動
作を調整し且つプログラムメモリ２４４内に格納されて
いるプログラムコードを実行する。本実施例の特徴検知
器２３０、２ビュー画像比較器２３２、２ビュー改良型
マッチングプロセッサ２３４はデジタルプロセッサ１１
５内の専用の特定目的デジタルハードウエアで実現され
ている。この専用特定目的デジタルハードウエアの動作
は、好適には、プロセッサ２４０の処理によって調整さ
れる。本明細書の記載に鑑み当業者によって理解される
ように、別の実施例は、特徴検知器２３０、２ビュー画
像比較器２３２、２ビュー改良型マッチングプロセッサ
２３４の処理の幾つか又は全てを実施するために１個又
はそれ以上のプロセッサ２４０による実行のために、プ
ログラムメモリ２４４内に処理用ソフトウエアモジュー
ルを組込むことが可能である。これらの処理用モジュー
ルは、更に、デジタルプロセッサ１１５と同様のデジタ
ルプロセッサ内に組込むか、又はプロセッサ２４０及び
／又はメモリ２４４内の処理を区画化することにより複
数個のカメラによってキャプチャされる画像ストリーム
を処理する単一のプロセッサ内に組込むことが可能であ
る。

【００４１】例示した実施例の各デジタルプロセッサ１
１５，１１７，１１９は中央コンピュータシステム１１
６へ通信可能に結合されている。この例示的実施例にお
ける各カメラと関連しているデジタルプロセッサはその
カメラによってキャプチャされた画像とそのカメラの最
も近くの隣りのものによってキャプチャされた画像との
間で識別されている１組の相関された特徴点を発生す
る。その相関された特徴点は本実施例におけるカメラ・
コンピュータ通信チャンネル１２４を介して中央コンピ
ュータシステム１１６へ通信される。本実施例の全ての
デジタルプロセッサはカメラ・コンピュータ通信チャン
ネル１２４を介して中央コンピュータ１１６へ通信し、
そのチャンネルはこの実施例においてはファイアワイヤ
(ＦＩＲＥＷＩＲＥ)ネットワークインターフェースを
介して実現されている。デジタルプロセッサ１１５，１
１７，１１９と中央コンピュータ１１６との間において
その他の通信技術を使用することが可能であることは当
業者にとって明らかである。

【００４２】本実施例の中央コンピュータシステム１１
６は各カメラと関連しているデジタルプロセッサから受
取ったデータを格納し、次いで、以下に詳細に説明する
ように、好適な処理に従ってマルチビュー対応処理を実
施する。この好適実施例は該カメラ、又はそれらと関連
するデジタルプロセッサからの画像データを中央コンピ
ュータ１１６へ通信するものではない。この処理アーキ
テクチャは、中央コンピュータ１１６に関する処理条件
を減少させ且つ中央コンピュータ１１６へのデータの実
際的且つ経済的な通信を可能とさせるためにデジタルプ
ロセッサ１１５，１１７，１１９及び中央コンピュータ
１１６からのデータ送信条件を減少させる。マルチ画像
処理を複数個のプロセッサの間で分割するその他の処理
技術も本発明の変形実施例を実現するために使用するこ
とが可能である。

【００４３】本発明の好適実施例は画像データを収集す
る複数個のカメラの間で予備的２ビュー対応を分配す
る。このアーキテクチャはスケーラブル処理アーキテク
チャを提供し、付加的なカメラの使用に起因して付加的
な画像ビュー (視点)に関連する付加的な処理の多くを
これらの付加的なカメラと関連する別個のプロセッサの
間で分散させ且つそれらのプロセッサによって実施され
る。この付加的なカメラへの処理の分散は、全ての画像
データを中央化処理する場合に必要とされるよりも中央
処理における増加を著しく少ない状態で画像ビューを付
加する能力となる。該好適実施例はマルチビュー画像デ
ータの効率的な処理のために中央コンピュータ１１６に
おけるマルチビュー処理を実施する。このことは従来の
画像処理システムにおいては得ることが不可能な本発明
の顕著な利点である。

【００４４】この例示的実施例の中央コンピュータシス
テム１１６を図３により詳細に示してある。中央コンピ
ュータシステム１１６は、好適には、制御器／プロセッ
サ３１２を有しており、それは中央コンピュータデータ
メモリ３０６及びプログラムメモリ３１６へ電気的に結
合されている。制御器／プロセッサ３１２は、又、好適
には、ユーザインターフェース３１８へ電気的に結合さ
れており、該インターフェースは例えばモニタディスプ
レイ３２０を介してユーザへ情報を提供し、且つ例えば
本実施例のキーボード (不図示)及びマウス (不図示)等
のユーザ入力３２２を介してユーザからのユーザ入力を
受取る。

【００４５】本実施例のプログラムメモリ３１６は、マ
ルチビューロバストマッチング処理モジュール３３６及
びカメラポーズ決定モジュール３３８に対する動作シー
ケンスを実施するために制御器／プロセッサ３１２に対
してコンピュータプログラム命令を供給する。マルチビ
ューロバストマッチング処理モジュール３３６は本実施
例における最終画像相関器の機能を実施する。

【００４６】中央コンピュータデータメモリ３６０は各
カメラと関連している各デジタルプロセッサから受取っ
た各組の特徴点及び特徴点対応データに対する格納部を
有している。図３に示した好適実施例は第一カメラと関
連するデジタルプロセッサから受取った第一組の画像特
徴データ３８２ａ、第二カメラと関連するデジタルプロ
セッサから受取った第二組の特徴データ３８２ｂ、ｎ番
目のカメラから受取ったｎ番目の組の特徴データ３８２
ｎを示している。中央プロセッサは各デジタルプロセッ
サからの各画像に対して受取ったデータを格納し且つ、
以下に説明するように、そのデータに関して処理を実施
する。

【００４７】本実施例に基づくｍビューロバストマッチ
ングモジュール３３６は各画像内に包含されているマッ
チされた特徴点に関してのみ動作を行う。種々のカメラ
によってキャプチャされる種々の画像は、全てが、オブ
ジェクト１２６の異なるビュー即ち視点に起因する同一
の特徴点を包含していない場合がある。極端な例におい
ては、オブジェクト１２６の１つの側面のビュー即ち視
点でカメラによってキャプチャされた画像はそのオブジ
ェクトの反対側のキャプチャされた画像と共通するより
少ない特徴点を有する場合がある。本実施例の処理は、
隣接する画像が多数の特徴点を共有する限り、１つのシ
ーンの異なる画像によって共有されることのない特徴点
を受付ける。このことは、１つのシーンの１組の複数個
の画像が共有される特徴点を有することのないこれらの
画像、即ち該シーンのビューの幾つかを包含する場合が
ある可能性となる。本好適実施例の処理は図４に示した
ように特徴点存在マトリクス４００を維持する。この実
施例による特徴点存在マトリクス４００は各画像に対し
て１つの行を包含しており且つ各特徴点に対して１つの
列を有している。１つの画像における１つの特徴点の存
在は該マトリクスの関連する位置における「真」インジ
ケータによって表わされており、一方１つの位置におけ
る「偽」インジケータは、その特徴点が関連する画像内
に存在しないことを表わしている。ｍビューマッチング
処理は、存在マトリクス４００の内容によって表わされ
るように、２個又はそれ以上の画像によって共有される
特徴点のみを処理する。

【００４８】本発明の好適実施例によれば、システム１
００のかなりの部分は集積回路によって実現することが
可能である。例えば、コンピュータシステム１１６の機
能的コンポーネントは少なくとも１個の集積回路で実現
することが可能である。同様に、デジタルプロセッサ１
１５，１１７，１１９のかなりの部分は少なくとも１個
の集積回路で実現することが可能である。

【００４９】本発明の好適実施例に基づく各カメラと関
連するデジタルプロセッサは本好適実施例によって使用
される４個の画像対応処理ステージのうちの３つを包含
している。第一画像対応処理ステージは特徴点検知処理
を実施する特徴点検知器２３０である。第二画像対応処
理ステージは２ビュー画像比較器２３２によって実施さ
れる。典型的に、画像特徴の幾つかの潜在的なマッチは
その第二ステージにおいて見出される。これらの潜在的
なマッチは次のステージに対する開始点を与える。２つ
の最も近い隣りの画像内の画像特徴の全ての潜在的なマ
ッチは第三ステージにおいて見出され、そのことは２ビ
ュー改良型マッチングプロセッサ２３４によって実施さ
れる。各カメラと関連している複数個のプロセッサ内の
全てのキャプチャされた画像ビューに対して並列的に動
作する２ビュー改良型マッチングプロセッサ２３４は、
汚染率 (全ての候補に対するアウトライヤー即ち異常値
の比)を効果的に１０％未満へ減少させ、従って本好適
実施例の中央コンピュータ１１６内のキャプチャされた
画像の全てのマッチされた特徴点定義のみについて実施
される第四ステージ、即ちマルチビューマッチングステ
ージ３３６において少数の反復が必要とされるに過ぎな
い。このことは全体的なアプローチを非常に効率的なも
のとさせ且つ本発明を使用するどのような具体例もその
商業的有用性を向上させる。複数個の画像ビューが相関
された後に、中央コンピュータ１１６内のカメラポーズ
処理が各カメラに対するカメラポーズを決定する。

【００５０】上述した説明は本発明の例示的実施例によ
って実施される処理を定義している。本発明を実現する
システムの機能性を達成するために別の処理アルゴリズ
ムを実施することが可能であることは明らかである。

【００５１】画像マッチング決定システムの連続的動作 本発明の好適実施例は、ビデオストリームカメラ、例え
ば本実施例の３個のカメラ１０４，１０６，１０８が連
続して画像をキャプチャする場合に連続的に動作する。
キャプチャされた画像データはデジタルプロセッサ、例
えば本実施例の３個のデジタルプロセッサ１１５，１１
７，１１９及び中央コンピュータ１１６によって継続的
に処理される。中央コンピュータ１１６によって処理さ
れる継続的にキャプチャされた画像は、該画像の全ての
特徴点が上述した処理に従ってマッチされると、三次元
動画へ処理することが可能である。

【００５２】本発明の好適実施例の中央コンピュータ１
１６によって実施される例示的な連続的処理ループ５０
０は図５に例示してある。処理は中央コンピュータ１１
６内の処理ソフトウエアによってローカル格納 (記憶)
部及びその他のファシリティのステップ５０２における
処理化で開始する。中央コンピュータソフトウエアが初
期化されると、処理はステップ５０４へ移行し、カメラ
及びデジタルプロセッサへのコマンドによってそれらの
処理を初期化させる。該初期化コマンドはカメラ・コン
ピュータ通信チャンネル１２４を介してデジタルプロセ
ッサへ通信される。

【００５３】次いで、中央コンピュータ１１６内の処理
はステップ５０８乃至５１２によって形成されるフレー
ム処理ループへ入り、それはほぼ同時にキャプチャした
全てのカメラによってキャプチャされた画像の全てから
の特徴点を処理し、例えば、そのフレームの三次元画像
を発生するために使用することが可能な単一画像フレー
ムに対するデータセットを発生する。該フレーム処理ル
ープ内の処理はほぼ同時にキャプチャされた各カメラか
らの画像内のマッチング特徴点のリストを収集する。次
いで、該処理は一連の画像、同時にキャプチャされた画
像内のマッチング点を識別する画像対応データ、及び各
画像をキャプチャした相対的なカメラ位置の定義からな
るデータを発生する。

【００５４】該フレーム処理ループはステップ５０８に
おける処理で開始し、特徴点定義及び画像特徴点データ
の２ビュー蓋然性マッチ組が各カメラ及びデジタルプロ
セッサから受取られる。次いで、中央コンピュータ１１
６での処理はステップ５１０へ移行し、上述した如くＭ
ビューロバストマッチング処理を行う。ステップ５１０
における中央コンピュータ１１６も画像を収集するため
に使用される相対的なカメラポーズの定義を発生する。
次いで、ステップ５１２において中央コンピュータ１１
６は画像、該画像の間のマッチされた特徴点の組、及び
その画像に対する相対的カメラポーズを格納する。次い
で、ステップ５０８において、カメラ及びデジタルプロ
セッサからのデータの次の組が受取られるまで、処理は
中断される。

【００５５】カメラと関連する各デジタルプロセッサに
おいて実施される反復的カメラ処理６０６を図６に示し
てある。該反復的カメラ処理はステップ６０２において
開始し、カメラ及びデジタルプロセッサが初期化され
る。好適実施例においては、カメラ及びデジタルプロセ
ッサの初期化は中央コンピュータ１１６によるカメラ及
びデジタルプロセッサへのコンフィギュレーション (形
態特定)データの送信を包含している。

【００５６】カメラ及びデジタルプロセッサが初期化さ
れ且つコンフィギュレーションデータが受取られると、
デジタルプロセッサ及び関連するカメラは処理ループに
入り、そこで時間系列の画像のうちの各画像が処理され
る。ステップ６０４において該処理ループはカメラによ
ってキャプチャされた画像で開始する。次いで、デジタ
ルプロセッサはステップ６０５へ移行してキャプチャし
た画像データを処理して該データ内のデータ特徴点を識
別する。ステップ６０４においてキャプチャされた画像
及びステップ６０５において計算された特徴点はステッ
プ６０６において最も近い隣りのカメラへ通信される。
次いで、デジタルプロセッサはステップ６０８において
最も近くの隣りのカメラによってキャプチャされた画像
及び該最も近くの隣りのカメラと関連するデジタルプロ
セッサによって計算された識別された特徴を受取る。上
述した如く、好適実施例はその画像をキャプチャしたカ
メラと関連するデジタルプロセッサにおいて画像内の特
徴点を識別する。別の実施例は、単に、最も近くの隣り
のカメラの間で画像データを転送し且つ２ビュー画像処
理の前に受取り側のカメラにおいて最も近くの隣りの画
像の特徴点を識別することが可能であることは明らかで
ある。

【００５７】次いで、デジタルプロセッサ内の処理はス
テップ６１０へ移行してステップ６０４においてキャプ
チャされ且つステップ６０８における受取られた画像に
対して上述した２ビュー処理が実施される。ステップ６
１０において２ビュー画像データを発生した後に、ステ
ップ６１２において特徴点リスト及び最も蓋然性の高い
マッチされた特徴点が中央コンピュータ１１６へ送信さ
れる。次いで、処理はステップ６０４へ復帰し新たな画
像がキャプチャされる。

【００５８】代替的実施例 上述した好適実施例は本発明の実際的且つ経済的な実現
例を表わしている。本発明のその他の実施例も上述した
利点を実現することが可能である。

【００５９】複数個のカメラによってキャプチャされた
複数個の画像を処理するために別のアルゴリズムを使用
することは本発明の別の好適実施例内に組込むことが可
能である。独特の画像ピクセルパターンの初期的画像対
応推定を発生するために画像のサブセットを処理する初
期的処理ステージと、該複数個の初期的対応推定を結合
し且つ改良即ち洗練化させる最終的処理ステージとの間
での処理の分割は、実時間で三次元動画を発生するため
に複数個の画像を効率的に処理することが可能な実際的
なシステムを生成することを可能とする。キャプチャさ
れたシーンの画像のサブセットの初期的処理の分割もス
ケーラブルな実現を可能とし、その場合に、画像処理シ
ステムの処理遅延において認知可能な程度の増加を発生
することなしに、付加的なカメラ及びそれらがキャプチ
ャした画像を処理することが可能である。

【００６０】本発明は大量の画像データの処理を必要と
する画像データの初期的処理を同一のシーンの複数個の
画像の実時間処理を可能とする並列的に実行を行う処理
への分割を使用している。従って、初期的処理の結果は
最終的処理のために中央コンピュータ１１６へ通信され
る。本明細書に開示した分割型処理アーキテクチャへ適
用することが可能なその他の画像処理方法の例としては
以下のようなものがある。

【００６１】例示的実施例の特徴検知器２３０によって
実施されるような画像特徴検知を実現する方法は、別法
として、Ｓ．Ｍ． Ｓｍｉｔｈによって教示される方法
によって実施することが可能である。その方法は、無人
ビークル (乗物)の案内のためにエッジ (端部)及び／又
はコーナー (角部)の位置を決定するためにデジタル的
に画像を処理する方法であって、英国国防省によって所
有されている米国特許２，２７２，２８５号、１９９７
年１月１５日の特許に開示されている。

【００６２】例示的実施例の２ビュー画像比較器２３２
及び２ビュー改良型マッチングプロセッサ２３４によっ
て実施されるような２ビュー画像マッチングを実現する
方法は、別法として、以下の文献に記載されている方法
によって実施することが可能である。

【００６３】Ｚ． Ｚｈａｎｇ、Ｒ． Ｄｅｒｉｃｈ
ｅ、Ｑ．−Ｔ． Ｌｕｏｎｇ、Ｏ．Ｆａｕｇｅｒａｓの
「画像マッチングへのロバストアプローチ：エピポラー
幾何学の回復 (Ａ Ｒｏｂｕｓｔ Ａｐｐｒｏａｃｈ
ｔｏ Ｉｍａｇｅ Ｍａｔｃｈｉｎｇ： Ｒｅｃｏｖｅ
ｒｙ ｏｆ ｔｈｅ Ｅｐｉｐｏｌａｒ Ｇｅｏｍｅｔ
ｒｙ)」、プロシーディングズ・インターナショナル・
シンポジウム・オブ・ヤング・インベスティゲーターズ
・オン・インフォメーション／コンピュータ／コントロ
ール、７−２８頁、北京、中国、１９９４年２月。

【００６４】Ｒ． Ｄｅｒｉｃｈｅ、Ｚ． Ｚｈａｎ
ｇ、Ｑ．−Ｔ． Ｌｕｏｎｇ、Ｏ．Ｆａｕｇｅｒａｓの
「非較正ステレオリグに対するエピポラー幾何学のロバ
スト回復 (Ｒｏｂｕｓｔ Ｒｅｃｏｖｅｒｙ ｏｆ ｔ
ｈｅ Ｅｐｉｐｏｌａｒ Ｇｅｏｍｅｔｒｙ ｆｏｒ
ａｎ Ｕｎｃａｌｉｂｒａｔｅｄ Ｓｔｅｒｅｏ Ｒｉ
ｇ)」、ＥＥＣＶ９４、Ｖｏｌ．１、５６７−５７６
頁、ストックフォルム、スエーデン、１９９４年５月。

【００６５】Ｚ． Ｚｈａｎｇ、Ｒ． Ｄｅｒｉｃｈ
ｅ、Ｏ． Ｆａｕｇｅｒａｓ、Ｑ．−Ｔ． Ｌｕｏｎｇ
の「未知のエピポラー幾何学の回復を介して２つの非較
正画像をマッチングさせるロバスト技術（Ａ Ｒｏｂｕ
ｓｔ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｍａｔｃｈｉｎｇ
Ｔｗｏ Ｕｎｃａｌｉｂｒａｔｅｄ ＩｍａｇｅｓＴ
ｈｒｏｕｇｈ ｔｈｅ Ｒｅｃｏｖｅｒｙ ｏｆ ｔｈ
ｅ ＵｎｋｎｏｗｎＥｐｉｐｏｌａｒ Ｇｅｏｍｅｔｒ
ｙ）」、アーティフィシャル・インテリジェンス・ジャ
ーナル、Ｖｏｌ．７８、８７−１１９頁、１９９５年１
０月。又、研究報告書番号２２７３、ＩＮＲＩＡソフィ
ア−アンティポリス。又、プロシーディング・サード・
インターナショナル・コンフェレンス、オートメーショ
ン・ロボティックス・コンピュータ・ビジョン、１１０
２−１１０６頁、シンガポール、１９９４年１１月。

【００６６】例示的実施例の中央コンピュータ１１６に
よって実施されるマルチビュー画像処理及び２ビュー画
像比較器２３２及び２ビュー改良型マッチングプロセッ
サ２３４の２ビュー画像処理は、別法として、Ｐ．Ｈ．
Ｓ． Ｔｏｒｒ、Ａ． Ｚｉｓｓｅｒｍａｎの「三焦点
テンソルのロバストパラメータ化及び計算 (Ｒｏｂｕｓ
ｔ Ｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ ａｎｄ Ｃｏ
ｍｐｕｔａｔｉｏｎｏｆ ｔｈｅ Ｔｒｉｆｏｃａｌ
Ｔｅｎｓｏｒ)」、イメージ・アンド・ビジョン・コン
ピューティング１５、１９９７、５９１６０５に記載さ
れているトライフォーカル (三焦点)テンソル方法に従
って実施することが可能である。

【００６７】注意すべきことであるが、上述した例示的
実施例は２ビュー画像処理を示すものであるが、本発明
の教示によって意図された別の実現例は複数個のカメラ
ビューにわたっての画像特徴のマッチングを包含するこ
とが可能である。特定の例において、３ビュー画像比較
器がデジタルプロセッサ１１５，１１７，１１９内に常
駐することが可能であり、且つ画像データバッファのト
リプルセット即ち３組がデータメモリ２２０内に存在す
ることが可能であり、それにより三焦点テンソル方法を
容易化させる。更に、注意すべきことであるが、デジタ
ルプロセッサ１１５，１１７，１１９の隣りのインター
フェース１２０ａ，１２０ｂの双方向通信能力はデジタ
ルプロセッサ１１５，１１７，１１９のどの間の画像デ
ータの通信可能な結合も容易なものとさせる。従って、
この特定の例においては、３つのビュー即ち視点の画像
特徴点をトライフォーカルテンソル方法を使用して同時
的に使用することが可能である。

【００６８】例示的実施例の中央コンピュータ１１６に
よって実施されるマルチビュー画像処理及び２ビュー比
較器２３２及び２ビュー改良型マッチングプロセッサ２
３４の２ビュー画像処理もＭ． Ｐｏｌｌｅｆｅｙｓ、
Ｒ． Ｋｏｃｈ、Ｌ． Ｖａｎ Ｇｏｏｌの「変化し且
つ未知の内部カメラパラメータに拘わらずに自動較正及
びメトリック再生 (Ｓｅｌｆ−Ｃａｌｉｂｒａｔｉｏｎ
ａｎｄ Ｍｅｔｒｉｃ Ｒｅｃｏｎｓｔｒｕｃｔｉｏ
ｎ ｉｎ ｓｐｉｔｅ ｏｆ Ｖａｒｙｉｎｇａｎｄ
Ｕｎｋｎｏｗｎ Ｉｎｔｅｒｎａｌ Ｃａｍｅｒａ Ｐ
ａｒａｍｅｔｅｒｓ)」、インターナショナル・ジャー
ナル・オブ・コンピュータ・ビジョン、３２（１）、７
−２５、１９９９に記載されている自動較正方法に従っ
て実施することも可能である。

【００６９】本発明は、又、一連の初期的画像対応デー
タセットを発生し次いでこれらの初期的画像対応推定の
最終的処理を実施するために、別々のメモリパーティシ
ョンにおける別々の処理内において、又はマルチプロセ
ス環境において、画像の複数個のサブセットを別々に処
理する形態とされているパーティション型プロセッサ上
で効果的に実現することが可能である。

【００７０】２個又はそれ以上のカメラと関連するプロ
セッサの間で処理を分散させることにより例示した実施
例における中央プロセッサ１０４の処理を本発明の別の
実施例が実施することが可能であることも明らかであ
る。これらの実施例は、データプロセッサと二次的プロ
セッサと各カメラと連結させ且つ中央プロセッサ１０４
の処理を実現するために該二次的プロセッサの間でデー
タを通信することが可能である。これらの実施例におけ
る二次的プロセッサは各カメラと関連させるか、又は単
にカメラのサブセットと関連させることが可能である。

【００７１】画像マッチング及びカメラポーズ決定シス
テムの実現 本発明はハードウエア、ソフトウエア、又はハードウエ
アとソフトウエアとの組合わせで実現することが可能で
ある。本発明の好適実施例に基づくシステムは１つのコ
ンピュータシステムにおいて中央化した態様で実現する
ことが可能であり、又は異なる要素が幾つかの相互接続
されたコンピュータシステムにわたって分散されている
分散型の態様で実現することが可能である。任意の種類
のコンピュータシステム、又は本明細書に記載した方法
を実施するのに適したその他の装置又は集積回路が適し
ている。典型的なハードウエアとソフトウエアとの組合
わせはコンピュータプログラムを有する汎用コンピュー
タシステムとすることが可能であり、該コンピュータプ
ログラムがロードされ且つ実行されると、本明細書に記
載した方法を実施するようにコンピュータシステムを制
御する。本明細書においては、システム要素はハードウ
エアプロセッサ上で実行するソフトウエアプログラムか
ら構成することが可能である。該要素は、所要の処理を
実行させることが可能な命令と呼ぶことが可能であり、
且つ該要素はその機能を実現するためにハードウエアプ
ロセッサへ通信可能に結合される。

【００７２】本発明は、又、コンピュータプログラムプ
ロダクトの形態で実現することが可能であり、それは本
明細書に記載した方法の実現を可能とする全ての特徴を
有しており、且つ、それは、コンピュータシステム内に
ロードされた場合に、これらの方法を実施することが可
能である。この文脈においてのコンピュータプログラム
手段又はコンピュータプログラムは直接的に又は (ａ)
別の言語、コード又は表記への変換及び（ｂ）異なる形
式における再生のいずれか又は両方の後に情報処理能力
を具備するシステムをして特定の機能を実施させること
を意図した１組の命令の任意の言語における任意の表
現、コード又は表記を意味している。

【００７３】各コンピュータシステムは、１個又はそれ
以上のコンピュータ及びコンピュータがデータ、命令、
メッセージ又はメッセージパケット、及びコンピュータ
によって読取可能な媒体からのその他のコンピュータが
読取可能な情報を読取ることを可能とする少なくとも１
個のコンピュータによって読取可能な媒体を有すること
が可能である。該コンピュータによって読取可能な媒体
は、例えばＲＯＭ等の非揮発性メモリ、フラッシュメモ
リ、ディスクドライブメモリ、ＣＤ−ＲＯＭ、その他の
永久的な記憶 (格納)装置を有することが可能である。
更に、コンピュータによって読取可能な媒体は、例え
ば、ＲＡＭ、バッファ、キャッシュメモリ、ネットワー
ク回路等の揮発性格納 (記憶)装置を有することが可能
である。更に、該コンピュータによって読取可能な媒体
は、コンピュータがこのようなコンピュータによって読
取可能な情報を読取ることを可能とする有線ネットワー
ク又は無線ネットワークを包含するネットワークリンク
及び／又はネットワークインターフェース等の過渡的状
態媒体におけるコンピュータによって読取可能な情報を
包含することが可能である。

【００７４】本発明に基づく画像マッチングシステムは
従来技術と比較して顕著な利点を提供している。本画像
マッチングシステムはビデオ画像をキャプチャする各カ
メラと関連しているプロセッサの間でデータ集約的処理
を分割即ち分散させる。このアーキテクチャはマルチビ
デオ画像ストリームの著しくより高速な処理を可能とし
且つシステムへ付加的なカメラを付加することを可能と
することによりカメラの数におけるスケーラビリティ即
ち拡縮可能性を提供しており、一方、複数個のカメラの
画像を互いにマッチさせ且つ三次元ビデオの発生をサポ
ートするために、３０フレーム／秒の程度のビデオデー
タレートでこれらの複数個のカメラによってキャプチャ
されるビデオ画像の実時間処理を可能としている。

【００７５】従って、本発明の実施例の顕著な効率に起
因して、集積回路 (ＩＣ)チップにおける実現が可能で
あり且つ望ましいものである。一般的に、例えばＩＣ、
回路基板、及びプリント回路カードによって供給される
ような回路支持基板及び関連する回路、及び上述した本
発明に基づく機能的モジュールを包含するその他の同様
の実施例は、本発明に基づく非常に正確な画像マッチン
グ方法からコンピュータシステムが利点を享受すること
を可能とするモジュール型解決を提供することが可能で
ある。

【００７６】以上、本発明の具体的実施の態様について
詳細に説明したが、本発明は、これら具体例にのみ制限
されるべきものではなく、本発明の技術的範囲を逸脱す
ることなしに種々の変形が可能であることは勿論であ
る。

【図面の簡単な説明】

【図１】 本発明の好適実施例に基づく例示的な画像マ
ッチングシステムを示した機能的ブロック図。

【図２】 本発明の好適実施例に基づく図１の例示的な
画像マッチングシステム内のデジタルプロセッサのより
詳細な構成を示した機能的ブロック図。

【図３】 本発明の好適実施例に基づく図１の例示的な
画像マッチングシステム内の中央コンピュータのより詳
細な構成を示した機能的ブロック図。

【図４】 本発明の好適実施例によって使用される存在
マトリクスを示した概略図。

【図５】 本発明の好適実施例に基づく中央コンピュー
タによって実施される処理を示したフローチャート。

【図６】 本発明の好適実施例に基づくデジタルプロセ
ッサによって実施される処理を示したフローチャート。

【符号の説明】

１００ 画像マッチングシステム １０２ デジタルビデオカメラ １０４，１０６，１０８ カメラ １１５，１１７，１１９ デジタルプロセッサ １２０ａ，１２０ｂ，１２０ｃ カメラ間通信チャンネ
ル １２４ カメラ・コンピュータ通信チャンネル

フロントページの続き (72)発明者 ピーター ジェイ． マクギネス アメリカ合衆国， カリフォルニア 92064， サン ディエゴ， ツイン ピ ークス ロード 14540 (72)発明者 ジョージ キュー． チェン アメリカ合衆国， カリフォルニア 92129， サン ディエゴ， ドーマウス ロード 12396 (72)発明者 クリフォード エム． ステイン アメリカ合衆国， カリフォルニア 92122， サン ディエゴ， チャーマン ト ドライブ 7045， ナンバー 154 (72)発明者 キム シー． ヌグ アメリカ合衆国， カリフォリニア 92117， サン ディエゴ， ウェルター ノ アベニュー 4060， ナンバー 208 Ｆターム(参考） 5L096 CA05 FA09 FA34 JA11

Claims (24)

【特許請求の範囲】
1. 【請求項１】 画像処理システムにおいて、 複数個の画像特徴検知器が設けられており、前記複数個
   の画像特徴検知器の内の各画像特徴検知器は第一複数個
   の画像のうちの少なくとも１つにおいて１組の独特の画
   像特徴を検知するものであり、前記第一複数個の画像は
   事前には不知である異なる物理的位置からキャプチャし
   たシーンの画像を有しており、 複数個の初期画像相関器が設けられており、前記複数個
   の初期画像相関器内の各初期画像相関器は前記第一複数
   個の画像のうちの少なくとも２つの画像内の独特の画像
   特徴の第一対応を決定するために前記複数個の画像特徴
   検知器内の前記画像特徴検知器のうちの少なくとも１つ
   と通信可能に結合されており、 前記第一複数個の画像内の前記少なくとも２つの画像を
   包含する第二複数個の画像において検知した独特の画像
   特徴の最終的対応を決定するために最終画像相関器が前
   記複数個の初期画像相関器の各々と通信可能に結合され
   ている、ことを特徴とする画像処理システム。
2. 【請求項２】 請求項１において、独特の画像特徴が特
   徴点であることを特徴とする画像処理システム。
3. 【請求項３】 請求項１において、前記第一複数個の画
   像内及び前記第二複数個の画像内の各画像が実時間動画
   内の１つの画像であることを特徴とする画像処理システ
   ム。
4. 【請求項４】 請求項１において、前記複数個の画像特
   徴検知器内の第一画像特徴検知器及び前記複数個の初期
   画像相関器内の第一初期画像相関器が、前記複数個の画
   像のうちの少なくとも１つの画像をキャプチャするため
   の第一カメラへ通信可能に結合されている第一デジタル
   プロセッサへ通信可能に結合されていることを特徴とす
   る画像処理システム。
5. 【請求項５】 請求項４において、前記最終画像相関器
   が第二プロセッサへ通信可能に結合されていることを特
   徴とする画像処理システム。
6. 【請求項６】 請求項１において、各初期画像相関器
   が、第一蓋然的マッチ組の各マッチに対してマッチング
   する隣りのものの独特な画像特徴の総数に少なくとも部
   分的に基づいて対応の最大平均強度を有するものと決定
   される第一蓋然的マッチ組の独特の画像特徴を計算する
   ことを特徴とする画像処理システム。
7. 【請求項７】 請求項１において、前記最終画像相関器
   は前記第一対応を改善し、その結果前記少なくとも２つ
   の画像の間の画像特徴の少なくとも第二蓋然的マッチ組
   を発生し、前記少なくとも第二蓋然的マッチ組は、前記
   少なくとも第二蓋然的マッチ組の射影再生から得られる
   マッチした独特の画像点に対する再射影エラーの計算に
   少なくとも部分的に基づいていることを特徴とする画像
   処理システム。
8. 【請求項８】 請求項７において、前記少なくとも第二
   蓋然的マッチ組が前記少なくとも第二蓋然的マッチ組に
   おけるマッチされた独特の画像点に関連する再射影エラ
   ーの最小二乗メディアンに少なくとも部分的に基づいて
   いることを特徴とする画像処理システム。
9. 【請求項９】 複数個の画像の間で画像特徴をマッチン
   グする方法において、 第一複数個の画像の第一画像における第一組の独特の画
   像特徴を検知し、前記複数個の画像は事前に不知である
   異なる物理的位置から同時的にキャプチャしたシーンの
   画像を有しており、 前記第一組の独特の画像特徴と前記第一複数個の画像の
   少なくとも第二画像内において検知した少なくとも第二
   組の独特特徴との間の独特の特徴画像の第一対応を決定
   し、 前記第一複数個の画像内において前記第一画像及び前記
   少なくとも第二画像を包含する第二複数個の画像におい
   て検知された独特の画像特徴の最終的対応を決定する、
   ことを特徴とする方法。
10. 【請求項１０】 請求項９において、前記独特の画像特
    徴が特徴点であることを特徴とする方法。
11. 【請求項１１】 請求項９において、実時間ビデオデー
    タを処理するために前記方法の各ステップを繰返し実施
    することを特徴とする方法。
12. 【請求項１２】 請求項９において、前記検知するステ
    ップ及び前記第一対応を決定するステップが前記第一画
    像をキャプチャしたカメラと関連している第一プロセッ
    サにおいて実施されることを特徴とする方法。
13. 【請求項１３】 請求項１２において、前記最終的対応
    を決定するステップが第二プロセッサにおいて実施され
    ることを特徴とする方法。
14. 【請求項１４】 請求項９において、前記第一対応を決
    定するステップが、第一蓋然的マッチ組の各マッチに対
    するマッチングする隣りのものの独特の画像特徴の総数
    に少なくとも部分的に基づいた対応の最大平均強度を有
    するものとして決定される独特の画像特徴の第一蓋然的
    マッチ組を発生することを特徴とする方法。
15. 【請求項１５】 請求項９において、前記最終的対応を
    決定するステップが、前記第一画像と前記少なくとも第
    二画像との間の画像特徴の少なくとも第二蓋然的マッチ
    組を発生する前記第一対応の改良を決定し、前記少なく
    とも第二蓋然的マッチ組が前記少なくとも第二蓋然的マ
    ッチ組の射影再生から発生するマッチされた独特の画像
    点に対する再射影エラーの計算に少なくとも部分的に基
    づいていることを特徴とする方法。
16. 【請求項１６】 請求項１５において、前記少なくとも
    第二蓋然的マッチ組は、前記少なくとも第二蓋然的マッ
    チ組におけるマッチされた独特の画像点に関連する再射
    影エラーの最小二乗メディアンに少なくとも部分的に基
    づいていることを特徴とする方法。
17. 【請求項１７】 複数個の画像の間において画像特徴を
    マッチングさせるコンピュータ命令を包含するコンピュ
    ータ読取可能媒体において、コンピュータをして、 事前に不知である異なる物理的位置から同時的にキャプ
    チャされたシーンの画像を包含する第一複数個の画像の
    第一画像において第一組の独特の画像特徴を検知させ、 前記第一組の独特の画像特徴と前記第一複数個の画像の
    少なくとも第二画像内において検知した少なくとも第二
    組の独特の特徴画像との間の独特の特徴画像の第一対応
    を決定させ、 前記第一複数個の画像内において前記第一画像及び前記
    少なくとも第二画像を包含する第二複数個の画像におい
    て検知された独特の画像特徴の最終的対応を決定させ
    る、命令を有していることを特徴とするコンピュータに
    よって読取可能な媒体。
18. 【請求項１８】 請求項１７において、独特の画像特徴
    が特徴点であることを特徴とするコンピュータによって
    読取可能な媒体。
19. 【請求項１９】 請求項１７において、実時間ビデオデ
    ータを処理するために前記命令が繰返し実施されること
    を特徴とするコンピュータによって読取可能な媒体。
20. 【請求項２０】 請求項１７において、前記検知させる
    命令及び前記第一対応を決定させる命令が前記第一画像
    をキャプチャしたカメラと関連している第一プロセッサ
    において実行されることを特徴とするコンピュータによ
    って読取可能な媒体。
21. 【請求項２１】 請求項２０において、前記最終的対応
    を決定する命令が第二プロセッサにおいて実行されるこ
    とを特徴とするコンピュータによって読取可能な媒体。
22. 【請求項２２】 請求項１７において、前記第一対応を
    決定させる命令が、第一蓋然的マッチ組の各マッチに対
    してマッチングする隣りのものの独特の画像特徴の総数
    に少なくとも部分的に基づく対応の最大平均強度を有す
    るものとして決定される独特の画像特徴の第一蓋然的マ
    ッチ組を発生させる命令を有していることを特徴とする
    コンピュータによって読取可能な媒体。
23. 【請求項２３】 請求項１７において、前記最終的対応
    を決定させる命令が、前記第一画像と前記少なくとも第
    二画像との間の画像特徴の少なくとも第二蓋然的マッチ
    組を発生する前記第一対応の改良を決定する命令を有し
    ており、前記少なくとも第二蓋然的マッチ組が前記少な
    くとも第二蓋然的マッチ組の射影再生から発生するマッ
    チされた独特の画像点に対する再射影エラーの計算に少
    なくとも部分的に基づいていることを特徴とするコンピ
    ュータによって読取可能な媒体。
24. 【請求項２４】 請求項２３において、前記第二蓋然的
    マッチ組が前記少なくとも第二蓋然的マッチ組における
    マッチされた独特の画像点と関連する再射影エラーの最
    小二乗メディアン計算に少なくとも部分的に基づいてい
    ることを特徴とするコンピュータによって読取可能な媒
    体。