JP2001512252A

JP2001512252A - モザイク画像を構成するためのローカル／グローバルマルチフレームアライメントを実行する方法および装置

Info

Publication number: JP2001512252A
Application number: JP2000505596A
Authority: JP
Inventors: ステファン，チャールズシュー，; ラケシュクマール，; ハープリート，シングソウニー，; ジェイムズ，アール．バーゲン，; ダウディクソン，; ギャリーゲンデル，; ヴィンスパラガノ，
Original assignee: サーノフコーポレイション
Priority date: 1997-08-01
Filing date: 1998-07-30
Publication date: 2001-08-21

Abstract

(57)【要約】一連の画像のトポロジーを決定し、次に各画像の隣接する画像に関する画像を全体的に整列する方法および装置。この装置は、トポロジー決定モジュール（３０２）と、ローカル粗位置決めモジュール（３０４）と、ローカル精位置決めモジュール（３０６）と、グローバル整合性モジュール（３０８）と、色合わせ／色混合モジュール（３１０）とを含んでいる。一連の画像からモザイク画像を正確にレンダリングするために、トポロジー決定およびグローバルアライメントの処理は正確に整列された画像を徐々に生成するように反復される。この装置は、画像取得の順序とは無関係に複数のソース画像を効率的におよび正確に結合し、任意の広い空間および角度の範囲のシーンの継ぎ目なしのパノラマモザイクにする。

Description

【発明の詳細な説明】

【０００１】本出願は、参照してここに組み込まれる１９９７年８月１日に出願された米国
仮出願第６０／０５４，５８８号の利益を請求する。

【０００２】本発明は、画像およびビデオ情報を処理するシステム、より詳細には、複数静
止画像および／またはビデオフレームを結合し、拡張シーンのパノラマ表示を形
成するシステムに関する。

【０００３】開示の背景多数の画像処理システムでは、複数の個別の画像あるいは一連のビデオフレー
ムからパノラマ画像を形成することが望ましい。パノラマ画像を形成するために
、シーンの画像は、それから除去される冗長情報を有するシーンの包括的なパノ
ラマ画像を形成するために互いに整列され、マージ（ステッチ）されねばならな
い。モザイク画像は、一般的に、静止画像のセットからの情報および複数の異な
る時間瞬間で同じ物理的シーンを個別に観察するビデオシーン（まとめて“画像
”）、観察地点、視野、分解能等のフレームを結合するデータ構造である。いろ
いろな画像は、幾何学的に整列され、色彩計で測って整合され、それから単一の
コヒーレント画像としてシーンのパノラマ画像を形成するために一緒にマージさ
れる。

【０００４】ここで使用されるようなフレーズ画像処理は、ビデオ信号のイメージ（フレー
ム）、すなわち一連の一時的関連イメージと同様に一時非関連イメージを含むイ
メージ全ての形式の処理を含むことを意図としている。

【０００５】正確な画像アライメントは複数画像のモザイクを形成する処理の基礎である。
画像のアライメント（位置決めとしても知られている）は、まず画像間のオフセ
ットを示す変位フィールドを決定することから開始し、それから画像を互いに曲
げオフセットを除去あるいは最少にする。

【０００６】モザイクがコヒーレントであるために、モザイクの点は、シーンの点と１対１
の対応関係でなければならない。したがって、ソース画像が曲げられ、結合され
る面に基準座標系を与えるとき、基準座標系の点と各画像のピクセルとの間の正
確な空間マッピングを決定することが必要である。

【０００７】ソース画像からモザイクを手動であるいは自動で生成する方法は当該技術分野
で公知である。自動モザイク生成システムの１つの例は、参照してここに組み込
まれる１９９７年７月１５日に発行された米国特許番号第５，６４９，０３２号
に開示されている。この特許では、一時的に隣接するビデオフレームは、互いに
位置決めされ、一連の画像対画像マッピングを生じ、ついで、この一連の画像／
画像マッピングは全ての基準／画像マッピングを推測するように反復的に構成す
る。その代わりに、各々の新しいフレームは、前のフレームから反復的に構成さ
れ、所望の基準／画像マッピングを直接生じるモザイクに位置決めされる。′０
３２特許は、フレーム／フレーム位置決めあるいはフレーム／モザイク位置決め
の両方を使用し、画像を正確に整列する技術を記載している。

【０００８】これらの公知の方法はいくつかの欠点を有する。先ず第一に、フレーム／フレ
ーム位置決めのいずれかが正確に推測できないならば、チェーンが砕かれ、次の
フレームは同じ基準座標系に関して計算できない。第二に、カメラの視野がずっ
と前に最初に観察されたシーンの一部に重なる場合、これらの方法は、新しい画
像がこれらの古い画像と位置決めされることを保証しない。例えば、図１は、画
像が画像１０１〜１０４に対してカメラを左から右へパン（矢印１０９によって
示され）し、画像１０５〜１０８に対してカメラを右から左へパン（矢印１１０
によって示され）することによって形成される画像１０１〜１０８の時間順序シ
ーケンスを示している。画像１０１〜１０４の最下部領域は画像１０５〜１０８
の最上部領域に重なる。図１の空間構造の画像がまず画像１０１から始まり、画
像１０８まで続く時間順序で生じ、各画像がそれ以前の画像に位置決めされるな
らば、画像１０１および１０８が曲げられる場合モザイク基準座標系に整列して
いるという保証はない。そのこと自体、第１の画像（例えば、画像１０１）は、
これらの画像の重なり部分に沿って後で発生された画像（例えば、画像１０８）
と適切に整列しなくてもよい。したがって、従来の技術を使用して発生されたパ
ノラマモザイクは著しく歪められてもよい。

【０００９】従来技術の方法では、モザイクのフレームは不整合されるべきであるばかりで
なく、シーンの全構造はまた不正確に表示されてもよい。例えば、いくつかのシ
ーン部分は２回表示されてもよいしあるいは隣接されるべき（べきでない）部分
は互いからはるかに離れて（互いに接近して）表示される。画像が大きな閉ルー
プを形成するならば、閉包がモザイクで表示されなくてもよい。これらのエラー
は、画像間の近傍関係の全トポロジーが完全に認識されない場合に生じる。

【００１０】既存のモザイク生成技術の他の制限は、これらの技術が両方向に約１４０°以
上の角度に対するパノラマに適切な表示でない円筒状基準面あるいは平面基準面
上に画像を結合するだけに適する空間マッピングを推定するということである。

【００１１】したがって、画像シーケンスのトポロジーを決定し、トポロジーに従って画像
を全体的に整列することによってパノラマモザイクを形成する画像処理技術に対
する要求は当技術分野において存在する。

【００１２】発明の概要本発明は、一連の画像のトポロジーを決定し、それからこの画像を各画像の隣
接画像に対して全体的に整列させる方法および装置を提供することによって従来
技術の欠点を解決する。本発明は、トポロジー決定モジュールと、ローカル粗位
置決めモジュールと、ローカル精位置決めモジュールと、グローバル整合性モジ
ュールと、色合わせ／色混合モジュールとを含む。モザイク画像を一連の画像か
ら正確にレンダリングするために、トポロジー決定処理および画像位置決め処理
は、正確に整列された画像を徐々に発生するように反復される。本発明は、画像
取得の順序に関係なく、複数のソース画像を効率的および正確に結合し、任意の
幅広い空間および角度の大きさのシーンの継ぎ目なしのパノラマモザイク表示に
する（連続フレームが互いに重なる限りでは）。さらに、本発明は、カメラの校
正を要しなくて、空間におけるカメラの動きを厳密に制限しない。

【００１３】より詳細には、トポロジー決定モジュールは、空間的に互いに重なり、“近傍
”と呼ばれる画像の対を識別する。ローカル粗位置決めは近傍間の低複雑性の近
似空間マッチングを推定する。精ローカル位置決めは、近傍間あるいはモザイク
の画像と現推定値間のより高い複雑性のマッピングを推定する。グローバル整合
性モジュールは、マッピングが最大限に全てのローカル位置決め情報と整合し、
選択された基準面形状、すなわち平面あるいは球面と整合するように全てのマッ
ピングを同時に最適化することによって全ての基準／画像マッピングを推論する
。効率のために、この推論は、ソース画像ピクセルをアクセスしないでローカル
位置決めの結果に専ら基づいている。多数のローカルアライメント対策のいずれ
かが最大効率のために使用できるが、ローカルエラー関数は予め計算できるので
、グローバル整合性はソース画像ピクセルにアクセスする必要がない。一旦画像
が整列されると、色合わせ／色混合モジュールは画像を結合し、モザイクを形成
する。

【００１４】

【発明の実施の形態】

本発明の教示は添付図面とともに詳細な説明を考察することによって容易に理
解できる。

【００１５】理解を容易にするために、同一参照番号が、可能な場合、図に共通である同一
要素を示すために使用される。

【００１６】図２は、少なくとも１つのイメージセンサ（他のセンサが使用されてもよいが
、例えばカメラ２０２）およびイメージプロセッサ２０４を含むイメージ処理シ
ステム２００のブロック図を示す。カメラ２０２は、複数のデジタル静止画像あ
るいはデジタルビデオフレーム、すなわちピクセル値の二次元アレイを生成する
と思われる。しかしながら、カメラは、アナログ信号を生成するアナログセンサ
であってもよく、付加回路はアナログ信号を処理するためのデジタル画像に変換
するために使用されてもよい。デジタル画像を処理するために、画像プロセッサ
２０４は、中央処理装置（ＣＰＵ）２０８と、メモリ装置２１０と、従来のＣＰ
Ｕ支援回路２１２とを備えている。イメージプロセッサ２０６は、キーボード、
マウスおよびディスプレイのような従来の入出力（Ｉ／Ｏ）周辺装置２０８に結
合されている。ＣＰＵ２０８は、メモリが呼び出される特定のルーチンを実行す
る場合、専用コンピュータ、例えばイメージプロセッサになる汎用コンピュータ
である。このＣＰＵは、インテル社製のＰＥＮＴＩＵＭＩＩプロセッサあるい
はモトローラ社製のＰＯＷＥＲＰＣプロセッサのようないかなるプロセッサで
あってもよい。メモリ２１０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し
専用メモリ（ＲＯＭ）、ハードディスクドライブ、フロッピーディスクドライブ
あるいはその任意の組み合わせであってもよい。支援回路２１２は、フレームグ
ラッバー回路、アナログ／デジタル（Ａ／Ｄ）回路、クロック回路、キャッシュ
、電源、Ｉ／Ｏドライバ等のようないろいろな従来の回路を含む。Ｉ／Ｏ周辺装
置２０８は、一般にキーボード、マウスおよびディスプレイを含むが、ビデオテ
ープレコーダ、ビデオディスクプレーヤー等を含んでもよい。イメージプロセッ
サ２０４によって処理された画像は、センサ（カメラ２０２）から直接供給され
なくてもよく、ビデオテープレコーダ、コンピュータディスクあるいは他の記憶
装置によって供給されるような予め記録された画像ならびに通信システムを介す
る遠隔センサあるいはレコーダからも供給されてもよい。

【００１７】本発明は、ＣＰＵ２０８によって実行される場合、一連の画像の各画像がその
空間的に隣接する画像の全てに位置決めされるように画像を任意の２次元面（多
様体）に全体的に位置決めする２次元モザイク作成方法および装置を提供する実
行可能イメージ処理ルーチン２１４で具体化される。本発明の実施形態はソフト
ウェアインプリメンテーションとして記載されているけれども、当業者は、本発
明がハードウェアあるいはハードウェアおよびソフトウェアの組み合わせで実行
できる。したがって、ルーチンの機能態様の各々は１つあるいはそれ以上の装置
で全部あるいは部分的に実行できる。

【００１８】図３は、本発明の２次元モザイク作成システム２００を実行するためにプロセ
ッサによって実行されるルーチン２１４の機能ブロック図を示している。このシ
ステム２００は、トポロジー決定モジュール３０２と、ローカル粗位置決めモジ
ュール３０４と、ローカル精位置決めモジュール３０６と、グローバル整合性モ
ジュール３０８と、色合わせ／色混合モジュール３１０とを含んでいる。このシ
ステムは、複数のソース画像３１２を効率的および正確に結合し、画像取得の順
序に関係なく、任意の幅広い空間および角度の大きさにおけるシーンの継ぎ目な
しのパノラマモザイク表示にする（モザイク３１４）。さらに、この方法は、カ
メラの校正を要しなく、空間におけるカメラの動きを厳密に制限しない。

【００１９】通常、本発明は、絵、白板のような平面画像のモザイクならびに３次元シーン
のモザイクが比較的小さい視角を使用して撮像されるように映像を平面に位置決
めする。しかしながら、シーンが、それ自体の上で閉じるかあるいは固定観察地
点の周りの全球面あるいは球面の重要な部分を覆う一連のパノラマ画像によって
捕獲される場合、平面はシーンの継ぎ目なし表示に適当でない。したがって本発
明は、画像を位置決めする円錐面、円筒面あるいは球面を使用する。この面は面
タイプのメニューから手動で選択されてもよい。しかしながら、好ましい実施形
態では、この面は画像の位置決めパラメータおよびトポロジーを検査することに
よって選択される。

【００２０】２次元多様体、例えば、平面あるいは球面は平面画像を多様体上に表示するた
めに明示的に使用されてもよい。一方、画像（フレーム）間の点をマッピングす
るために使用される特定変換は、入力フレームを多様体上に表示するために暗黙
のうちに使用されてもよい。どちらの場合においても、トポロジー決定モジュー
ル３０２は、シーケンスのどのフレームが重なり、したがって適切な多様体上の
近傍であることを決定する。トポロジー決定処理は、フレームが互いに対して粗
く位置決めされ、全ての重なる画像の特定の変換が計算できた後実行される反復
処理である。

【００２１】このシステム２００は、画像位置決めおよびトポロジーの精度が各反復で改善
されるように反復技術で画像を処理する。トポロジー決定モジュール３０２は、
以後“近傍”と呼ばれるどの画像対が現推定モザイク／フレーム位置決めパラメ
ータによって示唆されるレイアウトに基づいて互いに空間的に重なるかを仮定す
る。（最初のパス上で、このような推定は全然存在しないので、トポロジーモジ
ュール３０２は、連続番号のフレームは近傍であると単に推定する。）ローカル
粗精位置決めモジュール３０４および３０６は、仮定を確認するかあるいは反駁
するために近傍の間の空間マッピングを推定する。良質の位置決めは、パス３１
６あるいは３１７を介してトポロジーモジュール３０２に戻され、トポロジーを
更新し、モジュール３０８にも送られる。グローバル整合性モジュール３０８は
、このマッピングが全ローカル位置決め情報および選択された基準面形状、例え
ば平面あるいは球面と最大限に矛盾しないようにマッピングを同時に最適化する
ことによって全基準対画像マッピングを推論する。グローバル整合性は、モザイ
クが表示される２次元多様体に対応する純パノラマアライメントのために解決す
ることによって負わされる。さらに、グローバルモデルから逸脱によるミスアラ
イメントは、重なりの領域間の準パラメータアライメントあるいは区分的パラメ
ータアライメントによって処理される。

【００２２】グローバル整合性によって生成されたモザイクに関する画像位置の改良された
推定は、エラーを訂正し、シーントポロジーの未知隣接関係に書き入れるために
役立ち得る。したがって、フィードバックパス３１８は、位置パラメータをトポ
ロジーモジュール３０２に送り返すので、このトポロジーモジュール３０２は以
前は明らかでない任意の近傍を識別できる。したがって本発明のルーチンは、所
定のレベルのトポロジーおよびアライメント精度が生成されるまで、トポロジー
決定モジュール３０２、ローカル粗位置決めモジュール３０４、精ローカル位置
決めモジュール３０６およびグローバル整合性モジュール３０８を通して反復す
る。

【００２３】前述の段階はソース画像の幾何学的アライメントを行っているが、色合わせ／
色混合モジュール３１０は整列画像間の色および輝度の不一致を調整する。これ
は、モザイクの際立った継ぎ目を避けるように実行される重要な処理である。混
合技術の詳細な説明は、１９９７年１１月１０日に出願され、参照してここに組
み込まれる共通に譲渡された米国特許第０８／９６６，７６６号に開示されてい
る。色合わせ／色混合モジュール３１０の出力はシーンの所望のモザイク表示３
１４である。

【００２４】さらに、本発明のシステムはレンズ歪み補正処理から利益を得ることができる
。このような処理は、１９９７年１１月１０日に出願され、参照してここに組み
込まれる共通に譲渡されている米国特許第０８／９６６，７６６号に詳細に記載
されている。レンズ補正処理は、位置決めモジュール３０４、３０６のいずれか
のグローバル整合性モジュール３０８に組み込まれ、カメラのレンズによって引
き起こされたモザイクのいかなる歪みも補正するために使用できる。

【００２５】図４は、本発明のモジュール３０２、３０４、および３０６および３０８の動
作（ルーチン４００）を示す流れ図を示す。この処理は、ステップ４０２で始ま
り、粗位置決めが一時の近傍である隣接画像対に対するアライメントパラメータ
を生成するように実行されるステップ４０４に進む。ステップ４０６で、トポロ
ジー決定モジュール３０２は、粗い位置決めのために現在重なっていると思われ
ている近傍の各々に対する重ね合わせ隣接仮説を作り出す。ステップ４０８では
、ルーチン４００は、いかなる近傍も近傍であるかどうかを調べるために少しの
近傍もまだ検査されなかったかどうかを質問する。問い合わせが肯定回答される
場合、ルーチン４００は、粗い位置決めおよび／または細かい位置決めが近傍で
あると仮定される画像対間で実行されるステップ４１６に進む。現アライメント
の精度に応じて、粗い位置決めあるいは細かい位置決めのいずれかが実行される
。ステップ４１８で、ルーチン４００は、位置決めの質が“良好”であるかどう
かを質問する。質が十分であるならば、ルーチンは、画像のアライメントパラメ
ータが記憶され、トポロジーグラフが２つの新しく位置決めされた隣接画像を接
続する付加弧で更新されるステップ４２０に進む。次に、このルーチンは、ステ
ップ４０８に戻り、他の画像対を処理する。ステップ４１８の質問が否定回答さ
れる場合、このルーチンはステップ４０８に戻り、ステップ４０８および４１６
を使用して画像の対をさらに位置決めする。ステップ４０８の質問が否定回答さ
れる場合、ルーチンはステップ４１０に進む。ステップ４１０では、ルーチンは
、全隣接画像が現在処理され、位置決めパラメータが重なる隣接画像の各対に対
して得られたことを確実にするためにトポロジーが十分に集束したかどうかを質
問する。ステップ４１０の質問が肯定回答される場合、ルーチンはステップ４１
４で中止する。しかしながら、ステップ４１０の質問が否定回答される場合、ル
ーチンは、ステップ４１２に進み、モジュール３０８のグローバル整合性を実行
する。一旦グローバル整合性が実行されると、このルーチンは重なる隣接画像の
他の仮説がトポロジー決定モジュール３０２およびルーチン処理によって作り出
され、いかなる新しく識別された隣接画像も処理するステップ４０６に戻る。

【００２６】より詳細には、モジュール３０２、３０４、および３０６によって実行される
幾何学的アライメントの目的は、基準対画像マッピングの最適セットｕ＝Ｐ_i（ｘ）、（ここで、ｘは基準面上の点を示し、ｕはソース画像上の点である）を計
算することにある。一般に、基準面およびソース画面の形状は平面および球面の
ような３次元で示される任意の２次元多様体であり得る。２次元モザイク作成の
場合、各Ｐ_iは、透視投影あるいはアフィン回転あるいは３次元回転のようなマッピングのパラメータ系に制限される。

【００２７】空間変更輝度／色関数Ｍ（ｘ）によって構成されるモザイク画像およびソース
画像をＩ_i（ｕ）によって示す。各ｘに対して、画像ｉ毎の点Ｐ_i（ｘ）が物理的
シーンの同じ点に対応するようにＰ_iを決定することが望ましい。この条件は、結合ピクセル｛Ｉ_i（Ｐ_i（ｘ）），∀ｉ｝によって構成されたモザイク画像が空
間的なコヒーレントモザイクを生じることを保証する。ここで、各点ｘはシーン
の点と１対１の対応関係にある。

【００２８】全ての近傍に対する画像のアライメントを実行するために、グローバル整合性
モジュール３０８は、画像フレーム間のミスアライメントならびに情報の冗長性
を評価する関数を最適化する。この関数、すなわち最少記述長（ＭＤＬ）コスト
関数は下記の式として示される。

【００２９】

【数１】

【００３０】ここで、 σはスケールファクタ、およびｖａｒ_i｛.｝は各ｘにマッピングする異なるフレームからのピクセルの分散を示す。

【００３１】ＭＤＬコスト関数は、モザイク＋モザイクに関するフレームの残余の形のフレ
ームの集合を示すコンパクトさを判断する。分散が直接に輝度で厳密に判断でき
なくて、その代わりに画像輝度のフィルタリングされた表示あるいは点位置Ｐ’
（ｘ）で直接に判断できることに注意されたい。

【００３２】式１のＭＤＬコスト関数を最適化するために、本発明はグローバルに最適アラ
インメントパラメータを見つけることによりモザイク座標システム上の整列され
たフレーム間で重なりを最適化する。本発明の技術は、入力フレームの２次元ト
ポロジーが適切な２次元多様体上で既知であり、ローカルアライメントパラメー
タ（あるいは他の対応関係）が隣接フレーム間で利用可能である場合、グローバ
ルバンドルブロック調整は正確なＰ_iに対する値を求めるために使用することができる。一方、Ｐ_iの近似情報が利用可能である場合、フレーム間に新しい関係をさらに生じさせることができる隣接関係を推論できる。本発明は、グローバル
最適解に達するようにトポロジー決定およびパラメータ推定の２つの工程を反復
的な方法で切り替える。トポロジー決定モジュール３０２はローカル隣接関係を
仮定し、グローバル整合性モジュール３０８はローカル制約を使用し、アライメ
ントパラメータを決定する。これらの２つのモジュール間において、本発明は、
ローカル精位置決めモジュール３０６を使用して、隣接フレーム間の対応関係を
生じさせ、これらを品質対策で検証する。全アライメント処理はローカル粗およ
び精のアライメントの両方を使用して行われる。

【００３３】ソース画像集合が閉包効果あるいは重要な視差効果を示さない場合、３次元シ
ーンは、滑らかな２次元多様体として処理でき、したがって画像間の１対１の対
応関係の概念は明確に定義される。この１対１対応関係の仮定は、カメラだけが
固定中心の周りに回転する限り、さもないと観察されたシーンが実際均質である
場合、維持される。１対１の対応関係を有しない、より一般的なケースが次に検
討される。

【００３４】Ｐ’_iが推論されねばならない情報の主要源は生画像ピクセル値Ｉ_i（ｕ）であ
る。より詳細には、本発明では、画像は画像対間の相対マッピングｕ′＝Ｑ_ij（
ｕ）を推定するために使用される。これは、本発明の最初の３つの工程、すなわ
ちトポロジー決定、粗いローカル位置決めおよび細かいローカル位置決めによっ
て実行される。最後に、ローカル相対マッピングは、グローバル整合性工程で使
用され、全てのＰ_iを同時に推定し、最適グローバルアライメントを実行する。

【００３５】ローカル粗位置決めの先触れとして、どの画像対ｉ，ｊが“近傍”である、す
なわち、このような対だけがＱ_ijの推定を可能にするために、十分な空間的重な
りを有する視野を有することを知る必要がある。どれくらいの重なりで十分であ
るかは画像特徴の分布および画像を整列するために使用されるローカル位置決め
技術で決まる。全ての画像対のセットは隣接画像Ｇのグラフを構成する。

【００３６】直観的な空間あるいは時間の関係がない画像のランダム集合が与えられると、
隣接を自動的に識別する画像処理システムを有することは任意に困難な問題であ
るかもしれない。トポロジー決定モジュール３０２を使用すると、連続番号の画
像が空間的に重なる限り、本発明は、全自動トポロジー決定を実行する。画像集
合が正常ビデオシーケンスの時間順フレームからなる場合あるいはユーザがラン
ダム画像集合を空間的に順序付けられたシーケンスに対話式に構成される場合、
この条件は一般的には満たされる。この仮定の下では、最初のトポロジーが連続
番号の画像の線形連鎖をデフォルトすることは合理的である。

【００３７】画像を整列するために使用される最初の反復の開始で、一般的には少しも画像
アライメントパラメータ（Ｐ_i）の情報がない、したがって、ビデオシーケンスの連続フレームが重なっているという合理的な仮定の下では、最初のトポロジー
は一時近傍の線形連鎖にデフォルトする。このような近傍のローカルアライメン
トおよびグローバル整合性‐動きモデルの自明な連結はＰの第１の推定を生じる
。隣接関係は、その節点がフレームを示し、その弧が隣接関係を示すグラフとし
て示される。

【００３８】後で、位置決めモジュール３０２あるいは３０６の１つあるいはそれ以上がＰ _i の予備推定を生じた後、トポロジーは再計算することができる。すなわち、いくつかの近傍は追加されてもよいのに対して、他の近傍は抜かされてもよい。こ
のようなフィードバックによるトポロジーの変化はローカルおよびグローバル位
置決めの推定の修正をもたらしてもよい。例えば、図１の場合、まず第一に、近
傍が時間的に隣接する画像１０１‐１０２、１０２‐１０３、．．．．１０７‐
１０８であると仮定される。位置決めを実行することによってだけ空間構成が明
らかになり、画像１０１‐１０８、１０２‐１０７、および１０３‐１０６は近
傍であると分かるべきである。したがって、これらの新しい画像対はローカル精
位置決めモジュール３０６でローカルに位置決めされる。

【００３９】より詳細には、次の繰り返しにおいて、トポロジー決定は非自明になってもよ
い。ループを閉じるＳパターンあるいは対の隣接走査あるいは螺旋走査のフレー
ムのような非連続フレームは近傍であることが分かりうる。カメラの動きの方向
が変わる場合、これらのパターンをいかなる形状の基準面上にも形成することが
できる。球面のような閉じられた形状の場合、さらに、ループは、３６０°パノ
ラマを走査することによって代表されるような一定なカメラの動きによってさえ
形成できる。トポロジーはＰ_iの近似情報だけから推論されるため、および面形状の選択はグローバル整合性の過程中変更されてもよいために（例えば、平面か
ら球面に）、全部の適切な近傍は第２の繰り返し中に全然見出されないことはあ
りうる。すなわち多数の繰り返しは、トポロジーとパラメータ推定との間の一致
に集中することが要求されてもよい。

【００４０】したがって、イメージプロセッサは新しい近傍に対する仮定を作り出すことに
よって各反復の開始にトポロジーを更新する。この仮定はローカル位置決めによ
って立証あるいは反論され、隣接関係グラフＧの弧（結合トレース）のような立
証近傍だけを追加する。シーンの蛇行走査によって捕獲される一連の画像に対す
る典型的な隣接関係グラフ５００は図５（ａ）および図５（ｂ）に示される。図
５（ａ）において、弧５０４は時間的に重なる画像５０２_n（ここで、ｎはシーケンスにおける画像番号である）を相互に接続し、システムは最初の線形トポロ
ジーが識別されるように１つの処理パスを形成した。図５（ｂ）は、隣接関係の
更新仮説を示す弧５０６を追加する次のトポロジー（例えば、第２の繰り返し）
を示す。新しい対象近傍は、画像の次のグローバル推定および近接への影響を含
むいろいろな判定基準を使用して選択されてもよい。

【００４１】１．既存のトポロジーは、新しい弧を追加がグローバルパラメータ推定の精度
に最大の影響を及ぼす場合を左右する。ループを閉じるかあるいは２つのワイプ
を一緒に結合する第１の弧は重要であるが、多数の他の近くの弧を平行にするも
のではない。正確なグローバルアライメントに対するトポロジーのあらゆる可能
な重なり対を含むことは重要でなくまた計算上有効でない。したがって、いかな
るローカル領域内の弧の密度をも制限することが望ましい。

【００４２】２．現トポロジーおよびグローバルパラメータ推定のセットＰ_iは、考察中の任意のフレーム対に対する相対空間位置および不確定を決定する。最も重なる可
能性がある対を選択し、ローカルアライメントが大きな範囲を探す必要がないよ
うに最も少ない位置不確定を有することが望ましい。

【００４３】高いペイオフ（影響）の弧は高いリスク（位置不確定）を有する非常にしばし
ば画像対であるので、２つのぜひとも望ましいものは通常直接対立している。本
発明は、最大影響よりもむしろ最大重ね合わせによって対象弧を優先させ、さら
に既存の弧にあまりにも接近している弧をスキップする。繰り返しが進むにつれ
て、グローバルパラメータ推定は精度を増加させ、適度な重なりおよび不確定を
有するまで高いてこ力対をより接近して引き出し、グラフＧに位置決めされ、追
加されるようになることが予測される。

【００４４】特に、トポロジー決定モジュール３０４内で、対象近傍は、パス長Ｄ_ijに関す
るその弧長ｄ_ijを考察することによって追加される。弧長は、曲げられたフレー
ム“半径”ｒ_i，ｒ_jによって正規化されたモザイク面上の曲げられた画像中心ｘ _i ，ｘ_j間の距離によって規定される。

【００４５】

【数２】

【００４６】パス長Ｄ_ijは、既存のグラフの節点ｉ，ｊ間の最少合計パスに沿っての弧長の
合計として規定される。弧を追加するために、ｄ_ijは、最大限度を超えてはなら
なく、Ｄ_ijよりも著しく短くなければならなく、画像信頼性の大きさｐ_ij（下記
を参照）は高くなければならない。この発見的方法は、両方が良好な重なりを有
する弧を選択する傾向があり、グローバルバンドルブロック調整に非冗長的制約
を加える。

【００４７】各隣接画像対に関しては、画像ｉの各点ｕに対して、画像ｊの点ｕ′＝Ｑ_ij（
ｕ）が物理的シーンの同一点に対応するように相対マッピングＱ_ijを推定するこ
とが望ましい。絶対ピクセル対シーン校正はめったに予め規定されていないので
、この対応関係はＩ_j（ｕ′）およびＩ_i（ｕ）の様相を一致させることによって
推論されねばならない。この推定を実行する方法は、光学フロー、動きおよびス
テレオ推定のようなさまざまな技術において公知である。米国特許第５，６４９
，０３１号を参照。

【００４８】シーンの特徴が非常に予測可能であるかあるいは相関されている場合、ゼロの
重なりあるいは画像対間の間隙さえ有する画像対を位置決めすることができる。
Ｈ．Ｓｕｎら著の「凸面セット上の投影を使用する損傷を受けたブロック変換符
号化画像の隠蔽（ＣｏｎｃｅａｌｍｅｎｔｏｆＤａｍａｇｅｄＢｌｏｃｋ
ＴｒａｎｓｆｏｒｍＣｏｄｅｄＩｍａｇｅｓＵｓｉｎｇＰｒｏｊｅｃ
ｔｉｏｎｓｏｎｔｏＣｏｎｖｅｘＳｅｔｓ）」（ＩＥＥＥＴｒａｎｓ．
ＩｍａｇｅＰｒｏｃｅｓｓ．，４（４）：４７０‐４７７，Ａｐｒ．１９９５
は、このような位置決め問題を解決するのに関連する技術として外挿対策および
サイドマッチ対策を開示している。

【００４９】しばしば、Ｑ_ijは、投影マッピングあるいは順変換のようなマッピングのパラ
メータ系に限定される。簡単なパラメータモデルは本当のマッピングの近似のみ
であり得るが、より高次のモデルよりも推定するのがより速く、より信頼性があ
る。確かに、マッピングの種類はグローバル整合性の間推定されるマッピングＰ _i と同じである必要さえない。

【００５０】より詳細には、本発明は、ローカルアライメント問題を増加する複雑さのモデ
ルが画像間の対応関係を生じさせる間に推定される工程に分割する。最初に、図
３のローカル粗位置決めモジュール３０４内で、２次元変換だけの大きな範囲が
調べられ、確固不動の粗い対応関係が生じる。画像は複数のブロックに分割され
、各ブロックは、合致対策のような正規化相関に関する粗／精検索によりその対
応関係を生じさせる。ブロック間の多数の一致が２次元変換を計算するために使
用される。

【００５１】一旦変換の適度な推測が利用可能であると、より正確なアライメントは、複雑
なモデルを徐々に適合させ、ラプラシアンピラミッドにわたって粗／精方法で二
乗和差（ＳＳＤ）エラーの大きさを最少にすることによってローカル精位置決め
モジュール３０６を使用して実行される。

【００５２】ピラミッドの各レベルで、未知パラメータは、下記の式によって数値を求めら
れる。

【００５３】

【数３】

【００５４】最も粗いレベルの最初の２次元変換パラメータおよびその後に改良された各レ
ベルからのパラメータはＩ_jを曲げるために使用され、パラメータの次の増分はレベンバーグ‐マークワッド（Ｌｅｖｅｎｂｅｒｇ‐Ｍａｒｑｕａｒｄｔ）反復
法を使用して数値を求められる。ローカルアライメントは、アフィン、それから
投影パラメータ使用して徐々に行われ、隣接フレーム間の正確な対応関係を生じ
させる。一般に、重なりが最低１０％であってもよい場合さえ、徐々に複雑にな
る技術はフレーム間の適切な対応関係を与える。

【００５５】不正確なＱ_ij推定がグローバル整合性工程に過度に悪影響を及ぼすことを防止
するために、信頼性の大きさｐ_ijが計算される。この大きさは、アライメントパ
ラメータの不十分な推定を捨てるように閾値化され、グローバル整合性の間重み
係数としても適用される。計算されたＱ_ijを使用して、生じる基準画像および曲
げられた画像は、下記の１つによって比較される。すなわち、（ｉ）平均（中間
値）絶対値あるいは二乗ピクセル値エラー、（ｉｉ）通常のフロー量、（ｉｉｉ
）ｐを計算する正規化相関。正規化相関は最も信頼性のあるアライメントの大き
さを示す。

【００５６】トポロジー決定モジュール３０４および対状ローカルアライメントモジュール
３０２および３０６の処理工程はフレーム間のローカル最大重なりをもたらす。
ローカルアライメントパラメータが全体的にも矛盾していない場合、式１のコス
ト関数が自動的に最適化される。しかしながら、一般に、ローカルアライメント
パラメータは隣接フレーム間の適切な対応関係を与えるが、さらにモザイク座標
系に対する各フレームのマッピングのための矛盾しないアライメントパラメータ
を与えなくてもよい。式１のエラー関数を最適化するために、トポロジー決定お
よびローカルアライメントが第２項、すなわち領域項のローカル最少値を実行し
たと仮定される。次に、固定され、ローカルアライメントによって与えられた重
なる領域の対応関係に基づいたフレーム間の重なりに関しては、第１の項はグロ
ーバルアライメントパラメータに関して最少にされる。

【００５７】グローバル整合性モジュール３０８内で、基準／画像マッピングの共同最適の
セットＰ_iは、２つの係数、すなわち（１）これらのマッピングと相対マッピングＱ_ijとの間の不整合性、および（２）Ｐ_iについての直観的な情報からの偏差をトレードオフするグローバル判定基準を最少にすることによって決定できる。

【００５８】

【数４】

【００５９】Ｐ_i（ｘ）およびＰ_j（ｘ）が全ての基準点ｘに対する同じシーン点に対応する
条件は、Ｑ_ij（Ｐ_i（ｘ））＝Ｐ_j（ｘ）である場合、保証することができる。同
様に、指示された逆関数が存在する場合、第ｉのソース画像の全ての点ｕに対し
てＰ_j ^-1（Ｑ_ij（ｕ））＝Ｐ_i ^-1（ｕ）である。いくつかあるいは全ての点にわた
って重み付けられ、合計されたこれらの式（あるいはそのある程度の確固不動に
する非線形関数）のいずれかの二乗エラーはＥ_ijを構成する。

【００６０】実際には、点の部分集合だけが選択される。確かに、ローカル位置決め技術は
、まばらな点の集合に対してＱ_ijだけを決定し、全部は、画像特徴の効率あるい
は欠如の理由のために画像ｉとｊとの間で重ならない。たとえＱ_ijがどの部分も
既知であるとしても、全ての点にわたって合計することは有効でもなくまた必要
ない。点を選択するいくつの可能な判定基準は、（１）点の周期的あるいは確率的なサンプリング、（２）大きい画像特徴突起部、例えば、線および角を有する点、（３）重なる領域の周辺点あるいは角点を含んでいる。

【００６１】点の部分集合あるいは全集合にわたって合計されるエラーＥ_ijは、Ｐ_iおよびＰ_jの閉形関数として時には示すことができる。一方、エラーは明示和として残すことができる。どちらの場合でも、エラー関数の数値計算はソース画像ピクセ
ルへのアクセスを必要にしないので、非常に有効である。

【００６２】一方、各隣接対に対する正確なＱ_ijを厳密に推定する代わりに、ローカル位置
決めは、確かさ間隔、共分散、確率分布、コスト関数等によって特徴付けられる
ファジーあるいは不確実な推定を行うことができる。これにより、画像特徴の不
足はＱ_ijの正確な推定を不可能にし得ることが分かる。一方、Ｑ_ijとＰ_i，Ｐ_jと
の間の不整合性は、したがってモザイクの可視的一致にあまり不利益でないかも
しれない。したがって、エラー項Ｅ_ijはこの不確実性情報を十分利用する。

【００６３】さらに進めると、ローカル位置決め工程は画像一致エラー、例えば、下記の式
であるコスト関数を単に供給できた。

【００６４】

【数５】

【００６５】この場合、グローバル整合性はＥ_ijの数値を求めるようにソース画像ピクセル
にアクセスしなければならない。一方、このマッチングエラーはＥ_ijの複雑さを
減少させる関数近似に適当であり得る。

【００６６】エラー項は２進画像比較に限定される必要がない。３つあるいはそれ以上の画
像がある程度の領域で重なる場合、（Ｐ_i，Ｐ_j，Ｐ_k，．．．，Ｑ_ij，Ｑ_jk，．．．）の中の不整合性を判断する関数が考えられる。一般に、グローバルエラー
関数はΣ_c∈_CＥ_cを含み得る（ここで、Ｃは相互近傍の小集団の集合である。）１９９７年１１月１０日に出願された共通に譲渡された米国特許出願第０８／９
９６，７７６号の開示は単一の小集団の場合と見なすことができる。ここで、Ｅ _c は画像の間の全マッチングエラーであり、Ｐ_iは特定のパラメータで表した系に
属する。

【００６７】基準／画像マッピングに対するいかなる種類の直観的な望ましい特性もグロー
バル整合性に含めることができる。例えば、画像が基準座標系の指定原点を囲む
モザイクに置かれることが通常望ましい。同様に、グローバルスケール、回転、
あるいは他の歪みを最少することが望ましいこともある。他の情報源はカメラの
位置および向きの物理的測定であってもよい。全てのこのような判定基準はエラ
ー項Ｅ_iを構成するＰ_iの関数として示すことができる。

【００６８】最後に、ある種の応用では、ソース画像が互いに整列するばかりでなく、所与
の基準画像、マップ、あるいは予め構成されたモザイクともまた整列する。１つ
の例は、広い視野画像以外はより低い解像度を有する狭い視野画像を位置決めし
ている。他の例は、航空画像と衛星映像との地球位置決めである。したがって、
エラー項Ｅ_i,refはグローバル整合性に加えられる。Ｐ_iはしばしばマッピングの
パラメータで表した系に限定され、その場合、この最適化問題の領域は有限次元
ベクトルである（これは本発明にとって重要でない）。それにもかかわらず、グ
ローバルエラー判定基準Ｅは一般的には未知数Ｐ_iの複雑な関数であり、反復解だけは可能であるかあるいは実際的である。最適化に対するいろいろな有効なア
ルゴリズムがある。下記の方法の組み合わせを応用してもよい。

【００６９】最も急勾配の降下、対の傾斜、ガウス‐ニュートン、レベンバーグ‐マークワ
ッド等に限定されない以外を含む当該技術で公知の数値最適化アルゴリズムは、
Ｅを直接最少にするために使用されてもよい。最後に、異常値に敏感である最適
化方法はこの推定を行うために使用されてもよい。

【００７０】この問題の大きさは大きくてもよいので、バッチ方法で全ての未知値にわたっ
てＥを同時に最少にすることは計算上高価でおよび／またはゆっくりと集中し得
る。グローバルエラーをより簡単な下位の問題に分解する制御方法は適切である
。すなわち、１．より低次モデルがより早い繰り返し中に推定される段階的な複雑さ。

【００７１】２．画像（すなわちエラー項）が徐々に全エラーに加えられる反復方法。画像
が生のビデオシーケンスから得られ、Ｐ_iが各フレームが得られるとき実時間で更新できる場合、これは当然の方法である。

【００７２】３．トポロジーは既知であるために、画像は近傍のクラスタに分類することが
できる。まず第一に、エラーは、ローカルモザイク／画像マッピングを含む“ロ
ーカルモザイク”座標フレームが構成される各クラスタ内に別々に最適化される
。第二に、グローバル基準／ローカルモザイクマッピングは、クラスタ間で交差
するＥ_ij項だけを含むエラー判定基準に関して最適化される。最終結果はなおグ
ローバル基準／画像マッピングＰ_iのセットである。

【００７３】偏微分方程式を解く既知のマルチグリッドアルゴリズムおよび適応メッシュ有
限要素アルゴリズムと同様に、この２つのレベルグルーピング方式は、したがっ
てグルーピングの階層に一般化される。推定は、より大きなクラスタにわたる最
適化の結果を使用して階層を上下に循環でき、内部に含まれるより小さいクラス
タの集束に役立つ、その逆も同様である。

【００７４】最適化は、Ｐ_iの推定をある程度適度に始めることによって初期設定されるべきである。示唆された技術は近傍ＧのグラフのスパンツリーＴを選択することに
あり、Ｅ＝Σ_ij∈_TＥ_ijを最適化することによって始める。サブグラフＴにはループが全然ないので、Ｔの近傍のあらゆる対に対して正確にＰ_j（ｘ）＝Ｑ_ij（Ｐｉ（ｘ））を単に得ることによってこのエラーを最少にすることができる。特
別の場合として、Ｔが時間的に隣接するフレームの全ての対である場合、これは
フレーム／フレームマッピングの線形連鎖を構成するにすぎない。

【００７５】実施例この節は、異なるパラメータで表すことが使用される５つの例のシナリオを提
供する。表記：３次元ベクトルＸ＝（Ｘ₁，Ｘ₂，Ｘ₃）に対して、Ｘ＝Ｘ／｜Ｘ｜を規定し、２次元ベクトルｕ＝（ｕ₁，ｕ₂）に対して、ｕ＝（ｕ₁，ｕ₂，１）
およびｕ＝（ｕ₁，ｕ₂，ｕ₁ｕ₂，１）を規定する。さらに、Ｐ²の同綴異議語法はｘ＝ＡＸとして記述されるが、出力ベクトルがユークリッド形として記述され
る場合、ｕ＝ＡＸである。

【００７６】実施例１：平面モザイク自由に移動するカメラによって得られたビデオシーケンスからの平面の継ぎ目
なしのモザイクを作成するために、基準／画像マッピングならびに相対画像／画
像マッピングは投影マッピングによって十分示されている。

【００７７】ローカル粗位置決めは、効率のために純変換マッピングを使用するのに対して
、ローカル精位置決めは投影マッピングを使用する。トポロジーは一回再計算さ
れ、その変換シフト推定Ｑ_ijがＰ_iの予備推定を示すために単に積分されるローカル粗位置決めを続ける。

【００７８】グローバル整合性は、形式ｕ＝Ａ_i ^-1ｘの共同最適基準／画像マッピングを決定することを試みする。したがって、逆マッピングはｘ＝Ａ_iｕである。

【００７９】全エラー関数Ｅは２種類の項からなる。

【００８０】１．隣接画像の各対に対して、

【００８１】

【数６】

【００８２】ここで、ｕ_kは、画像間の重なりの角（一般的には４点）である。この項は基準／画像マッピングとローカル位置決めとの間の不整合性を不利にする。

【００８３】２．各画像に対して、

【００８４】

【数７】

【００８５】ここで、α₁、α₂、β₁、β₂はソース画像の上側、左側、下側および右側の中
点である。この項は、モザイクに曲げられる場合、画像のスケール、回転および
歪みを不利にする。さらに、項｜Ａ_i（０，０，１）｜²は、１フレームの変換を
固定するためにＥ_iに追加される。

【００８６】これらの項がない場合、全基準座標系に応用された任意の投影変換はＥに影響
を及ぼさないので、Ａ_iに対する解は不十分に決定される。

【００８７】グローバルエラーは下記のように最適化される。まず第一に、Ａ_iは、スパンツリー内のローカル位置決め投影マッピングを構成することによって初期設定さ
れる。第二に、Ｅ_i項だけの和は更新Ａ_i←Ｂ₀Ａ_iに関して最少にされる。ここで
、Ｂ_Oは共通投影マッピングである。第三に、全Ｅは更新Ａ_i←Ｂ_iＡ_iに関して最
少にされる。ここで、Ｂ_iは毎画像投影マッピングである。最後の２つの工程に関しては、最適化は、Ｂの係数に関するＥの第１の導関数だけを必要とするガウ
ス‐ニュートン（レベンバーグ‐マークワッド）法を使用して実行される。

【００８８】全トポロジー推論およびローカル／グローバルアライメントフレームワークは
図５（ａ）および図５（ｂ）に示されている。第１のサイクルは時間的近傍のデ
フォルトトポロジーだけで開始する。ローカル推定器は粗い変換Ｑ_ijを得て、グ
ローバル推定は単にこれらの変換を基準／フレームパラメータＰ_iに連結する。第２のサイクルは、非連続空間近傍を検出し、投影モデルのローカル推定を実行
し、それからグローバルパラメータを最適化する。この例では、トポロジーは２
サイクルに集中する。

【００８９】実施例２：球面モザイク継ぎ目なしのモザイク表示を構成する本発明のフレームワークが一般的である
ことを示すために、この例は固定点の周りに回転するカメラによって得られたビ
デオシーケンスからの任意の３次元シーンの継ぎ目なしのモザイクの作成を示す
。レンズ歪みを含むカメラパラメータは未知である。この場合、基準面に対する
最適形状はモザイク表示の角度範囲に全然制限を与えない球面である。画像／画
像マッピングはなお投影マッピングによって十分示されているが、球面／画像マ
ッピングは示されていない。投影マッピングは３次元回転およびカメラ校正パラ
メータに変換され、球面の２次元トポロジーを推論し、ならびに全体に整合する
回転パラメータおよび校正パラメータの数値を求める。

【００９０】ローカル粗位置決めは回転／変換マッピングを使用するのに対して、ローカル
精位置決めは投影マッピングを使用する。トポロジーは一回再計算され、その変
換シフト推定Ｑ_ijがＰ_iの予備推定を示すために単に積分されるローカル粗位置決めを続ける。

【００９１】グローバル整合性は、形式ｕ＝ＦＲ_i ^TＸの共同最適基準／画像マッピングを決
定することを試みる。ここで、Ｆは上部三角カメラ校正マトリックス、Ｒ_iは正規直交回転マトリックス、およびＸは単位球面基準面上の３Ｄ点である。Ｈａｒ
ｔｌｅｙ著の「回転カメラに関する多重視野からの自己校正（Ｓｅｌｆ‐ｃａｌ
ｉｂｒａｔｉｏｎｆｒｏｍＭｕｌｔｉｐｌｅＶｉｅｗｓＷｉｔｈａ
ＲｏｔａｔｉｎｇＣａｍｅｒａ）」（ＥＣＣＶ，ｐｐ４７１‐４７８，１９９
４）に開示された方法は全てのＱ_ijから共通Ｆを推定するために使用される。こ
の推定を使用して、逆マッピングはＸ＝Ｒ_jＦ^-1ｕとして記述できる。同じＦが各フレームに対して有効であると仮定される。

【００９２】全エラー関数Ｅは画像対に対する不整合性項からだけなる。

【００９３】

【数８】

【００９４】モザイクの中心画像に対して、Ｒ_oは恒等式として固定される。

【００９５】グローバルエラーは下記のように最適化される。まず第一にＲ_iはスパンツリーの各Ｅ_ijをローカルに最少にすることによって初期設定される。第二に、全Ｅ
は更新Ｒ_i←Ｂ_iＲ_iに関して最少にされる。ここで、Ｂ_iはガウスニュートン法を
使用する毎画像マトリックスである。他の方法は、関数Ｅの非線形最適化の各繰
り返し中共通Ｆマトリックスおよび個別のＲマトリックスの両方を更新すること
にあることに注目すべきである。

【００９６】球面モザイク面に対する全トポロジー推論およびローカル／グローバルアライ
メントフレームワークは図６（ａ）に示されている。第１および第２のサイクル
（図６（ａ）および図６（ｂ））は、球面パラメータの表示は第２のサイクルの
グローバル最適化で使用される。この段階で、３６０°パノラマは閉じていない
。しかしながら、端部は、十分近くにあるので、第３のサイクル中（図６（ｃ）
）、ループ閉包は仮定され、立証され、全体的に整合している推定に組み込まれ
る。この例では、トポロジーは３サイクルに集中する（図６（ｄ））。

【００９７】実施例３：ストリップスキャナモザイク本発明は、空中パノラマカメラによって得られたストリップからの地上監視シ
ーンの継ぎ目なしのモザイクを作成するために使用されてもよい。このようなカ
メラは、航空機が理想的には一定高度で一直線で飛ぶ間、下方に向いており、両
辺に振動する。各振動は、ストリップ…通常の高さであるが延ばされた幅の連続
画像を形成する。中央の天底観察位置からの離れた所の増加する傾斜のために、
ストリップにわたってカバーされる地上距離は中心から離れて所で増加する、例
えば、画像は“蝶ネクタイ”状である。中心近くのストリップ間の地上カバレッ
ジの重なりはより少なく、時には重なりが全然ない。それにもかかわらず、本発
明の技術は、仕上がったモザイクのギャップを有しているが、なおストリップを
整列させる。

【００９８】この場合、基準面に対する最適の形状は、その軸が飛行経路である円筒である
。円筒からソースストリップへの理論マッピング関数は多少普通ではなく、この
ようなモデルを利用することは校正を必要とし、理想的飛行経路からの逸脱に我
慢できない。したがって、便利な代替物は、各ストリップをより小さい隣接部分
画像の集合に分割し、これらをグローバル整合性の間に追加制約を除いて独立し
て得られた画像と同様に取り扱う。隣接ストリップから隣接部分画像間のマッピ
ング関数はアフィンであり、基準円筒／部分画像マッピングは逆双一次である。

【００９９】トポロジー決定は制御されたカメラの動きにより自明である。ローカル粗位置
決めは効率のために純変換マッピングを使用するのに対して、ローカル精位置決
めはアフィンマッピングを使用する。異なるストリップの近傍だけは、同じスト
リップの部分画像の間のローカル関係が既知であるので、位置決めされる必要が
ある。

【０１００】グローバル整合性は、形式Ａ_iｕ＝ｘの共同最適基準／画像マッピングを決定することを試みる。ここで、ｘは平坦円筒基準面上の２次元点である。Ｅに対する完全式は２種類の項からなる。

【０１０１】１．隣接画像ｉおよびｊの各対に対して、

【０１０２】

【数９】

【０１０３】２．他の項は、基準に曲げられた場合、部分画像の形状の滑らかさからの逸脱
を不利にする。

【０１０４】同じストリップの隣接部分画像ｉ，ｊの角が同じ基準座標、すなわちＡ_iγ_k＝
Ａ_iδ_k，ｋ＝１，２に対応する厳密な制約を受けるグローバルエラーは最少にさ
れる。ここで、γ_k，δ_kは部分画像の上下左右の角である。Ｅ_ijは未知数の二次
方程式であるので、解は直接得ることができる。

【０１０５】実施例４：ＩＤ走査本発明は１次元走査でモザイクを作成するために使用することもできる。従来
技術では、１次元の３６０°パノラマの作成は公知であるが、パノラマは、カメ
ラが光学軸に垂直であり、カバーされた角度が実際に３６０°である軸の周りに
正確に回転する制約の下で作成される。本発明を使用すると、このような位置決
め制約および回転制約は緩和され、携帯カメラは光学軸の許容傾斜で１次元走査
を生成するために使用できる。本発明は、パノラマ面の閉包を生じる場合、それ
を自動的に検出することもできる。

【０１０６】カメラがある固定軸の周りにほぼ回転している場合、下記は１次元走査の事例
を調べている。光学軸に直角である軸の特定の場合、パノラマは本来円筒上で作
成される（従来技術と同様に）。一般的な場合、光学軸が傾斜されてもよいとき
、多様体は傾斜の角度と同じ頂点角を有する円錐である。従来技術がカメラが傾
斜軸の周りに回転される１次元走査に応用される場合、モザイクは効率的に円錐
上に形成され、円錐が平面上に展開される場合、全モザイクは曲げられる（“ス
マイリー”面効果と見なされる）。

【０１０７】曲げられたモザイクの作成および修正は多数の異なる方法で行うことができる
。図７は、円錐上の画像場所の投影の幾何学を示している。本来、各画像の中心
の周りの垂直ストリップが連続画像間の２次元回転パラメータおよび変換パラメ
ータを使用して整列される場合、それはアライメントを実行する前に中央ストリ
ップを円錐上にマッピングすることと等価である。円筒の特別の場合、１次元変
換だけで解を求める必要がある。さらに、２次元回転は、カメラが携帯であると
いう事実のために生じるかもしれない任意の面内回転に注意する。円錐上のモザ
イクが場所上に展開される場合、その幾何学は図８に示されるようである。焦点
距離を大体知ることによって、円錐角θは、ｔａｎθ＝ｆ／Ｌによって与えられ
る。ここで、Ｌは平坦にされたモザイクから決定できる。θを使用すると、画像
はθだけのｘ軸の周りの回転に対応して曲げることができ、したがって円筒マッ
ピングは使用されてもよい。

【０１０８】一方、元のビデオ画像から修正された円筒モザイクへの直接の曲げを作成でき
る。円筒モザイク（図７）の平面マッピングの任意の点（ｌ，ｙ）は、下記の式
のようにマッピングされる。

【０１０９】

【数１０】

【０１１０】ここで、α＝ｌ／Ｌおよびｌ，Ｌ，ｙは図７に示されるようである。

【０１１１】さらに、３６０゜閉包の自動検出は、円錐／円筒モザイク修正と結合でき、標
準パノラマビューアのいずれかを使用して見ることができる継ぎ目なしの１次元
円筒モザイクを形成する。

【０１１２】初期並進アライメント後の１次元モザイク生成処理の概要は下記の通りである
。

【０１１３】１．連続フレーム間の２次元回転および並進を計算する。

【０１１４】２．品質計量のアライメントおよび評価によってシーケンスの第１のフレーム
と他のフレームとの間の自己閉包を検出する。

【０１１５】３．各フレームの中央線を交差することによって図７のＬを計算する。

【０１１６】４．式３を使用して修正された平面モザイクを適切なビデオフレームにマッピ
ングすることによって各ピクセル［ｌｙ］^Tを修正された平面モザイクに充填する。

【０１１７】実施例３：３次元表示前述されるような本発明は、２次元映像からのシーンのモザイクを作成する。
３次元構造の計算およびその表示は、前述の議論で明確に取り扱われていない。
下記は、本発明の範囲を拡げる例示的な処理を示し、３次元シーンを表示する３
次元モザイクの生成を含む。シーンの３次元表示を処理し、利用する従来技術は
、見える地点のローカル集合体からの画像に基づく３次元表示を開示している１
９９５年７月１０日に出願された米国特許出願第０８／４９９，９３４号に開示
されている。本発明は、これらの技術を拡張するために使用でき、拡大シーンの
３次元球面モザイク表示を作成する。

【０１１８】所与の観察地点からのシーンの３次元情報を表示するために、２次元球面モザ
イクは、所与の観察地点から、次にカメラの位置を変えることによって若干以上
の観察地点（一般的には１つ以上であるがより多くてもよい）から作成される。
この処理はシーンの拡大画像の各々を選択されたカメラ位置から作成する。あら
ゆる観察地点から球面モザイク表示を作成する１つの主要な長所は、各々のこの
ような観察地点がこの観察地点からの正当な単一の画像よりも非常に広い視野を
与えるということである。カメラの相対向きと第一フレームに関してシーン深度
を演算することは、一般に視野の制限に起因して不明確である傾向がある。Ｋ．
Ｊ．Ｈａｎｎａら著「シーン構造の直接推定のためのステレオおよび動きの解析
の結合（ＣｏｍｂｉｎｉｎｇＳｔｅｒｅｏａｎｄＭｏｔｉｏｎＡｎａｌ
ｙｓｉｓｆｏｒＤｉｒｅｃｔＥｓｔｉｍａｔｉｏｎｏｆＳｃｅｎｅ
Ｓｔｒｕｃｔｕｒｅ）」（Ｉｎｔｌ．Ｃｏｎｆ．ＣｏｍｕｔｅｒＶｉｓｉｏｎ
，Ｂｅｒｌｉｎ，Ｍａｙ１９９３，ｐｐ３５３‐３６５）に記載されている特
定技術は、球面画像に関するシーン深度（あるいは視差）を計算するために使用
できるので、１つの球面観察地点からの全３次元表示を行う。

【０１１９】図９は、球面モザイクを使用するシーンの３次元表示を作成する際に必要とさ
れるステップのシーケンスを示す流れ図９００を示している。このステップは下
記の通りである。

【０１２０】１．ステップ９０２では、この処理は固定カメラ位置から見られた全ての可能
な位置をカバーする一連のフレームを捕獲する。次に、カメラは、シーケンスの
集合が同じシーンをカバーする多数のカメラ位置を使用して捕獲されるまで、他
の一連のシーケンス等を捕獲するように移動される。異なるカメラ位置は、互い
に近くにあり、３次元情報が映像から計算できるように位置を変えるために３次
元シーンの視差情報を提供する。

【０１２１】２．各カメラ位置に対しては、ローカル対応関係情報をグローバルアライメン
トと結合する前述の方法を使用してこの位置の周りの球面上に（ステップ９０４
で）モザイク表示を作成する。この処理は本来、任意の単一の位置からのシーン
の可能な最も広い視野を作成する。したがって、これらの単一位置表示の多くの
間のカメラ観察地点変換を計算する問題は、非常に安定して、うまく機能されて
いるべきである。

【０１２２】３．ステップ９０６で、多重球面表示の位置の３空間の近似トポロジーを使用
して、ルーチンは、最初に、隣接球面モザイク表示間の対状のエピ極変換をこの
表示にわたる識別可能な点を相関付けることによって計算する。球面対を整列さ
せるこれらの変換は２球面変換と呼ばれる。

【０１２３】４．開始点としての２球面変換の場合および全ての球面表示の３空間トポロジ
ーを与えられると、ステップ９０８で、ルーチンは、２次元モザイク作成のため
に前述のローカル／グローバルアライメント方法の範囲を拡げ、基準球面モザイ
クに関する全て２球面のための３次元回転および並進変換を同時に計算する、す
なわち前述の２次元反復処理は３次元映像を処理するために拡張される。

【０１２４】５．計算されたグローバル３次元画像変換の場合、次に、ステップ９１０で、
ルーチンは、Ｋ．Ｊ．Ｈａｎｎａら著「シーン構造の直接推定のためのステレオ
および動きの解析の結合（ＣｏｍｂｉｎｉｎｇＳｔｅｒｅｏａｎｄＭｏｔ
ｉｏｎＡｎａｌｙｓｉｓｆｏｒＤｉｒｅｃｔＥｓｔｉｍａｔｉｏｎｏ
ｆＳｃｅｎｅＳｔｒｕｃｔｕｒｅ）」（Ｉｎｔｌ．Ｃｏｎｆ．Ｃｏｍｕｔｅ
ｒＶｉｓｉｏｎ，Ｂｅｒｌｉｎ，Ｍａｙ１９９３，ｐｐ３５３‐３６５）に
記載された方法を使用して基準２球面に関する密集した深度／視差マップを計算
する。

【０１２５】６．前述のステップで作成されたパラメータおよびマップを使用して、ステッ
プ９１２でルーチンは３次元球面モザイクを生成する。

【０１２６】上記の方法は、図２および３のシステム内で使用でき、映像を得られた“ステ
レオ球面モザイク”を構成し、２つあるいはそれ以上の球面モザイクを入力とし
て構成する（すなわち、反復処理の２次元処理を使用するよりもむしろ、３次元
処理が処理される）。

【０１２７】モザイク作成‐一般化形式固定（パン／ティルト／ズーム）カメラからのシーンの複数画像を表示する単
一座標系の多数の異なる表示は前述された。これらは、２次元の区分的に平面な
座標系から固定焦点撮像シナリオのための球面表示に対する単一軸のための円筒
／円錐座標系までの範囲に及ぶ。

【０１２８】カメラが周囲を通って移動される場合、一般に、カメラは向きを変え（回転す
る）、位置を変える（並進する）。この場合、シーンのモザイクは、投影の１つ
の中心におよび／またはその周りに置かれた座標系によって作成できない。本発
明はいくつかの特定の状況に対してこの問題を解決するために使用できる。

【０１２９】カメラの任意の動きによってモザイクを作成するためにここで利用された主要
な考えは、明示的深度再構成は全然必要ないということである。モザイクは、画
像の接近して間隔をあけられた位置決めされたストリップを一緒に集めることに
よって作成される。

【０１３０】本発明のこの実施の基本的な考えを記載するために、本発明は最初に、３次元
モザイクの最も簡単な場合に関して記載されている。すなわち、カメラは、一直
線に移動し、動きの方向に直角に向ける。画面はこの場合全て同じ平面にある。
連続画像および連続動きと仮定すると、各画像の中央垂直ラインは、この画像だ
けに、したがってこれらの中央ラインを一緒に積み重ねることによって確認され
、任意の範囲の３次元モザイクが作成できる。

【０１３１】このようなモザイクを作成する他の方法は、ｘｙｔ立方体の画像の各々を積み
重ねることにある。ここで、ｘｙは空間画像座標系、ｔは時間次元である。連続
場合（密集したサンプリングの場合）、ｙ＝ｙ_c（ここで、ｙ_cは画像の中心のｙ
座標である）平面に沿ってこの立方体を通るスライスは所要のモザイクを作成す
る。

【０１３２】時間フレームの有限サンプリングのより現実的な状況において、任意の２つの
画像間のシーンのいかなる任意の画像も２つの連続画像間のフローベクトルの線
形補間によって作成できることが技術上示された。これは、捕獲されたフレーム
が粗く時間サンプルされた場合さえ、任意の密集した時間サンプリングは画像補
間によって作成できることを意味する。一旦このようなサンプリングが利用可能
であると、モザイクの作成は前述のようにありふれている。密にサンプルされた
全画像フレームは各フレームの中央スリットだけ以外は作成される必要がないこ
とに注目すべきである。

【０１３３】各カメラの位置の単一の平面画像の代わりに、円筒モザイクが動きの方向の周
りにカメラ光学軸を回転させることによって捕獲される場合、各点で作成された
パノラマモザイクからの中央円形リング（まさしく直線でない）は、その軸がカ
メラの動きの方向である単一３６０°円筒モザイクに集めることができる。

【０１３４】次世代の前述の平行運動の場合は、またカメラの直線運動の場合であるが、カ
メラにおいて、光学軸は運動方向に直角でない。この場合、全ての画面は平行で
あるが同じ平面にない。最初に、このより一般的な場合は純パノラマ変換により
各画面を総合的に修正することによって同じ平面にある画面の場合に減少される
ので、得られる合成された画像は全て同じ平面にある。修正に対する周知の技術
が存在する。一旦修正画像が連続フレーム間のフローを補間することによって得
られると、画像のいかなる任意の直線もモザイクを作成するように処理できる。

【０１３５】特に興味がある事例は前方に向け、前方に移動するカメラの事例である。この
場合、運動の方向および光学軸の方向は同じである。この場合もまた、原則とし
て、これらの画像は大いに曲げられてもよいけれども、シーンの修正された横に
傾いた画像を作成することができる。

【０１３６】カメラが任意の経路に沿って移動する場合、カメラ投影中心の全ての軌跡は一
般に直線でない３空間の１次元曲線である。この場合はまた、修正画像はカメラ
が撮影する経路の区分的な線形近似によって作成される。前述の表示を結合する
ことによって、この場合、一般化された円筒はモザイクを作成するために使用で
きる。１次元カメラ経路は一般化された円筒の軸であり、修正された映像の適当
なリング部は一般化された円筒表示を計算するために一緒に縫い閉じられる。

【０１３７】本発明の教示を組み込むいろいろな実施形態はここに詳細に示され、記載され
ているが、当業者は、これらの教示をやはり組み込む多数の他の変更された実施
形態を容易に発明できる。

【図面の簡単な説明】

【図１】カメラが蛇行している（パンおよび走査）パターンで移動するときにカメラに
よって捕獲された一連の重なり画像を示す。

【図２】本発明を実施するために使用される汎用コンピュータシステムのブロック図を
示す。

【図３】本発明の機能ブロック図を示す。

【図４】本発明によって実行される処理工程を示す流れ図である。

【図５】（ａ）、（ｂ）は平面に関する画像相互関係の概略図を示す。

【図６】（ａ）〜（ｄ）は球面に関する画像相互関係の概略図を示す。

【図７】本発明の１次元走査実行のために円錐上への画像投影の幾何学的形状を示す。

【図８】円錐から円筒面へのマッピングされたモザイク画像の概略図を示す。

【図９】球面モザイクを使用する３次元表示を形成する処理を示す流れ図を示す。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＣＡ，ＩＬ，ＪＰ，ＫＲ (72)発明者ソウニー，ハープリート，シングアメリカ合衆国，ニュージャージー州，クランベリー，メルヴィルロード 17 (72)発明者バーゲン，ジェイムズ，アール. アメリカ合衆国，ニュージャージー州，ホープウェル，イーストプロスペクトストリート 57 (72)発明者ディクソン，ダウアメリカ合衆国，ニュージャージー州，ホープウェル，センターストリート 13 (72)発明者ゲンデル，ギャリーアメリカ合衆国，ニュージャージー州，ネシャニックステーション，ドッグウッドドライヴ 17 (72)発明者パラガノ，ヴィンスアメリカ合衆国，ニュージャージー州，ローレンスヴィル，バンカーヒルロード 71

Claims

【特許請求の範囲】

【請求項１】複数の画像を位置決めする方法であって、（ａ）隣接画像として近傍である前記複数の画像における前記画像を識別する
前記複数の画像のトポロジーを決定するステップと、（ｂ）前記隣接画像を互いにローカル（局所的）に位置決めし、前記隣接画像
の関係を互いに規定するパラメータを生成するステップと、（ｃ）グローバル整合性計算を実行し、基準面に関する前記パラメータを最適
化するステップとを含むことを特徴とする方法。
【請求項２】ステップ（ａ）およびステップ（ｂ）が前記パラメータを生
成するために繰り返されることを特徴とする請求項１に記載の方法。
【請求項３】ステップ（ｂ）がさらに、（ｂ′）前記隣接画像を粗く位置決めし、粗いパラメータを発生し、（ｂ″）前記隣接画像を細かく位置決めし、細かいパラメータを生成すること
を含むことを特徴とする請求項１に記載の方法。
【請求項４】最適化パラメータを使用して前記複数の画像のモザイクをレ
ンダリングするステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項５】前記基準面が任意の面であることを特徴とする請求項１に記
載の方法。
【請求項６】複数の画像を位置決めする装置であって、隣接画像として近傍である前記複数の画像における前記画像を識別する前記複
数の画像のトポロジーを決定するトポロジー決定モジュールと、前記隣接画像を互いにローカルに位置決めし、前記隣接画像の関係を互いに規
定するパラメータを生成する位置決めモジュールと、グローバル整合性計算を実行し、基準面に関する前記パラメータを最適化する
グローバル整合性モジュールとを含むことを特徴とする装置。
【請求項７】前記トポロジー決定モジュールおよび前記位置決めモジュー
ルが前記パラメータを生成するために繰り返して利用されることを特徴とする請
求項６に記載の装置。
【請求項８】前記位置決めモジュールがさらに、前記隣接画像を粗く位置決めし、粗いパラメータを発生する粗い位置決めモジ
ュールと、前記隣接画像を細かく位置決めし、細かいパラメータを発生する細かい位置決
めモジュールとを含むことを特徴とする請求項６に記載の装置。
【請求項９】最適化パラメータを使用して前記複数の画像のモザイクをレ
ンダリングする色合わせ／色混合モジュールをさらに含むことを特徴とする請求
項６に記載の装置。
【請求項１０】前記基準面が任意の面であることを特徴とする請求項６に
記載の装置。