JP2002514359A

JP2002514359A - モザイク画像を作成する方法及び装置

Info

Publication number: JP2002514359A
Application number: JP50633998A
Authority: JP
Inventors: ペレグ，シュミュエル; ハーマン，ジョシュア，ランディ; ディクソン，ダグラス，エフ．; バート，ピーター，ジェフリー; バーゲン，ジェイムス，ラッセル; ゲンデル，ゲイリー，エー．; クマール，ラケシュ; ソーニー，ハープレト，シン; ブリル，マイケル，ヘンリー
Original assignee: サーノフコーポレイション
Priority date: 1996-07-17
Filing date: 1997-07-17
Publication date: 2002-05-14
Also published as: EP0979487B1; ES2258795T3; WO1998002844A1; CA2261128A1; US6075905A; DE69735488D1; EP0979487A1; DE69735488T2; EP0979487A4; KR20000023784A

Abstract

(57)【要約】ソース画像を選択するステップ、ソース画像を整列させるステップ、ソース・セグメントを選択するステップ、画像を改善するステップ、及び画像をマージして画像モザイクを形成するステップを含む画像モザイクの作成方法が開示される。ソース画像を選択する手段（１０２）、ソース画像を整列させる手段（１０３）、ソース画像のセグメントを選択する手段（１０４）、画像を改善する手段（１０５）、及び画像をマージして画像モザイクを形成する手段（１０６）を含む画像モザイク作成装置も開示される。プロセスはシステムによって自動的に実行されるか、人間の操作員によって対話的に導かれてよい。アプリケーションはビデオ・カメラ及びディジタル・カメラの画像から写真品質の印刷物を作ることを含む。

Description

【発明の詳細な説明】モザイク画像を作成する方法及び装置発明の背景本出願は１９９６年７月１７日に出願された仮出願第６０／０２１，９２５号に基づく非仮出願である。本発明は複数のソース画像からモザイク画像を作成する方法及び装置に関する。ビデオ及びディジタル・カメラは比較的に低解像度の画像を提供し、限られた視界をカバーする。低解像度及び限られた視界の問題の双方は、幾つかの画像を拡張された両像モザイクに結合することによって克服することができる。モザイクは、カメラの動きを補償するために画像の集合を整列させ、各画像よりもはるかに広い視界をカバーする１つの画像を作るためにそれらをマージすることによって、ソース画像の集合から作ることができる。モザイク作成の２つの主なステップは、画像の整列と、整列させられた画像を大きくて継ぎ目のないモザイク画像にマージすることである。現在、モザイク作成用の画像整列方法及びシステムは、種々のものが存在する。モザイク画像は長年にわたって衛星及び宇宙プローブ画像から作成されてきた。これらの場合、画像を整列させるための適切なパラメータは、カメラ視野方向の入念な測定から知られるか、オーバラップした画像領域内で対応する点を手作業で指定することによって決定された。カメラ方向の入念な測定を使用する方法は、例えば、エル・マクミラン及びジー・ビショップによるＳＩＧＧＲＡＰＨ９５の「プレノプティック・モデリング：画像に基づくレンダリング・システム」（PlenoptiAc Modeling:An Image-Based Rendering System"，L.McMillan and G.Bishop，SIGGRAPH 95）に説明されている。このアプローチでは、画像はカメラから取られ、カメラの動きは高度に制御され、光学中心の周りを完全に円回転する。作成されたモザイクは画像を円筒形像面に投射することによって作られ、従って完全な円を単一の平面像の上でモザイク処理することに関連するであろう歪みが避けられる。更に一般的には、整列は、オーバラップした画像のパターンを正確な整列にもってくる画像変換（例えば、平行移動、回転、拡大縮小）を自動的に見いだす画像処理テクニックを介して達成される。両像処理に基づく方法は、１９９４年１１月１４日に出願された「モザイクに基づく画像処理システム」（Mosaic Based Image Processing System）と題する米国特許出願第０８／３３９，４９１号、及び１９９５年６月２２日に出願された「視差に基づくテクニックを使用した画像結合方法及びシステム」（Method and System for Image Combination Using A Parallaz-Based Technique）と題する米国特許出願第０８／４９３，６３２号に説明されている。これらの各々は本明細書に援用されている。現在、これらの画像処理方法を使用してビデオからリアルタイムでモザイクを作成することのできるシステムが存在する。そのようなシステムは、１９９６年の「ＳＰＩＥ第２７３６巻：高度総合ビジョン１９９６」の１１９〜１２７ページに掲載されたピー・バート、エム・ハンセン、及びピー・アナンダンによる「ビデオ・モザイク・ディスプレイ」("Video Mosaic Displays"，P.Burt,M.Hanse n，and P．Anandan，SPIE Volume 2736:Enhanced and Synthetic Vision 1996， pp 119-127，1996）、及び１９９４年１１月の「ＡＲＢＡ画像理解ワークショップ」（ARPA Image Understanding Workshop）４５７〜４６５ページに掲載されたエム・ハンセン、ピー・アナンダン、ケー・ダーナ、ジー・ファン・デル・ワール、及びピー・バート（M.Hansen，P．Anandan，K.Dana，G,van der Wal.and P.Burt）による「リアルタイム・シーン安定及びモザイク作成」（Real-time sc ene stabilization and mosaic construction）に説明されている。ソース画像を継ぎ目のないモザイクにマージするためには、各種の画像処理方法が現在存在する。最も単純な方法は、２つの画像がオーバラップするゾーン内で２つの画像の重みづけられた平均を計算することによって１つの画像を他の画像の中にディジタル的にフェザリングする。この方法は、ソース画像がオーバラップ領域の全体にわたって正確に整列されていないと二重画像となり、２つの画像が平均強度、色、又はコントラストのような特性で著しく異なっているときは、目に見えるぼんやりした継ぎ目を生じる。継ぎ目を避けるために画像をマージするもっと一般的な方法は、画像ピラミッドを使用して画像を多くの異なったスケールで同時にマージすることである。この方法は、１９８３年１０月の「グラフィックスのＡＣＭ会報」第２巻、第４号、２１７〜２３６ページ（バート）に記載さたれピー・ジェイ・バート及びイー・エッチ・アーデルソンによる「画像モザイクへの応用を有する多解像度スプライン」（"A Multiresolution Spline W ith Applications to Image Mosaaics"，P.J．Burt and E.H．Adelson，ACM Tra nsactions of graphics,Vol.2,No.4,October 1983，pp．217-236(Burt I)）に最初に説明されている。更に、所望のモザイク領域のある部分をカバーするため、モザイク作成中のマージ・ステップが、ソース画像の不足によって残されるモザイク中の穴を充填することも望まれる。多解像度ピラミッド画像処理フレームワークを使用してモザイク中の穴を充填する方法は、１９８８年の「ＩＣＢＲ」、３００〜３０２ページに記載されたピー・ジェイ・バートによる「モーメント画像、多項式適合フィルタ、及び表面内挿の問題」（Moment Images，polynomial fit filters，and t he problem of surface interpolation，P.J．Burt，ICPR 1988,pp.300-302）に説明されている。更に、モザイク作成で使用される画像マージ方法は、画像の改善をもたらす場合がある。例えば、画像の「ノイズ」はソース画像を単純に平均することによってオーバラップ・ゾーン内で低減することができる。もしあるソース画像が他のソース画像よりも良好な品質を有するか、シーン中の物体表現が他のソース画像よりも明瞭であれば、非線形法を使用して各ソース画像から「最良の」情報を選択することができる。例えば、そのような方法が、１９９３年の「ＩＣＣＶ」の２４２〜２４６ページに掲載されたピー・ジェイ・バート及びアール・コルチンスキーによる「融合による改善された画像捕獲」（Enhanced image capture throu gh fusion，P.J．Burt and R．Kolczynski，ICCV 1993,pp242-246）に説明されている。複数のソース画像は、オーバラップ領域内で画像の解像度を改善するような方法で結合されてよい。そのような方法は、１９９３年１２月の「映像通信及び画像表現」第４巻、３２４〜３３５ページに発表されたエム・イラーニ及びエス・ペーレーグによる「画像改善のための動き分析：解像度、オクルージョン、及び透過性」（"Motion Analysis for Image Enhancement:Resolution，Occlusion， and Transparency"，M．Irani and S.Peleg，Vision Communications and Image Representation Vol.4,December 1993,pp.324-335）に記載されている。モザイクを作成するこれら既存の方法は、本発明によって提供される幾つかの能力を欠いている。すなわち、・モザイク中で使用される最良の全体的整列を得るため、すべてのソース画像を同時に整列させる効果的画像処理手段。現行の方法は単に画像の対を整列させるものである。例えば、一連のビデオ・フレームからモザイクを作成する場合、各画像はシーケンス中の前の画像に対して整列させられる。小さな整列誤差が累積されて、シーケンス中で大きく隔てられた時間では、オーバラップ画像フレームの不良な整列を生じる可能性がある。・最良の全体的モザイクを得るため、すべてのソース画像をマージする効果的画像処理手段。現行の方法は、一時に２つだけの画像をマージするものである。多くの画像から構成されるモザイクは、一時に１つの新しい画像にマージすることによって作成される。この方法は最良の全体的品質を与えない場合があり、不必要な計算を伴う場合がある。・露光特性が劇的に異なるソース画像をマージする効果的画像処理手段。・モザイクに入れられる各ソース画像の領域を、オーバラップ領域から自動的に選択する効果的画像処理手段。・商用及びコンシューマ・アプリケーションにとって実用的なシステム実装。発明の概要本発明はソース画像を選択するステップ、ソース画像を整列させるステップ、ソース画像のセグメントを選択するステップ、画像を向上するステップ、画像モザイクを形成するために画像をマージするステップを含む画像モザイクの作成方法である。更に、本発明はソース画像を選択する手段、ソース画像を整列させる手段、ソース画像のセグメントを選択する手段、画像を向上する手段、画像モザイクを形成するために画像をマージする手段を含む画像モザイクの作成装置である。図面の簡単な説明本発明の教示は、添付の図面と組み合わせて次の詳細な説明を検討することによって容易に理解することができる。図面において、図１は全体的システムのブロック図であり、図２はソース画像の選択を示す流れ図である。図３Ａは例示的な画像整列方法を示すフローチャートの図である。図３Ｂは図３Ａに示した整列プロセスの説明に有用な画像の図である。図４は領域選択を示す画像の図である。図５は画像の向上プロセスを示す流れ図である。図６は画像マージング用のピラミッド構成を示すデータ構造の図である。図７は本発明の実施形態の説明に有用なブロック図である。図８は図７に示した前端整列プロセスとしての使用に適したプロセスのフローチャートの図である。図９は図７に示した前端整列プロセスの説明に有用なシステムによって処理される画像を示す図である。図１０Ａ及び図１０Ｂは図７に示した前端整列プロセスの動作の説明に有用な画像の図である。図１１Ａは図８に示した相関プロセスとしての使用に適したプロセスのフローチャートの図である。図１１Ｂは図１１Ａに示した相関プロセスの動作の説明に許容領域のグラフである。図１２は図７に示した後端整列プロセスの説明に有用な両像の図である。図１３は図７に示したブロック図の使用に適した第１の代替的後端整列プロセスを説明するのに有用な画像の図である。図１４は図７に示したブロック図での使用に適した第２の代替的後端整列プロセスを説明するのに有用な画像の図である。図１５は図７に示した後端整列プロセスとしての使用に適したプロセスのフローチャートの図である。理解を容易にするため、複数の図に共通した同一要素を示すためには可能な限り同一の参照番号を使用した。詳細な説明本発明は複数のソース画像から１つのモザイク画像を作成する装置及び方法に関する。本発明は、比較的低品質のソース画像から広い視界をもつ高品質の画像を得る実用的な方法を提供する。この能力は、ビデオ・カメラ又はディジタル・カメラが写真品質の印刷物を提供するために使用される、消費者及びプロの「写真撮影」で重要な用途を有することができる。更に、それは表示されるビデオの品質を改善するために使用することができる。モザイク画像を形成する概略的プロセスを図１に示す。これは画像のソース１０１、一連の処理ステップ１０２〜１０６、及びモザイク出力手段１０８を含む。更に、人間の操作員が処理ステップの結果を見て、選択されたステップを対話的に制御するオプションの手段１０９が存在する。両像のソース１０１モザイク作成プロセスは一組のソース画像から始まる。これらは各種の画像センサ（例えば、ビデオ・カメラ、ディジタル静止カメラ、及び画像スキャナー）から来る「ライブ」の両像、各種の記憶メディア（例えば、ビデオ・テープ（ＶＣＲ）、コンピュータ・ファイル）から来る画像、合成的に発生された画像（例えば、コンピュータ・グラフィックス）、及び処理された画像（例えば、前に作成されたモザイク）を含んでよい。モザイク作成プロセスは５つの基本的ステップを含む。ステップ１：ソース画像の選択１０２１つのモザイクに結合される一組の画像は利用可能なソース画像から選択される。これは手作業又は自動的に行われてよい。選択プロセスは、モザイクの意図された領域及び内容をカバーする一組の良好な品質の画像を発見する。モザイクが一連のビデオ・フレームから構築されるとき、この選択ステップはモザイクに含まれる最初及び最後のフレームを指示することを含んでよい。この選択は、すべての中間フレームが使用されるべきことを示す。スタート・フレーム及びストップ・フレームは、カメラの系統的掃引動作を開始又は停止し、次に動作がシステムにより自動的に検出される場合のように、ビデオ・カメラそれ自体の制御を介して選択されてよい。モザイクがスナップショットのコレクションから構築されるとき、ユーザが各ソース画像を対話的に選択するのが望ましいかも知れない。更に、ソースの選択は、より大きい画像から部分画像を切り取ることを含んでよい。例えば、ユーザは１つのソース画像内の人物の写真を切り取り、それをモザイクの他の画像内の新しい場所にマージしてよい。ステップ２：画像の整列１０３選択されたソース画像は、それぞれが隣接画像の対応する部分と整合するように、相互に整列されるのが望ましい。整列は幾何学的変換又は「ワーピング」を発見することを伴う。ワーピングは、選択された画像のすべてに適用された後、それら画像を共通の座標系に配置する。幾何学的変換は通常は一組のパラメータに関して定義される。これらはシフト、回転、拡張、射影、高次多項式、又は一般的フロー（例えば、各サンプル点で異なった組のパラメータを伴う区分的多項式）であってよい。ワーピング・テクニックは、１９９６年４月１８日に出願された「計算的に効率的なディジタル画像のワーピング」（Computationally Effi cient Digital Image Warping）と題する米国仮特許出願第６０／０１５，５７７号に開示されている。この出願は本明細書に援用されている。整列はユーザ・インタフェース１０９を介して対話的に行うことができるが、それは対応する点をユーザに指示させ、次にこれらの点を整合させる（又は、ある最小誤差基準に従って最も近似的に整合させる）変換パラメータを発見するか、変換パラメータを対話的に指定する（例えば、マウス又は他のポインティング・デバイスを用いて）ことによって行われる。更に、整列は隣接画像の間で最良(match)を与えるワープ・パラメータを決定する各種の画像処理方法によって自動的に行うことができる。整列は手作業ステップと自動的ステップを結合してよい。例えば、操作員は手作業で画像を粗い整列状態にし、次に自動プロセスを呼び出して、正確な整列状態にするためにワープ・パラメータをリファインメントしてよい。整列プロセスはソース画像選択プロセス１０２と相互に作用してよい。整列は、オーバラップの程度に関する情報、そしてビデオの場合には、カメラ移動の速度に関する情報を提供する。画像のオーバラップがあまりに大きければ画像を廃棄してもよく、又はオーバラップの程度があまりに小さければ新しい画像を付け加えてもよい。カメラの移動があまりに大きければ画像を廃棄してもよく、従ってモーション・ブラーを生じるかも知れない。カメラ移動の突発的変化は、モザイク作成に使用されるビデオ・シーケンスの意図された開始及び停止を知らせるために使用されてよい。本発明はすべてのフレームを同時に考慮する画像整列方法を与える。２つの画像の間のある誤差関数を最小にすることによって２つの画像を整列させる従来の整列アプローチではなく、ここに開示されるアプローチは、画像のオーバラップする対の間のすべての誤差の合計である誤差関数を最小にすることによって、すべての画像を同時に整列させる方法、又は画像の部分集合を整列させる方法を提案する。ステップ３：領域の選択１０４オーバラップして整列させられたソース画像の部分領域が、モザイクに入れるために選択される。選択プロセスはモザイクの領域を部分領域に効果的に区分し、各部分領域が各ソース画像から取られたモザイクの一部分を表すようにする。選択は手作業又は自動的になされてよい。手作業による選択は、マウスのようなポインティング・デバイスを用いて隣接するオーバラップ画像の表示の上で境界線を引くことによって、ユーザ・インタフェース１０９を介して対話的になされてよい。自動的選択は、場所（例えば、各ソース画像の中心までの距離）又は品質（例えば、解像度又はモーション・ブラー）に基づいて隣接画像の間で適切なカット線を発見する。もっと一般的な選択アプローチでは、あるオーバラップ部分は平均的又はパターン選択的融合により結合されてよい。ステップ４．画像の向上１０５個々の画像は、それらのコントラスト又は尖鋭度を改善するか、これらの特性を調整してそれらの隣接画像の対応する特性と同じになるようにするため、マージングの前に更に処理されてよい。向上は強度、色、及びフィルタの操作に基づく。これら操作のパラメータは手作業又は自動的に決定されてよい。ステップ５．マージング１０６このステップでは、選択されたソース画像が単一のモザイクに結合される。これは、継ぎ目又は他のマージ処理アーティファクトのない単一画像のように見える結果を生じる方法でなされるのが望ましい。各ソースの選択された領域からモザイクに画素をコピーするだけでは、概して満足すべき結果を生じない。コントラスト、解像度、又はカラーのような特性が実質的に異なる隣接セグメントの間の境界は、モザイクで可視的継ぎ目として現れる。画像を結合する方法は、フェザリング、多解像度マージング、平均化、及び融合を含む。整列が良好で、隣接画像が同じ特性を有するならば、フェザリングは満足できるものである。多解像度マージングは複数解像度レベルの画像をピラミッド／ウェーブレット画像変換領域で結合する。これは広い範囲の条件で可視的継ぎ目を除去するのに有効である。平均化は、オーバラップ領域内のソース画像が同等の品質であり正確に整列されているとき、信号対雑音比を改善する手段として適切である。画像の融合は、選択が各場所、スケール、及び方向におけるソース画像の間で行われる多解像度マージング方法の一般化である。ソース画像が所望のモザイクの全領域をカバーしない場合は度々起こる。モザイク内には、どのようなソース画像によってもカバーされない穴が存在するか、マージされたソース画像の周りには、所望のモザイク境界に延長されない領域が存在するかも知れない。これらの領域はブランクのまま残されるか（例えば、黒のような統一色を割り当てられる）、それらが目立たないような方法で充填されてよい。後者の効果は多解像度の内挿及び外挿によって達成されるか、ソース画像の近くにある１つの小片から取られた画像「パッチ」又は隣接画像領域と同じに見えるように人工的に発生されたパッチを用いて多解像度マージングを行うことによって発生されてよい。ある場合には、１つの画像からの物体が他の画像によって与えられた背景の前に現れるような方法でソース画像を結合することが望ましいかも知れない。この効果は、意図された前景物体境界（例えば、人物の顔）に沿って第１の画像を注意深くカットし、次に結果の画素を他の画像に挿入することによって達成される。エッジはエイリアシング（画像のサンプリングに起因するギザギザの外観）を避けるために混合されてよく、画像は、１つのソースからの陰影が他のソース内の背景物体上に落ちるようにする更に複雑な方法によって結合されてよい。境界は手作業又は自動的に指定されてよいが、混合は自動的に行われる。ステップ６．モザイクのフォーマッティング１０７一度モザイクが完了すると、それは所望の画像フォーマットを達成するために更に編集又は処理されてよい。例えば、それは新しい座標系にワープされたり、切り取られたり、画像処理テクニックを介して向上されてよい。これらのステッブは、自動的又はユーザ・インタフェース１０９を介して手作業で実行されてよい。出力手段１０８最終的なモザイク合成画像はディスプレイ上に与えられるか、プリントされるか、コンピュータ・ファイルに記憶されてよい。更に、モザイクは、新しいモザイクの作成に使用するため、ソース画像１０１として利用に供されてよい。ユーザ・インタフェース１０９人間の操作員はユーザ・インタフェースを介してこれらの処理ステップの任意のもの又はすべてを観察及び制御してよい。通常、このインタフェースは画像表示装置、及びマウス又はライト・ペンのようなポインティング・デバイスを含む。操作員は可視ユーザ・インタフェースを介してソース画像、画像領域、及びこれら画像上の操作を指定してよい。更に、操作員はスライダ・バー又は他の現実又は仮想の「ノブ」を介して操作パラメータを制御してよい。操作員は異なった画像上で対応点を指定することによって、又は仮想ノブを使用して画面上で画像をプッシュ、ストレッチ、又は回転することによって画像の整列を手作業で援助してよい。標準のユーザ・インタフェース方法（例えば、キーボード及びポインティング・デバイス）に加えて、本発明はビデオ入力のための固有のユーザ・インタフェースを与え、ユーザが所定の動作でビデオ・カメラを動かすことによってシステム機能とインタフェースすることができるようにする。各々のそのような所定のカメラ動作はモザイク処理プロセスのある局面を制御するように解釈される。注意すべきは、モザイク作成のステップの順序は、ある場合には交換されてよく、またあるステップは省略されてよいことである。例えば、向上ステップはセグメント選択ステップの後、又は整列ステップの前、又は画像選択ステップの前に実行されることができ、又は全く実行されなくてもよい。画像の選択ソース画像選択ステップ１０２は、図２に示したステップのような追加のステップを含んでよい。ソース画像は内容、品質、及びオーバラップの程度を含む幾つかのファクタに基づいて選択されてよい。一般的には、ソース画像の選択プロセスは反復的であり、従って最初に選択されたある画像は後に廃棄されてよく、最初に選択されなかった画像が後に付け加えられてよい。内容に基づく選択２０１通常、画像内容に基づく選択は手作業で行われる。これはより大きい画像から小片をカットするステップを含んでよく、それらの小片は新しい画像に挿入されてよい。通常、そのような選択及びカットは、マウスのようなポインティング・デバイスを使用してコンピュータ・ディスプレイ上で実行される。品質に基づく選択２０２画像品質に基づく選択は手作業又は自動的になされてよい。ビデオ信号からのモザイク作成のように、非常に多くのソース画像が存在する場合、自動選択が普通に使用される。この選択プロセスは、例えば、モーション・ブラー又は不十分な露光のために劣化した画像を避けてよい。もしソース画像がビデオ・シーケンスであれば、１つのモーション・ブラーはフレーム間の画像移動を最初に測定することによって検出されてよい。ブラーの程度は、フレーム移動に比例して増加し、またフレーム間の時間の端数として、各フレームに対する露光時間に比例して増加する。フレーム間の移動は画像整列プロセス１０３によって与えられてよい。更に、露光時間はソース・ビデオと共に与えられる情報の一部分として知られてよい。露光時間及び移動の積が、画像内の画素と比較して大きい距離を表すとき、画像はブラーによって顕著に劣化する。ビデオ・シーケンスにおけるモーション・ブラーを検出する代替の方法は、画像が他の方向では鋭いが、１つの方向でブラーを有するように現れるとき、そのブラーの程度を測定することである。画像に適用された簡単なフィルタが、画像内の各画素位置でパターン配向を測定してよい（これはグラディエント・オペレータ又は配向エッジ検波器であってよい）。画像の拡張領域又は画像の全体にわたってプールされたときの結果の配向が、１つの方向に異常に密集している場合、これはモーション・ブラーを示すものと取ってよい。配向は１つの画像のクラスタリングと隣接したオーバラップ画像のクラスタリングとを比較することによって、異常に密集しているものと判断されてよい。露光品質を決定する方法は、ソース画像の一組のスペクトル周波数帯域内のエネルギーを測定してよい。異なった露光と共に得られた所与のシーンの一組の画像については、最大エネルギーを有する画像が最良露光を有する画像であるとして取られてよい。一組のスペクトル帯域内のエネルギーは、その画像のラプラシアン・ピラミッド表現の各種のレベル変動を計算することによって計算されてよい。幾つかの帯域のエネルギーが、１つの画像について、オーバラップした画像のそれと比較して低ければ、その画像は不十分な露光の可能性があるものとして拒絶されてよい。オーバラップに基づく選択２０３ソース画像のフレームは、隣接画像の間で適切な程度のオーバラップを与えるように選択されるのが望ましい。この選択プロセスは、一部はアプリケーション及びモザイク作成システムに利用可能な計算リソースに依存する。一般的には、オーバラップが大きければ、良好な品質整列及びマージングを達成するのがそれだけ簡単になる。他方、オーバラップが大きければ、所与の領域をカバーするモザイクを作成するために、それだけ多くのソース画像が必要となり、従って計算リソースのコストが大きくなる。オーバラップの程度は整列プロセス１０３によって選択システムに与えられる。画像の整列画像整列ステップは、カメラの動き及びレンズの歪みのようなファクタを補償するのが望ましい。カメラの動きはオーバラップ画像の間で単純な投影変換を導入するか、シーン内の物体の３次元分布に関連した、より複雑な視差変換を生じることができる。現在、これらのファクタに対応した整列方法が存在する。ここで、モザイク画像領域の上で２つの次元に分布される画像の集合を整列させて、各画像が隣接画像に対して上下及び左右に整列させられるようにする方法を定義する。画像の対を整列させる既存の方法は、２つの画像に適用されたとき、それら画像のオーバラップ領域上で画像一致又は整合の計算値を最大にする幾何学的変換を発見する手段を与える。クロス相関及び最小２乗誤差を含む各種の一致計算値を使用することができる。３つ以上のソース画像を同時に整列させる新しい方法は、ソース画像の各々に適用されたときにすべてのソース画像についてグローバルな最良の一致を生じる幾何学的変換を発見することによって、画像の対に使用される手順を一般化する。グローバルな最良の一致は、オーバラップするソース画像の対に対する一致計算値の適切な組み合わせとして定義される。一般的に、グローバルな最良整列を発見する仕事は計算的に困難である。新しい方法は最良グローバル整列を発見する実用的手段を導入する。図３ａはグローバル整列を発見する３ステッププロセスを示す。ステップ１：サブモザイクの順次作成３０１まず、ソース画像は順次プロセスで１つ又は複数のサブモザイクに組み立てられる。このプロセスはシード（seed）として使用される１つ又は複数のソース画像を選択することから始まる。次に、他のソース画像を一時に１つずつ付け加えることによって、各シードからモザイクが成長させられる。各々の新しい画像は既存のモザイクと対になって整列させられ、次にモザイクに組み込まれる。代替的に、それはすでにモザイク中に存在する画像の１つと整列させられ、その整列のパラメータ及びオーバラップ画像の整列が数学的に結合されて、両像をモザイク整列に整列させるパラメータが得られる。サブモザイクは、それぞれの新しいビデオ・フレームを先行するフレームに整列させることによって、通常ビデオ・シーケンスから作成される。新しいサブモザイクは、カメラの動きの方向に顕著な変化があるとき常に開始されてよい。この処理ステップは、ソース画像の全体的最良整列を与えるものではなく、対となった両像の可能な整列の部分集合に基づいて、画像の部分集合の近似的整列を与えるにすぎない。ステップ２：サブモザイクの近似的整列３０２サブモザイクは相互に粗く整列させられる。実用的システムでは、このステップは手作業で行われるか、ジャイロスコープのようなカメラ配向センサから知られる粗いカメラ配向パラメータに基づくいてなされてもよい。更に、整列はサブモザイクの対の整列に基礎を有するか、既知の画像処理整列方法を使用して隣接サブモザイク内で選択されたフレームの対に基礎を有してよい。隣接サブモザイク間の正確な整列は可能でないことが度々である。ステップ１におけるサブモザイクの対の整列は、拡張されたサブモザイクの上で小さな整列誤差の累積を生じることが可能である。結果として、各サブモザイクは隣接サブモザイクに関して幾分歪みを生じるかも知れない。ステップ３：反復的リファインメント３０３一度、すべてのソース画像の粗い全体的整列が発生されると、その整列は反復調整プロセスを介してリファインメントされる。調整は階層的に、例えば、多解像度ピラミッド画像処理フレームワーク内で実行されてよい。この方法を使用して、最初にサブモザイクの低解像度表現について調整が計算される。これは全体的モザイクの大規模整列を改善する。次に、サブモザイクはより小さなサブモザイクに分解され、これらサブモザイクのために、通常より高い画像解像度で調整が反復される。これは中規模での全体的モザイク整列を改善する。小さなサブモザイクは再び更により小さなサブモザイクに分解され、これらサブモザイクの整列が調整される。これらの分割及び整列ステップは、所望の精度及び画像解像度が達成されるまで（可能性としては個々のソース画像のレベルで）反復される。個々のフレームの調整された整列、及び小さなサブモザイクは、「ファイン−コーアス（ファイン−コーアス、fine-coarse）」手順で（ステップ２の）より大きなサブモザイクを再作成するために使用されてよい。「ファイン−コーアス」及び「コーアス−ファイン」のパスは、所望の全体的整列が得られるまで反復されてよい。発明者は、大部分の応用例に対し単一のパスで十分であることを確認した。整列を調整する方法ステップ３における整列を調整する方法は、所与のソース画像（又はサブモザイク）とその隣接オーバラップ画像（又はサブモザイク）のすべてとのグローバル整列を考慮する。オーバラップ隣接画像（サブモザイク）のすべての対に対する計算値を結合する１つの一致計算値が計算される。次に、この結合された一致計算値を最適化する幾何学的変換パラメータが発見される。グローバル整列は一時に１つの画像（サブモザイク）について実行されるか、画像（サブモザイク）のグループについて同時に実行されてよい。これらのテクニックは、それぞれ以下の方法１及び２として説明される。どちらの場合も、調整は、全体的モザイクを形成するすべての画像（サブモザイク）について、系統的に循環する。これらのステップは、次のように更に明確に定義されてよい。すなわち、Ｎ個のソース画像（又はサブモザイク）のシーケンス｛Ｉ_k｝が与えられているとき（Ｏ＜ｋ＜Ｎ−１）、オーバラップするすべての画像の対からのすべての整列誤差を加算することによって、１つのグローバル整列誤差を計算する。「整列」とは変換の集合｛Ｔ_k｝であり、その各変換Ｔ_kが画像Ｉ_kをモザイクの共通座標フレームワークにワープするものと定義する。もしＷ_kが変換Ｔ_kによってワープされた画像Ｉ_kであるとすれば、オーバラップは整列させられた画像Ｗ_m及びＷ_nのすべての対の間で計算される。そのような画像の対はＮ²個が存在する。オーバラップが存在すれば、整列誤差Ｅ_mnを計算することができる。例えば、Ｅ_mn はオーバラップ領域における画像強度の差の２乗の合計、クロス相関、又は画像整列の品質の他の任意の計算値であることができる。画像がオーバラップを有しない場合、Ｅ_mnはゼロである。従って、グローバル整列誤差ＥはＥ_mnのＮ²個の画像の対のすべてにわたる合計である。画像の対の間にオーバラップが存在しない解を避けるために、標準の方法が使用される。これらの方法は、少なくとも或る所定のオーバラップ領域又は或る所定数のオーバラップ対を有する整列のみを考慮することを含む。各々の画像対の一致の計算値は、オーバラップ領域で計算値を除算することによって正規化されてよい。モザイク座標系は、本発明では問題としない。それは入力画像の１つの座標系でも、他の方法によって計算された他の座標系でも、ユーザによって手作業で選択された座標系でもよい。本出願で使用されるように、グローバル整列は、グローバル整列誤差Ｅを最小にする変換の集合｛Ｔ_k｝である。変換のこの集合は、グローバル整列誤差Ｅを最小にする最小化方法を使用して発見することができる。例えば、図３で提案されたグローバル画像整列を考える。この整列の誤差関数は、オーバラップ領域を共用する画像のすべての対から計算される。例えば、陰影を付けられた領域３２１は、フレーム３１１及びフレーム３１２の間のオーバラップ領域である。領域３２２はフレーム３１３及び３１４の間のオーバラップである。例示の方法はすべての画像対を使用して定義されたが、計算の速度を増大させるため、又は関連する画像対を、或る他のプロセスによって前もって決定することができる場合には、画像対のより小さな部分集合を使用してよい。例えば、オーバラップ領域を共用するすべての画像対のために誤差関数を計算する代替方法は、隣接した画像対のみを使用することである。画像対の間の隣接性を定義する１つの可能な方法は、エフ・オーレンハマーによって１９９１年の「（オーレンハマー）計算調査」第２３巻、３４５〜４０５ページに発表された「ボロノイ線図、基本的幾何学データ構造の調査」で説明されている「ボロノイ線図」("Voronoi Diagrams,a Survey of Fundamental Geometric Data Structures",F.Aurenhamm er，(Aurenhammer)Computing Surveys，Vol 23，1991,pp 345-405)を使用することである。各フレームの中心をボロノイ・セルの核として使用し、共通の頂点を共用するボロノイ・セルを有するフレームを「隣接」するものと定義する。すべてのオーバラップ領域、又は隣接する画像対のみのオーバラップ領域について整列誤差を同時に最小化することは、計算を費やすであろう。発明者は計算の複雑性を低減する幾つかの簡単な実施方法を定義した。方法１ −「コーアス−ファイン」リファインメントを伴う分析的最適化最初に、一致計算値はオーバラップ・フレームの対の間で計算される。一致計算値は、現在の予測された最適一致の位置に中心をもつ小範囲のパラメータ値に対する表面として表される。これらの表面は、それらの整列計算値を記憶することによって明示的に記述することも、パラメータ表面として暗黙的に記憶することもできる。従って、全体の最良整列の推定は、オーバラップ・フレームの対のために一致表面の集合に基づき分析的に決定することができる。ソース画像は推定された最良一致位置にワープされ、一致表面が再び計算される。全体の整列を連続的に改善するために、プロセスは数回反復されてよい。これらのステップは、最初の整列が各ソースの低解像度表現に基づき、最後のリファインメントが各ソースの高解像度表現に基づくように「コーアス−ファイン」様式で更に実行されてよい。この方法における反復が望ましい理由は、対による一致計算表面が単純変換のために計算することができるのに対し、グローバル整列は更に複雑な変換を使用して推定されるためである。例えば、一致計算表面は平行移動のためだけに計算されつであろうが、複数の隣接画像に対する画像のグローバル整列は、アフィン変換を含むであろう。方法２ −局所整列リファインメントソース画像の集合が粗く整列されると、各画像の整列パラメータがオーバラップ隣接画像への一致を最適化するために調整されてよい。これは各ソース画像について順番に反復され、次に数回反復される。更に、プロセスは「コーアス−ファイン」リファインメントとして実行されてよい。実行は、直列的で１つの画像の変換が各反復で調整されるか、並列的で複数のオーバラップするソース両像がそれぞれの隣接画像と同時に整列させられてもよい。領域の選択最終モザイク内の各点は幾つかの入力画像によってカバーされてよい。これら入力画像の１つがモザイク内のその点で画素値を定義するために選択されるのが望ましい。ＳＲ_kを、モザイクに含まれる画像（変換された）Ｗ_kの部分領域とする。ＳＲを選択するためには、幾つかの方法を使用してよい。方法１：近接ＳＲを選択する最も単純な方法は、画像の中心への近接による方法である。モザイク画素ｐが幾つかの画像Ｗ_kによってカバーされるものとする。近接基準は、画像ｐの値について、ｐに最も近い中心を有するその画像Ｗ_kから取られるように選択する。この碁盤目状配列は「ボロノイ碁盤目」として知られ、結果のＳＲは凸領域である。この場合、２つの隣接画像の間の境界は２つの画像中心を接続する線分の２等分線である。ボロノイ碁盤目は前記のオーレンハマーによる論文に説明されている。例えば、入力画像が水平方向のみの平行移動を有するとき、各入力画像はその中心の周りの直立矩形ストリップのみを最終モザイクに寄与する。領域選択の例を図４に示す。フレーム４０１、４０２、４０３、及び４０４は整列後の表示である。作成されたモザイク４１０の中で、領域４１１はフレーム４０１から取られ、領域４１２はフレーム４０２から取られ、領域４１３はフレーム４０３から取られ、領域４１４はフレーム４０４から取られ、領域４１５はフレーム４０２から取られ、領域４１６はフレーム４０３から取られる。方法２：画像の品質ＳＲは画像の品質に基づいて選択されてよい。モザイクの画素ｐに割り当てられる値は、その点で最良画像品質を有するものと判断されたソース画像から取られる。画像品質のレーティングはコントラスト又はモーション・ブラーのような基準に基づいてよい。例として、グラディエントの大きさが使用されてよい。これは、画像が鋭くなれば、それだけ高くなる。そのような選択基準は１９９４年６月２８日に付与された「画像を融合する方法及び装置」（Method for Fusing Images and Apparatus Therefor）と題する米国特許第５，３２５，４４９号に説明されている。この特許は、画像グラディエント計算の追跡について、本明細書に援用されている。特定の領域をカバーするすべてのオーバラップ画像を使用して、最高品質を有する画像が領域を表すために選択される。方法３：整列整列の程度は２つの画像間のオーバラップ領域で均一でない場合が度々である。これら画像のＳＲの境界を定義するカット線は、整列が特に良好な点の中枢に沿ったオーバラップ領域を通過するように置かれることが望ましい。これは最終モザイクで整列ミスが最も目立つモザイク継ぎ目に沿って整列ミスを最小にする。点のこの中枢を発見するために、オーバラップ領域の各画素で、残留整列ミス・ベクトルが推定される。次に、オーバラップ領域を区分して残留整列ミスの合計が最小になるようなカット線が発見される。より良好な整列が画像の中心の近くにあり、整列が画像周辺部に行くにつれて劣化するとき、ボロノイ型の碁盤目配列はこの基準への近似である。画像の改善個々の画像は、それらのコントラスト又は尖鋭度を改善するために、又はこれらの特性を隣接画像の対応する特性と等しくなるように調整するため、マージングの前に更に処理されてよい。改善は強度、色、及びフィルタ操作に基づく。これら操作のパラメータは手作業又は自動的に決定されてよい。マージング実際には、ソース画像のそれぞれのＳＲからモザイクに画素値を単純にコピーすることによってソース画像をモザイクに組み立てることは望ましくないかも知れない。これは目に見える継ぎ目を生じる。従って、隣接画像領域を一緒に混合することが望ましい。特に効果的な混合手段は、まずソース画像を２つ以上の帯域空間周波数成分の集合に分解し、次に各帯域の画像を、別個に、その帯域内の平均波長に比例した遷移ゾーンの上でマージする。この方法の既知の実施形態は、画像をそれらのバンドパス成分に分解するためにラプラシアン・ピラミッド両像変換を使用する。画像のマージングにラプラシアン・ピラミッドを使用する場合の説明については、前記のバートＩを参照されたい。この出版物は、画像からラプラシアン・ピラミッドをどのように作成するか、ラプラシアン・ピラミッドから画像をどのように作成するかについても説明している。簡単に言えば、２つのラプラシアン・ピラミッドが作成されるが、双方のピラミッドは、最終モザイクＭのサイズを有する画像に基づく。１つのピラミッドＭは最終モザイク画像Ｍに対するもので、他のピラミッドＬは現在の画像に対するものである。各ソース画像Ｉ_kは、まずＴ_kによって、モザイクと整列させられた画像Ｗ_kに変換（ワープ）される。次に、ワープされた画像は、指定された値の画素で充填するか、後に説明する更に一般的な外挿方法によって、モザイクの全領域をカバーするように拡張される。次に、ラプラシアン・ピラミッドＬがＷ_k について計算される。ピラミッドＬからの値は、Ｗ_kから来るセグメントＳＲ_kの位置に基づいて、ピラミッドＭ内の適切な位置にコピーされる。これが各画像について行われた後、入力フレームによってカバーされた領域に対応するピラミッドＭ内のすべての要素は、割り当てられた値を有する。次に、最終モザイクＭがラプラシアン・ピラミッドＭから作成され、継ぎ目のないモザイクが与えられる。本発明の１つの実施形態において、多解像度マージング・プロセスは、ソース画像それ自体ではなく画像のグレイ・スケール変換版に基づいて実行される。露光特性が顕著に異なる画像をマージするために、まず画像は対数変換のような可逆的圧縮スカラー変換によって画素ベースで変換される。多解像度マージングがスカラー変換されたソース画像で実行され、次にマージングを介して得られた画像のためにスカラー変換を反転することによって、最終モザイクが得られる。この手順が有用である場合の例は、異なった利得を有する画像をマージすることが普通に起こる場合である。そのような画像は、自動的利得制御を有するビデオ・カメラによって取られるか、各画像に異なった利得を適用したスチル・カメラによって取られてよい。利得変換は画像強度の乗算によって近似することができる。滑らかな利得変換を行うためには、マージングの前に対数変換を画像に適用することによって、より良好な混合が得られる。変換された画像がマージされ、混合され変換された画像の指数（又は真数）が最終結果を与える。カラーの画像では、前記の変換が、画像環境に依存して強度成分のみに適用されるか、各カラー信号成分に別々に適用されてよい。ピラミッドにおける領域選択多解像度マージング・プロセスの実施形態は、バートＩに与えられる。この実施形態は、各ソース画像をバンドパス成分の正規の集合に分解するためにラプラシアン・ピラミッドを使用する。２つの画像がマージされるとき、これら画像の１つのための重みづけ関数（例えば、Ｗ₁）が、マスク画像のガウス・ピラミッドを作成することによって定義されることができる。マスク画像は、領域ＳＲ₁ 内では１に定義され、この領域の外側では０に定義される。そのようなガウス・ピラミッドはＷ₁のラプラシアン・ピラミッドのそれぞれの対応する各サンプルによって乗算される重みを与える。この重みづけは比例混合規則に従う。もし２つだけのソース画像Ｗ₁及びＷ₂が存在し、領域ＳＲ₁及びＳＲ₂がモザイク領域の相補部分を表すならば、多解像度マージングは単純な手順に従う。すなわち、（１）Ｗ₁及びＷ₂のためのラプラシアン・ピラミッドを構築する。（２）領域ＳＲ₁及びＳＲ₂内にあるマスクのためにガウス・ピラミッドを構築する。（３）各ソースについてサンプル・ベースでラプラシアン成分及びガウス成分を乗算する。（４）結果の積ピラミッドを加算する。（５）所望のマージされた画像を回復するため、逆ラプラシアン・ピラミッド変換を実行する。この発明の開示では、バート及びアーデルソンによって定義された方法の２つのリファインメント（refinement）を紹介する。１．正規化を伴う重みづけ加法もし３つ以上の画像が使用され、それぞれのセグメントＳＲ_kが、穴又はオーバラップを生じることなくモザイク画像領域を正確にカバーするならば、前記の手順は任意数の画像のマージングに一般化することができる。部分領域のためにガウス・ピラミッドによって与えられた全ての重みは、各サンプル位置で正確に１に合計される。しかし、もしＳＲ_kがモザイク画像領域を正確にカバーしなければ、各サンプル位置での重みの合計は１になるかも知れない。この場合、画像は前記のステップ１から４までのように結合されてよい。ここで、２つの新しいステップが導入される。すなわち、（４ｂ）ガウス・ピラミッドはサンプル・ベースで合計され、（４ｃ）結合されたラプラシアン・ピラミッド内の各値は、結合されたガウス・ピラミッド内の対応する値によって除算される。これはラプラシアン値を正規化する効果を有する。最終モザイクは、ステップ５のように、逆変換を介して回復される。２．単純化された選択結合されたラプラシアンを作成するために、比例混合用の重みづけ関数が単に暗黙的である単純化された方法を使用してもよい。この手順では、各ソース画像のためのラプラシアン・ピラミッドが前のように作成される。（ステップ１）。ガウス・ピラミッドは作成されない。（ステップ２及び３はない。）次に、対応するセグメントＳＲ_kの領域に落ちる各ソース画像Ｗ_kのラプラシアン・ピラミッドの全レベルから全サンプルをモザイク用のラプラシアンにコピーすることによって、モザイク用のラプラシアンが作成される。（ステップ４）。モザイクは前と同じように逆変換を介して得られる。（ステップ５）。この単純化された方法は、ソース画像セグメントＳＲ_kがモザイク領域を正確にカバーして正規化が必要でないとき使用することができる。逆ラプラシアン・ピラミッド変換は、多解像度マージング方法によって使用される比例混合を提供するために、選択されたバンドパス成分をぼかす効果を有する。奇数幅発生カーネルで作成されたラプラシアン・ピラミッドのレベル１における空間位置（ｉ，ｊ）は、デカルト座標ｘ＝ｉ２¹及びｙ＝ｊ２¹にあることが注意される。もしこれらの座標が、画像Ｗ_k のラプラシアン・ピラミッドにあるサンプルについてＳＲ_k内に落ちるならば、そのサンプル値はモザイク用のラプラシアンにコピーされる。この単純化された方法を図６に示す。提示を明瞭にするため、１次元の場合を図６に示すが、画像の２次元の場合への一般化は簡単である。３つの整列させられた画像Ｗ₁、Ｗ₂、及びＷ₃が与えられた場合、最終モザイクは画素０〜４では画像Ｗ₁、画素５〜１０では画像Ｗ₂、及び画素１１〜１６では画像Ｗ₃から作成される。Ｍ₀（ｘ）の値は次のように割り当てられる。すなわち、画素Ｘ＝０．．．４については、それらは画像Ｗ₁のために同じくｘ＝０．．．４として発生されたラプラシアン・ピラミッドＬ₀（ｘ）の同じレベルから取られる。画素ｘ＝５．．．１０については、それらは画像Ｗ₂のためにｘ＝５．．．１０として発生されたラブラシアン・ピラミッドＬ₀（ｘ）から取られる。画素ｘ＝１１．．．１６については、それらは画像Ｗ₃のためにｘ＝１１．．．１６として発生されたラプラシアン・ピラミッドＬ₀（ｘ）から取られる。ピラミッドの残りについては、Ｍ_i（ｘ）の値は、モザイク画像Ｍ内の位置２ｉｘに寄与する画像のラプラシアン・ピラミッドの対応するｉ番目のレベルから取られる。従って、Ｍ₁（ｘ）については、ｘ＝０．．．２の値は画像Ｗ₁のラプラシアン・ピラミッドから取られ、ｘ＝３．．．５の値は画像Ｗ₂のラプラシアン・ピラミッドから取られ、ｘ＝６．．．８の値は画像Ｗ₃のラプラシアン・ピラミッドから取られる。この例では、大部分の実用的な場合と同じように、トップ・レベルが単一の画素のみになるまで、ラプラシアン・ピラミッドは作成されない。そのような場合、ピラミッドのトップ・レベルは画像のガウス・ピラミッドの同じレベルから取られる。従って、Ｇ₃は対応する画像のガウス・ピラミッドから取られる値から構成される。画像境界の処理個々のソース画像Ｗは、最終モザイクと同じ座標系及びサンプル・グリッド上で定義される。しかし、それらは概してモザイクよりも小さい。ラプラシアン・ピラミッドが各画像Ｗ_kについて作成されるとき、拡張された画像領域をカバーするため、最終モザイクの全領域に至るまで、少なくとも暗黙的にこの画像を外挿するのが便宜的である。この拡張が望ましいのは、最終モザイクに寄与するピラミッドからの全サンプル（すなわち、方法１の非ゼロの重みを有するもの、又は方法２のＳＲ_kの領域に落ちるもの）が良好に定義された値を有することを保証するためである。この外挿はオリジナルの画像で行うか、ピラミッドが作成されるときに行うことができる。もしオリジナルの画像領域内で行われるならば、セグメントＳＲ_k 内の点が画像の境界の距離ｄ内にないことを、外挿によって保証されるのが望ましい。ここで、ｄ−Ｄ２^Mであり、Ｍはマージングに使用されたラプラシアン・ピラミッドのトップ・レベルであり、Ｄはピラミッド作成に使用されたフィルタ・カーネルのサイズに関連した小さな整数である（例えば、Ｄは、偶数個のタップを有する対称フィルタの線形フィルタ・カーネル・サイズの半分に等しい）。画像領域外挿の単純な方法は、エッジ画素の値を複製することである。モザイク作成に使用されてよい他の方法は、他のソース画像から対応する画素をコピーすることである。もしこれらの他の画像が露光特性においてＷ_kから顕著に異なっていれば、それらはＷ_kと同じ特性をもつように濃度変換されてよい。外挿は、ピー・ジェイ・バートによって１９８８年の「ＩＣＢＲ」の３００〜３０２ページに発表された「モーメント画像、多項式適合フィルタ、及び表面内挿の問題」（"Moment Images，Polynomial Fit Filters，and The Problem of Surface Int erpolation,"P.J．Burt，ICPR 1988,pp.300-302）に説明されるような方法によってピラミッド作成中に行われてよい。カラー画像カラー画像を処理するには、幾つかのアプローチがある。カラー画像は任意の許容されたカラー標準（ＲＧＢ、ＹＵＶ、Ｌａｂ、その他）で３次元画像として表すことができる。画像の整列は１つの成分だけ（例えば、強度Ｙの成分）で行うことができる。その場合、通常のモノクロ整列テクニックを使用することができる。代替的に、整列は、２つ以上の成分を含む誤差関数を最小にしてよい。画像のマージングは、例えば、強度Ｙの成分のように単一の成分について行うことができ、その場合、他の２つの成分信号はマージされた画像から直接に取られる。代替的に、画像のマージングは各成分（例えば、Ｒ、Ｇ、Ｂ成分、又はＬ、ａ、ｂ成分）について別個に行われ、各成分がモノクロ画像として処理されてよい。モノクロ・モザイクについては、スプライニングによる画像間継ぎ目のぼかしによって、人間の観察者は、それが部分画像から構成されていることを識別することができない。もしスプライニングが行われていれば、基本的な明度バランシングすら必要でないことが度々である。部分画像の融合が起こるのは、人間の視力は高空間周波数（例えば、継ぎ目）での輝度の差に対しては敏感であるが、低空間周波数（例えば、部分画像を横切る）に対しては敏感ではないからである。他方、クロミナンスの差は低空間周波数でより有効に知覚される。従って、継ぎ目がモザイク内の２つの部分画像の間でぼかされるときでも、部分画像が整合された後、それらが一緒にスプラインされる前に、部分画像のすべてを色補正するように注意しないと、画像間のカラーの不均衡が識別可能である。ここで、画像間のオーバラップ領域にあるカラーの間の比較に基づいて、モザイク内の部分画像の間で色補正を達成する方法を説明する。２つのオーバラップする画像について、この方法は、第２の画像を第１の画像に最も近くもってくる色空間アフィン変換を決定するため（Ｒ、Ｇ、Ｂ成分信号の間で）、画像オーバラップ領域にわたって最小２乗適合を実行することを含む。次に、結果のアフィン変換が第２の画像の全体に適用される。目的関数を３つ以上のオーバラップする画像に拡張することは、単にアフィン変換を画像の１つを除くすべての画像に帰属させ（これらの変換は、変換されていない画像又は基準画像に関する）、次にすべてのオーバラップ領域におけるすべての画素について、２乗されたＲＧＢ色差を加えることによって行われる。画像形成の物理的過程はアフィン色補正の強い動機を与える。かなり一般的で自然な環境では、色空間におけるアフィン変換は、（a）異なった獲得システムに起因する２つの画像の間の色空間の差、（b）異なった獲得時間に起因する照明スペクトルの差、（c）他の画像には現れない１つの画像内の曇り又は他の半透過の媒体、を補償する。これは、１９８０年の「ＭＩＴＲＬＥ」第１２２号、２１４〜２２１ページ（a paper by M.H.Brill，published in MIT RLE Progres s Reports No.122(1980),214-221）に発表されたエム・エッチ・ブリルによる論文に記載されている。前後関係におけるアルゴリズムの実行を以下に概説する。１．前記の画像整合アルゴリズムを輝度画像にのみ適用し、オーバラップ領域を識別及び索引し、輝度画像派生変換をすべての３成分カラー信号に適用する。２．基準画像Ｇ₁を識別し、それぞれの非基準画像Ｇ_kと基準画像との間で最良の色空間アフィン変換を決定するため、すべてのオーバラップ領域にわたって同時の最小２乗調整を行う。目的関数はすべてのオーバラップ領域（例えば、部分画像ｉ及びｋの）におけるすべての画素にわたる（Ａ_kＧ_k（ｘ）＋ｂ_k−Ａ_iＧ_i （ｘ）−ｂ_i）²の合計である。ここで、Ｇ_k（ｘ）は画像ｋの画素位置ｘにおける（Ｒ、Ｇ、Ｂ）の列ベクトルであり、Ｇ_i（ｘ）は画像ｉの画素位置ｘにおける（Ｒ、Ｇ、Ｂ）の列ベクトルである。Ａ_k及びＡ_iは３ｘ３マトリクスであり、ｂ_i及びｂ_kは列３ベクトルである。基準画像１については、Ａ₁＝Ｉ及びｂ₁＝０である。マトリクスＡ及びベクトルｂを含むアフィン・パラメータを解くことは、同数の未知数における１２Ｎ−１２の同時線形方程式を解くことを含む。ここで、Ｎはモザイクにおける部分画像の数である。３．前記のアルゴリズムを使用してＲ、Ｇ、及びＢのカラー信号成分に別々に画像スプラインを実行する。４．画像モザイクが実現可能なディジタル値の範囲内にあることを確認する。これは、すべての負の画素値を除去するように選ばれた定数を、画像内の各成分信号（すなわち、Ｒ、Ｇ、及びＢ）に加えることによって行われる。次に、画像上で最大値を最大獲得可能ディジタル値に下げるのに十分な定数によって各成分をスケールする。もし画像が、表現された物体のサイズに関して不完全に整合されるならば、前記のステップ２の目的関数における個々の画素値を、局部的画素平均で置換することができる。もし整合が画素レベルでは貧弱であるが、画像オーバラップ領域が依然として識別可能であれば、それぞれのオーバラップ領域内でカラー信号及び成分間相関マトリクスを一致させるために、ステップ２を変更してアフィン変換を最適化してよい。相関マトリクスの２次変換特性は、１９９４年の「J．Opt．Soc．Am．A ，11」の３００３〜３０１０でジー・ヒーリー及びディー・スレーターによって発表された論文（a paper by G，Healey and D.Slater，published in J.Opt.So c.Am.A,11(1994),3003-3010）に、カラー認識について説明されている。新しい目的関数は、すべてのオーバラップ領域（例えば、部分画像ｉ及びｋの）について（Ａ_kＣ_kＡ_k ^T−Ａ_iＣ_iＡ_i ^T）²及び（Ａ_kｍ_k＋ｂ_k−Ａ_iｍ_i−ｂ_i）２の重みづけられた合計の合計である。注：Ａ_kを完全に指定するためには、第３ランク・テンソルとして変換される第３モーメントを比較する類似項を付け加えることが望ましい。ここで、ｍ_k及びＣ_kは、３ベクトル信号平均及び画像_i及びｋのオーバラップ領域内の画素に対する信号間３ｘ３相関マトリクスであり、ｍ_i及びＣｉは同様に定義される（依然としてｉ、ｋのオーバラップ内で）。結果の最小２乗問題はアフィン・パラメータ内の方程式の非線形集合に導かれる。もしこれらの方程式を解くために必要な計算量があまりに大きければ、代案としてアフィン変換中の完全３ｘ３マトリクスを対角マトリクスで置換することができる。その場合、最小２乗方程式はマトリクス要素の２乗で線形となり、容易に解くことができる。２つのオーバラップ画像の特殊な場合には、画像Ｇ２の各カラー成分は、変換によって、画像Ｇ１の平均及び分散に一致する平均及び分散を有する画像Ｇ２’に補正される。Ｇ２’＝ａＧ２＋ｂここで、ａ＝シグマ１／シグマ２ｂ＝平均１−（シグマ１／シグマ２）平均２平均１及びシグマ１は、画像Ｇ１（基準画像）に対する問題のカラー信号成分における画素値の平均及び標準偏差であり、平均２及びシグマ２は、画像Ｇ２（検査画像）に対して同様に定義される。各応用例では、更に念入りのカラー調整を試みる前に、このステップが十分のカラー補正を与えるかどうかを確認すべきである。カラー画像を処理するこの代替方法の基礎は、モザイク中の部分画像の間でアフィン色補正を実効化するためにオーバラップ画像領域を使用することである。アフィン色補正は色再現及び機械視覚の分野でしばらくの間論議されたが、それは大きな成果を収めなかった。なぜなら、正しいアフィン変換を発見するには、通常は、非常に制限的なスペクトル仮定又は画像内で正しく区分された領域の基準カラーの定義を必要としたからである。検査及び基準画像の間のオーバラップの存在は、これらの問題を不要にし、従ってアフィン補正が直接に計算されることができるようにする。このアプローチは、一連の画像オーバラップによって基準画像に接続されるすべての他の画像に推移的に拡張することができる。整列の対話的観察整列の後、画像は（任意選択的に）ユーザに与えられる。モザイクの提示は、すべての画像が共通の座標系に変換される図３Ｂの提示と同じように行われる。観察は、モザイク内の各画像の位置が、オリジナルの画像と同じように与えられるように行われる。１つのそのような可能な対話は、カーソル又は他のポインティング・デバイスをモザイクを横切って移動することによって行われる。カーソルを含むモザイク内の領域に寄与するビデオ・フレームは、画面の１つの部分に表示され、その間に、寄与している領域及び画像境界がモザイク上に表示される。この対話は、操作員が画像の品質及びそれらの整列を検査することができるようにする。例えば、操作員は貧弱な品質（例えば、ブラー・ノイズ）を有するフレームを削除し、その間に、モザイク内のすべての画像が少なくとも１つの入力画像によってカバーされることを確認してよい。前記の対話の効果の１つは、ユーザにビデオを観察する新しい方法を与えることである。ポインティング・デバイスがモザイク上を移動する方向及び速度を制御することによって、ユーザは今やビデオの表示を制御することができる。特に、ユーザは前方／後方のビデオ表示を制御すると共にその速度を制御することができる。貧弱な整列を補正するためには、追加的なユーザ対話が望まれるがも知れない。自動的整列は、例えば、画像のオーバラップが小さいとき、画像が過度のノイズ量を有するとき、又は画像が少しの識別特性しか有しないときに失敗するかも知れない。そのような場合、ユーザは、例えば、マウスを用いてフレームをドラッグするか、整列していない画像に現れる共通の特徴をクリックすることによって、画像を手作業で整列させてよい。システムは、この処理からフレーム整列変換を計算することができる。そのような変換は、更なる自動整列のために初期推定として働くことができ、今や自動整列は、初期推定が改善されたために、より良好な結果を与えるかも知れない。ビデオ・モーション分析に基づく装置制御データ処理装置又はコンピュータ・プログラムを能動化する通例の方法は、「オン」ボタン又はその等価物を押し、次に「オフ」ボタン又はその等価物を押すことである。しかし、ある場合には、装置の動作は、それが処理している情報によって制御される。１つの例は「音声能動」応答機械であって、この機械は、音声信号が電話回線上で検出されないとき、到着メッセージの記録をオフにする。本発明は、カメラが動いているときだけ、又は動いている物体が視界で見えるときだけ関連動作を有する装置及びコンピュータ・プログラムを制御するために、ビデオ・モーション分析モジュールを使用することを含む。ビデオ・モーション分析は、エム・テカルプ(M.Tekalp)による著作「ディジタル・ビデオ処理」(Dig ital Video Processing)に説明されているように周知である。カメラの動き又は画像物体が分析され、特定のモーション・パターンは装置からコンピュータ・プログラムへの命令として解釈される。動き制御の１つの応用例は、ビデオ信号の第２のフレーム又は画像シーケンスからパノラマ画像を作ることである（ビデオブラシ）。この装置の制御は次のようにすることができる。すなわち、画像のモザイク化はカメラが静止した２つの期間の間でのみ起こる。この例では、画像のモザイク処理が能動化された後、プロセスは、カメラが静止するまで待ち(フレーム間の動きは所与のしきい値よりも小さい)、カメラの動きが或るしきい値を超過したときモザイク処理を開始し、カメラが再び静止したときモザイク処理を停止する。モザイク・プロセスの始め及び終わりを制御するカメラ・モーションに加えて、カメラ・モーションの方向が、モザイク化プロセスそれ自体の内部詳細を制御するために使用されてよい。例示の実施形態本発明の例示の実施形態を図７〜図１５を参照して説明する。この例示の実施形態は、携帯低解像度ディジタル画像ソース（例えば、ビデオ・カメラ７１０及びディジタイザ７１２又はディジタル・ビデオ・カメラ）、及び変更されていないパーソナル・コンピュータ（図示されていない）上で実行されているソフトウェアを使用して、高解像度ディジタル画像ストリーム７１４をリアルタイムで捕捉するシステムである。このプロセスは、画像が受け取られるにつれて素早くそれを処理し初期モザイク画像７１８を生成する高度に効率的な「前端」画像整列プロセス７１６と、高度に正確な「後端」画像整列プロセス７２０と、継ぎ目のないモザイク画像７２４を与えるマージング・プロセス７２２とを結合することによって達成される。全体のシステムがその機能を実行するために、前端整列プロセスは、画像捕捉動作の間、連続的なフレーム間画像整列を実行する能力を有することが望ましい。このプロセスの終了結果は、オーバラップしているソース画像フレームのリストから構成される初期モザイク・データ構造７１８であり、各ソース画像は、シーケンス内でフレームを隣接した他のフレームと関連づける動きパラメータを有する。動きパラメータのこれらの集合の任意の１つが不在又は不正確であれば、モザイクを組み立てることは困難であるかも知れない。なぜなら、画像シーケンスの１つの部分と画像シーケンスの残りの部分との関係が定義されないかも知れないからである。従って、信頼性のあるシステム機能を提供するためには、前端整列プロセス７１６は、１）リアルタイムで機能し、２）フレームのすべてのために正しい整列結果を高い確率で戻すことが望ましい。例示の前端整列プロセス７１６の目的は、全体の入力画像ストリームを関連づけることによって初期モザイクを定義する最小整列チェーン（ＭＡＣ）を発生することである。このＭＡＣは、一連の入力画像、及び各画像をチェーン内の前の画像へのみ順次に整列させる整列パラメータから構成される。それは、整列プロセスが進行するためにできるだけ少ない入力画像を含むという意味で、最小のものである。この最小特性が望ましい理由は、それが後端整列プロセス７２０及び混合プロセス７２２で必要とされる処理及び記憶域の量を低減するからである。この前端整列プロセスの実施形態を図８に示す。それは２つの動作原理を含む。すなわち、適応性画像サンプリングと適応性フィルタ選択である。他の実施形態は、これら又は同様の原理に基づいてよい。ＭＡＣは入力画像ストリームの最初及び最後の画像を論理的に含むから、プロセスは、最初の捕捉画像をＭＡＣの最初の成分及び初期基準画像（ＲＩ）として指定することによってスタートする。ＲＩは、１）到着画像とＲＩの間の推定オーバラップが或るしきい値（例えば、画像寸法の５０％）よりも小さくなるか、又は、２）整列の失敗が検出されるまで、到着画像の各々を連続的に整列させるために使用される。選択された画像オーバラップの量は、ＭＡＣ内の画像数を最小にしたい希望と、整列をリファインメントする後端整列プロセスのために十分なオーバラップを提供したい希望とをバランスさせる。整列は、図１から図３までを参照して前に説明したような任意の効率的な画像ベース整列テクニックを使用して実行することができる。効率性と強靭性のために、多解像度画像相関テクニックを使用してよい。図８で、画像はディジタル化された画像ストリーム７１４からステップ８１０で受け取られる。プロセスは、ステップ８１２で画像のピラミッド記述を発生し、ステップ８１４で、このピラミッドを基準ピラミッドとして指定する。次に、ステップ８１６で、プロセスはストリーム７１４から次のフレームを検索する。ステップ８１８で、プロセスはこの画像のためにピラミッド記述を発生する。ステップ８２０で、プロセスは現在の画像の新しく発生されたピラミッド記述を基準画像のピラミッド記述に相関づける。ステップ８２２で、もし画像間で検出された相関が良好であれば、制御はステップ８２４に渡される。ステップ８２４は、２つの画像間の変位（Δｘ）がしきい値よりも小さいかどうかを決定する。もしそれが小さければ、現在の画像と基準画像の間のオーバラップは希望よりも大きく、従ってフレームはステップ８２６でバッファに置かれ、制御はステップ８１６に戻されて、ストリーム７１４からの新しい画像がテストされる。ステップ８２４で、もし変位がしきい値よりも大きければ、ステップ８２８が実行される。ステップ８２８はフレームをＭＡＣに付け加え、新しく加えられたフレームのピラミッドを基準ピラミッドとして指定する。しかし、ステップ８２２で、もし現在の画像と基準画像との間に良好な相関が存在しなかったならば、ステップ８３０が実行される。ステップ８３０は最も近時にバッファされた画像を基準画像として指定する。この画像はバッファされているから、十分のオーバラップ（しきい値よりも小さい変位）を有することが保証される。ステップ８３２で、現在の画像は新しい基準画像に相関づけられる。ステップ８３４で、もし良好な相関が検出されれば、プロセスは前記のステップ８２４に制御を移す。そうでなければ、ステップ８３６が実行される。ステップ８３６は入力画像を処理するために新しい空間フィルタを定義する。ステップ８３８で、新しく処理された画像のピラミッド表現が構築される。ステップ８４０で、このピラミッド表現は基準ピラミッドと相関づけられる。ステップ８４２で、もし良好な相関が検出されれば、制御はステップ８２４に移る。そうでなければ、画像整列の失敗が起こっており、プロセスはステップ８４４で終了する。図８に示すように、連続的に整列させられる画像は、現在の画像と基準画像の間の変位が過度になるまで単純にバッファされるが、それは画像間のオーバラップが最大値よりも小さいことを示す。最大値になると、現在の画像がＭＡＣデータ構造に付け加えられ、新しいＲＩとして指定される。もし整列の失敗が検出されなければ、このプロセスは、すべての画像が整列させられ完全なＭＡＣが作成されるまで、単純に進行する。完全なＭＡＣが構成された時点で、ＭＡＣは、オリジナルの入力シーケンスの最初及び最後の画像を含む入力画像のシーケンス、及びＭＡＣの各画像を先行する画像に整列させる整列パラメータのシーケンスから構成される。更に、ＭＡＣの画像は、各画像が、ほぼオーバラップしきい値によって決定される量だけ、先行する画像とオーバラップしているという特性を有する。図９は入力画像ストリーム７１４とＭＡＣ７１８の間の可能な関係を例示する。ＭＡＣの作成中の或る点で、整列プロセスは整列パラメータの許容可能な集合を戻すことに失敗するかも知れない。これは、画像捕捉プロセス（画像ノイズ、ドロップアウト、グレア、高速又は不規則なカメラ動作）、画像内容（移動又は遮断する物体）、画像処理（不適切な画像フィルタリング）、又は他の制御不可能な環境ファクタから派生する多様な理由で生じるかも知れない。整列の失敗は多様な基準によって検出することができ、それら基準の幾つかは選択された特定の整列プロセスに独特のものである。本発明の実施形態において、整列の失敗は、整列後の大きな残留誤差、異なった画像部分領域からの矛盾する推定、又は期待された範囲の外にある推定整列パラメータに基づいてステップ８２２で検出される。これらの条件の１つが生じるとき、整列チェーンの破断を避けるために、整列プロセスそれ自体を変更するか、整列が試みられている画像（ＲＩ）を変更することが必要である。実施形態では、この適合化は２つのステップで起こる。第１に、図８のステップ８３０で示すように、最も近時の成功裏に整列させられた画像が、ＲＩとして指定されて、ＭＡＣに付け加えられる。次に、現在の画像とこの新しい基準との間で相関づけが試みられる。もしこの相関づけが成功すると、プロセスは前述したように進行する。そのように作られた構造は、ＭＡＣの要件を充足することを保証されている。なぜなら、新しく指定されたＲＩは、前のＲＩに良好に整列させられ、良好な相関を生じるが指定された最大オーバラップしきい値よりも小さいオーバラップを有するからである。もし新しいＲＩにの整列が失敗すると（ステップ８３４）、プロセスは整列プロセスで使用される画像ピラミッドを発生するために使用されたフィルタを変更しようと試みる。これらの新しい画像ピラミッド（１つはＲＩ用、１つは現在の画像用）は、画像整列を計算するために使用される。もしこの整列が成功すると、プロセスは前述したように継続する。もし変更されたフィルタを用いる整列が失敗すると、前端プロセスは終了し、誤り条件を戻す。例示のプロセスによって実行されるフィルタ選択は画像内容に関する仮定に関連している。ホワイトボード上の線を表すのに適したフィルタは、模様の付いた壁紙又は室内の家具を表すには不適切かも知れない。従って、整列の失敗が検出されたとき、それは画像内容の性質の変化によるものと仮定される。従って、異なったタイプの画像内容に適したフィルタが、より効果的な画像表現、従ってより正確な画像整列を達成する努力の中で代入される。例示のプロセスはただ１つのフィルタ選択ステップを示すが、決定ステップ８４２の「ノー」出力からステップ８３４へのブランチ・バックによって（図示されていない）、複数のフィルタ選択ステップが実行されてよいことが想定されている。実施形態で使用されるフレーム間整列プロセスは、現在の画像と基準画像の間の最小絶対差（ＭＡＤ）を生じる画像変位を計算する。これは、シフトされた現画像と基準画像の間の各画素における差を合計すること、及びこの差を最小にするシフトを発見することを含む。これは、２乗差合計（ＳＳＤ）最小法の行動を近似する標準テクニックである。しかし、図１０Ａ及び図１０Ｂに示すように、１）局所的整列ミスが存在するときグローバルな画像整列を強靱に計算するために、また２）整列の失敗をより良好に検出するために、実施形態の方法は、一組の画像部分領域の各々について（図１０Ａ）、及び全体としての画像について（図１０Ｂ）、別個にＭＡＤを計算する。このプロセスは、整列プロセスの状態に関する情報が、これら各種の推定の比較から引き出されることができるようにする。更に、それは、偽の局所推定が他の推定と一致しないとき、それらを拒絶することができるようにする。前端相関プロセスの実施形態を図１１Ａに示す。例示のプロセスはピラミッドに基づく「コーアス−ファイン」リファインメントを使用して正確な整列推定値を効果的に計算する。このプロセスは、まず個々の部分領域推定の間の一致の分析を使用して、整列パラメータの許容可能な初期推定が達成されたかどうかを決定する。初期推定が許容できるかどうかを決定するために使用される基準は、推定の間の一致の計算値を、グローバル最小絶対差によって表されるような残留画像差の総量の計算値に組み合わせる。図１１Ａにおいて、現画像及び基準画像のピラミッド表現がステップ１１１０で得られる。ステップ１１１２で、可変ピラミッド・レベルが、ピラミッドの最高レベルである最大レベルに設定される。基準画像及び現画像に対するグローバルＭＡＤ及び領域ＭＡＤがステップ１１１４で計算される。ステップ１１１６で、グローバルＭＡＤ、及び領域ＭＡＤとグローバルＭＡＤの間の一致の数が計算される。ステップ１１１８で、グローバルＭＡＤ及び一致の数（＃Ａ）が許容領域Ｒと比較され、推定が許容可能か否かが決定される。許容領域を図１１Ｂに示す。もしグローバルＭＡＤが非常に低ければ（しきい値Ｔ_低よりも小さい）、整列が許容可能かどうかを判断するために、部分領域整列推定とグローバル整列推定との間の最小数の一致が必要である。もしグローバルＭＡＤが中間範囲（Ｔ_低と第２のしきい値Ｔ_高の間）にあれば、更に多数の一致が必要である。もしグローバルＭＡＤが非常に大きければ（Ｔ_高よりも大きい）、更に多数の一致が必要である。グローバル整列推定と部分領域整列推定の間の一致は、推定の間の差を、第３のしきい値に対して比較することによって決定される。このしきい値は変位の全体的大きさでスケールされ、許容誤差が相対的大きさ内でほぼ一定になるようにされる。もし初期椎定が許容されれば、すなわち、もし一致の数及びグローバルＭＡＤが基準を満足させるならば、この初期推定は「コーアス−ファイン」プロセスを介してリファインメントされてよい。実施形態では、このプロセスは、より高い各解像度ピラミッド・レベルで、より正確な整列推定を探索することを含む。この探索の最初のステップ（ステップ１１２０）は、可変ピラミッド・レベルを次の低レベルに設定する。次のステップ（ステップ１１２２）で、グローバル及び部分領域のＭＡＤ値が、前のレベルで計算された各値（グローバル及び部分領域）を中心とした範囲で計算される。各部分領域及び全体としての画像について、最良（すなわち、最低値）絶対差を生じる整列推定がステップ１１２４で選択される。ステップ１１２６で、もしピラミッド中にもっと多くのレベルが存在すれば、制御がステップ１１２０に移され、このようにして計算された変位値の集合が次のレベルで相関をリファインメントするために使用される。最後のピラミッド・レベルに達したとき、最良のグローバル推定が選択され、ステップ１１２８で戻される。「コーアス−ファイン」リファインメントのピラミッド表現を発生するために使用されるフィルタについて、異なった選択を行うことができる。これらの選択は、主として入力画像シーケンスで予測された内容のタイプに基づいてなされる。選択の目的は、低解像度ピラミッド・レベルが正確な整列ができるようにするのに十分な画像構造を保存するピラミッド構造を発生することである。例えば、もしピラミッド（ガウス又はラプラシアン）が、白い背景上の比較的に細い線（ホワイトボード上に書かれた画像の場合のように）から構成される入力画像を用いて通常の方法で発生されるならば、低解像度ピラミッド・レベルは非常に小さな構造を示すであろう。なぜなら、線は低域パス・フィルタリングの後、非常に小さなコントラストを有するからである。この問題に対する１つの解法は、非線形の前置フィルタを入力画像に適用することである。例えば、もし入力画像がエッジ構造を抽出するためフィルタリングされ、画素ベースでしきい値と比較され、次にピラミッド発生の前に画像構造を展開するために距離変換を施されるならば、結果のピラミッドは低解像度レベルで使用可能な非常に多い内容を有するであろう。他方、この前処理ステップは、通常強いエッジを含まない戸外のシーン構造には有効ではないかも知れない。変動する環境で（又は画像シーケンスがシーン構造の１つのタイプから他のタイプに動くとき）強靱に機能するためには、前置フィルタ・タイプの適応的選択がなされる。実施形態では（図８に示すように）、もし新しい基準画像の選択の後であっても整列が失敗すると、前置フィルタの変更がなされる。次に、この新しいピラミッドを使用して、整列が試みられる。もしこれも失敗すると、プロセスは誤り条件を戻して終了する。一度、前端プロセスが成功裏にＭＡＣを計算すると、このデータ構造（メンバー画像及びリンキング整列パラメータ）は、最終整列のために後端整列プロセスに渡される。後端整列プロセスの目的は、ＭＡＣに含まれる画像の各々を単一のモザイク座標系に正確に整列させる一組の整列パラメータを発生することである。一般的に、後端における整列プロセスの根底にある座標変換は、前端で使用される座標変換とは異なる。この差異は、３つのファクタから推進される。すなわち、１）前端プロセスに存在するリアルタイムの処理制約は緩和され、概してより複雑な計算ができるようにする。２）画像間の整列の初期椎定はＭＡＣの一部分として与えられ、概してより複雑なモデルの安定計算ができるようにする。３）座標変換はすべての画像を単一の座標系に正確にマップしなければならず、概してフレーム間の整列に使用される変換モデルよりも複雑なものを必要とする。各ＭＡＣフレームから単一のモザイク座標系にのマッピングを作成するプロセスは、１）モザイク座標系の選択、２）パラメータ又は疑似パラメータ画像変換モデルの選択、３）この選択された変換を介してモザイク座標系に対する各フレームの関係を計算することを含む。実施形態では、プロセスは、ＭＡＣを使用して、モザイク座標系及び各フレームの座標系への初期マッピングの双方を確立することから始まる。次に、このマッピングは、各フレームについて順番に整列パラメータが推定される増分プロセスを介してリファインメントされる。代替のメカニズムは、例えば、「モザイク処理及びレンズの歪み補正への応用を有するマルチビュー画像レジストレーション」（”Multi-View Image Registration With Application to Mosaicing and Lens Distortion Correction"）と題する米国特許仮出願第６０／０３０，８９２号に説明されるように、すべてのフレームを選択された座標系に同時に整列させることである。この仮出願は、画像レジストレーションに関するその教示のために、本明細書に援用されている。この例における増分又は順次的整列の選択は、大部分は、計算複雑性の低減及び対応する処理時間の減少への必要性によって推進される。この順次的プロセスは、以下の説明では「フレーム対モザイク」処理と呼ばれる。後端プロセスを図１５に示す。最初のステップ１５１０として、プロセスはＭＡＣから初期作業モザイクを作成する。実施形態では、前端によってＭＡＣの一部分として与えられる整列パラメータは、単に各フレームを前のフレームに関連づける平行移動ベクトルである。初期作業モザイクを作成するために、画像フレームはこれらの平行移動ベクトルによってシフトされ、各フレームがモザイク座標系に関して有する上左隅の位置が、シーケンス中のその点まで平行移動ベクトルのすべてをベクトル合計することによって与えられるようにされる。言い換えれば、プロセスは、各フレームがＭＡＣ内の整列パラメータによって指定される前のフレームとオーバラップするように、画像フレームを単純に「分配」する。ＭＡＣ内に指定されるもっと一般的な変換の場合、プロセスは、各フレームについて初期のフレームからモザイクへの変換を発生するために、フレームからフレームへの変換を組み込んでもよい。一度、この初期マッピングが確立されると、プロセスは、ステップ１５１２で、順次のフレーム対モザイク整列プロセスの開始点として役立つ画像を選択する。この画像はモザイクの座標系を定義する。一般的に、この選択は、推定された位置、画像内容、画像品質、及び／又はユーザ選択を含む多様な基準に基づいてなされることがてきる。実施形態では、プロセスは、初期作業モザイクによって定義されるような画像位置の境界矩形の重心に最も近い中心を有するソース画像を選択する。この画像は初期モザイクを形成する。この選択の理由は、最終整列に続く画像のエッジにおいて変換画像フレームの歪みを最小にするためである。前端整列プロセスによってＭＡＣの一部分として与えられている更に一般的な画像対画像変換の場合、選択された開始画像を歪ませないで残すために、初期作業モザイク座標系を再計算することが望ましいかも知れない。パラメータ又は疑似パラメータ画像対モザイク変換の選択は、入力画像の性質及び作成されるモザイク画像の性質の双方に依存する。これは、１９９２年５月の「コンピュータ・ビジョンに関するヨーロッパ・コンファレンス」（European Conference on Computer Vision）に発表されたジェイ・アール・バーゲン（J. R.Bergen）、ピー・アナダン（P.Anadan）、ケー・ジェー・ハンナ（K.J.Hanna ）、及びアール・ヒンゴラニ（R.Hingoranl）による「階層的モデル・ベースの動き推定」（Hierarchical Model-Based Motion Estimation）と題する論文に説明されている。例えば、もし画像が平行移動ではなく主として回転移動を受けているカメラから収集されているならば、画像は投影変換を用いて整列させることができる。しかし、もし視野角が１８０°に近づくと、すべての画像を単一のフラットな画像平面に置くように変換すると、モザイク画像の中心から遠くに存在する入力画像の極端な歪みを生じる。現在の実施形態では、画像変換の選択は所望の効果を生じるためにユーザによって明示的になされる。しかし、原理的には、それは入力画像の分析及び画像を共通座標系に整列させるのに必要な変換のタイプに基づいて自動的に行うことができよう。フレーム対モザイク整列プロセスは、モザイク座標系にマップされた開始フレームを初期モザイクとして指定することによって、ステップ１５１２で始まる。ステップ１５１４で、プロセスはモザイクに付け加えられる次のフレームを選択する。実施形態では、フレームは開始フレームから前方及び後方に移動するように、ＭＡＣ内で生じる順序で付け加えられる。従って、フレーム１からフレーム 20までの全フレームの中で、もし開始フレームがフレーム10であったならば、組立の順序は１０、１１、１２、１３、．．．２０、９、８、７、．．．、１となる。代替的に、プロセスは、初期作業モザイク内のフレームの位置から引き出された或る順序（例えば、開始フレームから増大する距離の順序）でフレームを組み立ててもよい。シーケンス中の各フレームについては、モザイク座標系への初期整列は、シーケンス内の前のフレーム（すなわち、前にモザイクに整列させられたフレーム）との整列パラメータを計算することによって、ステップ１５１６で計算される。整列パラメータのこの集合Ｔ_増分を、増分変換と呼ぶ。ステップ１５１５で、この変換は前のフレームをモザイクに整列させるために使用された変換Ｔ_i-1と組み立てられ、現フレームをモザイクに整列させる変換の推定Ｔ_推定が発生される。このプロセスを図１３に示す。推定された変換Ｔ_推定を使用して、プロセスは、ステップ１５１８で、現フレームがモザイクとオーバラップする領域を定義する。次に、この推定は、図１３に示すように現モザイクのオーバラップ領域への整列によって、ステップ１５２０でリファインメントされる。この最終整列が計算された後、新しく整列させられたフレームは、新しい画像をモザイク座標系にワープすることによって、また、図１４に示すように、ワープされた画素で作業モザイク画像を拡張することによって、ステップ１５２２で作業モザイクに付け加えられる。ステップ１５２４で、もしマージされた画像がＭＡＣ中で処理される最後の画像であったならば、プロセスはステップ１５２６で終了する。そうでない場合、プロセスはモザイクにマージされる次の画像を選択するためにステップ１５１４に分岐する。後端整列プロセスに含まれる整列計算は、原理的には任意の計算テクニックを使用して実行することができる。本発明の実施形態では、後端整列プロセスは直接推定法を使用し、多解像度「コーアス−ファイン」リファインメントプロセスでレーベンバーグ・マーカート（Levenberg-Marquardt）反復を使用して整列パラメータを推定する。この計算アプローチが選択される理由は、それが正確で強靱な整列推定を与え、画像整列モデルの或る範囲にわたって適用できるからである。更に、それは計算的に高度に効率的である。なぜなら、それは明示的な探索又は特徴抽出を必要としないからである。計算の複雑性を低減するために、図１２に示すように、ステップ１５１４のＴ_増分の計算は、ピラミッド・レベル２でのみ実行される。一般的には、この初期整列計算は、図１３の最終整列の開始点として働くのに適した推定の正確性を生じるどのようなレベルにおいても実行することができる。最終整列ステップ１５２０はピラミッド・レベル２及び１の双方で反復される。しかし、計算時間を縮減するためにも、レベル１の反復は画像領域の部分集合上でのみ実行される。この部分集合は、「インタレスト・オペレータ」を基準画像に適用し、このオペレータの出力にしきい値を適用し、非最大抑止操作を実行することによって選択される。このプロセスの結果は、反復プロセスで使用される値の累積を制御する画素マスクである。使用されるインタレスト・オペレータのタイプの根底にある原理は、画像グラディエントの大きい値を有する画像点は、推定された整列パラメータ値を決定することに最も強く寄与することである。これは、レーベンバーグ・マーカート、ガウス・ニュートン、及び他の普通に使用されるテクニックを含む多くの推定手順に真である。結果として、実施形態において、プロセスは、画像グラディエントの大きさをピラミッド・レベル１で計算し、これにしきい値を適用し、次にしきい値よりも小さなすべての点を除去し、更に指定されたサイズの窓の中で最大値を除いてすべての点を除去する。このプロセスの結果は比較的にまばらなマスク（すなわち、画像点の小部分のみを通すマスク）であるが、整列パラメータの推定に強く寄与する画像の領域を表すマスクである。一般的には、この同じ目的を達成する他の選択方法を適用することができる。例えば、固定数の点がマスク内に含まれるように（例えば、しきい値を適応的に変更することによって）選択基準を定式化し、最終整列の計算コストが入力画像サイズからほぼ独立するようにすることが考えられる。例示したプロセスの最終ステップとして、図７のステップ７２２では、各種の整列させられた画像が継ぎ目のないモザイク画像７２４を形成するためにマージされる。前述したテクニックの任意のものを使用して、整列させられた画像をマージし、単一のモザイク画像を形成してよい。結論利用可能なソース画像の集合からオーバラップされた領域とモザイクに入れるためのソース画像セグメントを自動的に選択する方法が定義される。基本的システムはソース画像の集合をモザイクに結合する方法を含み、この方法は（i）ソース画像を整列させるステップ、（ii）ソース画像を改善するステップ、（iii ）ソース画像領域を選択するステップ、（iv）領域をマージするステップを含む。他のタイプのシステムも想定される。これらは次のものを含む。１）ビデオ・フレームが受け取られるにつれて、モザイクが連続的に作成され、画像が作成されるにつれて、モザイクがビデオとして連続的に表示されてよいシステム。２）ソース・フレームのすべて（又は多く）の上で一度に作成を実行するシステム。３）ユーザがモザイクを調整及び編集することができるようにし、また各々のそのような編集の後又は要求に応じてモザイクを再生するシステム。ここで、編集はソース画像のシフト、カット、張り付け、及び改善を含んでよい。４）モザイクの第１の版を幾分低減された品質で（計算を縮減し速度を上げるために）発生するシステム。一度、モザイクの最終成分画像がユーザによって選択されると、合成画像がより高い品質で再生される。この場合、最初の発生は、例えば、ワープの複数の適用、又は増分整列及びマージングを使用してよく、その一方で最終モザイクはソース・フレームから直接に作業しながらこれらの操作を反復する。５）モザイクが必要とされるときにのみ、そのモザイクを発生するシステム。ここで、ユーザは所望の基準フレームを指定して、モザイクが発生される。この場合、アルゴリズムは通常すべての整列を増分又はバッチ・プロセスとしてまず計算し、次に要求に応じて所望の視野からモザイクを再生する。（これは余分のワープを避けるために行われる。）ここで教示された動作の装置及び方法は、本発明の例示であることを理解すべきである。当業者は、本発明から逸脱することなく、容易に変更例を案出することができる。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＣＡ，ＪＰ，ＫＲ，ＭＸ (72)発明者ディクソン，ダグラス，エフ. アメリカ合衆国ニュージャージー州ホープウェルセンターストリート 13 (72)発明者バート，ピーター，ジェフリーアメリカ合衆国ニュージャージー州プリストンウィートシーフレーン 80 (72)発明者バーゲン，ジェイムス，ラッセルアメリカ合衆国ニュージャージー州ホープウェルイーストプロスペクトストリート 57 (72)発明者ゲンデル，ゲイリー，エー. アメリカ合衆国ニュージャージー州ネシャニックステイションドッグウッドドライヴ 17 (72)発明者クマール，ラケシュアメリカ合衆国ニュージャージー州モンマスジャンクションリッジロード 966 (72)発明者ソーニー，ハープレト，シンアメリカ合衆国ニュージャージー州プレインズボロアスペンドライヴ 1808 (72)発明者ブリル，マイケル，ヘンリーアメリカ合衆国ペンシルヴェニア州モリスヴィルメイクフィールドロード１ナンバーディー130

Claims

【特許請求の範囲】１．画像モザイクを作成するためにコンピュータで実現される方法であって、 a）複数のソース画像を受け取るステップと、 b）前記ソース画像の１つを選択して前記画像モザイク中で使用し前記ソース画像の初期整列を形成するために、前記受け取られたソース画像を分析するステップと、 c）前記画像モザイク用の座標系を確立するために、前記選択されたソース画像を分析するステップと、 d）前記選択されたソース画像の１つを前記座標系に整列させるステップと、 e）前記画像モザイクを形成するために、前記整列させられた画像をマージするステップとを含む、画像モザイクの作成方法。２．前記b）のステップが、前記受け取られた画像の１つと前に選択された画像との間の画像座標変換を計算するステップを含み、前記計算するステップが、選択されたフィルタ特性に従って前記１つの画像をフィルタリングするステップと、前記フィルタリングされた１つの画像と前記前に選択された画像との間の相関計算値を発生するステップと、前記相関計算値をしきい値と比較するステップであって、前記相関計算値が前記しきい値よりも小さければ、異なったフィルタ特性を選択するステップと、前記相関計算値が前記しきい値よりも大きくなるか、選択のために利用できるフィルタ特性が存在しなくなるまで、フィルタリング、相関、及び前記相関計算値の比較を継続するステップと、もし前記相関計算値が前記しきい値よりも大きければ、前記変換に応答して前記１つの画像と前記前に選択された画像との間のオーバラップ領域を識別するステップと、前記オーバラップ領域内のピクチャエレメント（画素）の数を決定するステップと、前記オーバラップ領域内の前記画素の数が所定の値の範囲内にあれば、前記画像モザイク内で使用するために前記１つの画像を選択するステップとを含む、請求項１に記載の画像モザイクの作成方法。３．複数のソース画像を整列させるためにコンピュータで実現される方法であって、 a）前記ソース画像の１つを選択して整列させ前記ソース画像の初期整列を形成するために、前記ソース画像を分析するステップと、 b）前記画像モザイク用の座標系を確立するために、前記選択されたソース画像を分析するステップと、 c）前記選択されたソース画像の１つを前記座標系に整列させるステップとを含む、ソース画像の整列方法。４．前記a）のステップが、前記受け取られた画像の１つの画像と前に選択された画像との間の画像座標変換を計算するステップを含み、前記計算するステップが、選択されたフィルタ特性に従って前記１つの画像をフィルタリングするステップと、前記フィルタリングされた１つの画像と前記前に選択された画像との間の相関計算値を発生するステップと、前記相関計算値をしきい値と比較し、もし前記相関計算値が前記しきい値よりも小さければ、異なったフィルタ特性を選択するステップと、前記相関計算値が前記しきい値よりも大きくなるか、選択のために利用できるフィルタ特性が存在しなくなるまで、フィルタリング、相関、及び前記相関計算値の比較を継続するステップと、前記相関計算値が前記しきい値よりも大きい場合には、前記変換に応答して前記ソース画像の１つと前に選択された画像との間のオーバラップ領域を識別するステップと、前記オーバラップ領域内のピクチャエレメント（画素）の数を決定するステップと、前記オーバラップ領域内の前記画素の数が所定の値の範囲内にあれば、前記画像モザイク内で使用するために前記１つの画像を選択するステップとを含む、請求項３に記載のソース画像の整列方法。５．画像モザイクを作成するシステムであって、複数のソース画像を受け取る手段と、前記ソース画像の１つを選択して前記画像モザイク内で使用し前記ソース画像の初期整列を形成するため、前記受け取られたソース画像を分析する選択手段と、前記画像モザイク用の座標系を確立するため、前記選択されたソース画像を分析する参照手段と、前記選択されたソース画像の１つを前記座標系に整列させる整列手段と、前記画像モザイクを形成するために前記整列させられた画像をマージする手段とを含む、画像モザイクの作成システム。６．前記選択手段が、前記受け取られた画像の１つと前に選択された画像との間の画像座標変換を計算する手段を含み、前記計算する手段が、それぞれ異なったフィルタ特性の集合の選択された１つに従って前記１つの画像をフィルタリングする手段と、前記フィルタリングされた１つの画像と前記前に選択された画像との間の相関計算値を発生する手段と、前記相関計算値をしきい値と比較する手段と、前記座標変換に応答して、前記受け取られた画像の１つの画像と前に選択された画像との間のオーバラップ領域を識別する手段と、前記オーバラップ領域内のピクチャエレメント（画素）の数を決定する手段と、前記オーバラップ領域内の前記画素の数が所定の値の範囲内にあれば、前記画像モザイク内で使用するために前記１つの画像を選択する手段とを含む、請求項５に記載の画像モザイクの作成システム。７．複数のソース画像を整列させるシステムであって、 a）前記ソース画像の１つを選択して整列させ前記ソース画像の初期整列を形成するために、前記ソース画像を分析する選択手段と、 b）前記画像モザイク用の座標系を確立するために、前記選択されたソース画像を分析する参照手段と、 c）前記選択されたソース画像の１つを前記座標系に整列させる整列手段とを含む、ソース画像の整列システム。８．前記選択手段が、前記受け取られた画像の１つの画像と前に選択された画像との間の画像座標変換を計算する手段を含み、前記計算する手段が、それぞれ異なったフィルタ特性の集合の選択された１つに従って前記１つの画像をフィルタリングする手段と、前記フィルタリングされた１つの画像と前記前に選択された画像との間の相関計算値を発生する手段と、前記相関計算値をしきい値と比較する手段と、前記座標変換に応答して、前記受け取られた画像の１つの画像と前に選択された画像との間のオーバラップ領域を識別する手段と、前記オーバラップ領域内の画素の数を決定する手段と、前記オーバラップ領域内の前記画素の数が所定の値の範囲内にあれば、前記画像モザイク内で使用するために前記１つの画像を選択する手段とを含む、請求項７に記載のソース画像の整列システム。９．整列させられたソース画像の画像モザイクをコンピュータに発生させるプログラムを含むコンピュータ読み取り可能媒体であって、前記プログラムが、 a）前記ソース画像の１つを選択して整列させ前記ソース画像の初期整列を形成するために、前記ソース画像を分析するステップ、を前記コンピュータに実行させ、前記分析するステップは、 b）前記画像モザイク用の座標系を確立するために、前記選択されたソース画像を分析するステップと、 c）前記選択されたソース画像の１つを前記座標系に整列させるステップとを含む、コンピュータ読み取り可能媒体。１０．前記a）のステップが、前記受け取られた画像の１つの画像と前に選択された画像との間の画像座標変換を計算するステップを含み、前記計算するステップが、各反復の間に選択されたフィルタ特性に従って前記１つの画像をフィルタリングするステップと、前記フィルタリングされた１つの画像と前記前に選択された画像との間の相関計算値を発生するステップと、前記相関計数値をしきい値と比較し、前記相関計算値が前記しきい値よりも小さければ、異なったフィルタ特性を選択するステップと、前記相関計算値が前記しきい値よりも大きくなるか、選択のために利用できるフィルタ特性が存在しなくなるまで、前記フィルタリング、相関づけ、及び前記相関計算値の比較を反復するステップと、前記相関計算値が前記しきい値よりも大きければ、前記座標変換に応答して前記ソース画像の１つの画像と前に選択された画像との間のオーバラップ領域を識別するステップと、前記オーバラップ領域内のピクチャエレメント（画素）の数を決定するステップと、前記オーバラップ領域内の前記画素の数が所定の値の範囲内にあれば、前記画像モザイク内で使用するために前記１つの画像を選択するステップとを含む、請求項９に記載のコンピュータ読み取り可能媒体。