JP2002515150A

JP2002515150A - モザイク化およびレンズ歪み補正への適用についての多重視点画像記録

Info

Publication number: JP2002515150A
Application number: JP52283398A
Authority: JP
Inventors: クマール，ラケシュ; ソーニー，ハープレト，シン; バーゲン，ジェイムス，ラッセル
Original assignee: サーノフコーポレイション
Priority date: 1996-11-13
Filing date: 1997-11-13
Publication date: 2002-05-21
Also published as: EP0968482A4; EP0968482A1; US6173087B1; WO1998021690A1

Abstract

(57)【要約】無歪みであるものとして基準画像の寸法に頼らない真の多重画像整列についてのシステムおよびプロセスである。たとえば、レンズ歪みは一般的な画像化の現象である。レンズ歪みが存在するとき、画像は理想的であると仮定できない。本発明の実施の形態において、すべての画像は、それぞれの座標系で表された強度測定量としてモデル化され、それぞれの座標系は、内的なカメラ変換および外的な視点変換をとおして基準座標系に関連づけられる。本発明の実施の形態に従って決定された運動パラメータ（１６、１７，１８）は、基準フレーム（１５）中の入力フレーム（１１、１２、１３）の位置を指定する。基準座標系は用いられるが、基準画像は用いられない。運動パラメータ(１６、１７、１８)は、基準フレーム(１５)の基準座標系において、すべての入力画像を仮想の画像モザイクへワープさせるよう計算される。仮想の画像モザイクにおける各々のピクセル(pixel)は、１つより多い画像からの強度によって予測されることがある。それぞれのピクセルの位置において予測される、仮想の画像モザイクにわたって合計されたピクセル強度の分散の和である誤差量(error measure)が最小化される。本発明の実施の形態は、有利なことにすべての画像に存在する情報を最大限に利用する。

Description

【発明の詳細な説明】モザイク化およびレンズ歪み補正への適用についての多重視点画像記録本出願は、１９９６年１１月１３日に出願された仮出願（Provisional Applic ation）第６０／０３０，８９２号に基づく仮でない出願（non-provisional app lication）である。発明の背景１．発明の技術分野本発明は、一般的に画像処理の分野、とりわけ、モザイク(mosaic)を組み立てるための基準(reference)の使用に関連する。２．関連技術の記述情景の多重画像は、一組の運動変換によって関連づけられる。これらの変換が与えられると、その画像は中心座標系へとワープ(warp)され、画像モザイクを組み立てるために合わされる(マージされる)ことがある。たとえば、所有および同時係属中の出願である１９９４年１１月１４日に出願された第０８／３３９，４９１号(名称はSYSTEM FOR AUTOMATICALLY ALIGNING MOSAICS TO FORM A MOSAIC IMAGE)、１９９６年７月１７日に出願された第６０／０２１，２９５号(名称はM ETHOD AND APPARATUS FOR MOSAIC IMAGE CONSTRUCTION)、１９９５年６月２２日に出願された第０８／４９３，６３２号(名称はMETHOD AND SYSTEM FOR IMAGE C OMPENSATION USING A PARALLAX BASED TECHNIQUE)、および１９９６年４月１８日に出願された第６０／０１５，５７７号(名称はCOMPUTATIONALLY EFFICIENT D IGITAL IMAGE WARPING)に開示されており、これらの文献は参照することによってまるごと本願明細書に組み込まれる。整列プロセスの一部として、三次元視差（3D parallax）および独立に動く物体の運動のような情景情報を回復させることもできる。離散特徴対応に基づく方法および直接勾配に基づく方法が、運動変換を計算するために使用されてきた。しかしながら、すべての伝統的な手法、とくに直接強度勾配に依存する手法においては、ある像とその座標系とは、理想的であり、かつ、無歪みであると仮定されてきた。発明の開示本発明の実施の形態は、多重視点画像記録のためのシステムおよび方法を伴う。本発明の実施の形態は、複数の画像を受け取ることと、理想座標系を定めることとを含む。続いて、受け取られた画像は、その画像を理想座標系へ基準画像を使用することなく関連づけるように処理される。結局、処理された画像はモザイクを組み立てるために用いられる。図面の簡単な説明以下の添付図面を参照することによって、このあとの詳細な説明がより十分に理解されるであろう。図１は、本発明の実施の形態に従う、仮想の座標フレームにおけるモザイク構築の図示である。図２は、ピラミッドに基づく(pyramid-based)精粗による(coarse-to-fine)運動パラメータの最小分散評価(minimum variance estimation)の図示である。図３は、レンズ歪みパラメータを評価するための、本発明の実施の形態のステップのブロック図である。図４は、大きな(severe)レンズ歪みを有するカメラによって撮られたビデオシーケンスのうちの３つのフレームを表している。図５は、本発明の実施の形態に従う、歪みのない基準フレームの座標系における完全にワープされたものとしての図４のフレームを表している。図６は、図４のフレームに対する多重フレーム整列の前後におけるフレームに関する差画像を表している。図７は、図４に示した３つのフレームの、本発明に従うモザイクを表している。図８は、大きなレンズ歪みの条件のもとで撮られたドキュメントの３つのフレームを表している。図９は、本発明の実施の形態に従う、グローバル射影変換および放射状のレンズ歪みについての補償後の図８のフレームを表している。図１０は、本発明の実施の形態に従う、レンズ歪みおよび射影変換に対する補償後のドキュメントのモザイクを表している。図１１は、本発明の実施の形態を評価する際に用いられるいくつかのテストパターンを表している。図１２は、本発明の実施の形態に従う、２次元モザイクを生成するためのステップのトップレベルのフローチャートを表している。図１３は、図１２のフローチャートのステップのより詳細な説明を示したフローチャートである。発明の詳細な説明本発明の実施の形態は、無歪みであるものとして基準画像の寸法に頼らない真の多重画像整列(multi-image alignment)についてのシステムおよびプロセスである。たとえば、レンズ歪みは一般的な画像化の現象である。レンズ歪みが存在するとき、画像は理想的であると仮定できない。本発明の実施の形態において、すべての画像は、それぞれの座標系で表された強度測定量としてモデル化され、それぞれの座標系は、内的なカメラ変換および外的な視点変換をとおして基準座標系に関連づけられる。図１に示されるように、一連の入力フレーム１１、１２、１３(示されるような３つには限られないが)は、仮想のモザイク座標基準フレーム１５に入力され、これらの入力フレームのいずれも最終的なモザイクが構築される座標系を与えない。本発明の実施の形態に従って決定された運動パラメータ１６、１７、１８は、基準フレーム１５の内側における入力フレームの位置を指定する。図２を参照すると、本計算は、直接多重解像度法(direct multi-resolution m ethod)を用いて計算された理想画像の最小分散評価(minimum variance estimate)に基づく。基準座標系は用いられるが、基準画像は用いられない。運動パラメータは、基準フレームの基準座標系において、すべての入力画像を仮想の画像モザイクへワープさせるよう計算される。仮想の画像モザイクにおける各々のピクセル(pixel)は、１つより多い画像からの強度によって予測できる。それぞれのピクセルの位置において予測される、仮想の画像モザイクにわたって合計されたピクセル強度の分散の和である誤差量(error measure)が最小化される。本発明の実施の形態は、有利なことにすべての画像に存在する情報を最大限に利用する。最適化プロセスは高次に非線形であり、多くの極小値を有する。本発明の実施の形態は、全体の最小値に到達するために２つの戦略を用いる。図３に示されているように、第一は階層的複雑性(hierarchical complexity)である:一連の誤差関数が最小化され、各階層は先の階層より複雑であり、ここで先の階層からの結果が初期評価として用いられる。たとえば、放射状のレンズ歪みは画像の端や角において非常に大きい。画像の中心において、歪みはそれほど大きくない。それゆえ、本発明の１つの実施の形態においては、それぞれの画像の内側１／３の長方形のみが用いられ(図３のステップ３０１)、その後、グローバル並進(global translation)パラメータ(各画像につき２つ)が導き出される。次に、第一ステップの結果は、内側２／３サイズの長方形のみを用いて、一組のアフィン(affine)パラメータ(各画像につき６つ)を求めるために使用される( ステップ３０２)。一組のアフィンパラメータの解は、射影パラメータ(各画像につき８つ)およびグローバルレンズ歪みパラメータを求めるために使用される(ステップ３０３)。この最終ステップでは、画像全体が用いられる。どのパラメータの組のための最小化も、一組の画像ピラミッドにわたって、図２に示されている精粗（coarse-to-fine）法でなされる。各画像について、ラプラシアン(laplacian)またはガウシアン(gaussian)ピラミツドが構築される。ピラミッドの各レベルにおいて、内的なおよび外的なカメラ変換が解かれ、これは、仮想の画像にわたる分散評価の合計を最小化する。この最適化はＬＭ法(Levenberg Harquardt technique)を用いてなされる。このプロセスは、収束するまで繰り返され、または固定された反復回数後に止められることができる。あるピラミッドレベルで得られた結果は次のピラミッドレベルへ与えられ(projected)、全体のプロセスが再び繰り返される。この手法により、最適化がピラミッドにわたって精粗法によりなされる。このプロセスは少なくとも２つの応用を有する。第一の応用においては、このプロセスはレンズ歪みを補正するために用いられる。第二の応用においては、このプロセスは一連の画像もしくはドキュメントから、画像／ビデオモザイクを作り出すために用いることができる。本発明の典型的な実施の形態の主要な利点は、(i)理想的で無歪みである１つの特定の画像に依存する必要がなく、(ii)多重画像(またはシーケンス)が、その最初のフレームと最終のフレームとの間に重なりのない広がった(extended)情景であるときでさえ、画像を記録し座標変換を計算することができ、(iii)同一の枠組み内で線形および非線形変換を扱うことができ、(iv)レンズ歪み補正のためのキャリブレーション外部対象物の必要を除去することである。定式化多重画像の定式化においては、基礎をなす幾何モデルとしてレンズ歪みを持つパラメータ平面射影変換が用いられる。これは他のパラメータモデルおよび非パラメータモデルへと特定することができる。たとえば、その分野において通常の技術を有する者は、射影変換がもっとも一般的なモデルであり、また、多重画像の定式化がアフィン変換および並進変換を与えるように修正されることができることを理解できるであろう。レンズ歪みを持つ平面射影モデルは、近似的な回転 (パン(pan、上下左右への移動)／カメラのあおり(tilt、傾斜))およびズームの処理にかける(undergo)実際のカメラからの画像変換を正確にとらえ、また他の内的なカメラパラメータをモデル化する。 I₁...I_Nの画像が与えられると、各I_iの座標系は、典型的に、どの特定の画像にも属さない理想基準座標系の変換されたもの(transformed-version)として表される。その変換(この定式化の目的のものであるがそれには限られない) は８変数平面射影変換と１もしくは２変数レンズ歪み変換とからなる。それゆえ、理想系における点(x,y)は、２ステップ変換をとおしてi番目の画像における観測点(xⁱ,yⁱ)に関連づけられる。第１ステップにおいて、(x,y)は、平面射影変換のみによって下記の式の組(１)により無歪み座標(x₁ ⁱ,y₁ ⁱ)へ変換される。ここでa₁₁...a₃₃は平面射影パラメータであり、a₃₃は一般性の喪失なく１とされる。座標(x₁ ⁱ,y₁ ⁱ)は、観測されたビデオ座標(xⁱ,yⁱ)を得るために、式の組(２) によりレンズ歪みを用いてさらに非線形に変換される。ここでp_C ⁱ=(x_C ⁱ,y_C ⁱ)はｉ番目のフレームに関する画像中心であり、r²=(x₁ ⁱ-x_C ⁱ )²+(y₁ ⁱ-y_C ⁱ)²は中心からの(x₁ ⁱ,y₁ ⁱ)の距離の平方である。基準座標(x,y)とそれに対応するビデオ座標との間の関数的関係は、式(３)として簡潔に表すことができる。ここでΓとPはそれぞれ式(１)および(２)の関数を表す。簡単のため、それぞれのビデオフレームは同一のレンズ歪みパラメータγ₁によって歪んでいると仮定する。(これは多くの現実のシナリオにおいて不合理な仮定ではない)。上式は放射状のレンズ歪みの３次項のみをモデル化している。ほとんどのカメラに対して、これはもっとも重要なレンズ歪み項である。しかしながら、ここで開示されている本発明の実施の形態の整列技術は、レンズ歪みをモデル化するために用いられる他の多くの一般的な式の組へ容易に応用することができる。座標変換が与えられると、同一の基準座標pに変換される、像I_m中の点p^mにおける強度および像I_n中における点pⁿの強度は、式(４)を通して関連づけられる。しかしながら、パラメータA¹...A^Nおよびγ₁は未知であり、画像の点間の対応も未知である。さまざまな画像における点の間の対応は、式(１)および(２)において基準座標の変換を通してのみ確定されることができる。その対応と未知のパラメータとを同時に計算するために、同一の理想基準座標へ移る(map)画像内の一組の対応点の強度の分散を最小化し、誤差関数が定式化される。形式的に、最適化問題は式(５)により示される。ここでフレームi内の点pⁱは基準座標系内の点pの変換であり、I(p)はpに移るすべてのpⁱの平均強度値であり、M(p)はこのようなすべてのpⁱのカウント数である。それゆえ、基準座標上の点pが与えられると、式(５)の和計算における各項は、点pに移る点pⁱでのすべての強度値の分散である。注目すべきは、(式２にあるような)非線形歪みが無ければ、ある画像の観察された座標は、基準座標として選ぶことができるということである。これは、すべての観察された像の座標がレンズ歪みによって非線形的に歪められるという上記定式化の特別なケースである。繰り返し解法上述された階層的複雑性、精粗最適化戦略は、繰り返し法によってなされる。それぞれの運動モデルおよびピラミッドレベルに対して、繰り返しが多数回行われる。このサブセクションでは、それぞれの繰り返しステップにおいて増分のパラメータを解くプロセスが記述される。式(５)における最適化関数ならびに変換式(１)および(２)から、未知のパラメータを閉じた形(closed form)で得ることができないことは明らかである。ＬＭ法は、平方誤差関数の合計を最小化するために使用される。ＬＭ法を適用するために、式(５)の各項は線形化される。各項は式(６)に示される形式であり、式(６)においてAは、未知のすべてのN個のAⁱを表す。最適化プロセスにおける第ｋステップで、未知のパラメータA_k、γ_1kの解が与えられると、それぞれのE((pⁱ;p);A,γ₁)は、式(７)に示されるようにこの解の周りで線形化される。上式における右辺第一項は位置pⁱにおいてサンプルされた画像iのための強度値であり、このpⁱは、基準画像内の対応する点のマッピングパラメータA_k ⁱ,γ_1kを用いた前方マッピング(forward mapping)である。(pⁱ,p)の対応は事前には分からない;これらはマッピングパラメータをとおしてのみ分かる。典型的に、pからpⁱの前方マッピングのみ分かれば、第一項は、基準p座標において表されるワープされた像によって書くことができ、すなわち、I_i(pⁱ(p;A_k ⁱ ,γ_1k))=I_i ^w(p)である。そのワープされた像は、pおよびパラメータA_k ⁱ,γ_1kを用いて画像ｉについてのpⁱを計算し、それから整数ピクセルの位置での像I_iの既知の値を内挿することによって生成される。それゆえ、I_i ^w(p)は、基準座標において表される像iの現在の評価をパラメータ値においてE((pⁱ,p);A_k ⁱ,γ_1k)=I_i ^w(p)-I^w(p)である。式(７)の一次近似における勾配項は、式(８)のように書かれる。画像の勾配はそれぞれの座標系にあり1×2のマトリックスである。再び、勾配像は、内挿及びワープすることをとおして、未知のパラメータA^k、γ_1kの特定値に関して基準座標系において表される。i番目の画像(I_i)の座標系の勾配p_iは、未知のパラメータA_i、γ_iに関して、現在の値A_k ⁱ、γ_1kにおいて評価される。これらのそれぞれは、2×(N×M+1)のマトリックスであり、ここでMはそれぞれの未知のパラメータベクトルAⁱの次元、Nは画像の数、1は未知のスカラーγ₁を表す。画像座標の勾配は、以下のように表すことができる:▽(A_i,γ₁)pⁱ=▽Aⁱp₁ ⁱ+▽ (Aⁱ,γ₁)Γ(p₁ ⁱ;γ₁)。勾配はAⁱに関するものと、γ₁に関するものとに分けられる。式(3)から、▽Aⁱpⁱ=((1+γ₁r²)I₂+2γ₁[p₁ ⁱ-p_C ⁱ][p₁ ⁱ-p_C ⁱ]^T)▽|Aⁱp₁ ⁱであり、ここでI₂は2×2の恒等マトリックスである。拡大された(augmented)ベクトルp_a=[p1]^Tを用いて、式(9)の関係が達成される。ここでマトリックスAⁱ=[A₁ ^iTA₂ ^iTA₃ ^iT]^Tである。さらに、▽γ₁pⁱ=[p₁ ⁱ-p_C ⁱ]r²であり、gⁱ=▽I_i(pⁱ)▽Aⁱpⁱを1×Mマトリックスとし、γⁱ=▽I_i(pⁱ)▽γ₁pⁱはスカラーとする。また、Γ(p)=[γ¹...γⁱ...γ^N]はすべてのγⁱの1×M*Nマトリックスとし、g=▽iγⁱとする。すると、式(８)の▽E は以下のように表される。各繰り返しは、以下の平方の線形合計問題を、ＬＭ法を用いて解く。基準座標におけるそれぞれの点pに対して、pに移る点を含むすべての画像が、上記の問題の対応する方程式系にある式を寄与する。ＬＭ繰り返し法では、もし元の系が誤差値において増加へ導くならば、漸進的にヘシアン対角主値(Hessian diagonally dominant)を作ることによって、誤差関数の減少へ帰する解を探す。十分によく条件付けされた式体系を得るために、ヘシアンが、十分によく条件付けされたままであるように未知のパラメータが適切に比較される(scaled)。最小化戦略フレーム間における運動の大きさの広い範囲を扱うこと、およびフレーム整列を通して相対的に多数のパラメータを効果的に計算することができるようにするために、(i)複雑な運動モデルを漸進的に用いる最適化戦略、および(ii)モデルパラメータの精粗追跡(coarse-to-fine tracking)を用いる最適化戦略を採用する。漸進的な複雑性多数のパラメータ(典型的には、それぞれの平面射影変換を持つN+1フレームにつき8N+1個および１個の共通のレンズ歪みパラメータ)を効果的に解くために、複雑性が次第に(progressive、漸進的に)増加するモデルの使用が望ましいことが経験的に決定されてきた。擬似的な極小値は避けられ、必要な反復回数はかなり減少する。漸進的複雑性戦略は、最適化プロセスを一連のステップへ分割することである。それぞれのステップにおいて、徐々により高次のパラメータの運動モデルが式 (5)に挿入され、続く誤差関数が最小化される。前ステップからの結果が次ステップの初期評価として用いられる。式(5)での誤差関数は未知の射影パラメータA_iおよびレンズ歪みパラメータγ₁ とレンズ歪み中心(x_C,y_C)との関数である。これらのうちの部分集合が、階層的な複雑性アルゴリズムにおける初期ステップのために選ばれる。未知の射影パラメータは、以下に示す評価の階層に分解できる。１．各フレームについて、２次元並進、２つの未知パラメータ、a₁₃ ⁱ、a₂₃ ⁱ( 式１)(ステップ３０１)。第一に、内側の中心部の長方形、典型的には入力画像の各次元に沿う１／３、に限られる関心のある領域内の並進パラメータのみを求める。内側の中心部の長方形におけるピクセルは、外部の境界におけるピクセルと比べてほとんどレンズ歪みを受けない。２．アフィン変換、６つの未知パラメータa₁₁ ⁱ、a₁₂ ⁱ、a₁₃ ⁱ、a₂₁ ⁱ、a₂₂ ⁱ、a₂ ₃ ⁱ (ステップ３０２)。並進ステップからの初期評価が、一組のアフィン変換パラメータを解くために用いられる。関心のある領域は多少広がる(画像の２／３の寸法)が、まだ画像のすべてに及んでいない。３．式(1)および(2)にあるような射影８パラメータに加え、グローバルレンズ歪みパラメータ(９つのパラメータのＲＭＳ値が１に等しくなるという拘束条件で、射影変換は９パラメータによってモデル化することもできることに注目する )(ステップ３０３)。最後に、射影パラメータとレンズ歪み項とを同時に計算するための初期評価として、評価されたアフィン変換パラメータを用いる。このステップでは、誤差関数は入力画像の全体にわたって最適化される。いくつかの状況においては、ステップ３０２は飛ばして進められることがある。精粗最小化漸進的な複雑性戦略に加えて、ガウシアン／ラプラシアンピラミッドの精粗レベルにわたる最適化が、数十のピクセルにおいて変位についてフレームを整列するために望まれる。パラメータはまずピラミッドの粗なレベルにおいて評価され、このレベルからの結果がピラミッドのより精な次のレベルの初期評価として用いられる。典型的には、２つの戦略が結合される。ピラミッドの高い方のレベルにおいては、典型的には、低次モデルのみか解かれる。これらのレベルからの結果が、ピラミッドの精なレベルにおいて高い方の次数のモデルを解くための初期評価として用いられる。レンズ歪み補正の実験多重画像記録についての本発明の応用の一つは、市販の安いＰＣカメラを用いて情景またはドキュメントのビデオモザイクを生成することにある。これらのカメラのほとんどにおいて、大きなレンズ歪みは普通に起こり得る。これらのカメラを用いて高品質なモザイクを生成することができるようにするために、レンズ歪みパラメータを計算し、歪みを補正することが望ましい。本発明は、少数のフレームのみを用いる初期化段階において、各フレームについて、あるいは整列パラメータの計算とともにレンズ歪みを計算するために用いられる。少数のフレームからレンズ歪みパラメータを計算した結果を図４および５に示す。原理的には、２つのフレームがあれば視点変換およびレンズ歪みを解くために十分であるべきである。しかしながら、２つのフレームでは、３つのフレームを用いることによって避けられる極小解が導かれることがしばしば観察される。部屋の続き写真第一の例では、図４〜７に示される３つのフレームの部屋の続き写真 (room sequence)か用いられる。この続き写真は、携帯の(hand held)高価でないデスクトップＣＣＤカメラによって得られた。その成果は、カメラの２度の粗い左右の振りによって、完全な部屋(約１８０°)の続き写真を撮ることであった。本発明の実施の形態の多重フレーム記録アルゴリズムが、図５に示されるように、平面射影およびレンズ歪みモデルを用いて３つのフレームに応用された。３つの整列されたフレームは、中間のフレームの無歪み座標系において、図５に示される。そのフレームは、射影およびレンズ歪みパラメータを用いる歪みの全量を示すために、元よりも大きなフレームに表されている。図６は、フレームの元の大きさにおいて、整列前後の基準フレームに関する違いを表している。ドキュメントの続き写真高価でない‘あひるの首(gooseneck、湾曲した取り付け具を持つ)’カメラを用いて走査されたドキュメントの３つの像が、図８に表されている。画像を得るために用いられる３次元運動は、本質的にはグローバルなｙ軸の並進である。紙は平面であるので、画像運動は理想的にはグローバル２次元運動により記述される。しかしながら、図８から、画像に大きな放射状のレンズ歪みがあることに注目することができる。図９は、計算されたレンズ歪みおよびグローバル射影パラメータによってワープされた入力画像を示している。図９の画像に見られるように、ページの余白および文章の境界に対応する直線がかなりまっすぐに見え、レンズ歪みの効果的な補償を表している。歪み補正されたビデオモザイク上に実証されたアルゴリズムは、与えられた無歪み基準フレームにおいてフレームのすべてを記録するため、多数のフレームにわたって同時に適用されることがある。もう一つの選択肢として、多数のパラメータを同時に解くことを避けるために、種となる一組のフレームは、視点変換およびレンズ歪みを計算するために用いられることがある。続いて、レンズ歪みが前処理ステップとしてフレームの残りのものに適用されることがある。次に、射影パラメータが、すでに整列されたフレームに新しいフレームを整列するために解かれることがある。このような多重ビデオモザイクを作成することにおいて興味深い論点は、多重フレームがそれらの隣に記録され続いて単一の座標系に併合されるべきなのか、または、与えられた単一のフレームが現在のモザイクに整列されるべきなのか、ということである。この論点は、広大な(expanded) 情景のモザイクがパンする(カメラを左右に振る)ことおよび傾斜することによって作成されたり、また、一時的に隣接していない同一の情景の画像を含むフレームがつぎ合わされるときに、非常に重要である。たとえば、部屋の続き写真は、重なり合っていた２回のパンする走査を用いて撮られた。ほとんどすべての既存の方法は、モザイクを作成するために連続的なフレーム整列によって計算されたパラメータを用いていた。図７は部屋の情景の８つのフレームのモザイクを表しており、この情景は各フレームに適用されたレンズ歪み補正を用いて、また、フレームの記録を通して、発達しているモザイクに組み立てられた。図１０は、ドキュメント画像上の計算された変換を用いて構築されたモザイクを表している。レンズ歪みモデルの評価図１１に示される典型的なプロセスによって、レンズ歪みモデルおよび多重フレームパラメータの評価技術が実証される。図１１に示されるように、白地に一様な大きさの黒円のパターンが、テストパターンとして選ばれた。中心に位置づけること、および点の位置誤差を計算するためにその中心を用いることが比較的簡単であるようにするために、一様の大きさの円が選ばれた。高価でないデスクトップＰＣカメラを用いて、このテストパターンのいくつかの画像が、カメラを動かすことによって撮られた。続いて、２つのテストが画像において行われた。第一に、撮られた画像(図１１に示された画像の１つ)の２つまたは３つのフレームが、(i)２次元アフィン変換モデル、(ii)平面射影モデル、(iii)レンズ歪みを有するアフィン変換モデル、(iv)レンズ歪みを有する平面射影モデル、の４つの異なるモデルを用いて全体の画像を整列するように使用された。各モデルは、式(５)の最適化に利用された(plugged)異なるモデルを用いて前に記述された方法を使用した画像を整列するために、別々に使用される。図１１はまた、射影＋レンズ歪み整列パラメータを用いてワープした後の１つのフレームを示している。整列の後、１つの円パターンのテンプレートが、整列画像の各々においてすべての円パターンの中心をサブピクセル(sub-pixel)の正確さに置くために用いられた。使用された４つのモデルを用いた、対応する点間の二乗平均平方根(ＲＭＳ)誤差が、達成可能な正確さであると報告されている。第二に、整列のために画像全体を用いる代わりに、図１１に示されたチェッカーボードの二値マスクが、黒い領域に対応するデータが除外された状態でマスクの白い領域のデータのみを用いパラメータを計算するために使用された。再び、マスクとともに４つのモデルを用いた整列の後、白い領域にある点(それゆえ、評価プロセスに加えられる点)と、黒い領域にある点(それらは計算されたパラメータによって予測されるが、評価プロセスには加えられない点)とのために、別々に、点位置測定に関して結果が報告されている。ＬＤ(レンズ歪み) 表１種々のモデルについての点の評価誤差および予測誤差。光学的な中心は、サイズ３２０、２４０の画像について１６０、１２０であると仮定されている第二の評価プロセスでは、点位置の評価誤差について、本評価において用いられる画像に対して(160,120)である名目上の画像中心のまわりの画像中心のさまざまな値が報告されている。射影＋レンズ歪みのモデルは、画像中心の異なるが固定された値を用いわれわれの多重フレーム整列法を使用し３つのグリッド像を整列するために使用された。表２は、さまざまな中心値に対してワープされた参照フレーム(フレーム1)と、他の２つのフレーム、フレーム０およびフレーム２との間の点についてのＲＭＳ誤差を報告する。最も良い評価誤差は(160,1 20)および(170,110)の値について生じた。中心と他のパラメータとの両方を自動的に評価するために、二つの中心パラメータもまた、評価の手順において未知のものとすることができるであろう。代替的に、名目上の中心のまわりの最適な中心を探すことが適切である場合がある。適切な中心を自動的に評価できるようにするために、点に対応する誤差(point estimation errors)ではなく、最小分散評価について最も良い評価誤差を見つけなければならないことに注目すべきである。上述のプロセスは、便利なことに、走査への応用および写真への適用に２次元モザイクジェネレータにおいて有利に使用される。たとえば、デジタル形式の画像を作成するためにドキュメント、情景、写真を走査する今の方法は、典型的には、そのデバイス(スキャナおよび／または画像装置)の適応性を制限する特別な目的のスキャナおよび／または画像装置の使用によって限られる。たとえば、平面(flat bed)スキャナは本などを走査するために用いることはできず、携帯のスキャナは情景をスキャンしたり、集合写真を撮ったりするために用いることはできない。本発明の実施の形態を用いて、通常の携帯のカメラ、カムコーダー、コンピューターカメラおよび同様のデバイスを使用して情景、ドキュメントおよび／または写真を走査することができる。本実施の形態は、走査された画像のモザイクを作成するために、走査デバイスによって作成される多重画像の自動整列および整列画像の混合(blending)に基づいている。この整列は、モザイクが作成されるときに、結果であるモザイク画像の範囲を対話的に視覚化するために、動作中のビデオカメラ入力を用いて実時間で完成することができる。最終的な画像モザイクは、任意の大きさにされた画像(典型的には、各サイド上に数十または数百のピクセルを含む)であり、完全なドキュメントまたは情景の一走査分の信頼すべき描写である。最終的な画像は、ドキュメントまたは写真のはっきりとした視覚的に好ましい表現を作成するためにワープを行ない、フィルターにかけ、対話的に編集することによって後処理されることができる。画像モザイクを生成する従来の方法は、最終モザイクを生成するために、フレームから連続フレームへの(frame-to-consecutive-frame)整列および１次元混合のみが使用されてきた。しかしながら、本発明の実施の形態の一般的な走査および写真への応用においては、整列および２次元での混合が高品質な出力画像を生成するために用いられる。入力図１２を参照すると、プロセス(１２００)への入力画像が、いくつかの画像化デバイス---カムコーダー、アナログ／デジタル出力カメラ、ドキュメント／写真スキャナ、ビデオの既存のデジタルファイルまたは一連の画像もしくは走査されたデジタル画像の単なるコレクションのどれからでも来ることができる。レンズ歪み評価／補正(ステップ１２１０および１２２０) 入力画像が典型的なＰＣカメラまたは他の低画質画像化デバイスからである場合には、画像は入力デバイスからのレンズ歪みによって影響を受けることがありそうである。カムコーダーレンズは注目に値する歪みは有さない。それゆえ、たとえば上に開示された方法におけるレンズ歪みパラメータの評価および補正は、任意的であり(図１２のステップ１２１０)、必要とされるどの状況(ステップ１２２０)で適用されてもよい。上述されているように、その技術は、典型的には、カメラキャリブレーション技術において使用されるようないかなる特別なキャリブレーション対象物も用いることなくレンズ歪みに関して評価し補正する。フレームの少数の組(典型的には３つ)が、歪みパラメータを解くために用いられる。いったん、レンズ歪みパラメータが計算されると、整列の次ステップの前に、それらのパラメータは各画像フレームへの予めの補正ステップとして適用されることができる。フレームからフレームへの整列(フレーム-フレーム間整列、ステップ１２３０) 走査されたドキュメント／情景の典型的な連続フレームは、高い相関性を持つ。これは、２つの連続フレームの相関のある部分を整列する２次元並進(ならびに回転、伸縮および歪みのようなありうる他のパラメータ)を計算するために、本発明の実施の形態において活用される。このプロセスは、連続したフレームの各対の変換パラメータが計算されるまで、入力データにおけるすべてのフレームにわたって繰り返される。上記に示し、参照することによってまるごと本願明細書に組み込まれる、同時係属中および所有の出願第６０／０２１，９２５号および第０８／３３９，４９１号、ならびに、ここで参照することによってまるごと本願明細書に組み込まれる、米国出願第０８／３２８，７８３号（名称はSYSTEM AND METHOD FOR ELECTRONIC IMAGE STABILIZATION）は、パラメータ整列の多重解像度精粗ピラミッドに基づく計算に関するフレーム整列についてのさまざまな満足できる方法を提示する。一般的に、これらの方法は、ドキュメントおよび情景の両方について良好である。しかしながら、ドキュメントについては、ピラミッドの粗い解像度において適切な整列を行うために十分な詳細なものが利用できない状況にある。それゆえ、本発明の実施の形態は、ドキュメントの画像を、画像中の詳細をより行き渡らせる(spread out)グレーレベル形式へ、ほとんど２値の形式から変換する代替の技術を提供する。多重解像度情報は、変換されたこれらの画像上に作成され、それから整列パラメータが計算される。フレームからモザイクへの整列(フレーム-モザイク間整列、ステップ１２４０および１２５０) いったん、フレーム-フレーム変換パラメータが利用できるようになると、それらのパラメータは、中間のワーキングモザイクのｘおよびｙの大きさを評価するために用いられる(図１３のステップ１３１０)。このワーキングモザイクは、本発明の実施の形態に従って、ステップ１２３０において得られる計算された整列パラメータを用いて単一の基準フレームをモザイクへ貼り付けることによって初期化される(ステップ１３２０)。そこでくり返しプロセスが始まる。新しいフレーム毎について、部分的に組み立てられたワーキングモザイクと、そのモザイクと同じサイズを有し各ピクセルについて有効／無効な状態(status)、すなわち、それがワーキングモザイクの一部であるか否かという状態を含むマスクモザイクと、現在のフレームをワーキングモザイクの座標系へもたらす、本発明の実施の形態により生成された変換パラメータとが存在する。変換パラメータを用いて、現在の長方形の境界の枠が、ワーキングモザイクの座標へと写像される。写像されたフレームを囲み各側に数十の余りのピクセルを含む境界の枠が作成される (ステップ１３３０)。ピクセルを含む実際のフレームを現在のワーキングモザイクから作成するために、この境界の枠はマスクモザイクとともに使用される。このときの画像フレームは、典型的には、回転、並進の２次元整列パラメータ、しかしより一般的には、アフィンおよび射影パラメータを用いて、仮想のフレームへ整列される(ステップ１３４０)。この整列技術の詳細については、米国出願第６０／０２１，９２５号；第０８／３３９，４９１号；第０８／３２８，７８３号および第０８／４９３，６３２号に示される。本発明の実施の形態に従って決定された整列パラメータを用いて、現在のフレームは、ワープされ‘モザイク化’され現在のモザイクになり、マスクモザイクはそれゆえ更新される(ステップ１３５０)。プロセスは、すべてのフレームが残らなくなるまで、各フレームについて繰り返される(ステップ１３６０)。２次元モザイクに対してすべてのフレームを最終的に整列するために、上述のステップが、プロセスへの初期入力として上述の段階のワーキングモザイクとマスクモザイクとを用いて任意的に繰り返されることができる。それゆえ、このプロセスの対話的な性質は、フレームの時間順序への依存性を減少させる。モザイク整列プロセスへのこのフレームの出力画像は、ワーキングモザイク画像と、マスクモザイクと、各入力フレームとモザイク座標系との間の整列パラメータの集まりとである。２次元混合(ステップ１２６０) フレームからモザイクへの整列パラメータは、入力フレームのピクセルからモザイクのピクセルへの写像を提供する。しかしながら、完全な走査の径路上の光量の変化、および／またはカメラの絞りの開きの変化のため、フレームが幾何学的によく整列されたときでさえも、フレームの境界間に目に見える測光のつぎ目がまだあることがある。本発明の実施の形態の混合(blending)技術は、計算された変換パラメータによって定義されるフレームのトポロジーを使用し、フレームをつぎ目を除去した高品質の出力モザイクへ混合する。本混合方法は、まずそれぞれの出力モザイクピクセルについて、各ピクセルが満たされる画像フレームを計算する。この決定は、典型的には、画像の中央に近いピクセルが最小の歪みをもつ最も高い詳細を含んでいるという観察に基づいている。このアイデアを取り入れる(capture)ために、ボロノワ市松模様(Voronoi tessellation)が、サイトとして各画像フレームの写像された中心を用いてモザイク座標において作成される。続いて、各モザイクピクセルの対応する画像フレームが効率的に決定される。ノイズ、信号の損失、光学的な焦点ズレ、モーションスミア(motion smear)または画像情報への他の劣化、によって画像のいくつかが影響を受ける場合には、これらの画像(またはその影響を受けた範囲)は、それぞれの点において最高品質の画像情報の使用を可能にするために、記述された計算(自動プロセスまたは対話的選択のどちらによって)から取り除かれることができる。続いて、各画像について、現在の画像なしにワーキングモザイクが作成され、それから現在の画像が適切に貼り付けられる。その近傍を含む現在の画像に中心が決められた領域についてのラプラシアンおよびガウシアンピラミッドが作成される。それから、現在の画像の領域が最終ピラミッドへと複写される。各画像についてこれが繰り返される。本プロセスの最後には、最終の混合モザイクに対応するピラミッドが存在する。実際にモザイクを構築するために、最も粗いレベルからスタートして、各レベルは展開され、そのレベルにおけるラプラシアンおよびガウシアンモザイクが、次のレベルを生成するために加えられる。このプロセスは最も精なレベルにおいて混合モザイクが利用できるまで繰り返される。本プロセスの詳細に関しては、米国出願第６０／０２１，９２５号;第０８／３３９，４９１号および第０８／３２８，７８３号に示されている。完全なモザイクの組み立てに続いて、結果として生じる画像が、特定の観察者の視点をシミュレートする出力画像を作成するために、無歪みのパノラマ視野を供給するために、または、他のいくつかの望まれる視覚的効果を作成するために、画像ワープによって変換され得る。本発明は、コンピュータによってインプリメントされる(computer-implemente d)プロセスおよびそれらのプロセスを実行する装置の形式によって具現化され得る。本発明はまた、フロッピーディスク、ＣＤ-ＲＯＭ、ハードドライブ、またはコンピュータが可読の他の記録媒体といった実在の媒体によって具現化されたコンピュータプログラムコードの形式においても具現化され、そこでは、コンピュータプログラムコードがロードされてコンピュータによって実行されるとき、そのコンピュータは本発明を実行するための装置となる。本発明はまた、たとえば、記録媒体に保存され、コンピュータにロードされおよび／またはコンピュータによって実行され、または電気配線もしくはケーブル、光ファイバを通して、または電磁気的な放射を介してといったいくつかの伝達媒体にわたって伝達されるコンピュータプログラムコードの形式により具現化され、そこでは、コンピュータプログラムコードがコンピュータにロードされてコンピュータにより実行されたとき、そのコンピュータは本発明を実行するための装置となる。汎用マイクロプロセッサ上において実行されるとき、コンピュータプログラムコードの部分は、特定の論理回路を作成するためにマイクロプロセッサを効果的に構成する。この発明の本質を説明するために記述および描写されてきた部分の詳細、材料、および配置において、本発明の原理および範囲から逸脱することなく、さまざまな変化が当業者によってなされることがあることが理解されるであろう。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＢＲ，ＣＡ，ＣＮ，ＪＰ，ＫＲ，ＭＸ (72)発明者バーゲン，ジェイムス，ラッセルアメリカ合衆国ニュージャージー州ホープウェルイーストプロスペクトストリート 57 【要約の続き】強度の分散の和である誤差量(error measure)が最小化される。本発明の実施の形態は、有利なことにすべての画像に存在する情報を最大限に利用する。

Claims

【特許請求の範囲】１．多重視点画像記録のための方法であって、（ａ）複数の画像を受け取るステップと、（ｂ）理想座標系を設ける(establish)ステップと、（ｃ）基準画像として前記複数の画像を用いることなく、前記受け取った画像を前記理想座標系へ関連づけるために前記受け取った画像を処理するステップと、（ｄ）前記処理された画像を前記理想座標系に記録し、モザイクを組み立てるステップとを備える方法。２．前記処理するステップは、（ａ）一組のパラメータ運動モデルを定義するステップであって、各モデルは、パラメータの特定の関数形および数を持ち、（ｂ）対応するパラメータを評価することによって、前記一組のモデルから初期選択したものを用いてパラメータ運動記述を導き出すステップと、（ｃ）初期評価として前のパラメータ運動記述の各々を用いて、前記一組のモデルから更に選択したものを使用してそれぞれの更なるパラメータ運動記述を繰り返し導き出すステップとを含む請求項１に記載の方法。３．前記処理するステップは、（ａ）いくつかの初期パラメータを含むパラメータ運動記述を導き出すステップと、（ｂ）前に導き出されたパラメータ運動記述を用いて更なるそれぞれのパラメータ運動記述を繰り返し導き出すステップであって、前記パラメータ運動記述の各々は、前に導き出された任意のパラメータ運動記述に含まれる運動パラメータの数以上の多数の運動パラメータを含み、（ｃ）最終繰り返しにおいて導き出された運動パラメータを用いて画像歪みパラメータを導き出すステップとを含む請求項１に記載の方法。４．前記受け取った画像を処理するステップは、（ａ）グローバル並進パラメータを導き出すステップと、（ｂ）前記グローバル並進パラメータを用いて一組のアフィンパラメータを導き出すステップと、（ｃ）前記一組のアフィンパラメータを用いて射影パラメータおよびレンズ歪みパラメータを導き出すステップとを備える請求項１に記載の方法。５．複数の命令(instruction)を格納する、コンピュータが読むことができる媒体であって、前記複数の命令は、プロセッサによって実行されるとき、（ａ）デジタル形式で複数の画像を受け取るステップと、（ｂ）理想座標系を設けるステップと、（ｃ）基準画像として前記複数の画像を用いることなく、前記受け取った画像を処理し、前記受け取った画像を前記理想座標系へ関連づけるステップと、（ｄ）モザイクを構築するために、前記処理された画像を記録するステップとを前記プロセッサに実行させる命令を含むものである媒体。６．多重視点画像記録のための装置であって、（ａ）複数の画像を受け取るための手段と、（ｂ）理想座標系を設けるための手段と、（ｃ）基準画像として前記複数の画像を用いることなく、前記受け取った画像を前記理想座標系へ関連づけるために前記受け取った画像を処理するための手段と、（ｄ）モザイクを組み立てるために、前記処理された画像を記録するための手段とを備える装置。７．前記処理するための手段は、複数の画像を理想座標系へワープさせるために運動パラメータを計算する手段を含み、前記運動パラメータは、一組の画像ピラミッドにわたって精粗法で最小化される、請求項６に記載の装置。８．２次元出力モザイク画像を生成するための方法であって、（ａ）複数の画像を受け取るステップと、（ｂ）前記複数の画像のピクセルを単一の座標系へ写像する一組の整列パラメータを生成するステップと、（ｃ）前記整列パラメータに応答して、前記複数の画像を出力モザイク画像へ結合させるために２次元混合を実行するステップとを備える方法。９．ステップ（ｂ）は、（ｂ１）フレームからフレームへの整列と、（ｂ２）フレームからモザイクへの整列とによって前記複数の画像をワープさせるステップを含む、請求項８の方法。１０．前記２次元混合の処理は、（ａ）前記モザイク画像における各ピクセル位置に対して、対応するピクセルが得られる前記複数の画像の一つを選択するステップと、（ｂ）複数のワープされた画像の選択された各画像について、前記選択されたワープされた画像をまるごと、ステップ（ａ）において決定されたものとして他のワープされた画像から構成される周囲の領域とともに備えるワーキングモザイクを作成するステップと、（ｃ）前記ワーキングモザイクのそれぞれについてガウシアンおよびラプラシアンピラミッドを作成するステップと、（ｄ）ステップ（ａ）において決定されたものとしてそれぞれの前記ワーキングモザイクピラミッドから出力モザイクピラミッドへピクセルを複写するステップと、（ｅ）前記出力モザイクピラミッドをたたむ(collapse)ことによって、前記出力モザイクを再構築するステップとを備える請求項８に記載の方法。１１．２次元出力モザイク画像を生成するための装置であって、複数の画像を受け取るための手段と、前記複数の画像のピクセルを単一の座標系へ写像する一組の整列パラメータを生成し、それぞれの複数のワープされた画像を形成するための手段と、前記整列パラメータに応答して、前記複数の画像を出力モザイク画像へ組み立てるために２次元混合を実行するための手段とを備える装置。１２．前記２次元混合を実行するための手段は、出力モザイク画像における各ピクセル位置に関して、対応するピクセルの値が得られる前記複数の画像の一つを選択するための手段と、前記複数のワープされた画像の選択された各画像について、前記選択されたワープされた画像をまるごと、他のワープされた画像から構成される周囲の領域とともに備えるワーキングモザイクを作成するための手段と、前記ワーキングモザイクのそれぞれについてガウシアンおよびラプラシアンピラミッドを作成するための手段と、それぞれの前記ワーキングモザイクピラミッドから、ステップにおいて決定されたものとして出力モザイクピラミッドへピクセルを複写するための手段と、前記出力モザイクピラミッドをたたむことによって、前記出力モザイクを再構築するための手段とを備える請求項１１に記載の装置。１３．レンズ歪みを評価し、評価されたレンズ歪みを補償するために複数の画像のそれぞれを補正するための方法であって、（ａ）レンズ歪みを含む複数の画像を受け取るステップと、（ｂ）レンズ歪みのない単一の座標系へ前記複数の画像を整列するためにパラメータ運動記述を選択するステップと、（ｃ）同時にレンズ歪みパラメータを評価するとともに前記画像のそれぞれについて前記パラメータ運動記述を評価するステップと、（ｄ）評価されたレンズ歪みについて補正するために前記画像のそれぞれをワープさせるステップとを備える方法。