JP2010238234A

JP2010238234A - シーンの画像のぶれを低減するための方法、画像のぶれを低減するための方法、及び画像のぶれを低減するように構成されたカメラ

Info

Publication number: JP2010238234A
Application number: JP2010062824A
Authority: JP
Inventors: Amit Agrawal; アミット・アグラワル; Yi Xu; イ・シュー; Ramesh Raskar; ラメッシュ・ラスカー
Original assignee: Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Research Laboratories Inc
Priority date: 2009-03-30
Filing date: 2010-03-18
Publication date: 2010-10-21
Also published as: US20100246989A1; US8229244B2

Abstract

【課題】移動物体から取得された画像の動きぶれの影響を除去する。各画像の点像分布関数（ＰＳＦ）がぶれに起因して反転不能であっても、画像のセットにおける動きぶれを反転する。
【解決手段】まず、シーンの画像のセットを取得する。画像のセットにおける各画像は、点像分布関関数（ＰＳＦ）のセットを形成する点像分布関数（ＰＳＦ）に関連付けられたぶれを有する物体を含み、ＰＳＦのセットは、ヌル充填演算に適合している。次に、画像のセット及びＰＳＦのセットを一緒に反転し、低減されたぶれを有する出力画像を生成する。
【選択図】図１

Description

本発明は、包括的には、画像処理に関し、より詳細には、移動物体から取得された画像の動きぶれの影響を除去することに関する。

動きぶれは、画像が取得されている間のカメラとシーンとの間の相対的な動きに起因して生じる。その動きが少なくとも局所的にシフト不変であり、且つ、ぶれを引き起こした、点像分布関数（ＰＳＦ）としても知られているぶれ関数が判明している場合には、動きぶれのある画像は、画像逆畳み込みによって、喪失した空間周波数に至るまで復元することができる。

反転可能な（invertible：可逆的な）動きＰＳＦを保持することは、従来の画像では可能ではない。有限の露出時間によるボックス関数は、ローパスフィルタを有する畳み込みに対応し、したがって、ＰＳＦの周波数変換はゼロ（ヌル）を含む。ＰＳＦのヌルに対応する周波数は失われ、これによって、ぶれ補正は効果がなくなる。従来の方法は、特殊化されたカメラを使用してＰＳＦを求める。

例えば、１つの従来の方法は、広帯域バイナリコードを使用して、露出時間の間シャッタを開閉する。広帯域コードには、周波数領域にヌルがなく、それにより、その結果生成されるＰＳＦは反転可能となる。しかしながら、その方法は、特殊化されたハードウェアを必要とし、一定背景を前提としており、また、手動によるＰＳＦ推定及び物体セグメンテーションを必要とする。

動き不変画像化手法（motion invariant imaging method）は、画像を取得しながら一定の加速度でカメラを移動させる。キーとなるアイデアは、一定の範囲内で動きＰＳＦを物体の速度に対して不変とすることである。これによって、セグメンテーション及びＰＳＦ推定が不要になる。しかしながら、その方法では、動きの方向を事前に知っている必要があり、遮蔽背景（occluding background）に起因して物体境界にアーティファクトが作成され、シーンの静止部分にもぶれが危うく導入される。

波面符号化方法は、レンズの前に立方相板を使用して、ＰＳＦをシーンの深さに対して不変とする。しかしながら、その方法の結果、当初焦点が合っていたシーンの部分に焦点ずれのぶれが生じることになる。

別の方法は、広帯域バイナリ符号でカメラのシャッタを開閉して、ＰＳＦを反転可能にする。カメラの動きを加速することにより、静止部分にぶれが生じるという代償を払って、動きＰＳＦは物体の速度に対して不変となる。

従来の民生用カメラは、慣性センサによって制御された適応光学素子を使用して画像安定化を行い、カメラの動きを補償する。

ハイブリッドカメラは、補助低解像度高フレームレートを使用してＰＳＦを推定するハイブリッド画像化システムを使用して、高解像度１次センサ画像のぶれを補正する。しかしながら、その方法は、ＰＳＦ推定用の補助カメラを必要とする。

動きＰＳＦは、ＰＳＦ推定用の短い露出及び推定されたＰＳＦを使用した画像ぶれ補正用の長い露出の２つの異なる露出を有する連続画像からの部分情報を組み合わせることによって推定されていた。しかしながら、短い露出で画像を取得するには、特殊なカメラが必要とされる。

重なり合った露出時間及び再構成可能なマルチカメラアレイを有する複数の定位置カメラも、取得画像の時間解像度を増加させるのに使用されてきた。しかしながら、ＰＳＦ反転用に単一の従来のカメラを使用することが望まれている。

したがって、たとえ各画像のＰＳＦがぶれに起因して反転不能であり、画像が単一の従来のカメラによって取得されても、シーンのぶれを補正することが望まれている。

たとえ各画像の点像分布関数（ＰＳＦ）がぶれに起因して反転不能であっても、画像のセットにおける動きぶれを反転することが、主題発明の目的である。

ぶれのある画像は、ＰＳＦの周波数変換においてヌル（ゼロ）を示し、これによって、逆畳み込みは不良設定になる。この問題を回避するハードウェアの解決法では、符号化露出カメラ又は加速度モーションセンサ等の特殊化されたデバイスを必要とする。従来のビデオカメラが使用され、複数のＰＳＦのヌル充填（null-filling）及びジョイント反転可能性（joint invertability）の考えが導入される。キーとなる実現は、変化するＰＳＦでシーンの画像のセットを取得し、その結果、或る画像の周波数成分におけるヌルを他の画像が充填できるというものである。結合された周波数変換は、ヌルがなく、ぶれ補正を良設定にする。

本発明の実施の形態は、シーンの画像のぶれを低減するための方法を説明する。まず、シーンの画像のセットを取得する。画像のセットにおける各画像は、関連のぶれと、点像分布関関数（ＰＳＦ）のセットを形成する点像分布関数（ＰＳＦ）とを有する物体を含み、ＰＳＦのセットは、ヌル充填演算に一緒に適合している。次に、画像のセット及びＰＳＦのセットを一緒に反転し、低減されたぶれを有する出力画像を生成する。

本発明の実施の形態によるマルチ画像ぶれ補正のための方法のブロック図である。本発明の実施の形態による不良設定の点像分布関数（ＰＳＦ）の模式図である。本発明の実施の形態によるＰＳＦヌル充填の模式図である。本発明の実施の形態による単一画像ぶれ補正のブロック図である。本発明の実施の形態によるマルチ画像ぶれ補正のための結合線形システムのブロック図である。本発明の実施の形態による自動ぶれ補正のための方法のブロック図である。

図１は、本発明の実施の形態によるシーンの画像のセット１１０のマルチ画像ぶれ補正の方法１００を示す。各画像１１１〜１１３は、点像分布関数（ＰＳＦ）１２１〜１２３のセット１２０に関連付けられたぶれを有する物体を含む。この方法は、ＰＳＦのセットを使用して画像のセットを一緒に反転し（１４０）、ぶれが低減された出力画像１５０を生成する。この方法のステップは、プロセッサ１０１によって実行される。

画像１１０は、ＰＳＦのセットがヌル充填演算１３０に適合するようなカメラによって取得される。適合性は、異なる露出時間で画像を取得することによって達成される。

例えば、一実施の形態では、第１の画像１１１が、第１の露出時間で取得され、第２の画像１１２が、第１の露出時間の整数倍でない第２の露出時間で取得される。いくつかの実施の形態では、自動段階露出（ＡＥＢ）を有する従来のカメラを使用する。ＡＥＢによって、カメラは、異なる露出で一連の画像を撮影することが可能になる。

図２に示すように、従来の露出を有するカメラによって取得された単一の画像１１１について、動きＰＳＦはボックスフィルタ２２０である。ＰＳＦの離散フーリエ変換（ＤＦＴ）２３０は、カーディナルサイン（ｓｉｎｃ）関数２４０である。カーディナルサイン（ｓｉｎｃ）関数２４０は、ゼロ２５０を含み、したがって、ぶれ補正を不良設定にする。ＰＳＦのセット１２０は、第１のＰＳＦ１２１及び第２のＰＳＦ１２２を含む。特定の周波数２５０における第１のＰＳＦの値はゼロに等しい。特定の周波数における第２のＰＳＦの値は、ゼロに等しくない。

本発明の実施の形態は、ＰＳＦヌル充填の新規な概念を使用する。図３は、異なる露出時間３２０で取得された複数の画像１１０を結合することによって、各個々のＰＳＦのヌル３３０が他のＰＳＦからのデータで充填されることを示す。したがって、結合されたＰＳＦ３４０は、ぶれ補正１４０を良条件にする。

反転不能ＰＳＦのジョイント反転可能性
ｆを、物体を含むシーンの鮮明な画像を表すものとする。物体のＮ個のぶれのある画像ｉ_ｋを撮影する。各画像ｉ_ｋは、ＰＳＦのセットを形成する異なるＰＳＦｈ_ｋを有する。

ここで、＊は畳み込み演算子であり、ｎ_ｋは、分散σ^２ _ｋを有するゼロ平均加法的白色ガウス雑音である。Ｔ_ｋを、ｋ番目の画像の露出時間とする。量のフーリエ変換を、大文字を使用して表すことにする。ｗを周波数とすると、画像Ｉ（ｗ）のフーリエ変換Ｆ（ｗ）は、

である。

１次元の物体の動きが、等速でセンサ面に対して平行である場合、ＰＳＦのそれぞれは、ボックスフィルタの長さ２２５が露出時間Ｔ_ｋに比例するボックスフィルタ２２０に対応する。ｒ_ｋを、ｋ番目のフレームにおけるぶれのサイズとする。このとき、

である。

あらゆる個々の画像の単一画像ぶれ補正（ＳＩＤ）は、

である。ここで、Ｆ（ｗ）は、ぶれ補正された画像のフーリエ変換を表し、

は、対応する逆畳み込みフィルタｖ_ｋのフーリエ変換である。

図３は、例えばＮ個の画像１１０を使用するマルチ画像ぶれ補正（ＭＩＤ）のための方法を示す。好ましい実施の形態では、各周波数ｗにおいて、

によってぶれ補正された出力画像の雑音電力を最小にすることにより、最適な逆畳み込みフィルタＶ_ｋ（ｗ）が得られる。鮮明な画像を再生するために、

であることに留意されたい。

ラグランジュ乗数を使用すると、コスト関数は、

であり、したがって、

である。

特定の周波数ｗ３５０においてすべてのＰＳＦ３３０間で共通のゼロがある場合、その周波数におけるすべてのｋについてＨ_ｋ（ｗ）＝０であり、Ｖ（ｗ）は不安定になる。

ＰＳＦのフーリエ変換において共通のゼロがない場合、各個々の画像で失われた情報は、他の或る画像によって取得される。各個々のＰＳＦにおけるゼロは、他のＰＳＦによって充填される。

このように、ＰＳＦのセットが共通のゼロを有しない場合、たとえ各ＰＳＦが反転不能であっても、結合された逆畳み込みを良設定にすることができる。すなわち、ＰＳＦのセットは、ヌル充填に適合している。

一実施の形態では、ＰＳＦは動きＰＳＦである。しかしながら、他のタイプのＰＳＦが本実施の形態では使用される。動きＰＳＦの場合、これによって、露出時間が互いの整数倍になるべきでないことが必要とされる。

は、結合された逆畳み込みの演算子である。

マルチ画像ぶれ補正
動きぶれを、鮮明な画像によって乗算される動きスミア行列（motion smear matrix）として定式化する。図４に示すように、単一画像ぶれ補正（ＳＩＤ）の場合、画像１１１〜１１３は、動きスミア行列４１１〜４１３に鮮明な画像１５０を乗算することで再生される。しかしながら、動きスミア行列はＰＳＦによって決まるので、ＰＳＦが悪条件である場合、ぶれ補正は満足できるものではない。

図５は、マルチ画像ぶれ補正（ＭＩＤ）の結合線形システムを示す。この結合線形システムでは、行列５１０と画像５２０とを結合する。動きぶれ行列の特異値は、結合ぶれ補正システムＡ_ｃがより良い条件であることを示す。

離散領域における畳み込み式は、各動きラインに対して

である。ここで、Ａ_ｋは、画像ｋについての巡回動きスミア行列であり、

は、ぶれのある物体を記述するベクトルであり、

は、鮮明な物体を記述するベクトルであり、

は、各動きラインに沿った雑音強度を記述するベクトルである。ＳＩＤの場合、ぶれ補正された物体を記述するベクトル

は、コスト関数

を最小にすることによって得られ、その結果、

となる。

同様に、ＭＩＤの場合、結合線形式は、

である。式（９）において、Ａ_ｃは、結合共分散行列（combined covariance matrix）であり、

は、雑音分散である。

いくつかの実施の形態では、推定されたぶれ補正済みベクトル

は、コスト関数

を最小にすることによって

として得られる。

したがって、式（１０）を使用して画像のセット及びＰＳＦのセットを一緒に反転すると、ぶれが低減された出力画像が生成される。

露出シーケンスの最適化
一実施の形態では、結合された演算子Ｐの最小値を最大にする露出時間を検索する。別の実施の形態では、信号依存性雑音を考慮するためにセンサ雑音特性を組み込む。光子によって生成された電子の分散は、測定された信号と共に線形に増加するので、露出時間σ^２ _ｋは、σ^２ _ｇｒａｙ＋βＴ_ｋによって与えられる。ここで、σ^２ _ｇｒａｙは暗雑音であり、βはカメラ依存性定数である。

これらのパラメータを使用すると、ｎｆによって与えられる信号対雑音比（ＳＮＲ）の減少を最小にすることにより、最適な露出シーケンスが得られる。符号化露出の場合、検索空間は、ほぼ２^ｎ程度である。ここで、ｎは符号長であり、例えば５２である。ＭＩＤの未知のものの数は、使用される異なる露出時間の数に等しい。通常、ぶれ補正には、３つ又は４つの異なる露出時間で十分であり、したがって、検索は比較的小規模である。

自動ぶれ補正
図６は、自動ぶれ補正方法のブロック図を示す。本発明の実施の形態は、平滑でない背景の前面で移動する物体を有する画像６１０をぶれ補正するためのジョイントＰＳＦ反転可能性を使用する。

ＰＳＦ推定
空間的に不変のぶれの場合、ＰＳＦ推定６２０は、画像空間物体速度ｖと画像毎の露出時間との乗算として表される。物体速度は、画像間の動きベクトルと画像間の時間経過との間の比である。この空間的に不変のぶれの場合、画像間の動きベクトルは、対応する画像パッチを照合することによって計算される。しかしながら、露出時間が異なると、その結果、ぶれのサイズが異なることになり、したがって、照合及びＰＳＦ推定を容易にするために、画像を取得するための露出シーケンスが繰り返される。したがって、画像のセット６１０における画像は、Ｎ個の画像ごとに同じ露出を有する。ここで、Ｎは、使用される異なる露出の数（≒３〜４）である。動きベクトルは、同じ露出を使用して取得された画像を照合することによって計算することができる。異なる露出についての動きベクトルを平均化することによって、ＰＳＦの最終推定値が与えられる。

初期化
ＥＱｍ＼ｓ＼ｄｏ５（ｋ）（ｘ＼，ｙ）は、ｋ番目の画像における物体のバイナリマスクであり、Ｔ_ｉはフレーム間時間である。ｂ（ｘ，ｙ）が、物体を伴わない背景画像である場合、取得された動きぶれのある画像ｉ_ｋは、

によって与えられる。

最初に、背景ｂを推定する。いくつかの実施の形態では、物体は、十分高速に移動する。すなわち、各背景ピクセルは、画像の５０％未満において物体により遮蔽される。したがって、時間方向に沿ったメディアンフィルタリングを使用する。低速の移動物体の場合、背景差分を使用して背景ｂが求められる。

ぶれのある画像は、ぶれのある前景及び背景の双方からの寄与を有する。画像ぶれの式（１７）は、アルファマッティング（alpha matting）式の点から

として、記述することができる。ここで、

であり、α_ｋ＝ｈ_ｋ＊ｍ_ｋである。アルファマップのぶれ補正は、バイナリセグメンテーションマスクｍ_ｋを再生することができる。マッティングは、通常、透明な静止物体に使用され、前景の動きぶれのある物体は、不透明であり、鮮明に合焦されているものと仮定する。したがって、アルファマップは、動きぶれにのみ依存し、マッティング前景は、実際には、ぶれのある物体に対応し、鮮明な物体には対応しない。

初期アルファマップ６３０を計算するために、まず、入力画像ｉ_ｋと背景画像ｂとの間の差分をしきい値処理することによって、画像毎の粗いトライマップ（crude trimap）を生成する。このトライマップは、移動物体の内部の場合は１であり、背景の場合は０であり、ぶれのある領域の場合は不明である。ホール充填（hole-filling）等のモルフォロジー演算を適用して、雑音が低減される。トライマップを使用すると、アルファマッティングは、各フレームに対して独立に実行される。

ぶれのある前景ｆ^ｂ _ｋは、各入力画像からの背景寄与を除去する（６４０）ことによって、

として得られる。

空間的に不変の動きぶれの場合、アルファマップは、各動きラインに沿った勾配であり、雑音を有する。

マルチ画像ぶれ補正（ＭＩＤ）
物体は、連続した画像では異なる位置に現れるので、ぶれのある前景ｆ^ｂ _ｋは、逆畳み込みの前に位置合わせする必要がある。直線的な一定の動きの場合、位置合わせは、画像平面におけるシフトに対応する。物体は物体速度ｖを有するので、ｉ番目の画像と（ｉ＋１）番目の画像との間のシフトはｖ＊Ｔ_ｉである。ぶれのある前景を位置合わせした後、式（１０）を解くことによりＭＩＤ６５０を使用してぶれ補正が実行される。雑音を有するアルファマップに起因して、ぶれのある画像のこの初期推定値は、雑音を有し、エラーのある背景寄与を含む。

精緻化
動きは、実世界のシーンでは一定条件でない場合があるので、前のステップにおける前景レイヤの位置合わせは、わずかにずれている可能性がある。位置合わせミスは、逆畳み込みでエラーを引き起こす。前のステップで得られた、ぶれ補正された前景ｆを使用して、位置合わせを精緻化する（６６０）。具体的には、ブラーカーネル（blur kernel）ｈ_ｋを使用して鮮明な前景ｆにぶれを起こし、ぶれのある合成前景とｆ^ｂ _ｋとの間のシフトを検出する。したがって、すべてのぶれのある前景ｆ^ｂ _ｋｓは、鮮明な前景ｆを通じて相関され、正確に位置合わせすることができる。

セグメンテーションの精緻化
ぶれ補正された前景ｆを使用すると、精緻化されたアルファマップは、

として計算される。得られたアルファマップは、次に、同じＭＩＤアルゴリズム及びしきい値を使用してぶれ補正され、物体のバイナリセグメンテーションｍ_ｋが得られる。線形システムは良設定であるので、アルファマップのぶれ補正によって、真の前景セグメンテーションの厳密な解が与えられる。しかしながら、単純なしきい値処理では、セグメンテーションマスクは正確なものとはならず、これを改良する必要がある。

動きライン毎のセグメンテーションを独立して精緻化する（６７０）。一実施の形態では、例えば０．６５といった控え目なしきい値を使用して、物体のサイズよりも小さな初期セグメンテーションマスクｍ^０を得る。各動きラインに対して、同時に各辺で１ピクセル、セグメンテーションマスクを拡大し、最良の推定値を見つける。最良の推定値は、結合コスト関数

を最小にするものである。

精緻化は、ぶれ領域全体に繰り返され、動きライン毎のエラーを最小にする最良のセグメンテーションが選ばれる。通常、各辺において１０ピクセル内で検索を行い、その結果、拡張は走査ライン毎に１０^２＝１００個になる。通常、セグメンテーション及びぶれ補正の質は、最初の繰り返しの後であっても改善する。精緻化は、最終結果を得るために２回又は３回反復される。

本発明を、好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で他のさまざまな適合及び変更を行えることが理解されるべきである。したがって、本発明の真の精神及び範囲内に入るようなこのようなすべての変形及び変更を包含することが、添付の特許請求の範囲の目的である。

Claims

シーンの画像のぶれを低減するための方法であって、該方法のステップを実行するためのプロセッサを備え、該方法は、
前記シーンの画像のセットを取得するステップであって、前記画像のセットにおける各画像は、点像分布関関数（ＰＳＦ）のセットを形成する点像分布関数（ＰＳＦ）に関連付けられたぶれを有する物体を含み、前記ＰＳＦのセットは、ヌル充填演算に適合している、ステップ、並びに
前記画像のセット及び前記ＰＳＦのセットを一緒に反転するステップであって、低減されたぶれを有する出力画像を生成する、ステップ、
を含む、方法。
互いの非整数倍である露出時間で前記画像のセットを取得することをさらに含む、請求項１に記載の方法。
前記ＰＳＦのセットは、第１のＰＳＦ及び第２のＰＳＦを含み、特定の周波数における前記第１のＰＳＦはゼロであり、前記特定の周波数における前記第２のＰＳＦはゼロでない、請求項１に記載の方法。
単一のカメラで前記画像のセットを取得することをさらに含む、請求項１に記載の方法。
異なるフレームレートで動作する複数のカメラを使用して、前記画像のセットを取得することをさらに含む、請求項１に記載の方法。
前記ＰＳＦは動きＰＳＦである、請求項１に記載の方法。
前記反転することは、

に従って前記出力画像を求めること、
をさらに含み、ここで、

は、前記出力画像を記述するベクトルであり、Ａ_ｋは、画像ｋについての巡回動きスミア行列であり、

は、前記ぶれのある物体を記述するベクトルであり、Ｎは、前記画像のセットにおける画像の数であり、Ｔは転置演算子である、請求項１に記載の方法。
逆畳み込み演算子が最大になるような前記露出時間を求めることをさらに含む、請求項２に記載の方法。
信号対雑音比が最大になるような前記露出時間を求めることをさらに含む、請求項２に記載の方法。
画像のぶれを低減するための方法であって、該方法のステップを実行するためのプロセッサを備え、該方法は、
露出のセットで移動物体の画像のセットを繰り返し取得するステップであって、前記露出は互いの非整数倍である、ステップ、
同じ露出で取得された画像から計算された動きベクトルを使用して、点像分布関数（ＰＳＦ）のセットを形成する点像分布関数（ＰＳＦ）を推定するステップ、
前記画像のセットにおける画像毎のアルファマップを求めるステップ、
前記アルファマップを使用して、前記画像から背景寄与を除去するステップ、並びに
前記画像のセット及び前記ＰＳＦのセットを一緒に反転するステップであって、低減されたぶれを有する出力画像を生成する、ステップ、
を含む、方法。
前記求めること、前記除去すること、及び前記反転することを繰り返すことをさらに含む、請求項１０に記載の方法。
前記取得することは、自動段階露出を有するカメラを使用して実行される、請求項１０に記載の方法。
画像毎に、
前記画像の背景を推定すること、及び
前記画像と前記背景との間の差分をしきい値処理することによって粗いトライマップを生成すること、
をさらに含む、請求項１０に記載の方法。
前記画像のセットにおいて前記物体を位置合わせすることをさらに含む、請求項１０に記載の方法。
各動きラインに対して前記物体のセグメンテーションを独立に精緻化すること、
をさらに含む、請求項１０に記載の方法。
画像のぶれを低減するように構成されたカメラであって、
移動物体の画像のセットを取得する手段であって、各画像は、点像分布関関数（ＰＳＦ）のセットを形成する点像分布関数（ＰＳＦ）に関連付けられており、前記ＰＳＦのセットは、ヌル充填演算に適合している、取得する手段、並びに
前記画像のセット及び前記ＰＳＦのセットを一緒に反転する手段であって、低減されたぶれを有する出力画像を生成する、反転する手段、
を備える、カメラ。
前記ＰＳＦのセットは、第１のＰＳＦ及び第２のＰＳＦを含み、特定の周波数における前記第１のＰＳＦはゼロであり、前記特定の周波数における前記第２のＰＳＦはゼロでない、請求項１６に記載のカメラ。
前記反転する手段は、

に従って前記出力画像を求める手段、
をさらに備え、ここで、

は、前記出力画像を記述するベクトルであり、Ａ_ｋは、画像ｋについての巡回動きスミア行列であり、

は、前記ぶれのある物体を記述するベクトルであり、Ｎは、前記画像のセットにおける画像の数であり、Ｔは転置演算子である、
請求項１６に記載のカメラ。
前記ＰＳＦのセットを推定する手段をさらに備える、請求項１６に記載のカメラ。
前記画像のセットを分割する手段をさらに備える、請求項１６に記載のカメラ。