JP2005310135A - 動きブレした画像におけるブレを補正する方法及び装置 - Google Patents

Abstract

【課題】画像の動きブレを低減する新規な方法及び装置、並びに動きブレした画像におけるブレ方向を推定する方法及び装置を提供する。
【解決手段】動きブレした画像におけるブレを補正する方法及び装置が、該動きブレした画像におけるブレの方向を、一群の離散方向にわたる及び斯かる離散方向の部分群にわたる該動きブレした画像のエッジ応答に基づいて推定するステップを含む。上記動きブレした画像におけるブレの量も推定される。該動きブレした画像に基づく初期推測画像が発生され、該推測画像は上記の推定されたブレ方向及びブレ量の関数としてぶらされる。該ぶらされた推測画像は上記動きブレした画像と比較されて、誤差画像を生じる。該誤差画像は、ぶらされ且つ重み付けられ、次いで、上記初期推測画像と組み合わされて該推測画像を更新し、ブレを補正する。
【選択図】図１

Description

本発明は広くは画像処理に係り、更に詳細には、画像における動きブレを低減する方法及び装置、並びに動きブレした画像におけるブレ方向を推定する方法及び装置に関する。

動きブレは、デジタルビデオカメラ又はスチル写真カメラを用いた画像キャプチャの間に発生し得る、撮像技術における良く知られた問題である。動きブレは、画像キャプチャ過程の間において振動等のカメラの動きにより発生される。動きブレが生じる際の実際のカメラの動きの演繹的測定を行うことは、どちらかというとまれであり、かくして、キャプチャされた画像における動きブレを補正する技術が開発されてきた。

例えば、ブラインド動きブレ補正は、キャプチャされた画像における動きブレを補正する既知の技術である。この技術は、キャプチャされた動きブレした画像に固有の属性に基づいて動きブレを補正する。ブラインド動きブレ補正は、キャプチャされた画像に基づいてカメラの動きパラメータを推定し、該推定されたカメラ動きパラメータを使用して当該キャプチャされた画像における動きブレの効果を少なくとも部分的に逆転させようとする。

カメラ動きパラメータを推定する処理は、典型的には、カメラの動きが直線的に且つ一定の速度で発生したと仮定することにより単純化される。カメラ動きパラメータの推定の間において、先ずカメラの動きの直線方向（即ち、ブレ方向）が推定され、次いで該カメラの動きの量（即ち、ブレの量（blur extent））が推定される。Yitzhaky他により著された“動きブレした画像のための直接的ブラインド・デコンボリューション方法の比較”なる題名の文献（米国光学協会、１９９９年）は、直線ブレ方向を推定する方法を開示している。この直線ブレ方向推定方法の間においては、ぶれた画像の解像度が最大に減少した方向が見付けられ、ブレ方向と宣言される。これは、当該ぶれた画像を複数の方向でハイパスフィルタ処理し、最低の輝度を生じる方向を決定することにより達成される。残念ながら、このブレ方向推定方法には、測定される方向の各々に充分なエッジ情報がある状況においてのみ有効であるという欠点がある。例えば、このブレ方向推定技術は、ハイパスフィルタ処理後に低輝度を有する測定方向を、該低輝度がブレによるものではなく元のぶれていない画像における少ないエッジ情報の結果であるような状況において、間違ってブレ方向であると宣言してしまい得る。更に、このブレ方向推定技術は、何れかの特定方向においてエッジを鮮鋭に又は軟化させ得るようなノイズによるエラーに対して非常に敏感である。

ブレ方向が決定されると、次いでブレの量が典型的には相関に基づく方法を用いて推定され、これにより当該カメラ動きパラメータ推定処理が完了する。

カメラ動きパラメータ（即ち、ブレ方向及びブレの量）が推定されたら、カメラ動きの効果を逆転し、これにより画像をブレ補正するために、該推定されたカメラ動きパラメータを用いて動き補正が実行される。Biemond他により著された“ＩＥＥＥ会報、第５号、第７８巻、１９９０年５月”なる題名の文献は、カメラ動きの効果を逆転してキャプチャ画像内の動きブレを補正する逆フィルタ技術を開示している。この技術の間においては、推定されたカメラ動きパラメータに従い設計された動きブレフィルタの反転が、ぶれた画像に直接適用される。

残念ながら、該Biemond他のブレ補正技術は欠点を有している。ぶれた画像を動きブレフィルタの反転により畳み込む処理（convolving）は、過度のノイズ増幅につながり得る。更に、Biemond他により開示された復元方程式を参照すると、ブレ距離の整数倍で正のスパイクを有するエラー貢献項は、ぶれた画像におけるエッジ等の高コントラスト構造で畳み込まれた場合に増幅され、不所望なリンギングにつながる。リンギングとは、当該画像内の鋭い対象の近傍におけるハロー及び／又はリングの出現であり、悪い条件の反転問題において画像をブレ除去しているという事実に関連する。Biemond他の文献は、斯かるリンギング効果を当該画像の局部的エッジ内容に基づき低減して、エッジ状領域を弱めに調節し、充分に滑らかな領域におけるノイズ増幅を抑圧する方法を考察している。しかしながら、この方法では、リンギングノイズはエッジを含む局部的領域に依然として残存し得る。

反復方法を用いてブレ補正画像を発生する種々の技術も提案されている。これら反復技術の間においては、典型的には、推測画像が推定カメラ動きパラメータを用いて動きブレされ、該推測画像が、該動きブレした推測画像とキャプチャされた動きブレ画像との間の差に基づいて更新される。この処理は、上記推測画像が充分にブレ補正されるまで、反復的に実行される。カメラ動きパラメータは推定されるので、上記推測画像におけるブレは、当該反復処理の間において動きブレされた推測画像とキャプチャされた動きブレ画像との間のエラーがゼロに向かい減少するにつれて低減される。上記の反復問題は、

と定めることができ、ここで、
Ｉ(x,y)はキャプチャされた動きブレした画像であり、
ｈ(x,y)は動きブレ関数であり、
Ｏ(x,y)は上記動きブレした画像Ｉ(x,y)に対応する、ぶれていない画像であり、
ｎ(x,y)はノイズであり、
Ａ＊ＢはＡ及びＢのコンボリューション（畳み込み）を示す。

上記から分かるように、画像ブレ補正の目標は、キャプチャされたブレ画像Ｉ(x,y)のみが与えられた場合に、ぶれていない画像Ｏ(x,y)の推測（回復）画像Ｏ’(x,y)を生成することである。上記補正アルゴリズムにおいて、ｈ(x,y)はカメラ動きパラメータから分かると仮定する。ノイズが無視される場合、回復された画像Ｏ’(x,y)と、ぶれていない画像Ｏ(x,y)との間の誤差Ｅ(x,y)は、

と定義することができる。

上述したもののような反復方法は動きブレフィルタを用いたブレの直接的逆転よりも或る程度の利点を提供するが、これらの既知の反復方法は依然として画像の幾つかの領域において過度の補正を被り、不均一な結果及び著しいリンギングにつながる。理解されるように、ブレ補正の改善が望まれている。

従って、本発明の目的は、画像の動きブレを低減する新規な方法及び装置、並びに動きブレした画像におけるブレ方向を推定する方法及び装置を提供することにある。

本発明の一態様によれば、動きブレした画像におけるブレを、該動きブレした画像に基づく動きブレ方向及び動きブレの量（motion blur extent）の推定を使用して補正する方法が提供される。該方法の間において、初期推測画像が当該動きブレした画像に基づいて発生される。該推測画像は上記の推定されたブレ方向及びブレの量の関数としてぶらされる。該ぶらされた推測画像は、上記動きブレした画像と比較されて、誤差画像を発生する。該誤差画像はぶらされ、重み付けされると共に、上記初期推測画像と合成され、これにより該推測画像を更新してブレを補正する。

一実施例においては、上記の重み付けはブレ方向の関数であり、特には、当該推測画像のブレ方向におけるエッジの大きさの推定値である。上記の、ぶらし、比較、ぶらし及び重み付け、並びに合成は反復的に実行される。一実施例において、反復は閾回数だけ実行される。他の実施例においては、上記反復は上記誤差画像の大きさが或る閾レベルより小さくなるまで実行される。更に他の実施例では、反復は、上記誤差画像が連続する反復の間において閾量より大きく変化しなくなるまで実行される。上記ブレの量は閾となるブレ量のレベルと比較される。当該方法は、動きブレ量の推定値が該閾ブレ量レベルより大きい場合にのみ実行される。

本発明の他の態様によれば、動きブレした画像のブレを補正する方法が提供される。該動きブレした画像におけるブレの方向が、一群の離散方向にわたる及び離散方向の部分群にわたる当該動きブレした画像のエッジ応答に基づいて推定される。該動きブレした画像におけるブレの量も推定される。当該動きブレした画像に基づく初期推測画像が発生され、該推測画像は上記の推定されたブレ方向及びブレ量の関数としてぶらされる。該ぶらされた推測画像は前記動きブレした画像と比較され、誤差画像を発生する。該誤差画像はぶらされ、次いで上記初期推測画像と合成されて、該推測画像を更新し、ブレを補正する。

上記一群の離散的サンプル方向はＮ個の離散方向を含み、これら離散方向は当該動きブレした画像における０度と１８０度との間の角度空間にわたり角度的に離隔されている。ブレ方向推定の間において、離散方向の複数の部分群組合せにわたるエッジ応答が決定され、前記一群の離散方向にわたるエッジ応答と比較される。各部分群組合せは、上記一群の離散方向を一対の象限に分割し、斯かる象限の少なくとも一方における離散方向は連続する。各部分群組合せに関して、上記一群の離散方向にわたる動きブレした画像のエッジ応答と、上記象限の各々における離散方向にわたる当該動きブレした画像のエッジ応答との間のずれが決定される。最大のずれを生じる部分群組合せに対して、上記一方の象限における離散方向にわたるエッジ応答が他方の象限における離散方向にわたるエッジ応答よりも大きい場合に、該一方の象限を二等分する方向が、ブレ方向として宣言される。それ以外の場合、上記一方の象限を二等分する方向に対する法線方向がブレ方向として宣言される。

本発明の更に他の態様によれば、動きブレした画像におけるブレ方向を推定する方法が提供される。当該動きブレした画像を介して延びる一群の離散的離隔された方向にわたる該動きブレした画像のエッジ応答と、上記群における離散方向の可能性のある部分群組合せにわたる該動きブレした画像のエッジ応答との間のずれが決定される。各部分群組合せは一対の象限を含み、一方の象限は複数の連続した離散方向を有する。最大のずれを生じる部分群組合せに対して、一方の象限における離散方向にわたるエッジ応答が他方の象限における離散方向にわたるエッジ応答よりも大きい場合に、上記一方の象限を二等分する方向がブレ方向として宣言される。それ以外の場合、上記一方の象限を二等分する方向に対する法線方向が、ブレ方向として宣言される。

本発明の更に他の態様によれば、動きブレした画像におけるブレ方向を推定する装置が提供される。該装置は、当該動きブレした画像を介して群を形成する複数の異なる離散方向に沿うエッジ応答を決定するエッジ検出器を含む。ずれ決定器は、上記群の離散的な離隔された方向にわたる当該動きブレした画像のエッジ応答と、上記群の可能性のある部分群組合せにわたる当該動きブレした画像のエッジ応答との間のずれを決定する。比較器は、最大のずれを生じる部分群組合せを決定する。該比較器は、この決定された部分群組合せに対して、一方の象限における離散方向にわたるエッジ応答が他の象限における離散方向にわたるエッジ応答よりも大きい場合に、上記一方の象限を二等分する方向をブレ方向と宣言する。それ以外の場合、上記比較器は上記一方の象限を二等分する方向に対する法線方向をブレ方向と宣言する。

本発明の更に他の態様によれば、動きブレした画像のブレを、該動きブレした画像に基づく動きブレ方向及び動きブレ量の推定を用いて補正する装置が提供される。該装置は、上記動きブレした画像に基づく初期推測画像を、上記の推定されたブレ方向及びブレ量の関数としてぶらす動きブレフィルタを含む。比較器は、該ぶらされた推測画像を前記動きブレした画像と比較し、誤差画像を発生する。上記動きブレフィルタは、更に、上記誤差画像をぶらし、該誤差画像に誤差重み係数に従い重み付けする。加算器は、上記誤差画像と初期推測画像とを組み合わせて、上記推測画像を更新すると共にブレを補正する。

本発明は、上記離散方向の全てにわたる及び離散方向の部分群にわたる総（total）エッジ応答がブレ方向の決定において考慮されるので、ノイズ及び／又は不充分なエッジ情報から生じる特定の方向の偏差（anomalies）による不所望な効果が減衰されるという利点を提供する。結果として、不正確なブレ方向を宣言する確度が、従来のブレ方向推定技術と比較して、大幅に低減される。

また、本発明は、ブレ補正がブレ方向に基づく係数を用いて重み付けされるので、不必要な補正及び過補正が減少され、これによりリンギングの効果を防止するという利点も提供する。

以下、本発明の実施例を、添付図面を参照して更に詳細に説明する。

ここで図１を参照すると、デジタルカメラ又はデジタルビデオカメラ等によりキャプチャされた画像の動きブレを補正する方法が示されている。本方法の間において、動きブレした画像がキャプチャされた場合（ステップ１００）、このキャプチャされた画像のブレ方向が、先ず該キャプチャ画像におけるエッジ情報を用いて推定される（ステップ２００）。ブレ方向が推定されたら、該キャプチャ画像におけるブレの量（extent of blur）が相関に基づく技術を用いて推定される（ステップ３００）。推定された動きブレパラメータ（即ち、推定されたブレ方向及びブレ量）が定まると、該推定された動きブレパラメータは、当該キャプチャ画像における動きブレを低減し（ステップ４００）、これにより動きブレ補正された画像を発生するために使用される。

図２は、ブレ方向推定（ステップ２００）の間に実行されるステップを図示している。最初に、キャプチャされた動きブレした画像からＹチャンネル輝度画像が抽出される（ステップ２１０）。次いで、該抽出された画像はソーベル（Sobel）エッジ検出器により畳み込まれ、水平及び垂直勾配画像Ｇｘ及びＧｙを各々得る（ステップ２１２）。ソーベルエッジ検出器は、画像のエッジ応答を決定する場合に使用するのに適した既知のハイパスフィルタであり、ハイパスフィルタ行列を利用して画像のｘ及びｙ方向におけるエッジ応答を検出する。図５ａは画像のｘ方向におけるエッジ応答を検出するために上記ソーベル検出器により使用されるハイパスフィルタ行列２０２を示し、図５ｂは画像のｙ方向におけるエッジ応答を検出するために該ソーベル検出器により使用されるハイパスフィルタ行列２０４を示す。

ステップ２１２に続いて、当該画像の［０，π］間の角度空間がＮ個の離散方向｛θ_１，…，θ_Ｎ｝に沿い扇形に分割され、ここで、Δ_θ＝π／Ｎ及びθ_ｎ＝ｎ・Δ_θである（ステップ２１４）。当該群における上記Ｎ個の離散方向は、等角度的に離隔され、従って当該画像の上記角度空間を複数の等しい扇形に分割する。図６ａは、Ｎ＝８の場合の、画像の角度空間２０６のサンプル的離散化を示している。見られるように、角度空間２０６は８個の離散方向により等しい扇形Ｓ_１ないしＳ_８に分割されている。

各離散方向に対して、当該キャプチャ画像を経る総（total）エッジ応答Ｅ(n)が、

なる式に従い水平及び垂直勾配画像を用いて測定される（ステップ２１６）。

上記Ｎの離散方向の各々に関する測定された総エッジ応答の比較が、最小値、即ち最低エッジ強度を有するエッジ応答を生じる。前述したブレ方向を決定する従来技術の方法によれば、最低のエッジ強度を生じる方向が、ブレが発生した方向であると仮定された。しかしながら、前述したように、その様にすると、該低エッジ強度が当該ブレ画像における該方向に関するエッジ情報が少ないことの結果であるか、又は何れの特定の方向においてもエッジを鮮鋭又は緩慢にする傾向のあるようなノイズの結果であり得るので、不正確さにつながり得る。

最低エッジ強度に関連する方向をブレ方向と直ぐに宣言するのではなく、本発明によれば、Ｎ個の離散方向の各々関して総エッジ応答が測定されたら、上記離散方向の全てに対する平均の総エッジ応答が決定される（ステップ２１８）。

ステップ２１８に続いて、Ｎ個の離散方向は可能性のある第１対の部分群にグループ化され、これにより、当該画像の[０，π]の間の角度空間を、象限Ｑ_１における離散方向は連続するとの制約で、一対の象限Ｑ_１及びＱ_２に各々分割する（ステップ２２０）。象限Ｑ_２は残りの離散方向を含む。象限Ｑ_１の離散方向は連続しているので、これら離散方向により規定される扇形は隣り合う。象限Ｑ_１及びＱ_２は、

と表すことができる。

次いで、当該画像の[０，π]の間の角度空間が２つの象限Ｑ_１及びＱ_２に分割された状態で、各象限における離散方向に対する平均エッジ応答が、

なる式により測定される（ステップ２２２）。

象限Ｑ_１及びＱ_２に関する測定された平均エッジ応答を用いて、Ｎ個の離散方向の全てに対する総エッジ応答と、象限Ｑ_１及びＱ_２の各々における離散方向に対する総エッジ応答との間のずれＤＥＶ_ｎが、

なる式により決定される（ステップ２２３）。

次いで、上述したステップは、象限Ｑ_１における離散方向は連続していなければならないという制約で、他の対の可能性のある部分群の各々に対しても実行される（ステップ２２２）。図６ｂは、Ｎ＝８なる離散方向に対しての、可能性のある部分群の対を示している。

次いで、図６ｃを参照すると、ブレ方向は、先ずＤＥＶ_ｎの最大値を生じるような部分群組合せを見付けることにより決定される。ＤＥＶ_ｎの最大値を生じる部分群組合せに対して、象限Ｑ_１内の離散方向に対する測定された平均エッジ応答μ_１が象限Ｑ_２内の離散方向に対する平均エッジ応答μ_２以下である場合は、象限Ｑ_１を二等分する方向が、ブレ方向と宣言される（ステップ２２６）。それ以外の場合、象限Ｑ_１を二等分する方向に垂直な方向がブレ方向と宣言される。これは、ブレ方向の近くのエッジ応答はブレにより一層弱くなる傾向があるという事実による。

理解されるように、ブレ方向の決定の間において、全ての離散方向に対する平均の総エッジ応答及び離散方向の部分群に対する平均の総エッジ応答が考慮されている。これを行うことにより、ノイズ及び／又は不充分なエッジ情報から生じる特定の方向の偏り（anomalies）による不所望な影響が減衰される。結果として、従来のブレ方向推定技術と較べて、不正確なブレ方向を宣言してしまう確度は大幅に減少する。

図３は、ブレ量の推定（ステップ３００）の間に実行されるステップを示している。この実施例においては、ブレ量の推定は相関に基づく方法に基づくものである。以下の説明に関して、動き角（水平に対する方向）はθ_ｍと示され、動き角θ_ｍに対して垂直な角度はθ_ｍ⊥により示される。

ブレ方向推定と同様に、ブレ量の推定の間においても、キャプチャされた画像からＹチャンネル輝度画像Ｉ(x,y)が抽出される（ステップ３１０）。次いで、該抽出された画像はエッジ検出器により前記の決定されたブレ方向に畳み込まれ、応答画像Ｒ_θｍを生じる（ステップ３１２）。次いで、該応答画像Ｒ_θｍは、エッジ検出器により上記の決定されたブレ方向に対して垂直な方向に畳み込まれ、第２応答画像Ｒ_{θｍ，θｍ⊥}を得る（ステップ３１４）。該第２応答画像Ｒ_{θｍ，θｍ⊥}から、上記の決定されたブレ方向におけるＫ個のサンプルされたライン｛ｓ_１，…，ｓ_Ｋ｝の群が抽出される（ステップ３１６）。

各サンプルラインｓ_ｋに関して、

により与えられる自己相関関数ＡＣＦ_ｋにより変位τ＝１…τ_maxに対する自己相関が計算され（ステップ３１８）、ここで、
τ_maxは検出された最大量；
Ｌはラインｓ_ｋの長さ；及び

である。

次いで、全サンプルラインｓ_ｋ（ｘ）に対する平均自己相関ＡＣＦ（バー）が計算される（ステップ３２０）。動きブレ量Ｄ_ｍは、

なる式により、上記平均自己相関において極小を生じる変位として宣言される（ステップ３２２）。

図４は、キャプチャされた画像における動きブレを上記の推定されたブレ方向及びブレ量を用いて低減し、これによりブレ補正された画像を発生するために実行されるステップを示している。ステップ４１０において、キャプチャされた画像に等しい初期推測画像が確定される。次いで、前記の推定されたブレ方向及びブレ量に基づいて動きブレフィルタが作成される（ステップ４１２）。推定されたブレ方向における上記推測画像のエッジ振幅がハイパスフィルタを用いて計算され（ステップ４１４）、後の使用のために、キャプチャ画像のブレ補正を要しない領域においてブレ補正が実行されるのを低減するための誤差重み係数として記憶される。次いで、上記推測画像が上記動きブレフィルタを用いてぶらされ（ステップ４１６）、該ぶらされた推測画像と上記キャプチャ画像との間の差を見付けることにより誤差画像を計算する（ステップ４１８）。次いで、該誤差画像は、上記動きブレフィルタにより畳み込まれると共に、上記誤差重み係数を用いて重み付けされる（ステップ４２０）。これに続いて、上記のぶらされ且つ重み付けられた誤差画像は前記推測画像と合成され、これにより該推測画像を更新する（ステップ４２２）。次いで、ステップ４１４ないし４２２が閾回数だけ実行されたかを判断するためにチェックがなされる（ステップ４２４）。もし実行されていないなら、ステップ４１４ないし４２２が再実行され、再度チェックがなされる。ステップ４１４ないし４２２は、閾回数だけ実行されるまで、反復的に実行される。この場合、最後に更新された推測画像が、出力ブレ補正画像を形成する（ステップ４２６）。

前記ブレ方向に調整された方向性鮮鋭化フィルタを上記出力ブレ補正画像に適用して最終出力を向上させることもできる。

下記の擬似コードは上述した反復処理を示す。動きブレした画像Ｉ(x,y)、ブレ方向θ_ｍ及びブレ量Ｄ_ｍが与えられた場合、ブレ補正された画像Ｏ’(x,y)は下記のように発生される：
もし（Ｄ_ｍがＤ_restoreより大）なら（if (D_m>D_restore）
Ｉ(x,y)をＯ’(x,y)用の初期推測として設定
ｉ＝１〜最大反復に対して（For I = 1 to MAXITERS）
・Ｏ’(x,y)の動き方向θ_ｍのエッジ振幅係数を測定し、結果をＷ(x,y)に記憶
・Ｏ’(x,y)を動きブレフィルタにより方向θ_ｍ及び量Ｄ_ｍで畳み込み、ぶらされた画像Ｂ(x,y)を得る
・Ｂ(x,y)をＩ(x,y)から減算して、誤差画像Ｅ(x,y)を得る
・Ｅ(x,y)を動きブレフィルタにより方向θ_ｍ及び量Ｄ_ｍで畳み込み
・現推測Ｏ’(x,y)を、エッジ振幅係数により加重された誤差画像を用いて更新
Ｏ’(x,y)＝Ｏ’(x,y)＋Ｅ(x,y)×Ｗ(x,y)
ループの終了（End
of For Loop）
角度θ_ｍに調整された方向性鮮鋭化フィルタをＯ(x,y)に適用して、鮮鋭化された出力画像を生成
それ以外の場合（Else）
角度θ_ｍに調整された方向性鮮鋭化フィルタをＩ(x,y)に適用して、鮮鋭化された出力画像Ｉ(x,y)を生成
補正アルゴリズムの終了（End of Correction Algorithm）
上記擬似コードから分かるように、ブレ補正は、ブレ量Ｄ_ｍが閾ブレ量レベルＤ_restoreより大きい場合にのみ、実行される。該閾ブレ量レベルＤ_restoreに割り当てられる値は、ブレ量が目立った差を果たすには小さ過ぎる場合にブレ補正が進行するのを防止するように選択される。反復数はMAXITERS回発生するように設定されることが分かり、ここでMAXITERSは整数である。

理解されるように、キャプチャ画像のブレ補正の間において、推測画像における各々の全てのピクセルを誤差のみに基づいて調整するというよりは、ブレ方向におけるエッジ振幅から決定される、各ピクセルに対して生じるブレの量（amount of blur）が考慮される。

また、ブレ補正の間においてブレ方向も考慮に入れることにより、ブレ方向に対して垂直なエッジには誤差に基づき完全な補正が付与される一方、ブレ方向に平行なエッジは補正されない。ブレ方向に対して中間の角度をなすエッジには、角度が垂直に向かうにつれて補正が漸進的に増加するとして、対応した補正が付与される。当業者であれば理解されるように、ブレ方向に平行なエッジはブレ補正を必要としない。ブレ方向に対して角度をなすエッジは、補正の量が角度の関数となるような補正を必要とする。角度が大きいほど、必要なブレ補正は大きくなる。ブレ方向に基づくような係数を用いてブレ補正に重みを付けることにより、不必要な補正及び過補正が低減される。そのようであるので、当該画像における高コントラストデータの量に依存して、当該画像中の高コントラスト構造で畳み込まれる場合のエラーによるリンギングは低減される。何故なら、補正の量は、推定されたブレ方向に調整されるからである。有利にも、リンギングの低減はブレ補正の作業と相補的である。何故なら、動きの方向に益々平行になるエッジは、益々少ないブレ補正しか必要としないからである。

図７は、オリジナルのぶれていない画像４４０、該画像の水平にぶれたバージョン４４２、並びに２つのブレ補正された画像４４４及び４４６を示す。見られるように、例えば車両番号プレートの上端及び下端のようなオリジナルの画像４４０における水平ラインは、ぶれた画像４４２においてはぶれていない。例えば車両番号プレートの側部のような垂直ラインは、ぶれた画像４４２において最もぶれている。中間の角度のラインは、これらラインが垂直に近づくにつれ、漸進的にぶれるようになる。

ブレ補正された画像４４４はステップ４１４〜４２２の５０反復の結果であり、ブレ補正された画像４４６はステップ４１４〜４２２の４００反復の結果である。理解されるように、各々の場合において、ブレ補正された画像はリンギングの影響を受けていない。

上述した実施例は画像の角度空間を分割するために８個の離散方向を使用したが、より多い又は少ない数の離散方向を選択することもできることが理解されよう。角度空間のより細かい又は粗い離散化に影響する要因は、画像の解像度、当該ブレ補正方法を実行するために使用される装置の計算能力、許容可能な目標ユーザの待ち時間、目標ユーザにとり許容可能な補正の量（解像度）、及び／又は他の要因のユーザ設定パラメータを含む。前記Ｎ個の離散方向に対し偶数値を選択することは、決定されたブレ方向が離散方向の１つに一致することを保証する。しかしながら、Ｎの値は奇数とすることもできる。もっとも、これはブレ方向の決定が、より不正確になる結果となる。

前記ステップ４１４ないし４２２は閾回数だけ実行されるものとして説明したが、斯かる反復処理は、キャプチャ画像とぶらされた推測画像との間の誤差の大きさが、閾レベルより低くなるまで、又は後続の反復において閾量より多く変化しなくなるまで、進行することができる。他の例として、反復の数は他の等しく示す評価規準に基づくものとすることもできる。

また、当業者にとっては、ブレ及びエッジ振幅を測定するために、他の好適なエッジ検出器／ハイパスフィルタを使用することもできることが明らかであろう。

本発明は、パーソナルコンピュータ等の処理ユニットにより実行されるソフトウェアアプリケーションにおいて具現化することができる。該ソフトウェアアプリケーションは、自立型のデジタル画像編集ツールとして動作することができるか、又はデジタル画像編集アプリケーションに対して強化された機能を提供するために、他の利用可能な斯かるデジタル画像編集に組み込むこともできる。

また、本発明は、コンピュータ読み取り可能な媒体上に記憶されたコンピュータ読み取り可能なプログラムコードとして具現化することもできる。上記コンピュータ読み取り可能な媒体は、その後にコンピュータシステムにより読み取ることができるような、データを記憶することが可能な如何なるデータ記憶装置でもあり得る。コンピュータ読み取り可能な媒体の例は、読取専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、磁気テープ及び光データ記憶デバイスを含む。また、上記コンピュータ読み取り可能なプログラムコードは、該コンピュータ読み取り可能なプログラムコードが分散態様で記憶及び実行されるように結合されたコンピュータシステムを含むネットワークを介して配信することもできる。

以上、本発明の実施例を説明したが、当業者であれば、変形及び修正を添付請求項により規定された本発明の趣旨及び範囲から逸脱すること無しに実施することができると理解するであろう。

図１は、キャプチャ画像における動きブレの補正の間に実行される概略ステップを示すフローチャートである。 図２は、ブレ方向推定の間に実行されるステップを示すフローチャートである。 図３は、ブレ量の推定の間に実行されるステップを示すフローチャートである。 図４は、推定されたブレ方向及びブレ量を用いたキャプチャ画像のブレ補正の間において実行されるステップを示すフローチャートである。 図５ａは、画像のｘ方向におけるエッジ応答を決定するために使用されるハイパスフィルタ行列を示す。 図５ｂは、画像のｙ方向におけるエッジ応答を決定するために使用されるハイパスフィルタ行列を示す。 図６ａは、画像の０度と１８０度との間の角度空間の、Ｎ＝８の離散方向に沿う複数の等しい扇形への分割を示す。 図６ｂは、図６ａの離散方向の象限Ｑ_１及びＱ_２への可能性のあるグループ化を示す。 図６ｃは、図６ｂの可能性のある離散方向のグループ化の１つに関する、ブレ方向の決定を示す。 図７は、オリジナルのぶれていない画像、該オリジナル画像のブレたバージョン、及び２つのブレ補正された画像を示す。

Claims (48)

1. 動きブレした画像におけるブレを、該動きブレした画像に基づく動きブレ方向及び動きブレ量の推定を使用して補正する方法において、該方法が、
   前記動きブレした画像に基づいて初期推測画像を発生するステップと、
   前記推測画像を、前記推定されたブレ方向及びブレ量の関数としてぶらすステップと、
   前記ぶらされた推測画像を前記動きブレした画像と比較して、誤差画像を発生するステップと、
   前記誤差画像をぶらし且つ重み付けするステップと、
   前記誤差画像と前記初期推測画像とを組み合わせて、前記推測画像を更新すると共にブレを補正するステップと、
   を有することを特徴とする方法。
2. 請求項１に記載の方法において、前記重み付けが前記ブレ方向の関数であることを特徴とする方法。
3. 請求項２に記載の方法において、前記重み付けが前記推測画像の前記ブレ方向におけるエッジ振幅の推定値であることを特徴とする方法。
4. 請求項３に記載の方法において、前記エッジ振幅がハイパスフィルタを使用して推定されることを特徴とする方法。
5. 請求項２に記載の方法において、前記初期推測画像が前記動きブレした画像であることを特徴とする方法。
6. 請求項５に記載の方法において、前記重み付けが前記推測画像の前記ブレ方向における前記エッジ振幅の推定値であることを特徴とする方法。
7. 請求項２に記載の方法において、前記ぶらすステップ、前記比較するステップ、前記ぶらし且つ重み付けするステップ及び前記組み合わせるステップが反復的に実行されることを特徴とする方法。
8. 請求項７に記載の方法において、前記ぶらすステップ、前記比較するステップ、前記ぶらし且つ重み付けするステップ及び前記組み合わせるステップが、閾回数だけ反復的に実行されることを特徴とする方法。
9. 請求項７に記載の方法において、前記ぶらすステップ、前記比較するステップ、前記ぶらし且つ重み付けするステップ及び前記組み合わせるステップが、前記誤差画像の大きさが閾レベルより低くなるまで反復的に実行されることを特徴とする方法。
10. 請求項７に記載の方法において、前記ぶらすステップ、前記比較するステップ、前記ぶらし且つ重み付けするステップ及び前記組み合わせるステップが、前記誤差画像が連続する反復の間において閾量より多く変化しなくなるまで反復的に実行されることを特徴とする方法。
11. 請求項７に記載の方法において、当該方法を実行する前に前記ブレ量が閾ブレ量レベルと比較され、前記方法は前記動きブレ量が前記閾ブレ量レベルより大きい場合にのみ実行されることを特徴とする方法。
12. 請求項１１に記載の方法において、前記重み付けが前記推測画像の前記ブレ方向におけるエッジ振幅の推定値であることを特徴とする方法。
13. 請求項７に記載の方法において、前記重み付けが前記推測画像の前記ブレ方向におけるエッジ振幅の推定値であることを特徴とする方法。
14. 動きブレした画像におけるブレを補正する方法において、
    前記動きブレした画像におけるブレ方向を、該動きブレした画像を経て延びる一群の離散方向にわたる及び前記離散方向の部分群にわたる前記動きブレした画像のエッジ応答に基づいて推定するステップと、
    前記動きブレした画像におけるブレ量を推定するステップと、
    前記動きブレした画像に基づいて初期推測画像を発生するステップと、
    前記推測画像を、前記推定されたブレ方向及びブレ量の関数としてぶらすステップと、
    前記ぶらされた推測画像を前記動きブレした画像と比較して、誤差画像を発生するステップと、
    前記誤差画像をぶらすステップと、
    前記誤差画像と前記初期推測画像とを組み合わせて、前記推測画像を更新すると共にブレを補正するステップと、
    を有することを特徴とする方法。
15. 請求項１４に記載の方法において、前記一群の離散方向はＮ個の離散方向を含み、前記離散方向は前記動きブレした画像の０度と１８０度との間の角度空間にわたり角度的に隔てられていることを特徴とする方法。
16. 請求項１５に記載の方法において、前記離散方向が等角度的に隔てられ、Ｎが偶数であることを特徴とする方法。
17. 請求項１６に記載の方法において、前記ブレ方向を推定するステップの間に前記離散方向の複数の部分群組合せに対するエッジ応答が決定されると共に前記一群の離散方向にわたる前記エッジ応答と比較され、各部分群組合せは前記一群の離散方向を一対の象限に分割し、これら象限の少なくとも一方における離散方向が連続することを特徴とする方法。
18. 請求項１７に記載の方法において、前記ブレ方向を推定するステップが、
    各部分群組合せに対して、前記一群の離散方向にわたる前記動きブレした画像のエッジ応答と、前記象限の各々における前記離散方向にわたる前記動きブレした画像のエッジ応答との間のずれを決定するステップと、
    最高のずれを生じる部分群組合せに対して、前記一方の象限における前記離散方向にわたるエッジ応答が他方の象限における前記離散方向にわたるエッジ応答以下である場合に、前記一方の象限を二等分する方向を前記ブレ方向と宣言するステップと、
    それ以外の場合に、前記一方の象限を二等分する前記方向に対して垂直な方向を前記ブレ方向と宣言するステップと、
    を更に有することを特徴とする方法。
19. 請求項１４に記載の方法において、前記組み合わせるステップの前に、前記誤差画像に重み付けしてブレ補正を要さない領域においてブレ補正が生じるのを防止するステップを更に有していることを特徴とする方法。
20. 請求項１９に記載の方法において、前記重み付けが前記ブレ方向の関数であることを特徴とする方法。
21. 請求項２０に記載の方法において、前記重み付けが前記推測画像の前記ブレ方向におけるエッジ振幅の推定値であることを特徴とする方法。
22. 請求項２１に記載の方法において、前記エッジ振幅がハイパスフィルタを使用して推定されることを特徴とする方法。
23. 請求項２１に記載の方法において、前記初期推測画像が前記動きブレした画像であることを特徴とする方法。
24. 請求項２１に記載の方法において、前記ぶらすステップ、前記比較するステップ、前記ぶらすステップ、前記重い付けするステップ及び前記組み合わせるステップが反復的に実行されることを特徴とする方法。
25. 請求項２４に記載の方法において、前記ぶらすステップ、前記比較するステップ、前記ぶらすステップ、前記重み付けするステップ及び前記組み合わせるステップが、閾回数だけ反復的に実行されることを特徴とする方法。
26. 請求項２４に記載の方法において、前記ぶらすステップ、前記比較するステップ、前記ぶらすステップ、前記重み付けするステップ及び前記組み合わせるステップが、前記誤差画像の大きさが閾レベルより低くなるまで反復的に実行されることを特徴とする方法。
27. 請求項２４に記載の方法において、前記ぶらすステップ、前記比較するステップ、前記ぶらすステップ、前記重み付けするステップ及び前記組み合わせるステップが、前記誤差画像が連続する反復の間において閾量より多く変化しなくなるまで反復的に実行されることを特徴とする方法。
28. 請求項２４に記載の方法において、前記発生するステップの前に、前記ブレ量が閾ブレ量レベルと比較され、前記発生するステップ、前記ぶらすステップ、前記比較するステップ、前記ぶらすステップ、前記重み付けするステップ及び前記組み合わせるステップは、前記動きブレ量の推定値が前記閾ブレ量レベルより大きい場合にのみ実行されることを特徴とする方法。
29. 請求項２４に記載の方法において、前記一群の離散方向はＮ個の離散方向を含み、前記離散方向は前記動きブレした画像の０度と１８０度との間の角度空間にわたり角度的に隔てられていることを特徴とする方法。
30. 請求項２９に記載の方法において、前記離散方向が等角度的に隔てられ、Ｎが偶数であることを特徴とする方法。
31. 請求項３０に記載の方法において、前記ブレ方向を推定するステップの間に前記離散方向の複数の部分群組合せに対するエッジ応答が決定されると共に前記一群の離散方向にわたる前記エッジ応答と比較され、各部分群組合せは前記一群の離散方向を一対の象限に分割し、これら象限の少なくとも一方における離散方向が連続することを特徴とする方法。
32. 請求項３１に記載の方法において、前記ブレ方向を推定するステップが、
    各部分群組合せに対して、前記一群の離散方向にわたる前記動きブレした画像のエッジ応答と、前記象限の各々における前記離散方向にわたる前記動きブレした画像のエッジ応答との間のずれを決定するステップと、
    最高のずれを生じる部分群組合せに対して、前記一方の象限における前記離散方向にわたるエッジ応答が他方の象限における前記離散方向にわたるエッジ応答以下である場合に、前記一方の象限を二等分する方向を前記ブレ方向と宣言するステップと、
    それ以外の場合に、前記一方の象限を二等分する前記方向に対して垂直な方向を前記ブレ方向と宣言するステップと、
    を更に有することを特徴とする方法。
33. 請求項１９に記載の方法において、前記ブレ量が相関に基づく方法を用いて推定されることを特徴とする方法。
34. 請求項２１に記載の方法において、前記ブレ量が相関に基づく方法を用いて推定されることを特徴とする方法。
35. 請求項３２に記載の方法において、前記ブレ量が相関に基づく方法を用いて推定されることを特徴とする方法。
36. 動きブレした画像におけるブレ方向を推定する方法において、
    前記動きブレした画像を経て延びる一群の離散方向にわたる該動きブレした画像のエッジ応答と、前記群における前記離散方向の可能性のある部分群組合せに対する前記動きブレした画像のエッジ応答との間のずれを決定するステップであって、各部分群組合せが一方の象限が複数の連続した離散方向を有する一対の象限を含むようなステップと、
    最高のずれを生じる部分群組合せに対して、前記一方の象限における前記離散方向にわたるエッジ応答が他方の象限における前記離散方向にわたるエッジ応答以下である場合に、前記一方の象限を二等分する方向を前記ブレ方向と宣言するステップと、
    それ以外の場合に、前記一方の象限を二等分する前記方向に対して垂直な方向を前記ブレ方向と宣言するステップと、
    を有することを特徴とする方法。
37. 請求項３６に記載の方法において、前記一群の離散方向はＮ個の離散方向を含み、前記離散方向は前記動きブレした画像の０度と１８０度との間の角度空間にわたり角度的に隔てられていることを特徴とする方法。
38. 請求項３７に記載の方法において、前記離散方向が等角度的に隔てられ、Ｎが偶数であることを特徴とする方法。
39. 請求項３８に記載の方法において、各部分群組合せに対する前記象限は、
    Ｑ_１＝［θ_ｎ,θ_ｎ＋π／２］及びＱ_２＝［θ_ｎ＋π／２,θ_ｎ＋π］
    なる式により定義され、ここでθ_ｎは離散方向であることを特徴とする方法。
40. 請求項３９に記載の方法において、前記エッジ応答のずれＤＥＶ_ｎは、
    （｜第１象限の平均−全体の平均｜＋｜第２象限の平均−全体の平均｜）／２
    なる式により計算されることを特徴とする方法。
41. 動きブレした画像におけるブレ方向を推定する装置において、
    前記動きブレした画像を経て群を形成する複数の異なる離散方向に沿ったエッジ応答を決定するエッジ検出器と、
    前記群の離散方向にわたる前記動きブレした画像のエッジ応答と、前記群の可能性のある部分群組合せに対する前記動きブレした画像のエッジ応答との間のずれを決定するずれ決定器であって、各部分群組合せが一方の象限が複数の連続した離散方向を有する一対の象限を含むようなずれ決定器と、
    最高のずれを生じる部分群組合せを決定する比較器であって、該決定された部分群組合せに対して、前記一方の象限における前記離散方向にわたるエッジ応答が他方の象限における前記離散方向にわたるエッジ応答以下である場合に前記一方の象限を二等分する方向を前記ブレ方向と宣言し、それ以外の場合には前記一方の象限を二等分する前記方向に対して垂直な方向を前記ブレ方向と宣言するような比較器と、
    を有することを特徴とする装置。
42. 請求項４１に記載の装置において、前記エッジ検出器がソーベルエッジ検出器であることを特徴とする装置。
43. 請求項４２に記載の装置において、前記離散方向の群はＮ個の離散方向を含み、これら離散方向は前記動きブレした画像の０度と１８０との間の角度空間にわたり等角度的に隔てられ、Ｎが偶数であることを特徴とする装置。
44. 請求項４３に記載の装置において、各部分群組合せに対する前記象限は、
    Ｑ_１＝［θ_ｎ,θ_ｎ＋π／２］及びＱ_２＝［θ_ｎ＋π／２,θ_ｎ＋π］
    なる式により定義され、ここでθ_ｎは離散方向であることを特徴とする装置。
45. 請求項４４に記載の装置において、前記ずれ決定器は前記エッジ応答のずれＤＥＶ_ｎを、
    （｜第１象限の平均−全体の平均｜＋｜第２象限の平均−全体の平均｜）／２
    なる式により計算することを特徴とする装置。
46. 動きブレした画像におけるブレを該動きブレした画像に基づく動きブレ方向及び動きブレ量の推定を用いて補正する装置において、
    前記動きブレした画像に基づく初期推測画像を、前記推定されたブレ方向及びブレ量の関数としてぶらす動きブレフィルタと、
    前記ぶらされた推測画像を前記動きブレした画像と比較して誤差画像を発生する比較器であって、前記動きブレフィルタが該誤差画像を更にぶらすと共に該誤差画像に誤差重み係数により重み付けするような比較器と、
    前記誤差画像と前記初期推測画像とを組み合わせて、前記推測画像を更新すると共にブレを補正する加算器と、
    を有することを特徴とする装置。
47. 請求項４６に記載の装置において、前記誤差重み係数を前記ブレ方向の関数として発生するフィルタを更に有していることを特徴とする装置。
48. 請求項４７に記載の装置において、前記フィルタは前記推測画像の前記ブレ方向におけるエッジ振幅を計算して前記誤差重み係数を発生するようなハイパスフィルタであることを特徴とする装置。

Images