JP2009505477A - ディジタル画像安定化のための方法及びシステム - Google Patents

Abstract

本発明は、カメラの不所望な動き成分、即ち平行移動及び回転ジッタなどのジッタを除去するためのディジタル画像安定化の方法及びシステムに関する。本システムは、１）カメラのグローバルな動きを推定する動き推定段（１０）であって、画像の特定の部分に対してブロック動きベクトルを計算し、カメラの動きを表すグローバル動きパラメータを取り出す動き推定段と、２）平行移動ベクトル及び回転角を個別にフィルタリングし、補正が許容される閾値を超えていないかを確かめるための境界チェックを行う動き／ジッタフィルタリング段（１１）と、３）抽出したジッタに従って元の画像シーケンスを補償し、安定化した画像シーケンスを得るジッタ補償段（１２）とを備える。

Description

本発明は、カメラによって生成された元の画像シーケンスから、ジッタと称する、平行移動及び／又は回転における不所望なカメラの動き成分を除去して安定化した画像シーケンスを得るためのディジタル画像安定化方法に関する。このような方法は、例えば、ディジタルのローエンド／ミドルエンドの動画カメラ又は携帯電話などのシステムに用いることができる。本発明は、前記安定化方法を行う対応するシステムにも関する。

周知のように、ディジタル画像安定化方法（以下、簡素化のために、ディジタル画像安定化方法を“ＤＩＳ”と称する）の目標は、不所望なカメラの動き成分、即ちジッタを除去することにあり、これにより、必要なカメラの動き成分だけを表示する画像シーケンスを生成して、より快い見応えを提供することにある。ジッタとは、特に平行移動及び／又は回転などの、カメラの意図的な動き成分に加えられる、全ての不所望な変位成分の画像として規定する。従来のほとんどのＤＩＳシステムでは、動きの推定は、“グローバル動きベクトル”（以下、“ＧＭＶ”）と称される単一ベクトルによって表される画像フレームのグローバルな動き成分を得るために、２つの連続したフレーム（それぞれ時間ｔ及びｔ−１で）の間で実行される。従って、この動き成分は、連続したフレーム間の平行移動の動き成分だけを表すものであるため、適用されるジッタ補正は、平行移動のジッタを補正するだけである。

このような補正は、十分ではない。実際の問題として、ジッタは、回転の原理によるもの、即ち純粋に回転のジッタ成分か、又は回転と平行移動との混合されたジッタ成分の、いずれかとなることがよくなる。実際に、一旦、平行移動のジッタを除去すると、残りの回転成分が一層目立つようになる。

更に、回転及び平行移動の双方の補正をサポートする、ほとんどの従来技術のシステムは、複雑化しており、且つ高価である。このような方法の一例として、特に、“Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｃｏｎｆｅｒｅｎｃｅ Ｖｉｓｉｏｎ Ｉｎｔｅｒｆａｃｅ，１９９９”に発刊された、Ｍｃ Ｒｅｙｎｏｌｄｓ他による“Ｓｔａｂｉｌａｚａｔｉｏｎ ｏｆ ｉｎｆｒａ‐ｒｅｄ ａｅｒｉａｌ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ ｕｓｉｎｇ ｒｏｂｕｓｔ ｅｓｔｉｍａｔｉｏｎ”を引用することができる。

従って、本発明の目的は、ローコスト、且つ携帯機器で実現させることが容易な、平行移動及び回転の双方のジッタを除去する方法を提供することにある。

従って、本発明による方法は、３つの主要なステップとして、
動画用のカメラのグローバルな動きを推定する第１のステップであって、画像（Ｉｍｇ）の予め定めた部分に対してブロック動きベクトルを計算するサブステップと、該部分の各々に対してマクロブロックを決定するステップと、現行の画像の前記マクロブロックと前の画像のマクロブロックとのマッチングを行うサブステップと、前記ブロック動きベクトルから、前記カメラの動きを表す平行移動ベクトル及び回転角ベクトルを取り出すサブステップとを含む、第１のステップと、
意図的な動き成分と意図的でない動き成分とを分離することにより、前記ジッタをフィルタリングし、且つ抽出する第２のステップであって、平行移動ベクトルのフィルタリング及び回転角のフィルタリングを行うサブステップを含む、第２のステップと、
前記抽出したジッタに従って前記元の画像シーケンスを補償し、安定化した画像シーケンスを得る、ジッタ補償の第３のステップとを含む。

本発明による方法は、ローコストで、平行移動及び回転のジッタを検出して除去する。更に、本方法は、実現するのが容易である。

本方法における幾つかの基本的なステップは、そのようなものとして知られている。それらの基本的なステップは、刊行物、特許文献又は特許出願公報で開示されている。例えば２値の動き推定の使用法は、“ＩＥＥＥｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ”， ｖｏｌ．４５， ｎｏ３， ｐｐ．５９８‐６０３， １９９９年８月に発行された、Ｓ‐Ｊ Ｋｏ 他による“Ｆａｓｔ Ｄｉｇｉｔａｌ Ｓｔａｂｉｌｉｚｅｒ Ｂａｓｅｄ ｏｎ Ｇｒａｙ‐Ｃｏｄｅｄ Ｂｉｔ‐Ｐｌａｎｅ Ｍａｔｃｈｉｎｇ”に開示されている。ブロック動きベクトルで適用される最小二乗平均法の使用法は、スタンフォード大学、ＵＳＡ，“ＥＥ３９２Ｊ Ｐｒｏｊｅｃｔ Ｒｅｐｏｒｔ， Ｗｉｎｔｅｒ， ｆｉｌｔｅｒｉｎｇ ｍｅｔｈｏｄ”のＣｈｅｎによる“Ｖｉｄｅｏ Ｓｔａｂｉｌａｚａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ Ｕｓｉｎｇ ａ Ｂｌｏｃｋ‐ｂａｓｅｄ Ｐａｒａｍｅｔｒｉｃ Ｍｏｔｉｏｎ Ｍｏｄｅｌ”に開示されている。平行移動のジッタに対するフィルタリング方法は、タイトル“Ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｓｔａｂｉｌｉｚｉｎｇ ｖｉｄｅｏ ｄａｔａ”の国際特許出願（Ｓｔｅｐｈａｎｅ Ａｕｂｅｒｇｅｒ他）にて教示される。また、同様の方法は、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｉｍａｇｅ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ａｎａｌｙｓｙｓ ２００１， ｐｐ． ２６６−２７１にて発行されたＳ．Ｅｒｔｕｒｋによる論文、“Ｉｍａｇｅ ｓｅｑｕｅｎｃｅ ａｓｔａｂｉｌｉｓａｔｉｏｎ：Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｉｎｔｅｇｒａｔｉｏｎ （ＭＶＩ） ｖｅｒｓｕｓ ｆｒａｍｅ ｐｏｓｉｔｉｏｎ ｓｍｏｏｔｈｉｎｇ （ＦＰＳ）”に記載されている。

しかしながら、本発明による方法は、特に、以下のような特定のステップと特徴要素、即ち
ブロック動き検出を行うために２値テクスチャのインジケータを使用し、
“絶対差分値の合計”（“ＳＡＤ”）の閾値メカニズムを用いることにより、動き検出の能率を高め、且つ改善し、
連立方程式を解く前に、完全にＢＭＶの枝刈りを行い、
排除基準を連立方程式の解に適用し、
（回転＋平行移動）のフィルタリングを施し、境界チェックを行うステップを含む。

状況によって、そのようなものとして本発明による安定化方法を適用することができない。例えば、本方法は、いわゆる“ＣＩＦフォーマット”を示すデータシーケンスなどのフォーマットを安定させるというメモリ要件を処理することができるが、あまりに処理が多い故に処理を実行することができずにデバイスにデータが向かう場合や、バッテリーレベルが低過ぎる故に処理を実行することができない場合には、本方法を使用し続けるように適合させなければならない。

更なる例によれば、このような場合に、次に、第１の補助ステップの間、オリジナルのデータシーケンスを、予め定めた係数ｋによって第１のダウンサンプリングを行う。次に、ダウンサンプリングしたデータシーケンスを、補正した平行移動ベクトル及び補正した回転角をもたらす本発明の主要な例による安定化方法の処理を実行する回路に供給する。補正した平行移動ベクトルの座標だけを、ダウンサンプリングしたステップの間に用いたものと同じ係数で定数倍する。これにより、オリジナルのワイドフォーマットのデータシーケンスを補償する。

この更なる例によれば、本安定化方法を実現する回路によって、少なめのデータ量を処理するようにする。これは、コンピュータリソースが低い場合でさえ、本方法を処理可能にする。

また、本発明は、この安定化方法を行うのを許容するシステムに関する。

従って、本システムは、
動画用のカメラのグローバルな動きを推定する動き推定手段であって、画像（Ｉｍｇ）の予め定めた部分に対してブロック動きベクトルを計算する手段と、該部分の各々に対してマクロブロックを決定する手段と、現行の画像の前記マクロブロックと前の画像のマクロブロックとのマッチングを行う手段と、前記ブロック動きベクトルから、前記カメラの動きを表す平行移動ベクトル及び回転角ベクトルを取り出す手段とを有する、動き推定手段と、
意図的な動き成分と意図的でない動き成分とを分離することにより、前記ジッタをフィルタリングし、且つ抽出するフィルタリング手段であって、平行移動ベクトルのフィルタリング及び回転角のフィルタリングを行う手段を有する、フィルタリング手段と、
前記抽出したジッタに従って前記元の画像シーケンスを補償し、安定化した画像シーケンスを得る、ジッタ補償手段とを備える。

本発明の追加の目的、特徴、及び利点は、図面を参照して以下の詳細な説明で明らかになる。

以下の説明では、当業者に周知の機能又は構成の詳しい説明は省略する。不必要な説明は、本発明の理解をあいまいにしうるためである。

図１に、本発明によるディジタル画像安定化（ＤＩＳ）の方法を実現するシステム１のアーキテクチャを図解的に示す。このようなシステムは、本方法の３つの主要な処理段に対応する３つの主要なブロック、即ち、動きの推定段１０、動き／ジッタフィルタリング段１１及びジッタ補償段１２を備える。

第１のブロック１０で、カメラのグローバルな動きの推定を行う。第２のブロック１１で、ジッタは、意図的な動き（パンニングなど）からジッタを抽出して分離する。第３のブロック１２で、元のデータシーケンスを、抽出したジッタに従って補償し、その結果（ブロック１２の出力）が安定化した画像シーケンスとなる。以下、本発明によるＤＩＳ方法におけるこれら３つの主要な処理段を、詳細に説明する。

第１の段１０、即ち動き推定部は、３つのサブ段にサブ分割することができる。
− カメラによって供給された画像の特定の部分（隅，領域など）のための、いわゆる“ブロック動きベクトル”（以下、“ＢＭＶ”）の計算及び生成。前記ＢＭＶは、現行の画像と前の画像との間でマクロブロックのマッチングを行う。
− アフィン的動きの検出のためのＢＭＶの枝刈り。
− ＢＭＶから取り出される、カメラの動きを表すグローバルな動きパラメータ（平行移動ベクトル及び回転角）を得るために、連立方程式を解くこと、及び排除基準を決定すること。

ＢＭＶ生成の第１のサブ段は、以下のステップを含む。

第１のステップは、２値画像の生成に関する。

“１ビット画像”が動き推定に用いられる。これは、メモリの制約条件をかなり低くし、更に、参照ブロックと探索ブロックとの間の歪み関数を極めて効果的に計算することができるためである。歪み関数、即ち“絶対差分値の合計”（以下、“ＳＡＤ”）は、容易に実現することができる“ＸＯＲ”演算を用いることによって計算する。画像の“グレイコード化ビットプレーン”分解が用いられる。グレイコード化ビットプレーンは、以下のように作成する。

或る画素位置の輝度は、次式のように表すことができる。

Ｆ_ｌｕｍ（ｘ，ｙ）＝ａ_Ｎ−１２^Ｎ−１＋ａ_Ｎ−２２^Ｎ−２＋．．．
＋ａ_ｋ２^ｋ＋．．．＋ａ_１２^１＋ａ_０２^０ （１）

ここに、ｘ及びｙは、前記プレーンの座標であり、ａ_ｋ（０≦ｋ≦Ｎ−１）は、０か、又は１のいずれかである。例えば、この場合、例を挙げるとすると、８ビットの輝度の画像として、Ｎ＝８を用いることにする。

４番目のビットのグレイコードｇ_４は、以下の式から計算する。

ここに、シンボル

は、“排他的論理和”演算を表し、ａ_ｋは、式（１）で与えられる“２進”表現のｋ番目のビットである。カメラによって生成された元の画像に対応する４番目のグレイコード化ビットプレーンの画像、即ち２値画像は、メモリ手段に記録される。

第２のステップは、ブロック位置、及びテクスチャのインジケータに関する。例えば、図２に示すように、風景を表す２値画像“Ｉｍｇ”を、画像の上下において、それぞれ２つの平行なラインに従って規則的に分配された、６つの領域Ａ１〜Ａ６に分割する。各領域Ａ１〜Ａ６は、１６×１６ピクセル（ＱＣＩＦフォーマットの画像として知られる画像のフォーマットの場合）の９個のマクロブロック（以下、“ＭＢ”）を含む。

８ビット画像の２値化と共に、１ビット画像の各々の２値ＭＢに対して信頼度を計算する。前記信頼度は、単に１６＊１６画素のブロックの‘１’の画素値の数をカウントすることによって行う。あまりに低くテクスチャされたＭＢ、即ち‘０’の数と比較した‘１’の数の比が、あまりに多いか、又はあまりに少ないときは、信頼できないとしてラベルし、これらの信頼できないブロックで動き推定を行わないようにする。例えば、幾つかのブロックが、極めて同種の輝度であると、これらのブロックは、動きベクトルの誤った推定に通じることが多々あるためである。

第３のステップは、ブロックマッチングの探索ストラテジに関する。前記探索ストラテジは、以下のサブステップを含む。

可変数のブロック動きベクトル（ＢＭＶ）が存在する領域で、完全なブロックマッチング探索を行う。

予測範囲及び探索範囲：各領域の候補ベクトルの数を更に簡素化するために、各ＭＢラインにおける最初のマクロブロックの動きベクトルのみを拡張した範囲で探索する。残りのマクロブロックに対しては、当該信頼できるＢＭＶから取られた予測の動きベクトルを中心とする周囲の、低減した探索ウィンドウで探索する。選定した隣接のＭＶが信頼できないものである場合、（左から右，上から下の処理順で与えられる）最後の有効なＭＶを、予測値として用いる。

多分に信頼できないＭＶの排除：本発明の重要な特徴要素によれば、幾つかの多分に信頼できない動きベクトルを排除するメカニズムが加えられている。特に、軽い変化の場合には、動き検出は、或る結果を生成するが、この結果を、完全に誤ったものとすることができる。即ち、マッチングしたブロックは、極めて異なっているのに、その結果として生じるベクトルは、“最も類似したブロック”よりも、“ほとんど異なっていないブロック”に多く指示することがある。従って、或る閾値（以後、ＳＡＤ＿ｔｈｒｅｓｈｏｌｄと称する）を超えるＭＶを排除するように、ＳＡＤを選定する。

ブロックマッチング探索の高速化：この閾値は、動き検出の高速化に用いることもできる。前述では、以下のメカニズムを用いた。即ち、各ＭＢ探索位置に対して、現行のＳＡＤを、ＭＢにおける２つのライン毎に現行の最小のＳＡＤと比較した。比較した結果、既に閾値ＳＡＤ＿ｔｈｒｅｓｈｏｌｄを超える場合には、この位置の探索を停止した。従って、現行の最小のＳＡＤを、ＳＡＤ＿ｔｈｒｅｓｈｏｌｄに初期化することによって、更にマッチング処理を高速化することができる。

第４のステップは、サブ画素の動き推定に関する。

サブ画素の探索を行う１つの方法は、８ビットの画像を補間して、サブ画素のサンプルを作成し、２値化処理を、この拡張した画像に適用することである。次に、２値の拡張した画像のマッチングは、サブ画素精度の動きベクトルをもたらす。

第１の段１０における第２のサブ段は、アフィン的動きの検出を行うためにＢＭＶの枝刈りを行う。

前述のステップから、現行の画像と前の画像との間の１組の対応点である１組のＢＭＶが得られている。グローバルなアフィン動きパラメータを得るために、この連立方程式を解く。２つのフレーム間に３対を越える対応点がある状態であれば、グローバルなアフィン動きパラメータを与える方程式の最小２乗法の解を得ることができる。信頼できる結果を得るために、極めて多くのベクトルを用いることにより（５４個のベクトルまで）、過剰決定の方程式体系を作成する。

しかしながら、最小２乗アルゴリズムは、アウトライアに対して極めて敏感であり、これらを適切に除去するのは、動きの推定処理における重要なステップである。これは、以下の３つのステップで行う。

１． これらのＳＡＤに基づくＢＭＶの更なる除去：或る閾値（以下ＳＡＤ＿ｔｈｒｅｓｈｏｌｄ＿ｌｏｗ）を超えるＳＡＤのブロック動きベクトルを排除する（この閾値は、当然に、前に“動き検出”で用いたものよりも低い）。

２． 局所的なアウトライアの除去： まず、各領域に対して、アウトライアを局所的に除去する。６つの領域があり、領域あたり、９個までのベクトルがある。

ここで、例えば、ｘ座標として、ブロック動きベクトルの１つの座標のための処理を説明する。各領域における各ブロック動きベクトルｋ（０≦ｋ≦有効なブロック動きベクトルの数（ｎｕｍｂｅｒ＿ｏｆ＿ｖａｌｉｄ＿ｖｅｃｔｏｒｓ）とする）に対して、このｋのブロック動きベクトルから、各領域における他の全てのブロック動きベクトル（ｉ）までの、絶対差分値の合計ｓｕｍ＿ｄｉｆｆ［ｋ］を次式により計算する。

ｓｕｍ＿ｄｉｆｆ［ｋ］＝Σ_ｉａｂｓ（値［ｋ］−値［ｉ］） （２）

次に、以下の計算を行う。

ａｖｅｒａｇｅ＿ｄｉｆｆ
＝（Σ_ｋｓｕｍ＿ｄｉｆｆ［ｋ］）
／ｎｕｍｂｅｒ＿ｏｆ＿ｖａｌｉｄ＿ｖｅｃｔｏｒｓ （２ｂｉｓ）

ここで、ａｖｅｒａｇｅ＿ｄｉｆｆは、各領域における絶対差分値の合計の平均値である。

最終的に、排除基準ｓｕｍ＿ｄｉｆｆ＿［ｋ］は、以下のようになる。

ｓｕｍ＿ｄｉｆｆ＿［ｋ］＞（ｎｕｍｂｅｒ＿ｏｆ＿ｖａｌｉｄ＿ｖｅｃｔｏｒｓ／α）
＋β＊ａｖｅｒａｇｅ＿ｄｉｆｆ （２ｔｅｒ）

ここで、α及びβは、予め定めた閾値である。

この計算は、ｘ及びｙのベクトル値と無関係に行う。或るブロック動きベクトルのベクトル座標のいずれかが、式（２ｔｅｒ）で真であると検証した場合、該ブロック動きベクトルを排除する。

３． グローバルなアウトライアの除去：全ての動きベクトルを用いて画像レベルで行うアウトライアの除去処理は、局所的なアウトライアの除去処理と同一原理の処理を用いる。局所的なアウトライアの除去ステップは必要である。なぜなら、幾つかのベクトルがグローバルなアウトライアの除去ステップでクラスタを作成することになるため、可能であれば、最初の局所的な除去ステップでアウトライアは除去されるはずだからである。グローバルなアウトライアの排除は、最初のフェーズの後にまだ残っているアウトライアを除去することができる。なぜなら、領域は、極めて少数のベクトルを有するか、又はグローバルな動きを上手く除去処理しなかった動きあるオブジェクトを含んでいるためである。閾値α及びβは制限されるものではないが、例えば、高い回転の動きの場合には、あまりに多くのベクトルの排除を避けるように設定する。

第１の段１０における第３のサブ段は、連立方程式を解くことと、排除基準を決定することに関する。

過剰決定した系を解決する（第１段階の連立方程式は、ガウス・ジョーダン（Ｇａｕｓｓ‐Ｊｏｒｄａｎ）法により解決する）。その連立方程式は、以下の通りである。

Ｘ＝ａｘ＋ｂｙ＋ｅ
Ｙ＝ｃｘ＋ｄｙ＋ｆ

ここに、ｘ及びｙは、前記２値画像の座標である。

最小２乗法の解は、６つのパラメータａ，ｂ，ｃ，ｄ，及びｆを与える。連立方程式の変換を、平行移動（平行移動ベクトル（Ｔｘ，Ｔｙ））＋回転（回転角θ）＋カメラのズーム（拡大縮小率ｒ）としてモデル化すると、これらの式は、以下の式に対応する。

Ｘ＝ｒ・ｃｏｓθ・ｘ−ｒ・ｓｉｎθ・ｙ＋Ｔｘ
Ｙ＝ｒ・ｓｉｎθ・ｘ＋ｒ・ｃｏｓθ・ｙ＋Ｔｙ

従って、連立方程式の解で与えられたパラメータａ，ｂ，ｃ，及びｄの無矛盾性をチェックしながら、回転角θを計算するようにする。

まず、ａ^２＋ｂ^２＝ｃ^２＋ｄ^２（双方は、ｒ^２に等しくなる）を近似的に満足するか否かを判断する第１のチェックを行う。

このチェックは、
（ａ^２＋ｂ^２）−（ｃ^２＋ｄ^２）＞ｍａｘ＿ｄｉｆｆ＿ｚｏｏｍ＿ｆａｃｔｏｒ （３）
を満たす結果を排除することにより行う。

ここに、ｍａｘ＿ｄｉｆｆ＿ｚｏｏｍ＿ｆａｃｔｏｒは、予め定めたズームパラメータである。

次に、２つの連立方程式が同一の回転角を近似的に生成するか否かを判断する第２のチェックを行う。このチェックは、
｜θ_１−θ_２｜＞ｍａｘ＿ａｎｇｌｅ＿ｄｉｆｆｅｒｅｎｃｅ （４）
を満たす時の結果を排除することにより行う。

ここに、ｍａｘ＿ａｎｇｌｅ＿ｄｉｆｆｅｒｅｎｃｅは、予め定めた回転角パラメータであり、θ_１＝ａｒｃｔａｎ（−ｂ／ａ）及びθ_２＝ａｒｃｔａｎ（ｃ／ｄ）である。

また、更なる予め定めた回転角パラメータ、即ちｍｅｄｉｕｍ＿ａｎｇｌｅ＿ｄｉｆｆｅｒｅｎｃｅが、次式を満たす場合、

ｍｅｄｉｕｍ＿ａｎｇｌｅ＿ｄｉｆｆｅｒｅｎｃｅ＜｜θ_１−θ_２｜
＜ｍａｘ＿ａｎｇｌｅ＿ｄｉｆｆｅｒｅｎｃｅ （４ｂｉｓ）

見つかった最小の回転角を、θの値として選定する。

この結果を、無矛盾性のものであると判断する場合に、平行移動ベクトル（Ｔｘ＝ｃ，Ｔｘ＝ｆ）、及び、次式で与えられる回転角θの双方を得ることができる。

θ＝（θ_１＋θ_２）／２

式（３）又は式（４）のいずれかが真となる故に、連立方程式を解くことができない場合、回転角を０にする。平行移動ベクトルに対しては、（アウトライナ除去処理の後に）ＢＭＶの中間値にする。

本発明によるＤＩＳ方法の第２の段１１は、動きフィルタリングを含む。

平行移動ベクトル及び回転角は、別々にフィルタリングする。一旦、平行移動及び回転における理想的な補正量を見つかれば、境界チェックを実行する。従って、前記第２の段１１は、３つの主要なステップを含む。

第１のステップは、平行移動をフィルタリングすることを含む。シーケンスの流れにわたって矛盾無く意図的な動き成分をジッタから分離するのは、難解な問題である。リアルタイムのアプリケーションにとって、主要な拘束条件は、如何なる遅れも許容されないということであり、このような遅延は、幾つかのフレームをメモリ手段に格納することができず、且つ動き成分が著しく目立つことを意味している。平行移動ベクトルのためのフィルタリング方法は、既に思い出されるように、そのようなものとして知られている。従って、このような方法についての更なる詳細な説明を省略する。

第２のステップは、回転角ベクトルをフィルタリングすることを含む。回転角の変化は、平行移動ベクトルの変化ほど不規則ではないと予想されるので、種々の簡単な方法で、回転角をフィルタリングする。動き推定で与えられる角度は、カメラによって供給された画像シーケンスにわたって累積する。本処理は、これらの各角度を補償しようとするものである。この累積角度は、次式のように、例えばフレーム数ｎの完全な画像シーケンスにわたって、全ての回転角を合計することによって計算する。

（Ａｃｃθ）［ｎ］＝Σ_{（１≦ｋ≦ｎ）}θ［ｋ］

オリジナルを累積した角度は、（動き推定処理で与えられる）オリジナルの回転角の合計として規定する。補正される累積角度は、（後述するように、境界チェックのステップの故のクリッピングの後に）補正される累積角度の合計として規定する。

通常、ユーザが自発的にカメラをチルトするように決めているのであれば、境界チェックのステップの故に、全回転角を補償することは、不可能であるか、又は望ましくない。初期位置に戻るときに、（補正される累積角度に対応する）新たな角度“修正”位置は、オリジナルの画像シーケンスと比較して、わずかにチルトされうる。これを避けるため、動き推定で測定したオリジナルの累積角度をメモリ手段に格納し、保持するようにする。所定数の連続したフレームに対して、補正される累積角度がオリジナルの累積角度とあまりに異なる場合には、補正済み画像シーケンスをユーザが所望する角度に近い位置に持ってくるように追加の補正を加えるようにする。

第３のステップは、境界チェックを含む。“境界チェックのステップ”の間、“回転＋平行移動の補正値”（以下、“Ｒ＋Ｔ”）をチェックして、画像にて認められる追加の入力領域に対応する予め定めた許容範囲の閾値を、前記補正値が超えていないかを判断する。越えていなければ、許容範囲内（例えば、例を挙げるとすると、±８画素の境界）に留まるように“Ｒ＋Ｔ”を更に補正する。即ち、まず、（実際の領域よりわずかに小さく計算した追加の領域により）平行移動の補正を行って該境界を強調させ、次に、回転角を画像の許容される追加の境界内で留まるようにクリップさせる。

以下、その詳細な処理を、図３Ａ〜図３Ｃを参照して説明する。図面において、一致するアイテムには同一の参照番号を付すことにより識別することができる。

まず、画像フレームＦ（以下、“フレーム”）は、平行移動ベクトルＶＴ（Ｖｘ，Ｖｙ）の平行移動があるとする（フレームの中心がＯからＯ’に向かう）。新たな中心Ｏ’の位置が与えられ、フレームＦを、計算しなければならない所定の角度までの回転のみ行うようにする（フレームＦ’＝回転したフレーム）。図３Ａは、最終のフレーム作成処理を示す図であり、例えばカメラのデータキャプチャ部（図示せず）は、追加の入力領域Ａｉ（グレイ領域：ｌに等しい境界サイズ）を有するフレームＦを生成する。図示するように、安定化したフレームＦ’を作成するのに回転角が大きすぎる場合には、回転したフレームにホール（黒い領域）を持つはずである。フレームＦの内側の長方形ＡＢＣＤは、ユーザに示される画像として境界を定めるようにする（即ち、最大許容範囲の境界ＭＡＢ）。

ここで、境界チェックのステップが、クロップした画像の４隅のうちの１つの隅（例えば、左上隅Ａ）を如何にして考慮するかについて説明するが、本処理は、他の隅に対しても同一であり、各隅に対して繰り返す必要がある。本目標は、回転した画像境界がポイントＡを交差する限界角度を、境界サイズｌを考慮して計算することにある。

時計回りか、又は反時計回りで処理して、考えられる隅ごとの可能な２つの限界角度がある。任意の角度を、これら２つの限界角度間に含めるようにして、ホールの創出には通じないようにする（隅Ａを考慮した場合であり、これは、再び残りの隅に対してもチェックしなければならない）。

図３Ｂは、第１の限界角度θ_１Ａが、ポイントＡ付近にホールを生成することなく、次式に従って如何にして計算されるかを示す図である（第１のケース）。

θ_１Ａ＝α_１Ａ−ＡｒｃＣｏｓ（（Ｏ’Ｍ）／Ｌ_Ａ）

ここで、α_１Ａ＝ＡｒｃＣｏｓ（（ｎｌ／２−１＋Ｖｙ））／Ｌ_Ａ）であり、Ｌ_Ａは、置き換えられた中心Ｏ’と隅Ａとの間の距離であり（フレームサイズ、境界サイズｌ及び平行移動ＶＴから容易に計算することができる）、Ｖｙは、ベクトルＶＴのｙ値であり、Ｏ’Ｍ＝ｎｌ／２である（ｎｐ及びｎｌは、それぞれデータキャプチャしたフレームＦの幅及び高さである。）。

同様に、図３Ｃは、他の限界角度θ_２Ａが、ポイントＡ付近にホールを生成することなく、如何にして計算されるかを示す図である（第２のケース）。

θ_２Ａ＝α_２Ａ−ＡｒｃＣｏｓ（（Ｏ’Ｎ）／Ｌ_Ａ）

ここで、α_２Ａ＝ＡｒｃＣｏｓ（（ｎｐ／２−１＋Ｖｘ））／Ｌ_Ａ）であり、Ｖｘは、ベクトルＶＴのｘ値であり、Ｏ’Ｎ＝ｎｐ／２である。従って、４つの隅Ａ，Ｂ，Ｃ及びＤの処理を経て、８つの角度を得る。正の角度の最小値と、負の角度の最大値とを計算する。必要であれば、動き推定によって与えられる回転角度を、これらの２つの最終的な角度の一方に、クリップさせる。

本発明によるＤＩＳ方法の第３の最後の段１２は、ジッタ補償を含み、平行移動ベクトル及び回転角から画像の左上及び右上の点の変位量を取り出し、これらの座標を残りの平行移動及び回転を補償することが可能なレンダリングエンジン（図示せず）に供給する。このようなレンダリングエンジンは、そのようなものとして周知であり、例えば“Ｊｏｕｒｎａｌ ｏｆ ＶＬＳＩ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ３３”，２００３，第２５５‐２６５頁に発行されたＱｕｙｎｈ‐Ｌｉｅｎ Ｎｇｕｙｅｎ‐Ｐｈｕｃ ａｎｄ Ｃａｒｏｌｉｎａ Ｍｉｒｏ Ｓｏｒｏｌｌａによる“ＡＮ ＭＰＥＧ‐４ Ｒｅｎｄｅｒｅｒ ｆｏｒ Ｈｉｇｈ Ｑｕａｌｉｔｙ Ｖｉｄｅｏ Ｃｏｍｐｏｓｉｔｉｏｎ ａｎｄ Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ”に開示されている。従って、その回路の説明は省略する。

しかしながら、既に思い出されるように、状況によって、そのようなものとして本発明による安定化方法を適用することができないことが起こりうる。例えば、本方法が、メモリを扱うことができる場合に、いわゆる“ＣＩＦフォーマット”シーケンスなどのフォーマットを安定させる必要があるが、あまりに処理が多い故に処理を実行することができずにデバイスにデータが向かう場合や、バッテリーレベルが低過ぎる故に処理を実行することができない場合である。

図４は、本発明によるディジタル画像安定化の更なる実施例２を図解的に示す図である。

例えばＣＩＦフォーマット、又はＶＧＡフォーマットなどの、“オリジナルワイドフォーマット”と称する入力シーケンス２０は、ダウンサンプリング回路２１に供給される。このようなダウンサンプリングするステップを行うために、周知のバイリニア補間器を用いることができる。予め定めたダウンサンプリング係数ｋは、レジスタ２６などに格納され、回路２１に供給される。結果として、（ＱＣＩＦフォーマットについての）“オリジナルスモールフォーマットのシーケンス”が得られ（２２）、図１に示す回路に供給され、即ち、システム１は、本発明による主要な実施例による安定化方法を実現する。

前記回路は、上述した方法による補正ベクトル及び補正角度を提供し、即ち安定化したスモールフォーマットのシーケンス２３ を、アップサンプリング回路２４に供給し、この回路は、ダウンサンプリング処理（回路２１）の間に用いられたものと同じ係数ｋによって、補正ベクトルの座標を定数倍する。この結果、何らかの更なる使用のために、安定化したワイドフォーマットのシーケンス２５を得ることができる。

従って、本実施例は、安定化システムがメモリのニーズ、及び電力消費量の点でスケーラブルにすることを許容することができる。

既に思い出されるように、本安定化方法が、例えばＣＩＦフォーマットのシーケンスを安定化させるためのメモリニーズを処理することができるが、あまりに処理が多い故に処理を実行することができずにデバイスにデータが向かう場合や、バッテリーレベルが低過ぎる故に処理を実行することができない場合に、その画像シーケンスをダウンサンプリングする処理に自動的に切り替え、より少ないコンピュータの集中アルゴリズムを用いることができる。実際の問題として、このようなアルゴリズムは、より少ないデータ量を処理する。

前述した説明の中で、本発明が目標を十分に実現することができるのは明らかである。 本方法は、多くの利益をもたらし、そこでは、簡単な実装を維持しながら、極めてローコストで、信頼できるソリューションを可能にする。

本発明によるＤＩＳ方法は、特にローエンド／ミドルエンドのディジタルビデオカメラに適用時に好適であるが、携帯電話又はキーリングにて構築することもでき、回転ジッタを補正するローコストのビデオ安定化アプリケーションを提供することもできる。また、回転を補償したシーケンスは、符号化される残差を著しく最小化するので、ビデオ符号化目的にも有用であり、エンドユーザに提供する結果としての画像品質を改善することもできる。

本発明は前述の実施例及び明示した変形例に限定されるものではなく、本発明の趣旨及び範囲から逸脱することなく変更することができることは明らかである。特に、ハードウェア又はソフトウェア、或いはその双方のアイテムによって、本発明による方法の機能を実施する多数の方法があり、ハードウェア又はソフトウェアの１つの項目が幾つかの機能を行うこともできる。ハードウェア又はソフトウェア、或いはその双方の組み合わせが機能を行うようにすることを除外するものではなく、本発明によるＤＩＳ方法を変更することなく、単一機能を形成することもできる。前記ハードウェア又はソフトウェアのアイテムは、有線の電子回路によるか、又は適切にプログラムした集積回路などによって、それぞれ幾つかの態様で実現することもできる。

本発明の好適な実施例によるディジタル画像安定化の方法を実現するシステムのアーキテクチャを図解的に示す図である。 ２値画像に適用される６つの動きの検出領域の一例を示す図である。 画像の境界チェックのステップを示す図である。 画像の境界チェックのステップを示す図である。 画像の境界チェックのステップを示す図である。 本発明の別の実施例によるディジタル画像安定化の方法を実現するシステムのアーキテクチャを図解的に示す図である。

Claims (17)

1. カメラによって生成された元の画像シーケンスから、平行移動及び／又は回転における、いわゆるジッタと称する不所望なカメラの動き成分を除去して、安定化した画像シーケンスを得るディジタル画像安定化方法において、
   動画用の前記カメラのグローバルな動きを推定する第１のステップであって、画像の予め定めた部分に対してブロック動きベクトルを計算するサブステップと、前記部分の各々に対してマクロブロックを決定し、現在の画像のマクロブロックと前の画像のマクロブロックとをマッチングするサブステップと、前記ブロック動きベクトルから、前記カメラの動きを表す平行移動ベクトル及び回転角ベクトルを取り出すサブステップとを含む第１のステップと、
   意図的な動き成分と意図的でない動き成分とを分離することにより、前記ジッタをフィルタリングし、且つ抽出する第２のステップであって、平行移動ベクトル及び回転角をフィルタリングするサブステップを含む、第２のステップと、
   ジッタ補償する第３のステップであって、前記抽出したジッタに従って前記元の画像シーケンスを補償し、前記安定化した画像シーケンスを得る、第３のステップとを含むことを特徴とする、ディジタル画像安定化方法。
2. グローバルな動きを推定する前記第１のステップの間、１ビットの２値画像を生成し、且つ、該２値画像を、各領域が所定数の前記マクロブロックを含む所定数の領域に分割することを特徴とする、請求項１に記載のディジタル画像安定化方法。
3. 前記マクロブロックの各々に対する信頼度を、“１”論理レベルで画像の画素数をカウントすることにより計算するサブステップを含み、
   “０”論理レベルと比較した“１”論理レベルの予め定めた比率に対して、あまりに低いか、又はあまりに高い比率を有する前記マクロブロックを、信頼できないとしてラベルし、前記信頼できないマクロブロックで動き推定を行わないようにすることを特徴とする、請求項２に記載のディジタル画像安定化方法。
4. 前記領域の各々における候補ベクトルの数を簡素化するために、前記マクロブロックのラインの各々における最初のマクロブロックの動きベクトルのみを拡張した探索範囲で探索を行い、残りのマクロブロックに対しては、当該信頼できるブロック動きベクトルから取られた予測の動きベクトルを中心とする周囲の、低減した探索範囲で探索を行うことを特徴とする、請求項３に記載のディジタル画像安定化方法。
5. ２値画像を用いて計算される、いわゆる絶対差分値の合計（“ＳＡＤ”）が、予め定めた閾値を超える場合の動きベクトルを、多分に信頼できない動きベクトルとして排除するサブステップを更に含むことを特徴とする、請求項４に記載のディジタル画像安定化方法。
6. 前記ブロックマッチングを高速化するために、前記マクロブックにおける各探索位置に対して、現行の“ＳＡＤ”を前記マクロブロックにおける２つのライン毎に現行の最小の“ＳＡＤ”と比較して、前記現行の“ＳＡＤ”が既に前記最小の“ＳＡＤ”を越えているか否かを判断し、比較して判断した結果が真である場合には、この位置の探索を停止するサブステップを更に含むことを特徴とする、請求項５に記載のディジタル画像安定化方法。
7. 前記ブロック動きベクトルの枝刈りを行うサブステップを更に含み、前記枝刈りを行うステップは、所定の閾値を越える“ＳＡＤ”のブロック動きベクトルを除去し、前記探索範囲の各々に対する局所的なアウトライナを除去し、前記画像レベルでのグローバルなアウトライナを除去するステップを含むことを特徴とする、請求項６に記載のディジタル画像安定化方法。
8. 前記局所的アウトライナ及びグローバルなアウトライナを除去するステップは、
   前記探索範囲となる各領域、及び各領域における各ブロック動きベクトルｋに対して、０≦ｋ≦有効なブロック動きベクトルの数（ｎｕｍｂｅｒ＿ｏｆ＿ｖａｌｉｄ＿ｖｅｃｔｏｒｓ）とし、ｋのブロック動きベクトルから各領域における全ての残りの動きベクトルまでの、前記絶対差分値の合計（ｓｕｍ＿ｄｉｆｆ［ｋ］）を、ｓｕｍ＿ｄｉｆｆ［ｋ］＝Σ_ｉａｂｓ（値［ｋ］−値［ｉ］））として計算するステップと、
   各領域における絶対差分値の合計の平均値（ａｖｅｒａｇｅ＿ｄｉｆｆ）を、ａｖｅｒａｇｅ＿ｄｉｆｆ＝（Σ_ｋｓｕｍ＿ｄｉｆｆ［ｋ］）／ｎｕｍｂｅｒ＿ｏｆ＿ｖａｌｉｄ＿ｖｅｃｔｏｒｓ）として計算するステップと、
   排除基準（ｓｕｍ＿ｄｉｆｆ＿［ｋ］）を、予め定めた閾値α及びβを用いて、ｓｕｍ＿ｄｉｆｆ＿［ｋ］＞（ｎｕｍｂｅｒ＿ｏｆ＿ｖａｌｉｄ＿ｖｅｃｔｏｒｓ／α）＋β＊ａｖｅｒａｇｅ＿ｄｉｆｆとして決定するステップと、
   或るブロック動きベクトルのベクトル座標のいずれかが、該ステップの関係で真であると検証した場合、該ブロック動きベクトルを排除するステップとを含むことを特徴とする、請求項７に記載のディジタル画像安定化方法。
9. 前記平行移動ベクトル及び回転角を計算するために、ｘ及びｙを前記２値画像の座標値とし、６つのパラメータａ，ｂ，ｃ，ｄ，ｅ，及びｆを有する連立方程式、
   Ｘ＝ａｘ＋ｂｙ＋ｅ
   Ｙ＝ｃｘ＋ｄｙ＋ｆ
   を規定し、最小２乗法を用いて解くサブステップと、
   前記連立方程式の変換を、平行移動ベクトルの座標Ｔｘ及びＴｙ、回転角θ、及び前記カメラのズーム拡大縮小率ｒとして
   Ｘ＝ｒ・ｃｏｓθ・ｘ−ｒ・ｓｉｎθ・ｙ＋Ｔｘ
   Ｙ＝ｒ・ｓｉｎθ・ｘ＋ｒ・ｃｏｓθ・ｙ＋Ｔｙ
   を満足するようにモデル化するサブステップと、
   パラメータａ，ｂ，ｃ，及びｄの無矛盾性をアサーションするために、品質ａ^２＋ｂ^２＝ｃ^２＋ｄ^２を近似的に満足するか否かを判断するチェックを行うサブステップと、
   前記カメラのズーム拡大縮小率ｒの予め定めた最大値をｍａｘ＿ｄｉｆｆ＿ｚｏｏｍ＿ｆａｃｔｏｒとして、
   （ａ^２＋ｂ^２）−（ｃ^２＋ｄ^２）＞ｍａｘ＿ｄｉｆｆ＿ｚｏｏｍ＿ｆａｃｔｏｒ
   を満たす結果を、排除するサブステップと、
   予め定めた回転角パラメータをｍａｘ＿ａｎｇｌｅ＿ｄｉｆｆｅｒｅｎｃｅとして、θ_１＝ａｒｃｔａｎ（−ｂ／ａ）及びθ_２＝ａｒｃｔａｎ（ｃ／ｄ）のとき、
   ｜θ_１−θ_２｜＞ｍａｘ＿ａｎｇｌｅ＿ｄｉｆｆｅｒｅｎｃｅ
   を満たす結果を、排除するサブステップと、
   更なる予め定めた回転角パラメータ（ｍｅｄｉｕｍ＿ａｎｇｌｅ＿ｄｉｆｆｅｒｅｎｃｅ）が、
   ｍｅｄｉｕｍ＿ａｎｇｌｅ＿ｄｉｆｆｅｒｅｎｃｅ＜｜θ_１−θ_２｜
   ＜ｍａｘ＿ａｎｇｌｅ＿ｄｉｆｆｅｒｅｎｃｅ
   に適合するか否かを判断し、見つかった最小の回転角を、前記回転角θの値として選定するサブステップと、
   前記結果を、無矛盾性のものであると判断する場合に、前記平行移動ベクトルの座標をＴｘ＝ｃ，Ｔｘ＝ｆに、且つ前記回転角θをθ＝（θ_１＋θ_２）／２となるように設定するサブステップと、
   前記結果を、無矛盾性のものであると判断する場合以外は、回転角θを０にし、前記平行移動ベクトル用の値を、前記アウトライナ除去処理のサブステップの後に、前記ブロック動きベクトルの中間値と等しくするサブステップとを含むことを特徴とする、請求項８に記載のディジタル画像安定化方法。
10. 前記第２のステップの間に行う前記回転角をフィルタリングするステップは、前記画像の或る画像シーケンスにわたって前記動き推定によって与えられる角度を累積し、各角度を補償するようにするサブステップであって、当該累積角度を、該画像シーケンスにわたって全ての回転角を合計することによって計算するサブステップを含むことを特徴とする、請求項９に記載のディジタル画像安定化方法。
11. 実行すべき前記回転及び平行移動の補正値が画像にて認められる追加の入力領域に対応する予め定めた許容範囲の閾値を超えていないかを判断して、境界チェックを行い、前記判断が真であれば、前記認められる追加の入力領域内に留まるように前記補正値を更に補正するサブステップを更に含むことを特徴とする、請求項１０に記載のディジタル画像安定化方法。
12. オリジナルのスモールフォーマットの画像シーケンスを得るために、予め定めたダウンサンプリング係数を用いて、オリジナルのワイドフォーマットの画像シーケンスと称する前記元の画像シーケンスをダウンサンプリングするとともに、安定化したスモールフォーマットの画像シーケンスを得るために、前記スモールフォーマットの画像シーケンスにおけるディジタル画像安定化の前記請求項１に記載の３つのステップを行う第１の補助ステップと、安定化したワイドフォーマットの画像シーケンスを得るために、前記ダウンサンプリング係数と等しいアップサンプリング係数を用いて、前記スモールフォーマットの画像シーケンスをアップサンプリングする第２の補助ステップとを含むことを特徴とする、請求項１〜１１のいずれか一項に記載のディジタル画像安定化方法。
13. ダウンサンプリングの前記第１の補助ステップは、バイリニア補間を用いて行うことを特徴とする、請求項１２に記載のディジタル画像安定化方法。
14. 予め定められた状況をチェックして、前記状況を満たす場合にのみ、自動的に前記ダウンサンプリングの第１の補助ステップを行う第３の補助ステップを含むことを特徴とする、請求項１２又は１３に記載のディジタル画像安定化方法。
15. 前記ディジタル画像安定化方法が、限られたコンピュータリソースを有するシステムにて実現され、該チェックするステップは、前記リソースが十分であるか否かを判断し、前記リソースが十分でない場合には、前記ダウンサンプリングの第１の補助ステップを行うステップを含むことを特徴とする、請求項１４に記載のディジタル画像安定化方法。
16. 前記ディジタル画像安定化方法は、バッテリで電力供給されるシステムで実現され、該チェックするステップは、前記バッテリが所定の低いレベルであるか否かを判断し、所定の低いレベルである場合には、前記ダウンサンプリングの第１の補助ステップを行うステップを含むことを特徴とする、請求項１４に記載のディジタル画像安定化方法。
17. カメラによって生成された元の画像シーケンスから、平行移動及び／又は回転における、いわゆるジッタと称する不所望なカメラの動き成分を除去して、安定化した画像シーケンスを得るディジタル画像安定化システムにおいて、
    動画用の前記カメラのグローバルな動きを推定する動き推定手段であって、画像の予め定めた部分に対してブロック動きベクトルを計算する手段と、前記部分の各々に対してマクロブロックを決定し、現在の画像のマクロブロックと前の画像のマクロブロックとをマッチングする手段と、前記ブロック動きベクトルから、前記カメラの動きを表す平行移動ベクトル及び回転角ベクトルを取り出す手段とを有する、動き推定手段と、
    意図的な動き成分と意図的でない動き成分とを分離することにより、前記ジッタをフィルタリングし、且つ抽出するフィルタリング手段であって、平行移動ベクトルのフィルタリング及び回転角のフィルタリングを行う手段を有する、フィルタリング手段と、
    前記抽出したジッタに従って前記元の画像シーケンスを補償し、前記安定化した画像シーケンスを得る補償手段と、
    を備えることを特徴とする、ディジタル画像安定化システム。

Images