JP2006510282A - 画像安定化システムおよび方法 - Google Patents

Abstract

不安定に取り付けられたビデオカメラによって生成されるビデオ信号を安定化させるシステムは、現在の画像の特徴を前の画像の同様の特徴上へオーバーレイすることを試みる、各到来画像を操作するディジタル処理手段を含む。オーバーレイプロセスで誤差を生じやすい画像の一部が画像に適用すべき必要な動きの計算に使用されるのを防ぐマスクが使用される。このマスクは、画像の小さい動きが検出された領域を含むことができ、また過度のノイズを含む画像異常が検出された領域を含むこともできる。本発明は、パンまたはズームなど望ましいカメラの動きに対処する手段も開示し、システムによって処理されたビデオ信号のエッジに対処する手段も開示する。方法も開示される。

Description

本発明は、カメラによって作成されるビデオ画像を安定化するシステムおよび方法に関する。特に、本発明は、揺れなど望ましくないカメラの動きによって生じる、カメラで記録された連続画像のオフセットを低減または除去する手段に関する。

望ましくないカメラの動きは、再生装置で感知される急激な変化のために、受信された画像を歪ませ、または画像の視覚分析を難しくすることがある。こうしたカメラの動きは、たとえばカメラの支柱に対して吹く風、またはカメラが手で保持され、あるいは動いている車やボートなどに据え付けられているために、不安定な支持によって生じることがある。

望ましくない動きを被るカメラからのビデオ画像の安定化に用いられる一方法は、風による揺れなどによって生じるカメラの動きを測定し、それに応じてカメラを物理的に移動させる動力化されたカメラマウントを使用することである。ジャイロスコープを使用してカメラの動きを検出し、電動機を使用してそれを補正することができる。それによって実際に、カメラを固定位置に保持することを試みる電気機械的負帰還ループが提供される。この解決法は、カメラが永久または半永久的マウントに取り付けられる監視の適用分野で使用される場合は、非常に有効である。この方法では、正確に安定化されたシステムでカメラ自体が移動しないときに非常に遅いカメラのシャッター速度が使用される場合でも、ビデオ画像のぶれを低減することができる。この方法は、シーンの照明状態の影響も受けず、記録されたビデオ信号に関しては言及されていないが、この技法は、コストが高く扱いにくくであり、特にカメラシステムが大型の場合は、著しい電気資源を必要とすることがある。

これの１つの発展は、従来どおりセンサを使用してカメラの動きを検出するが、センサからの信号を使用して、カメラによって生成された信号を処理する。この処理は、カメラによって記録された以前の画像と位置合せするために、画像を電気的にシフトさせるものである。この手法では、動力化されたカメラマウントについての要求は不要であるが、運動センサは依然として必要とされる。

画像の安定化は、単に画像信号の電子的処理によって行うことができる。こうした方法は、カメラによって作成された現在の画像と基準画像を比較し、現在の画像が基準画像と合うように空間的に移動させることからなる。これを行うには様々な技法が用いられる。

こうした一技法である英国特許第００１２３４９．７号には、カメラのビデオ画像を安定させる方法が記載されている。この手法では、基準画像と最良に一致させるために現在の画像をどれだけシフトする必要があるかの測度として明示された水平および垂直成分が使用されるグローバル動き推定が用いられる。こうした成分は、処理に入力される前に高域通過フィルタリングされて、遅いカメラの動きは出力ビデオ信号まで通過できるようにするが、急な動きは安定化処理に入力されるようになされる。このシステムは、カメラが向けられたシーンで何かが動き、システムがカメラの意図的なパニングまたはズーミングに対処する設備を有していない場合、誤差が生じやすい。

本発明により、複数の画像を表す１つまたは複数の信号を受信するように構成され、少なくとも画像（ｎ−１）および画像（ｎ−２）に後続する画像ｎについて、画像ｎと前の画像の間の空間的分離を表す画像ｎと前の画像の間のグローバル動きオフセット（ＧＭＯ）値を推定し、このＧＭＯに基づいて画像ｎに補正の動きを適用するように構成されたビデオ画像安定化システムであって、
システムが、ＧＭＯ推定で考えられない、ＧＭＯの計算を誤り導く可能性が高いと推定される、画像ｎの１つまたは複数の領域を表すマスクを参照して、画像ｎについてＧＭＯを推定するように構成されることを特徴とするシステムが提供される。

本発明は、ある状況下で望ましくないカメラの動きの影響を低減することができる。本発明は、得られたビデオ画像上のカメラの動きの影響を低減するシステムを提供する。このシステムは、現在の画像の動きを計算する際に、基準としてビデオシーケンスの前の画像を使用する。

ＧＭＯは、基準画像ｒからの現在の画像ｎの距離の測定値または推定値である。この距離は典型的には、水平面と垂直面の両方におけるｒからｎまでの画素数を含むベクトルであり、すなわち、ｎとｒを最良に一致させるために適用されるシフトを示すものであり、任意の適した手段によって計算される。この最良の一致を計算する異なる手段によって異なる結果がもたらされることがあり、その全てが最適値ではないことを留意されたい。最適値の計算は非常に時間がかかり、または必要とされるコンピュータリソースが多すぎることがあるため、オフセットの近似値を与える他の技法を用いてもよい。基準画像ｒは、好ましくは、ビデオシーケンスの前の画像、すなわち最小ＧＭＯを有する点で現在の画像に最も近い可能性が高い画像（ｎ−１）である。（ｎ−２）または（ｎ−５）など前の画像以外の画像をｒとして使用することもできるが、振動のレベルおよび周波数によってこれらはより大きいＧＭＯを有する可能性が高い。

性能を向上させるためにさらなる情報がＧＭＯの推定に使用される。マスクはこうした情報の１つである。これは、ＧＭＯ計算に悪影響を与える可能性がある画像ｎの画素を除外するために使用される２値画像である。マスクは、画像の小領域内で動く物体について画像ｎを検査し、次いでこうした領域を除外するためにマスクの対応するビットを設定することによって生成されることが好ましい。これは、画像ｎを複数の部分画像ｎ_ｓに分割し、各部分画像ｎ_ｓについてローカル動きオフセット（ＬＭＯ）を計算して行われることが好ましい。ＬＭＯは、ＧＭＯと同じ一般的方法で計算することができるが、各部分画像ｎ_ｓは画像ｎよりも小さいため、異なる技術がより適していることもある。ＬＭＯは、ＧＭＯで使用されたものと同じ基準画像ｒから得られた対応する部分画像を使用して計算することができるが、好ましくは、画像（ｎ−２）から得られた対応する部分画像が使用される。やはり、他の基準画像を使用することもできる。

マスクは好ましくは、所望の特性で振舞わない画素で表される画像ｎの領域に対応するように増大される。こうした画素は、常時オンまたはオフとして現れる「死んだ」画素のことがあり、または入光に対して不規則に振舞う画素のこともある。これらは、ある閾値を超えたノイズによって崩壊したと考えられる画素のこともある。ノイズの検出も任意の適した方法で行うことができる。本明細書では、こうした領域は異常領域として、かつこの領域を構成する画素は異常画素として知られている。

ＧＭＯおよびＬＭＯの計算に使用される画像は、計算が行われる前にサブサンプリングされることが好ましい。これは、計算労力が低減され、サブサンプリングプロセスに固有の低域通過フィルタリングによって安定化システムが画像ノイズに対してより弾性的になる利益がある。計算における極小値も問題になる可能性が低い。正確さを向上させるため、ＧＭＯまたはＬＭＯ計算を、比較的低い解像度で開始し、これからＧＭＯ／ＬＭＯを生成し、次いで前の繰り返しで計算されたＧＭＯ／ＬＭＯを考慮して比較的高い解像度に移り、複数の解像度で繰り返すことができる。より高い解像度に移る前に所与の解像度で複数の繰返しを行うこともできる。

入力画像用に計算されたＧＭＯおよびＬＭＯを有利に使用して、パンまたはズーム操作がカメラに適用されたかどうかを推定することができる。本明細書では、パンは、カメラが水平または垂直のあるいはその両方の、異なる方向に向くようになされたカメラの動きを指すために用いられ、ズームは、カメラのレンズの焦点距離が変更されてカメラによって異なる視界が見られるようになされることを指すために用いられる。

動きオフセット誤差の予測をＬＭＯおよびＧＭＯを使用して有用に行うことができる。こうした誤差の１つは「自動追跡」である。これは、たとえばカメラで可視の実質的にシーン全体で移動物体が捉えられた場合に起こる。たとえば、カメラが道路シーンに向けられており、非常に大きい貨物自動車がカメラの近くを通過した場合、カメラによって記録される画像の大部分は貨物自動車に占められるであろう。誤差補正が全く無い場合、これは、突然パンが行われた印象を与え、安定化ルーチンが誤って動きの追跡を試みることになるであろう。

他のこうした誤差は、「静止カメラ検出」に関連する。ＧＭＯヒストリの分析が使用されて、カメラが移動しないときが予測される。この状態が検出されると、ＧＭＯベクトルがゼロに設定される。これがないと、小さいＧＭＯの誤差が蓄積されて、誤った安定化が生じることになる。

ＧＭＯベクトルは、ＧＭＯベクトルの計算及び処理が実行された後に現在の画像に適用すべきベクトルを表す最終安定化オフセット（ＳＯ）に変換されることが好ましい。この変換は、動きオフセット誤差およびパン並びにズーム操作の推定を考慮に入れることが好ましい。この変換は、前の画像に適用されたＳＯの影響を低減する傾向がある減衰係数を含むことが好ましい。これは、こうしたオフセットについての要求がなくなっても、画像に適用されたオフセットが残るように、それぞれＳＯベクトルが蓄積される傾向があるために有用である。

本発明により処理されたビデオ信号は、ビデオ画像のエッジが、テレビジョンの画面など表示装置の表示領域のエッジと整列しないことがある。これは、画像が、検出された動きオフセットによって表示デバイスに対してシフトされた結果である。急速に位置が変わるこうしたエッジは、画像のエッジと表示装置の表示領域との間の境界領域の追加によって視界から隠された状態に保たれることが好ましい。より好ましくは、表示領域に対する画像の変位によって、境界のサイズが変更されるようになされる。これは、前の画像並びに現在表示されている画像の変位を考慮することができる。

あるいは、画像のシフトによって生じた表示すべき画像の周囲の空白領域を前の画像からの画像情報で補うことができる。こうすると、人工境界を持たない全画像を表示装置に提示することができる。

さらなる別法として、表示すべき画像のサイズを拡張して、空白領域を全て充填することができる。これは、知られたアルゴリズムを使用して画像をスケーリングすることによって行うことができる。

システムへの１つまたは複数のビデオ信号入力は、カメラから直接行われ、またはビデオレコーダもしくはコンピュータシステムのディジタル画像記憶装置、あるいはこうしたソースの組合せなど幾つかの他の手段から行うことができることを留意されたい。

本発明は、汎用マイクロプロセッサを組み込んだもの、およびディジタル信号プロセッサ装置を組み込んだものを含む、コンピュータシステムで実装することができる。コンピュータを、本発明による画像安定化システムを実行するようにプログラミングすることができる。

次に本発明を単に一例として以下の図を参照してより詳細に説明する。

図１は、本発明の実施に使用することができる典型的なハードウェア構成を示す。この例では、ビデオ信号はマウント２上に取り付けられたビデオカメラ１によって生成される。カメラは風による揺れを受け、風が十分に強い場合は、それによってカメラが矢印３で示したようにマウント上で揺れる。カメラはビデオ信号を安定化システム４に提供し、その出力は本明細書で記載したように処理されたビデオ信号であり、次いでそれが適したディスプレイ５上に表示され、または適した媒体に記録される。本発明は、ディジタルと適したディジタル化を有するアナログの両方の多くの異なるビデオ信号フォーマットに適用することができ、本実施形態はＰＡＬおよびＮＴＳＣ信号を処理するように設定される。

安定化システム４は、信号の処理を実行して、カメラ画像の不安定さを全て低減することを試みる。システム４は、入ってくるアナログビデオ信号をディジタル化するアナログ／ディジタル変換器（ＡＤＣ）６を備える。次いで、ディジタル信号は信号プロセッサ７に送られる。このプロセッサ７は、データストリームが到来すると複雑な計算および操作を実行し、ディスプレイユニット５で再生する準備ができているディジタル／アナログ変換器８によってアナログ信号に変換される出力信号を提供することができる。プロセッサ７は、カメラからの現在の画像ｎ並びに前の２つの画像（ｎ−１）、（ｎ−２）を格納することができるディジタルフレームメモリ１０に接続される。これらは、処理の際に使用される。プロセッサ７は、汎用ディジタルメモリ９にも接続される。このメモリ９は、本発明を実施するプログラムを保持する他に、本発明の動作とともに生成されるデータのための汎用記憶域として使用される。

ＡＤＣ６は、解像度７２０×２８８（ＰＡＬ用）または７２０×２４０（ＮＴＳＣ用）の到来信号をディジタル化するが、画像の中央部分だけが処理アルゴリズムへの入力として使用され、画像の外側部分は、カメラの動きのために２つの連続する画像に存在しないシーンの部分を提示しうる。また、幾つかのカメラタイプは、画像領域の境界に非アクティブ画素を含む。本実施形態で使用されるアクティブ領域は、解像度５７６×２５６（ＰＡＬ用）または５７６×２２４（ＮＴＳＣ用）を有する。当然、処理の結果はディジタル化された画像全体に適用される。

図２は、本発明の一実施形態の動作のトップレベルのデータ流れ図である。この図では、少なくとも２つの画像が以前に捕捉され、現在の画像ｎがフレームメモリ１０に配置されていることが想定されている。これは、最初にシステムのスイッチが入れられたときは別として、全ての場合に当てはまる。

画像ｎに関する処理は以下の通りである。画像ｎ１００、（ｎ−１）１０１、および（ｎ−２）１０２がモジュール１０４に示され、モジュール１０４で画像ｎ並びにマスク画像についてＧＭＯおよびＬＭＯが計算される。こうしたオフセットおよびマスクがどのように計算されるかの詳細を後に記載する。画像は、ＬＭＯの計算のために６×８（ＰＡＬ入力用）または６×７（ＮＴＳＣ用）の領域に分割されるが、当然異なる数の領域を使用することもできる。本明細書では、マスクはローカル動きマスク（ＬＭＭ）と呼ばれ、その主な仕事はローカルな動きが検出された画像の領域をマスクすることであることを留意されたい。しかし、異常領域または画素を含むようにマスクを設定することもできる。マスクは、検出された任意のローカル動きおよび異常領域から得られる複合マスクでもよいが、これもやはりＬＭＭと呼ばれる。

ＧＭＯ、ＬＭＯ、およびマスクの計算に従って、本発明のこの実施形態で、これらの値および前の値を分析して動きオフセット誤差について検査する。これは、モジュール１０５で行われ、「誤差補正」オフセットＧＭＯ_ＥＣ（ｎ）およびＬＭＯｓ_ＥＣ（ｎ）を生成する。このデータを使用して、自動追跡誤差および静止カメラ誤差を検出する。これがどのように行われるかの詳細は、以下で図７に関して記載される。

次いで本実施形態で、モジュール１０５で修正されたＧＭＯ_ＥＣ（ｎ）およびＬＭＯｓ_ＥＣ（ｎ）を調査して、望ましいカメラの動き、すなわちパンおよびズームを検出し、それを補償する。この検出により、「カメラ状態」値が生成され、次いでそれを使用して、計算されたオフセットを画像ｎにどのように適用するかを調整する。検出は、カメラモデルモジュール１０６で行われる。パンおよびズーム状態がどのように検出されるかの詳細は、図８を参照して以下に提供される。

モジュール１０６の状態出力およびモジュール１０５で計算されたＧＭＯ_ＥＣ（ｎ）値を次に使用して、画像ｎに適用すべき最終安定化オフセットを計算する。これは、モジュール１０７で行われ、出力オフセットＳＯ（ｎ）が生成される。このオフセットは、ディスプレイルーチンモジュール１０８に渡され、モジュール１０８でＳＯ（ｎ）の値によって画像ｎをシフトし、以下に記載するように最初に任意の境界が適用された後に、この画像を表す信号が表示装置または記録媒体に送信される。

図３は、本実施形態で使用されるように、各画像ｎについてＧＭＯ、ＬＭＯ、およびＬＭＭを生成するプロセスをより詳細に示す。画像ｎ、（ｎ−１）、および（ｎ−２）、１００，１０１、１０２が、モジュール１０４に与えられる。画像ｎと（ｎ−１）、および前の繰返しで画像（ｎ−１）を使用して計算されたＬＭＭが使用されて、図４を参照して本細書明で後に記載する知られたアルゴリズムに基づいて、ステップ１０９でＧＭＯが推定される。画像（ｎ）および（ｎ−２）もステップ１１０で使用されて、画像ｎについてのＬＭＯが推定される。このため、画像ｎは、６×８アレイ（ＰＡＬ用）の部分画像、またはローカル画像に分割され、それぞれについてＬＭＯが推定される。最後から２番目の画像（ｎ−２）は、この画像と現在の画像の差が最後の画像が使用される場合にその差よりも大きくなる傾向があるために比較で使用され、ローカル部分画像内の動きの検出がより良好になる。ローカル動きはグローバル動きよりも小さい傾向があることが判明しているからである。各ＬＭＯの計算に使用されるアルゴリズムは、ＧＭＯの計算に使用されるものと全く同様であり、後に図５を参照してより詳細に記載される。

画像ｎについて生成された（ＬＭＯ（ｎ）で表された）ＬＭＯは、画像ｎについてのＧＭＯ（ＧＭＯ（ｎ））と共に使用されて、マスクを生成する。マスクはモジュール１１１で生成される。このマスクは、ＧＭＯ（ｎ＋１）の推定で使用され、画像ｎの各画素に関する１ビットの情報を有する。このビットが０の場合、画像（ｎ＋１）の対応する画素はＧＭＯ（ｎ＋１）の計算に使用されない。このビットが１の場合、画像（ｎ＋１）の対応する画素はＧＭＯ（ｎ＋１）の計算に使用される。マスクは、使用されるまでメモリ１１２に格納される。マスクは、そうでなければ計算されたＧＭＯ値を歪ませてしまうローカル動きが検出された画像の領域をマスクするために使用され、異常領域をマスクするためにも使用される。画像のノイズレベルの推定１１４が実行され、後で使用するために１１２で格納される。マスクの生成およびノイズの推定のさらなる詳細を後に図６を参照して提供する。

図４は、ＧＭＯを生成する際にモジュール１０９で行われるステップをより詳細に示す。このモジュールへの入力は、現在の画像ｎ１００と前の画像（ｎ−１）１０１、前に計算されたＬＭＭ１１３、およびノイズレベル推定値１１４である。この手順には３つの主なステップがある。

第１に、入力画像およびＬＭＭはモジュール１１５でサブサンプリングされて、そのサイズが縮小されるため、動作の速度およびノイズに対する回復力が上がる。

第２に、サブサンプリングされた画像に基づいて、モジュール１１６でＧＭＯの主な計算が行われる。

第３に、モジュール１１７でサブサンプリングを考慮して計算されたＧＭＯを補正する。

画像のサブサンプリングはバイリニア補間プロセスを使用して行われるが、これは当業者に知られているため、本明細書ではさらに記載しない。このさらなる詳細は、Ｓｏｎｋａ、Ｈｌａｖａｃ、およびＢｏｙｌｅ、「Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」、第２版、１９９８年、（ＰＷＳ）Ｂｒｏｏｋｓ／Ｃｏｌｅ Ｐｕｂｌｉｓｈｉｎｇで見ることができる。本実施形態では、サブサンプリングして、解像度を垂直寸法で４分の１、かつ水平寸法で８分の１に減らす。これによって、十分な結果がもたらされ、かつ計算時間が有用に短縮されることが判明している。サブサンプリングの他の利益には、サブサンプリングによって画像が効果的に低域通過フィルタリングされるため、ＧＭＯの計算が極小値と混同される可能性が低くなると共に、画像でノイズを受けにくくなることが含まれる。

ＧＭＯ値の計算には、サブサンプリングされたときに、画像ｎと画像（ｎ−１）の位置ずれを最小限に抑えるように、画像ｎに適用する必要がある平行移動の計算が含まれる。この位置ずれの測定は、誤差値Ｅを生成するための、（本明細書でＩ_ｎおよびＩ_ｎ−１として表した）画像ｎと（ｎ−１）の間の画素ごとの強度差の合計でなされる。

手順では、この誤差値の２乗を最小にする試みがなされる。したがって、

ただし、Ｉ_ｎ（ｘ，ｙ）は画像ｎ内の点ｘ，ｙを表し、ｆ（ｘ，ｙ）およびｇ（ｘ，ｙ）はそれぞれ画像ｎの画像座標を画像（ｎ−１）の画像座標に変換する座標ｘとｙ（すなわち各画素の位置）の変換である。Ｅｑｎ１のテイラー展開により、都合よく分析される方程式がもたらされ、変換関数ｆおよびｇのパラメータに関してこれを微分し、これらを０に設定することによって、得られる方程式を解いて変換またはＧＭＯに対する最新の更新を明らかにすることができる。本発明は、ＧＭＯ計算を行う前に画像を前処理してより正確な結果をもたらすことを留意されたい。この前処理は、画素ごとに（サブサンプリングした）画像に（同様にサブサンプリングした）マスクを掛けるものであり、画像ｎのアクティブ領域を効果的に減少させ、これは、正確さを向上し、計算をより単純にする効果を有する。

誤差方程式Ｅｑｎ１のテイラー級数の近似を使用して、近似誤差を導入し、本実施形態では１次項だけを使用する。これは、誤差関数の極小値を見つけることによって、不正確なＧＭＯを提供するプロセスになる可能性がある。近似値の効果を低減するために、上記のＧＭＯを計算するプロセスを繰り返す。０．０の最初の動き推定２００が使用され、繰返しごとに更新される。各繰返しで、変換パラメータの最新推定２０１（すなわち計算される現在のＧＭＯの最新値）によって、現在の画像ｎの更新、ワープ、またはシフトされたバージョンが使用される。

ＧＭＯの計算では、本実施形態は、正確さを向上し、シーンを通して移動する物体によって生じる誤差を軽減する助けをするアニーリングプロセスも使用する。アニーリングプロセスで、所与の画素を現在のＧＭＯ計算の繰返しに使用すべきであるかどうかを決定する。これは、画像（ｎ−１）の各画素と、計算されたＧＭＯの現在の値によってワープ、またはシフトされた画像ｎの対応する画素との絶対差を調べることによって行われる。この差が閾値よりも大きい場合は、次の繰返しで使用されない。ノイズレベル推定１１４は、閾値の計算に使用される。このプロセスでは、ワープされても整列しない画素が除外され、その理由が、画像の異常またはシーンを通る物体の動きによる可能性が高いからである。プロセスの繰返しによって画像がさらに位置合せされ、選択される閾値が低下されるに従って、画像のより多くの画素が整列して、差の絶対値が小さくなる。このプロセスで、ロバストな統計的推定の形が実施される。他のこうしたロバストな統計的推定方法も知られており、本発明に適用可能である。

本実施形態では、位置合せの向上をもたらす画像ｎの平行移動だけを計算する。したがってこの場合、ｆ（ｘ，ｙ）＝ｘ＋Δｘ、かつｇ（ｘ，ｙ）＝ｙ＋Δｙである。回転および縮尺誤差は、現在考慮されていないが、本発明は適切な適合性があり、回転またはスケーリングによって不安定になりやすいソースから得られるビデオ信号を安定させるために等しく適用することができる。この適合は、平行移動、回転、およびスケールパラメータに関する関数ｆ（ｘ，ｙ）およびｇ（ｘ，ｙ）を示すものであり、したがって
ｆ（ｘ，ｙ）＝Δｘ＋ｂｘ−ｃｙ、かつｇ（ｘ，ｙ））＝Δｙ＋ｃｘ＋ｂｙである。
ただし、スケーリングファクタ＝（ｂ^２＋ｃ^２）^１／２、かつ回転度数＝ｔａｎ^−１（ｃ／ｂ）である。これらの方程式は次いで上記に記載したものと同様に解かれる。ＧＭＯの計算の上記その他の態様に関するさらなる情報は、Ｋｅｎｔ，Ｐ、「Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ」ｌＥＥ Ｃｏｌｌｏｑｕｉｕｍ ｏｎ Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ Ｍｏｄｅｌｌｉｎｇ ａｎｄ Ａｎａｌｙｓｉｓ ｉｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１９９５年、およびＫｅｎｔ，Ｐ、「Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ Ｍｏｓａｉｃｉｎｇ」Ｊｏｕｒｎａｌ ｏｆ Ｄｅｆｅｎｃｅ Ｓｃｉｅｎｃｅ、Ｖｏｌ．１、Ｎｏ．２で見ることができ、この両方の内容を参照により本明細書に組み込む。これらの参照文献には、複数の解像技法が詳細に記載されており、比較的低い解像度で計算されたＧＭＯ値が、画像の解像度を上げたバージョンで行われる後続のＧＭＯ計算に適用されることを留意されたい。必要に応じてこれを繰り返して、求められる正確さを得ることができる。この実施形態では、単一の解像度で行われた計算で良好な結果が得られることが判明しているが、必要に応じて複数の解像度を使用するように構成することができる。ＧＭＯおよびＬＭＯを計算する他の方法も存在し、本発明に適用可能である。

上記で計算されたＧＭＯの推定に続いて、画像の解像における変更を考慮するために、１１７で、得られた値にサブサンプリングで使用される同じ係数を掛ける。本実施形態は、ＧＭＯおよびＬＭＯの計算だけに画像ｎのサブサンプリングされたバージョンを使用することを留意されたい。他の動作は全て画像の元の解像度で画像上に作用する。

図５は、各画像ｎについて１組のＬＭＯを計算するのに使用されるプロセスをより詳細に示す。このプロセスは、上記のＧＭＯを計算するのに使用されたバージョンを単純化したバージョンに基づく。画像ｎは、やはり前と同様にサブサンプリングされ、作業負荷および画像ノイズが低減される。この後、サブサンプリングされた画像がモジュール１２０で、それぞれサイズ１２×８画素の６×８部分画像ブロック（ＰＡＬ用）に分割される。各部分画像ブロックは、マスキングもアニーリング機能もないＧＭＯ推定ルーチンの単純化バージョン１２１に渡される。計算は最初の動き推定２０２を使用して前と同様に繰り返し行われ、これは、数２０３で示したように各パスで更新される。マスキングおよびアニーリング機能は、各部分画像が小さいサイズで処理されるために必要とされない。次いでモジュール１２２で、処理で使用された画像の低減された解像度を考慮するために、モジュール１２１で生成されたベクトルにサブサンプリングで使用されたのと同じ係数が掛けられる。次いで、画像ｎおよび画像（ｎ−１）についてのＧＭＯの現在の値が、計算されたＬＭＯ値から差し引かれる。これによって、ＬＭＯ値がカメラの動きによって変造されないことが保証される。得られたＬＭＯ１２３は、ｎの各部分画像と（ｎ−２）の対応する部分画像の間の最良の一致を得るために必要な水平および垂直のシフトを保持するベクトルである。

図６は、マスクを生成するプロセスをより詳細に示す。このマスクは、上記のように、ローカルな動きの影響と異常に振舞う画素の両方に関係する画素を関連する計算から除外するために使用される。部分画像が所与の閾値よりも大きいＬＭＯを有する場合、適したマスクビットを０に設定することによって、部分画像全体に相当する領域がマスクされる。このマスクはＬＭＭであり、モジュール１２５で計算される。この実施形態では、ＬＭＭは、異常画素の振舞いが検出された画像ｎの領域に対応するマスキングを含む。

異常画素は、以下のように発見される。現在のＧＭＯによってシフトされた画像ｎと画像（ｎ−１）の絶対差、すなわちＩ_ｄｉｆｆ（ｎ）＝Ｉ（ｎ）−１（ｎ−１）を示す画像が１２４で生成される。上記で導出された動きの影響によるＬＭＭマスクの一部も使用されて、かなり大きいローカル動きが検出されなかった場合、Ｉ_ｄｉｆｆ（ｎ）がこうした部分画像だけを含むようになされる。

得られた差画像の強度レベルが、次いでモジュール１２６で調べられる。これは、先ずＩ_ｄｉｆｆ（ｎ）の画素強度の分散を発生することによって行われる。次いでこの範囲の最低十分位数として５を掛けた閾値が設定され、この係数は、動きの異常に対する妥当な程度のロバスト性を与えるために経験的に選択されたものである。この強度を超える画素は全て異常とみなされ、ＬＭＭの対応するビットがモジュール１２７でゼロに設計されて、図３で示したように、関連操作から除外される。この異常画素閾値は、ＧＭＯの計算で使用されるノイズレベル推定１１４として使用される。

図７は、モジュール１０５の動きオフセット誤差補正を示すデータ流れ図である。この目的で、モジュール１０５は、現在の１１８および前の画像１２８からＧＭＯベクトルへ、かつシステムメモリに格納された現在の画像からＬＭＯベクトルのセット１２３へのアクセス権を有する。モジュール１０５で、先ず自動追跡推定１２９が行われて、非常に大きい動く物体によって生じたＧＭＯの歪みについて検査される。これは、事前にメモリに格納された、ＧＭＯ（ｎ）、ＬＭＯｓ（ｎ）、およびＧＭＯ（ｎ−１）からＧＭＯ（ｎ−２５）（ＰＡＬ用）まで、またはＧＭＯ（ｎ−３０）（ＮＴＳＣ用）までを使用して行われる。

自動追跡は、以下の場合に行われたと考えられる。
ｉ．ＧＭＯ（ｎ−１）からＧＭＯ（ｎ−２５）まで（または必要に応じてＧＭＯ（ｎ−３０）まで）が全て所与の閾値（距離で５．０画素が現在使用されている）未満である。
ｉｉ．ＧＭＯ（ｎ）が所与の閾値より大きい。
ｉｉｉ．ＬＭＯｓ（ｎ）の５０％より多くが所与の閾値（距離で４．０画素が現在使用されている）よりも大きい。

本実施形態は、ＧＭＯおよびＬＭＯベクトルの水平成分だけを調べているが、当然、どちらか一方または両方の成分を使用することができる。自動追跡が行われたと考えられる場合、ＧＭＯ（ｎ）およびＬＭＯｓ（ｎ）の水平成分がゼロに設定される。これは、シーケンスのこの特定の画像について、この軸に関する安定効果を全て停止する効果がある。しかし、垂直軸ではなお安定化をもたらすことができる。

モジュール１０５も、現在のＧＭＯおよびＧＭＯの最近のヒストリを分析して、カメラが実際に静止していたかどうかを１３０で推定する。モジュール１３０は、ＧＭＯ（ｎ）からＧＭＯ（ｎ−４９）（ＰＡＬ信号用）に等しい約１秒間に値するＧＭＯを調べることによってこれを行う。調べられたＧＭＯ全てが、通常、水平軸と垂直軸の両方に対して１画素に設定された閾値未満の場合、カメラは静止していると考えられる。代替方法では、調べられたＧＭＯの分散が計算され、同様に閾値が設定される。分散が、現在１．５画素に設定されている閾値未満の場合、１秒間に値するＧＭＯも上記のように閾値未満の場合、カメラは静止していると考えられる。静止状態が検出されると、ＧＭＯ（ｎ）の現在の水平および垂直成分がゼロに設定され、その画像の安定化が全て効果的に無効にされる。

モジュール１０５からの誤差補正オフセットはＧＭＯ_ＥＣ１３０およびＬＭＯｓ_ＥＣ１３１であると考えられる。

図８は、カメラ状態１３８、すなわちパンまたはズーム操作が行われたかどうかを検出する動作をより詳細に示す。パンの検出では、２つのＧＭＯ_ＥＣの合計の間の差が１３３で計算される。１つは、ＧＭＯ_ＥＣ（１）からＧＭＯ_ＥＣ（ｎ）までのＧＭＯｓ_ＥＣ（ｎ）の合計１３４（すなわちシステムのスイッチがオンになってからのＧＭＯ_ＥＣ値の蓄積）である。他の１３５は、合計前に高域フィルタを通過した同じオフセットを使用する。使用されたフィルタは、遮断周波数０．５Ｈｚの２次ベッセルフィルタであるが、当業者は適した多数のフィルタ特性があることを思いつくであろう。このフィルタ特性の計算のさらなる詳細は、Ｒａｂｉｎｅｒ，Ｌ．Ｒ．およびＢ．Ｇｏｌｄ、「Ｔｈｅｏｒｙ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ」、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、１９７５年、頁２２８〜２３０で見ることができる。こうした合計の差の間が十分に大きいことは、パンの典型的な低周波数グローバル動きが存在することを示す。上記のパンの検出は、ＧＭＯ_ＥＣ合計を低域通過フィルタリングすることによって得られるものと同様であるが、上記の方法は、高域通過フィルタリングされた値が他の処理で使用され、すでにシステムメモリに存在するように使用されることに留意されたい。したがって低域通過フィルタリングされた値の計算作業は省かれる。

合計の間の差が閾値（この実施形態では５０．０画素に設定されている）を超えると、パンが行われたと考えられる。この閾値が超えられるまで、パンの検出は非パン状態を示す。この閾値が超えられたときに初めて、パンの検出は可能なパン状態を示す。これが幾つかの連続する画像で起こった場合（この実施形態では３０画像に設定されている）、パンの十分な証拠があり、パン検出はパン状態を示す。

一旦パンの検出がパン状態を示すと、合計の間の差が閾値を超えなくなるまでパン状態が継続して示される。移行を平滑にするには、パン検出で非パン状態に戻る前に、幾つかの画像（この実施形態では３０画像に設定されている）にわたって可能なパン状態が示される。

ズーム操作の検出１３６では、画像の中心を中心とするローカル動きブロックのグループからのＬＭＯｓ_ＥＣ（ｎ）１３２が検査される。典型的には、これは長方形の境界であり、ローカル動きブロックの格子のエッジの周囲の１ブロック深いところである。これは図９で示されている。この図では、画像ｎは大きい長方形１１で示されている。内部部分１２は、１組の６×８のローカル動きブロック、たとえば１３に分割されて示されている。選択したブロックからのＬＭＯｓ_ＥＣが一般的に画像の中心に向かう動きを示すように見える場合は、ズームインが検出される。同様に、動きが画像の中心から一般的に遠ざかる場合は、ズームアウトが検出される。選択されたブロックは、画像ｎの内部部分１２の境界上のブロック（たとえば１４）である。長方形の右側および左側のブロックが調査されて、水平軸のある閾値よりも大きい動きを示したかどうかを見る。同様に、長方形の上下にあるブロックが調査されて、垂直軸のある閾値よりも大きい動きを示したかどうかを見る。したがって、角のブロックは水平と垂直の両方の分析に貢献することが分かるであろう。

グループの各ブロックについて、動きオフセットの大きさが閾値と比較される。ブロックが所与の閾値よりも大きい大きさの動きオフセット成分を有する場合、そのブロックはかなり大きい動きを有すると考えられる。

かなり大きい動きを有する各ブロックについて、画像の中心に対する移動方向を使用して、その動きがズームインまたはズームアウトのどちらを示すかを判断する。グループ内のブロック全てが調査されて、ズーム操作が進行中であるかどうか決定される。本実施形態では、以下の不等式が成立する場合にズームが行われたと考えられる。

ただし、Ｎ_{ｚ（ｉｎ）}はズームインを示すグループ内のブロックの数であり、Ｎ_{Ｚ（ｏｕｔ）}はズームアウトを示すグループ内のブロックの数であり、Ｎ_Ｂはグループ内のブロックの合計数である。当然、ズームの方向もＮ_{ｚ（ｉｎ）}とＮ_{ｚ（ｏｕｔ）}の比較によって分かる。

不等式（Ｅｑｎ２）は、実際２回計算される。５画素よりも大きい動きオフセット成分が発生するブロックだけを含むＮ_{Ｚ（ｉｎ）}およびＮ_{ｚ（ｏｕｔ）}についての値が先ず計算される。このとき不等式が成立した場合、「速いズーム」が行われたと考えられる。不等式が成立しない場合は、計算が繰り返され、このときＮ_{Ｚ（ｉｎ）}およびＮ_{Ｚ（ｏｕｔ）}には、１つ以上の画素の動きオフセット成分が発生するブロックが含まれる。次に不等式が成立した場合、「遅いズーム」が行われたと考えられる。ズームを速いまたは遅いズームに分類する理由は、それらを別に処理することによってより良好な安定が達成されることが判明したからである。２つの状態に対する処理の相違を以下に述べる。

ズーム状態が連続する画像の数よりも多く検出された場合（本実施形態では速いズームに２つ、遅いズームに１０）、ズームが行われた十分な証拠があり、ズーム検出はズーム状態を示す。

一旦、ズーム検出が速いまたは遅いズーム状態を示すと、幾つかの連続する画像で（本実施形態では１０）ズームが検出されなくなるまでズーム状態が連続して示される。移行を平滑にするために、ズーム検出は、非ズーム状態に戻る前に、幾つかの画像（本実施形態ではやはり１０）にわたって可能なズーム状態を示す。

所与の画像ｎについてパンとズームの両方が検出された場合、状態調停手順１３７が使用されて、どちらがより重要であるか判断される。この手順は、最高の優先権が一方に作用し、他方が無視されるように、各状態に優先権を割り当てることによって行われる。本実施形態で使用される順序を優先権が低下する順に表１で示す。

表１の状態６は、他の状態が観察されない場合は、省略値で選択されることを留意されたい。

モジュール１０６によって予測されたカメラ状態１３８は、モジュール１０７に提供され（図２を参照）、ここで、画像ｎに適用すべき安定化オフセット（ＳＯ）が計算される。モジュール１０７への他の主な入力は、誤差補正ＧＭＯ_ＥＣ（ｎ）１３１である。検出されたカメラ状態が使用されて、画像ｎに適用すべき最終オフセットＳＯ（ｎ）１３９が生成される。これは、表２で示したように行われる。

表２の減衰定数は、蓄積された画像オフセットが時間と共に減衰するのに使用される。これによって安定化の効果がわずかに低減されるが、可視画像の量が向上する。カメラの動きが検出されない場合、減衰オフセットは結果的に画像をその最初の開始位置に戻す。これは、カメラの揺れが止んでも計算されたオフセットがゼロに戻らない状況で特に有用である。

また、（たとえば処理速度および画像処理能力を上げるためになされる）パンまたはズームの動きを検出し補正する能力を持たない本発明の実施形態が作成された場合、かつ実施形態がパンまたはズーム中のカメラと共に不注意に使用された場合でも、パンまたはズーム操作中に正確さがわずかに低減されるが、本発明はシステムが作動できるようにする。現在使用される急速減衰定数は０．７３５であり、使用される標準減衰定数は０．９８である。

表２で使用される高域通過フィルタ（ＨＰＦ）動作は、上記のパン検出で行われたものと同じである。

次に、上記で導出されたオフセットＳＯ（ｎ）１３９をカメラ状態１３８と共に画像ｎに適用して、ビデオ信号の安定化を実施する。これは、図１０で示したように、２段階で行われる。第１の段階１４０で、画像ｎをベクトルＳＯ（ｎ）１３９に従ってシフトする。この画像のシフティングによって、データを持たない、したがって空白の画像領域の幾つかの境界が生じる。連続する画像の空白領域は様々なサイズであり、それによって画像シーケンスの急速に動くエッジが出力表示装置に提示されるときにフリッカ効果が生じる。したがって、表示プロセスの第２段階で、こうした空白領域を覆う「動的」境界１４１が生成される。

動的境界は、安定化された画像シーケンスの急速に動くエッジを隠す。これは、シフトされた画像のエッジを覆う人工黒境界のオーバーレイによって行われる。これによって、可視画像のサイズが縮小されて、急速に動くエッジが隠される。境界は連続して調整されて、動くエッジを示さずに、画像をできるだけ多く示すようにする。カメラ状態、安定化オフセットＳＯ（ｎ）、およびＳＯ値のヒストリを使用して、示される境界の大きさが決定される。パンまたはズームが行われ、または画像の動きが少しも無い場合、動的境界は、画像のエッジが示されるまで減衰する。典型的には、境界は、５０個の画像のオフセットヒストリ期間内で検出された画像の最大可動域までの領域を覆う。

境界の生成に使用されるオフセットヒストリは、カメラ状態によって各画像への入口を獲得する。

速いズーム状態、パン状態、遅いズーム状態、可能なパン状態、または可能なズーム状態が検出された場合、画像ｎについてのオフセットヒストリの値はゼロに設定される。

パンまたはズーム状態が検出されない場合は、画像ｎについてのオフセットヒストリの値はＳＯ（ｎ）に設定される。

境界があまり急速に変化するのを防ぐため、境界は、各画像に対する変更率が制限される。垂直方向の最大変化は画像当たり５画素に制限され、水平方向の最大変化は、画像当たり１０画素に制限される。こうした値は良好に作用することが判明しているが、他の値を使用することもできる。

次いで、動的境界が適用され、シフトされた画像１４２がアナログ信号に変換されて、モニタで再生し、またはディスクもしくはテープに記録される。当然、ディジタル信号を任意の便利なフォーマットでコンピュータディスクに保管することもできる。

図１１は、実行中の境界生成を示す。ａ）では、不安定なプラットフォーム上に取り付けられたビデオカメラが向けられた場面が示されている。カメラは上下に揺れていると仮定する。カメラの視界は、細切れにされていない部分１４３である。大きい長方形は、数秒間シーン１４４上でカメラが動く間、常にカメラによって見られる比較的大きいシーン１４４を表す。分かるように、この画像について、カメラはシーン１４４の上部に向けられているため細切れの領域で表されたシーン１４５の下方部分が存在しない。

本明細書で開示したように、画像安定化システムは、図１１ａがその１つである画像のシーケンスで示された場合、画像１４３を再生装置の表示領域の中心に向けて移動させる傾向があり、その上限および下限はこの図で破線１５１で示されている。これによって、シフトされた枠の上部に隙間が生じる。動的境界が生成された場合、安定化された画像の上部の境界はこの間隙を隠すために、少なくともこの動きと同じ大きさに作成される。

図１１ｂ）は、短時間後にカメラによって記録された画像を表し、そのときカメラはカメラの揺れのために動いており、今は比較的大きいシーン１４４の底部１４６に向いている。このため、比較的大きいシーン１４４の上部１４７はこのフレームに記録されていない。やはり、安定化ルーチンは、破線１５１で示したように、この画像を表示領域の中心に移動させる傾向があり、これによって生じた間隙も動的境界が生成されたときに覆われる。安定化された画像の上部および下部に空白領域を生じさせる上記の機構の他に、１つの画像で見えるが他の画像では見えない比較的大きいシーン１４４の幾つかの領域がある。たとえば、図１１ａでは、木１４８の頂部を見ることができるが、地面を見ることができない。同様に図１１ｂでは、地面１４９を見ることができるが、木の頂部を見ることができない。境界が単に空白領域を覆った場合、ある時にだけ見えるシーンによって生じるこれらの境界に隣接するフリッカ領域がまだ見える。上述の急速に変わるエッジがある。これらを隠すため、この領域を覆うように境界が拡張され、このサイズは、前の５０個の画像で見られた画像の（安定化オフセットによって与えられる）最大可動域の検査によって決定される。

図１１ｃは、上記のように生成されて急速に動くエッジを覆うための、数１５１で示した表示領域内の境界１５０を有する、得られた安定画像を示す。

代替実施形態は、動くエッジ問題に異なる方法で対処する。ここでは、カメラの動きによって画像内に空白領域が生成され、前の画像からの画像情報が使用されて空白領域が効果的にオーバーレイされる。これは、上記のようにオフセットによってシフトされた現在の画像を含むバッファ画像を生成することによって行われ、オフセットはバッファ内の前の１つまたは複数の画像上に書き込まれて、画像データが現在の画像に存在する部分だけに重ね書きし、現在の画像の空白領域に対応するバッファ内の部分はもとのままになされる。こうすると、バッファ画像が境界１５１によって与えられた表示領域よりも大きい画像になるが、現在の画像と前の画像の合成になる。バッファ画像は、比較的大きいシーン１４４のサイズになる。次いで、破線１５１で与えられた表示部の制限内に合うこのバッファ画像の一部を、表示または記録装置に出力し、それによってデッド領域または境界空間を表示する必要がないことが保証される。

さらなる実施形態は、表示すべき画像のサイズを線形スケーリングによって拡張して、画像がそうでなければ空白になる部分を画像シフティングプロセスによって覆うようになされている。

当業者には理解されるように、本発明の範囲内にある他の実施形態を思いつくことができ、したがって、本発明は本明細書に記載した実施形態に限定されるものではない。

本発明を実施することができるハードウェアを示す図である。 本発明の一実施形態のトップレベルの操作を示すデータ流れ図である。 画像の動きオフセットおよびローカル動きマスクを推定するステップをより詳細に示す図である。 各画像ｎについてのＧＭＯの計算をより詳細に示す図である。 各画像ｎについてのＬＭＯの計算をより詳細に示す図である。 マスク画像を生成するプロセスをより詳細に示す図である。 ＧＭＯにおける動きオフセット誤差の補正に関するステップをより詳細に示す図である。 カメラのパンおよびズーム検出の動作をより詳細に示す図である。 ズーム動作の検出で画像ｎについてＬＭＯの外部セットの使用を示す図である。 前に計算された情報を与えられた最終安定画像の生成に関するステップをより詳細に示す図である。 安定画像上の動的境界の生成の効果を示す図である。 安定画像上の動的境界の生成の効果を示す図である。 安定画像上の動的境界の生成の効果を示す図である。

Claims (21)

1. 画像ソースからの複数の画像を表す１つまたは複数の信号を受信するように構成され、少なくとも画像（ｎ−１）および画像（ｎ−２）に後続する画像ｎについて、画像ｎと前の画像で画像化されたシーンの間の空間的分離を表す画像ｎと前の画像の間のグローバル動きオフセット（ＧＭＯ）値を推定し、このＧＭＯに基づいて画像ｎに補正の動きを適用するように構成された、カメラの動きを補正するビデオ画像安定化システムであって、
   システムが、ＧＭＯの推定で考えられない、ＧＭＯの推定を誤らせる可能性が高いと推定される、画像ｎの１つまたは複数の領域を表すマスクを参照して、画像ｎについてのＧＭＯを推定するように構成されることを特徴とする安定化システム。
2. システムが、画像ｎの１つまたは複数のローカル領域および前の画像の対応するローカル領域を検査し、現在と前の画像の対応するローカル領域の同様の特徴の間の空間分離を表すローカル動きオフセット（ＬＭＯ）を推定し、ＬＭＯまたは各ＬＭＯが所与の閾値よりも大きい場合は、この１つまたは複数のローカル領域に対応するマスクの１つまたは複数の領域がＧＭＯ推定からの省略を示すように設定するように構成される請求項１に記載の安定化システム。
3. ローカル領域が長方形の領域のアレイを含む請求項２に記載の安定化システム。
4. システムが、画像ｎを表すが画像ｎよりも低い空間分解能を有する画像のＧＭＯを推定するように構成される請求項１から３のいずれか一項に記載の安定化システム。
5. システムが、それぞれ画像ｎを表す複数の画像のＧＭＯの推定を繰返すように構成され、複数の画像のそれぞれが異なる空間解像度を有する請求項４に記載の安定化システム。
6. システムが、静止カメラ状態が検出された場合にＧＭＯを調整するように構成され、この状態が、現在のＧＭＯを含み全て所与の閾値未満である複数の連続したＧＭＯによって示される請求項１から５のいずれか一項に記載の安定化システム。
7. システムが、画像ソースの視方向（パン）または視界（ズーム）の意図的調整が検出された場合に、ＧＭＯを調整するように構成される請求項２から６のいずれか一項に記載の安定化システム。
8. システムが、故意でないカメラの動きから予測される遮断周波数よりも低い遮断周波数で少なくとも前の画像のシーケンスからの低域通過フィルタリングされたＧＭＯ値によって、画像ソースのパンを検出するように構成される請求項７に記載の安定化システム。
9. 画像ｎについて検査したＬＭＯの数ｘが全て画像ｎの中心領域に向かう移動方向を示すか、または全てが画像ｎの中心領域から離れる移動方向を示し、数ｘが所与の閾値よりも大きい場合には、ズームが検出される請求項７または８に記載の安定化システム。
10. 閾値が、検査されたそれらのＬＭＯの５０％であり、数ｘが画像ｎの中心領域に向かう移動方向を示す検査されたそれらのＬＭＯの数と画像ｎの中心領域から離れる移動方向を示す検査されたそれらＬＭＯの数の絶対差に比例する請求項９に記載の安定化システム。
11. 検査されたＬＭＯが画像ｎのエッジに実質的に隣接するそれらのローカル領域から得られる請求項９または１０に記載の安定化システム。
12. システムが、画像ｎの少なくとも１つのエッジ上に境界を生成するように構成され、境界が画像ｎのエッジと画像ｎが表示される表示領域の対応するエッジとの間の空白空間を全て覆うように、境界のサイズが調整可能である請求項１から１１のいずれか一項に記載の安定化システム。
13. システムが、画像ｎの少なくとも１つのエッジ上で境界のサイズを調整して、境界が１つまたは複数の前の画像に存在する空白空間に対応する画像ｎ上の領域も覆うように構成される請求項１２に記載の安定化システム。
14. システムによって生成された境界が１つまたは複数の前の画像からの画像データを含む請求項１２に記載の安定化システム。
15. システムが、画像ｎをスケーリングして、画像ｎが画像ｎのエッジと画像ｎが表示される表示領域の対応するエッジとの間の空白空間を全て覆うように構成される請求項１から１１のいずれか一項に記載の安定化システム。
16. 画像ｎの異常画素は、それらがＧＭＯの推定から除外されるようにマスクの対応する画素を設定するために使用される請求項１から１５のいずれか一項に記載の安定化システム。
17. 画像ｎと前の画像ｍの絶対差を含み、画像ｎとｍの両方に補正の動きが適用された画像の閾値を超える画素が異常であるとみなされる請求項１６に記載の安定化システム。
18. システムが、画像ｎをシフトする前に、任意の他の操作で調整されたように計算されたＧＭＯに、０と１の間にある減衰定数係数を掛けるように構成される請求項１から１７のいずれか一項に記載の安定化システム。
19. 現在と前の画像の両方が電気信号によって表されるビデオ画像のシーケンスの一部であり、
    ｉ．現在の画像で画像化されたシーンと前の画像で画像化されたシーンの間の空間的分離を表す現在と前の画像の間のグローバル動きオフセット（ＧＭＯ）を推定するステップと、
    ｉｉ．このＧＭＯに基づいて現在の画像に補正の動きを適用するステップとを含む、
    少なくとも１つの前の画像に対して現在の画像を安定化させる方法であって、
    マスク画像がＧＭＯの推定に使用され、マスク画像はＧＭＯの推定で考慮されない現在の画像の１つまたは複数の領域を表し、その１つまたは複数の領域はＧＭＯの推定を誤り導く可能性が高いと推定される１つまたは複数の領域であることを特徴とする方法。
20. 現在の画像の１つまたは複数のローカル領域および前の画像の対応するローカル領域を調査し、現在と前の画像の対応するローカル領域の同様の特徴の間の空間的分離を表すローカル動きオフセット（ＬＭＯ）を推定し、ＬＭＯまたは各ＬＭＯが所与の閾値より大きい場合はこの１つまたは複数のローカル領域に対応するマスクの１つまたは複数の領域をＧＭＯ推定からの省略を示すように設定するステップをさらに含む請求項１９に記載の方法。
21. コンピュータ上で稼動するように設計され、ビデオ画像安定化システムを実行するように構成されたコンピュータプログラムであって、システムが、入力として画像ソースからの複数の画像を表すディジタル信号を受信するように構成され、少なくとも画像（ｎ−１）および画像（ｎ−２）に後続する画像ｎについて、システムが、画像ｎと前の画像で画像化されたシーンの間の空間的分離を表す画像ｎと前の画像の間のグローバル動きオフセット（ＧＭＯ）値を推定し、このＧＭＯに基づいて画像ｎに補正の動きを適用するように構成され、
    システムが、ＧＭＯ推定で考慮されない画像ｎの１つまたは複数の領域を表すマスクを参照して、画像ｎについてのＧＭＯを推定するように構成され、その１つまたは複数の領域はＧＭＯの推定を誤らせる可能性が高いと推定される１つまたは複数の領域であることを特徴とするコンピュータプログラム。

Images