JP2012165365A - 適応フィルタリングを利用したデジタルイメージ安定化方法 - Google Patents

Abstract

【課題】補償ウィンドウオーバーエクスカーションのヒストリー（ｈｉｓｔｏｒｙ）に基づいてビデオフレームの場面で止められた／背景客体を代表する主要（ｐｒｉｎｃｉｐａｌ）変換／補償変換Ｐ（ｎ）を適応的にフィルタリングする段階を含むデジタルイメージ安定化方法を提供する。
【解決手段】デジタルイメージ安定化方法ビデオは、タイルモーションベクトル（Ｔｉｌｅ ＭＶ）グループの複数の変換のそれぞれと特徴点モーションベクトル（ＦＰ ＭＶ）グループのそれぞれとのスコアリングに基づいて、フレームの場面内の停止／背景客体を表わす主要変換を選択する段階と、停止（背景）グループのヒストリーと複数のモーションベクトルグループのそれぞれのヒストリーとに基づいて大型移動客体を除外させる段階と、を含む。
【選択図】図１

Description

本発明の概念は、デジタルイメージ安定化（ｄｉｇｉｔａｌ ｉｍａｇｅ−ｓｔａｂｉｌｉｚａｔｉｏｎ、ＤＩＳ）に関し、特に、キャプチャーされたビデオフレーム（ｃａｐｔｕｒｅｄ ｖｉｄｅｏ ｆｒａｍｅｓ）の補償ウィンドウ（ｃｏｍｐｅｎｓａｔｉｏｎｗｉｎｄｏｗｓ）のオーバーエクスカーション（ｏｖｅｒ−ｅｘｃｕｒｓｉｏｎ）を減らすための方法に関する。

デジタルカメラ、デジタルビデオカメラ、及びこのようなカメラを含むハンドヘルドデバイス（ｈａｎｄ−ｈｅｌｄ ｄｅｖｉｃｅｓ）は、カメラが、操作者の手で動作される間に、イメージまたはビデオをキャプチャー（ｃａｐｔｕｒｅ）するために度々使われる。そのため、ビデオカメラは、イメージまたはビデオをキャプチャーする間に、手ぶれや、ジッタ（ｊｉｔｔｅｒ）が発生しうる。ジッタ（ｊｉｔｔｅｒ）は、水平成分、垂直成分、及び回転成分を含みうる。ジッタは、ハンドキャプチャードビデオ（ｈａｎｄ−ｃａｐｔｕｒｅｄ ｖｉｄｅｏ）を、これを見る人にディストラクティング（ｄｉｓｔｒａｃｔｉｎｇ）またはディスオリエンティング（ｄｉｓｏｒｉｅｎｔｉｎｇ）するように作ることができ、したがって、デジタル的にカメラ軌跡を推定し（すなわち、連続したフレームの各対の間から検出されたジッタ）、同じ場面（ｓｃｅｎｅ）のビデオフレームのシーケンス（ｓｅｑｕｅｎｃｅ）からジッタをフィルタリング（ｆｉｌｔｅｒ ｏｕｔ）するためのデジタル回路を使うことが要求される。

静的もしくは動的に安定したビデオカメラによって製作されたビデオは、キャプチャーされたビデオに主に滑らかなモーション、例えば、並進（ｔｒａｎｓｌａｔｉｏｎ）または回転（ｒｏｔａｔｉｏｎａｌ）を含んでいる。一方、不安定なビデオカメラは、ビデオイメージの全体に亘って高周波数のジッタ（並進及び／または回転）を含むビデオとなる。

デジタルイメージ安定化（ＤＩＳ）システムは、まず所望しない（意図されていない）モーション（ｍｏｔｉｏｎ）を推定した後、訂正をイメージシーケンスに適用する。正確なグローバルモーション（ｇｌｏｂａｌ ｍｏｔｉｏｎ）の推定（カメラ軌跡推定）は、ビデオ安定化アルゴリズムの核心である。安定化されたビデオの視覚的効果は、カメラ軌跡推定の質に大きく依存する。カメラ／場面のグローバルモーションは、意図されたグローバルモーション、例えば、パンニング（ｐａｎｎｉｎｇ）グローバルモーションと意図されていないグローバルモーション、例えば、ジッタリ（ｊｉｔｔｅｒｙ）グローバルモーションとを区別するために分析され、補償変換Ｐ（ｎ）は、意図されていないジッタリモーションを補償するために生成される。ビデオ安定化アルゴリズムは、ユーザが所望するカメラモーションが保持される間にジッタモーションを除去する。一般的に、カメラモーションが遅く線形的であるか、単調な間に、迅速で（すなわち、高周波数の）非線形的な手ぶれまたはプラットフォームの振動によってジッタが引き起こされる。グローバルモーション（カメラ軌跡）ベクトルは、マッチングされる特徴点ペア（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｐａｉｒ）を使って隣接したフレームの間で計算された補償変換Ｐ（ｎ）のアフィン変換パラメータ（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎｐａｒａｍｅｔｅｒｓ）に含まれる。

前記補償変換Ｐ（ｎ）は、アフィン変換であり得る。数学で、アフィン幾何学は、アフィン変換によって変わらないように保持される幾何学的性質、すなわち、非特異線形変換及び変形（ｎｏｎ−ｓｉｎｇｕｌａｒ ｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍａｔｉｏｎａｎｄ ｔｒａｎｓｌａｔｉｏｎ）の研究である。アフィン行列と呼ばれる数字で表われる係数によって定義される方程式の数学的システムは、連続したフレームの各ペア（ｐａｉｒ）の間で、またはこれらの一部（例えば、フレーム内の移動客体）の間で感知された移動の側面（ｌａｔｅｒａｌ、例えば、上／下）、回転、及びスカラー（ｓｃａｌａｒ、例えば、ズームイン（ｚｏｏｍ ｉｎ）またはズームアウト（ｚｏｏｍ ｏｕｔ））の性質を表わすために発展した。したがって、カメラジッタの補償のための補償変換Ｐ（ｎ）は、画面で実際に止められたある客体（例えば、岩、テーブル、駐車された車、山、太陽）に関連した第１アフィン変換行列（Ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に特性化されうる。ほとんどの場合に、手ぶれとプラットフォームの振動の結果からビデオフレームの並進、回転、及びスケーリング（ｓｃａｌｉｎｇ）が発生する。このようなものなどをモデリング（ｍｏｄｅｌｉｎｇ）するために、６つのパラメータ（ｐａｒａｍｅｔｅｒ）のアフィン変換が要求される。

たとえ補償変換Ｐ（ｎ）が所望しないジッタモーションに対する補償を行うために正確に生成されても、その結果の補償フレームは、キャプチャーされた入力ビデオフレームに関連した意味のあるオシレーティング（ｏｓｃｉｌｌａｔｉｎｇ）動きを有し、キャプチャーされた入力ビデオフレームで使用可能なイメージデータを超えて拡張されうる。この結果、補償ウィンドウ（ｗｉｎｄｏｗ）のオーバーエクスカーションが発生することがある。

ビデオに含まれたジャーキーモーション（ｊｅｒｋｙ ｍｏｔｉｏｎ）を除去するために、補償ユニット（ｃｏｍｐｅｎｓａｔｉｏｎ ｕｎｉｔ）は、各入力ビデオフレームの境界地域（ｂｏｕｎｄａｒｙ ｒｅｇｉｏｎｓ）の一部を切り取る（ｃｒｏｐ）。除去された境界地域の量は、クロッピング比率（ｃｒｏｐｐｉｎｇ ｒａｔｉｏ）によって計量されうる。大きなクロッピング比率は、境界のさらに多い領域が除去されることを意味する。

出力ビデオフレームは、入力ビデオフレームに重なった補償ウィンドウとしてモデリングされうる（例えば、図１の場合）。例えば、補償ウィンドウは、入力ビデオフレームに対して回転、シフト（ｓｈｉｆｔ）、スケーリングされうる。

与えられたクロッピング比率に対して、補償ウィンドウの動きの量は、補償ウィンドウエクスカーション（ｃｏｍｐｅｎｓａｔｉｏｎ ｗｉｎｄｏｗ ｅｘｃｕｒｓｉｏｎ）と呼ばれる。入力ビデオフレーム境界を越えた補償ウィンドウの動きは、補償ウィンドウオーバーエクスカーション（ｃｏｍｐｅｎｓａｔｉｏｎ ｗｉｎｄｏｗ ｏｖｅｒ−ｅｘｃｕｒｓｉｏｎ）と呼ばれる。

もし、ジッタがなければ（例えば、所望していないカメラ軌跡がなければ）、補償変換Ｐ（ｎ）（実際に止められた客体（ａｃｔｕａｌｌｙ−ｓｔａｔｉｏｎａｒｙ ｏｂｊｅｃｔｓ）の特徴点に基づいた）は、少なくとも２つ以上のフレームのそれぞれで同じ位置になると予想することができる。もし、高周波数のジッタがあれば、減少したディグリー（ｄｅｇｒｅｅ）または減少した周波数の補償ウィンドウオーバーエクスカーションを有する空間的に安定した（ｓｐａｔｉａｌｌｙ ｓｔａｂｉｌｉｚｅｄ）ビデオとすることが要求される。

十分ではないビデオ安定化とオーバーエクスカーションとの間で、適応的に均衡を取るフィルタリング（ｆｉｌｔｅｒｉｎｇ）方法の要求が存在する。

本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、補償ウィンドウオーバーエクスカーションのヒストリー（ｈｉｓｔｏｒｙ）に基づいてビデオフレームの場面で止められた／背景客体を代表する主要（ｐｒｉｎｃｉｐａｌ）変換／補償変換Ｐ（ｎ）を適応的にフィルタリングする段階を含むデジタルイメージ安定化方法を提供することにある。

また、本発明の目的は、強補償（ｓｔｒｏｎｇ ｃｏｍｐｅｎｓａｔｉｏｎ、ＳＣ）フィルターを用いて高効率と予測可能なジッタ除去方法とを提供することにある。前記ＳＣフィルターは、高周波数−選択的な高次線形時不変デジタルフィルター（ｈｉｇｈｌｙ ｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ ｈｉｇｈ−ｏｒｄｅｒ ｌｉｎｅａｒ ｔｉｍｅ−ｉｎｖａｒｉａｎｔ ｄｉｇｉｔａｌ ｆｉｌｔｅｒ）である。前記ＳＣフィルターを使ったジャーキー入力ビデオの効果的なフィルタリングは、キャプチャーされた入力ビデオフレームの間の補償ウィンドウの意味のある動きを意味する。与えられたクロッピング比率に対して、前記補償ウィンドウの動きの量は、補償ウィンドウエクスカーション（ｅｘｃｕｒｓｉｏｎ）と呼ばれる。キャプチャーされた入力ビデオフレーム境界を越えた補償ウィンドウの動きは、補償ウィンドウオーバーエクスカーションと呼ばれる。入力ビデオの大きな移動のための前記ＳＣフィルターの厳格な適用は、さらに多い補償ウィンドウオーバーエクスカーションの代価で非常に安定した出力ビデオを生産する。一方、さらに低い周波数−選択的な（ｌｏｗｅｒ ｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ）特性を有する弱補償（ｗｅａｋ ｃｏｍｐｅｎｓａｔｉｏｎ、ＷＣ）フィルターは、さらに低い安定性の出力ビデオの代価でさらに低い補償ウィンドウオーバーエクスカーションを生産する。

また、本発明の目的は、優れたビデオ安定性の特性を保持する一方、入力ビデオの大きな動きとともに発生する過度なオーバーエクスカーションを防止するために構成される適応的補償（ａｄａｐｔｉｖｅ ｃｏｍｐｅｎｓａｔｉｏｎ、ＡＣ）フィルターを提供することにある。

上記目的を達成するためになされた本発明の一実施態様による線形時不変フィルター（ｌｉｎｅａｒ ｔｉｍｅ−ｖａｒｉａｎｔ ｆｉｌｔｅｒ）は、予測可能な特性を提供するために、ＳＣフィルターを補完するＷＣフィルターを含む。ＷＣフィルターとＳＣフィルターとの組み合わせは、複数のＫフレームの間に補償ウィンドウエクスカーションのヒストリーに基づいて制御される。ヒストリー内の小さなエクスカーションは、現在フレームｎに対するＳＣフィルターの大きな影響を許容する一方、ヒストリー内の大きなエクスカーションは、現在フレームｎに対するＷＣフィルターの大きな影響を妥当なものに作る。ヒストリー内の中間値（ｍｅｄｉｕｍ）のエクスカーションは、ＳＣフィルターとＷＣフィルターとの比例的な影響を配分する。

上記目的を達成するためになされた本発明の一実施態様による線形時不変フィルターに含まれたＤＩＳ方法を行うためのデジタルイメージ安定化回路は、ビデオカメラ内に含まれ、キャプチャーされたビデオフレームの保存に先立って（例えば、ビデオカメラがリアルタイムＭＰＥＧエンコーダ（ｅｎｃｏｄｅｒ）を含むとすれば、ＭＥＰＧエンコーディング（ｅｎｃｏｄｉｎｇ）に先立って、またはＭＰＥＧエンコーディングを行う間に）、リアルタイムでジッタを除去することに活性化されうる。選択的に連続したビデオフレームのカメラ軌跡を推定し、ビデオフレームの保存されたシーケンスからジッタをフィルタリングできるＤＩＳ回路は、デジタルイメージ安定化方法を行うのに最適化されたＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）に具現されたＭＥＰＧビデオエンコーダのように、一般的な目的のデジタルイメージ安定化方法を具現するためのソフトウェアによって制御されるマイクロコンピュータ（ｍｉｃｒｏｃｏｍｐｕｔｅｒ）または専用ハードウェアであり得る。

本発明の概念による実施形態の特徴は、計算された主要変換／補償Ｐ（ｎ）変換を計算し、オーバーエクスカーションの除去に最適化されたフィルタリングされた主要／補償Ｐ’（ｎ）を出力するためのフィルタリング強度を選択するための補償ウィンドウオーバーエクスカーションヒストリーデータの連続した保存である。

前記方法は、垂直方向−上側、垂直方向−下側、水平方向−右側、及び水平方向−左側を同時に測定し、フィルタリング係数Ｅ（ｎ）を選択するために、それらのうちから極点（ｐｅａｋ）を検出する。

本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の詳細な説明が提供される。

本発明の概念の実施形態によるデジタルイメージ安定化（ＤＩＳ）方法を行うＤＩＳ回路のブロック図である。 複数のタイルベクトルグループ（ｔｉｌｅ ｖｅｃｔｏｒ ｇｒｏｕｐｓ）のアフィン（ａｆｆｉｎｅ）変換を演算するための図１に示されたＤＩＳ回路に含まれた感知ユニットのブロック図である。 図１に示されたＤＩＳ回路に含まれたタイルグループ変換と特徴グループ変換Ｔ_ｉ（ｎ）とのスコアリング（ｓｃｏｒｉｎｇ）に基づいて主要（固定／背景）変換Ｐ（ｎ）を選択するための軌跡ユニットの一実施形態によるブロック図である。 （Ａ）は、図１に示されたＤＩＳ回路のＤＩＳ方法の段階を行うための本発明の一実施形態によるグループ変換スコアリング（ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ）及び選択回路のブロック図である。（Ｂ）は、本発明の一実施形態によるヒストリースコア（ｓｔｏｒｙ ｓｃｏｒｅ）計算ユニットのブロック図である。 本発明の一実施形態によるコレクティブ変換スコアリング（ｃｏｌｌｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ）及び選択回路のブロック図である。 本発明の一実施形態による移動客体除外回路（ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｅｘｃｌｕｓｉｏｎ ｃｉｒｃｕｉｔ）のブロック図である。 本発明の概念の一実施形態による処理段階を示すフローチャートである。 キャプチャーされたビデオフレームと本発明の概念の一実施形態によるＤＩＳ方法に含まれた段階で計算される補償ウィンドウとを示す図である。 ＤＩＳを行うＤＩＳモジュールのブロック図である。 本発明の概念の一実施形態による適応的補償フィルターモジュールのブロック図である。 本発明の概念の一実施形態による適応的補償フィルターモジュールの概略的なブロック図である。

本発明の一実施形態によって、各キャプチャーされたビデオフレームは、デジタルイメージ安定化に適するように優れた特徴点分布（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｄｉｓｔｒｉｂｕｔｉｏｎ）を提供する特徴点をアルゴリズム的に選択する目的で、少ない数の重ならないタイル（ｔｉｌｅｓ、典型的に、標準画質のための４×４タイル、及び高画質のための６×６タイル）に分けられる。
前記イメージの他の部分は、適した特徴点の他の密度を有しうる。極端的な場合、例えば、雲一つない青空の場合に、フレームの部分は、如何なる適した特徴点を有さないこともある。他の部分で、潜在的な特徴点は、非常に稠密である。

得られた特徴点分布は、ビデオフレーム、例えば、重ならないタイルの小さな部分に基づき、各タイル内の特徴点の個数が、前記タイルの発光イメージデータの分散σ^２によって線形的に増加する。さらに関心のあるイメージデータのタイルと、それによるさらに多い特徴点に対する要求は、さらに高い分散σ^２を有することが予測される。同時に係留中である出願番号８７２９−３５７（“デジタルイメージ安定化装置及び方法”）を見れば、同時に、単に小さなローカル状態情報のみを要求するにもかかわらず、各タイルに含まれた特徴点の間の最小距離（ＭＩＮ＿ＤＩＳＴ）を設定することによって、ハードウェア具現コストを減少させる過程が描写されている。前記出願番号８７２９−３５７の公開文献は、参照文献としてこれに含まれる。

もし、場面が低光条件（ｌｏｗ ｌｉｇｈｔ ｃｏｎｄｉｔｉｏｎ）でキャプチャーされれば、それは、相対的にさらに多いノイズを有し、特徴点のピクセル（ｐｉｘｅｌｓ）の個数は、タイル内のピクセルの個数より遥かに少ないために、ノイズ効果は、タイルより特徴点にさらに大きく作用する。タイル内のピクセルのさらに大きな個数は、ノイズ消去効果を提供し、このような場合に、ダウンサンプリングされたタイル基盤モーションベクトル（ｄｏｗｎｓａｍｐｌｅｄ ｔｉｌｅ−ｂａｓｅｄ ｍｏｔｉｏｎｖｅｃｔｏｒ）がさらに正確である。

たとえ場面が低光条件でキャプチャーされないとしても、もし場面が過度にフラット（ｆｌａｔ）になれば、タイル基盤モーションベクトル（ｔｉｌｅ−ｂａｓｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）は、さらに正確である。もし、タイル場面が、曇った空または青い空のように非常にフラットになれば、若干の特徴点があり、フラットタイル（ｆｌａｔ ｔｉｌｅ）内のこのような特徴点は、次のフレーム内の多くの場所内のマッチング点（ｍａｔｃｈｉｎｇ ｐｏｉｎｔ）と類似したレベルを見つけることができる。しかし、タイル基盤マッチング（ｔｉｌｅ−ｂａｓｅｄ ｍａｔｃｈｉｎｇ）は、小さな特徴点探索領域にのみ依存するものではなく、タイルのあらゆるパターンが、タイルマッチングプロセスに貢献することができる。結果的に、タイル基盤モーションベクトルは、場面がフラットになる時にさらに信頼することができる。

特徴点モーションベクトルグループ（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｇｒｏｕｐｓ）の最も高いスコアがスレショルド値（ｔｈｒｅｓｈｏｌｄ）より小さい時、我々は、特徴点基盤モーションベクトルの代わりに、タイル基盤モーションベクトル（ｔｉｌｅ−ｂａｓｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒｓ）を使うように決定し、このような方策は、高いノイズまたはフラットな場面で効果的に作用する。

本発明の概念の実施形態によって、我々は、背景と大きな客体の動きとを表わす推定されたモーションベクトルを選択する一方、さらに小さな物体は、それらと関連した正確なモーションベクトルを有する必要がない。さらに小さな客体に対するある不正確なベクトルは、ＤＩＳアルゴリズムの以後の段階で除去されうる。

グローバル動き（ｇｌｏｂａｌ ｍｏｖｅｍｅｎｔ）またはカメラ動き（ｃａｍｅｒａｍｏｖｅｍｅｎｔ）のために、意味のある（ｏｆ ｓｉｇｎｉｆｉｃａｎｃｅ）大きな静的な物体の特徴点は、一貫した経路を移動することが予測される。我々は、独立して動く十分に大きな物体は、少なくとも１つのタイルのほとんどをカバー（ｃｏｖｅｒ）することを認知し、したがって、小さな物体のモーションがタイル自体のモーションベクトルで少ない効果を有する限り、それらのモーションは、タイル自体の優勢（ｐｒｅｄｏｍｉｎａｔｅ）モーションとして推定されうる。

我々は、最低の解像度でブロックマッチング（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ）を用いてタイル毎に１つのモーションベクトルを得る。タイル基盤モーションベクトルは、高いノイズまたはフラット場面ビデオのような特別な場合でのカメラ軌跡決定のために使われる。

与えられたタイルに対するモーションベクトルは、絶対差の和（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）を最小にすることである。そして、各タイル内の特徴点のモーションベクトルを計算するプロセスは、階層的モーション推定アルゴリズムの使うことによって、そして、タイルのモーションベクトルを開始ベクトルとして使って、ローカル動き上のタイル動きを使用して（ｐｒｅｆｅｒｒｉｎｇ）、計算量を減らすように変更されうる。少なくとも一つのタイルのほとんどをカバーする十分に大きな物体は、燐接したタイルに確張することができるために、各タイル内のいくつかの特徴点は、それらが発見されたタイルのモーションベクトルより燐接したタイルのモーションベクトルにさらに強く関連づけることができる。したがって、あらゆる隣接したタイルのモーションベクトルを、ある与えられたタイルの特徴点のモーションベクトルに対するブロックマッチング探索のマルチプル（ｍｕｌｔｉｐｌｅ）開始ベクトルとして使うことが効果的である。したがって、選択された特徴点のモーションベクトルを得るために使われる開始ベクトルは、それが存在するならば、四方向の直接的な隣接タイル（上側タイル、左側タイル、右側タイル、下側タイル）に属するモーションベクトルと同様に特徴点が属するタイルのモーションベクトルである。使われる開始ベクトルごとに、我々は、単に特徴点モーションベクトルに対するローカル探索（ｌｏｃａｌ ｓｅａｒｃｈ）のために、非常に小さな範囲を使う。これの目的は、それぞれの、そして、あらゆる特徴点に対する正確なベクトルを決定するものではない（バッド（ｂａｄ）モーションベクトルは、ＤＩＳプロセッシングチェーン（ｃｈａｉｎ）内において後で分類される）。むしろ、関心のある特徴点は、単に背景または大きな客体に属するものである。そのような特徴点に対して、タイルモーションベクトルのうちの１つは、良いか、関心のある特徴点のモーションベクトルに近くなければならず、それにより、各選択されたタイルモーションベクトルに対する小さなローカル探索は十分である。小さなローカルブロックマッチング探索（ｓｍａｌｌ ｌｏｃａｌ ｂｌｏｃｋ ｍａｔｃｈｉｎｇ ｓｅａｒｃｈ）は、タイル内のあらゆる選択された特徴点に対する開始ベクトルの集合（ｓｅｔ）のそれぞれ周辺の高解像度ドメイン（これは、オリジナルビデオ解像度、または２または４のｆ_ｓ３要素によって副標本化された（ｓｕｂｓａｍｐｌｅｄ）ものであり得る）で行われる。

図１は、本発明の概念の実施形態と関連したＤＩＳ方法を行うデジタルイメージ安定化（ＤＩＳ）回路のブロック図である。前記ＤＩＳ回路は、受信されたジャーキービデオ（ｊｅｒｋｙ ｖｉｄｅｏ）を分析し、インターフレーム変換（ｉｎｔｅｒ−ｆｒａｍｅ ｔｒａｎｓｆｏｒｍｓ；Ｔ_ｉ（ｎ））を出力する感知ユニット（ｄｅｔｅｃｔｉｏｎ ｕｎｉｔ）２０００、インターフレーム変換Ｔ_ｉ（ｎ）のうちから選択された主要変換／補償変換Ｐ（ｎ）を出力する軌跡ユニット（ｔｒａｊｅｃｔｏｒｙ ｕｎｉｔ）４０００、及び選択された主要変換／補償変換Ｐ（ｎ）を用いて、ジャーキービデオを修正して安定化したビデオを出力する補償ユニット（ｃｏｍｐｅｎｓａｔｉｏｎ ｕｎｉｔ）６０００を含む。

感知ユニット２０００は、ビデオデータの受信されたフレーム内の特徴点（ＦＰ）のインターフレームモーションベクトルと重ならないタイル（タイルベクトル）のインターフレームモーションベクトルとを推定する。感知ユニット２０００は、ＦＰモーションベクトルグループ変換（ＦＰ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍｓ）とタイルベクトルグループ変換Ｔ_ｉ（ｎ）とをさらに出力する。

軌跡ユニット４０００は、インターフレーム変換Ｔ_ｉ（ｎ）のうち１つを主要変換Ｐ（ｎ）として選択し、小さな移動客体と動いて全体フレームをカバーすることができる大きな移動客体のインターフレーム変換を除く。

図２は、図１のＤＩＳ回路のＤＩＳ方法の段階としてタイルベクトルグループのアフィン変換を計算する図１のＤＩＳ回路内の感知ユニットのブロック図である。感知ユニット２０００は、特徴点回路（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｃｉｒｃｕｉｔ）３０００、モーションベクトル（ＭＶ）グループ化回路（ｍｏｔｉｏｎ ｖｅｃｔｏｒ（ＭＶ）ｇｒｏｕｐｉｎｇ ｃｉｒｃｕｉｔ）１３００、及びモーションベクトル（ＭＶ）グループアフィン変換計算器（ｍｏｔｉｏｎ ｖｅｃｔｏｒ（ＭＶ）ｇｒｏｕｐ ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ ｃａｌｃｕｌａｔｏｒ）２０１０を含む。

特徴点回路３０００は、ビデオデータの各フレームを受信し、各ビデオフレームを重ならないタイルの小さな数字ｊ×ｋで割る。タイルの個数ｊ×ｋは、ＳＤビデオ（ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ ｖｉｄｅｏ）のための４×４からＨＤビデオ（Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ ｖｉｄｅｏ）のための６×６までの範囲を有し、（４．．８）×（４．．８）の範囲内の他の数字も可能であり、有利である。前記タイルサイズは、独立して動く十分に大きな物体が少なくとも１つのタイルのほとんどをカバーできるように選択され、小さな客体のモーションは無視してもよい一方、十分に大きな客体のモーションは、ＤＩＳ目的によってキャプチャーされうる。特徴点回路３０００は、受信されたビデオフレーム内の特徴点（ＳＦＰｓ）を識別して選択し、特徴点とタイルのモーションベクトル（ＳＦＰ ＭＶｓ ａｎｄ Ｔｉｌｅ ＭＶｓ）とを出力する。

特徴点回路３０００は、特徴点選択器（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｓｅｌｅｃｔｏｒ）とモーションベクトル計算器（ｍｏｔｉｏｎ−ｖｅｃｔｏｒ ｃａｌｃｕｌａｔｏｒ）と共有されたＲＡＭメモリ３５０とを含む。特徴点選択器は、ハリスコーナー特徴点候補識別器（Ｈａｒｒｉｓ−Ｃｏｒｎｅｒ ｆｅａｔｕｒｅ ｐｏｉｎｔ ｃａｎｄｉｄａｔｅ ｉｄｅｎｔｉｆｉｅｒ）、及び特徴点候補分類器（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｃａｎｄｉｄａｔｅ ｓｏｒｔｅｒ）をさらに含む。コンピュータパワー（ｃｏｍｐｕｔａｔｉｏｎａｌ ｐｏｗｅｒ）を節約し、要求される複数の動作（ｏｐｅｒａｔｉｏｎｓ）の個数を減少させるために、特徴点回路３０００は、ルーマ（ｌｕｍａ）データにのみ動作し、１つ以上のダウンサンプラー（ｄｏｗｎｓａｍｐｌｅｒｓ）及び階層的ブロックマッチング探索ユニット（ｈｉｅｒａｒｃｈｉｃａｌ ｂｌｏｃｋ−ｍａｔｃｈｉｎｇ ｓｅａｒｃｈ ｕｎｉｔ）を含む。

特徴点回路３０００は、あらゆるタイルに対する１つのモーションベクトルを推定する。タイルモーションベクトル（Ｔｉｌｅ ＭＶ）推定は、入力イメージの中央をカバーする重ならないタイル（例えば、特徴点分類アルゴリズム（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｓｏｒｔｉｎｇ ａｌｇｏｒｉｔｈｍ）内に使われる同じタイル）に基づいて行われる。タイルのそれぞれに対して、フルブロックマッチング探索（ｆｕｌｌ ｂｌｏｃｋｍａｔｃｈｉｎｇ ｓｅａｒｃｈ）は、十分にダウンサンプリングされた（ｄｏｗｎ ｓａｍｐｌｅｄ）イメージに行われる。フル探索ブロックマッチング（ｆｕｌｌ−ｓｅａｒｃｈ ｂｌｏｃｋ ｍａｔｃｈｉｎｇ）は、あらゆるタイルに対して行われ、タイルモーションベクトル（Ｔｉｌｅ ＭＶ）は、以後の使用、例えば、特徴点（３５２に保存されたＳＦＰ ＭＶ）のモーションベクトルを得るか、静的な客体感知のための階層的ブロックマッチング探索ユニット内で開始ベクトルとしての使用のために保存される（３５６）。

特徴点回路３０００は、望ましくは、ビデオフレームのタイルと呼ばれる小さな部分（タイル）に基づいた分布を有する特徴点のリスト３５２を提供する。タイル別特徴点の最大個数は、タイルの発光イメージデータ（ｌｕｍｉｎａｎｃｅ ｉｍａｇｅ ｄａｔａ）の分散σ^２によって線形的に増加する。ＤＩＳ方法のための優れた特徴点は、適したモーション推定アルゴリズムが適用される時、曖昧ではない（ｎｏｎ−ａｍｂｉｇｕｏｕｓ）モーションベクトルを算出する点である。イメージ内の特徴点を識別するために、ハリスコーナー感知アルゴリズム（Ｈａｒｒｉｓ Ｃｏｒｎｅｒ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ）は、このようなピクセルが特徴点として如何ほど適するかを測定するために、ビデオフレームのピクセルに適用される。イメージの相異なる部分（タイル）は、識別された特徴点候補の相異なる密度を有しうる。

特徴点回路３０００は、好ましくは、各タイルのモーションベクトルを計算するためのタイルベクトル計算器（ｔｉｌｅ−ｖｅｃｔｏｒ ｃａｌｃｕｌａｔｏｒ）の関数を行うモーションベクトル計算器（ｍｏｔｉｏｎ−ｖｅｃｔｏｒ ｃａｌｃｕｌａｔｏｒ）及び各選択された特徴点（ｓｅｌｅｃｔｅｄ ｆｅａｔｕｒｅ ｐｏｉｎｔ；ＳＦＰ）のモーションベクトルを決定し、出力するための階層的ブロックマッチング検索ユニット（ｈｉｅｒａｒｃｈｉｃａｌ ｂｌｏｃｋ−ｍａｔｃｈｉｎｇ ｓｅａｒｃｈ ｕｎｉｔ）を含む。タイルベクトル計算器は、現在フレーム（Ｆ_ｔ）の十分にダウンサンプリングされたルーマデータを使って、各タイルのモーションベクトルを計算する。階層的ブロックマッチング検索ユニットは、最大解像度のまたは２つの連続したフレームのダウンサンプリングされたルーマデータを用いて選択された特徴点のそれぞれのモーションベクトルを決定し、タイルベクトルを開始ベクトルとして使用できる。

データに関連したあらゆる特徴点とタイルは、次のＤＩＳブロック、具体的に、モーションベクトルグループ化回路（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｇｒｏｕｐｉｎｇ ｃｉｒｃｕｉｔ）１３００に伝達される。

モーションベクトルグループ化回路１３００は、ＦＰモーションベクトルとタイルモーションベクトルとに対してグループ化アルゴリズムを行う。モーションベクトルグループ化回路１３００は、ペアリングアルゴリズムコントローラ（ｐａｉｒｉｎｇ ａｌｇｏｒｉｔｈｍ ｃｏｎｔｒｏｌｌｅｒ）１３０２によって選択されたベクトルの各対を比較することによって、グループ化決定（ｇｒｏｕｐｉｎｇ ｄｅｃｉｓｉｏｎｓ）を行うモーションベクトル比較器（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃｏｍｐａｒａｔｏｒ）１３１０を含む。

特徴点グループ化回路（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｇｒｏｕｐｉｎｇ ｃｉｒｃｕｉｔ）１３００は、連続したビデオフレームの間で客体の認知された（ｐｅｒｃｅｉｖｅｄ）関連動作に基づいて、ＦＰモーションベクトルを場面内の客体とともに選択された特徴点（ＳＦＰｓ）のモーションベクトルで関連するようにグループ化する。特徴点グループ化回路１３００は、また連続したビデオフレームの間で客体の認知された関連動作に基づいて、タイルモーションベクトルを場面内の客体と関連するようにグループ化する。

特徴点グループ化回路１３００は、ＲＡＭメモリ３５０を特徴点回路３０００と共有する。メモリ３５０のＳＰＦ ＭＶリスト（ＳＰＦ ＭＶ ｌｉｓｔ）３５２部分は、選択された特徴点（ＳＦＰｓ）の位置とモーションベクトルのリストとを含む。メモリ３５０のタイルＭＶリスト（ｔｉｌｅ ＭＶ ｌｉｓｔ）３５６部分は、重ならないタイルの位置とモーションベクトルのリストとを含む。

ペアリングアルゴリズムコントローラ（ｐａｉｒｉｎｇ ａｌｇｏｒｉｔｈｍ ｃｏｎｔｒｏｌｌｅｒ）１３０２は、ある特徴点とタイル（モーションベクトル）とがある他のものと以前にペアリングされたか、如何なるものがアンペア（ｕｎｐａｉｒ）として残ったか、及び如何なるものが全体的にグループ化から除外されるかについてのトラックを保持する。ペアリングアルゴリズムは、反復的にモーションベクトルの対（ベクトルＡ＆ベクトルＢ）をＭＶ比較器１３１０への入力として提供する。

特徴点グループ化回路１３００内のペアリングアルゴリズムコントローラ１３０２は、ＳＰＦ ＭＶリスト３５２とタイルＭＶリスト３５６とにアクセス（ａｃｃｅｓｓ）し、モーションベクトル比較器１３１０内の比較のためのベクトルＡとベクトルＢとを選択する。一連のベクトルＡ−ベクトルＢの比較結果、１つ以上のベクトルのグループ、例えば、選択された特徴点のグループとタイルのグループとである場合、ペアリングアルゴリズムコントローラ１３０２は、グループ化されたモーションベクトルまたはその技術的なリスト（ｄｅｓｃｒｉｐｔｉｖｅ ｌｉｓｔ）をメモリ３５０のＦＰ ＭＶグループインベントリ（ｉｎｖｅｎｔｏｒｉｅｓ）３５４部分とタイルＭＶグループインベントリ３５８部分とに書き込みする。

モーションベクトル（ＭＶ）グループアフィン変換計算器２０１０は、特徴点モーションベクトルの各グループのインターフレーム変換を計算し、タイルモーションベクトルの各グループのインターフレーム変換を計算し、それらをいずれもＴ_ｉ（ｎ）として出力する。

図３は、図１のＤＩＳ回路のＤＩＳ方法の段階と関連したタイルグループ変換と特徴グループ変換Ｔ_ｉ（ｎ）とのスコアリング方法に基づいて主要（静的な／背景）変換Ｐ（ｎ）を選択するための図１のＤＩＳ回路の軌跡ユニット（ＴＵ）４０００のブロック図である。

軌跡ユニット（ｔｒａｊｅｃｔｏｒｙ ｕｎｉｔ；図３の４０００）は、タイルグループ変換スコアリング及び選択回路（ｔｉｌｅ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ ａｎｄ ｓｅｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ）４１００−１（または、図４の（Ａ）の４１００）、特徴グループ変換スコアリング及び選択回路（ｆｅａｔｕｒｅ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ ａｎｄ ｓｅｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ）４１００−２（図４の（Ａ）の４１００）、コレクティブグループ選択回路（ｃｏｌｌｅｃｔｉｖｅ ｇｒｏｕｐ ｓｅｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ；図５の４２００）、移動客体除外回路（ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｅｘｃｌｕｓｉｏｎ ｃｉｒｃｕｉｔ；図６の４４００）、及び適応的補償フィルター（ａｄａｐｔｉｖｅ ｃｏｍｐｅｎｓａｔｉｏｎ ｆｉｌｔｅｒ；図１０及び図１１の８０００）を含む。

軌跡ユニット４０００は、場面内の移動客体を無視する一方、アンステディ（ｕｎｓｔｅａｄｙ）カメラによって引き起こされる主要モーションＰ（ｎ）を識別し、選択された主要変換Ｐ（ｎ）をフィルタリングし、補償変換（ｃｏｍｐｅｎｓａｔｉｏｎ ｔｒａｎｓｆｏｒｍ；Ｃ（ｎ））を出力する。軌跡ユニット４０００は、受信されたインターフレーム変換Ｔ_ｉ（ｎ）のうちから主要変換Ｐ（ｎ）を選択するように多数の連続したスコアリング関数を使う。

図４の（Ａ）は、図１のＤＩＳ回路の軌跡ユニット４０００のグループ変換スコアリング及び選択回路（ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ ａｎｄ ｓｅｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ）４１００のブロック図である。グループ変換スコアリング及び選択回路４１００は、変換スコア計算器（ｔｒａｎｓｆｏｒｍ ｓｃｏｒｅ ｃａｌｃｕｌａｔｏｒ）４１５０、変換品質計算器（ｔｒａｎｓｆｏｒｍ ｑｕａｌｉｔｙ ｃａｌｃｕｌａｔｏｒ）４１６０、及び図１のＤＩＳ回路のＤＩＳ方法の段階を行うグループ変換及び品質選択器（ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ａｎｄ ｑｕａｌｉｔｙ ｓｅｌｅｃｔｏｒ）４１７０を含む。グループ変換スコアリング及び選択回路４１００は、タイルグループインターフレーム変換（ｔｉｌｅ ｇｒｏｕｐ ｉｎｔｅｒ−ｆｒａｍｅ ｔｒａｎｓｆｏｒｍ；Ｔ_{Ｔｉｌｅ，ｉ}（ｎ））からタイルグループ主要変換（ｔｉｌｅ ｇｒｏｕｐｐｒｉｎｃｉｐａｌ ｔｒａｎｓｆｏｒｍ；ＧＰ_Ｔｉｌｅ（ｎ））を出力し（４１００−１）、ＦＰインターフレーム変換（ＦＰ ｉｎｔｅｒ−ｆｒａｍｅ ｔｒａｎｓｆｏｒｍ；Ｔ_ＦＰ，ｉ（ｎ））から特徴グループ主要変換（ｆｅａｔｕｒｅ ｇｒｏｕｐ ｐｒｉｎｃｉｐａｌｔｒａｎｓｆｏｒｍ；ＧＰ_ＦＰ（ｎ））を出力する（４１００−２）。

図４の（Ｂ）は、図４の（Ａ）のグループ変換スコアリング及び選択回路４１００内のヒストリースコア計算ユニット（ｈｉｓｔｏｒｙ ｓｃｏｒｅ ｃａｌｃｕｌａｔｉｏｎ ｕｎｉｔ）４１１０−１の一実施形態のブロック図である。

図４の（Ａ）及び（Ｂ）を参照すると、グループ変換スコアリング及び選択回路４１００は、ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）、モーションスコア計算ユニット４１２０、特徴スコア計算ユニット４１３０に加えて規模スコア計算ユニット４１４０、変換スコアＳ_ｉ（ｎ）計算器４１５０、変換品質Ｑ_ｉ（ｎ）計算器４１６０、及びグループ変換及び品質選択器４１７０（例えば、４１７０−１）を含む。

図４の（Ａ）のグループ変換スコアリング及び選択回路４１００のグループ変換及び品質選択器４１７０は、全体変換スコア計算器４１５０から受信された（各インターフレーム変換Ｔ_ｉ（ｎ）の）全体変換スコアＳ_ｉ（ｎ）に基づいて（小さな移動客体のインターフレーム変換を排除させることで）、インターフレーム変換Ｔ_ｉ（ｎ）のうち１つをグループ主要変換ＧＰ（ｎ）として選択し、グループ主要変換ＧＰ（ｎ）とそれに関連した品質Ｑ（ｎ）とを出力する。

Ｔ_ｉ（ｎ）は、感知ユニット２０００から受信されたあらゆる受信された変換候補（ｔｒａｎｓｆｏｒｍ ｃａｎｄｉｄａｔｅｓ）のうちｉ番目の変換である。ここで、ｎは、フレームと時間的に連続した性質（ｔｉｍｅ ｓｅｑｕｅｎｃｅ ｎａｔｕｒｅ）を表わす。ＧＰ（ｎ）は、フレーム時間ｎでの選択されたグループ主要変換（ｓｅｌｅｃｔｅｄ ｇｒｏｕｐ ｐｒｉｎｃｉｐａｌ ｔｒａｎｓｆｏｒｍ）である。すなわち、選択されたｉに対して、ＧＰ（ｎ）＝Ｔ_ｉ（ｎ）である。

各Ｔ_ｉ（ｎ）に対して、全体変換スコアＳ_ｉ（ｎ）計算器４１５０は、ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）からヒストリースコアＨ_ｉ（ｎ）を受信し、モーションスコア計算ユニット４１２０からモーションスコアＭ_ｉ（ｎ）を受信し、特徴スコア計算ユニット４１３０から特徴スコアＦ_ｉ（ｎ）を受信し、規模スコア計算ユニット４１４０から規模スコアＥ_ｉ（ｎ）を受信し、全体変換スコアＳ_ｉ（ｎ）を下記の式に基づいて計算する。
Ｓ_ｉ（ｎ）＝Ｈ_ｉ（ｎ）＊Ｍ_ｉ（ｎ）＊Ｆ_ｉ（ｎ）＊Ｅ_ｉ（ｎ）

各Ｔ_ｉ（ｎ）に対して、変換品質Ｑ_ｉ（ｎ）計算器４１６０は、特徴スコア計算ユニット４１３０から特徴スコアＦ_ｉ（ｎ）を受信し、規模スコア計算ユニット４１４０から規模スコアＥ_ｉ（ｎ）を受信し、下記の式に基づいて変換品質Ｑ_ｉ（ｎ）を計算する。
Ｑ_ｉ（ｎ）＝Ｆ_ｉ（ｎ）＋Ｅ_ｉ（ｎ）

最も大きな値Ｓ_ｉ（ｎ）を有するＴ_ｉ（ｎ）は、図４の（Ａ）のグループ変換スコアリング及び選択回路４１００のグループ変換選択器４１７０によってグループ主要変換ＧＰ（ｎ）として選択されうる。したがって、実施形態によって、図１のＤＩＳ回路のＤＩＳ補償ユニット６０００内で、最も高いスコアＳ_ｉ（ｎ）を有するインターフレーム変換候補Ｔ_ｉ（ｎ）は、グループ主要変換ＧＰ（ｎ）として選択され、ジッタカメラモーションを補償するための補償変換Ｃ（ｎ）を生産するために適応的にフィルタリングされる。

ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）は、グループ主要変換ＧＰ（ｎ）のヒストリーを保存し、グループ主要変換ＧＰ（ｎ）の保存されたヒストリーの所定長（ＨＬ）に基づいて、各Ｔ_ｉ（ｎ）に対するヒストリースコアＨ_ｉ（ｎ）を計算し、例えば、感知ユニット２０００から各Ｔ_ｉ（ｎ）が受信された順に計算する。ＨＬは、先行フレームの所定の個数を表わす整数である。入ってくるＴ_ｉ（ｎ）は、数学的に以前に選択されたグループ主要変換ＧＰ（ｎ−１）．．．ＧＰ（ｎ−ｋ）を保存するＨＬのそれぞれと比較される。ここで、ｋは、１（直前フレーム：ｎ−１を意味する）からＨＫ（時間的にさらに遠いフレーム：ｎ−ＨＫ）までの範囲を有するインテグラルフレームタイムインデックス（ｉｎｔｅｇｒａｌ ｆｒａｍｅ−ｔｉｍｅ ｉｎｄｅｘ）である。Ｔ_ｉ（ｎ）の変換は、以前に選択されたグループ主要変換（ＧＰ（ｎ−１）からＧＰ（ｎ−ＨＬ））を保存するＨＬとさらに高いコリレーション（ｃｏｒｒｅｌａｔｉｏｎ）を有するほどさらに高いヒストリースコアＨ_ｉ（ｎ）とを有する。

Ｔ_ｉ（ｎ）と各ＧＰ（ｎ−ｋ）との間のコリレーションＨ_ｉ，ｋ（ｎ）は、範囲［０、１］内で１から正規化されたノルム（ｎｏｒｍａｌｉｚｅｄ ｎｏｒｍ）を差引いた値（１−｜Ｔ_ｉ（ｎ）−ＧＰ（ｎ−ｋ）｜）であり、１のようなＨ_ｉ，ｋ（ｎ）の値は、最も高いコリレーションを示す。

各コリレーションＨ_ｉ，ｋ（ｎ）（１−｜Ｔ_ｉ（ｎ）−ＧＰ（ｎ−ｋ）｜））の貢献は、相応するヒストリーウエート（ｈｉｓｔｏｒｙ−ｗｅｉｇｈｔ；ＨＷ（ｋ））によってウェイティングされる（ｗｅｉｇｈｔｅｄ）。

ヒストリースコアＨ_ｉ（ｎ）は、全体コリレーションであり、Ｈ_ｉ，ｋ（ｎ）の和にウェイティングされたＨＷ（ｎ−ｋ）である。ここで、１＜ｋ＜ＨＬであり、ＨＬは、ヒストリー長（以前フレームの個数）である。したがって、
Ｈ_ｉ（ｎ）＝Σ［１−｜Ｔ_ｉ（ｎ）−ＧＰ（ｎ−ｋ）｜＊ＨＷ（ｋ）］
１＜ｋ＜ＨＬ

ウエート（ｗｅｉｇｈｔｓ）のＨＷ（ｎ−ＨＬ）で、ＨＷ（ｎ−１）はそれらの和が１と同じであり、ヒストリースコアＨ_ｉ（ｎ）出力が非線形的に正規化され、連続した範囲（［０、１］）を有するように選択される。

図４の（Ｂ）に示されたヒストリースコア計算ユニット４１１０のハードウェア具現例４１１０−１は、保存されたコンテンツを比較器４１１４に出力するために（ｎ−１でｎ−ＨＬに対する）、ＨＬタップ（ＨＬ ｔａｐｓ）を有するＨＬを以前に選択されたグループ主要変換ＧＰ（ｎ−１）ないしＧＰ（ｎ−ＨＬ）に保存するためのＦＩＦＯ（ｆｉｒｓｔ−ｉｎ−ｆｉｒｓｔ−ｏｕｔ）メモリバッファ（ｍｅｍｏｒｙ ｂｕｆｆｅｒ）を含む。比較器４１１４は、電流Ｔ_ｉ（ｎ）を以前に選択されたグループ主要変換ＧＰ（ｎ−１）ないしＧＰ（ｎ−ＨＬ）に保存されたＨＬのそれぞれと比較し、ヒストリーウエートＨＷ（ｎ−１）ないしＨＷ（ｎ−ＨＬ）によってウェイティングされた各比較結果を、連続区間［０、１］で全体コリレーションを全体ヒストリースコアＨ_ｉ（ｎ）として出力する全体ヒストリースコア計算器４１１６に出力する。

モーションスコア計算ユニット（ｍｏｔｉｏｎ ｓｃｏｒｅ ｃａｌｃｕｌａｔｉｏｎｕｎｉｔ）４１２０は、各Ｔ_ｉ（ｎ）を受信し、Ｔ_ｉ（ｎ）にのみ基づいて、そのモーションスコアＭ_ｉ（ｎ）を計算する。他の実施形態において、モーションスコア計算ユニット４１２０は、モーションスコアＭ_ｉ（ｎ）を計算するための目的で感知ユニット２０００から保存された情報を受信することができる。小さなモーションに対する変換は、高いモーションスコアＭ_ｉ（ｎ）を有し、グループ主要変換ＧＰ（ｎ）になることがさらに好ましい。Ｔ_ｉ（ｎ）のうちから各インターフレーム変換に対して、モーションスコア計算ユニット４１２０は、モーションスコアＭ_ｉ（ｎ）を計算する。

Ｍ_ｉ（ｎ）は、小さなモーションに対応して大きな値を有し、大きなモーションに対応して小さな値を有する。モーションＭ_ｉ（ｎ）は、変換の水平、垂直、または全体線形移動に基づくことができる。モーションスコアＭ_ｉ（ｎ）は、線形移動に反対に関連し、より適切に連続区間［０、１］を有するように非線形的に正規化される。

特徴スコア計算ユニット４１３０は、各Ｔ_ｉ（ｎ）を受信し、Ｔ_ｉ（ｎ）にのみ基づいて、その特徴スコアＦ_ｉ（ｎ）を計算する。他の実施形態によって、特徴スコア計算ユニット４１３０は、特徴スコアＦ_ｉ（ｎ）を計算するための目的で感知ユニット２０００から保存された情報を受信することができる。Ｔ_ｉ（ｎ）のうちの各インターフレーム変換に対して、特徴スコア計算ユニット４１３０は、特徴スコアＦ_ｉ（ｎ）を計算する。特徴スコアＦ_ｉ（ｎ）は、Ｔ_ｉ（ｎ）のうちから各インターフレーム変換によって表現される特徴点グループを作るためにともにグループ化された特徴点の個数と関連する。Ｔ_ｉ（ｎ）のうちの変換は、グループ別特徴点をさらに多く有するほどさらに高い特徴スコアＦ_ｉ（ｎ）を有する。特徴スコアＦ_ｉ（ｎ）は、より適切に連続区間［０、１］を有するように非線形的に正規化される。

規模スコア計算ユニット（ｅｘｔｅｎｔ ｓｃｏｒｅ ｃａｌｃｕｌａｔｉｏｎ ｕｎｉｔ）４１４０は、各Ｔ_ｉ（ｎ）を受信し、Ｔ_ｉ（ｎ）に基づいて、その規模スコアＥ_ｉ（ｎ）を計算する。他の実施形態において、規模スコア計算ユニット４１４０は、規模スコアＥ_ｉ（ｎ）を計算するための目的で感知ユニット２０００から保存された情報を受信することができる。Ｔ_ｉ（ｎ）のうちから各インターフレーム変換に対して、規模スコア計算ユニット４１４０は、規模スコアＥ_ｉ（ｎ）を計算する。広い領域をカバーする特徴点を有するＴ_ｉ（ｎ）の変換は、カバーする領域が大きいほど、さらに高くスコアリングされる。規模スコアＥ_ｉ（ｎ）は、さらに広い領域をカバーすることに対応してさらに大きな値を有し、反対にさらに狭い領域をカバーすることに対応してさらに小さな値を有する。規模スコアＥ_ｉ（ｎ）は、変換のグループのあらゆる特徴点を含む長方形領域の高さと幅との積に関連する。規模スコアＥ_ｉ（ｎ）は、より適切に連続区間［０、１］を有するように非線形的に正規化される。

本発明の概念による多様な実施形態は、除外させなければ、ビデオ安定化に所望しない結果を引き起こす全体場面を横切って動く大きな客体を除くために、場面ヒストリー分析を使う。適切な場面ヒストリー分析がなければ、主要変換選択器は、大きな移動客体（特に、それが全体画面をカバーするならば）に対応する変換候補を選択する。我々は、大きな客体が横切って動いて全体場面を満たす場合、変換候補Ｔ_ｉ（ｎ）は、アンステディカメラに対応する主要変換Ｐ（ｎ）を含まないことが分かる。

図５は、図１のＤＩＳ回路の軌跡ユニット４０００のコレクティブ変換スコアリング及び選択回路（ｃｏｌｌｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ ｓｃｏｒｉｎｇ ａｎｄ ｓｅｌｅｃｔｉｏｎ ｃｉｒｃｕｉｔ）４２００の一実施形態のブロック図である。コレクティブ変換スコアリング及び選択回路４２００は、コレクティブ判定（ｃｏｌｌｅｃｔｉｖｅ ｄｅｃｉｓｉｏｎ；ＣＤ（ｎ））を計算するコレクティブ判定計算器（ｃｏｌｌｅｃｔｉｖｅ ｄｅｃｉｓｉｏｎ ｃａｌｃｕｌａｔｏｒ）４２５０と図１のＤＩＳ回路のＤＩＳ方法の段階としてコレクティブ主要変換（ｃｏｌｌｅｃｔｉｖｅ ｐｒｉｎｃｉｐａｌｔｒａｎｓｆｏｒｍ；ＣＰ（ｎ））を出力するコレクティブ変換選択器（ｃｏｌｌｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｏｒ）４２６０とを含む。

図５のコレクティブ判定計算器４２５０は、特徴グループ変換品質（ｆｅａｔｕｒｅ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｑｕａｌｉｔｙ；Ｑ_ＦＰ（ｎ））、タイルグループ変換品質（ｔｉｌｅ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍ ｑｕａｌｉｔｙ；Ｑ_Ｔｉｌｅ（ｎ））、及び感知ユニット２０００から受信された特徴グループ変換候補（ｆｅａｔｕｒｅ ｇｒｏｕｐｔｒａｎｓｆｏｒｍ ｃａｎｄｉｄａｔｅｓ；Ｋ_ＦＧ（ｎ））の個数からコレクティブ判定ＣＤ（ｎ）を算出する。

実施形態において、コレクティブ判定計算器４２５０は、特徴グループの個数Ｋ_ＦＧ（ｎ）から非線形的に正規化されたフラグメンテーションメジャー（ｆｒａｇｍｅｎｔａｔｉｏｎ ｍｅａｓｕｒｅ；Θ_Ｆ（ｎ））を計算し、Θ_Ｆ（ｎ）は、Ｋ_ＦＧ（ｎ）が小さい時に０であり、Θ_Ｆ（ｎ）は、Ｋ_ＦＧ（ｎ）が大きい時に１である。したがって、Θ_Ｆ（ｎ）値が１に近いことは、ビデオ場面のあらゆる特徴点が多くの特徴グループに分割されたものを表わし、反対に、Θ_Ｆ（ｎ）値が０に近いことは、ビデオ場面のあらゆる特徴点が、少ない特徴グループに分割されたものを表わす。

コレクティブ判定計算器４２５０は、Ｑ_Ｆ（ｎ）とΘ_Ｆ（ｎ）＊Ｑ_Ｔ（ｎ）とを比較することによって、コレクティブ判定ＣＤ（ｎ）を出力し、もし、Ｑ_Ｆ（ｎ）＞Θ_Ｆ（ｎ）＊Ｑ_Ｔ（ｎ）であれば、コレクティブ判定ＣＤ（ｎ）は、特徴グループを選択するように設定される。そして、もし、Ｑ_Ｆ（ｎ）＜＝Θ_Ｆ（ｎ）＊Ｑ_Ｔ（ｎ）であれば、コレクティブ判定ＣＤ（ｎ）は、タイルグループを選択するように設定される。この公式で、もし特徴グループが分割されていないならば、Θ_Ｆ（ｎ）値が０に近く、特徴グループは、さらに選択されやすい。一方、もし特徴グループが分割されたならば、Θ_Ｆ（ｎ）値が１に近く、タイルグループ変換品質Ｑ_Ｔｉｌｅ（ｎ）は、特徴グループ変換品質Ｑ_ＦＰ（ｎ）と対等の立場で比較される。

コレクティブ変換選択器４２６０は、特徴グループ主要変換ＧＰ_ＦＰ（ｎ）とタイルグループ主要変換ＧＰ_Ｔｉｌｅ（ｎ）との間で選択を行う。コレクティブ変換選択器４２６０は、コレクティブ判定ＣＤ（ｎ）によって制御されて、出力コレクティブ主要変換ＣＰ（ｎ）は、ＣＤ（ｎ）が特徴グループとして設定される時、特徴グループ主要変換ＧＰ_ＦＰ（ｎ）として設定され、そうではない場合、タイルグループ主要変換ＧＰ_Ｔｉｌｅ（ｎ）として設定される。

本実施形態で、コレクティブ変換スコアリング及び選択回路４２００は、特徴グループ変換品質Ｑ_ＦＰ（ｎ）及びタイルグループ変換品質Ｑ_Ｔｉｌｅ（ｎ）に基づいて選択を行う。このようなグループ変換品質は、特徴スコア計算ユニット４１３０と規模スコア計算ユニット４１４０とからの入力を受信する図４Ａの変換品質計算器４１６０によって計算される。

特徴スコア計算ユニット（ｆｅａｔｕｒｅ ｓｃｏｒｅ ｃａｌｃｕｌａｔｉｏｎ ｕｎｉｔ）４１３０は、その特徴基盤（ｆｅａｔｕｒｅ−ｂａｓｅｄ）とタイル基盤（ｔｉｌｅ−ｂａｓｅｄ）変換Ｔ_ｉ（ｎ）の特徴スコアＦ_ｉ（ｎ）を計算する。本実施形態で、特徴スコア計算ユニット４１３０は、特徴スコアＦ_ｉ（ｎ）を計算する目的で感知ユニット２０００から保存された情報を受信する。

Ｔ_ｉ（ｎ）間の各インターフレーム変換に対して、特徴スコア計算ユニット４１３０は、特徴スコアＦ_ｉ（ｎ）を計算する。１つのグループのさらに多い特徴点または１つのグループのさらに多いタイルの変換Ｔ_ｉ（ｎ）は、さらに高い特徴スコアＦ_ｉ（ｎ）を有し、これは、特徴グループ変換品質Ｑ_ＦＰ（ｎ）またはタイルグループ変換品質Ｑ_Ｔｉｌｅ（ｎ）のそれぞれがさらに高くなるようにする。実施形態において、タイル別特徴点の個数は、特徴基盤変換Ｔ_ｉ（ｎ）のスコア特徴スコアＦ_ｉ（ｎ）を支配することができる。他の実施形態において、タイルの個数は、タイル基盤変換Ｔ_ｉ（ｎ）のスコア特徴スコアＦ_ｉ（ｎ）を支配することができる。タイル別特徴点の個数、及び／またはタイルベクトルの各グループ内のタイルの個数は、感知ユニット２０００から直接得ることができる。

規模スコア計算ユニット４１４０は、特徴基盤及びタイル基盤変換Ｔ_ｉ（ｎ）の規模スコアＥ_ｉ（ｎ）を計算する。本実施形態で、特徴スコア計算ユニット４１３０は、特徴スコアＦ_ｉ（ｎ）を計算するための目的で感知ユニット２０００から保存された情報を受信する。特徴点またはタイルの変換は、さらに広い領域に亘るほどさらに高くスコアリングされうる。特徴点の個数とタイルベクトルの各グループ内のタイルの次元は、感知ユニット２０００から直接得ることができる。同様に、特徴基盤モーションベクトルの各グループの水平及び垂直方向の規模は、感知ユニット２０００から直接得ることができる。特徴グループまたはタイルグループは、さらに広い領域に亘るほどさらに高い規模スコアＥ_ｉ（ｎ）を有し、その結果、特徴グループ変換品質Ｑ_ＦＰ（ｎ）またはタイルグループ変換品質Ｑ_Ｔｉｌｅ（ｎ）のそれぞれはさらに高くなる。本実施形態で、規模スコア計算ユニット４１４０は、規模スコアＥ_ｉ（ｎ）を計算するための目的で感知ユニット２０００から保存された規模情報を受信する。

コレクティブ主要変換ＣＰ（ｎ）が、コレクティブ変換スコアリング及び選択回路４２００によって選択された後、大型客体除外ハードウェア（ｌａｒｇｅ ｏｂｊｅｃｔ ｅｘｃｌｕｓｉｏｎ ｈａｒｄｗａｒｅ）は、選択されたコレクティブ主要変換ＣＰ（ｎ）が全体場面で動き、全体場面をカバーする大型移動客体であるか否かを判断する。前記除外（ｅｘｃｌｕｓｉｏｎ）が効果的な場合、単位変換（ｕｎｉｔｙ ｔｒａｎｓｆｏｒｍ；ＵＴ）が代替物として生成され、ＤＩＳシステムの補償回路のために選択された主要変換Ｐ（ｎ）として提供されて、安定化されたビデオは、不正確にまたは不明に大型移動客体の変換をしない。

実施形態において、移動客体除外方法は、２種の観測に基づいて活性化される。ここで、前記２種の観測は、既に存在する静的な背景（Ｐ（ｎ）のヒストリーによって指示される）と、静的な背景と大型移動客体の共存の時間周期である。

移動客体除外方法は、次のシナリオを扱うのに非常に効果的である。場面は、移動客体があるかないかのほとんど静的な背景である。大型移動客体は、場面に進入し、漸次的にさらに大きな領域をカバーする。前記大型移動客体は、全体場面をカバーする。前記大型移動客体は、場面を離れ始め、背景が再び表われ始める。前記大型移動客体は、遂に消える。

移動客体分析器（ｍｏｖｉｎｇ ｏｂｊｅｃｔ ａｎｌａｙｚｅｒ）は、除外シナリオ（ＩＦ）を感知する。
連続して静的なＭＶグループの存在は、ほとんど静的な背景になった場面を示している。
連続して類似した速度のＭＶグループのカウント増加は、場面内に入ってくる客体を示している。
前述のトレンドが続き、時間ｎで連続して類似した速度のＭＶグループが全体場面をカバーし、静的なＭＶグループが消えれば、除外シナリオが検出される。

除外判定ＥＤ（ｎ）は、除外変換選択器に送られる。除外変換選択器は、ＥＤ（ｎ）が除外シナリオを指示しなければ、コレクティブ主要変換ＣＰ（ｎ）を選択し、そのシナリオ内で主要変換Ｐ（ｎ）は、基準変換として設定される。したがって、大型移動客体が全体場面をカバーする時にも、安定化されたビデオは大型移動客体に不正確に追従しない。

図６は、図１のＤＩＳ回路の軌跡ユニット４０００の移動客体除外回路４４００の一実施形態のブロック図である。移動客体除外回路４４００は、移動客体分析器４４７０及び図１のＤＩＳ回路のＤＩＳ方法内の段階を行う除外変換選択器４４８０を含む。

移動客体除外回路４４００は、場面のヒストリーを保存するための複数のグループヒストリー回路４４１０、４４２０、４４３０、及び４４４０、及び移動客体分析器４４７０を含む。いつでも、指定された静的なグループＧ_０が１つだけあるが、０またはそれ以上の現在（ｅｘｉｓｔｉｎｇ）モーショングループＧ_Ｋ（ｋ＞０）があり得る。また、次のフレームの間に、ｋ（例えば、ｋ（ｎ＋１）＝ｋ（ｎ）＋１）現在モーショングループＧ_ｋのうち１つになりうる新たなモーショングループＧ_Ｎがあり得る。

静的なグループＧ_０は、関連したグループヒストリーＧＨ_０を有する。ｋ現在モーショングループＧ_ｋは、関連したモーションベクトルＭ_ｋだけではなく、関連したグループヒストリーＧＨ_ｋも有する。各現在モーショングループＧ_ｋは、基本的にフレームｎまで経時的に類似した速度のＴ_ｉ（ｎ）のそれぞれに対して低域通過フィルターがかけられた（ｌｏｗ−ｐａｓｓ ｆｉｌｔｅｒｅｄ）｜Ｔ_ｉ（ｎ）｜であるモーションベクトルＭ_ｋを有する。

新たなモーショングループＧ_Ｎの各々は、その生成（ｃｒｅａｔｉｏｎ）の時間に初期化された関連したグループヒストリーＧＨ_Ｎ（ｎ）を有する。移動客体分析器４４７０は、複数のグループヒストリーＧＨ_０（ｎ）、ＧＨ_１（ｎ）、．．．ＧＨ_Ｊ（ｎ）、及びＧＨ_Ｋ（ｎ）を含む場面ヒストリーとＧＨ_Ｎ（ｎ）とを受信し、それらから除外判定（ｅｘｃｌｕｓｉｏｎｄｅｃｉｓｉｏｎ；ＥＤ（ｎ））を計算する。

除外変換選択器（ｅｘｃｌｕｓｉｏｎ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｏｒ）４４８０は、単位変換（ＵＴ）とコレクティブ主要変換ＣＰ（ｎ）との間の選択を行う。除外変換選択器４４８０は、除外判定ＥＤ（ｎ）によって制御されて、ＥＤ（ｎ）が活性化された時、出力主要変換Ｐ（ｎ）は、単位変換（ＵＴ）として設定され、そうではない場合には、コレクティブ主要変換ＣＰ（ｎ）として設定される。単位変換（ＵＴ）は、補償ユニットが補償の間に何もしないようにしうる。したがって、移動客体分析器４４７０が“大型移動客体”シナリオを感知し、除外判定ＥＤ（ｎ）を活性化する時、そうではない場合、主要変換Ｐ（ｎ）として選択されうる大型移動客体の変換は、選択された主要変換Ｐ（ｎ）になるものから除外される。要するに、大型移動客体の変換は、感知された時には、図１の補償ユニット６０００によって行われる補償から除外される。

図７は、図６の移動客体除外回路４４００内のモーショングループヒストリー回路の一実施形態で行われる段階を詳しく説明するための複合ブロックダイヤグラムフローチャートであり、図１のＤＩＳ回路のＤＩＳ方法を実施する段階で構成されている。図７は、静的なグループＧ_０、現在モーショングループＧ_ｋ、及び新たに生成されたモーショングループＧ_Ｎ＋１にそれぞれ対応する代表的なグループヒストリー回路４４１０、４４３０、及び４４４０を詳しく図示する。

図６の移動客体除外回路４４００の移動客体分析器４４７０によってグループヒストリー回路（例えば、４４１０）から受信されたグループヒストリー（例えば、Ｈ_０（ｎ））は、各グループと関連した２種のヒストリーデータ、選択ヒストリー（例えば、ＳＨ_０（ｎ））と現在ヒストリー（Ｅｘｉｓｔｅｎｃｅ−Ｈｉｓｔｏｒｙ、例えば、ＥＨ_０（ｎ））とを含む。

移動客体分析器（ｍｏｖｉｎｇ ｏｂｊｅｔ ａｎａｌｙｚｅｒ）４４７０は、次のように除外シナリオを感知する。静的な変換Ｇ_０（ｎ）のグループヒストリーＧＨ_０内で指示された連続した存在（ｅｘｉｓｔｅｎｃｅ）及び選択は、多数のフレームの間に存在したほとんどの静的な背景の場面を示している。具体的なモーショングループＧ_ｋのグループヒストリーＧＨ_Ｋ内の連続する存在の漸次的に増加する数字は、客体が場面内に入ってくるということを表わす。もし、存在及びモーションの現趨勢が持続されれば、そして、時間（ｎ）で選択された変換Ｐ（ｎ）がＧ_Ｋに結合するものを除き、静的な変換がＧ_０に属しなければ、大型移動客体シナリオが感知され、活性化された除外判定ＥＤ（ｎ）が主要変換選択器４１６０−２に送られる。もし、ＥＤ（ｎ）が大型客体除外シナリオ（ｌａｒｇｅｏｂｊｅｃｔ ｅｘｃｌｕｓｉｏｎ ｓｃｅｎａｒｉｏ）を指示するならば、主要変換Ｐ（ｎ）は、単位変換として設定され、そうではない場合には、主要変換Ｐ（ｎ）は、Ｔ_ｉ（ｎ）のあるスコアリング関数によって選択される。

グループヒストリー回路４４１０、４４２０、４４３０、及び４４４０のそれぞれは、受信されたインターフレーム変換Ｔ_ｉ（ｎ）のうちの１つに関連した各グループに対するヒストリー情報の３種類の保存及び処理を行う。グループヒストリーの前記３種類は、選択ヒストリー、現在ヒストリー（ｅｘｉｓｔｅｎｃｅ−ｈｉｓｔｏｒｙ）、及びモーションヒストリーである。静的なグループＧ_０は、映像安定化開始時に空いているヒストリーとともに生成される。静的なグループＧ_０のモーションヒストリーは省略され、ヌル（ｎｕｌｌ）と推定されうる。モーショングループＧ_１、．．．、Ｇ_Ｋ、．．．、Ｇ_Ｎは、ＤＩＳビデオプロセッシングのコースの間にダイナミックに（ｄｙｎａｍｉｃａｌｌｙ）生成されるか、削除されうる。

図７を参照すると、静的なグループＧ_０、Ｎ現在モーショングループＧ_ｋ、及び新たに生成されたモーショングループＧ_Ｎ＋１にそれぞれ対応するグループヒストリー回路４４１０、４４３０、及び４４４０は、グループヒストリーＧＨ_０、ＧＨ_Ｋ、及びＧＨ_Ｎ＋１を提供する。

モーショングループＧ_０のグループヒストリー回路４４１０は、選択ヒストリーＳＨ_０と存在ヒストリーＥＨ_０との保存のためのヒストリーメモリを含む。存在ヒストリーＥＨ_０は、インターフレーム変換Ｔ_ｉ（ｎ）が以前フレーム内のモーショングループＧ_０に結合されたか否かを示す過去フレーム値当たり１ビットである。選択ヒストリーＳＨ_０は、モーショングループＧ_０に結合されたインターフレーム変換Ｔ_ｉ（ｎ）が以前フレーム内の主要変換Ｐ（ｎ）として選択されたか否かを示す過去フレーム値当たり１ビットである。

グループＧ_０が静的とみなされ、選択された主要変換Ｐ（ｎ）を含む如何なるＴ_ｉ（ｎ）が静的なグループＧ_０に属するか否かの判定（判定段階ｄＳ４４１８）について、Ｔ_ｉ（ｎ）を多様なヒストリーに基づいたモーションベクトルＭ_０よりスレショルド値ｔｈｄ_０と比較することに依存するために、静的なグループＧ_０のグループヒストリー回路４４１０は、モーションヒストリーＭ_０を省略する。静的なグループＧ_０は、ビデオ安定化開始時に空いているヒストリーとともに作られる。

もし、フレームｎの間にＴ_ｉ（ｎ）が、｜Ｔ_ｉ（ｎ）｜＜ｔｈｄ_０を満足すれば（判定段階ｄＳ４４１８の「はい」のブランチ）、このＴ_ｉ（ｎ）は、Ｇ_０に属し、存在ヒストリーＥＨ_０は、フレームｎで静的な変換の存在を指示するためにアップデートされる。
もし、Ｐ_ｉ（ｎ）＝Ｔ_ｉ（ｎ）であれば、選択ヒストリーＳＨ_０は、Ｔ_ｉ（ｎ）選択を指示するためにアップデートされる。

Ｔ_ｉ（ｎ）が、｜Ｔ_ｉ（ｎ）｜＜ｔｈｄ_０を満足しない場合（判定段階ｄＳ４４１８の「いいえ」のブランチ）、フレームの間に｜Ｔ_ｉ（ｎ）｜＜ｔｈｄ_０を満足させなければ、Ｔ_ｉ（ｎ）は、存在モーショングループＧ_１〜Ｇ_Ｎ内のそれぞれのグループヒストリーと比較される。

モーショングループＧ_ｋのグループヒストリー回路４４３０は、選択ヒストリーＳＨ_Ｋ、及び存在ヒストリーＥＨ_Ｋ、及びモーションヒストリーＭ_ｋの保存のためのヒストリー_Ｋメモリを含む。存在ヒストリーＥＨ_Ｋは、インターフレーム変換Ｔ_ｉ（ｎ）が以前フレーム内のモーショングループＧ_ｋに属するか否かを示す過去フレーム値当たり１ビットである。選択ヒストリーＳＨ_Ｋは、モーショングループＧ_ｋに属したインターフレーム変換Ｔ_ｉ（ｎ）が以前フレーム内の主要変換Ｐ（ｎ）として選択されたか否かを示す以前フレーム値当たり１ビットである。

モーションヒストリーＭ_ｋは、グループＧ_ｋの全体的なモーションのベクトルＭ_ｋを指示する情報を保存する。各Ｔ_ｉ（ｎ）は、またモーションベクトル（Ｍ）でマッピング（ｍａｐ）する。各モーショングループＧ_Ｋは、モーションベクトルＭ_ｋでマッピングする。｜Ｔ_ｉ（ｎ）｜をＴ_ｉ（ｎ）のモーションベクトルのサイズとし、｜Ｔ_ｉ（ｎ）−Ｍ_Ｋ｜を１≦Ｋ≦Ｎ（Ｎは、現在の現在モーショングループの個数）で現在モーショングループＧ_ｋのモーションベクトルＭ_ｋからＴ_ｉ（ｎ）の偏差とする。Ｎ個存在するモーショングループのうち最小の｜Ｔ_ｉ（ｎ）−Ｍ_Ｊ｜を有するモーショングループＧ_Ｊは、Ｔ_ｉ（ｎ）に対する最もマッチングされるグループＧ_Ｊを示す。ジョイン（ｊｏｉｎ）判断は、｜Ｔ_ｉ（ｎ）−Ｍ_Ｊ｜を所定のスレショルド値ｔｈｄ_１と比較して決定されうる。したがって、例えば、判定段階ｄＳ４４３８で、もし、１とＮとの間の特定のＪ及びすべてのＫで｜Ｔ_ｉ（ｎ）−Ｍ_Ｊ｜≦｜Ｔ_ｉ（ｎ）−Ｍ_Ｋ｜であり、｜Ｔ_ｉ（ｎ）−Ｍ_Ｊ｜＜ｔｈｄ_１であれば（判定段階ｄＳ４４３８の「はい」のブランチ）、Ｔ_ｉ（ｎ）は、存在するモーショングループＧ_Ｊにジョインする。

もし、すべてのＫに対して、｜Ｔ_ｉ（ｎ）−Ｍ_Ｊ｜＜ｔｈｄ_１であり、｜Ｔ_ｉ（ｎ）−Ｍ_Ｊ｜＜｜Ｔ_ｉ（ｎ）−Ｍ_Ｋ｜であれば（判定段階ｄＳ４４３８の「はい」のブランチ）、Ｔ_ｉ（ｎ）は、Ｇ_Ｊに属する。
モーションヒストリーＭ_Ｊは、新たに属したＴ_ｉ（ｎ）を反映するように調整される。
現在ヒストリーＥＨ_Ｊは、フレームｎでモーショングループＧ_Ｊの存在を指示するためにアップデート（ｕｐｄａｔｅ）される。
もし、Ｐ（ｎ）＝Ｔ_ｉ（ｎ）であれば、選択ヒストリーＳＨ_Ｊは、Ｔ_ｉ（ｎ）＝Ｐ（ｎ）の選択を指示するためにアップデートされる。

一方、もし、判定段階ｄＳ４４３８がＴ_ｉ（ｎ）及びあらゆる存在するモーショングループＧ_１〜Ｇ_Ｎのために反復され、Ｍ_Ｋのうちいずれも｜Ｔ_ｉ（ｎ）−Ｍ_Ｋ｜＜ｔｈｄ_１を満足させなかったならば（判定段階ｄＳ４４３８の「いいえ」のブランチ）、Ｔ_ｉ（ｎ）は、新たに形成されたモーショングループＧ_Ｎ＋１に属する（Ｓ４４４９段階）。もし、このＴ_ｉ（ｎ）が、新たに形成されたモーショングループＧ_Ｎ＋１に属するならば（Ｓ４４４９段階）、Ｔ_ｉ（ｎ）は、新たに形成されたモーショングループＧ_Ｎ＋１に属する。

モーションヒストリーＭ_Ｎ＋１は、このＴ_ｉ（ｎ）のモーションベクトルとして設定される。
存在ヒストリーＥＨ_Ｎ＋１は、フレームｎで新たなモーショングループＧ_Ｎ＋１の存在を指示するために初期化される。
もし、Ｐ（ｎ）＝Ｔ_ｉ（ｎ）であれば、選択ヒストリーＳＨ_Ｎ＋１は、Ｔ_ｉ（ｎ）＝Ｐ（ｎ）の選択を指示するためにアップデートされる。
時間の拡張された期間（フレーム）にジョイン（ｊｏｉｎ）するＴ_ｉ（ｎ）を除くモーショングループ（Ｇ_０〜Ｇ_Ｊのうちの）は、削除される。

図８は、時間ｎにおける、キャプチャーされたビデオフレームと主要変換Ｐ（ｎ）から計算された補償変換Ｃ（ｎ）に対応する補償ウィンドウとを示す図であり、減少した垂直オーバーエクスカーションｖ１を示している。補償ウィンドウの垂直オーバーエクスカーションは、本発明の実施形態によるＤＩＳ方法の段階で垂直オーバーエクスカーションｖ１として測定される。

図８を参照すると、キャプチャーされたビデオフレームの補償変換Ｃ（ｎ）に相応する補償ウィンドウは、垂直オーバーエクスカーションｖ０またはｖ１、水平オーバーエクスカーションｕ０またはｕ１、または垂直オーバーエクスカーションｖ０またはｖ１、及び水平オーバーエクスカーションｕ０またはｕ１いずれもを有しうる。それぞれの潜在的なオーバーエクスカーションｖ０、ｖ１、ｕ０、及びｕ１は、補償変換Ｃ（ｎ）の並進成分、補償変換Ｃ（ｎ）の回転成分、または補償変換Ｃ（ｎ）の並進成分及び回転成分の組み合わせによって発生することがある。
エクスカーションのヒストリーに基づいて、各キャプチャーされたビデオフレームに対するフィルタリングされた補償変換Ｃ（ｎ）を出力するために、主要変換Ｐ（ｎ）を適応的にフィルタリングすることによって、オーバーエクスカーションｖ０、ｖ１、ｕ０、及びｕ１を最小化することが望ましい。

図９は、本発明の概念による他の実施形態によってＤＩＳを行うＤＩＳ回路のブロック図である。ＤＩＳ回路は、受信されたジャーキービデオを分析し、インターフレーム変換Ｔ_ｉ（ｎ）を出力する感知ユニット２０００、Ｔ_ｉ（ｎ）のうちから主要変換Ｐ（ｎ）を識別する主要変換選択回路４１００、４２００、及び４４００、及び主要変換Ｐ（ｎ）を補償変換Ｃ（ｎ）にフィルタリングする適応的補償フィルター８０００を含む軌跡ユニット４０００、及びジャーキービデオフレームを補償変換Ｃ（ｎ）の使用により修正することによって、安定化されたビデオを出力する補償ユニット６０００を含む。

主要変換選択回路４１００、４２００、及び４４００は、場面内の移動客体のインターフレーム変換Ｔ_ｉ（ｎ）を無視し、アンステディカメラによって発生したグローバルモーションのインターフレーム変換Ｔ_ｉ（ｎ）を識別することによって、インターフレーム変換Ｔ_ｉ（ｎ）のうちから１つを主要変換Ｐ（ｎ）として選択し、その選択したものを計算された主要変換Ｐ（ｎ）として出力する。したがって、ＤＩＳ回路の主要変換選択回路４１００、４２００、及び４４００は、インターフレーム変換Ｔ_ｉ（ｎ）のうち１つを計算された主要変換Ｐ（ｎ）として選択して出力する。補償変換Ｃ（ｎ）は、主要変換Ｐ（ｎ）を適応的にフィルタリングすることで得られる。補償変換Ｃ（ｎ）は、相応する入力ビデオイメージとの関係で安定化されたビデオイメージ（補償ウィンドウ）の幾何学的構造の表現である。前記表現は、位置、アングル（ａｎｇｌｅ）、サイズなどを含む。補償変換に使われるいくつかは、普通類似変換（ｓｉｍｉｌａｒｉｔｙ ｔｒａｎｓｆｏｒｍ）及びアフィン変換であるが、本発明の概念は前記変換に限定されないが、ここでは、本発明の概念による一実施形態の方法の説明のためにアフィン変換を使う。

主要変換選択回路４１００、４２００、及び４４００は、順にフレームの連続したシーケンスの選択された主要変換Ｐ（ｎ−∞）、．．．Ｐ（ｎ−１）、Ｐ（ｎ）を適応的補償フィルター８０００に出力する。主要変換Ｐ（ｎ−∞）は、反復的な（無限インパルス応答（ｉｎｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ、ＩＩＲ））フィルターの使用を指示する。適応的補償フィルター８０００は、主要変換Ｐ（ｎ−∞）、．．．Ｐ（ｎ−１）、Ｐ（ｎ）の配列によって表現されるジッタモーションから意図されたカメラ軌跡を推定し、推定したカメラ軌跡によって補償変換Ｃ（ｎ）を出力する。

安定化されたビデオの視覚的効果は、適応的補償フィルター８０００の品質に大きく依存する。従来の軌跡推定方法は、モーションベクトル積分とカルマンフィルター（Ｋａｌｍａｎ ｆｉｌｔｅｒ）などを含む。しかし、これらと他の従来の軌跡推定方法は、ジャーキービデオ特性の広い範囲で正しく行われない。本発明の概念による実施形態では、適応的補償フィルター８０００がジャーキーモーション（ｊｅｒｋｙ ｍｏｔｉｏｎｓ）をフィルタリングし、安定化されたビデオを生産するのに使われる。

図１０は、本発明の一実施形態による図９に示されたＤＩＳ回路の軌跡ユニット４０００の適応的補償フィルター８０００のブロック図である。適応的補償フィルター８０００は、補償ウィンドウエクスカーションのヒストリーに基づいて主要変換Ｐ（ｎ）を適応的にフィルタリングする。適応的補償フィルター８０００は、フレームの連続したシーケンスの受信された主要変換Ｐ（ｎ−∞）、．．．Ｐ（ｎ−１）、Ｐ（ｎ）に基づいて主要変換Ｐ（ｎ）をフィルタリングし、適応的にフィルタリングされた補償変換Ｃ（ｎ）を出力する。

適応的補償フィルター８０００は、強補償フィルター（ｓｔｒｏｎｇ ｃｏｍｐｅｎｓａｔｉｏｎ（ＳＣ）ｆｉｌｔｅｒ）８７００、弱補償フィルター（ｗｅａｋ ｃｏｍｐｅｎｓａｔｉｏｎ（ＷＣ）ｆｉｌｔｅｒ）８６００、コントロール信号Ｅ（ｎ）を出力するための適応的フィルターコントロール回路８５００、及びエクスカーション調節ミキサー（ｅｘｃｕｒｓｉｏｎ ｍｏｄｕｌａｔｅｄ ｍｉｘｅｒ）８２００を含む。強補償フィルター８７００は、高周波数−選択的高次線形時不変デジタルフィルター（ｈｉｇｈｌｙｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ ｈｉｇｈ−ｏｒｄｅｒ ｌｉｎｅａｒ ｔｉｍｅ−ｉｎｖａｒｉａｎｔ ｄｉｇｉｔａｌ ｆｉｌｔｅｒ）であり、非常にジャーキーな入力ビデオのフィルタリングに効果的である。
一方、弱補償フィルター８６００は、より少なめに安定した出力ビデオで少ない補償ウィンドウオーバーエクスカーションを生産するさらに低い周波数−選択的性質を有する。

適応的補償フィルター８０００は、強補償フィルター８７００と弱補償フィルター８６００との効果的な組み合わせである。エクスカーション調節ミキサー８２００は、生成されたコントロール信号Ｅ（ｎ）に基づいて出力する強補償フィルター８７００と弱補償フィルター８６００とのミキシング（ｍｉｘｉｎｇ）を行い、補償ウィンドウエクスカーションのヒストリーに基づいて適応的フィルターコントローラ８５００によって出力する。

図１１は、図９のＤＩＳ回路の軌跡ユニット４０００の適応的補償フィルター８０００の最初の実施形態８０００−１のブロック図である。本実施形態において、適応的補償フィルター８０００−１は、強補償フィルター８７００と弱補償フィルター８６００、及び適応的フィルターコントローラ８５００−１のエクスカーション計算器８５１０へのフィードバックループ（ｆｅｅｄｂａｃｋ ｌｏｏｐ）を含む。

図１１を参照すると、強補償フィルター８７００は、視覚的によく安定化されたビデオを得て高周波数−選択的な出力Ｆ（ｎ）を有するために、１．０Ｈｚでカットオフ（ｃｕｔｏｆｆ）周波数を有し、急激なロールオフ（ｒｏｌｌｏｆｆ）を有する高次線形時不変循環デジタルフィルター（ｈｉｇｈ−ｏｒｄｅｒ ｌｉｎｅａｒ ｔｉｍｅ−ｉｎｖａｒｉａｎｔ ｒｅｃｕｒｓｉｖｅ ｄｉｇｉｔａｌ ｆｉｌｔｅｒ）である。

弱補償フィルター８６００は、高次または低次線形時不変循環デジタルフィルターである。弱補償フィルター８６００は、オーバーエクスカーションを減らすために、１Ｈｚよりさらに高いカットオフ周波数を有し、緩やかなロールオフを有するさらに低い周波数−選択的な出力Ｇ（ｎ）を有する。

適応的補償フィルター８０００−１のエクスカーション調節ミキサー８２００−１は、スカラーコントロール信号Ｅ（ｎ）によって強補償フィルター８７００の出力Ｆ（ｎ）と弱補償フィルター８６００の出力Ｇ（ｎ）とを結合するエクスカーション調節適応的フィルタリングを行う。強補償フィルター８７００の出力Ｆ（ｎ）と弱補償フィルター８６００の出力Ｇ（ｎ）は、いずれも中間に起こる補償変換であり、エクスカーション調節ミキサー８２００−１の出力Ｃ（ｎ）も補償変換である。エクスカーション調節ミキサー８２００−１は、Ｃ（ｎ）（Ｃ（ｎ）＝（１−Ｅ（ｎ））＊Ｆ（ｎ）＋Ｅ（ｎ）＊Ｇ（ｎ））を出力する。ここで、Ｅ（ｎ）は、［０、１］の範囲での非線形的に正規化されたスカラーコントロール信号である。“＊”は、スカラーと変換との間の乗算演算であり、変換にマッピングされる。“＋”は、２つの変換の間の加算演算であり、変換にマッピングされる。したがって、本実施形態で、適応的補償フィルター８０００−１は、強補償フィルター８７００と弱補償フィルター８６００との線形結合であり、適応的補償フィルター８０００−１は、線形重畳（ｌｉｎｅａｒ ｓｕｐｅｒｐｏｓｉｔｉｏｎ）の原則によって知られた安定した性質を有する効果的な高次線形時不変循環デジタルフィルターである。

線形結合された補償変換Ｃ（ｎ）は、補償ウィンドウエクスカーションのヒストリーに基づいてスカラーコントロール信号Ｅ（ｎ）によって制御される。ヒストリー内の小さなエクスカーションは、小さなＥ（ｎ）を生産するので、現在フレームｎに対する強補償フィルター８７００の影響は大きくなる一方、ヒストリー内の大きなエクスカーションは、１に近いＥ（ｎ）を生産するので、現在フレームｎに対する弱補償フィルター８６００の影響が大きくなる。ヒストリー内の中間値のエクスカーションは、強補償フィルター８７００と弱補償フィルター８６００との影響に比例するように割り当てられる。

したがって、強補償フィルター８７００は、小さなエクスカーションに主たる貢献を提供し、それは、高周波数ジッタをフィルタリングするのに非常に効果的である。そして、さらに大きなエクスカーションで弱補償フィルター８６００の貢献がさらに多くなるために、オーバーエクスカーションの発生が急減する。適応的補償フィルター８０００−１は、優れたビデオ安定化の性質を保持しながら、入力ビデオの大きな動きによる過度なオーバーエクスカーションを防止することができる。

図１１を参照すると、適応的フィルターコントローラ８５００−１は、エクスカーション計算器８５１０、４つのエクスカーションヒストリー積分器８５２０、及び調節因子計算器８５３０−１を含む。適応的フィルターコントローラ８５００−１は、フィードバックループの一部である。エクスカーション計算器８５１０は、以前の適応的補償フィルター出力Ｃ（ｎ−∞）、．．．Ｃ（ｎ−２）、Ｃ（ｎ−１）から得られたＥ（ｎ）を出力する。ここでｎは、時間連続した性質を表わし、Ｅ（ｎ）とＣ（ｎ）は、実現不可能な遅延のないループを形成しない。したがって、本実施形態は、リアルタイムビデオ安定化に適し、予測可能な性質の概略的な線形時不変フィルターを含む。

エクスカーション計算器８５１０は、エクスカーション調節ミキサー８２００−１によって出力された補償変換Ｃ（ｎ）のフィードバックを受信する。エクスカーション計算器８５１０は、補償ウィンドウの４つのエッジの位置に基づいてフレームごとに左側、右側、下方、上側のエクスカーションを別途に計算するために、ｕ０計算器、ｕ１計算器、ｖ０計算器、及びｖ１計算器を含む（図８参照）。

適応的補償フィルター８０００−１は、循環フィルターを通したエクスカーションヒストリーを含む。エクスカーション計算器８５１０の各面の出力は、本質的に低域通過循環フィルター（ｌｏｗ−ｐａｓｓ ｒｅｃｕｒｓｉｖｅ ｆｉｌｔｅｒ）であるエクスカーションヒストリー積分器によってそれぞれ時間に対して積分される。各低域通過循環フィルターＨｕ０、Ｈｕ１、Ｈｖ０、及びＨｖ１の出力は、調節因子計算器８５３０−１に供給される。調節因子計算器８５３０−１は、４つの時間に対して積分されたエクスカーション量Ｈｕ０、Ｈｕｕ１、Ｈｖ０、及びＨｖ１のうちから最大値を選択し、連続区間［０、１］で非線形的に正規化されたスカラーコントロール信号Ｅ（ｎ）を生成する。

調節因子計算器８５３０−１は、Ｆ（ｎ）とＧ（ｎ）とのミキシングを調節するために、非線形的に正規化されたスカラーコントロール信号Ｅ（ｎ）を出力する。小さな値のＥ（ｎ）は、小さなエクスカーションのヒストリーを意味し、大きな値のＥ（ｎ）は、大きなエクスカーションのヒストリーを意味する。

したがって、補償変換Ｃ（ｎ）を生成させ、出力するためのスカラーコントロール信号Ｅ（ｎ）の制御下のＦ（ｎ）とＧ（ｎ）とのミキシングは、補償ウィンドウエクスカーションのヒストリーに基づく。本実施形態は、周波数オーバーエクスカーションのない優れた安定化を提供し、公知の周波数応答と予測可能な安定化性質とを有し、リアルタイムビデオ安定化に適切である。

上記開示した説明事項は、実施形態として考慮されたものであるので、本発明は、これに制限されてはならず、添付の請求項は、発明の思想によって変形、添加、及び他の実施形態まで含むものと理解しなければならない。したがって、本発明の範囲は、法によって許容される最大の範囲まで許容されなければならず、前述した詳細な説明によって制限的に解釈されてはならない。

Claims (25)

1. カメラによってキャプチャーされたビデオフレーム内のモーションベクトルの変換から補償されるカメラ動きを表わす補償変換を識別する段階と、
   補償ウィンドウ（ｃｏｍｐｅｎｓａｔｉｏｎ ｗｉｎｄｏｗ）の過度なオーバーエクスカーション（ｏｖｅｒ−ｅｘｃｕｒｓｉｏｎ）を防止するために、非線形的に正規化された時積分されたエクスカーション（ｎｏｎ−ｌｉｎｅａｒｌｙ ｎｏｒｍａｌｉｚｅｄ ｔｉｍｅ−ｉｎｔｅｇｒａｔｅｄ ｅｘｃｕｒｓｉｏｎｓ）に基づいて補償変換を適応的フィルタリング（ｆｉｌｔｅｒｉｎｇ）する段階と、
   を含むことを特徴とするビデオデータ処理方法。
2. 前記適応的フィルタリングする段階は、
   前記補償変換の強補償（ＳＣ）フィルタリングを行う高周波数−選択的高次線形時不変循環フィルター（ｈｉｇｈｌｙ ｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ ｈｉｇｈ−ｏｒｄｅｒ ｌｉｎｅａｒ ｔｉｍｅ−ｉｎｖａｒｉａｎｔ ｒｅｃｕｒｓｉｖｅ ｆｉｌｔｅｒ）と、前記補償変換の弱補償（ＷＣ）フィルタリングを行う低周波数−選択的高次線形時不変循環フィルター（ｌｏｗｅｒ ｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ ｈｉｇｈ−ｏｒｄｅｒ）、または低周波数−選択的低次線形時不変循環フィルター（ｌｏｗｅｒ−ｏｒｄｅｒ ｌｉｎｅａｒ ｔｉｍｅ−ｉｎｖａｒｉａｎｔ ｒｅｃｕｒｓｉｖｅｆｉｌｔｅｒ）とのスカラー組み合わせ（ｓｃａｌａｒ ｃｏｍｂｉｎａｔｉｏｎ）を含むことを特徴とする請求項１に記載のビデオデータ処理方法。
3. 前記適応的フィルタリングする段階は、
   小さなエクスカーションヒストリー（ｓｍａｌｌ ｅｘｃｕｒｓｉｏｎ ｈｉｓｔｏｒｙ）に基づいて現在フレームに対して、前記強補償（ＳＣ）フィルターの大きな影響力を配分する段階と、
   大きなエクスカーションヒストリー（ｌａｒｇｅ ｅｘｃｕｒｓｉｏｎ ｈｉｓｔｏｒｙ）に対して、前記現在フレームに対して弱補償（ＷＣ）フィルターの大きな影響力を配分する段階と、
   を含むことを特徴とする請求項２に記載のビデオデータ処理方法。
4. 複数の中間エクスカーション（ｍｅｄｉｕｍ ｅｘｃｕｒｓｉｏｎｓ）のエクスカーションヒストリーに対して、前記強補償（ＳＣ）フィルターと前記弱補償（ＷＣ）フィルターとの影響力の比率を配分する段階をさらに含むことを特徴とする請求項３に記載のビデオデータ処理方法。
5. 前記非線形的に正規化された時積分されたエクスカーションは、前記エクスカーションヒストリーの少なくとも４つの時積分されたエクスカーションサイズのうちから最大サイズＭ（ｎ）を選択することを特徴とする請求項１に記載のビデオデータ処理方法。
6. Ｅ（ｎ）は、小さなエクスカーションから大きなエクスカーションまでのヒストリーから区間［０、１］でＭ（ｎ）の非線形的に正規化された値であることを特徴とする請求項５に記載のビデオデータ処理方法。
7. 前記強補償（ＳＣ）フィルタリングは、前記弱補償（ＷＣ）フィルタリングに対して設定された遮断周波数より低い遮断周波数で設定されることを特徴とする請求項２に記載のビデオデータ処理方法。
8. 前記強補償（ＳＣ）フィルタリングは、前記弱補償（ＷＣ）フィルタリングでのロールオフより急激なロールオフ（ｒｏｌｌｏｆｆ）の使用を含むことを特徴とする請求項７に記載のビデオデータ処理方法。
9. 前記強補償フィルタリングは、ほぼ１Ｈｚ程度の遮断周波数を有することを特徴とする請求項７に記載のビデオデータ処理方法。
10. 前記強補償（ＳＣ）フィルター及び前記弱補償（ＷＣ）フィルターの前記影響力の配分は、０から１までの連続区間内で非線形的に正規化された値に基づくことを特徴とする請求項３に記載のビデオデータ処理方法。
11. イメージデータのフレームを受信するための受信器と、
    第１モーション特性を有するモーションベクトルの第１グループと、第２モーション特性を有するモーションベクトルの第２グループとを保存するためのメモリと、
    前記モーションベクトルの前記第１グループと前記第２グループとの変換から補償されるカメラ動きを表わす補償変換を識別するための変換選択器と、
    非線形的に正規化された時積分されたエクスカーションに基づいて、補償ウィンドウの過度なオーバーエクスカーションを防止するための適応フィルターと、
    を含むことを特徴とするイメージ処理回路。
12. 前記補償変換の強補償フィルタリングを行うためのさらに高い周波数−選択的な高次線形時不変フィルターと前記補償変換の弱補償フィルタリングを行うためのさらに低い周波数−選択的な低次線形時不変フィルターとを組み合わせるためのミキサー（ｍｉｘｅｒ）をさらに含むことを特徴とする請求項１１に記載のイメージ処理回路。
13. 前記適応フィルターは、小さなエクスカーションのエクスカーションヒストリーに基づいて、現在フレームに対する前記強補償フィルターのさらに大きな影響力を配分し、大きなエクスカーションのエクスカーションヒストリーに対する前記現在フレームに対する前記弱補償フィルターのさらに大きな影響力を配分することを特徴とする請求項１２に記載のイメージ処理回路。
14. 複数の中間エクスカーションのエクスカーションヒストリーに対する前記強補償フィルターと前記弱補償フィルターとの影響力の比率を配分する段階をさらに含むことを特徴とする請求項１３に記載のイメージ処理回路。
15. 非線形的に正規化された信号を出力するために、エクスカーションヒストリーの４つの時積分されたエクスカーションサイズのうちから最大サイズを計算するための調節因子計算器をさらに含むことを特徴とする請求項１２に記載のイメージ処理回路。
16. 前記非線形的に正規化された信号は、０から１の範囲内で前記強補償フィルターと前記弱補償フィルターとのスカラー値でミキシングすることを調節するために前記ミキサーに入力されることを特徴とする請求項１５に記載のイメージ処理回路。
17. 前記強補償フィルターは、前記弱補償フィルターに対して設定された遮断周波数よりさらに低い遮断周波数で設定されたことを特徴とする請求項１３に記載のイメージ処理回路。
18. 前記強補償フィルターは、前記弱補償フィルターでのロールオフより急激なロールオフの使用を含むことを特徴とする請求項１７に記載のイメージ処理回路。
19. 前記適応フィルターは、循環フィルターの使用によってエクスカーションヒストリーを保存することを特徴とする請求項１１に記載のイメージ処理回路。
20. 前記モーションベクトルの前記第１グループの変換は、選択された特徴点の動作を表現し、前記モーションベクトルの前記第２グループの変換は、ビデオフレームから分割された重ならないタイルの動作を表現することを特徴とする請求項１１に記載のイメージ処理回路。
21. イメージをキャプチャーするためのイメージセンサーと、
    キャプチャーされたイメージをイメージデータのフレームに変換するためのイメージデータ回路と、
    イメージ処理回路と、を含み、前記イメージ処理回路は、
    前記イメージデータの前記フレームを受信するための受信器と、
    客体の動作を感知し、モーションベクトルを生成するためのモーションベクトル感知器と、
    前記モーションベクトルの変換から補償されるカメラ動きを表現する補償変換を識別するための変換選択器と、
    補償ウィンドウのオーバーエクスカーションをフィルタリングするための適応フィルターと、
    前記補償変換と前記適応フィルターの出力に基づいて、キャプチャーされたイメージを調節するための補償ユニットと、
    を含むことを特徴とするカメラ。
22. 前記モーションベクトルを特徴点グループとタイルグループとを含む少なくとも２つ以上のグループのうちの１つにグループ化するためのグループ化回路をさらに含み、
    前記タイルグループは、ビデオフレームから分割された重ならないタイルを含むことを特徴とする請求項２１に記載のカメラ。
23. 前記変換選択器は、ヒストリースコア、モーションスコア、特徴スコア、及び規模スコアから選択された複数のスコアリング関数に基づいて前記補償変換を識別することを特徴とする請求項２１に記載のカメラ。
24. 前記適応フィルターは、非線形的に正規化された時積分されたエクスカーションに基づいて補償ウィンドウの過度なオーバーエクスカーションを防止することを特徴とする請求項２１に記載のカメラ。
25. 前記適応フィルターは、循環フィルターの使用によってエクスカーションヒストリーを保存することを特徴とする請求項２１に記載のカメラ。

Images