JP2009536492A - ジッター抽出を行う処理デバイスおよびこのような処理デバイスを有する機器 - Google Patents

Abstract

処理デバイス（Ｄ）は、例えばデジタルカメラのような電子機器（Ｅ１）におけるデジタル映像シーケンスの画像フレームを安定化させるために設ける。処理デバイス（Ｄ）は、映像シーケンスの各画像フレームに対して、画像シーケンスにおけるモーションのタイプを、この画像シーケンスにおける現画像フレームのグローバルモーション・パラメータおよび少なくとも１個の先行画像フレームのグローバルモーション・パラメータから決定するよう構成した処理手段（ＰＭ）を備える。これらのパラメータは、映像シーケンスにおける現在画像フレームと先行画像フレームとの間におけるモーション推定から決定する。このモーション決定に続き、この決定したモーションのタイプに基づいて、少なくとも２つのジッター抽出技術における選定すべき一つの選定ジッター抽出技術を選択する。このように選定したジッター抽出技術を使用して、それ故に、グローバルモーション・パラメータから除去すべきジッターを決定し、現画像フレーム内に存在する望ましくないモーションを除去する。

Description

本発明は、デジタル画像処理分野に関し、より詳細には映像シーケンスにおけるデジタル画像の安定化に関する。

当業者に知られているように、必要なカメラの動きを保ちつつ、望ましくないカメラの動きまたはジッターを除去するために画像安定化アルゴリズム提案されてきており、それゆえにより快適な鑑賞体験を提供してきた。 本明細書で使用する語句「望ましくないカメラの動きまたはジッター」は、カメラの意図的な動きに付加された平行移動および／または回転運動などの画像の望ましくない位置変動であって、ものを意味する。

デジタル画像安定化（またはＤＩＳ）アルゴリズムのほとんどにおいて、３つの主なステップを、映像シーケンスのデジタル画像に対して順次に適用する。第１ステップは、映像シーケンスにおける２個の連続した画像フレーム（時刻ｔおよび（ｔ−１）における）間のモーション推定を決定するステップである。第２ステップは、決定したモーション推定から各画像のジッターを決定するステップである。第３ステップは、望ましくないモーションを除去するために各画像のグローバルモーション・パラメータからジッターをフィルタ処理する（除去する）ステップである。

このようなデジタル画像安定化アルゴリズムの例は、特に特許文献１（米国特許出願公開第２００３／００９０５９３号）および特許文献２（米国特許出願公開第２００４／０００１１４７号）に記載されている。このような既知のデジタル画像安定化アルゴリズムの第１および第３ステップは、容易に実施することができる。問題は、意図的モーションから意図的でないモーションを切り分けることを目的とする第２ステップにおいて発生する。これら困難性があるために、アルゴリズムは、静止的または疑似静止的な映像シーケンスにおける脆弱な安定化およびパノラマ／移行的な映像シーケンスにおける優れた（効果的な）追従性、または、静止的または疑似静止的な映像シーケンスにおける強固な（効果的な）安定化およびぎくしゃくしたパノラマ／移行的な映像シーケンスの、どちらかをもたらす。
米国特許出願公開第２００３／００９０５９３号明細書 米国特許出願公開第２００４／０００１１４７号明細書

したがって本発明の目的は、この状況を、少なくとも部分的に、映像シーケンスに存在するモーションのタイプに基づいてジッター抽出方法を適応的に調整することにより、改善することにある。

この目的を達成するために、本発明はデジタル映像シーケンスの画像フレームを安定化するための処理デバイスであって、この処理デバイスは、映像シーケンスの各画像フレームに対して、映像シーケンスのこの画像フレームと先行画像フレームとの間におけるモーション推定から決定されるこの画像フレームのグローバルモーション・パラメータから、ジッターを決定して、画像フレーム内に存在する望ましくないモーションを除去するために、決定したグローバルモーション・パラメータからジッターを除去する処理手段を備えた該処理デバイスに関する。

この処理デバイスにおいて、処理手段は、
・前記映像シーケンスの前記画像フレームおよび少なくとも１個の先行画像フレームにおける決定したグローバルモーション・パラメータから、前記映像シーケンスに存在するモーションのタイプを決定し、つぎに、
・前記決定したモーションのタイプに基づいて少なくとも２つのジッター抽出技術から選定ジッター抽出技術を選択し、そして
・この選定ジッター抽出技術を使用して前記ジッターを決定する
構成としたことを特徴とする。

本発明による処理デバイスは、付加的な特徴を有し、これら特徴を個別にまたは組み合わせることが考えられ、明確には、以下の特徴を有する。すなわち、
・処理デバイスの処理手段は、少なくとも擬似静止的映像シーケンスを強く安定化化するのに適合する第１ジッター抽出技術、およびパノラマ的映像シーケンスに対して滑らかに追従するのに適合する第２ジッター抽出技術を含むグループから、選定ジッター抽出技術を選択する構成とする。
⇒処理デバイスの処理手段は、ａ）現画像フレームを含むＫ１個の連続画像フレームにおける選定したＫ１個の決定したグローバルモーション・パラメータの第１合計と、Ｋ２＜Ｋ１（例えば、Ｋ２＝Ｋ１／２）として現画像フレームを含むＫ２個の連続画像フレームにおける選定したＫ２個の決定したグローバルモーション・パラメータの第２合計とを、計算し、つぎに、ｂ）現画像フレームを含む前記Ｋ１個の連続画像フレームにおける前記第１合計の符号を比較し、ついで、ｃ）この第１合計の符号を第２合計の符号と比較し、そして、ｄ）前記Ｋ１個の第１合計が異符号を持つ、またはＫ１個の第１合計が同符号を持つとともに前記第１、第２合計が異符号を持つときに、前記第１ジッター抽出技術に関連する第１モーションタイプを現画像フレームに関連付けする、または、前記Ｋ１個の第１合計が同符号を持つとともに第１合計と第２合計が同符号を持つときに、前記第２ジッター抽出技術に関連する第２モーションタイプを現画像フレームに関連付けする構成とする。
●処理デバイスの処理手段は、シーンを表す各画像フレームに対して、選定したリファレンシャル内に前記シーンの実位置を示す第１値を計算し、つぎに、現画像フレームを含む連続画像フレームにおけるＫ１個の決定した第１値の平均を表す第２値を計算し、ついで、前記選定したリファレンシャル内に前記シーンの目標位置を表す第３値を得るために前記第１値の平均に前記第１合計を加算し、そして、前記現画像フレームに対応する前記第３値を、やはり前記現画像フレームに対応する前記第１値から減算することにより、前記現画像フレームに対応するジッターを計算する構成とする。
○処理デバイスの処理手段は、各画像フレームに対して、前記選定したリファレンシャル内に先行画像フレームにより示されるシーンの補正位置を表す第４値、および前記選定したリファレンシャル内に先行画像フレームにより示されるシーンの目標位置を表す第５値を計算し、つぎに、第６値を得るために前記第４値から前記第５値を減算し、そして、前記現画像フレームに対応するジッターから前記第６値を減算して、前記グローバルモーション・パラメータから除去する補正ジッターを得る構成とする。
○各画像フレームに対して、前記選定したリファレンシャル内に現画像フレームにより示されるシーンの補正位置を表す第７値を計算し、つぎに、前記現画像フレームの補正したグローバルモーション・パラメータを表す第８値を得るために、前記第７値から前記第４値を減算し、ついで、この第８値の符号を、前記現画像フレームの前記グローバルモーション・パラメータの符号と比較し、そして、前記符号が同一であるときは前記現画像フレームの計算したジッターおよび補正したジッターを使用し、または前記符号が異なるときは先行画像フレームの計算したジッターもしくは補正したジッターを使用する構成とする。
●Ｋ１は映像シーケンスの平均フレームレートを表すパラメータ値より小さいまたは等しい整数とする。
・処理デバイスは、前記映像シーケンスの各画像フレームに対して、前記映像シーケンスの前記画像フレームと先行画像フレームとの間における前記モーション推定を決定し、つぎに前記決定したモーション推定から前記画像フレームの前記グローバルモーション・パラメータを決定する構成した第１計算手段を備える。
・処理デバイスは、前記現画像フレーム内に存在する望ましくないモーションを除去するために、現画像フレームに対応する前記グローバルモーション・パラメータから前記ジッターまたは補正したジッターを除去するよう構成した第２計算手段を備える。
・処理デバイスは、集積回路の少なくとも一部を構成するものとする。

本発明はまた、映像シーケンスの画像フレームを取得する取得手段と、上述のような処理デバイスとを備える第１電子機器を提供する。このような第１電子機器は、例えばデジタルカメラまたは映像取得手段を持つ通信機器とすることができる。

本発明はまた、処理する映像シーケンスの画像フレームを受信する手段と、上上述のような処理デバイスとを備える第２電子機器を提供する。このような第２電子機器は、例えば、通信機器、デジタルビデオデコーダ、デジタルビデオレコーダまたはデジタルビデオエンコーダとすることができる。
本発明の他の特徴および利点は、以下の詳細な説明および添付図面を検討することで明らかになるだろう、

図１に本発明による処理デバイスＤの実施例を示す。この実施例において、処理デバイスＤは電子機器Ｅ１の一部であり、またこの電子機器Ｅ１は、デジタル映像（ビデオ）シーケンスを取得して処理（すなわち安定化）するために設けた取得手段ＡＭと、処理した映像シーケンスを表示するための表示手段ＤＭとを備える。電子機器Ｅ１の例としてはデジタルカメラがあるが、本発明はこの種の撮像機器に限定するものではない。実際、撮像手段を有する通信機器、例えば携帯電話または携帯情報端末（ＰＤＡ）であってもよい。

図２に示した変更例において、処理デバイスＤは電子機器Ｅ２の一部であり、この電子機器Ｅ２は、やはりデジタル映像シーケンスの画像フレームを表すデジタルデータを受信し、処理（安定化）するために設けたデータ受信手段ＲＭと、処理した映像シーケンスを少なくとも一時的に保存するための保存手段ＳＭとを備える。例えば、電子機器Ｅ２は、デジタルビデオデコーダ、デジタルビデオレコーダまたはデジタルビデオエンコーダがあり、これらをデジタルカメラ、通信機器またはそれ以外の通信ネットワークに接続するよう構成するが、本発明はこのタイプの受信機器に限定するものではない。実際、それもまた携帯電話または携帯情報端末（ＰＤＡ）などの通信機器であってよい。

本発明による処理デバイスＤは、少なくとも処理モジュールＰＭを備え、この処理モジュールＰＭは、映像（ビデオ）シーケンスにおけるほとんどすべての画像フレームに存在するジッター（望ましくない揺れ動き）を決定（推定）するよう構成する。このジッターは、並進移動および／または回転運動を表す。

そのようなジッターを決定するために、処理モジュールＰＭは各画像フレームのいわゆるグローバルモーション・パラメータを必要とする。グローバルモーション・パラメータは、グローバルモーション・ベクトルＧＭＶまたは回転とすることができる。実際には、ジッターは、各画像フレームにおける決定したグローバルモーション・パラメータから除去して、画像フレームが含む望ましくない揺れ動きを除去しなければならず、これにより、ビデオ画像の安定化に寄与する。順次のＧＭＶ値が意図的な動きと意図的でない（望ましくない）動き（すなわちジッター）の双方を含む場合を想定する。このようなＧＭＶを第１計算モジュールＣＭ１により決定し、このＣＭ１は、図１および図２に示すように、処理デバイスの１部とする、または電子機器Ｅ１またはＥ２の一部とし、処理デバイスＤに接続することができる。

第１計算モジュールＣＭ１に、デジタル映像（ビデオ）シーケンスの画像フレームを表すデジタルデータを供給し、処理（すなわち安定化）し、この第１計算モジュールＣＭ１は、標準的には、映像シーケンスの各画像フレームに対して、この（現）画像フレーム（時刻ｔにおける）と先行画像フレーム（時刻ｔ−１における）との間のモーション（動き）推定を決定し、つぎに、このモーション推定から、先行画像フレームと比較したこの画像フレームの位置の差を表すグローバルモーション・パラメータを決定するよう構成する。当業者に既知である任意の技術を使用して、画像フレームのＧＭＶを計算することができる。

本発明によれば、処理モジュールＰＭは、デジタル映像シーケンスの各画像フレームに対して、このデジタル映像シーケンスにおける現画像フレームおよび先行画像フレームのグローバルモーション・パラメータ（第１計算モジュールＣＭ１によって決定するＧＭＶおよび／または回転運動）から、そのモーションのタイプを決定するよう構成する。処理モジュールＰＭは、さらに、現画像フレームに対して決定したモーションのタイプに基づいて、少なくとも２つのジッター抽出技術における一つの選定すべきジッター抽出技術を選択し、また最終的に選定したジッター抽出技術を使用して現画像フレームに対応するジッターを決定するよう構成する。

例えば、処理モジュールＰＭは、少なくとも、静的および準静的な映像シーケンスを強く安定化し得る第１ジッター抽出技術、およびパノラマ的映像シーケンスに滑らかな追従し得る第２ジッター抽出技術のうちから、選定すべきジッター抽出技術を選択するよう処理を進める。

技術を選択するために、処理モジュールＰＭは、以下に説明する４個のステップを実施することができる。これらステップは、現画像フレーム内に存在するモーション（動き）が、静的および準静的な映像シーケンスの動き、またはパノラマ的（および移行的）映像シーケンスの動きのどちらに対応しているかを決定することを意図する。

パノラマ的映像フレームの検出は、入力映像シーケンスのＧＭＶをモニタすることに基づき、そのモニタは第１計算モジュールＣＭ１により出力する。より正確には、入力された映像シーケンスにおける動きがパノラマ的映像である場合、動きが一義的な方向に進行し、したがって、いくつかの連続したＧＭＶは同一符号を有するという事実に基づく。しかし、入力された映像シーケンスに存在するジッターが原因で、いくつかのＧＭＶを考慮に入れる必要があり、したがって、意図的でないジッター動きを平滑化し、また考慮しないようにする。

この目的のために、第１ステップにおいて、処理モジュールＰＭは、現画像フレーム（時刻ｔ）を含む映像シーケンスのＫ１個の連続画像フレームにおける選定した数Ｋ１個の決定したグローバルモーション・パラメータＧＭＶ（ｔ）の第１合計Ｓ１（ｔ）と、現画像フレームを含む同一映像シーケンスのＫ２個の連続画像フレームにおけるＫ２個の決定したグローバルモーション・パラメータの第２合計Ｓ２（ｔ）とを、計算し、この場合Ｋ１＜Ｋ２とする。Ｓ１（ｔ）およびＳ２（ｔ）は次式のようになる。すなわち、

例えば、Ｋ２＝Ｋ１／２を選択する。

Ｋ１は、望ましくはＫ１＝（ＦＲ＊ＲＥ）／１０００の式で定義する整数であり、ここで“／”は整数除算であり、ＦＲは入力した映像シーケンスの平均フレームレートであり、ＲＥはパノラマ映像的動きの場合における計算の反応性（すなわちパノラマ映像的動きを検出するのに必要な最小時間）を定義する時定数（例えば１０００分の１秒で表す）である。ＲＥの値は、例えば６５０〜６９０の間における値とし、さらにより好適には、安定性と反応性との間でよい調和がとれる値の６６７にするとよい（しかし他のＲＥ値も可能である）。Ｋ１値がより高くなればなるほど、アルゴリズムが検出するパノラマ映像的動きはより少なくなる。

第２ステップにおいて、処理モジュールＰＭは、現画像フレームを含むＫ１個の連続画像フレームの第１合計Ｓ１（ｔ−Ｋ１），Ｓ１（ｔ−Ｋ１＋１），Ｓ１（ｔ−Ｋ１＋２），…，Ｓ１（ｔ−１），Ｓ１（ｔ）のそれぞれの符号を比較する。

つぎに第３のステップにおいて、処理モジュールＰＭは、現画像フレームに対応する第１合計Ｓ１（ｔ）の符号を、やはり現画像フレームに対応する第２合計Ｓ２（ｔ）の符号と比較する。

最後に第４のステップにおいて、処理モジュールＰＭは、現画像フレームのモーションのタイプを決定するために二つの比較結果を使用する。より正確には、３つのケースが起こり得る。すなわち、
・Ｋ１個の第１合計（ｔ−Ｋ１），Ｓ１（ｔ−Ｋ１＋１），Ｓ１（ｔ−Ｋ１＋２），…，Ｓ１（ｔ−１），Ｓ１（ｔ）が異符号を持つ場合、処理モジュールＰＭは、第１ジッター抽出技術に関連する第１モーションタイプを現画像フレームに関連させる、
・Ｋ１個の第１合計（ｔ−Ｋ１），Ｓ１（ｔ−Ｋ１＋１），Ｓ１（ｔ−Ｋ１＋２），…，Ｓ１（ｔ−１），Ｓ１（ｔ）が同符号を有し、かつ現画像フレームの第１合計Ｓ１（ｔ）と第２合計Ｓ２（ｔ）が異符号を有する場合、処理モジュールＰＭはやはり第１モーションタイプを現画像フレームに関連させる、
・Ｋ１個の第１合計（ｔ−Ｋ１），Ｓ１（ｔ−Ｋ１＋１），Ｓ１（ｔ−Ｋ１＋２），…，Ｓ１（ｔ−１），Ｓ１（ｔ）が同符号を有し、かつ現画像フレームの第１合計Ｓ１（ｔ）と第２合計Ｓ２（ｔ）が同一符号を有する場合、処理モジュールＰＭは第２ジッター抽出技術に関連する第２モーションタイプを現画像フレームに関連させる。

このように、第１モーションタイプは静的および準静的な映像シーケンスに対応するとともに、第２モーションタイプはパノラマ的（および移行的）の映像シーケンスに対応する。

どんな第１ジッター抽出技術（静的および準静的な映像シーケンスの強い安定化に適する）を使用してもよく、以下に説明する２つの技術が有名である。

第１ジッター抽出技術は、時刻ｔにおける現画像フレームの先行画像フレームに対する動きの方向と大きさを表すグローバルモーション・ベクトルＧＭＶ（ｔ）を、式Ｅに基づく可変適応的因数である減衰係数ａ（Ｅ）を伴って統合する段階（フェーズ）でスタートすることができ、これにより、モーション補正の観点から現画像フレームに適用する最終モーション・ベクトルの補正を表す統合ベクトルＩＭＶ（ｔ）、いわゆる統合モーション・ベクトルを出力する。この統合モーション・ベクトルＩＭＶ（ｔ）は、次式で表すことができる。すなわち、
ＩＭＶ（ｔ）＝ａ（ｔ，ｔ−１...）・ＩＭＶ（ｔ−１）＋ＧＭＶ（ｔ）
ここでＩＭＶ（ｔ−１）は現画像フレームに先行する画像フレームに対応する統合モーション・ベクトルである。

減衰係数ａ（Ｅ）は、例えば２個の直近のグローバルモーション・ベクトルＧＭＶ（ｔ−１）とＧＭＶ（ｔ）の合計に依存する。このことにより、意図的な動きの開始を検出することを可能にする（直近のグローバルモーション・ベクトルＧＭＶ（ｔ−１）それ自体は、通常、不安定すぎて使用できない）。

減衰係数ａ（Ｅ）と２個の直近グローバルモーション・ベクトルの合計（ＧＭＶ（ｔ−１）＋ＧＭＶ（ｔ））との間における対応表は、以下の方法で構成することができる。すなわち、
・ＧＭＶの低い合計値は、あたかも意図的な静的カメラとみなせるように、強く映像シーケンスを安定化させる高い減衰係数値ａ（Ｅ）をとり、
・ＧＭＶの高い合計値は、低い減衰係数値をとり、それによりシーケンスは元の動きをより正確に追従する。

いくつかの付加的な機能を提案することができる。例えば、ｘベクトルのフィルタ処理をｙベクトルのフィルタ処理と無関係に行うと有利である。さらに、規定区域外（アウト・オブ・バウンズ）検出を設けることができる。この検出によれば、ＩＭＶ補正が、認証された追加入力範囲に対応する所定閾値を超えていないかをチェックし、また許容範囲、例えば＋／−１６個の画素（またはピクセル）範囲内にとどまるように補正することができる。

このような技術は、文献（“Fast digital image stabilizer based on Gray-code bit-plane matching”, IEEE Transactions on Consumer Electronics, vol.45, n^o3, August 1999, pp.598-603）に記載されたものの改良型である。

改良形態において、第１ジッター抽出技術は、平行移動の性質（並進的挙動）だけでなく回転運動の性質（回転的挙動）を有する、あるいは回転運動の性質（回転的挙動）のみ有するジッターを抽出するために設ける。この改良形態は、以下に説明するように取得することができる特別なグローバルモーション・ベクトルＧＭＶを必要とする。

モーション推定フェーズを、以下の３個のサブステージ、すなわち、
・いわゆる“「ブロックモーション・ベクトル（以下ＢＭＶ）」であって、例えば現画像および先行画像間におけるマクロブロックをマッチングする該ＢＭＶを、デジタルカメラから得る画像の特定の部分（コーナー、エリア等）のために計算しまた生成するサブステージと、
・アフィンモーションをサーチするためにＢＭＶを除去するサブステージと、
・ＢＭＶから導き出すカメラ動きを表すグローバルモーション・パラメータ（並進ベクトルおよび回転角度）を得るために、連立方程式の解を求め、および排除基準を決定するサブステージと、
に副次的に分割する。

ＢＭＶを生成する第１サブステージは、以下の４個のステップを有する。

第１ステップはバイナリ画像フレームの生成に関する。
「１ビット画像」をモーション推定に使用するが、この理由は、メモリ制約を大幅に軽減し、さらに、基準ブロックとサーチブロックとの間におけるひずみ関数を極めて効率的に計算できるからである。ひずみ関数、すなわち「絶対差の合計」（以下「ＳＡＤ」と称する）は、容易に実装できる「ＸＯＲ」演算子を使用することにより計算する。画像フレームの「グレイコードのビットプレーン」分解を使用する。グレイコードのビットプレーンは以下のようにして生成する。すなわち、
ある場所におけるピクセルの輝度（ルミナンス）を次式のように表す。

ここでｘおよびｙは前記面の座標であり、ａ_ｋ は０≦ｋ≦Ｎ−１において０か１のどちらかである。例えば、概念を分かり易くするために、この場合８ビットの輝度画像としてＮ＝８を用いる。
第４グレイビットコードｇ_４は、以下の方程式から計算する。すなわち、

「排他的ＯＲ（ＸＯＲ）」演算子を表し、ａ_ｋ は方程式（１）により得る「基底２」表示のｋ番目のビットである。
（例えば取得手段ＡＭによって）原初的に生成された画像フレームに対応する、第４グレイコードのビットプレーン画像、すなわちバイナリ画像フレームを、メモリ手段に記録する。

第２ステップは、ブロック位置およびテクスチャ指標に関する。
例えば景観を表す上記バイナリ画像フレームＩｍｇを、例えばＡ１〜Ａ６の６個のエリアに分割し、通常これらエリアは、それぞれ画像の頂部および底部における２本の平行線にしたがって分布する。Ａ１〜Ａ６の各エリアは、例えば１６×１６ピクセル（画像のＱＣＩＦフォーマットとして知られる画像フォーマットの場合において）の９個のマクロブロック（以下“ＭＢ”）を有する。

８ビット画像のバイナリ化によって、１ビット画像の各バイナリＭＢに対して信頼性基準を計算する。この基準は、１６×１６ピクセルのブロックにおいて単に「１」であるピクセルの数をカウントすることで実行する。テクスチャが粗すぎる、すなわち「０」に比べて「１」の割合が大きすぎるまたは小さすぎる比を有するＭＢｓは、信頼性がないとラベル付けして、それらに対してモーション推定を実行しない。例えば、いくつかのブロックは極めて均一であると、これらブロックはしばしば間違って推定したモーション・ベクトルにつながる。

第３ステップは、ブロックマッチング・サーチ手法に関する。この手法は、以下の４個のサブステップを有する。

全面的にサーチするブロックマッチングを実行するエリアには可変数のブロックモーション・ベクトル（ＢＭＶ）がある。

予測変数（プレディクタ）およびサーチ範囲：各エリアにおける候補ベクトルを一層簡素化するために、各ＭＢラインの第1ベクトルだけが拡張したサーチエリアを有する。残りのブロックは、先行する信頼性のあるＢＭＶから得る予測モーション・ベクトルを中心とする減少したサーチ窓を有する。選定される隣接ブロックの信頼性がないならば、直近の有効ＭＶを予測変数として使用する（処理順序は左から右、上から下に行う）。

信頼性のなさそうなＭＶの排除：いくつかの信頼性のなさそうなＭＶを排除するために、メカニズムを追加する。とくに変化が僅かな場合、モーションサーチは結果をもたらすだろうが、この結果は完全に間違っていることもある：照合したブロックが極めてことなり、結果として得られるベクトルは「ほとんど似ていないブロック」を「最も似ているブロック」よりも多く指し示すことがあり得る。したがって、ＳＡＤが所定閾値（以下ＳＡＤ閾値と称する）を超えているＭＶを排除するよう選択する。

ブロックマッチング・サーチの高速化：上記閾値を同様に使用して、モーションサーチを高速化することができる。あらかじめ以下のメカニズムを実施する。すなわち、各ＭＢサーチ位置に対して、現ＳＡＤを、ＭＢ内における２本毎に現最小ＳＡＤと比較する。現ＳＡＤがすでに最小ＳＡＤを超えている場合、その位置に対するサーチを終了する。したがって現最小ＳＡＤをＳＡＤ閾値に初期化することで、マッチング処理をさらに高速化できるようになる。

第４ステップはサブピクセルのモーション推定に関する。
サブピクセルサーチを実行する一つの方法としては、サブピクセルサンプルを生成するために８ビット画像を補間し、またこの拡張した画像に対してバイナリ化処理を加えるものがある。この後、拡張したバイナリ画像のマッチングにより、モーション・ベクトルにサブピクセル精度を付与する。

第２サブステージはアフィンモーション・サーチを実行するためのＢＭＶ排除である。
先行ステップから１組のＢＭＶセット、すなわち現画像と先行画像との間における１組の対応点のセットが得られている。グローバルアフィンモーション・パラメータを得るために、この系の解を求める。２フレーム間における対応点の３個以上のペア（対）により、アフィンモーション・パラメータを得る方程式の最小二乗解は入手可能である。信頼性のある結果を得るために、さらにより多くのベクトル（５４個にも達するベクトル）を使用することで、より決定的な系を構築する。

しかし、最小二乗法アルゴリズムは、アウトライアー（異常値）に極めて敏感であり、適正に異常値を除去することは、モーション推定処理の重大なステップである。このことは、以下に説明する３ステップで実行する。

１．ＳＡＤに基づくより多くのＢＭＶの除去：ＳＡＤが所定の閾値より大きいベクトル（以下ＳＡＤ＿ｔｈｒｅｓｈｏｌｄ＿ｌｏｗ）は排除する（この閾値は、もちろん 「モーション推定」に先行して使用した閾値より低い）。

２．ローカル（局所的）異常値の除去：まず異常値を各エリアに対して局所的に除去する。
６個のエリアがあり、１エリアあたり最大９個のベクトルが存在する。

ベクトルの１個の座標に対する処理を、以下に例えばｘ座標について説明する。エリア内の各ベクトルｋ（ただし、０≦ｋ≦有効ベクトルの数）に対して、絶対差の合計ｓｕｍ＿ｄｉｆｆ［ｋ］をこのベクトルｋからエリア内の全ての他のベクトル（ｉ）まで計算する。すなわち、

そして以下の式を計算する。すなわち、

ここでａｖｅｒａｇｅ＿ｄｉｆｆはエリアをまたがった絶対差合計の平均である。
最終的な排除基準ｓｕｍ＿ｄｉｆｆ＿［ｋ］は次式のようになる：

ここでαとβは所定の閾値である。
この計算はｘおよびｙのベクトル値に対して独立して実行する。どのベクトル座標も方程式（２ｔｅｒ）を満たさないならば、そのベクトルを排除する。

３．グローバル（大域的）異常値の除去：画像レベルにおいて全てのベクトルを使用して実行する異常値排除処理は、ローカル異常値と同一の原理を使用する。ローカルステップは、いくつかのベクトルはグローバルステップにおいてクラスタを構築することができるという理由から必要であり、したがって、もし可能であれば局所的なレベル（ローカルレベル）でまず始めに除去すべきである。グローバル排除は、第１フェーズ後にも残存する異常値を除去することが可能であり、なぜなら、エリアは極めて少数のベクトルを有する、またはグローバルモーションに対応しない移動物体を有するからである。閾値αとβは、しかし、それほど限定的なものではなく、例えば高速回転運動の場合に排除するベクトルが多すぎることを回避する。

第３サブステージは連立方程式の解を求め、また排除基準を決定することに関する。
過剰決定系を解く（一次連立方程式をガウス‐ジョルダン法により解く）。この系は、以下の通りである。すなわち、
Ｘ＝ａｘ＋ｂｙ＋ｅ
Ｙ＝ｃｘ＋ｄｙ＋ｆ
ここでｘとｙはバイナリ画像の座標である。

最小二乗解は６個のパラメータａ，ｂ，ｃ，ｄ，ｅ，ｆを与える。この連立方程式の変換を、平行移動（平行移動ベクトル（Ｔｘ，Ｔｙ））＋回転運動（回転角θ）＋カメラのズーム（倍率ｒ）としてモデル化する場合、これら方程式は次式に対応する。すなわち、
Ｘ＝ｒｃｏｓθｘ−ｒｓｉｎθｙ＋Ｔｘ
Ｙ＝ｒｓｉｎθｘ＋ｒｃｏｓθｙ＋Ｔｙ
したがって、回転角θを計算するとともに、方程式の解により得られるパラメータａ，ｂ，ｃ，ｄの一貫性をチェックする：
・第１チェックを実行して、次式をほぼ満足するかどうかを決定する。すなわち、
ａ^２＋ｂ^２＝ｃ^２＋ｄ^２ （両辺ともｒ^２に等しくなくてはならない）
この場合、
(ａ^２＋ｂ^２)−(ｃ^２＋ｄ^２)＞
(ａ^２＋ｂ^２)−(ｃ^２＋ｄ^２)＞ max_diff_zoom_factor (3)
であるとき、結果を排除する。
ここでｍａｘ＿ｄｉｆｆ＿ｚｏｏｍ＿ｆａｃｔｏｒは所定のズームパラメータである。
・第２チェックを実行して、２個の方程式がほぼ同じ回転角を導くかどうかを決定し、｜θ_１−θ_２｜＞
｜θ_１−θ_２｜＞ max_angle_difference (4)
のとき、結果を排除する。
ここでｍａｘ＿ａｎｇｌｅ＿ｄｉｆｆｅｒｅｎｃｅは他の所定の回転角パラメータ、θ_１＝ａｒｃｔａｎ（−ｂ／ａ）、およびθ_２＝ａｒｃｔａｎ（ｃ／ｄ）である。
さらに、ｍｅｄｉｕｍ＿ａｎｇｌｅ＿ｄｉｆｆｅｒｅｎｃｅとして示される他の所定回転角パラメータが次式を満たすか否かをチェックする。すなわち、
medium_angle_difference ＜｜θ_１−θ_２｜＜ max_angle_difference (4bis)
見出した最小の回転角をθの値として選択する。
もし結果に一貫性があると判断できるならば、したがって平行移動ベクトル（Ｔｘ＝ｃ，Ｔｘ＝ｆ）およびθ＝（θ_１＋θ_２）／２で与えられる回転角θの双方を得る。
方程式（３）または（４）のどちらか一方が真であるために、連立方程式の解が得られない場合、回転角θを０とする。平行移動ベクトルとして、ＢＭＶの中央値をとる（異常値除去処理の後に）。

モーション（動き）フィルタ処理フェーズを、モーション（動き）推定フェーズに続いて行う。このこのモーション（動き）フィルタ処理フェーズにおいては、平行移動ベクトルと回転角を個別にフィルタ処理するのが好ましい。平行移動および回転運動における理想的な補正を発見した後に、境界チェックを実行する。このようにして、このモーション（動き）フィルタ処理フェーズは、３個のメインステップを有する。

第１ステップは、平行移動のフィルタ処理である。
一連のシーケンスにわたり一貫してジッターから意図的なモーション（動き）を分離することは複雑な問題である。リアルタイム用途における主な制約は、どんな遅延も許されないこと、すなわちいくつかのフレームをメモリ手段に保存できないことと、動きがよく知られていることである。平行移動ベクトルのためのフィルタ処理方法は、上述したようにそれ自体既知である。
したがってこのような方法についてさらに詳述する必要はない。

第２ステップは、回転角ベクトルのフィルタ処理に関する。
回転角は、その変化が平行移動ベクトルに比べてあまり突発的なものはないため、異なったより単純な方法でフィルタ処理する。モーション（動き）推定により得られる角度を、カメラにより得る画像シーケンスにわたり累積する。処理は、それらを補償しようとする。累積角度を、シーケンス全体を通して全回転角度を合計することにより計算して、例えば、フレームがｎ個のときは、以下のようになる。すなわち、
（Ａｃｃθ）［ｎ］＝Σ_{（ｌ≦ｋ≦ｎ）}θ［ｋ］
原初的（元の）累積角度は、原初的（元の）回転角度（モーション推定処理により得られる）の合計として定義する。補正した累積角度は、補正した累積角度（以下に説明するように、境界チェックステップによるクリッピング後の）の合計として定義する。

通常は、境界チェックステップを行うことから、使用者がカメラを自発的に傾けようと決断する場合、全回転角を補償することは不可能または望ましくないことですらある。初期位置に戻りつつあるときに、新たな角度「固定」位置（補正した累積角度に対応する）は原初シーケンスに比べてわずかに傾いていることがある。このことを回避するために、モーション推定により測定した元の累積角度をメモリ手段に保存および保持する。所定数の連続フレームに対して、補正した累積角度が元の累積角度から違いすぎている場合、追加の補正を加え、補正したシーケンスを使用者が望む位置により近い位置に戻す。

第３ステップは境界チェックに関する。
「境界検査ステップ」の間、「回転運動＋平行移動の補正」（以下「Ｒ＋Ｔ」と記載する）をチェックし、認証された追加入力エリアに応じてこの補正が所定許容閾値を超えているか否か決定する。もし超えているなら、許容範囲内（例えば具体的に、±８画素の境界）におさまるように補正する。ただし、第１に平行移動の補正に加えて（実エリアよりわずかに小さい模擬追加エリアとともに）、つぎに、回転角を画像の追加許容境界内に留まるように削り取る。

詳細なプロセスを以下に説明する。
第一に、画像フレームＦ（以下「フレーム」と称する）を（フレームの中心をＯからＯ´になるように）平行移動し、この平行移動ベクトルをＶＴとする。得られた新しい中心Ｏ´の位置で、フレームＦを算出しなければならない所定角度までのみ回転できる。

最終フレーム生成プロセスにおいて、例えばデジタルカメラＥ１などの取得手段ＡＭは、追加エリア入力Ａｉ（境界サイズが１に等しい）を有するフレームＦを発生する。もし安定化したフレームＦを生成する回転角が大きすぎる場合、回転したフレームにホール（孔）を持つことがある。

フレームＦは使用者に提示する画像の境界を定める内側長方形ＡＢＣＤを有する。

ここで、トリミングした画像における一つ（例えばＡであれば左上方）のコーナーを考慮して、どのように境界チェックステップを行うかを説明するが、この処理は他のコーナーに対しても同様であり、各コーナーに対して繰り返さなければならない。処理のゴールは、境界サイズが１であることを考慮して、回転した画像の境界が点Ａで交差するように限界角度を計算することである。

時計方向と反時計方向のどちらに回転するかで、考慮したコーナーごとに２個の限界角度が存在する。
２個の限界角度間の範囲で任意の角度を妥協点とし、ホール（孔）を生じないようにする（このときコーナーＡを考慮する：やはり残りのコーナーについてもチェックしなければならない）。

第１限界角度θ１_Ａを、点Ａの近傍にホールを生成せずに、次式により計算する（第１ケース）。すなわち、
θ１_Ａ＝α_１Ａ−ＡｒｃＣｏｓ（（Ｏ´Ｍ）／Ｌ_Ａ）
ここで、α_１Ａ＝ＡｒｃＣｏｓ（（ｎｌ／２−１＋Ｖｙ）／Ｌ_Ａ）
であり、Ｌ_Ａは変位した中心Ｏ´とコーナーＡとの間における距離（容易にフレームサイズ、境界サイズ１および平行移動ベクトルＶＴから計算できる）であり、ＶｙはベクトルＶＴのｙ値であり、Ｏ´Ｍ＝ｎｌ／２である（ｎｐとｎｌはそれぞれキャプチャしたフレームＦの幅と高さである）。

他方の限界角度θ２_Ａを点Ａの近傍にホールを発生せずに計算する（第２ケース）。
θ２_Ａ＝α_２Ａ−ＡｒｃＣｏｓ（（Ｏ´Ｎ）／Ｌ_Ａ）
ここで、α_２Ａ＝ＡｒｃＣｏｓ（（ｎｐ／２−１＋Ｖｘ）／Ｌ_Ａ）
であり、ＶｘはベクトルＶＴのｘ値であり、Ｏ´Ｎ＝ｎｐ／２である。

従って、４個のコーナーＡ，Ｂ，Ｃ，Ｄに対して実行すると、８個の角度を得る。つぎに、正の角度の最小値と負の角度の最大値を計算する。もしモーション推定から得た回転角度を、必要ならば、これら２個の最終角度のうち一方にとどめる。

任意な第２ジッター抽出技術（パノラマ的映像シーケンスの滑らかな追従に適合する）を使用することができ、このことを以下に説明する。

第２ジッター抽出技術は、映像シーケンスの各画像フレームに対してジッターを出力することを意図するものであり、このジッターは、入力された映像シーケンスのグローバル動きに追従できるようにするため、現画像フレームのグローバルモーション・パラメータから除去できる。入力した映像シーケンスの「平均モーション」はこの要件を満たす。したがって、ジッターは、画像フレームの現在および実モーションと画像フレームの所望の平均化したモーションとの差として計算しなければなれない。
現画像フレームの実モーションおよび所望モーションを定義するために、いわゆる累積モーション・ベクトル、すなわちＡＭＶと称されるベクトルを使用する。

ＡＭＶは（固定の）リファレンシャル（参照基準）内におけるシーンの位置を示すため、ＡＭＶは、ＤＩＳのコンテキスト（状況）の中でよく使用される量であることに留意する。ここにおける「シーン」は、取得手段ＡＭ、例えばデジタルカメラＥ１によって映像シーケンス中にカバーされる視界全体を意味する。ＧＭＶ（ｔ）が、時刻ｔにおけるシーンを表す現画像フレームと、時刻ｔ−１にける同様のシーンを表す先行画像フレームとの間における位置差を表す場合、ＡＭＶ（ｔ）は映像シーケンスの開始からの連続したＧＭＶ（ｔ）の合計を表し、したがってリファレンシャル（参照基準）内におけるシーン位置を表す。

所望モーションは、同一ＡＭＶの平滑化（単純な動き平均化フィルタによる）バージョンとして定義する。

動き平均の計算にはズレを生ずることが示されている。より正確には、時刻ｔにおける平均ＡＭＶは、ｔから平均周期を引いた時刻における入力映像シーケンスの平滑化した位置を表し、このことは、実行制約としてゼロ遅延が必要となるからである。モーションはパノラマ的映像シーケンスに対応するため、取得手段ＡＭの速度に基づいてこのズレは極めて大きくなる。したがって、もし測定したモーションから平均化したモーションを直接減算する場合、ズレおよびジッターが累積し、このために計算したジッターは極めて大きくなる。この計算したジッターは、ほとんど許容限界（例えばＣＩＦフォーマットの１６ピクセルに等しくすることができる）を上回り、切り取られてこの許容限界値に留まる。この場合においては、モーションに追従しても、ジッターを何ら補正しない。

したがって、この問題を解決するために、モーションを外挿法で推定しなければならない。この操作のために、選定されたリファレンシャル（参照基準）内のあるシーンの目標位置を表す第３値ｄｅｓｉｒｅｄＡＭＶ（ｔ）を、次式のように定義する。すなわち、

ここでｒｅａｌＡＭＶ（ｔ）はリファレンシャル内のシーンの実位置であり測定した位置を表す第１値であり、Ｓ１（ｔ）は先に定義した第１合計（時刻（ｔ−Ｋ）からｒｅａｌＡＭＶ（ｔ）に加えられたモーション量を表す）である。

ジッターがほぼゼロであると期待され、また入力された映像シーケンスのモーションがほぼ一定速度のパノラマ／移行的な映像に対応する限りは、ｄｅｓｉｒｅｄＡＭＶ（ｔ）がその量を増加し続けてきたということに相当強い確信が持てる。

（第３）値ｄｅｓｉｒｅｄＡＭＶ（ｔ）を計算するために、処理モジュールＰＭは映像シーケンスの各画像フレームに対して第１値ｒｅａｌＡＭＶ（ｔ）をまず計算して、つぎに、現画像フレームを含むＫ１個の連続画像フレームにおけるＫ１個の決定した第１値の平均を表す（第２）値を計算し、最終的にこの第１値の平均を現画像フレームの第１合計Ｓ１（ｔ）に加える。

処理モジュールＰＭは、ｒｅａｌＡＭＶ（ｔ）から直接ｄｅｓｉｒｅｄＡＭＶ（ｔ）を減算することでジッターを得ることができる。すなわち、
jitter(t) = realAMV(t) - desiredAMV(t)
である。
しかし、このことは、第１ジッター抽出技術から第２ジッター抽出技術に切り換えるときに、異なる方法で行うと有利である。実際、この場合において、調整値［ｓｈｉｆｔ（ｔ）］を処理モジュールＰＭによって計算し、第１ジッター抽出技術から第２ジッター抽出技術に切り換える度毎に、出力映像シーケンス（すなわち安定化した映像シーケンス）内に発生する「急変」を緩和しなければならない。したがって、処理モジュールＰＭが、第１ジッター抽出技術から第２ジッター抽出技術への切り換えを決定する度毎に、次式により定義する（第６）調整値ｓｈｉｆｔ（ｔ）を計算する。すなわち、
shift(t) = correctedAMV(t-1) - desiredAMV(t-1)

ここで、ｃｏｒｒｅｃｔｅｄＡＭＶ（ｔ−１）は、選定されたリファレンシャル（時刻ｔ−１における）内に先行画像フレームにより示されるシーンの補正位置を表す（第４）値であり、ｄｅｓｉｒｅｄＡＭＶ（ｔ−１）は、選定されたリファレンシャル（時刻ｔ−１における）内に先行画像フレームによって示されるシーンの目標位置を表す（第５）値である。
ｓｈｉｆｔ（ｔ）の後続値は、ジッター抽出技術を処理モジュールＰＭにより変えない限り一定である。

最後に処理モジュールＰＭは、次式により定義する補正ジッターを計算する。すなわち、
correctedjitter(t) = realAMV(t) - desiredAMV(t) - shift(t)

第２ジッター抽出技術から、先行する値を考慮してジッターを計算する（上述した第１ジッター抽出技術ではこのことが言える）第１ジッター抽出技術へ切り換えるときは、調整は不要である。そのような調整は、しかし他タイプの第１ジッター抽出技術では必要となることがあり得る。

どのようなジッター抽出技術を使用するとしてでも、ジッターまたは補正ジッターを処理モジュールにより計算するときは、第２計算モジュールＣＭ２を設け、対応するグローバルモーション・パラメータからジッターを除去し、現画像フレームに存在する望ましくないモーションを除去する。このような計算モジュールＣＭ２は、図１および２に示すように処理デバイスＤの一部とする、または電子機器Ｅ１またはＥ２の一部として処理デバイスＤに接続することができる。

対応するグローバルモーション・パラメータからジッターまたは補正したジッターを除去する前に、処理モジュールＰＭは、望ましくは補正したグローバルモーション・パラメータが現モーションＧＭＶ（ｔ）と同一符号を持つか否かをチェックする。この目的のために、処理モジュールＰＭは、選定されたリファレンシャル内に現画像フレームにより示されるシーンの補正位置を表す（第７）値ｃｏｒｒｅｃｔｅｄＡＭＶ（ｔ）を計算し、つぎに（第４）値ｃｏｒｒｅｃｔｅｄＡＭＶ（ｔ−１）をこの（第７）値ｃｏｒｒｅｃｔｅｄＡＭＶ（ｔ）から減算して、現画像フレームの補正したグローバルモーション・パラメータを表す（第８）値を得る。

つぎに、この第８値（ｃｏｒｒｅｃｔｅｄＡＭＶ（ｔ）−ｃｏｒｒｅｃｔｅｄＡＭＶ（ｔ−１））の符号をグローバルモーション・パラメータＧＭＶ（ｔ）の符号と比較する。この比較は、以下のように疑似コードで表すことができる。すなわち、
GMV(t)x(correctedAMV(t) - correctedAMV(t-1)) < 0
符号が同一である場合、処理モジュールＰＭは、現画像フレームの計算したジッター（ｊｉｔｔｅｒ（ｔ））または補正したジッター（ｃｏｒｒｅｃｔｅｄｊｉｔｔｅｒ（ｔ））を第２計算モジュールＣＭ２に送信する。
符号が異なる場合、処理モジュールＰＭは、補正した動き（時刻ｔにおける）を０にカットし、このことを以下のように疑似コードで表すことができる。すなわち、
correctedAMV(t) ← correctedAMV(t-1))、および
correctedjitter(t)[or jitter(t)] ← realAMV(t) - correctedAMV(t)

このタイプの比較は、ジッターが発生する度毎にパノラマ的映像シーケンスの中心に静止相を導きやすく、またモーションの所望の滑らかさを減少させる。実際の逆補正（例えばパノラマ映像が停止する、または方向反転）を避けるために、処理モジュールＰＭは、第８値（ｃｏｒｒｅｃｔｅｄＡＭＶ（ｔ）−ｃｏｒｒｅｃｔｅｄＡＭＶ（ｔ−１））の符号を第２合計Ｓ２（ｔ）の符号と比較する。この第２合計Ｓ２（ｔ）は短期間の平均表し、長期間の平均であるＳ１（ｔ）よりもモーションの変化によりよく反応することができる。

この比較の改良型を以下のように疑似コードで表せる。すなわち、
S2(t)x(correctedAMV(t) - correctedAMV(t-1)) < 0
符号が同一である場合、処理モジュールＰＭは、現画像フレームの計算したジッター（ｊｉｔｔｅｒ（ｔ））または補正したジッター（ｃｏｒｒｅｃｔｅｄｊｉｔｔｅｒ（ｔ））を第２計算モジュールＣＭ２に送信する。
もし符号が異なる場合、処理モジュールＰＭは、補正した動き（時刻ｔにおける）を０にカットし、このことを以下のように疑似コードで表すことができる。すなわち、
correctedAMV(t) ← correctedAMV(t-1)、および

correctedjitter(t) [or jitter(t)] ← realAMV(t) - correctedAMV(t)

望ましくは、処理デバイスＤは、集積回路ＩＣの少なくとも一部を構成する。このような集積回路は、ＣＭＯＳ技術、またはチップ工場で現在使用されている任意の技術で実現できる。しかし、処理デバイスＤは、ソフトウェアモジュール、またはハードウェアおよびソフトウェアモジュールの組み合わせによって実現できる。

本発明は、とくにリアルタイム（実時間）安定化の場合、すなわち、フレームを記憶手段に保存できず、したがって、遅延なく順次即座に安定化しなければならないとき、有利である。

本発明は、上述した処理デバイスおよび電子デバイスの実施形態に限定するものではなく、単なる例示に過ぎず、特許請求の範囲で当業者が考えられる全ての他の実施形態も包含する。

本発明による処理デバイスの実施形態の例であるデジタルカメラの実施例を図式的かつ機能的に示す。 本発明による処理デバイスの実施形態の例であるデジタルビデオレコーダの実施例を図式的かつ機能的に示す。

Claims (16)

1. デジタル映像シーケンスの画像フレームを安定化するための処理デバイスであって、映像シーケンスの各画像フレームに対して、前記映像シーケンスのこの画像フレームと先行画像フレームとの間におけるモーション推定から決定される前記画像フレームのグローバルモーション・パラメータからジッターを決定して、前記画像フレーム内に存在する望ましくないモーションを除去するために前記決定したグローバルモーション・パラメータから前記ジッターを除去するように構成した処理手段を備えた処理デバイスにおいて、前記処理手段は、前記映像シーケンスの前記画像フレームおよび少なくとも１個の先行画像フレームにおける決定したグローバルモーション・パラメータから、前記映像シーケンスに存在するモーションのタイプを決定し、つぎに、前記決定したモーションのタイプに基づいて少なくとも２つのジッター抽出技術から選定すべき選定ジッター抽出技術を選択し、そしてこの選定ジッター抽出技術を使用して前記ジッターを決定する構成としたことを特徴とする、処理デバイス。
2. 請求項１に記載の処理デバイスにおいて、前記処理手段は、少なくとも擬似静止的映像シーケンスを強く安定化化するのに適合する第１ジッター抽出技術、およびパノラマ的映像シーケンスに対して滑らかに追従するのに適合する第２ジッター抽出技術を含むグループから、選定ジッター抽出技術を選択する構成としたことを特徴とする、処理デバイス。
3. 請求項２に記載の処理デバイスにおいて、前記処理手段は、ａ）現画像フレームを含むＫ１個の連続画像フレームにおける選定したＫ１個の決定したグローバルモーション・パラメータの第１合計と、Ｋ２＜Ｋ１として現画像フレームを含むＫ２個の連続画像フレームにおける選定したＫ２個の決定したグローバルモーション・パラメータの第２合計とを、計算し、つぎに、ｂ）現画像フレームを含む前記Ｋ１個の連続画像フレームにおける前記第１合計の符号を比較し、ついで、ｃ）この第１合計の符号を第２合計の符号と比較し、そして、ｄ）前記Ｋ１個の第１合計が異符号を持つ、またはＫ１個の第１合計が同符号を持つとともに前記第１、第２合計が異符号を持つときに、前記第１ジッター抽出技術に関連する第１モーションタイプを現画像フレームに関連付けする、または、前記Ｋ１個の第１合計が同符号を持つとともに第１合計と第２合計が同符号を持つときに、前記第２ジッター抽出技術に関連する第２モーションタイプを現画像フレームに関連付けする構成としたことを特徴とする、処理デバイス。
4. 請求項３に記載の処理デバイスにおいて、Ｋ２はＫ１／２等しいものとしたことを特徴とする、処理デバイス。
5. 請求項３または４のいずれか一項に記載の処理デバイスにおいて、前記処理手段は、シーンを表す各画像フレームに対して、選定したリファレンシャル内に前記シーンの実位置を示す第１値を計算し、つぎに、現画像フレームを含む連続画像フレームにおけるＫ１個の決定した第１値の平均を表す第２値を計算し、ついで、前記選定したリファレンシャル内に前記シーンの目標位置を表す第３値を得るために前記第１値の平均に前記第１合計を加算し、そして、前記現画像フレームに対応する前記第３値を、やはり前記現画像フレームに対応する前記第１値から減算することにより、前記現画像フレームに対応するジッターを計算する構成としたことを特徴とする、処理デバイス。
6. 請求項５に記載の処理デバイスにおいて、前記処理手段は、各画像フレームに対して、前記選定したリファレンシャル内に先行画像フレームにより示されるシーンの補正位置を表す第４値、および前記選定したリファレンシャル内に先行画像フレームにより示されるシーンの目標位置を表す第５値を計算し、つぎに、第６値を得るために前記第４値から前記第５値を減算し、そして、前記現画像フレームに対応するジッターから前記第６値を減算して、前記グローバルモーション・パラメータから除去する補正ジッターを得る構成としたことを特徴とする、処理デバイス。
7. 請求項６に記載の処理デバイスにおいて、前記処理手段は、各画像フレームに対して、前記選定したリファレンシャル内に現画像フレームにより示されるシーンの補正位置を表す第７値を計算し、つぎに、前記現画像フレームの補正したグローバルモーション・パラメータを表す第８値を得るために、前記第７値から前記第４値を減算し、ついで、この第８値の符号を、前記現画像フレームの前記グローバルモーション・パラメータの符号と比較し、そして、前記符号が同一であるときは前記現画像フレームの計算したジッターおよび補正したジッターを使用し、または前記符号が異なるときは先行画像フレームの計算したジッターもしくは補正したジッターを使用する構成としたことを特徴とする、処理デバイス。
8. 請求項６に記載の処理デバイスにおいて、前記処理手段は、各画像フレームに対して、前記選定したリファレンシャル内に現画像フレームにより示されるシーンの補正位置を表す第７値を計算し、つぎに前記現画像フレームの補正したグローバルモーション・パラメータを表す第８値を得るために、前記第７値から前記第４値を減算し、ついで、前記第８値の符号を、前記現画像フレームの前記第２合計の符号と比較し、そして、前記符号が同一であるときは前記現画像フレームの計算したジッターおよび補正したジッターを使用し、または前記符号が異なるときは先行画像フレームの計算したジッターもしくは補正したジッターを使用する構成としたことを特徴とする、処理デバイス。
9. 請求項８に記載の処理デバイスにおいて、Ｋ１は、前記映像シーケンスの平均フレームレートを表すパラメータ値より小さいまたは等しい整数としたことを特徴とする、処理デバイス。
10. 請求項１〜９のいずれか一項に記載の処理デバイスにおいて、前記映像シーケンスの各画像フレームに対して、前記映像シーケンスの前記画像フレームと先行画像フレームとの間における前記モーション推定を決定し、つぎに前記決定したモーション推定から前記画像フレームの前記グローバルモーション・パラメータを決定する構成した第１計算手段を備えたことを特徴とする、処理デバイス。
11. 請求項１０に記載の処理デバイスにおいて、前記現画像フレーム内に存在する望ましくないモーションを除去するために、現画像フレームに対応する前記グローバルモーション・パラメータから前記ジッターまたは補正したジッターを除去するよう構成した第２計算手段を備えることを特徴とする、処理デバイス。
12. 請求項１１に記載の処理デバイスにおいて、前記処理デバイスは、集積回路の少なくとも一部を構成するものとしたことを特徴とする、処理デバイス。
13. デジタル映像シーケンスの画像フレームを取得する取得手段を有する電子機器において、請求項１〜１２のいずれか一項に記載の処理デバイスを備えたことを特徴とする、電子機器。
14. 請求項１３に記載の電子機器において、前記電子機器は、少なくともデジタルカメラおよび映像取得手段を設けた通信機器を含むグループから選択したことを特徴とする、電子機器。
15. 処理するデジタル映像シーケンスの画像フレームを受信する手段を有する電子機器において、前記電子機器は、請求項１〜１２のいずれか一項に記載の処理デバイスを備えたことを特徴とする、電子機器。
16. 請求項１５に記載の電子機器において、前記第２電子機器は、少なくとも通信機器、デジタルビデオデコーダ、デジタルビデオレコーダおよびデジタルビデオエンコーダを含むグループから選択したことを特徴とする、電子機器。

Images