JP2008502196A - グローバル動きベクトルの探索方法 - Google Patents

Abstract

本発明は、ビデオシーケンスの画像に関連するグローバル動きベクトルを探索する方法に関するものであり、この方法は、予め定めた軸に沿った投影画像（ｆ）を算出するステップ（ＰＲＯＪ）と、少なくとも１つの前の投影画像に関連する、少なくとも１つの前のグローバル動きベクトルに基づく現投影画像（Ｆ（ｋ））に関連する、現グローバル動きベクトルの式（Ｉ）の予測値（Ｖ_ｐｒｅｄ（ｋ））を求めるステップ（ＰＲＥＤ）と、予測した現グローバル動きベクトルに基づいて動きベクトル探索組を決定するステップ（ＳＳ）と、予め定めた軸に沿って候補動きベクトル（ｖ_ｉ（ｋ））を変位させた前の投影画像（Ｆ（ｋ−１））と次の投影画像（Ｆ（ｋ＋ｒ））との間の歪み値を算出するステップ（ＣＡＬ）と、を具えており、この算出するステップは、前記動きベクトル探索組の種々の候補動きベクトルに対して反復させ、現グローバル動きベクトルが、歪み値を最小にする候補ベクトルとなるようにする。

Description

本発明はビデオシーケンスの画像に関連するグローバル動きベクトルの探索方法および装置に関する。

このような方法および装置は、例えば、カメラ、携帯電話または携帯情報端末（ＰＤＡ）などのモバイル装置に用いることができる。

動き推定を行なう従来のやり方は、現ブロックと一組の幾つかの候補ブロックとの間で歪み測定に従ってブロックマッチングを行い、歪みが最小となる候補ブロックを選定するというものである。候補ブロックは、運動の水平および垂直成分を整数または非整数のサンプルとすることができる並進運動に基づいて選択される。動きベクトルＭＶは、参照画像にて現画像の現ブロックと同じ位置を有するブロックと比較する当該参照画像における候補ブロックの相対位置を規定する。ブロックマッチング処理は、現画像に含まれる現ブロックと参照画像に含まれる候補ブロックとの間の歪み値を算出するステップを有している。この算出ステップは、例えば、これら２つのブロック間の差分絶対値和ＳＡＤを算出することに基づいている。候補ブロックを見つける必要がある探索領域は、一般に所定数の行である予め定めたサイズを有し、前記探索領域内の全ての候補ブロックをテストしなくてはならないのが慣例である。

いわゆるグローバル動き推定の場合、グローバル動きベクトルは、式（１）に示すように、入力画像ｆの水平（または垂直）方向に沿う水平（または垂直）和に相当する、投影画像Ｆにより決定される。

ここで、ｉは画像の行を表し、ｊは画像の列を表し、Ｎは画像の列数を表し、ｋは時間を表す。

現画像Ｆ（ｋ）に対する垂直方向の現グローバル動きベクトルｖ_ｉ ^ｇ（ｋ）は、式（２）に示すように、垂直軸に沿う第１の方向にて候補動きベクトルｖ_ｉを変位させた前の投影画像Ｆ（ｋ−１）と、第１の方向とは反対の第２の方向にて候補動きベクトルｖ_ｉを変位させた次の投影画像Ｆ（ｋ＋１）との間の差分絶対値和ＳＡＤが最小となる、垂直方向の候補グローバル動きベクトルｖ_ｉに等しい。

ここで、Ｍは画像の行数であり、Ｓ_ｉ ^ｇは垂直方向の探索組である。

上式（２）にしたがって、差分絶対値和ＳＡＤの最小値を求めるためには、探索組Ｓ_ｉ ^ｇ内の全ての候補動きベクトルｖ_ｉをテストする必要がある。この方法は、全探索法とも称される。しかしながら、このような全探索法は、特に高解像度の画像においては計算処理上の負担が大きい。

本発明の目的は、従来技術よりも計算処理上の負担が少ない、グローバル動きベクトルの探索方法を提案することにある。

この目的のために、本発明による探索方法は、
− 予め定めた軸に沿う投影画像を算出するステップと、
− 少なくとも１つの前の投影画像に関連する、少なくとも１つの前のグローバル動きベクトルに基づく現投影画像に関連する、現グローバル動きベクトルの予測値を求めるステップと、
− 前記予測した現グローバル動きベクトルに基づいて動きベクトル探索組を決定するステップと、
− 予め定めた軸に沿って候補動きベクトルを変位させた前の投影画像と次の投影画像との間の歪み値を算出するステップとを具え、当該算出ステップを前記動きベクトル探索組の種々の候補動きベクトルに対して反復させて、現グローバル動きベクトルが、歪み値を最小にする候補ベクトルとなるようにしたことを特徴とする。

結果として、従来技術では、探索組は、下側閾値ｖ_ｍｉｎと上側閾値ｖ_ｍａｘとの間に含められるので、非常に広範なものとなるが、本発明の探索組は、グローバル動きベクトルの予測値の周囲に限定される数の候補動きベクトルを有するのみとなる。したがって、本発明によれば、探索方法の計算コストを低減させることができる。

本発明の一実施例では、予測した現グローバル動きベクトルは、前の投影画像に関連する前のグローバル動きベクトルとする。

本発明のさらに精巧な実施例では、予測した現グローバル動きベクトルは、前の予測画像の組に関連する前の一組のグローバル動きベクトル組の外挿とする。

本発明の一実施例によれば、探索組が、範囲［ｖ_ｐｒｅｄ−ｎ，ｖ_ｐｒｅｄ＋ｎ］を有し、ここでｖ_ｐｒｅｄは予測したグローバル動きベクトルの値とし、ｎは正の値とする。探索組はさらに、動きベクトルの候補ｖ_ｐｒｅｄ＋２ｑ．ｎを含み、ここでｑは０でない整数とし、この動きベクトルの候補範囲が下側閾値ｖ_ｍｉｎと上側閾値ｖ_ｍａｘとの間にある範囲とするのが有利である。

本発明は、本発明による探索方法を実施するためのデバイスにも関する。

本発明はさらに、一連の画像を表示するスクリーンと、現画像に関連する現グローバル動きベクトルを決定するようなデバイスと、現グローバル動きベクトルに基づいてモバイル装置の動きを補償する手段と、を具えるモバイル装置にも関する。

本発明は、画像を符号化するビデオエンコーダであって、符号化した画像を供給するエンコーディングユニット、符号化した画像から復号画像を供給するデコーディングユニット、動き補償した画像を配信するように適合させた予測ユニット、動き補償した画像を復号画像に加算し、出力を予測ユニットの入力に供給する加算器、動き補償した画像を入力画像から減算する減算器、および予測ユニットにグローバル動きベクトルを供給するデバイス、を具えるビデオエンコーダに関する。

本発明はさらに、前記方法を実施するプログラム命令を有しているコンピュータプログラム製品にも関する。

以下、本発明のこれらおよび他の要点を、実施例を参照して説明することにより明らかにする。

以下、添付の図面を参照して、本発明を実施例につき詳細に説明する。

現在、高額製品に取り入れられている機能は、より廉価な製品に、さらにはモバイル製品にさえ移行する傾向にある。しかしながら、この移行には、市場に適合させるために通常はこれらの機能をより経済的に実現させるか、何らかの変更を加える必要がある。フレームレート変換、インタレース−プログレッシブ変換、およびステディショットは、廉価な製品および／またはモバイル製品に取り入れることができる機能の例である。

本発明は、投影画像に基づく一連の画像内のグローバル動きベクトルを得るのに必要な計算処理能力を低減することを目的とする。グローバル動き推定の状況では、前に述べたように、ＳＡＤ演算の回数が候補動きベクトルの数に等しい。候補動きベクトルの数は、グローバル動きベクトルの探索組と必要な解像度との双方に比例する。グローバル動きベクトルの予測がなされると、候補動きベクトルの数がかなり低減する。したがって、前記予測を行う探索方法は、かなり首尾一貫した動き推定に貢献する。

本発明によるグローバル動きベクトル探索方法は先ず、前述の式（１）にて説明した、水平または垂直軸に沿う入力画像ｆ（ｉ，ｊ）の投影画像Ｆ（ｉ）を算出するステップＰＲＯＪを具えている。

本発明による方法はさらに、現投影画像Ｆ（ｋ）に関連する現グローバル動きベクトルｖ_ｉ ^ｇ（ｋ）の予測値ｖ_ｐｒｅｄ（ｋ）を決定するステップＰＲＥＤも具えている。現グローバル動きベクトルの予測値は、例えば、それぞれ少なくとも１つの前の投影画像に関連する、少なくとも１つの前のグローバル動きベクトルに基づいている。

本発明の一実施例によれば、現在のグローバルな動きベクトルの予測値を、前の投影画像Ｆ（ｋ−１）に関連する前のグローバル動きベクトルｖ_ｉ ^ｇ（ｋ−１）に等しくする。

本発明のより精巧な実施例によれば、現グローバル動きベクトルの予測値は、一組の前の投影画像｛Ｆ（ｋ−ｍ），…，Ｆ（ｋ−１）｝に関連する一組の前のグローバル動きベクトル｛ｖ_ｉ ^ｇ（ｋ−ｍ），…，ｖ_ｉ ^ｇ（ｋ−１）｝の外挿に等しくし、ここでｍは厳密に１以上の整数とする。この外挿は、例えばラグランジュ線形外挿法に基づくようにする。この外挿技法を用いることで、より高度な信頼性を達成することができる。

本発明による方法は、現グローバル動きベクトルの予測に基づく動きベクトルの検索組を決定するステップＳＳを具えている。グローバル動きベクトルの検索は、予測したグローバル動きベクトルの周囲のローカル探索組で行うことができる。

本発明の一実施例によれば、探索組が初期探索範囲［ｖ_ｐｒｅｄ−ｎ，ｖ_ｐｒｅｄ＋ｎ］を含み、ここでｖ_ｐｒｅｄは動きベクトルの予測値であり、ｎは整数とする。この場合、探索組は、フルピクセル解像度に対して２ｎ＋１の値を有する。グローバル動きベクトルの精度は、主としてこの初期探索組のサイズ、即ちｎの値に依存する。

ｎが必ずしも整数でなくともよいということは、当業者には明らかである。例えば、より正確なグローバルな動き推定が必要な場合には、内挿技法を用いて、投影画像をサブピクセル単位でシフトすることができる。このようにすることで非整数のグローバル動きベクトルが得られる。

探索組の候補動きベクトルが等距離である必要はないこともまた、当業者には明らかである。例えは、候補動きベクトル間の距離は、二次関数または対数関数に基づくものとすることができる。このようにすることで、グローバル動きベクトルをより微調整することができる。

初期探索組の外側でいくつかの候補動きベクトルを選択することで、この方法の信頼性を増大させることができる。このために、探索組はさらに、追加の候補動きベクトルも含む。これは、探索方法が実際のグローバル動きベクトルに集中する方法に影響を及ぼす。一組のテストベクトルの例を図２に示す。候補動きベクトルの全組は下式にて表される。

ここで、ｄ_ｖは、非整数とし得る動きベクトルのユニットである。

探索組の追加の候補動きベクトルが等距離である必要はないこともまた、当業者に明らかである。これらもまた、前述のように、二次関数または対数関数に基づいて求めることができる。

本探索方法の効率を最大にする候補動きベクトルの最適な組は、以下のように算出することができる。
可能な候補動きベクトルの総数は、

となる。
初期探索組の候補動きベクトルの数は、

となる。
本方法の効率は、

となる。
最適な探索組は、次のように導くことができる。

そして、最大効率は、

となる。

本探索方法は、最終的に、水平または垂直軸に沿って候補動きベクトルｖ_ｉ（ｋ）を変位させた前の投影画像と、次の投影画像Ｆ（ｋ＋ｒ）との間の歪み値を算出するステップＣＡＬも具えており、ここでｒは正の整数またはゼロとする。

例えば、フレームを新たな瞬時（この場合、丁度真中）に内挿しなければならないフレームレートのアップコンバーションが２の場合には、式（２）に示したように、水平または垂直軸に沿う第１の方向にて候補動きベクトルｖ_ｉを変位させた前の投影画像Ｆ（ｋ−１）と、第１の方向とは反対の第２の方向にて候補動きベクトルｖ_ｉを変位させた次の投影画像Ｆ（ｋ＋１）との間で、歪み値を算出する。

この変位が対称である必要はないことは、当業者に明らかである。例えば、フレームレートのアップコンバージョンが３の場合には、原フレーム時間のそれぞれ１／３および２／３で画像を内挿しなければならない。

他の例として、前の投影画像Ｆ（ｋ−１）は、現投影画像Ｆ（ｋ）（即ち変位させていない投影画像）に対して変位させることもできる。この方法は、例えば画像の安定化に用いることができる安価な解決策である。

算出ステップは、動きベクトル探索組の種々の候補動きベクトルに対して反復させる。現グローバル動きベクトルは、最終的に、歪み値を最小にする候補ベクトルとなる。

グローバル動き推定は、完全な画像における動き、即ちある程度同じ動きをする大きなまたは多数の物体の平均的または主要な動きに対する測定基準となるものである。これは、物体またはカメラのパニング（即ち並進運動）の検出に適用することができる。突然のカメラの動きを補償する、ステディショットとしてカメラシステムに、このグローバル動き推定を利用することができる。ディスプレイシステムの場合には、このグローバル動き推定を、デインタレースまたはフレームレートのアップコンバージョンのための動き推定用微調整としてのパンズームモデルの一部とすることができる。

上記のような動き推定は、ビデオシーケンスの動きを、そのシーケンスの画像の適切なセグメント化と組み合わせて補償するのに十分である。図３はビデオエンコーダの例を示している。このようなビデオエンコーダは、入力のセグメント化画像ｆから量子化したセグメント化画像を生成するのに好適な量子化ブロックＱと直列の直接周波数変換ブロックＴを有する第１ブロックＴ／Ｑ、および量子化したセグメント化画像から符号化したセグメント化画像ＢＳを生成するのに好適なエントロピー符号化ブロックＥＣを具えている。このビデオエンコーダはまた、供給された復号セグメント化画像のための直列の逆量子化ブロックＩＱおよび周波数逆変換ブロックＩＴを有するデコーディングユニットも具えている。このエンコーダは、動き補償したセグメント化画像を生成する動き補償ユニットＭＣと直列の画像メモリＭＥＭを有する予測ユニットも具えている。このエンコーダは、復号セグメント化画像を動き補償したセグメント化画像に加算する加算器と、入力のセグメント化画像ｆから動き補償したセグメント化画像を減算する減算器とを具え、減算器が減算した結果をブロックＴ／Ｑに配信するようにしている。本ビデオエンコーダはさらに、グローバル動きベクトルを予測ユニットに供給する、本発明によるグローバル動き推定デバイスを具えている。

上記本発明のいくつかの実施例は、例示のみのために説明したものであり、請求項により規定される本発明の範囲から逸脱せずに、上述の実施例に幾多の変更および変形をなすことができることは、当業者に明らかである。さらに、請求項において、括弧を付した参照符号は請求の範囲を限定するものではない。本発明は、いくつかの別個の要素を具えるハードウェアによっても、適切にプログラムされたコンピュータによっても実施することができる。いくつかの手段を列挙している装置の請求項において、これらの手段のいくつかは、同一のハードウェアによって実現することもできる。互いに異なる独立請求項に手段が列挙されていても、そのことでこれら手段の組合せを有利に使用することができないということを意味するものではない。

本発明によるグローバル動きベクトルを探索する方法のブロック図である。 本発明による低減した動きベクトル探索組を説明する図である。 本発明による探索方法を実施するエンコーディングデバイスのブロック図である。

Claims (9)

1. ビデオシーケンスの画像に関連するグローバル動きベクトルを探索する方法であって、
   − 予め定めた軸に沿う投影画像（ｆ）を算出するステップ（ＰＲＯＪ）と、
   − 少なくとも１つの前の投影画像に関連する、少なくとも１つの前のグローバル動きベクトルに基づく現投影画像（Ｆ（ｋ））に関連する、現グローバル動きベクトル（ｖ_ｉ ^ｇ（ｋ））の予測値（Ｖ_ｐｒｅｄ（ｋ））を求める（ＰＲＥＤ）ステップと、
   − 前記予測した現グローバル動きベクトルに基づいて動きベクトル探索組を決定するステップ（ＳＳ）と、
   − 予め定めた軸に沿って候補動きベクトル（ｖ_ｉ（ｋ））を変位させた前の投影画像（Ｆ（ｋ−１））と次の投影画像（Ｆ（ｋ＋ｒ））との間の歪み値を算出するステップ（ＣＡＬ）と、を具え、当該算出ステップを、前記動きベクトル探索組の種々の候補動きベクトルに対して反復させて、現グローバル動きベクトルが、歪み値を最小にする候補ベクトルとなるようにする、
   グローバル動きベクトルの探索方法。
2. 前記予測した現グローバル動きベクトルは、前記前の投影画像Ｆ（ｋ−１）に関連する前のグローバル動きベクトル（ｖ_ｉ ^ｇ（ｋ−１））とする、請求項１に記載のグローバル動きベクトルの探索方法。
3. 前記予測した現グローバル動きベクトルは、前の予測画像の組に関連する前の一組のグローバル動きベクトル組の外挿とする、請求項１に記載のグローバル動きベクトルの探索方法。
4. 前記探索組が、範囲［ｖ_ｐｒｅｄ−ｎ，ｖ_ｐｒｅｄ＋ｎ］を有し、ここでｖ_ｐｒｅｄは予測したグローバル動きベクトルの値とし、かつｎは正の値とする、請求項１に記載のグローバル動きベクトルの探索方法。
5. 前記探索組がさらに、動きベクトルの候補ｖ_ｐｒｅｄ＋２ｑ．ｎを含み、ここでｑは０でない整数とし、この動きベクトルの候補範囲が下側閾値と上側閾値との間にある、請求項４に記載のグローバル動きベクトル探索方法。
6. ビデオシーケンスの画像に関連するグローバル動きベクトルを探索する装置であって、
   − 予め定めた軸に沿う投影画像を算出する手段と、
   − 少なくとも１つの前の投影画像に関連する、少なくとも１つの前のグローバル動きベクトルに基づく現投影画像に関連する、現グローバル動きベクトルを予測する手段と、
   − 前記予測した現グローバル動きベクトルに基づいて動きベクトル探索組を決定する手段と、
   − 予め定めた軸に沿って候補動きベクトルを変位させた前の投影画像と次の投影画像との間の歪み値を算出する手段と、
   を具え、
   前記動きベクトル探索組の種々の候補動きベクトルに対して前記歪み値の算出を反復させて、現グローバル動きベクトルが、歪み値を最小にする候補ベクトルとなるようにした、グローバル動きベクトル探索デバイス。
7. モバイル装置であって、
   一連の画像を表示するスクリーンと、
   現画像に関連する現グローバル動きベクトルを決定する、請求項６に記載のデバイスと、
   前記現グローバル動きベクトルに基づいて前記モバイル装置の動きを補償する手段と、を具えているモバイル装置。
8. − 符号化した画像（ＢＳ）を供給するエンコーディングユニット（Ｔ／Ｑ，ＥＣ）と、
   − 前記符号化した画像から復号画像を供給するデコーディングユニット（ＩＱ／ＩＴ）と、
   − 動き補償した画像を配信するように構成した予測ユニット（ＭＥＭ，ＭＣ）と、
   − 動き補償した画像を復号画像に加算する加算器であって、前記加算器の出力を、前記予測ユニットの入力に供給するようにした加算器と、
   − 入力画像（ｆ）から前記動き補償した画像を減算する減算器と、
   − 前記予測ユニットにグローバル動きベクトルを供給する、請求項６に記載のデバイスと、
   を具えている、入力画像（ｆ）を符号化するビデオエンコーダ。
9. プロセッサによって実行され、請求項１に記載の方法を実施するためのプログラム命令を具えているコンピュータプログラム製品。

Images