JP2005503085A - 動き推定および／または補償 - Google Patents

Abstract

ビデオ画像の動きを推定および／または補償する方法が提供される。前記ビデオ画像の画像セグメントが選択され、前記画像セグメント周辺で、前記画像セグメントに対して可能な動きベクトルの範囲に基づいて検索領域が規定され、前記検索領域に関連する画像データが取得される。検索領域は、該検索領域が前記画像セグメントの中心からオフセットを有するように規定される。オフセットは、グローバル動きパラメータによって決定されてもよい。

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオ画像の動きの補償及び／又は推定のための方法に関する。
【０００２】
【従来の技術】
Ｈｅｒｖｅ Ｂｅｎｏｉｔによる「Ｄｉｇｉｔａｌ Ｔｅｌｅｖｉｓｉｏｎ， ＭＰＥＧ−１， ＭＰＥＧ−２ ａｎｄ ｐｒｉｎｃｉｐｌｅｓ ｏｆ ｔｈｅ ＤＶＢ ｓｙｓｔｅｍ」、ロンドン、（１９９７）、ページ４０〜４２は、Ｐ及びＢピクチャが、動き推定を使用して先行するおよび／または引き続きの画像から予測されることを開示している。動き推定は、動きベクトルを規定することから成り、この動きベクトルは、ブロックマッチングとして知られている技術を用いて第２の画像上の「到着」領域と第１の画像上の「出発」領域との間の相関を保証する。これは、マクロブロックレベル（１６ｘ１６ピクセル）で、小さな検索ウィンドウ内で現在の画像のマクロブロックを前の画像から移動することと、当該マクロブロックを前記ウィンドウの全ての可能なマクロブロックと比較して最も類似したマクロブロックを見つけることとにより行われる。エンコードされるべき実際のブロックと、マッチするブロックとの間の差（または予測誤差）が計算されて、Ｉピクチャのブロックと類似した手段でエンコードされる。このプロセスは、動き補償と呼ばれるものである。
【０００３】
動き推定および／または補償の他の応用例は、ビデオ信号処理システムの出力画像速度が入力画像速度と異なるビデオスキャン速度変換である。また、この種のアプリケーションは、Ｇｅｒａｒｄ ｄｅ Ｈａａｎ他による”Ｔｒｕｅ−ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ ３−Ｄ Ｒｅｃｕｒｓｉｖｅ Ｓｅａｒｃｈ ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， Ｖｏｌ． ３， Ｎｏ． ５（１９９３年１０月）及び”ＩＣ ｆｏｒ Ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ Ｄｅ−ｉｎｔｅｒｌａｃｉｎｇ， Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ ａｎｄ Ｐｉｃｔｕｒｅ−ｒａｔｅ ｃｏｎｖｅｒｓｉｏｎ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ， Ｖｏｌ． ４５， Ｎｏ． ３（１９９９年８月）に説明されるように、動きベクトルから利する。
【０００４】
このようなエンコーディングまたはスキャン速度変換方法については、更に、動き推定および／または動き補償の他の実際的なアプリケーションについては、動きベクトルの決定は、通常はブロックマッチングに基づくものである。このブロックマッチングにより、エンコードされた画像の１６ｘ１６または８ｘ８ピクセルを典型的に含む、一般に正方形の選択されたピクセルブロックについて、周囲のサブ領域が、該サブ領域の中心に位置するピクセルブロックにより規定され、典型的には例えば８８ｘ４０のピクセルを含む。このサブ領域は、先行する画像において同じ空間位置にあるピクセルブロックの周りの検索領域またはウィンドウとして適用され、これにより、該検索領域またはウィンドウ内に位置する、選択されたピクセルブロックのビデオ信号情報にマッチするビデオ信号情報を有するピクセルブロックが検索される。Ｈｅｎｔｓｃｈｅｌによる「Ｖｉｄｅｏ−Ｓｉｇｎａｌｖｅｒａｒｂｅｉｔｕｎｇ」，Ｂ．Ｇ．Ｔｅｕｂｎｅｒ Ｓｔｕｔｔｇａｒｔ １９９８、ページ２１４−２１７も参照されたい。
【０００５】
現在のシステムにおいては、この検索領域またはウィンドウの画像データは、かなり極端な帯域幅要求がなされるローカルバッファまたはオンチップメモリに通常記憶される。
【０００６】
この検索領域は、その画像セグメントについて可能な動きベクトル範囲に亘って動かされる画像セグメント（例えばマクロブロック）の全ての可能な位置を含む領域と関連する。したがって、検索領域の大きさと動きベクトル領域との間には直接的な関係がある。より大きい検索領域は通常、動き推定および／または補償を改良する。しかし、より大きい検索領域は、シリコン領域に関するより多くの資源を、特にバッファメモリの量として必要とする。これは、品質と実現経費との間の折り合いである。
【０００７】
【発明が解決しようとする課題】
本発明の目的は、改良された動き推定および／または補償を提供することである。
【０００８】
このために、本発明は独立請求項に記載の動き推定及び／又は補償、エンコーディング、エンコードされたデジタルビデオ信号、ストレージ製品、配信システムおよび再生装置を提供する。有利な実施例は、従属請求項において規定される。
【０００９】
【課題を解決するための手段】
本発明の第１の態様によれば、検索領域は、該検索領域の中心が画像セグメントの中心からオフセットを有するように規定される。オフセットを導入することによって、検索領域は有利な位置に規定されることができる。例えば、動きが所与の方向に予期される場合、検索ウィンドウは同じ方向にオフセットを有するように規定されてもよく、これにより、予想される動きの方向により大きな動きベクトル領域が可能になる。実際は、検索ウィンドウは、反対方向の検索領域の減少を犠牲にして、有利な方向に拡大される。８ｘ８ピクセルブロック等の実際に処理されている画像セグメント（選択された画像セグメント）の中心から、検索領域またはウィンドウの中心をオフセットすることによって、該ローカル検索領域またはウィンドウの位置は、前記画像セグメントに対して非対称になる。検索領域のためのオフセットを規定するために、（グロ―バル）動きの代わりに他の画像特性も用いられてもよい。バッファメモリに一時的に記憶されていた、検索領域に関連した画像データが、画像メモリから取得されるというアプリケーションにおいて、本発明のこの態様は特に有利である。
【００１０】
実際的な実施例において、オフセットはビデオ画像の水平方向にのみ存在する。
ビデオにおいては水平方向の動きが最も一般的であるので、これは有利である。
【００１１】
実際的な実施例において、オフセットはグロ―バル動きパラメータによって決定される。このパラメータは、画像のシーケンス内のグローバル動きから抽出されてもよく、または画像の部分の動き特性に局所的に適応してもよい。グローバル動きの方向の動きベクトルの最大範囲は増加し、グローバル動きの補償が提供される。
【００１２】
本発明の実施例による動き推定および／または補償は、デジタルビデオ信号のエンコーディング／圧縮の動き補償予測、ノイズリダクションの動き補償フィルタリング、ビデオフォーマット変換の動き補償補間、及び、インタレースしたビデオ信号の動き補償デインタレース等、動き推定および／または動き補償の使用を伴う全てのデジタルビデオ信号処理機能に適用されてもよい。
【００１３】
以下で、本発明は添付の図面を参照して更に詳細に説明される。
【００１４】
【発明の実施の形態】
図１において、シーケンスの前の画像に基づいた、連続したビデオ画像のシーケンスにおける画像の補間に対する動きベクトルＶの適用の例が与えられる。このような補間は、画像フォーマットの例えば５０Ｈｚから１００Ｈｚへのビデオスキャン速度変換において典型的に使用される。
【００１５】
各動きベクトルＶは、第１の画像Ｐ１の画像セグメントＢ１と第２の画像Ｐ２のマッチする画像セグメントＢ２との間の位置の差を記述する。一方向予測において、第２の画像Ｐ２は、通常先行する画像であるが、この第２の画像Ｐ２は、引き続きの画像であってもよい。この説明によれば、動きベクトルは二次元平面において規定されており、Ｘ成分およびＹ成分を有する。
【００１６】
実際的な実施例において、画像セグメントＢ１およびＢ２は例えば８ｘ８ピクセルのブロックである。動きベクトル決定は、当技術分野で既知のいわゆるブロックマッチング技術に基づく。第２の画像Ｐ２において、選択されたブロックＢ１２は、第１の画像Ｐ１の選択されたブロックＢ１に対応して規定される。検索領域Ｓは、Ｂ１／Ｂ１２について可能な動きベクトルの範囲に従ってブロックＢ１２の周りで規定される。典型的に、検索領域Ｓは、水平および垂直方向にピクセルブロックＢ１２を囲む多くのピクセルブロックを有してもよく、８ｘ８ピクセルのブロックの検索領域Ｓの大きさは、例えば８８ｘ４０のピクセルであってもよい。ブロックＢ１／Ｂ１２に割り当てられるべき動きベクトルＶは、検索領域またはウィンドウＳ中でピクセルブロックＢ１に最もマッチしているブロックＢ２を検索することによって決定される。
【００１７】
この検索プロセスは、ブロックマッチング技術を用いて、動き推定の実際の適用の程度にある程度は依存して、異なる複雑さのレベルで実施することができるが、予測メモリに記憶されたいわゆる候補ベクトルの組からの最良のベクトルの選択を典型的に伴う。検索プロセスの詳細はここで説明されないが、種々の選択肢の総合的な分析が、Ｇｅｒａｒｄ ｄｅ Ｈａａｎ他による”Ｔｒｕｅ−ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ ３−Ｄ Ｒｅｃｕｒｓｉｖｅ Ｓｅａｒｃｈ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ”， ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， Ｖｏｌ．３， Ｎｏ． ５ （１９９３年１０月）及びＧｅｒａｒｄ ｄｅ Ｈａａｎによる”ＩＣ ｆｏｒ Ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ Ｄｅ−ｉｎｔｅｒｌａｃｉｎｇ， Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ ａｎｄ Ｐｉｃｔｕｒｅ−ｒａｔｅ ｃｏｎｖｅｒｓｉｏｎ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ， Ｖｏｌ． ４５， Ｎｏ． ３ （１９９９年８月）に与えられる。
【００１８】
このようにして、動きベクトルは画像Ｐ１の全てのブロックについて決定されてもよい。動きベクトルは、所望のビデオフォーマット変換において得るべき画像を補間するのに用いてもよい。
【００１９】
動きベクトルＶの最大範囲は検索領域またはウィンドウＳの大きさに関連し、実際のピクセルブロックは当該検索領域又はウィンドウの中心に存在するので、
最大動きベクトルＶの水平及び垂直成分の最大範囲は、説明された例では水平及び垂直方向にそれぞれ４０及び１６ピクセルになり、それぞれ８及び５ピクセルブロックに対応する。
【００２０】
図２は、本発明の１つの実施例による動き推定および／または動き補償を示し、画像Ｐ２のピクセルブロックＢ１２に割り当てられた検索領域またはウィンドウＳは、中心がピクセルブロックＢ１２の位置からオフセットＣＯだけオフセットするように規定される。オフセットは、グローバル動きパラメータによって有利に決定され、このパラメータは典型的にパンニングまたはティルティングの形でカメラ移動によって生じ得るように、例えば処理中の画像を含む画像のシーケンス中のグローバル動きから抽出される。このことにより、検索領域またはウィンドウＳはブロックＢ１２に関して非対称に配置され、動きベクトルの決定のための最大範囲は１つの水平方向および／または１つの垂直方向に延長されてもよい。図２に示される例において、検索領域またはウィンドウＳの中心のオフセットＣＯは、水平方向に１０ピクセル、及び垂直方向に８ピクセルになり、これは水平方向に（右に）５０ピクセルの最大領域及び垂直方向に（上に）２４ピクセルの最大領域を生じる。
【００２１】
ブロックＢ１２に関する検索領域またはウィンドウＳの非対称変位の単純な実現例において、中心オフセットＣＯを決定するグローバル動きパラメータは、１つ以上の先行する画像について特定される動きベクトルの平均ベクトルから決定されてもよい。
【００２２】
より高度なシステムにおいては、中心オフセットＣＯを決定するための最大ベクトル値の算出のために、前もって計算されたベクトル場の統計値を用いてもよい。
【００２３】
例えばビデオスキャン速度変換における使用のための可能な動き推定器アーキテクチャの図３の簡略ブロック図において、入って来る画像は画像メモリ１に供給され、動きベクトルが決定されるべき画像セグメントの群を有する実際の画像対Ｐ１およびＰ２は、前記画像メモリ１からブロック照合器（ｍａｔｃｈｅｒ）２へ移動される。ブロック照合器２において、画像Ｐ１の選択された画像ブロックにマッチした画像Ｐ２の画像セグメント群またはブロックの検索は、ローカルバッファまたは検索領域メモリ３からブロック照合器２へ移動された検索領域Ｓの適用によって、また、ベクトルメモリ４からブロック照合器２へ移動された候補動きベクトルＣＶの組を用いて、遂行される。
【００２４】
バッファメモリ３に一時的に記憶される検索領域Ｓは、画像メモリ１’に記憶されていた画像Ｐ２から得られる。画像メモリ１および１’は、１つの画像メモリで実現されてもよい。
【００２５】
ベクトルメモリ４は、第２の画像Ｐ２のセグメント群またはブロックに対して決定される全ての動きベクトルおよび画像Ｐ１中で検索されるべき画像ブロックを記憶する。候補ベクトルの組は、典型的に、先行する画像の同じ位置または実際の画像の隣接した画像ブロックを有する画像ブロックに対して決定される動きベクトルを有してもよい。
【００２６】
本発明によれば、検索領域Ｓの所与の大きさに対して可能な動きベクトルの範囲の拡大は、調査中のセグメント群の画像またはブロックの位置から検索領域の中心をオフセットするために検索領域の定義を修整することによって可能にされる。
【００２７】
単純な実現例において、この修正は、ベクトルアナライザ５のベクトルメモリ４から、前もって得られていたベクトルの分析による動き補償パラメータＣＰの決定で示されるように遂行されてもよい。ブロック照合器２において遂行されるブロックマッチングプロセスは、従来技術において周知であり、候補ベクトルの適用によってローカライズされるブロックの比較またはマッチングを伴う。
【００２８】
このプロセスを通じて各マッチエラーＭは、最高のマッチを選択するベクトル選別器６に転送されて、引き続きの動きベクトルの決定のために、ベクトルメモリ４の対応する候補ベクトルを記憶する。
【００２９】
図３に示される単純な動き推定器アーキテクチャは、本発明の実現例の例の１つに過ぎない。代替可能性として、前に処理された画像ブロックまたは先行する画像からの動き補償パラメータはグローバル動き推定メモリに記憶されてよく、ここから、実際の使用のための動き補償パラメータは適切な選択手段によって格納されることができる。
【００３０】
図４は、本発明の１つの実施例による配信システム１０を示す。配信システム１０は、ビデオ画像のシーケンスを得るための手段１００を有する。手段１００はカメラであってよいが、ビデオ画像のシーケンスを保持する信号を受信するためのアンテナ等の入力ユニットであってもよい。手段１００は更に、記録担体の読出ユニットであってもよい。配信システムは、エンコードされたデジタルビデオ信号Ｓを得るためにビデオ画像のシーケンスをエンコードするためのエンコーダ１０１を更に有する。エンコーダ１０１は、非対称検索領域（例えば図３の装置）を使用する動き推定および／または補償装置を有する。配信システム１０は、例えば信号Ｓをストレージ製品２０に保存することによりエンコードされたビデオ信号Ｓを出力するための出力ユニット１０２を更に有する。好適には、出力ユニット１０２は、非対称検索領域のオフセットの表示をエンコードされたビデオ信号Ｓの予測情報として組み込む。オフセットは、明示的に信号に含まれてもよいが、暗示的に動きベクトル範囲に含まれてもよい。
【００３１】
図５は、本発明の１つの実施例によるテレビジョンまたはデジタルレシーバ等の再生装置３００を示す。再生装置３００は、エンコードされたビデオ画像のシーケンスを有するエンコードされたデジタルビデオ信号を得る入力装置３０１を有する。入力装置３０１は、エンコードされたビデオ画像を受信するように適切に構成される配信システムの入力装置１０１と類似していてもよい。エンコードされたビデオ画像のシーケンスは、ストレージ製品２０’から得られてもよい。再生装置３０は、更に、なかでも、非対称検索領域を使用して動き補償および／または推定を実行するプロセッサ３０２を有する。それに対して、プロセッサ３０２は図３に与えられた装置を有してよい。出力ユニット３０３（例えばディスプレイ）は、処理されたビデオ画像を出力する。装置３０２において実行される処理は、非対称検索領域で動き推定および／または動き補償を実行しているスキャン速度変換であってもよい。再生装置が図４の配信システム１０から得られる信号Ｓを処理する場合には、検索領域は、信号Ｓに含まれる動きベクトル情報によって決定されてもよい。
【００３２】
上記の実施例は本発明を制限するのではなく説明しているのであり、当業者は、添付の請求項の範囲から逸脱することなく多くの代替実施例を設計することができることに注意されたい。請求項において、括弧内の参照符号は請求項を制限するものと解釈されない。「有する」なる用語は、請求項に記載されていない他の要素又はステップの存在を排除するものではない。本発明は、幾つかの異なった要素を有するハードウェアによって、また、適切にプログラムされたコンピュータによって、実現することができる。幾つかの手段を列挙している装置クレームにおいて、これらの手段のいくつかは１つの同一のハードウェアの部品により実現されることができる。特定の手段が互いに異なった従属請求項に記載されているという事実だけでは、これらの手段の組み合わせを有利に用いることができないということを示さない。
【図面の簡単な説明】
【図１】従来技術で知られているようなベクトル制限のある検索領域を示す。
【図２】本発明の１つの実施例によるグローバル動きに対する補償を有する検索領域を示す。
【図３】例えばビデオスキャン速度変換における使用のための本発明の実施例による可能な動き推定器アーキテクチャの簡略ブロック図である。
【図４】本発明の１つの実施例による配信システムを示す。
【図５】本発明の１つの実施例による再生装置を示す。

Claims (17)

1. ビデオ画像内の動きを推定および／または補償する方法であって、
   所与のビデオ画像の画像セグメントを選択するステップと、
   前記画像セグメント周辺で、当該画像セグメントについて可能な動きベクトルの範囲に基づいて検索領域を規定するステップと、
   前記検索領域に関連する画像データを取得するステップと、
   を有する方法において、
   前記検索領域は、当該検索領域の中心が前記画像セグメントの中心からオフセットを有するように規定されることを特徴とする方法。
2. 請求項１に記載の方法において、前記オフセットは、前記ビデオ画像の水平方向にのみ存在する方法。
3. 請求項１に記載の方法において、前記オフセットは、前記ビデオ画像の垂直方向にのみ存在する方法。
4. 請求項１に記載の方法において、前記オフセットは、前記ビデオ画像内の前記画像セグメントの位置に依存する方法。
5. 請求項１に記載の方法において、
   前記オフセットは、前記ビデオ画像内の前記画像セグメントの全位置について同じ値を有する方法。
6. 請求項１に記載の方法において、前記オフセットは、グローバル動きパラメータによって決定される方法。
7. 請求項６に記載の方法において、前記グローバル動きパラメータは、少なくとも１つの先行するビデオ画像の動きベクトル場の特性に依存する方法。
8. 請求項７に記載の方法において、前記グローバル動きパラメータは、前記動きベクトル場の動きベクトルの最小及び最大値に依存する方法。
9. 請求項７に記載の方法において、前記グローバル動きパラメータは、前記動きベクトル場の動きベクトルの平均値に依存する方法。
10. 請求項６に記載の方法において、前記グローバル動きパラメータは、別個の動き推定器によって決定される方法。
11. 動きを推定および／または補償するステップを有する、ビデオ画像のシーケンスをエンコードする方法であって、前記動きの推定及び／又は補償は、
    所与のビデオ画像の画像セグメントを選択するステップと、
    前記画像セグメント周辺で、前記画像セグメントについて可能な動きベクトルの範囲に基づいて検索領域を規定するステップと、
    前記検索領域に関する画像データを取得するステップと、
    を有する方法において、
    前記検索領域は、当該検索領域の中心が前記画像セグメントの中心からオフセットを有するように規定され、前記オフセットの表示はエンコードされたビデオ信号に予測情報として組み込まれることを特徴とする方法。
12. ビデオ画像内の動きを推定および／または補償するための装置であって、
    所与のビデオ画像の画像セグメントを選択するための手段と、
    前記画像セグメント周辺で、当該画像セグメントについて可能な動きベクトルの範囲に基づいて検索領域を規定するための手段と、
    前記検索領域に関連する画像データを取得するための手段と、
    を有する装置において、
    前記規定する手段は、前記検索領域を、当該検索領域の中心が前記画像セグメントの中心からオフセットを有するように規定する手段を有することを特徴とする装置。
13. 動きを推定および／または補償するための手段を有する、ビデオ画像のシーケンスをエンコードするためのエンコーダであって、前記動きを推定および／または補償するための手段が、
    所与のビデオ画像の画像セグメントを選択するための手段と、
    前記画像セグメント周辺で、当該画像セグメントについて可能な動きベクトルの範囲に基づいて検索領域を規定するための手段と、
    前記検索領域に関連する画像データを取得するための手段と、
    を有するエンコーダにおいて、
    前記規定するための手段は、前記検索領域を、当該検索領域の中心が前記画像セグメントの中心からオフセットを有するように規定する手段を有し、当該エンコーダは、前記オフセットの表示を、エンコードされたビデオ信号に予測情報として組み込むための手段を更に有することを特徴とするエンコーダ。
14. エンコードされたビデオ画像のシーケンスと、少なくとも１つの隣接したビデオ画像に基づいた少なくとも所与のビデオ画像の予測のための動きベクトル情報とを有するエンコードされたデジタルビデオ信号において、当該エンコードされたデジタルビデオ信号は前記所与のビデオ画像の所与の画像セグメントに対して検索領域を規定する情報を有し、前記検索領域は、当該検索領域の中心が前記画像セグメントの中心からオフセットを有することを特徴とするエンコードされたデジタルビデオ信号。
15. 請求項１４に記載のエンコードされたデジタルビデオ信号を有するストレージ製品。
16. ビデオ画像のシーケンスを得るための手段と、
    エンコードされたデジタルビデオ信号を得るべく前記ビデオ画像のシーケンスをエンコードするための請求項１３に記載のエンコーダと、
    前記エンコードされたビデオ信号を出力するための出力ユニットと、
    を有する配信システム。
17. エンコードされたビデオ画像のシーケンスを有するエンコードされたデジタルビデオ信号を得るための入力装置と、
    処理されたビデオ画像を得るべく、少なくとも所与のビデオ画像を動き補償及び／又は推定するための請求項１２に記載の装置と、
    前記処理されたビデオ画像を出力するための手段と、
    を有する再生装置。