JP2003521828A - 動きベクトルの伝送コスト低減のための動き推定の方法 - Google Patents

Abstract

(57)【要約】 方法は、ビデオ画像を画像ブロックへセグメント化することを含み、動きベクトルフィールドを得るために動き推定は画像ブロックごとである。方法は、ベクトルフィールドに属するＮの支配的なベクトルから１つの動きベクトルを選択することにより、ブロックへのベクトルの再割り当てを行う段階を含むことを特徴とする。適用は、例えば、画像ブロック一致による動き推定に関連する。

Description

【発明の詳細な説明】

【０００１】 本発明は、ＭＰＥＧ形式のビデオ符号化に適用される動き推定の方法に関する
。

【０００２】 ビデオ符号化で使用されている動き推定アルゴリズムの多くは、”ブロック一
致”の技術を使用する。

【０００３】 この画像はサイズＮ＊Ｎのブロックに分割され、そして、推定器は、現在の画
像のブロックと基準画像のブロックの間の差を最小化するベクトルを検索する。
この差は、一般的には、輝度画素に対して計算される、ＭＳＥ（二乗平均差）又
は、ＭＡＥ（絶対値平均差）である。

【０００４】 この種の推定器は、輝度の変化に基づきそして、シーケンスの実際の動きに基
づいていないので、均一な動きフィールドを供給できる。これは、符号化器によ
るベクトルの符号化に対してオーバーヘッドを必要とし、符号化は、一般的には
、差分形式であり、そして、性能の減少となる。本発明の目的は、上述の欠点を
修復することである。

【０００５】 主題は、ビデオ画像を画像ブロックへセグメント化することと、動きベクトル
フィールドを得るための画像ブロックごとの動き推定と含む動き推定方法であっ
て、ベクトルフィールドに属するＮの支配的なベクトルから１つの動きベクトル
を選択することにより、ブロックへのベクトルの再割り当てを行う段階を含むこ
とを特徴とする方法。

【０００６】 １つの特別の実行に従って、支配的なベクトルに関して、他の支配的なベクト
ルの選択中に考慮されないように、２次の局部の最大値が検出される。

【０００７】 他の１つの特定の実行に従って、支配的なベクトルは４つの方向の各々に選択
される。

【０００８】 方法の１つの特別の実行に従って、再割り当てされるベクトルの選択は、移動
された画像間の差（ＤＦＤ）の値に基づく。

【０００９】 本発明の特別の特徴は、Ｎの支配的なベクトルに関連するＤＦＤが、もとのベ
クトルに関連するＤＦＤよりも大きい場合には、ゼロベクトルが採用され、又は
、Ｎの支配的なベクトルに関連するＤＦＤが、もとのベクトルに関連する重み付
けされたＤＦＤよりも大きい場合には、もとのベクトルが保持される。

【００１０】 方法の他の実行に従って、再割り当てされるベクトルの選択は、画像間差ブロ
ック（現在のブロック−推定されたブロック）内の活性度（空間グラディエント
）の計算に基づいている。Ｎの支配的なベクトルに対応する活性度が、もとのベ
クトルに対応する活性度よりも大きい場合には、ゼロベクトルが採用される。Ｎ
の支配的なベクトルに対応する活性度が、もとのベクトルに対応する重み付けさ
れた活性度よりも大きい場合には、もとのベクトルが保持される。

【００１１】 方法の他の特別の実行に従って、各画像に対して、支配的なベクトルは、現在
の画像のベクトルのフィールド及び、少なくとも１つの前の画像のベクトルのフ
ィールドから選択される。

【００１２】 本発明によって、”ブロック一致”形式の推定器により計算された動きベクト
ルフィールドを、均一化できる。

【００１３】 本発明の特徴と優位点は、図を参照し、以下の記載から明らかとなろう。

【００１４】 ベクトルフィールドの均一化は、条件付の再割り当ての方法を介して得られる
。

【００１５】 シーケンスの画像に関連するベクトルは、推定器により計算され且つ蓄積され
る。

【００１６】 ベクトルに関する処理を実行するために、２次元ヒストグラムが、座標がこれ
らのベクトルの水平及び垂直成分の値である値（ｄｘ，ｄｙ）を表す、５１２＊
５１２の寸法で構成される。

【００１７】 図１は、左の部分は、動きベクトルが割り当てられたマクロブロックを構成す
る画像であり、右側は、対応するヒストグラムである。

【００１８】 支配的なベクトルの選択 動きフィールドを更に均一にするために、アイデアは、ある数のベクトルに採
用され、ユーザにより第１の場所に固定される。この数は動きの不均一性に比例
して大きくなる。

【００１９】 第１の解決方法は、外観の最も高い周波数に対応するＮベクトルを採用するよ
うに構成する。

【００２０】 他の可能性は、アルゴリズムが、４つの向きの面の各々にＮ／４の支配的なベ
クトルを選択することを規定することである。この解決方法は、シーケンス内の
ズームの検出に関する出力基準として、オプションとして採用できる。これは、
そのような現象は、ベクトルフィールドの全ての方向の分散を必要とするためで
ある。

【００２１】 考えられる最後の解決方法は、局部の最大値の検出である。これは、第１の解
決方法では、問題は、いくつかの連続する最大値を有することが可能であり、そ
れは、少ない数の最大値を適用することと比較して非常に大くの優位点を与えな
い。

【００２２】 従って、ヒストグラムが走査され、他の更に支配的なベクトルの付近に現れる
Ｎの支配的なベクトルの中のそれらのベクトルを除去する。このように、これら
の２次最大値の存在は、例えば、寸法３＊３の同じ窓内に２つの最大値があるか
否かを見るためにヒストグラムを検索することにより識別される。

【００２３】 図２は、そのような窓を示し、局部の最大値を検索するために、参照番号１の
この窓は（ｄｘ，ｄｙ）が採用される支配的なベクトルの付近に中心が合わされ
、その発生数はｎである。

【００２４】 マクロブロックＭＢに割り当てられたベクトルの選択。再割り当て。

【００２５】 −ＤＦＤ法 一旦、支配的なベクトルが抽出されると、基準は、これらの各ベクトルを各Ｍ
Ｂへ再割り当てするために見つけられるために残る。動き推定器は動きベクトル
を計算するために最小ＤＦＤ(移動したフレーム差)の基準を使用するので、採用
されたベクトルと処理されるべき画像のマクロブロック間の最も可能な対応をみ
つけるこの基準を採用することは有益である。外観の周波数の昇順にベクトルを
整列後に、これらのベクトルの各々に関連するＤＦＤの計算が各ＭＢに対して行
われる。これらの計算は以下の式で単純に表現できる。

【００２６】

【数１】 ここで、（ｉ，ｊ）は処理されるＭＢの座標である。

【００２７】 Ｎ（＝１６）はＭＢのサイズである。

【００２８】 （ｄｘ，ｄｙ）はテストされるベクトルの成分であり、[−１２８；＋１２７
．５]に属する。

【００２９】 この式を適用する前に、テストされるベクトルが基準信号（ＦＲＡＲ）画像の
外側の点でないことをチェックすることが重要である。適するベクトルがない場
合には、ゼロベクトルが割り当てられる。

【００３０】 これゆえ、最小ＤＦＤに対応するベクトルは、各ＭＢへ割り当てられる。

【００３１】 −グラディエント法 これは、予測された基準画像と現在の画像からなる”差分”画像の各ＭＢに対
して、（水平及び垂直グラディエント形式の）ＭＢの局部活性度に関する情報を
与える最小グラディエントに対応するベクトルを探すことよりなる。

【００３２】

【数２】 ここで、

【００３３】

【数３】 である。

【００３４】 再割り当ての向上 ＤＦＤ／グラディエント基準 小サイズの物体に関する特定の動きを保持するために、以下の基準が定義され
る。

【００３５】 ＤＦＤ法の適用後に、ＭＢに対して採用されたベクトルが、重み付けられたＤ
ＦＤより大きいＤＦＤを発生する場合には、もとのベクトルが保持される。

【００３６】 同様に、グラディエントの方法に関しても、画像間差後に得られた各ＭＢに対
して、再割り当てにより得られたグラディエントがもとのベクトルのグラディエ
ントと比較される。重み付けられたもとのグラディエントが新たなグラディエン
トよりも小さい場合には、もとのベクトルが保持される。

【００３７】 動きベクトルに適用されるフィルタリング ベクトルフィールドを更に均一化するために、他の基準、即ち、空間又は時間
フィルタリングが使用できる。

【００３８】 −空間フィルタリング 採用されるフィルタは２次元３＊３メディアンフィルタである。

【００３９】 原理を、参照番号２のフィルタ前の画像と参照番号３のフィルタ後の画像を表
す図３により説明する。参照番号４のベクトルは処理されるベクトルである。

【００４０】 問題のＭＢの成分の垂直及び水平隣接成分は、各方向（ｄｘ，ｄｙ）に沿って
順序付けされ、そして、各成分の中央値がとられる。次に各ＭＢに関連する種々
のＤＦＤが比較され、いずれか１つの成分又は、両方ががフィルタされるか、又
は、全くフィルタされない。これゆえ、最小ＤＦＤに対応するベクトルが選択さ
れ、もとのＤＦＤは明らかに重み付けされる。

【００４１】 −時間フィルタリング 時間的な結合の強さの考えは、画像のベクトルの再割り当てで、前の画像の動
きフィールドを考慮することであり、これは、１つの画像から他の画像への動き
の不均衡を制限する考慮とともになされる。

【００４２】 最初に、前向きベクトル（据え置きの動きベクトル）の時間フィルタリングの
原理の詳細を説明する。

【００４３】 前向きベクトルの空間−時間ヒストグラム： 種々のヒストグラムを考慮するために、最初の段階でベクトルのスケーリング
が行われ、そして、処理されるヒストグラムに関する種々のヒストグラムの位置
の関数である発生の重み付けが行われる。

【００４４】 これゆえ、図４のＰ画像に対して、もとのベクトルのヒストグラムへ、ファク
タ３により重み付けされたその発生、ファクタ１により重み付けされた最初のＢ
のベクトル（振幅が３で乗算されている）の発生と、ファクタ２により重み付け
された２番目のＢのベクトル（振幅が３／２で乗算されている）の発生が加えら
れる。

【００４５】 時間的な結合の強さは、均一の動きが存在するときにはそして、動きの中断
（シーン変化）が存在しないときには、関連すべきである。

【００４６】 後方ベクトルの場合（予想された動きベクトル） １つの画像から次の画像へ、均一な”前方”の動きがある場合には、その場合
にはＢ画像に関連する”後方”ベクトルも存在するであろうと考えるのが論理的
である。後者をフィルタするために、後方ベクトルは問題のＢに続くＰ又は、Ｉ
に基づいているということを忘れてはならない。これゆえ、最初のＢに対して、
後方ベクトルは第２のＢに関連する後方ベクトルの２倍であると考えられ得る。
後者のベクトルに関してファクタ２によりスケーリングが行われ、そして、最初
のＢに関連するヒストグラムに、重み付けされた発生が加えられる。

【００４７】 均一フィールドの検出 例えば、ズームのような他方向の動きを伴なうシーケンスにＮベクトルの再割
り当てを適用する考えは適切でない。これは、この特定の場合には、Ｎの支配的
なベクトルのみを採用することは複数のベクトルよりなるフィールドを便利に処
理することを可能としないためである。

【００４８】 図５は、ズーム中のベクトルの画像を表す。フィールド内の不均一はそのよう
な均一性を許さないことが簡単にわかる。

【００４９】 従って、最初に、単一の方向へ、又は、全ての方向（ズーム）のいずれかへ、
ベクトルが均一に分散されているフィールドを検出することが決定される。この
検出は、Ｎの支配的なベクトルから計算された平均標準偏差に近い第１の支配的
なベクトルの標準偏差により行われる。これは、次のように表現される。

【００５０】 σ１≦しきい値＊σ平均の場合には、＝＞均一フィールドが存在。ここで、し
きい値はユーザにより固定される（例えば、しきい値＝１．３４である）。

【００５１】 成功的に検出された動きの形式に関連する例は、図６ａ，ｂ，ｃ，ｄに示され
ている。

【００５２】 目的は、現在は、場合（ｃ）と（ｄ）が存在するときにはアルゴリズムを適用
しないことである。これらの場合は、場合（ａ）と（ｂ）から区別される。この
ために、採用されたＮの中から、ｄｘとｄｙ動きの平均値が検査され、そして、
それらがゼロに近い否かが判断される。これは、均一方向の動きと対照的に、そ
れらが加算されると、ズームの動きは相殺されるように観測され得るためである
。５つの画素の最大差を、ｄｘ，ｄｙの対して設定することが可能である。

【００５３】 時間フィルタリングの制限 動きの中断がある場合には、時間的にヒストグラムをフィルタしないのは有益
である。以下が可能である。

【００５４】 −Ｐ形式画像に対する初期又は再割り当てされたベクトルのヒストグラムを蓄
積すること。

【００５５】 −次のＰ形式画像で、Ｐ（ｔ）、新たな”画像”ベクトルが比較される。それ
らが、Ｐ（ｔ−ｎ）から生じるそれらの対の片方と非常に異なる場合には、もと
のベクトルが保持される。

【００５６】 支配的なベクトルの数の選択 必要なベクトルの数は、（例えば、スポーツシーンのような）ランダムな動き
のシーケンスに対しては、均一の動き（”トレイン”）を伴なうシーケンスより
も更に多くのベクトルがあるように、自動的に且つ動的に決定され得る。

【図面の簡単な説明】

【図１】 動きベクトルのヒストグラムを示す図である。

【図２】 局部の最大値検索窓を示す図である。

【図３】 メディアンフィルタの例を示す図である。

【図４】 考慮される先行する画像ベクトルの例を示す図である。

【図５】 ズーム中の動きベクトルフィールドを示す図である。

【図６】 検出され得る種々の形式の動きを示す図である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，Ｅ Ａ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ， ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，Ｇ Ｅ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ， ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，Ｍ Ｎ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ， ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，Ｚ Ａ，ＺＷ Ｆターム(参考） 5C059 MA00 NN01 UA02

Claims (14)

【特許請求の範囲】
1. 【請求項１】 ビデオ画像を画像ブロックへセグメント化することと、動き
   ベクトルフィールドを得るための画像ブロックごとの動き推定とを含む動き推定
   方法であって、ベクトルフィールドに属するＮの支配的なベクトルから１つの動
   きベクトルを選択することにより、ブロックへのベクトルの再割り当てを行う段
   階を含むことを特徴とする方法。
2. 【請求項２】 支配的なベクトルに関して、他の支配的なベクトルの選択中
   に考慮されないように、２次の局部の最大値が検出されることを特徴とする請求
   項１に記載の方法。
3. 【請求項３】 支配的なベクトルは４つの方向の各々に選択されることを特
   徴とする請求項１に記載の方法。
4. 【請求項４】 再割り当てされるベクトルの選択は、移動された画像間の差
   （ＤＦＤ）の値に基づくことを特徴とする請求項１に記載の方法。
5. 【請求項５】 Ｎの支配的なベクトルに関連するＤＦＤが、もとのベクトル
   に関連するＤＦＤよりも大きい場合には、ゼロベクトルが採用されることを特徴
   とする請求項４に記載の方法。
6. 【請求項６】 Ｎの支配的なベクトルに関連するＤＦＤが、もとのベクトル
   に関連する重み付けされたＤＦＤよりも大きい場合には、もとのベクトルが保持
   されることを特徴とする請求項４に記載の方法。
7. 【請求項７】 再割り当てされるベクトルの選択は、画像間差ブロック（現
   在のブロック−推定されたブロック）内の活性度（空間グラディエント）の計算
   に基づいていることを特徴とする請求項１に記載の方法。
8. 【請求項８】 Ｎの支配的なベクトルに対応する活性度が、もとのベクトル
   に対応する活性度よりも大きい場合には、ゼロベクトルが採用されることを特徴
   とする請求項７に記載の方法。
9. 【請求項９】 Ｎの支配的なベクトルに対応する活性度が、もとのベクトル
   に対応する重み付けされた活性度よりも大きい場合には、もとのベクトルが保持
   されることを特徴とする請求項７に記載の方法。
10. 【請求項１０】 ＤＦＤ計算中に使用されるベクトルの成分は空間的にフィ
    ルタされた成分であることを特徴とする請求項４に記載の方法。
11. 【請求項１１】 空間グラディエント計算中に使用されるベクトルの成分は
    空間的にフィルタされた成分であることを特徴とする請求項７に記載の方法。
12. 【請求項１２】 各画像に対して、支配的なベクトルは、現在の画像のベク
    トルのフィールド及び、少なくとも１つの前の画像のベクトルのフィールドから
    選択されることを特徴とする請求項１に記載の方法。
13. 【請求項１３】 前の画像のベクトルは、スケーリングされているのに加え
    て、時間距離の関数として重み付けされていることを特徴とする請求項１２に記
    載の方法。
14. 【請求項１４】 動きの中断が検出されたときには、前の画像のベクトルは
    考慮されないことを特徴とする請求項１２に記載の方法。