JP2000152243A - 動きベクトル検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 動きベクトルの伝送に要するビットレートの
削減された動きベクトル検出装置を提供する。 【解決手段】 テレビジョン映像およびディジタル動画
像で代表される動画像信号の高能率符号化における動き
補償として動きベクトルを検出する動きベクトル検出装
置において、当該検出装置が：符号化フレームまたは符
号化フィールド（３１）の符号化画像をブロック化する
第１ブロック化手段（３３）と；参照フレームまたは参
照フィールド（３２）の参照画像を検出範囲に含まれる
複数のシフト量によりシフトさせブロック化する第２ブ
ロック化手段（３４）と；前記第１ブロック化手段と前
記第２ブロック化手段により得られた両画像のブロック
間で相関をとり評価する相関評価手段（３６，３７）
と；該相関に関する所定の範囲を設定し（３９）その範
囲に属する前記複数のシフト量を選択するシフト量選択
手段（４０）と；連続するブロックで選択された前記複
数のシフト量から共通のシフト量を求める手段（４１）
とを具え、該共通するシフト量を連続するブロックの動
きベクトルとする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ＭＰＥＧ（Movi
ng Picture coding Experts Group)−２映像符号化標準
を用いたエンコーダにおける動きベクトル検出装置に関
するものである。

【０００２】

【従来の技術】動きベクトル検出に関する特許や文献は
数多い。これらの多くは、フルサーチパターンマッチン
グ法と呼ばれ、予測誤差を最小にするシフト量を動きベ
クトルとするものである。この手法は、図１に示すよう
に現フレーム１の画面を小ブロック（例えば、１６画素
×１６ライン、以下符号化ブロック２という）に分け、
各符号化ブロックについて、参照フレーム３（例えば、
１フレーム前のフレーム）に同一サイズのブロック（以
下、参照ブロック４という）をとり、その位置をシフト
させながら、該符号化ブロックとの相関を計算する。そ
して、相関の最も高い該参照ブロックが示すシフト量を
動きベクトル５とする。

【０００３】相関の計算は、通常、符号化ブロックの画
素と参照ブロックの当該位置の画素との差の絶対値をと
り、これを符号化ブロック全体で加算する。この総和が
最も小さい、すなわち、相関が最も高くなるシフト量が
動きベクトルである。

【０００４】参照ブロックをシフトする範囲を動きベク
トルの検出範囲６といい、この検出範囲が広いことが、
高能率符号化方式の善し悪しを決めるキーポイントであ
る。すなわち、画像上の物体の如何なる動きをもカバー
できるだけの広い動きベクトル検出範囲が望ましい。

【０００５】

【発明が解決しようとする課題】予測誤差最小を基本と
した従来方法の動きベクトル検出は、次の問題点があ
る。すなわち、画像のフラット部分（例：空、模様のな
い塀など）やきめ細かな繰り返し部分（例：芝生、アス
ファルトなど）では、どのような動きベクトルも確から
しく、予測誤差に際だった最小値が存在しない。それで
も、従来の動きベクトル検出は予測誤差最小のシフト量
を動きベクトルとして検出する。

【０００６】一方、画像にはノイズが含まれ、画像のフ
ラット部分やきめ細かな繰り返し部分は、ノイズによっ
て検出された動きベクトルの値が大きくバラつく。ＭＰ
ＥＧ−２では、動きベクトルは前マクロブロックの動き
ベクトルとの差分値で伝送される。しかも、差分値が大
きくなればなるほど、急激に長くなる可変長符号が採用
される。動きベクトルの値がバラつけば、その差分値も
大きくなり、その結果、動きベクトルの伝送量が増大す
る。この問題は、画像のフラット部分やきめ細かな繰り
返し部分が大面積を占めれば占めるほど大きな問題とな
る。

【０００７】一方、この従来技術の問題点を解決するた
めの手段として、次の２つの従来手法がある。 前ブロックの動きベクトルを中心に、その周りで比
較的小さい領域で検出する手法。 大きなブロックをとり、グローバルな動きベクトル
を検出した後、所望のブロックサイズでグローバルな動
きベクトルを中心に、比較的小さな領域で動きベクトル
を検出する手法。

【０００８】の手法は漸近的な手法であり、急激な変
化には追従しない。の手法は小さな領域がランダムか
つ高速に動く場合、検出できないなどの欠点がある。

【０００９】そこで本発明の目的は、予測誤差最小を基
本とする従来の動きベクトル検出ではなく、最小ではな
くても最小に近い値なら、検出した動きベクトルを有効
とすることによって、連続するマクロブロックで動きベ
クトルの値を揃え、すなわち、差分ベクトルをゼロとす
ることによって、動きベクトルの伝送量を減少させた動
きベクトル検出装置を提供せんとするものである。

【００１０】高能率符号化方式の善し悪しを決めるキー
ポイントは、動きベクトルの検出範囲が広いことであ
る。すなわち、画像上の物体の如何なる動きをもカバー
できるだけの広い動きベクトル検出範囲が望ましい。一
方、動きベクトルの検出範囲を広くすると、画像のフラ
ット部分やきめ細かな繰り返し波形の部分で、画像に含
まれるノイズに起因して、動きベクトルの値がばらつ
く。このバラツキは、動きベクトルの検出範囲を広くす
るほど大きくなる。

【００１１】そこで本発明のさらなる目的は、広い検出
範囲を確保し、かつ、動きベクトルの値がばらつかない
動きベクトル検出装置を提供せんとするものである。

【００１２】

【課題を解決するための手段】これら目的を達成するた
め本発明動きベクトル検出装置は、テレビジョン映像お
よびディジタル動画像で代表される動画像信号の高能率
符号化における動き補償として動きベクトルを検出する
動きベクトル検出装置において、当該検出装置が：符号
化フレームまたは符号化フィールドの符号化画像をブロ
ック化する第１ブロック化手段と；参照フレームまたは
参照フィールドの参照画像を検出範囲に含まれる複数の
シフト量によりシフトさせブロック化する第２ブロック
化手段と；前記第１ブロック化手段と前記第２ブロック
化手段により得られた両画像のブロック間で相関をとり
評価する相関評価手段と；該相関に関する所定の範囲を
設定しその範囲に属する前記複数のシフト量を選択する
シフト量選択手段と；連続するブロックで選択された前
記複数のシフト量から共通のシフト量を求める手段とを
具え、該共通するシフト量を連続するブロックの動きベ
クトルとすることを特徴とするものである。

【００１３】また、本発明の好適な実施態様は、前記共
通のシフト量を求める手段が、前記参照フレームの複数
のシフト量と前記参照フィールドの複数のシフト量とを
予め定められた規則に従って相互に変換し、連続するブ
ロックでフレーム、フィールドに関わらず前記シフト量
から共通のシフト量を求める手段であることを特徴とす
るものである。

【００１４】さらに好適な実施態様は、前記予め定めら
れた規則が、垂直方向のフレームベクトルの単位をフレ
ームライン、垂直方向のフィールドベクトルの単位をフ
ィールドラインとし、１フィールドラインを２フレーム
ラインに換算し、連続するブロックでｘ，ｙをシフト量
とするフィールドベクトルとｘ，２ｙをシフト量とする
フレームベクトルを共通シフト量とみなすことであるこ
とを特徴とするものである。

【００１５】さらに別の好適な実施態様は、前記相関に
関する所定の範囲を、検出範囲に含まれる複数のシフト
量より生ずるブロック内の予測誤差の絶対値の累積和ま
たは平方和の最小値から、該最小値に第１定数を乗じた
数に第２定数を加算した値までとすることを特徴とする
ものである。

【００１６】

【発明の実施の形態】以下添付図面を参照し実施例によ
り本発明の実施の形態について詳細な説明を行うが、そ
れに先立ち本発明でいう動きベクトルについて説明す
る。まず動きベクトルに関する以下の定義を行う。 ○検出範囲（１１） 検出する動きベクトルの範囲。動きベクトルは、この範
囲に含まれる全ての動きベクトルから、何らかの評価関
数で検出される。 ○候補動きベクトル：以下、候補ＭＶという（１２） 前記全ての動きベクトルの中で、予測誤差が最小と最小
より少し大きな（例：１割位）値の範囲に含まれる動き
ベクトル、マクロブロックで複数の動きベクトルが存在
する。 ○最適動きベクトル：以下、最適ＭＶという（１３） 従来技術で検出される動きベクトで、候補ＭＶの中で、
予測誤差を最小にする動きベクトル。マクロブロックあ
たりひとつの動きベクトルが検出される。 ○検出動きベクトル：以下、検出ＭＶという（１４） 検出される動きベクトルで、マクロブロックあたりひと
つの動きベクトルが検出される。従来技術では、検出Ｍ
Ｖは最適ＭＶと等しいが、本発明では必ずしも等しくは
ならない。上記に定義した４つの動きベクトルの包含関
係を図２に示す。

【００１７】ＭＰＥＧ−２の動きベクトルとして主なも
のに、フレームベクトル、フィールドベクトルがある。
フレーム構造の場合のマクロブロックはトップフィール
ド（第１フィールド）２１とボトムフィールド（第２フ
ィールド）２２がインターレースされた１６画素×１６
ライン（輝度信号の場合）のフレームブロックで構成さ
れ、フレーム動き補償予測、フィールド動き補償予
測という、２つの動き補償予測方法が用いられる。

【００１８】 フレーム動き補償予測 インターレースされた２つのフィールドが合成されたフ
レームで動き補償を行うもので、輝度信号ではインター
レースされた１６画素×１６ラインブロックごとに予測
される（図３（ａ））。図３（ａ）は１フレーム離れた
参照フレーム２３からフレームベクトルＭＶで前方向の
動き補償予測を行う例である。フレーム動き補償予測は
比較的ゆっくりした動きで、フレーム内での相関が高い
まま等速度で動いている場合に有効な予測方法である。

【００１９】 フィールド動き補償予測 フィールドごとに動き補償を行うもので、図３（ｂ）の
ようにトップフィールド１２１にはトップフィールドベ
クトルＭＶ１、ボトムフィールド１２２にはフィールド
ベクトルＭＶ２を用いて予測を行っている。また、参照
フィールドはトップフィールド２１でもボトムフィール
ド２２でもよい。図３（ｂ）ではトップフィールド１２
１、ボトムフィールド１２２いずれにもトップフィール
ド２１が参照フィールドとして用いられている。フィー
ルド動き補償予測では、マクロブロック内の各フィール
ド別に予測されるため、輝度信号の場合１６画素×８ラ
インのフィールドブロック単位で予測される。

【００２０】図３で＜注１＞は垂直方向のフレーム動き
ベクトルの単位、すなわち、フレーム動きベクトルの値
が１のときのシフト量を示し、＜注２＞は垂直方向のフ
ィールド動きベクトルの単位、すなわち、フィールド動
きベクトルの値が１のときのシフト量を示している。

【００２１】次に、冒頭に記載した本発明動きベクトル
検出装置請求項１の実施例における装置の信号処理フロ
ーを図４に示す。はじめに、符号化フレーム（現在のフ
レーム）３１と参照フレーム（例えば１フレーム前のよ
うに動きベクトル補償の対象となるフレーム）３２をブ
ロック化３３，３４する。このとき、参照フレーム３２
のブロック化は検出範囲に含まれる全動きベクトル３５
による位置シフトが行われる。ブロック化された符号化
フレームと参照フレームで予測誤差の計算３６を行う。
予測誤差は、通常、符号化フレームと参照フレームの差
の絶対値をブロックに含まれる全画素で積分を行って求
める。また、予測誤差の計算は、検出範囲に含まれる全
動きベクトルに対して行われる。

【００２２】本発明の請求項１では「フレーム」を「フ
ィールド」に置き換えることができる。検出範囲に含ま
れる全動きベクトルに対する予測誤差より予測誤差の最
小値を求める（３７）。従来技術における動きベクトル
検出は、この予測誤差を最小にする動きベクトルとして
検出される（３８）。

【００２３】本発明では、予測誤差最小ではなく、最小
から少し大きい範囲を設定し、この範囲に入る動きベク
トルならどれでもよいとする。この範囲を、最小値をｄ
minとし、Ａ，Ｂを定数として次のように定める。

【数１】Ｄ＝Ａｄmin ＋Ｂ ただし、Ａは１に近い値、例えば、Ａ＝１７／１６、Ｂ
は映像信号に含まれるノイズ程度、例えば、ブロックサ
イズを２５６、映像信号が８bit で量子化されていると
き、Ｂ＝２５６が適当である。このようにして、最小値
と最小値より１割程度大きな値の範囲を設定する（３
９）。

【００２４】設定した範囲に入る動きベクトルを候補ベ
クトルとする（４０）。このとき、候補ベクトルは、複
数個検出されることに注意を要する。

【００２５】この符号化フレームに行った操作を、符号
化トップフィールドおよび符号化ボトムフィールドに対
しても行う。フィールドのＤの値を求める定数はＡ＝１
７／１６、Ｂ＝１２８が適当である。さらに請求項４
は、予測誤差のある範囲を、検出範囲に含まれる複数の
シフト量より生ずる予測誤差から最小値を検出する手段
と、該最小値から、該最小値に１に近い第１の定数を乗
じた数に第２の定数を加算した値とするものである。

【００２６】次に、冒頭に記載した本発明動きベクトル
検出装置請求項２の実施例における動きベクトル検出の
信号処理フローを図５に示す。ＭＰＥＧ−２では、動き
ベクトルの伝送は前マクロブロックの動きベクトルとの
差分ベクトルを送ることで実現されているが、フィール
ドベクトル（ｘ，ｙ）を伝送する場合は、垂直方向の動
きベクトルを２倍にして、（ｘ，２ｙ）に変換して差分
ベクトルを計算している。また、前マクロブロックの動
きベクトルが後マクロブロックの動きベクトルにどのよ
うに伝達されるかは、表１のようになっている。

【００２７】

【表１】

【００２８】表１のシンタックスを考慮して以下の操作
を行い、連続する２つのマクロブロックで候補ベクトル
の共通性を調べ、共通ベクトルを検出する。 ○ 前後のマクロブロックにおいて同じフレーム／トッ
プフィールド／ボトムフィールドで同じ値の候補ベクト
ルが存在すれば、その候補ベクトルを共通ベクトルとす
る。 ○ 前マクロブロックに（ｘ，２ｙ）であるフレーム候
補ベクトルが存在し、かつ後マクロブロックに（ｘ，
ｙ）であるトップフィールド候補ベクトルが存在すれ
ば、そのトップフィールド候補ベクトルを共通ベクトル
とする。 ○ 前マクロブロックに（ｘ，２ｙ）であるフレーム候
補ベクトルが存在し、かつ後マクロブロックに（ｘ，
ｙ）であるボトムフィールド候補ベクトルが存在すれ
ば、そのボトムフィールド候補ベクトルを共通ベクトル
とする。 ○ 前マクロブロックに（ｘ，ｙ）であるトップフィー
ルド候補ベクトルが存在し、かつ後マクロブロックに
（ｘ，２ｙ）であるフレーム候補ベクトルが存在すれ
ば、そのフレーム候補ベクトルを共通ベクトルとする。

【００２９】共通ベクトルが存在するときは次のマクロ
ブロックを含めて３つのマクロブロックで共通ベクトル
を検出する。さらに共通ベクトルが存在する場合は次の
マクロブロックを含め４つのマクロブロックで共通ベク
トルを検出する。この操作を共通ベクトルが存在しなく
なるまで続け、共通ベクトルが存在しなくなった直前ま
でのマクロブロック（Ｎ個あったとする）での共通ベク
トルをＮ個のマクロブロックに対する動きベクトルとす
る。すなわち、Ｎ個のマクロブロックで同じ値の動きベ
クトルが検出される。このとき、フレームモードの共通
ベクトル、もしくはトップフィールドとボトムフィール
ドの共通ベクトルのセットが求まるようにする。ここ
で、フレームもしくはフィールドベクトルのどちらかの
共通ベクトルがＮ個求まらなかった場合は、以下のよう
にする。

【００３０】○ フレームベクトルがＮ個求まらなかっ
た場合、求まったトップフィールドの共通ベクトルが
（ｘ，ｙ）のとき、フレームの共通ベクトルを（ｘ，２
ｙ）とする。 ○ フィールドベクトルがＮ個求まらなかった場合、求
まったフレームの共通ベクトルが（ｘ，ｙ）のとき、ト
ップフィールドとボトムフィールドの共通ベクトルを
（ｘ，ｙ／２）とする。

【００３１】さらに、請求項３で述べるあらかじめ定め
られた規則とは、垂直方向のフレームベクトルの単位を
フレームライン、垂直方向のフィールドベクトルの単位
をフィールドラインとし、１フィールドラインを２フレ
ームラインに換算し、連続するブロックで、（ｘ，ｙ）
をシフト量とするフィールドベクトルと、（ｘ，２ｙ）
をシフト量とするフレームベクトルを、共通シフト量と
みなすものである。

【００３２】次に図４および図５中の各ブロックの説明
を以下にまとめて示す。 ○ 参照フレーム（３２） 動きベクトルの検出時に符号化されるフレームとパター
ンマッチングをとるフレーム。 ○ 参照トップフィールド（５３） 動きベクトルの検出時に符号化されるフィールドとバタ
ーンマッチングをとるトップフィールド。 ○ 参照ボトムフィールド（５４） 動きベクトルの検出時に符号化されるフィールドとパタ
ーンマッチングをとるボトムフィールド。 ○ 符号化フレーム（３１） 符号化されるフレーム。 ○ 符号化トップフィールド（５１） 符号化されるトップフィールド。 ○ 符号化ボトムフィールド（５２） 符号化されるボトムフィールド。 ○ ブロック化（３３，３４，５５−５８） 符号化するフレームやフィールドからマクロブロックを
切り出す。本発明の実施例ではフレームでは１６画素×
１６ライン、フィールドでは１６画素×８ラインに切り
出す。 ○ 検出範囲内の全動きベクトル出力（３５，５９，６
０） 動き検出を行うサーチ範囲内すべての動きベクトル出
力。 ○ 予測誤差計算（３６，６１−６４） 参照マクロブロックと符号化マクロブロックとのブロッ
クマッチングを行い画 素の絶対誤差累積和を求める。○ 誤差最小値抽出（３
７，６５，６６） 全検索範囲内の予測誤差の最小値を求める。 ○ 従来法の動きベクトル（３８） ○ 誤差範囲設定（３９，６７，６８） 予定誤差の最小値から請求項４の予測誤差の範囲を求め
る。 ○ 候補動きベクトル出力（４０，６９，７０） 範囲内の予測誤差を持つ動きベクトルを選択する。 ○ 共通動きベクトル（４２） ○ 座標変換（１）（７１，７２） フィールドベクトルをフレームベクトルと同じ座標にす
るため、動きベクトルの垂直方向の値を２倍する。
（ｘ，ｙ）→（ｘ，２ｙ） ○ 共通動きベクトル検出（４１，７３） 連続したマクロブロックで同じ値の候補動きベクトルを
選び、共通動きベクトルとする。 ○ 座標変換（２）（７４，７５） フレームベクトルと同じ座標に変換されたフィールドベ
クトルを元の値に戻すため、垂直方向の値を１／２す
る。（ｘ，２ｙ）→（ｘ，ｙ） ○ 共通動きフレームベクトル（７６） ○ 共通動きトップフィールドベクトル（７７） ○ 共通動きボトムフィールドベクトル（７８）

【００３３】最後に本発明請求項１に記載した動きベク
トル検出装置をＭＰＥＧ−２になるビデオ符号化装置に
適用した場合の略構成図を図６に示す。同図で動きベク
トル検出部８５は本発明に係る動きベクトル検出装置で
あり、それ以外はＭＰＥＧ−２の技術において公知の部
分であるから詳細な説明はこれを省略する。

【００３４】以下本発明のいくつかの実施例により本発
明の実施の形態について説明してきたが、本発明はこれ
らに限定されることなく、発明の要旨内で各種の変形、
変更が可能なことは当業者に自明であろう。

【００３５】

【発明の効果】本発明は、予測誤差最小を基本とする従
来の動きベクトル検出ではなく、最小でなくとも最小に
近い値ならこれを有効とすることによって、連続するマ
クロブロックで動きベクトルの値を揃え、すなわち、差
分ベクトルを零とすることによって動きベクトルの伝送
量を減少せしめることを目的になされた発明であるが、
計算機シミュレーションにより確かめた結果、動きベク
トルの伝送に要するビットレートが従来技術に比し２か
ら４Ｍｂ／ｓ減らすことができることを確認した。

【図面の簡単な説明】

【図１】全探索手法による動きベクトルの検出を説明す
る図。

【図２】動きベクトル定義の包含関係を示す図。

【図３】ＭＰＥＧ−２における動きベクトルを説明する
図。

【図４】本発明請求項１に係る動きベクトル検出装置の
信号処理の流れを説明する図。

【図５】本発明請求項２に係る動きベクトル検出装置の
信号処理の流れを説明する図。

【図６】本発明検出装置をＭＰＥＧ−２ビデオ符号化装
置に適用した場合の略構成図。

【符号の説明】

１，82 符号化フレーム（現フレーム） ２ 符号化ブロック ３，84 参照フレーム（前フレーム） ４ 参照ブロック ５，86 動きベクトル ６ 動きベクトル検出範囲 11 検出範囲 12 候補動きベクトル 13 最適動きベクトル 14 検出動きベクトル 21 トップフィールド 22 ボトムフィールド 23，25 参照フレーム 24，26 符号化フレーム 81 入力画像 83，91 遅延 85 動きベクトル検出部 87 動き補償 88 エンコーダ 89 符号化データ 90 デコーダ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 神田 菊文 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 西田 幸博 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 中須 英輔 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 5C059 LA05 MA00 MA03 MA05 NN10 NN11 NN16 NN20 NN28

Claims (4)

【特許請求の範囲】
1. 【請求項１】 テレビジョン映像およびディジタル動画
   像で代表される動画像信号の高能率符号化における動き
   補償として動きベクトルを検出する動きベクトル検出装
   置において、当該検出装置が：符号化フレームまたは符
   号化フィールドの符号化画像をブロック化する第１ブロ
   ック化手段と；参照フレームまたは参照フィールドの参
   照画像を検出範囲に含まれる複数のシフト量によりシフ
   トさせブロック化する第２ブロック化手段と；前記第１
   ブロック化手段と前記第２ブロック化手段により得られ
   た両画像のブロック間で相関をとり評価する相関評価手
   段と；該相関に関する所定の範囲を設定しその範囲に属
   する前記複数のシフト量を選択するシフト量選択手段
   と；連続するブロックで選択された前記複数のシフト量
   から共通のシフト量を求める手段とを具え、該共通する
   シフト量を連続するブロックの動きベクトルとすること
   を特徴とする動きベクトル検出装置。
2. 【請求項２】 請求項１記載の装置において、前記共通
   のシフト量を求める手段が、前記参照フレームの複数の
   シフト量と前記参照フィールドの複数のシフト量とを予
   め定められた規則に従って相互に変換し、連続するブロ
   ックでフレーム、フィールドに関わらず前記シフト量か
   ら共通のシフト量を求める手段であることを特徴とする
   動きベクトル検出装置。
3. 【請求項３】 請求項２記載の装置において、前記予め
   定められた規則が、垂直方向のフレームベクトルの単位
   をフレームライン、垂直方向のフィールドベクトルの単
   位をフィールドラインとし、１フィールドラインを２フ
   レームラインに換算し、連続するブロックでｘ，ｙをシ
   フト量とするフィールドベクトルとｘ，２ｙをシフト量
   とするフレームベクトルを共通シフト量とみなすことで
   あることを特徴とする動きベクトル検出装置。
4. 【請求項４】 請求項１から３いずれか記載の装置にお
   いて、前記相関に関する所定の範囲を、検出範囲に含ま
   れる複数のシフト量より生ずるブロック内の予測誤差の
   絶対値の累積和または平方和の最小値から、該最小値に
   第１定数を乗じた数に第２定数を加算した値までとする
   ことを特徴とする動きベクトル検出装置。