JP2000253407A

JP2000253407A - 動きベクトル検出方法および画像符号化方法

Info

Publication number: JP2000253407A
Application number: JP5105799A
Authority: JP
Inventors: Taiji Ido; 大治井戸
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-02-26
Filing date: 1999-02-26
Publication date: 2000-09-14

Abstract

(57)【要約】【課題】 one-at-a-time探索法を用いてブロック
単位で予測符号化を行う際、探索開始候補点の近くに真
の動きベクトルがある可能性が高い場合に、確実にその
候補点を探索開始位置として選択し、無駄な探索を防止
すること。【解決手段】着目するブロックの周辺に位置するブロ
ックについて既に求められている動きベクトルを候補ベ
クトルとする。その候補ベクトルのばらつきを、ばらつ
き判定部１２が判定し、ばらつきが小さい場合には重み
付け判定部１３が大きな重み係数（調整値）を与え、ブ
ロック間の相関判定部１５は、その重み係数を減算して
ブロック間の相関値とする。重み係数は、動きベクトル
のばらつきに応じて適応的に変化させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ブロックマッチン
グ法を用いた動きベクトル検出方法および画像符号化方
法に関する。

【０００２】

【従来の技術】静止画像の場合、予測符号化に用いるこ
とができる参照画素はその画像内で、すでに符号化され
た画素に限られているが、動画像の場合、１フレーム前
またはそれ以前のフレーム中の画素を参照画素として用
いることができ、予測効率の向上が期待できる。但し、
前フレームの画素を用いた予測（フレーム間予測）符号
化を行う場合、単純にフレーム間の差分を取ると前後の
フレームで対応する点が大きくずれて予測の精度が低下
する。

【０００３】そこで、前後のフレームを比較して画像の
動き（動きベクトル）を検出し、前フレームを、検出さ
れた動きに対応させてシフトさせて（つまり、フレーム
間で生じた動きを補正して）フレーム間予測を行えば、
差分のデータ量が減少して効率的な符号化を行うことが
できる。

【０００４】図１２（ａ）は、このような動き補償付き
予測符号化を実行する符号化装置の概要を示している。
動き補償部５０は、前後のフレームの相似度の比較から
動きベクトルを検出し、符号化対象のフレームの一つ前
のフレームを、動きベクトルに対応させてシフトさせて
動き補償を行う。フレーム予測符号化部５１は、動き補
償された画像と現フレームとの差分をとり、その差分デ
ータについて、例えば、離散コサイン変換（ＤＣＴ）を
用いた符号化を行う。

【０００５】図１２（ｂ）は、フレーム５２およびフレ
ーム５３の間で、動き補償を行わずに差をとった場合
に、符号化するべき情報５５がかなり大きなものとなる
ことを示している。

【０００６】図１２（ｃ）は、フレーム５２とフレーム
５３との相似度の比較から動きベクトルＶを求め、この
動きベクトルＶを用いてフレーム５２をシフトさせ、こ
の後にフレーム５３との差をとった場合に、符号化する
べき情報５６が少ないことを示している。

【０００７】動きベクトルを検出する一般的な方法とし
てはブロックマッチング法がある。ブロックマッチング
法は、符号化対象フレームを複数のブロックに分割し、
着目するブロックについて、一つ前のフレームの探索範
囲内にあるブロックとの間の相似度を判定し、最も高い
相似度を示すブロックの位置が、着目するブロックから
（ｘ，ｙ）だけシフトしている場合に、そのシフト量ｖ
＝（ｘ，ｙ）を動きベクトルとする方法である。

【０００８】簡易な動きベクトルの検出方法の一つとし
ては、one-at-a-time探索がある。この探索方法は、注
目するブロックに関し、１フレーム前の同じ位置にある
ブロックを始点とし、水平および垂直方向にブロックを
一つずつシフトさせながら相似度を探索していき、所定
の探索範囲内で最も相似度の高いブロックを見つけだし
て動きベクトルを検出する方法である。この方法では、
探索範囲と探索候補ブロックを限定するため、動きベク
トル探索装置の構成を簡素化することができるというメ
リットがある。

【０００９】また、次世代のマルチメディア符号化方式
であるMPEG-4(ISO/IEC 14496)では、マクロブロックを
さらに４つのブロック（例えば、８×８画素ブロック）
に分割して、各ブロック毎に動ベクトルを検出する方式
がとられている。

【００１０】

【発明が解決しようとする課題】ブロック（例えば、８
×８画素）毎に、one-at-a-time探索により動きベクト
ルを検出する場合、着目するブロックに関して探索始点
をどこにするかは重要な問題である。着目するブロック
の探索始点の候補の一つは、例えば、その着目するブロ
ックの近くに位置する複数のブロックに関する動きベク
トルの中央値を採用することにより、一律に決められ
る。

【００１１】しかし、人物や背景といった複数のオブジ
ェクトは、それぞれ何の関係もなく動いている場合もあ
れば、それぞれが関連して同じような方向に動いている
場合もある。

【００１２】上述した、one-at-a-time探索の探索開始
点を一律の判断基準で選ぶ方法では、各オブジェクトの
動きの相関性を考慮していないので、誤った選択をした
り、あるいは探索回数の増大を招く場合が、かなりある
と考えられる。

【００１３】例えば、予測ベクトルの始点とゼロベクト
ルの始点が探索開始候補点となり、予測ベクトルの方は
周囲のブロックの状況からみてかなり信頼できると判断
されるような場合でも、たまたま、ゼロベクトル位置の
ブロックとの相似度がさらに良かった場合には、ゼロベ
クトル位置が探索始点に選ばれてしまう。

【００１４】そして、真の動きベクトルが予測ベクトル
の近辺にあったときには、ゼロベクトル位置からone-at
-a-time探索を開始すると、予測ベクトルの始点から探
索開始とした場合よりも大幅な遠回りを余儀なくされ、
探索回数が増大（回路の消費電力が増大）する。また、
このような場合には、探索の途中で、局所的に条件を満
たすブロックを真の動きベクトルの始点と誤認してしま
う（つまり、極小値に落ち込む）確率も高くなる。

【００１５】仮に、一つのフレームについて動きベクト
ルの検出結果が適切でない場合は、そのフレームの画像
復元の際、再生画像の画質劣化を招き、さらに、この画
質劣化した画素を参照画素として次の復号化が行われる
ので、画質劣化が以降のフレームにも波及していく、と
いう不都合が生じる。

【００１６】本発明はこのような問題を解決するために
なされたものであり、ブロックの動きベクトルを探索す
る際、探索始点の選択の誤りや探索回数を簡易な方法に
より低減することを目的とする。

【００１７】

【課題を解決するための手段】本発明の動きベクトル検
出方法では、すでに取得されている複数の動きベクトル
から予測ベクトルを求め、その予測ベクトルの始点を探
索の開始点の候補とし、予測ベクトルの信頼性評価を、
複数の動きベクトルのばらつきの程度に応じて適応的に
変化させ、その信頼性評価を加味して探索始点を決定す
る。

【００１８】予測ベクトルの信頼性が高いとき、つま
り、真の動きベクトルが予測ベクトルの近くにあると判
断されるときには、予測ベクトルの始点が探索始点とな
りやすいように配慮される。これにより、ふさわしい探
索始点が確実に選ばれる。よって、効率的な探索を実現
でき、探索回数を削減できる。また、動きベクトル自体
の予測符号化の際に生じる符号量を削減することも可能
となる。

【００１９】

【発明の実施の形態】本発明の動きベクトル検出方法の
第１の態様では、すでに取得されている複数の動きベク
トルから予測ベクトルを求め、その予測ベクトルの始点
を探索の開始点の候補とするステップと、前記予測ベク
トルの信頼性評価を、前記複数の動きベクトルのばらつ
きの程度に応じて適応的に変化させるステップと、前記
予測ベクトルの信頼性評価を含めた判定によって探索の
開始点を決定するステップと、決定された探索開始点か
ら探索を開始して注目するブロックの動きベクトルを検
出するステップと、を含む。

【００２０】これにより、予測ベクトルの信頼性が高い
ときには、予測ベクトルの始点が探索の始点として確実
に選ばれ、これにより、効率的な探索を行える。また、
動きベクトル自体を予測ベクトルとの間で差分符号化す
る場合も、予測ベクトルの近くに真の動きベクトルがあ
る確率が高められているので、差分符号量を減少させる
効果もある。

【００２１】また、本発明の動きベクトル検出方法の第
２の態様は、着目するブロックの近くに位置する複数の
ブロックの、各動きベクトルを候補ベクトルとし、それ
らの候補ベクトルに基づき予測ベクトルを求める第１の
ステップと、前記候補ベクトルのばらつきを判定する第
２のステップと、前記候補ベクトルのばらつき判定結果
に適応させて前記予測ベクトルの信頼性評価を変更する
と共に、その予測ベクトルの信頼性評価を含めて前記予
測ベクトルの始点となるブロックと前記着目するブロッ
クとの間の相関度を判定する第３のステップと、この第
３のステップの相関度判定の結果を用いて前記予測ベク
トルの始点を探索の探索始点とするか否かを判定し、探
索始点としない場合には他の探索始点となるブロックを
特定する第４のステップと、この第４のステップで特定
されたブロックを探索始点として探索を行って動きベク
トルを検出する第５のステップと、を含む。

【００２２】現フレームの注目するブロックの近辺に位
置するブロックが共に、前フレームの同じ領域付近から
来ているのなら、注目ブロックも、その領域あたりから
来ているのはほぼ間違いない。このような判定を、候補
ベクトルのばらつきに基づいて行い、その判断結果を考
慮した探索始点の決定を行うものである。これにより、
効率的な探索を行える。

【００２３】本発明の動きベクトル検出方法の第３の態
様では、第２の態様において、前記第３のステップは、
所定の関数を用いた演算により両ブロックの相関値を求
めるステップと、前記第２のステップにおける候補ベク
トルのばらつき判定結果に適応して変化する調整値を用
いて前記相関値を調整するステップと、を含む。

【００２４】探索始点の開始点を決定する場合の適応的
制御を、所定の関数に基づく演算で求めた相関値に、状
況に応じて変更される調整値を作用させることによって
行うものである。

【００２５】本発明の動きベクトル検出方法の第４の態
様では、第２または第３の態様において、前記第２のス
テップにおける複数の候補ベクトルのばらつき判定を、
前記複数の候補ベクトルにおけるＸ成分の最大値と最小
値の絶対差分値と、Ｙ成分の最大値と最小値との絶対差
分値との加算値を指標として行う。

【００２６】Ｘ，Ｙの各ベクトル座標値のばらつきか
ら、候補ベクトルのばらつきを判定するものである。簡
単な計算でばらつきを判定できるというメリットがあ
る。

【００２７】本発明の動きベクトル検出方法の第５の態
様では、第２または第３の態様において、複数の候補ベ
クトルのばらつき判定を、それらのベクトルの分散値を
指標として行う。

【００２８】これにより、候補ベクトルのばらつき判定
を、より正確に行える。

【００２９】本発明の動きベクトル検出方法の第６の態
様では、すでに取得されている複数の動きベクトルから
予測ベクトルを求め、その予測ベクトルの始点をone-at
-a-time探索の開始点の候補とする第１のステップと、
前記予測ベクトルの信頼性評価を、前記複数の動きベク
トルのばらつきの程度に応じて適応的に変化させる第２
のステップと、前記予測ベクトルの信頼性評価を含めた
判定によってone-at-a-time探索の開始点を決定する第
３のステップと、決定された探索開始点からone-at-a-t
ime探索を開始して注目するブロックの動きベクトルを
検出する第４のステップと、を含み、前記第４のステッ
プでは、決定された探索開始点が前記予測ベクトルの始
点である場合に、その予測ベクトルの始点の近辺のブロ
ックについて、前記第２のステップにおける予測ベクト
ルの信頼性評価に適応して変化する調整値を割り当て、
その割り当てられた調整値を含めてone-at-a-time探索
におけるブロック間の相関度判定を行う。

【００３０】本態様では、周囲の状況に応じた適応制御
を２回行う。すなわち、one-at-a-time探索の始点を決
定する段階で、予測ベクトルの信頼性評価を加味して決
定を行う（１回目の適応制御）。続いて、決定された探
索始点の近辺に位置するブロックに関して予測ベクトル
の信頼性評価に対応して変化する調整値を割り当てて、
one-at-a-time探索を行う（２回目の適応制御）。２回
目の適応制御により、例えば、one-at-a-time探索が予
測ベクトル付近で終了しやすくなるように誘導したり、
誘導の程度に軽重をつけたり、あるいは、そのような誘
導をしない、といった適応制御を行える。これにより、
探索の効率化を図ることができる。また、局所的な相似
に惑わされることなく、真の動きベクトルを見つ出せる
確率が高くなる。画像を符号化した場合の符号量の削減
効果も得ることができる。

【００３１】また、本発明の動きベクトル検出方法の第
７の態様では、着目するブロックの近くに位置する複数
のブロックの、各動きベクトルを候補ベクトルとし、そ
れらの候補ベクトルに基づき予測ベクトルを求める第１
のステップと、前記候補ベクトルのばらつきを判定する
第２のステップと、前記候補ベクトルのばらつき判定結
果に適応させて前記予測ベクトルの信頼性評価を変更す
ると共に、その予測ベクトルの信頼性評価を含めて前記
予測ベクトルの始点となるブロックと前記着目するブロ
ックとの間の相関度を判定する第３のステップと、この
第３のステップの相関度判定の結果を用いて前記予測ベ
クトルの始点をone-at-a-time探索の探索始点とするか
否かを判定し、探索始点としない場合には他の探索始点
となるブロックを特定する第４のステップと、この第４
のステップで特定されたブロックを探索始点としてone-
at-a-time探索を行って動きベクトルを検出する第５の
ステップと、を含み、前記第４のステップでは、決定さ
れた探索開始点が前記予測ベクトルの始点である場合
に、その予測ベクトルの始点の近辺のブロックについ
て、前記第２のステップにおける予測ベクトルの信頼性
評価に適応して変化する調整値を割り当て、その割り当
てられた調整値を含めてone-at-a-time探索におけるブ
ロック間の相関度判定を行う。

【００３２】着目するブロックの周辺に位置するブロッ
クの動きベクトルの相関を考慮して、動きベクトルの検
出に関して２段階の適応制御を行うことにより、簡易な
方法でもって、的確かつ効率的な動きベクトルの検出を
行うことができる。

【００３３】また、本発明の動画像の予測符号化装置の
一態様は、すでに取得されている複数の動きベクトルか
ら予測ベクトルを求める予測ベクトル取得手段と、前記
予測ベクトルの信頼性評価を前記複数の動きベクトルの
ばらつきの程度に応じて適応的に変化させ、前記信頼性
評価を含めた判定によって探索の開始点を決定する探索
始点決定手段と、決定された探索始点から探索を開始し
て注目するブロックの動きベクトルを検出する動きベク
トル探索手段と、を有する。

【００３４】これにより、ブロック単位で動き補償を行
う場合でも、良質な画像の再現性を確保し、かつ符号量
の削減を実現できる動画像符号化装置を得ることができ
る。

【００３５】以下、本発明の実施の形態について図面を
参照して、具体的に説明する。

【００３６】（実施の形態１）図１は、本実施の形態に
かかる動画像符号化装置のブロック図である。図示され
るように、この装置は、探索始点検出手段１０と、動き
ベクトル探索手段２１（周辺ブロック重み付け部２２，
動きベクトル探索部２３を含む）と、動き補償部２４
と、離散コサイン変換部２５と、を有している。

【００３７】探索始点検出手段１０は、候補ベクトルの
座標値を記憶している候補ベクトル１１と、候補ベクト
ルのばらつき判定部１２と、重み付け判定部１３と、予
測ベクトル決定部１４と、予測ベクトルの始点との間の
相関値算出部１５（絶対差分和演算部１６と重み係数減
算部１７とを含む）と、ゼロベクトル位置の座標を記憶
しているゼロベクトルバッファ１８と、絶対差分和算出
部１９と、探索始点判定部２０と、を有している。

【００３８】以下、各部の動作（役割）を順に説明す
る。

【００３９】候補ベクトルバッファ１１に格納されてい
る「候補ベクトル」の例が、図２（ａ）〜（ｄ）に示さ
れる。すなわち、着目するブロックの動きベクトル（Ｍ
Ｖ）を得るに際して参照される、３つの周辺ブロックに
ついての動きベクトル（ＭＶ１〜ＭＶ３）が「候補ベク
トル」である。

【００４０】ここで、ＭＶ１＝（１０，１０），ＭＶ２
＝（２５，２９），ＭＶ３＝（１３，３１）とする。図
１の予測ベクトル決定部１４では、候補ベクトルの中
の、Ｘ成分の中間値とＹ成分の中間値を、予測ベクトル
の座標値とする。つまり、予測ベクトルＶＳ＝（１３，
２９）となる。なお、中間値の他、平均をとって予測ベ
クトルの座標値とすることもできる。

【００４１】候補ベクトルばらつき判定部１２は、３つ
の候補ベクトル（ＭＶ１〜ＭＶ３）のばらつきを判定す
る。本実施の形態では、候補ベクトルのばらつきは、候
補ベクトルの中のＸ成分の最大値と最小値の差分の絶対
値と、Ｙ成分の最大値と最小値の差分の絶対値との加算
値の大きさによって判定する。

【００４２】図３（ａ），（ｂ）に、候補ベクトルのば
らつきの一例を示す。図３（ａ）の場合、３つの候補ベ
クトルＭＶ１〜ＭＶ３は、前フレームのほぼ同じ領域か
ら来ているので、注目するブロック（図中、斜線が施さ
れている）の予測ベクトルＶＳ（図中、点線の矢印で示
されている）は、かなり信頼性が高いものと推定でき
る。なお、図中，参照符号Ｂ１〜Ｂ３は前フレームの対
応するブロックを示している。

【００４３】これに対し、図３（ｂ）の場合、３つの候
補ベクトルＭＶ１〜ＭＶ３の方向は、図３（ａ）に比べ
て、かなりばらついており、予測ベクトルＶＳの信頼性
は、それほど高くないと推定される。なお、図中，参照
符号Ｂ４〜Ｂ７は前フレームの対応するブロックを示し
ている。

【００４４】そこで、本実施の形態では、図３（ａ）の
ように、予測ベクトルの信頼性が高いと推定される場合
には、その予測ベクトルの始点がone-at-a-time探索の
開始点となりやすいように大きな重み付けをし、一方、
図３（ｂ）のように、予測ベクトルの信頼性が低いと推
定される場合には、重み付けを軽くするという適応的
（動的）な重み付け制御を行う。

【００４５】このような重み付けは重み付け判定部１３
が行う。重み付け制御の具体例が図４に示される。

【００４６】図４の場合、候補ベクトルのＸ成分の最大
値ＭＡＸＸと最小値ＭＩＮＸの絶対差分と、Ｙ成分の最
大値ＭＡＸＹと最小値ＭＩＮＹの絶対差分の加算値を３
つのクラスに区分けし、各クラスに応じて重み付け値
（以下、「重み係数」という）を動的に変更する。図示
されるように、絶対差分和が小さいほど、重み係数が大
きく設定されている。つまり、「絶対差分和が小さい」
ということは、「候補ベクトルのばらつきが小さく、そ
の信頼性が高い」ということであり、この場合は、大き
な重み係数が与えられるということである。

【００４７】候補ベクトルのばらつき判定の他の例を図
５に示す。図５では、候補ベクトルのＸ成分の分散Ｖａ
ｒ（Ｘ）とＹ成分の分散Ｖａｒ（Ｙ）の加算値をばらつ
き判定の指標として用いる。Ｘ，Ｙ各成分の分散は、下
記（３）式，（４）式により算出される。また、（３）
式，（４）式中のＥ（Ｘ），Ｅ（Ｙ）は、下記（１）式
および（２）式により与えられる。各成分の分散を求め
る方法を採用すると、候補ベクトルのばらつきを、より
正確に判定することができる。

【００４８】

【数１】ここで、上述の「重み係数」は、ブロック間の相関評価
の際に、所定の関数を用いてブロック間の相関値を求め
た後に、その相関値から「減算される値」となる。

【００４９】すなわち、ブロック間の相関評価を行う場
合には、まず、着目する現フレームのブロック（例えば
８×８画素）と前フレームにおける特定のブロック（例
えば８×８画素）との間の相関度Ｄが、次式で計算され
る。

【００５０】Ｄ＝Σｆ（ａ）：但し、ａは対応する画素
間の差分値である。

【００５１】ここで、ｆは相似度を評価する関数であ
り、相似度が高いほど小さな値をとる関数である。この
ような関数としては、例えば、差分の絶対値を計算する
関数や、差分の２乗を計算する関数がある。本実施の形
態では、絶対値差分をとる関数を用いる。但し、これに
限定されるものではなく、２乗誤差などの評価関数を用
いてもよい。

【００５２】このようにして求められた相関値Ｄから
「重み係数」を減算して得られる値が、本実施の形態で
相関度評価の指標となる真の相関値となる。

【００５３】予測ベクトルの始点となる前フレームのブ
ロックと現フレームの着目するブロックとの間の相関値
Ｄの算出は、図１の絶対差分和算出部１６により行わ
れ、重み係数の減算は、減算回路１７で行われる。

【００５４】図１の絶対差分和算出部１９は、重み係数
を考慮することなく、着目するブロックと同位置にある
前フレームのブロック（つまり、ゼロベクトル位置のブ
ロック）の画素の輝度値の絶対差分和をとる。

【００５５】探索始点判定部２０は、着目ブロックとゼ
ロベクトル位置のブロックとの相関値と、着目ブロック
と予測ベクトルの始点のブロックとの相関値とを比較し
てどちらが小さいかを判定する。つまり、どちらが相関
が高いかを判定し、相関が高い方をone-at-a-time探索
の探索始点とする。

【００５６】この場合、予測ベクトルの始点となるブロ
ックについては、上述のとおり適応的な重み付けがさ
れ、予測ベクトルの信頼性が高いのであれば、大きく重
み付けされて、それだけ相関値の値が小さくなるように
加工されている。つまり、予測ベクトルの始点がone-at
-a-time探索の始点とされる可能性が高められている。
したがって、偶然、着目するブロックとゼロベクトル位
置のブロックとの相似度が高かったとしても、誤ってゼ
ロベクトル位置のブロックをone-at-a-time探索の開始
点として選択する確率は低い。これにより、効率的かつ
的確な探索が確保されることになる。

【００５７】以上説明した、図１の探索始点検出手段１
０の動作手順をまとめると図６のようになる。すなわ
ち、着目するブロックの近辺に位置する複数のブロック
の動きベクトルを候補ベクトルとし、例えば、その複数
の候補ベクトルのＸ，Ｙ各成分の中間値をもつベクトル
を予測ベクトルとする（ステップ３０）。続いて、分散
値を算出する等して候補ベクトルのばらつきを判定し
（ステップ３１）、ばらつきの程度を、例えば３つにク
ラス分けして（ステップ３２）、ばらつきが小さいほど
大きな重み係数（調整値）を与える（ステップ３３〜３
５）。

【００５８】次に、着目するブロックと予測ベクトルの
始点のブロックについて、対応する画素の絶対差分和を
とり、さらに重み係数を減算し、その結果を「ＷＡ」と
する（ステップ３６）。一方、ゼロベクトル位置のブロ
ックとの間で、同様に、対応する画素の絶対差分和をと
り、その結果を「ＷＢ」とする（ステップ３７）。そし
て、「ＷＡ」と「ＷＢ」との大小を判定し（ステップ３
８）、ＷＡの方が小さい場合には予測ベクトルの始点と
なるブロックをone-at-a-time探索を開始するブロック
とし（ステップ３９）、ＷＢの方が大きい場合には、ゼ
ロベクトルの始点ブロックを探索開始ブロックとする
（ステップ４０）。

【００５９】（実施の形態２）本実施の形態では、実施
の形態１の手順により探索始点を決定した結果として予
測ベクトルの始点が探索始点となった場合、図１の周辺
ブロック重み付け部２２は、重み係数の大きさの程度に
応じてその探索始点ブロックの周囲のブロックに重み係
数を割り当てる。

【００６０】これにより、one-at-a-time探索を意図的
に誘導すると共に、その誘導の程度を探索始点の信頼性
に応じて適応的に変化させることにより、信頼度が高い
場合には、少ない探索回数で動きベクトルを検出できる
ようになる。

【００６１】以下、図７（ａ），（ｂ）を用いて具体的
に説明する。図７（ａ）において、ブロック「ＱＢ」は
ゼロベクトル位置のブロックであり、ブロック「ＲＢ」
は予測ベクトルの始点となるブロックである。前述のよ
うに、ブロック「ＱＢ」については重み係数（調整値）
はゼロである。また、ブロック「ＲＢ」についての重み
係数（調整値）は「５０」であり、かなり信頼性が高い
ものである。そして、前掲の実施の形態の手順に従った
判定の結果、ブロック「ＲＢ」が探索始点として選定さ
れたとすると、次に、図７（ｂ）に示すように、ブロッ
ク「ＲＢ」の周囲の各ブロックに重み係数を割り当て
る。

【００６２】図示されるように、ブロック「ＲＢ」の左
右上下の隣接ブロックには重み係数「２０」が割り当て
られ、さらに、この「２０」が割り当てられたブロック
の左右上下のブロックには重み係数「１５」が割り当て
られている。つまり、左右上下については、ブロック
「ＲＢ」から離れるにつれて重み係数が小さくなってい
る。また、ブロック「ＲＢ」の斜め上，斜め下のブロッ
クには重み係数「１０」が割り当てられている。斜め
上，斜め下の重み係数が小さいのは、差分符号化の際の
符号量の抑制を考慮したためである。

【００６３】このような周囲ブロックへの重み係数の割
り当てによって、ブロック「ＲＢ」の近辺でone-at-a-t
ime探索が終了する可能性が高まり、効率的な探索が実
現する。つまり、ブロック「ＲＢ」の信頼性が高いので
あるから、そのブロックから遠く離れた地点までの探索
は不要なのであり、探索を早く決着させることで高速な
探索ができるのである。

【００６４】図８（ａ）〜（ｃ）に、予測ベクトルの始
点ブロックの重み係数に応じた、周囲ブロックへの重み
係数の適応的割り当ての例を示す。図８（ａ）は重み係
数がが「５０」の場合（図７（ｂ）と同じ）であり、図
８（ｂ）は、重み係数が「３０」の場合であり、図８
（ｃ）は重み係数が「２０」の場合を示す。

【００６５】重み係数が小さくなるほど、探索始点ブロ
ック「ＲＢ」の信頼性が低くなるので、それに応じて、
周囲ブロックに割り当てる重み係数値も小さくなってい
る。これにより、効率的な探索を行わせる一方で、より
遠くまで探索する可能性を大きくして信頼性の低下を防
止している。なお、探索始点のブロックの信頼性が低い
場合は、周囲ブロックへの重み付けをまったくしない制
御を行ってもよいのはもちろんである。

【００６６】このような、周辺ブロックへの割り当て制
御の後に、図１の動きベクトル探索部２３がone-at-a-t
ime探索を開始し、探索の結果得られた動きベクトルの
座標を記憶する。one-at-a-time探索の詳細について
は、後述する。

【００６７】続いて、図１の動き補償部２４は、現フレ
ームの着目ブロックと、前フレームの動きベクトルの始
点ブロックとの差分を算出すると共に、動きベクトルと
予測ベクトルとの差分を算出してハフマン符号化する。
このとき、動きベクトルの検出精度が高められているた
め、従来よりも、予測ベクトルとの差分量を小さくする
ことができる。MPEG-4などでは、差分量が小さいほど符
号量を少なく割り当てるようにハフマン符号化されるた
め、結果的に符号量が抑制されることになる。

【００６８】そして、最後に、図１の離散コサイン変換
部２５が離散コサイン変換（ＤＣＴ）を行って予測差分
を符号化する。

【００６９】以上の動作のうち、動きベクトルの検出に
至るまでの特徴的な動作の手順をまとめると図９のよう
になる。

【００７０】すなわち、探索始点のブロックがゼロベク
トル位置のブロックであるか、あるいは予測ベクトルの
始点のブロックであるかを判定する（ステップ４1）。
そして、予測ベクトルの始点のブロックである場合には
その重み係数をクラス分けし、重み係数が大きくて探索
始点としての信頼性が高い場合ほど周辺のブロックに大
きな重み係数を割り当てる（ステップ４３〜４５）。そ
して、one-at-a-time探索を行い（ステップ４６）、検
出された動きベクトルを格納する（ステップ４７）。

【００７１】次に、one-at-a-time探索について説明す
る。まず、図１０を用いて、本実施の形態の説明におい
て採用するブロックマッチングの標記法について説明す
る。

【００７２】図１０（ａ）の上側に示されるのは１つ前
のフレーム１００であり、下側に示されるのは現フレー
ム２００である。ここで、図１０（ａ）の下側に太線で
示されるブロック（ＢＬＫ１）に着目する。このブロッ
ク（ＢＬＫ１）は４つの画素（ｂ２，ｃ２，ｆ２，ｄ
２）を含む。

【００７３】なお、この４つの画素のうちで、左上にあ
る画素（ｂ２）の座標を（ｉ，ｊ）とし、この画素（ｂ
２）の座標がブロック（ＢＬＫ１）の座標を代表するも
のとする。また、「ｂ２，ｃ２，ｆ２，ｄ２」は４つの
画素の参照符号であると共に、各画素の輝度値も表すも
のとする。以上の標記の規則は、他のブロックや画素に
ついても同様に適用される。

【００７４】ここで、着目するブロック（ＢＬＫ１）
が、前フレーム１００のどの位置から来たのかを判定す
る場合を考える。

【００７５】仮に、同じ位置（ｉ，ｊ）にあるブロック
（ＢＬＫ２）が、ブロック（ＢＬＫ１）に対応するブロ
ックであるとすると、太い矢印で示されるベクトル１２
０が求める動きベクトルとなる。この場合、シフト量が
ゼロなので、動きベクトルｖ＝（０，０）となる。すな
わち、前フレームと現フレームとの間で動きがない場合
は動きベクトルはゼロベクトルとなる。

【００７６】同様に、右に１画素分シフトした位置（ｉ
＋１，ｊ）にあるブロック（ＢＬＫ３）が対応するブロ
ックならば、ベクトル１１０が動きベクトルとなり、左
に１画素分シフトした位置（ｉ−１，ｊ）にあるブロッ
ク（ＢＬＫ４）が対応するブロックである場合には、ベ
クトル１３０が動きベクトルとなる。

【００７７】着目するブロックに対応した前フレームに
おけるブロックは、所定の探索範囲内でブロック間の相
似度（Ｄ）を次式で計算し、最も高い相似度を示すブロ
ックを調べることによって特定される。

【００７８】Ｄ＝Σｆ（ａ）：但し、ａは対応する画素
間の差分値ここで、ｆは相似度を評価する関数であり、
相似度が高いほど小さな値をとる関数である。このよう
な関数としては、例えば、差分の絶対値を計算する関数
や、差分の２乗を計算する関数がある。本実施の形態で
は、絶対値差分をとる関数を用いる。

【００７９】図１０（ｂ）は、ブロック間の相似度の判
定（ブロックマッチング）に関して、本明細書における
平面的な標記法の例が示される。

【００８０】図１０（ｂ）において、「Ｍ１」は第１回
目のマッチング判定を意味する。すなわち、着目するブ
ロック（図５（ａ）のＢＬＫ１）と同じ位置（ｉ，ｊ）
にある前フレームのブロック（図５（ａ）のＢＬＫ２）
との間で、第１回目のマッチング判定を行うという意味
である。

【００８１】同様に、「Ｍ２」は第２回目のブロックマ
ッチング判定を表す。この第２回目の判定は、（ｉ−
１，ｊ）および（ｉ＋１，ｊ）の位置にある前フレーム
の２つのブロック（図５（ａ）のＢＬＫ４，ＢＬＫ３）
との間で併行して実行される。

【００８２】ブロック間のマッチング（相似度）は、上
述のとおり、各ブロックの対応する画素間の輝度値の絶
対値差分を加算することにより求められる。図５（ｂ）
の下側には、（ｉ−１，ｊ）の位置にあるブロック（Ｂ
ＬＫ４）との間で相似度を求める場合の計算式が示され
ている。

【００８３】図１０（ｂ）において、参照番号１１０お
よび１３０は、図１０（ａ）に示した動きベクトルであ
る。動きベクトル１２０はゼロベクトルであるため、図
１０（ｂ）の平面的な標記の場合には、記載されない。
以上がブロックマッチングの平面的な標記法についての
説明である。

【００８４】次に、図１１を用いてone-at-a-time探索
の概要を説明する。one-at-a-time探索は、探索範囲を
限定して、１ブロック毎に探索を進めていく方法であ
る。

【００８５】図１１に示すように、one-at-a-time探索
では、まず、Ｘ方向（水平方向）に１ブロック毎に探索
を進め、続いて、Ｙ方向（垂直方向）に１ブロック毎に
探索を進めていく。

【００８６】最初に、（ｉ，ｊ）の位置にある前フレー
ムのブロックとの間の相似度（絶対差分の和）を検出す
る（マッチング判定Ｍ１）。続いて、左右の隣接ブロッ
ク（（ｉ−１，ｊ）および（ｉ＋１，ｊ）の位置にある
ブロック）との間の相似度を検出する（マッチング判定
Ｍ２）。ここで、マッチング判定Ｍ１の結果が最小であ
る場合には、前フレームと現フレームとの間で動きがな
いものと判断して、動きベクトルはゼロベクトルとな
る。

【００８７】一方、左右の隣接ブロックのどちらかにお
いて絶対差分の和が最小となった場合、その最小値が得
られたブロックの側に動きベクトルの始点となるブロッ
クがあるものと推定する。例えば、右側のブロック（す
なわち、（ｉ＋１，ｊ）の位置にあるブロック）が最小
値を示した場合、右側の方向に動きベクトルの始点とな
るブロックが存在すると推定する。そして、続いて、隣
接する右側のブロックについて同様に絶対差分の和を計
算する。

【００８８】このような水平方向（Ｘ方向）のベクトル
探索は、以下のまたはの条件が満たされるときに終
了する。算出した絶対差分の和が、前回の絶対値差分の和より
も大きくなる。所定の探索範囲の外となる。

【００８９】図１１では、探索範囲内で、マッチング判
定Ｍ３，マッチング判定Ｍ４と相似度の判定を進めてき
た結果、マッチング判定Ｍ４の結果がＭ３の結果よりも
大きくなり、したがって、このマッチング判定Ｍ３の対
象となった（ｉ＋２，ｊ）の位置のブロックが水平方向
のベクトル探索の結果として出力される。

【００９０】続いて、（ｉ＋２，ｊ）の位置にあるブロ
ックを始点として、垂直方向のベクトル探索を行う。垂
直方向のベクトル探索の方法は、水平方向のベクトル探
索方法と同じである。

【００９１】すなわち、始点となるブロックに隣接する
上下のブロック（（ｉ＋２，ｊ＋１），（ｉ＋２，ｊ−
１）の各位置にあるブロック）について、５回目のマッ
チング判定Ｍ５を行う。ここで、マッチング判定Ｍ３の
結果が最小値である場合は、このＭ３に対応した（ｉ＋
２，ｊ）の位置のブロックが、求める動きベクトルの始
点となるブロックとして検出される。

【００９２】一方、隣接する上下のブロックのいずれか
が最小値を示せば、そのブロックの方向に動きベクトル
の始点となるブロックがあると推定する。図６では、
（ｉ＋２，ｊ＋１）の位置にあるブロックが最小値を示
したため、上側に向かってベクトル探索を進める。

【００９３】すなわち、探索範囲内において、マッチン
グ判定Ｍ６，Ｍ７を行った結果、マッチング判定Ｍ７の
結果（絶対差分の和）がマッチング判定Ｍ６の結果より
も大きくなったので、Ｍ６に対応した、（ｉ＋２，ｊ＋
２）の位置にあるブロックが、求める動きベクトルの始
点を示すブロックとして検出される。したがって、図６
中で太線で示されるような、動きベクトル「ＶＡ」が検
出されたことになる。以上がone-at-a-time探索の概要
である。

【００９４】このように、one-at-a-time探索は、１回
にブロック１個の単位で探索を進めていく方法であるの
で、探索始点の近傍に真の動きベクトルの始点がある場
合に特に有効な手法である。本発明では、探索始点の信
頼性が高い場合には、その近辺で探索が終了し易いよう
に意図的な操作を行うので、偶然の状況によって、異な
る探索始点（真の動きベクトルの始点から遠いブロッ
ク）から探索を開始してしまうという不都合が確実に防
止される。これにより効率的な探索を行える。また、探
索始点の近辺で探索が終了されやすいような制御がなさ
れるので、検出された動きベクトルと予測ベクトルとの
差分が小さくなって、動きベクトルを差分符号化した場
合の符号量の減少を図ることもできる。

【００９５】なお、以上の説明では、着目するブロック
の動きベクトルの探索方法として、one-at-a-time探索
を採用した場合について説明したが、これに限定される
ものではなく、着目するブロック以外の複数のブロック
の動きベクトルを参照することによって、その着目する
ブロックに関する動きベクトルの予測を行う方法であれ
ば、本発明は適用可能である。例えば、高速探索アルゴ
リズムとして、三段探索を用いる場合や、これに類似の
階層型動き推定を行うような場合等にも、本発明を適用
することができる。

【００９６】

【発明の効果】以上説明したように本発明によれば、複
数の候補ベクトルのばらつきが少ない場合（つまり、予
測ベクトルの始点ブロックの、探索始点としての信頼性
が高い場合）には、比較的近い位置に真の動きベクトル
の始点があると推定し、予測ベクトルの始点位置が探索
の始点となりやすいように適応制御することにより、ふ
さわしい探索始点を確実に選択することができ、その結
果として探索回数を削減できる。また、動きベクトルと
予測ベクトルとの差分を示すベクトルが小さくなりやす
いので、動きベクトル自体の差分符号量を削減できると
いう効果がある。また、探索始点の近辺に位置するブロ
ックについて適応的に重み係数を割り当てることによ
り、探索を効率的に終了させることもできる。

【図面の簡単な説明】

【図１】本発明の動きベクトル検出装置（探索始点検出
手段を含む）の一例の構成を示すブロック図

【図２】（ａ）予測ベクトルの候補となるベクトルの選
択の一例を示す図（ｂ）予測ベクトルの候補となるベクトルの選択の他の
例を示す図（ｃ）予測ベクトルの候補となるベクトルの選択の他の
例を示す図（ｄ）予測ベクトルの候補となるベクトルの選択の他の
例を示す図

【図３】（ａ）候補ベクトルのばらつきが比較的大きい
場合を示す図（ｂ）候補ベクトルのばらつきが比較的小さい場合を示
す図

【図４】候補ベクトルのばらつきを判定法および判定値
のクラス分けに応じた重み係数の選択の一例を示す図

【図５】候補ベクトルのばらつきを判定法および判定値
のクラス分けに応じた重み係数の選択の他の例を示す図

【図６】探索始点の決定手順および重み係数の動的変更
手順を示すフロー図

【図７】（ａ）ゼロベクトル位置のブロック（重み係数
なし）と候補ベクトルの始点ブロック（重み係数５０）
との位置関係を示す図（ｂ）候補ベクトルの始点ブロックの周辺ブロックに重
み係数を割り当てた状態を示す図

【図８】（ａ）候補ベクトルの始点ブロックの周辺のブ
ロックに、適応的に重み係数を割り当てた状態の一例を
示す図（ｂ）候補ベクトルの始点ブロックの周辺のブロック
に、適応的に重み係数を割り当てた状態の他の例を示す
図（ｃ）候補ベクトルの始点ブロックの周辺のブロック
に、適応的に重み係数を割り当てた状態のさらに他の例
を示す図

【図９】候補ベクトルの始点ブロックの周辺のブロック
に、適応的に重み係数を割り当てるための手順を示すフ
ロー図

【図１０】（ａ）ブロックマッチングを用いた動きベク
トルの検出方法を説明するための図（ｂ）動きベクトルの検出方法の、平面的な標記法を説
明するための図

【図１１】one-at-a-time探索法の概要を説明するため
の図

【図１２】（ａ）動き補償付きフレーム間予測符号化を
行うための構成を示すブロック図（ｂ）動き予測を行わない場合の符号化するべき情報量
を示す図（ｃ）動き予測を行う場合の符号化するべき情報量を示
す図

【符号の説明】

１０探索始点検出手段１１候補ベクトルバッファ１２候補ベクトルばらつき判定部１３重み付け判定部１４予測ベクトル決定部１５相関算出部１６絶対差分和検出部１７重み係数減算部１８ゼロベクトルバッファ１９絶対差分和算出部２０検索始点判定部２１動きベクトル検出部２２周辺ブロック重み付け部２３動きベクトル探索部２４動き補償部２５離散コサイン変換部

Claims

【特許請求の範囲】

【請求項１】すでに取得されている複数の動きベクト
ルから予測ベクトルを求め、その予測ベクトルの始点
を、動きベクトル探索の開始点の候補とするステップ
と、前記予測ベクトルの信頼性評価を、前記複数の動き
ベクトルのばらつきの程度に応じて適応的に変化させる
ステップと、前記予測ベクトルの信頼性評価を含めた判
定によって探索の開始点を決定するステップと、決定さ
れた探索開始点から探索を開始して注目するブロックの
動きベクトルを検出するステップと、を含むことを特徴
とする動きベクトルの検出方法。
【請求項２】すでに取得されている複数の動きベクト
ルから予測ベクトルを求め、その予測ベクトルの始点を
探索の開始点の候補とするステップと、前記予測ベクト
ルの信頼性評価を、前記複数の動きベクトルのばらつき
の程度に応じて適応的に変化させるステップと、前記予
測ベクトルの信頼性評価を含めた判定によって探索の開
始点を決定するステップと、決定された探索開始点から
探索を開始して注目するブロックの動きベクトルを検出
するステップと、検出された動きベクトルを用いて前記
注目するブロックを差分符号化するステップと、前記検
出された動きベクトルと前記予測ベクトルとの差分を符
号化するステップと、を含むことを特徴とする画像符号
化方法。
【請求項３】複数画素からなるブロック毎に、one-at
-a-time探索により動きベクトルを検出する方法であっ
て、着目するブロックの近くに位置する複数のブロックの、
各動きベクトルを候補ベクトルとし、それらの候補ベク
トルに基づき予測ベクトルを求める第１のステップと、前記候補ベクトルのばらつきを判定する第２のステップ
と、前記候補ベクトルのばらつき判定結果に適応させて前記
予測ベクトルの信頼性評価を変更すると共に、その予測
ベクトルの信頼性評価を含めて前記予測ベクトルの始点
となるブロックと前記着目するブロックとの間の相関度
を判定する第３のステップと、この第３のステップの相関度判定の結果を用いて前記予
測ベクトルの始点をone-at-a-time探索の探索始点とす
るか否かを判定し、探索始点としない場合には他の探索
始点となるブロックを特定する第４のステップと、この第４のステップで特定されたブロックを探索始点と
してone-at-a-time探索を行って動きベクトルを検出す
る第５のステップと、を含むことを特徴とする動きベク
トル検出方法。
【請求項４】前記第３のステップは、所定の関数を用
いた演算により両ブロックの相関値を求めるステップ
と、前記第２のステップにおける候補ベクトルのばらつ
き判定結果に適応して変化する調整値を用いて前記相関
値を調整するステップと、を含むことを特徴とする請求
項３記載の動きベクトル検出方法。
【請求項５】前記第２のステップにおける複数の候補
ベクトルのばらつき判定は、前記複数の候補ベクトルに
おけるＸ成分の最大値と最小値の絶対差分値と、Ｙ成分
の最大値と最小値との絶対差分値との加算値を指標とし
て行われることを特徴とする請求項３または請求項４記
載の動きベクトル検出方法。
【請求項６】前記第２のステップにおける複数の候補
ベクトルのばらつき判定は、前記複数の候補ベクトルの
分散値を指標として行われることを特徴とする請求項３
または請求項４記載の動きベクトル検出方法。
【請求項７】すでに取得されている複数の動きベクト
ルから予測ベクトルを求め、その予測ベクトルの始点を
one-at-a-time探索の開始点の候補とする第１のステッ
プと、前記予測ベクトルの信頼性評価を、前記複数の動
きベクトルのばらつきの程度に応じて適応的に変化させ
る第２のステップと、前記予測ベクトルの信頼性評価を
含めた判定によってone-at-a-time探索の開始点を決定
する第３のステップと、決定された探索開始点からone-
at-a-time探索を開始して注目するブロックの動きベク
トルを検出する第４のステップと、を含み、前記第４のステップでは、決定された探索開始点が前記
予測ベクトルの始点である場合に、その予測ベクトルの
始点の近辺のブロックについて、前記第２のステップに
おける予測ベクトルの信頼性評価に適応して変化する調
整値を割り当て、その割り当てられた調整値を含めてon
e-at-a-time探索におけるブロック間の相関度判定を行
うことを特徴とする動きベクトル検出方法。
【請求項８】請求項７記載の動きベクトル検出方法に
より検出された動きベクトルを用いて、注目するブロッ
クを差分符号化するステップと、前記検出された動きベ
クトルと前記予測ベクトルとの差分を符号化するステッ
プと、を含むことを特徴とする画像符号化方法。
【請求項９】複数画素からなるブロック毎に、one-at
-a-time探索により動きベクトルを検出する方法であっ
て、着目するブロックの近くに位置する複数のブロックの、
各動きベクトルを候補ベクトルとし、それらの候補ベク
トルに基づき予測ベクトルを求める第１のステップと、前記候補ベクトルのばらつきを判定する第２のステップ
と、前記候補ベクトルのばらつき判定結果に適応させて前記
予測ベクトルの信頼性評価を変更すると共に、その予測
ベクトルの信頼性評価を含めて前記予測ベクトルの始点
となるブロックと前記着目するブロックとの間の相関度
を判定する第３のステップと、この第３のステップの相関度判定の結果を用いて前記予
測ベクトルの始点をone-at-a-time探索の探索始点とす
るか否かを判定し、探索始点としない場合には他の探索
始点となるブロックを特定する第４のステップと、この第４のステップで特定されたブロックを探索始点と
してone-at-a-time探索を行って動きベクトルを検出す
る第５のステップと、を含み、前記第４のステップでは、決定された探索開始点が前記
予測ベクトルの始点である場合に、その予測ベクトルの
始点の近辺のブロックについて、前記第２のステップに
おける予測ベクトルの信頼性評価に適応して変化する調
整値を割り当て、その割り当てられた調整値を含めてon
e-at-a-time探索におけるブロック間の相関度判定を行
うことを特徴とする動きベクトル検出方法。
【請求項１０】動画像の予測符号化装置において、す
でに取得されている複数の動きベクトルから予測ベクト
ルを求める予測ベクトル取得手段と、前記予測ベクトル
の信頼性評価を前記複数の動きベクトルのばらつきの程
度に応じて適応的に変化させ、前記信頼性評価を含めた
判定によって、探索の開始点を決定する探索始点決定手
段と、決定された探索始点から探索を開始して注目する
ブロックの動きベクトルを検出する動きベクトル探索手
段と、を有することを特徴とする動画像の予測符号化装
置。