JP2001169288A - 動きベクトル探索装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 直前までの符号化画像に対して動きが不連続
となる画像においても、精度の良い動きベクトル探索を
行うことができる動きベクトル探索装置および方法を実
現する。 【解決手段】 大域動くベクトル探索部４は、入力画像
と原画像フレームメモリ３に保持される１フレーム前の
入力画像であるＮＲ参照画像との同位置の画素間の差分
を評価することによって、大域動きベクトルを探索す
る。この大域動きベクトル探索結果から、ＣＰＵ１は、
動きベクトルの探索範囲を決定して動き探索部６に設定
する。動き探索部６は、このＣＰＵ１によって設定され
た動きベクトル探索範囲内において、フレームメモリ８
に保持される符号化画像と同じくフレームメモリ８に保
持される過去に符号化した参照画像とから動きベクトル
を探索して求める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像を圧縮して
符号化する動画像符号化装置に係り、特に動きベクトル
探索に用いて好適な動きベクトル探索装置および方法に
関する。

【０００２】

【従来の技術】動画像の情報量を圧縮して符号化する動
画像符号化技術は、ＴＶ電話やＴＶ会議など伝送を目的
としたものから、ディジタルビデオなどの記録・蓄積用
のものまで広く実用化されている。先ず、以下の記述に
おいて用いる「画像の動き」と「動きベクトル」とにつ
いて説明する。動画像においては、ある２枚の画像にお
いて、同じ物体を表現する複数の画素の位置が異なった
場合に、その物体の動きがモニタ等の画面上にて認識さ
れる。この場合の物体の動きとは、カメラの被写体であ
る物体が実際に動いた場合と、物体は静止していてもカ
メラ自身が動くことによって、見かけ上その物体が動く
場合とがある。このように、画面上に映し出された複数
の画像において、物体の動きが表現される画素を含む画
像を「動きの有る画像」と定義し、また、複数の画像間
で表現される物体の動きそのものを「画像の動き」と定
義して以下を記述する。そして、物体の動きが大きい場
合には、「動きの大きい画像」、「画像の動きが大き
い」などと記述し、動きが小さい場合には、「動きの小
さい画像」、「画像の動きが小さい」などと記述する。
また、「動きベクトル」は、ある２枚の画像において、
この「画像の動き」の方向と動く量を示すベクトルであ
り、公知のものである。そして、動画像符号化技術にお
いて、動きベクトルを用いた動き補償フレーム間予測も
公知の技術である。

【０００３】従来の動きベクトル探索装置として、例え
ば信学技法ＩＣＤ９７−１６３「ＭＰＥＧ−２符号化Ｌ
ＳＩにおける履歴適応型動きベクトル探索とそのハード
ウェア実現」に記載の装置が知られている。図９は、こ
の従来の動きベクトル探索装置を用いた動画像符号化装
置２０の構成を示すブロック図である。この図におい
て、動画像符号化装置２０は、ＣＰＵ１、時間軸ノイズ
低減フィルタ（以下、ＮＲフィルタと称する）２、原画
像フレームメモリ３、マクロブロック符号化処理部（以
下、ＭＢ符号化処理部と称する）２１、およびフレーム
メモリ８から構成され、ＭＢ符号化処理部２１は、動き
探索部２２と符号化・後処理部７とから構成されてい
る。

【０００４】従来の動きベクトル探索は、ＣＰＵ１とＭ
Ｂ符号化処理部２１およびフレームメモリ８とによっ
て、下記の処理により行われている。先ず、フレームメ
モリ８に保持されたＮＲフィルタ２の出力が圧縮して符
号化される符号化画像として動き探索部２２へ入力され
る。次に、動き探索時に参照する参照画像がフレームメ
モリ８から動き探索部２２へ入力される。この参照画像
は、符号化・後処理部７が動き補償フレーム間予測など
によって画像情報を圧縮し符号化した符号化データを、
後で符号化する画像で参照するために同じく符号化・後
処理部７が復号し伸張した画像である。そして、動き探
索部２２とＣＰＵ１とは、入力された符号化画像と参照
画像とを符号化されるマクロブロック毎に比較すること
によって、画像の動き（動きベクトル）を探索し各マク
ロブロックの動きベクトルを求める。なお、この動きベ
クトル探索は、広い範囲で探索するほど大きな動きに追
従できるため、符号化する画像の画質を良くすることが
できるが、反面、膨大な演算量を要する。このため従来
より演算量を抑えることができる動きベクトル探索方法
が検討されており、この従来例では、過去の動きベクト
ルの履歴を利用して探索範囲の大きさと位置を適応的に
変えて行われる。なお、上述した図９に示される従来の
動画像符号化装置２０では、原画像フレームメモリ３と
フレームメモリ８とを各々別に設ける構成としたが、こ
れら原画像フレームメモリ３とフレームメモリ８とを一
つのフレームメモリで構成することは、従来技術として
通常行われている。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
た従来の動きベクトル探索装置において、動きベクトル
探索範囲は、過去の動きベクトルの履歴を利用して適応
的に変更されている。この過去の動きベクトルの履歴と
は、直前の符号化画像に対して求められた各マクロブロ
ックの動きベクトルの平均や最多頻度の動きベクトルの
ことである。そのために、画面上にて全体が一方向に動
き始める瞬間の画像や、それまでの動きが停止した瞬間
の画像など、直前までの符号化画像に対して動きが不連
続となる画像においては、過去の動きベクトルの履歴を
もとに求められた動きベクトル探索範囲が実際の符号化
画像の動きとは異なり、常に精度の良い動きベクトル探
索ができないという問題点がある。その結果、画質が劣
化し、これを参照画像として用いる後続の画像の画質も
劣化してしまう。本発明は、このような事情を考慮して
なされたもので、その目的は直前までの符号化画像に対
して動きが不連続となる画像においても、実際の符号化
画像の動きに合った動きベクトル探索範囲を求めて常に
精度の良い動きベクトル探索を行うことができる動きベ
クトル探索装置および方法を提供することにある。

【０００６】

【課題を解決するための手段】上記の課題を解決するた
めに、請求項１に記載の発明は、入力画像の第一の動き
ベクトルを求める動きベクトル探索装置において、前記
第一の動きベクトルを求める位置（ＭＢ符号化処理部
５）よりも上流の位置に、前記入力画像に対して１フレ
ーム前の前入力画像に含まれる画素と、該入力画像に含
まれる画素との差分を評価することによって、第二の動
きベクトルを探索する第二の動きベクトル探索手段と、
該第二の動きベクトル探索結果に基づいて前記第一の動
きベクトルの探索範囲を決定する動きベクトル探索範囲
決定手段とを具備してなるものである。なお、第一の動
きベクトルとは、符号化・後処理部７がマクロブロック
単位に画像を圧縮して符号化するために使用する動きベ
クトルのことである。また、第二の動きベクトルとは、
後述する大域動きベクトルのことである。請求項２に記
載の発明は、請求項１に記載の発明において、前記第二
の動きベクトル探索手段は、前記入力画像に対して１フ
レーム前の前入力画像に含まれる画素の一部と、該入力
画像に含まれる画素の一部との差分を評価することによ
って、前記第二の動きベクトルを探索することを特徴と
する。請求項３に記載の発明は、請求項１または請求項
２に記載の発明において、前記動きベクトル探索範囲決
定手段は、前記第二の動きベクトル探索結果に基づい
て、前記第一の動きベクトルの探索範囲の中心または形
状の少なくともいずれかを定めることを特徴とする。

【０００７】請求項４に記載の発明は、入力画像の第一
の動きベクトルを求める動きベクトル探索装置におい
て、前記第一の動きベクトルを求める位置（ＭＢ符号化
処理部５）よりも上流の位置に、前記入力画像に対して
１フレーム前の前入力画像に含まれる画素と、該入力画
像に含まれる画素との差分を評価することによって、第
二の動きベクトルを探索する第二の動きベクトル探索手
段と、前記符号化された画像と前記入力画像との間に挟
まれる中間入力画像が存在する場合には、該中間入力画
像に対する前記第二の動きベクトル探索結果と、該入力
画像に対する前記第二の動きベクトル探索結果とに基づ
いて、前記第一の動きベクトルの探索範囲を決定する動
きベクトル探索範囲決定手段とを具備してなるものであ
る。なお、第一の動きベクトルとは、符号化・後処理部
７がマクロブロック単位に画像を圧縮して符号化するた
めに使用する動きベクトルのことである。また、第二の
動きベクトルとは、後述する大域動きベクトルのことで
ある。請求項５に記載の発明は、請求項４に記載の発明
において、前記第二の動きベクトル探索手段は、前記入
力画像に対して１フレーム前の前入力画像に含まれる画
素の一部と、該入力画像に含まれる画素の一部との差分
を評価することによって、前記第二の動きベクトルを探
索することを特徴とする。請求項６に記載の発明は、請
求項４または請求項５に記載の発明において、前記動き
ベクトル探索範囲決定手段は、該中間入力画像に対する
前記第二の動きベクトル探索結果と、該入力画像に対す
る前記第二の動きベクトル探索結果とに基づいて、前記
第一の動きベクトルの探索範囲の中心または形状の少な
くともいずれかを定めることを特徴とする。

【０００８】請求項７に記載の発明は、請求項１乃至請
求項６のいずれかの項に記載の発明において、前記前入
力画像とは、前記第一の動きベクトルを求める位置より
も上流の位置に具備される時間軸ノイズ低減フィルタが
参照する画像（ＮＲ参照画像）であることを特徴とす
る。

【０００９】請求項８に記載の発明は、入力画像の第一
の動きベクトルを求める動きベクトル探索方法におい
て、前記第一の動きベクトルを求める位置よりも上流の
位置にて、前記入力画像に対して１フレーム前の前入力
画像に含まれる画素と、該入力画像に含まれる画素との
差分を評価することによって、第二の動きベクトルを探
索し、前記第二の動きベクトル探索結果に基づいて前記
第一の動きベクトルの探索範囲を決定することを特徴と
する。

【００１０】請求項９に記載の発明は、入力画像の第一
の動きベクトルを求める動きベクトル探索方法におい
て、前記第一の動きベクトルを求める位置よりも上流の
位置にて、前記入力画像に対して１フレーム前の前入力
画像に含まれる画素と、該入力画像に含まれる画素との
差分を評価することによって、第二の動きベクトルを探
索し、前記符号化された画像と該入力画像との間に挟ま
れる中間入力画像が存在する場合には、該中間入力画像
に対する前記第二の動きベクトル探索結果と、該入力画
像に対する前記第二の動きベクトル探索結果とに基づい
て、前記第一の動きベクトルの探索範囲を決定すること
を特徴とする。

【００１１】

【発明の実施の形態】以下、図面を参照し、本発明の一
実施形態について説明する。図１は本発明の一実施形態
による動画像符号化装置１０の構成を示すブロック図で
ある。この図において、１は動画像符号化装置１０の全
体の制御や画像圧縮等の演算を行うＣＰＵ（中央処理装
置）、２は入力画像に含まれる時間方向のノイズを減衰
させる時間軸ノイズ低減フィルタ（以下、ＮＲフィルタ
と称する）、３はＮＲフィルタ２が参照する１フレーム
前の入力画像（以下、ＮＲ参照画像と称する）を一時的
に保持する原画像フレームメモリである。そして、ＮＲ
フィルタ２の出力は圧縮符号化される対象の画像（以
下、符号化画像と称する）としてフレームメモリ８に保
持される。４は画面全体或いは複数のマクロブロックに
対する動きベクトルである大域動きベクトルを、入力画
像と原画像フレームメモリ３に保持されるＮＲ参照画像
とから探索する大域動きベクトル探索部である。そし
て、ＣＰＵ１は、この大域動きベクトル探索結果に合わ
せて動きベクトル探索範囲を決定する。

【００１２】そして、５はマクロブロック（以下、ＭＢ
と称することがある）単位に画像を圧縮して符号化する
ＭＢ符号化処理部であり、動き探索部６と符号化・後処
理部７とから構成される。動き探索部６は、ＣＰＵ１に
よって設定される動きベクトル探索範囲内において、フ
レームメモリ８に保持される符号化画像と同じくフレー
ムメモリ８に保持される過去に符号化した画像（以下、
参照画像と称する）とからマクロブロックの動きベクト
ルを探索して求める。そして、符号化・後処理部７は、
動き探索部６によって求められる動きベクトルを用いた
動き補償フレーム間予測などによってＭＢ画像データを
圧縮し、動きベクトル等のＭＢ情報信号と共に圧縮され
たＭＢ画像データを符号化する。また、符号化・後処理
部７は、その符号化データを復号し伸張して参照画像を
生成し、フレームメモリ８に保持する。このフレームメ
モリ８に保持された参照画像は、以降の符号化画像の各
種画像圧縮処理に用いられる。なお、図１において、Ｃ
ＰＵ１に接続される信号は動きベクトル探索に関する信
号のみを示している。

【００１３】図２は図１に示される大域動きベクトル探
索部４の構成を示すブロック図である。大域動きベクト
ル探索部４は大域動きベクトルの探索を、例えば水平・
垂直方向とも±１６画素範囲、８画素精度の粗い大域動
き探索精度にて行う。そのために、間引き部３１−１は
入力画像から大域動き探索に使用しない画素を間引き
し、この間引きされた画像を大域動きベクトル探索用の
探索画像Ｓ１としてメモリ３２−１に保持させる。な
お、必要で有れば間引きにより生じる折返し雑音を防ぐ
ために、この折返し雑音の原因となる高周波成分を減衰
させる低域通過フィルタを間引き部３１−１の上流に設
けても良い。同様に、間引き部３１−２は１フレーム前
の入力画像であるＮＲ参照画像から動き探索に使用しな
い画素を間引きし、大域動きベクトル探索にて参照する
探索参照画像Ｓ２としてメモリ３２−２に保持させる。
なお、同様に、必要で有れば間引きにより生じる折返し
雑音を防ぐために、この折返し雑音の原因となる高周波
成分を減衰させる低域通過フィルタを間引き部３１−２
の上流に設けても良い。また、大域動きベクトル発生部
３５はその探索精度に応じて、大域動き探索範囲内の全
ての大域動きベクトルを発生してその位置に対応した探
索参照画像をメモリ３２−２から読み出す。そして、評
価値算出部３３は各大域動きベクトルに対して、メモリ
３２−２から読み出された探索参照画像とメモリ３２−
１に保持される探索画像Ｓ１の同位置の画素との差分を
全画素分求め、これら差分の絶対値の総和をその大域動
きベクトルの評価値として評価値メモリ３４に保持させ
る。この評価値が小さいほど良い評価となり、大域動き
ベクトルと画像全体の動きが一致していることを示す。
なお、この大域動きベクトルの評価値には、上述した差
分絶対値和ではなく、差分２乗和を用いても良い。そし
て、ＣＰＵ１は、最も良い評価の大域動きベクトルを中
心に、評価値が良い他の大域動きベクトルを含む範囲で
あって、動きベクトル探索範囲全体に比して狭い範囲
を、符号化画像のマクロブロックの動きベクトル探索範
囲に決定して動き探索部６へ設定する。この設定された
動きベクトル探索範囲にて、例えば、１画素あるいは半
画素精度の細かい動きベクトル探索が行われる。

【００１４】なお、上述したように、評価値算出部３３
が画面内全画素の差分の総和から大域動きベクトルの評
価値を求めるのではなく、入力画像およびＮＲ参照画像
を複数の部分領域に分割して、各部分領域毎に大域動き
ベクトルの評価値を算出しても良い。さらに、分割され
た部分領域の内、例えば中央付近の領域をサンプルとし
て抽出し、その抽出された領域を部分領域の代表として
扱って大域動きベクトルの評価値を算出しても良い。こ
れらの場合、ＣＰＵ１は、各領域の大域動きベクトルの
評価値に基づいて、その領域に対する符号化画像のマク
ロブロックの動きベクトル探索範囲を決定する。その決
定方法としては、例えば各領域の大域動きベクトルの評
価値の内で最も評価の良い大域動きベクトルを中心に、
評価値が良い他の大域動きベクトルを含むようにする。
なお、部分領域毎に大域動きベクトルを評価する場合、
大域動きベクトル探索部４は、画面内の画像の動きが一
方向ではない場合には、画面全体の画像の動きよりもさ
らに細かい局所的な動きを探索する。そして、各マクロ
ブロックの動きベクトル探索範囲は、この部分領域毎に
求められた大域動きベクトルに合わせて、部分領域別に
細かく設定される。

【００１５】次に、図３〜図８を参照して、上述した実
施形態による符号化画像のマクロブロックの動きベクト
ル探索範囲を決定する動作について詳細に説明する。図
３はＮＲ参照画像の参照関係を示す図３（ａ）と符号化
画像の動き探索時の参照関係を示す図３（ｂ）、（ｃ）
である。図４〜図８は動きベクトル探索範囲を決定する
動作について説明するための図である。

【００１６】ここで、図３（ａ）〜（ｃ）にて示される
記号について説明する。これらの図の横軸は時間経過を
示し右方向に進む程に時間が経過している。また、１Ｔ
〜７Ｔは１〜７番目の入力フレームの各奇数フィールド
の入力画像を示し、１Ｂ〜７Ｂは１〜７番目の入力フレ
ームの各偶数フィールドの入力画像を示す。そして、図
３（ｂ）、（ｃ）にて示される記号Ｍ，Ｉ，Ｐ，Ｂは圧
縮符号化に関係するものである。符号化にはフレーム構
造とフィールド構造の場合があるが、ここではフレーム
構造の場合を例にして説明する。ＭＢ符号化処理部５に
よって行われる圧縮符号化は、符号化画像をフレーム単
位に３種類に分けて圧縮符号化を行う。その３種類の内
一つが、Ｉピクチャと呼ばれるものであって、他の画像
を参照せずに静止画として圧縮符号化される符号化画像
であり、記号Ｉにて示される。もう一つが、Ｐピクチャ
と呼ばれるものであって、過去のＩピクチャまたはＰピ
クチャにて直近のものを参照して圧縮符号化される符号
化画像であり、記号Ｐにて示される。残りもう一つが、
Ｂピクチャと呼ばれるものであって、Ｉピクチャまたは
Ｐピクチャにて直近のものを過去・未来の双方向に参照
して圧縮符号化される符号化画像であり、記号Ｂにて示
される。図３（ｂ）の場合、１番目のフレーム（１Ｔと
１Ｂ）がＩピクチャであり、２〜７番目のフレームがＰ
ピクチャである。また、図３（ｃ）の場合、１番目のフ
レーム（１Ｔと１Ｂ）がＩピクチャであり、４番目と７
番目のフレームがＰピクチャ、そして２、３、５、６番
目のフレームがＢピクチャである。

【００１７】そして、ＢピクチャがＩピクチャとＰピク
チャ間、或いは二つのＰピクチャ間に挟まれる数を（Ｍ
−１）として示す。したがって、Ｍ＝１である図３
（ｂ）におけるＢピクチャの数は０であり、Ｍ＝３であ
る図３（ｃ）におけるＩピクチャとＰピクチャ間、或い
は二つのＰピクチャ間に挟まれるＢピクチャの数は２で
ある。以下、Ｍ＝１の場合の圧縮符号化をＭ＝１符号化
と称し、Ｍ＝３の場合の圧縮符号化をＭ＝３符号化と称
する。また、矢印は各画像の参照関係を示しており、矢
印の始点の画像が終点の画像の参照画像である。図３
（ａ）では参照関係は１対１であるが、図３（ｂ）、
（ｃ）においては１つの画像が複数の画像を参照してい
ることが示されている。なお、Ｍの値は圧縮符号化の目
的によって予め設定される。例えば、Ｍ＝１は動画像通
信など即時性が要求される場合に用いられる。また、Ｍ
＝３はＤＶＤ（Digital Video Disk）などへ画像を記録
する場合に用いられる。

【００１８】先ず、図３（ａ）を参照して、ＮＲフィル
タ２における入力画像とＮＲ参照画像の参照関係につい
て説明する。ＮＲフィルタ２は入力画像と１フレーム前
の入力画像との間で同位置の画素の輝度・色信号のそれ
ぞれの差分を求め、この差分が小さい時には静止してい
るとみなして、入力画像の画素の輝度・色信号をＮＲ参
照画像の画素の輝度・色信号に近づけるように処理す
る。一方、その差分が大きいときには動いているとみな
して、入力画像の画素の輝度・色信号をそのまま出力す
る。そのために、入力画像である奇数または偶数フィー
ルドに対し、原画像フレームメモリ３に保持されている
１フレーム前の同じ奇数または偶数フィールドを参照す
る。例えば、図３（ａ）において、２番目の入力フレー
ムの奇数フィールド２Ｔに対するＮＲ参照画像は、１番
目の入力フレームの奇数フィールド１Ｔである。そし
て、２番目の入力フレームの偶数フィールド２Ｂに対す
るＮＲ参照画像は、１番目の入力フレームの偶数フィー
ルド１Ｂである。この各入力画像に対するＮＲ参照画像
の関係を以下に示す。入力画像（ｎ＋１）Ｔに対するＮ
Ｒ参照画像はｎＴ、入力画像（ｎ＋１）Ｂに対するＮＲ
参照画像はｎＢ、である。ただし、ｎは整数。なお、通
常はＮＲフィルタ２の出力画像を次の入力画像のＮＲ参
照画像に使用する。

【００１９】さて、大域動きベクトル探索部４は、上述
したように、ＮＲフィルタが参照するＮＲ参照画像から
大域動きベクトル探索にて参照する探索参照画像Ｓ２を
生成する。したがって、入力画像から生成される大域動
きベクトル探索用の探索画像Ｓ１と大域動きベクトル探
索にて参照する探索参照画像Ｓ２との参照関係は、図３
（ａ）に示される入力画像とＮＲ参照画像との参照関係
に等しい。すなわち、入力画像が（ｎ＋１）Ｔの場合に
は、ｎＴを参照して大域動きベクトル探索を行い、一
方、入力画像が（ｎ＋１）Ｂの場合には、ｎＢを参照し
て大域動きベクトル探索を行う。

【００２０】次に、動き探索部６が符号化画像のマクロ
ブロックの動きベクトルを探索する時に用いる参照画像
の関係を説明する。図３（ｂ）は、Ｂピクチャを使用せ
ず、符号化時の参照画像が１フレーム前のＩピクチャま
たはＰピクチャであるＭ＝１符号化の場合の参照関係を
示している。この図に示されるように、Ｐピクチャの符
号化画像に対し１フレーム前の奇数および偶数フィール
ドが参照画像である。例えば、２番目の入力フレームの
奇数フィールド２Ｔまたは偶数フィールド２Ｂに対する
参照画像は、共に１番目の入力フレームの奇数フィール
ド１Ｔおよび偶数フィールド１Ｂである。この各Ｐピク
チャの符号化画像に対する参照画像の関係を以下に示
す。符号化画像（ｎ＋１）Ｔまたは（ｎ＋１）Ｂに対す
る参照画像は、ｎＴおよびｎＢ、である。ただし、ｎは
整数。

【００２１】さて、上述したように、大域動きベクトル
探索における参照関係は、入力画像が（ｎ＋１）Ｔの場
合にはｎＴであり、入力画像が（ｎ＋１）Ｂの場合には
ｎＢである。したがって、Ｍ＝１符号化の場合には、符
号化画像に対する参照画像のフレームと大域動きベクト
ル探索におけるＮＲ参照画像のフレームとは共に同じ１
フレーム前のフレームである。これは、入力画像に対し
てＮＲ参照画像を参照して求めた大域動きベクトルが、
まさしく符号化画像の動きベクトルの粗い方向を示すと
いうことであり、この大域動きベクトルに合わせてその
まま符号化画像のマクロブロックの動きベクトル探索範
囲を設定すれば良い。なお、正確には、符号化画像が参
照する奇数・偶数２枚の参照画像の片方の参照画像に対
して、大域動きベクトルが求められているだけである。
ただし、もう一方の参照フィールド、すなわち符号化画
像の奇数フィールドが参照する偶数フィールドの参照画
像と、符号化画像の偶数フィールドが参照する奇数フィ
ールドの参照画像とに対する各大域動きベクトルは求め
られていないが、動画像の連続性から同じ大域動きベク
トルを使用しても、通常問題は無い。

【００２２】そこで、図４〜８を参照して、Ｍ＝１符号
化の場合に、符号化画像のマクロブロックの動きベクト
ル探索範囲を決定する動作の一例について説明する。図
４は、図３（ａ）を参照して上述したように、２番目の
入力フレームの奇数フィールド２Ｔに対するＮＲ参照画
像が１番目の入力フレームの奇数フィールド１Ｔであ
り、２番目の入力フレームの偶数フィールド２Ｂに対す
るＮＲ参照画像が１番目の入力フレームの偶数フィール
ド１Ｂであることを示している。先ず、動画像符号化装
置１０へ奇数フィールド２Ｔが入力された場合について
説明する。この場合には、入力画像として奇数フィール
ド２Ｔが、そして、ＮＲ参照画像として原画像フレーム
メモリ３に保持されている奇数フィールド１Ｔが、それ
ぞれ大域動きベクトル探索部４へ入力される。そして、
入力された奇数フィールド２Ｔは、間引き部３１−１に
よって、画素が間引きされ探索画像Ｓ１としてメモリ３
２−１に保持される。また、入力された奇数フィールド
１Ｔは、間引き部３１−２によって、画素が間引きされ
探索参照画像Ｓ２としてメモリ３２−２に保持される。

【００２３】さらに、メモリ３２−２には、大域動きベ
クトル発生部３５によって、大域動き探索範囲内の大域
動きベクトルに対応するアドレスが入力される。この例
においては、大域動き探索精度が水平・垂直方向とも±
１６画素範囲、８画素精度であり、大域動きベクトルは
以下に示す座標の２５個である。大域動きベクトル座標
は、（８ｘ，８ｙ）。ただし、ｘは−２〜＋２のいずれ
かの整数、ｙは−２〜＋２のいずれかの整数。また、ｘ
は中心から右方向へ向かって「＋」となり、中心から左
方向へ向かって「−」となる。また、ｙは中心から下方
向へ向かって「＋」となり、中心から上方向へ向かって
「−」となる。

【００２４】次いで、評価値算出部３３は、これら２５
個の大域動きベクトル毎に評価値を算出して評価値メモ
リ３４へ保持する。図５は、大域動きベクトルの評価値
を算出する動作を説明するための図である。図５（ａ）
は座標（−８，＋８）の大域動きベクトル評価値を算出
する場合について示している。この図において、破線に
よって示されるＳ２はメモリ３２−２に保持される探索
参照画像の中で、メモり３２−１に保持される間引きさ
れた入力画像と同じ位置の領域である。評価値算出部３
３は、この探索参照画像を大域動きベクトル座標（−
８，＋８）だけ、すなわち左へ８画素分および下へ８画
素分をシフトした画像Ｓ２ａの各画素と、メモリ３２−
１に保持される探索画像Ｓ１の同位置の画素との差分を
各々求める。そして、求められた各画素の差分の絶対値
を総和して、座標（−８，＋８）の大域動きベクトル評
価値とする。図５（ｂ）は座標（＋１６，＋１６）の大
域動きベクトル評価値算出についての図であり、同様
に、探索参照画像Ｓ２を大域動きベクトル座標（＋１
６，＋１６）だけ、すなわち右へ１６画素分および下へ
１６画素分をシフトした画像Ｓ２ｂと探索画像Ｓ１間に
おいて、各画素の差分が求められ、これら差分の絶対値
の総和が評価値となる。したがって、この差分の絶対値
の総和が小さいほど、その評価値は良い値となる。ま
た、参照画像は水平・垂直方向に最大±１６画素シフト
するため、入力画像は上下左右端ともに、少なくとも１
６画素小さい領域をとることになる。

【００２５】そして、図６は、このようにして求められ
た各大域動きベクトル評価値を示す２次元の図である。
図６において、ｘ−ｙ座標上の黒丸の位置が各大域動き
ベクトル座標を示し、黒丸の面積がその大域動きベクト
ルの評価値を示す。この黒丸の面積が小さい程、評価値
が良いことを示す。図６（ａ）は入力フレームの奇数フ
ィールド２ＴとＮＲ参照画像である奇数フィールド１Ｔ
との間において、探索し求められた各大域動きベクトル
の評価値を示す。また、図６（ｂ）は入力フレームの偶
数フィールド２ＴとＮＲ参照画像である奇数フィールド
１Ｔとの間において、探索し求められた各大域動きベク
トルの評価値を示す。図６（ａ）においては、座標（−
１６，０）、（−８，０）、（０，０）、（−８，＋
８）、（０，＋８）、（０，＋１６）、（＋８，＋１
６）の黒丸の面積が小さく、これらの大域動きベクトル
の評価値が良いことを示す。また、図６（ｂ）において
は、座標（−８，−８）、（−１６，０）、（−８，
０）、（０，０）、（−８，＋８）、（０，＋８）、
（０，＋１６）の黒丸の面積が小さく、これらの大域動
きベクトルの評価値が良いことを示す。そして、座標
（−８，＋８）の大域動きベクトルの評価値が、共に最
も良い値であった。

【００２６】次いで図７は、ＣＰＵ１が評価値メモリ３
４に保持される各大域動きベクトルの評価値から、符号
化画像のマクロブロックの動きベクトル探索範囲を決定
して動き探索部６へ設定する動作を説明するための図で
ある。また、図８は、この動きベクトル探索範囲の形状
として予め用意される形状の一例を示す図であって、破
線によって囲まれた範囲は動きベクトル探索範囲全体を
示し、実線によって囲まれた範囲が予め用意される形状
の範囲を示す。先ず、ＣＰＵ１は、図７（ａ）に示され
るように、上述した図６（ａ）、（ｂ）の評価値に合わ
せて、動きベクトル探索範囲を破線によって囲まれた範
囲から実線によって囲まれた範囲へ（矢印が示す方向
へ）シフトする。この動きベクトル探索範囲をシフトす
る方向と量は、図６（ａ）、（ｂ）の評価値の中で最も
評価の良い座標（−８，＋８）の大域動きベクトルが動
きベクトル探索範囲の中心となるように選択される。さ
らに、ＣＰＵ１は、図７（ｂ）に示されるように、図６
（ａ）、（ｂ）の評価値に合わせて、動きベクトル探索
範囲の形状を破線によって囲まれた範囲から実線によっ
て囲まれた範囲へとより狭い範囲に変更しても良い。そ
して、図７（ｂ）においては、動きベクトル探索範囲と
して図８（ｃ）に示される形状が選択される。この形状
の選択は、図８（ａ）〜（ｄ）の４種類の形状の内、そ
の形状に含まれる大域動きベクトル評価値の総和が最も
少なくなるように選択される。このように、動きベクト
ル探索範囲の形状を、大域動きベクトル評価値に合わせ
たより狭い範囲へ変更することは、動きベクトル探索に
要する演算量を少なくするために有効である。以上が、
Ｍ＝１符号化の場合に、符号化画像のマクロブロックの
動きベクトル探索範囲を決定する動作についての説明で
ある。なお、この説明した例では、奇数フィールドの大
域動きベクトルと偶数フィールドの大域動きベクトルと
を別々に求めて動きベクトル探索範囲を設定したが、奇
数・偶数両フィールドの大域動きベクトル探索結果を合
成し、この合成された大域動きベクトル探索結果から動
きベクトル探索範囲を設定するようにしても良い。例え
ば、同じ大域動きベクトルに関し奇数フィールドの評価
値と偶数フィールドの評価値とを平均して、奇数・偶数
両フィールドの大域動きベクトルを求め、この求められ
た奇数・偶数両フィールドの大域動きベクトルから動き
ベクトル探索範囲を設定するようにしても良い。あるい
は、演算量の削減のために、奇数・偶数いずれか片方の
フィールドの大域動きベクトルに適応して、動きベクト
ル探索範囲を設定するようにしても良い。

【００２７】次に、Ｍ＝３符号化などＭが２以上の符号
化の場合に、符号化画像のマクロブロックの動きベクト
ル探索範囲を決定する動作についての説明する。先ず、
図３（ｃ）を参照して、Ｂピクチャを使用したＭ＝３符
号化の場合の参照関係を説明する。この図に示されるよ
うに、Ｐピクチャでは、符号化画像に対し３フレーム前
のＩピクチャまたはＰピクチャの奇数および偶数フィー
ルドが参照画像である。例えば、４番目の入力フレーム
の奇数フィールド４Ｔまたは偶数フィールド４Ｂに対す
る参照画像は、共に１番目の入力フレームの奇数フィー
ルド１Ｔおよび偶数フィールド１Ｂである。また、Ｂピ
クチャでは、符号化画像を挟んでいる両側のＩピクチャ
またはＰピクチャの奇数および偶数フィールドが参照画
像である。例えば、２番目の入力フレームの奇数フィー
ルド２Ｔまたは偶数フィールド２Ｂに対する参照画像
は、共に、１番目の入力フレームの奇数フィールド１Ｔ
および偶数フィールド１Ｂと、４番目の入力フレームの
奇数フィールド４Ｔおよび偶数フィールド４Ｂである。
この各符号化画像に対する参照画像の関係を以下に示
す。Ｐピクチャの符号化画像（ｎ＋３）Ｔまたは（ｎ＋
３）Ｂに対する参照画像は、ｎＴおよびｎＢ、である。
Ｂピクチャの符号化画像（ｎ＋１）Ｔまたは（ｎ＋１）
Ｂ、あるいは、（ｎ＋２）Ｔまたは（ｎ＋２）Ｂに対す
る参照画像は、ｎＴ、ｎＢ、（ｎ＋３）Ｔおよび（ｎ＋
３）Ｂ、である。ただし、ｎは整数。

【００２８】さて、上記のように、Ｍ＝３符号化の場合
には、Ｂピクチャにおいて隣接フレームを参照する以外
は、符号化画像に対する参照画像が１フレーム前の入力
画像とは異なる。したがって、大域動きベクトル探索に
おけるＮＲ参照画像のフレームと、符号化画像に対する
参照画像のフレームとは同じ１フレーム前のフレームで
はない。このように、Ｂピクチャを使用するＭが２以上
の符号化においては、大域動きベクトル探索におけるＮ
Ｒ参照画像のフレームと、符号化画像に対する参照画像
のフレームとは異なる。

【００２９】そこで、Ｍが２以上の符号化において、動
きベクトル探索範囲を決定する動作の一例について説明
する。符号化画像に対する参照画像が１フレーム前の入
力画像とは異なる場合には、符号化するマクロブロック
の動きベクトル探索時に参照する参照画像も１フレーム
前の入力画像とは異なる。したがって、動きベクトル探
索範囲を決定する際には、符号化画像に対する参照画像
と同じ入力フレームに対する大域動きベクトルの探索結
果が必要である。しかしながら、上述したように、大域
動きベクトル探索において参照するＮＲ参照画像は入力
画像に対して１フレーム前の画像である。そのため、こ
のような場合にＣＰＵ１は、動きベクトル探索時に参照
する参照画像のフレームと、符号化画像のフレームとの
間にあるフレームの各入力フィールドに対して得られた
最も評価値が良い大域動きベクトルを奇数フィールドと
偶数フィールド別に全て合成することによって、複数フ
レーム間大域動きベクトルを生成する。そして、上述し
たＭ＝１符号化の場合と同様に、この複数フレーム間大
域動きベクトルが動きベクトル探索範囲の中心となるよ
うに動きベクトル探索範囲をシフトする。ところで、フ
レーム間隔が長くなる場合には動きの方向や大きさが変
わることもあるので、動きベクトル探索範囲の形状を変
えて動きベクトルの探索範囲を狭くすると、参照画像と
符号化画像の間の動きに追従することができない可能性
もある。しかし、動きベクトル探索に要する演算量を削
減するために、ＣＰＵ１は、動きベクトル探索範囲の形
状を変えても良い。その場合には、例えば、ＣＰＵ１
は、符号化画像のフレームに最も近い参照画像のフレー
ムにおいて求められた大域動きベクトル評価値の中で、
良い評価の大域動きベクトルを含むように、動きベクト
ル探索範囲の形状をより狭い範囲へ変更する。このより
狭い範囲への変更は、上述したＭ＝１符号化の場合と同
様に、例えば図８（ａ）〜（ｄ）の４種類の形状から選
択して行われる。なお、Ｂピクチャでは、時間的に後の
参照画像からも動きベクトルの探索を行うが、この場合
には大域動きベクトルの正負の符号を逆にして処理す
る。以上が、Ｍが２以上の符号化の場合に、符号化画像
のマクロブロックの動きベクトル探索範囲を決定する動
作についての説明である。なお、上記Ｍ＝１符号化の場
合と同様に、このＭが２以上の符号化の場合について説
明した例では、奇数フィールドの大域動きベクトルと偶
数フィールドの大域動きベクトルとを別々に求めて動き
ベクトル探索範囲を設定したが、奇数・偶数両フィール
ドの大域動きベクトル探索結果を合成し、この合成され
た大域動きベクトル探索結果から動きベクトル探索範囲
を設定するようにしても良い。例えば、同じ大域動きベ
クトルに関し奇数フィールドの評価値と偶数フィールド
の評価値とを平均して、奇数・偶数両フィールドの大域
動きベクトルを求め、この求められた奇数・偶数両フィ
ールドの大域動きベクトルから動きベクトル探索範囲を
設定するようにしても良い。あるいは、演算量の削減の
ために、奇数・偶数いずれか片方のフィールドの大域動
きベクトルに適応して、動きベクトル探索範囲を設定す
るようにしても良い。

【００３０】このように、上述した実施形態において、
大域動きベクトルは、ＭＢ符号化処理部５の上流に具備
される大域動きベクトル探索部４によって、原画像デー
タのみに基づいて探索される。そして、ＣＰＵ１がその
大域動きベクトル探索結果に合わせた動き探索範囲を決
定して動き探索部６へ設定する。故に、たとえ符号化画
像において直前の符号化画像に対して不連続な動きが有
った場合でも、求められた大域動きベクトル探索結果
は、原画像データに基づいた有意な動きベクトル探索範
囲を示すので、従来のように、求められた動きベクトル
探索範囲が実際の符号化画像の動きとは異なるというこ
とが無く、常に精度の良い動きベクトルを探索すること
ができる。したがって、直前の符号化画像に対して、現
符号化画像に不連続な動きが有った場合でも、画質を劣
化させることなく符号化することができる。

【００３１】また、動きの大きい画像においては、動く
方向が一方向に偏っていることが多い。このような場合
には、上述した実施形態において、画像全体の粗い動き
を探索した大域動きベクトル探索結果によって、動きベ
クトル探索範囲を狭い範囲に限定することが特に有効と
なる。その結果、符号化される動画像の画質の水準を落
とすことなく動きベクトル探索にかかる演算量を減らし
て、消費電力の増大を抑えることができる。

【００３２】なお、上述した実施形態において、ＮＲフ
ィルタ２は、動画像を圧縮符号化する位置よりも上流に
位置し、時間軸方向のノイズを減衰させることによって
符号化効率を上げるために、従来より一般的に用いられ
ている。したがって、大域動きベクトル探索において参
照する１フレーム前の入力画像として、ＮＲ参照画像を
使用可能なので、新たに、１フレーム前の入力画像を保
持するフレームメモリを具備する必要が無いという効果
もある。なお、上述した実施形態において、図１に示さ
れるように、原画像フレームメモリ３とフレームメモリ
８とを各々別に設ける構成としたが、従来から行われて
いるように、これら原画像フレームメモリ３とフレーム
メモリ８とを一つのフレームメモリで構成するようにし
ても良い。

【００３３】

【発明の効果】以上説明したように、本発明は、入力画
像の動きベクトルを求める動きベクトル探索装置におい
て、この入力画像の動きベクトルを求める位置よりも上
流の位置にて、入力画像に対して１フレーム前の前入力
画像に含まれる画素と、この入力画像に含まれる画素と
の差分を評価することによって、大域動きベクトルを探
索する。そのため、この大域動きベクトル探索結果は原
画像データに基づいたものとなる。そして、その原画像
データに基づいた大域動きベクトル探索結果から動きベ
クトルの探索範囲を決定するようにしたので、直前まで
の符号化画像に対して動きが不連続となる画像において
も、実際の符号化画像の動きに合った動きベクトル探索
範囲が求められ常に精度の良い動きベクトル探索を行う
ことができる。

【００３４】さらに、入力画像に対して１フレーム前の
前入力画像に含まれる画素の一部と、その入力画像に含
まれる画素の一部との差分を評価することによって、大
域動きベクトルを探索するようにしてあり、また必要に
応じて、大域動きベクトルの精度を粗くしたり入力画像
とＮＲ参照画像とを間引きするなどして、大域動きベク
トルを探索するための演算量を減らすことができる。さ
らに、大域動きベクトル探索結果に基づいて、動きベク
トルの探索範囲の中心または形状の少なくともいずれか
を定めるようにしたので、一定時間内で効率的に動きベ
クトルを探索することが可能となる。さらに、大域動き
ベクトル探索において参照する１フレーム前の入力画像
として、時間軸ノイズ低減フィルタが参照する画像を使
用するようにしたので、新たに、１フレーム前の入力画
像を保持するフレームメモリを具備する必要が無いとい
う効果もある。

【００３５】また、入力画像の動きベクトルを求める動
きベクトル探索装置において、この入力画像の動きベク
トルを求める位置よりも上流の位置にて、入力画像に対
して１フレーム前の前入力画像に含まれる画素と、この
入力画像に含まれる画素との差分を評価することによっ
て大域動きベクトルを探索する。そして、符号化された
画像とこの入力画像との間に挟まれる中間入力画像が存
在する場合には、その原画像データに基づいた中間入力
画像に対する大域動きベクトル探索結果と、この入力画
像に対する原画像データに基づいた大域動きベクトル探
索結果とから動きベクトルの探索範囲を決定する。した
がって、直前までの符号化画像に対して動きが不連続と
なる画像においても、実際の符号化画像の動きに合った
動きベクトル探索範囲が求められ、常に精度の良い動き
ベクトル探索を行うことができる。

【図面の簡単な説明】

【図１】 本発明の一実施形態による動画像符号化装置
の構成を示すブロック図である。

【図２】 図１における大域動きベクトル探索部４の構
成を示すブロック図である。

【図３】 図１の動画像符号化装置による動きベクトル
探索動作を説明するための図である。

【図４】 図３（ｂ）のＭ＝１符号化の場合に、動きベ
クトル探索範囲を決定する動作を説明するための第１の
図である。

【図５】 図３（ｂ）のＭ＝１符号化の場合に、動きベ
クトル探索範囲を決定する動作を説明するための第２の
図である。

【図６】 図３（ｂ）のＭ＝１符号化の場合に、動きベ
クトル探索範囲を決定する動作を説明するための第３の
図である。

【図７】 図３（ｂ）のＭ＝１符号化の場合に、動きベ
クトル探索範囲を決定する動作を説明するための第４の
図である。

【図８】 図３（ｂ）のＭ＝１符号化の場合に、動きベ
クトル探索範囲を決定する動作を説明するための第５の
図である。

【図９】 従来の動画像符号化装置の構成を示すブロッ
ク図である。

【符号の説明】

１ ＣＰＵ ２ ＮＲフィルタ ３ 原画像フレームメモリ ４ 大域動きベクトル探索部 ５ ＭＢ符号化処理部 ６ 動き探索部 ７ 符号化・後処理部 ８ フレームメモリ １０ 動画像符号化装置

Claims (9)

【特許請求の範囲】
1. 【請求項１】 入力画像の第一の動きベクトルを求める
   動きベクトル探索装置において、 前記第一の動きベクトルを求める位置よりも上流の位置
   に、 前記入力画像に対して１フレーム前の前入力画像に含ま
   れる画素と、該入力画像に含まれる画素との差分を評価
   することによって、第二の動きベクトルを探索する第二
   の動きベクトル探索手段と、 該第二の動きベクトル探索結果に基づいて前記第一の動
   きベクトルの探索範囲を決定する動きベクトル探索範囲
   決定手段と、 を具備してなる動きベクトル探索装置。
2. 【請求項２】 前記第二の動きベクトル探索手段は、前
   記入力画像に対して１フレーム前の前入力画像に含まれ
   る画素の一部と、該入力画像に含まれる画素の一部との
   差分を評価することによって、前記第二の動きベクトル
   を探索することを特徴とする請求項１に記載の動きベク
   トル探索装置。
3. 【請求項３】 前記動きベクトル探索範囲決定手段は、
   前記第二の動きベクトル探索結果に基づいて、前記第一
   の動きベクトルの探索範囲の中心または形状の少なくと
   もいずれかを定めることを特徴とする請求項１または請
   求項２に記載の動きベクトル探索装置。
4. 【請求項４】 入力画像の第一の動きベクトルを求める
   動きベクトル探索装置において、 前記第一の動きベクトルを求める位置よりも上流の位置
   に、 前記入力画像に対して１フレーム前の前入力画像に含ま
   れる画素と、該入力画像に含まれる画素との差分を評価
   することによって、第二の動きベクトルを探索する第二
   の動きベクトル探索手段と、 前記符号化された画像と前記入力画像との間に挟まれる
   中間入力画像が存在する場合には、該中間入力画像に対
   する前記第二の動きベクトル探索結果と、該入力画像に
   対する前記第二の動きベクトル探索結果とに基づいて、
   前記第一の動きベクトルの探索範囲を決定する動きベク
   トル探索範囲決定手段と、 を具備してなる動きベクトル探索装置。
5. 【請求項５】 前記第二の動きベクトル探索手段は、前
   記入力画像に対して１フレーム前の前入力画像に含まれ
   る画素の一部と、該入力画像に含まれる画素の一部との
   差分を評価することによって、前記第二の動きベクトル
   を探索することを特徴とする請求項４に記載の動きベク
   トル探索装置。
6. 【請求項６】 前記動きベクトル探索範囲決定手段は、
   該中間入力画像に対する前記第二の動きベクトル探索結
   果と、該入力画像に対する前記第二の動きベクトル探索
   結果とに基づいて、前記第一の動きベクトルの探索範囲
   の中心または形状の少なくともいずれかを定めることを
   特徴とする請求項４または請求項５に記載の動きベクト
   ル探索装置。
7. 【請求項７】 前記前入力画像とは、前記第一の動きベ
   クトルを求める位置よりも上流の位置に具備される時間
   軸ノイズ低減フィルタが参照する画像であることを特徴
   とする請求項１乃至請求項６のいずれかの項に記載の動
   きベクトル探索装置。
8. 【請求項８】 入力画像の第一の動きベクトルを求める
   動きベクトル探索方法において、 前記第一の動きベクトルを求める位置よりも上流の位置
   にて、 前記入力画像に対して１フレーム前の前入力画像に含ま
   れる画素と、該入力画像に含まれる画素との差分を評価
   することによって、第二の動きベクトルを探索し、 前記第二の動きベクトル探索結果に基づいて前記第一の
   動きベクトルの探索範囲を決定することを特徴とする動
   きベクトル探索方法。
9. 【請求項９】 入力画像の第一の動きベクトルを求める
   動きベクトル探索方法において、 前記第一の動きベクトルを求める位置よりも上流の位置
   にて、 前記入力画像に対して１フレーム前の前入力画像に含ま
   れる画素と、該入力画像に含まれる画素との差分を評価
   することによって、第二の動きベクトルを探索し、 前記符号化された画像と該入力画像との間に挟まれる中
   間入力画像が存在する場合には、該中間入力画像に対す
   る前記第二の動きベクトル探索結果と、該入力画像に対
   する前記第二の動きベクトル探索結果とに基づいて、前
   記第一の動きベクトルの探索範囲を決定することを特徴
   とする動きベクトル探索方法。