JP2003111082A - 動きベクトル検出方法及び装置 - Google Patents
動きベクトル検出方法及び装置Info
- Publication number
- JP2003111082A JP2003111082A JP2001304009A JP2001304009A JP2003111082A JP 2003111082 A JP2003111082 A JP 2003111082A JP 2001304009 A JP2001304009 A JP 2001304009A JP 2001304009 A JP2001304009 A JP 2001304009A JP 2003111082 A JP2003111082 A JP 2003111082A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- search
- block
- vector candidate
- small block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】大ブロックでの探索精度を確保し、小ブロック
による動き補償の多用を避けて高い符号化効率を維持す
る動きベクトル検出方法を提供する。 【解決手段】第１の探索モードで小ブロック毎及び大ブ
ロック毎に算出したブロックマッチング誤差が最小とな
る小ブロック及び大ブロック動きベクトル候補を探索し
（Ｓ１１〜Ｓ１５）、第２の探索モードで小ブロック毎
に算出したブロックマッチング誤差が最小となる小ブロ
ック動きベクトル候補を探索し（Ｓ２１〜Ｓ２５）、第
１の探索モードで探索された動きベクトル候補に対応す
るブロックマッチング誤差に基づき最終的な動きベクト
ル候補を決定し（Ｓ０３）、各探索階層毎に上位の探索
階層における動きベクトル候補の探索結果に基づいて探
索モードを決定し（Ｓ０１）、全探索階層及び１画面の
処理終了時に決定された最終的な動きベクトル候補を検
出動きベクトルとして出力する（Ｓ０４〜Ｓ０６）。
による動き補償の多用を避けて高い符号化効率を維持す
る動きベクトル検出方法を提供する。 【解決手段】第１の探索モードで小ブロック毎及び大ブ
ロック毎に算出したブロックマッチング誤差が最小とな
る小ブロック及び大ブロック動きベクトル候補を探索し
（Ｓ１１〜Ｓ１５）、第２の探索モードで小ブロック毎
に算出したブロックマッチング誤差が最小となる小ブロ
ック動きベクトル候補を探索し（Ｓ２１〜Ｓ２５）、第
１の探索モードで探索された動きベクトル候補に対応す
るブロックマッチング誤差に基づき最終的な動きベクト
ル候補を決定し（Ｓ０３）、各探索階層毎に上位の探索
階層における動きベクトル候補の探索結果に基づいて探
索モードを決定し（Ｓ０１）、全探索階層及び１画面の
処理終了時に決定された最終的な動きベクトル候補を検
出動きベクトルとして出力する（Ｓ０４〜Ｓ０６）。
Description
【０００１】
【発明の属する技術分野】本発明は、画像の記録・通信
・伝送及び放送等における動画像信号の符号化装置にお
いて、入力画像が参照画像のどの領域から動いたものか
を示す動きベクトルを検出する動きベクトル検出方法及
び装置に関する。
・伝送及び放送等における動画像信号の符号化装置にお
いて、入力画像が参照画像のどの領域から動いたものか
を示す動きベクトルを検出する動きベクトル検出方法及
び装置に関する。
【０００２】
【従来の技術】動画像の膨大な情報を圧縮する動画像符
号化方式の一つである動き補償予測符号化方式は、ＭＰ
ＥＧ２(Moving Picture Experts Group phase 2)や、Ｍ
ＰＥＧ４(Moving Picture Experts Group phase 4)等で
用いられている。動き補償予測符号化方式では、入力画
像の部分領域に対して参照画像から最も相関の高い部分
領域を検出し（ブロックマッチングという）、入力画像
の部分領域が参照画像のどの部分領域から動いたものか
を示す動きベクトル情報と、その動きベクトル情報によ
り示される参照画像の部分領域と入力画像の部分領域と
の差分（予測誤差）を符号化する。
号化方式の一つである動き補償予測符号化方式は、ＭＰ
ＥＧ２(Moving Picture Experts Group phase 2)や、Ｍ
ＰＥＧ４(Moving Picture Experts Group phase 4)等で
用いられている。動き補償予測符号化方式では、入力画
像の部分領域に対して参照画像から最も相関の高い部分
領域を検出し（ブロックマッチングという）、入力画像
の部分領域が参照画像のどの部分領域から動いたものか
を示す動きベクトル情報と、その動きベクトル情報によ
り示される参照画像の部分領域と入力画像の部分領域と
の差分（予測誤差）を符号化する。
【０００３】ＭＰＥＧ２及びＭＰＥＧ４では、動き補償
予測符号化に関して動き補償を行う単位（動きベクトル
検出を行う単位）の大きさを異ならせた二つのモードが
用意され、符号化効率の良い方のモードを選択して符号
化が行われる。例えば、ＭＰＥＧ２では動き補償を行う
単位を図４（ａ）に示すように１６画素×１６ライン
（大ブロック）とするフレームモードと、図４（ｂ）に
示すように動き補償を行う単位をフィルタ位相により２
つの１６画素×８ライン（小ブロック）に分けるフィー
ルドモードのうちから、符号化効率の高い方を選択して
符号化を行う。
予測符号化に関して動き補償を行う単位（動きベクトル
検出を行う単位）の大きさを異ならせた二つのモードが
用意され、符号化効率の良い方のモードを選択して符号
化が行われる。例えば、ＭＰＥＧ２では動き補償を行う
単位を図４（ａ）に示すように１６画素×１６ライン
（大ブロック）とするフレームモードと、図４（ｂ）に
示すように動き補償を行う単位をフィルタ位相により２
つの１６画素×８ライン（小ブロック）に分けるフィー
ルドモードのうちから、符号化効率の高い方を選択して
符号化を行う。
【０００４】一方、ＭＰＥＧ４では動き補償を行う単位
を図５（ａ）に示すように１６画素×１６ライン（大ブ
ロック）とするマクロブロックモードと、図５（ｂ）に
示すように大ブロックを４つの８画素×８ライン（小ブ
ロック）に分けるブロックモードのうちから、符号化効
率の高い方を選択して符号化を行う。
を図５（ａ）に示すように１６画素×１６ライン（大ブ
ロック）とするマクロブロックモードと、図５（ｂ）に
示すように大ブロックを４つの８画素×８ライン（小ブ
ロック）に分けるブロックモードのうちから、符号化効
率の高い方を選択して符号化を行う。
【０００５】動きベクトルの検出に際しては、このよう
な大ブロックや小ブロック毎に動きベクトルの探索が行
われる。また、動きベクトルの検出は対数探索といった
階層的探索により、動きベクトルの探索範囲を階層的に
徐々に小さくして行う方法が採られる。
な大ブロックや小ブロック毎に動きベクトルの探索が行
われる。また、動きベクトルの検出は対数探索といった
階層的探索により、動きベクトルの探索範囲を階層的に
徐々に小さくして行う方法が採られる。
【０００６】ＭＰＥＧ２及びＭＰＥＧ４の何れにおいて
も、フレームモードやマクロブロックモードでの動きベ
クトル探索（大ブロック動きベクトル探索という）と、
フィールドモードまたはブロックモードでの動きベクト
ル探索（小ブロック動きベクトル探索という）を常に行
うと、探索範囲を小さくした下位階層の探索において
は、大ブロック動きベクトル探索領域と小ブロック動き
ベクトル探索領域の重複がなくなるため、動きベクトル
検出に必要なメモリバンド幅と演算量が増加してしま
う。
も、フレームモードやマクロブロックモードでの動きベ
クトル探索（大ブロック動きベクトル探索という）と、
フィールドモードまたはブロックモードでの動きベクト
ル探索（小ブロック動きベクトル探索という）を常に行
うと、探索範囲を小さくした下位階層の探索において
は、大ブロック動きベクトル探索領域と小ブロック動き
ベクトル探索領域の重複がなくなるため、動きベクトル
検出に必要なメモリバンド幅と演算量が増加してしま
う。
【０００７】そこで、従来では小ブロック動きベクトル
探索のみを行い、その結果から大ブロック動きベクトル
探索で探索されると思われる動きベクトル候補（大ブロ
ック動きベクトル候補という）を推定し、フレームモー
ドまたはマクロブロックモードと、フィールドモードま
たはブロックモードのいずれを用いるかを決定するため
のモード判定時に、小ブロックでの動き補償、大ブロッ
クでの動き補償の何れかを選択する方法がとられてい
る。
探索のみを行い、その結果から大ブロック動きベクトル
探索で探索されると思われる動きベクトル候補（大ブロ
ック動きベクトル候補という）を推定し、フレームモー
ドまたはマクロブロックモードと、フィールドモードま
たはブロックモードのいずれを用いるかを決定するため
のモード判定時に、小ブロックでの動き補償、大ブロッ
クでの動き補償の何れかを選択する方法がとられてい
る。
【０００８】
【発明が解決しようとする課題】上述したように、従来
技術において推定される大ブロック動きベクトル候補は
小ブロック動きベクトル探索による探索結果に基づくも
のであるため、参照画像とのブロックマッチングに供さ
れる入力画像の画素数が本来の大ブロック動きベクトル
探索の１／２または１／４になり、動きベクトルの検出
精度が劣る。このような事情から、特にＭＰＥＧ４では
図６に示すように小ブロックによる動き補償が多用され
ており、それによって符号化効率の低下を招くという問
題がある。
技術において推定される大ブロック動きベクトル候補は
小ブロック動きベクトル探索による探索結果に基づくも
のであるため、参照画像とのブロックマッチングに供さ
れる入力画像の画素数が本来の大ブロック動きベクトル
探索の１／２または１／４になり、動きベクトルの検出
精度が劣る。このような事情から、特にＭＰＥＧ４では
図６に示すように小ブロックによる動き補償が多用され
ており、それによって符号化効率の低下を招くという問
題がある。
【０００９】本発明は、大ブロックでの動きベクトル探
索精度を確保し、小ブロックによる動き補償の多用を避
けて高い符号化効率が維持できる動きベクトル検出方法
及び装置を提供することを目的とする。
索精度を確保し、小ブロックによる動き補償の多用を避
けて高い符号化効率が維持できる動きベクトル検出方法
及び装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】上記課題を解決するた
め、本発明は入力画像上の部分領域が参照画像上のどの
領域から動いたかを示す動きベクトルを複数の探索モー
ド及び複数の探索階層により探索して検出する動きベク
トル検出方法において、入力画像及び参照画像を分割し
た大ブロックをさらに分割した小ブロック毎及び大ブロ
ック毎に入力画像と参照画像とのブロックマッチング誤
差を算出し、小ブロック毎及び大ブロック毎にそれぞれ
ブロックマッチング誤差が最小となる小ブロック動きベ
クトル候補及び大ブロック動きベクトル候補を探索する
第１の探索モードに基づく第１の動きベクトル候補探索
ステップと、小ブロック毎に入力画像と参照画像とのブ
ロックマッチング誤差を算出し、小ブロック毎にブロッ
クマッチング誤差が最小となる小ブロック動きベクトル
候補を探索する第２の探索モードに基づく第２の動きベ
クトル候補探索ステップと、第１の探索モードにおける
大ブロック動きベクトル候補及び小ブロック動きベクト
ル候補にそれぞれ対応するブロックマッチング誤差に基
づいて最終的な動きベクトル候補を決定する動きベクト
ル候補決定ステップと、各探索階層毎に上位の探索階層
における大ブロック動きベクトル候補及び小ブロック動
きベクトル候補の探索結果に基づいて第１及び第２の探
索モードのうちのいずれかの探索モードを決定する探索
モード決定ステップと、全ての探索階層及び１画面の入
力画像に対する処理の終了時に動きベクトル候補決定ス
テップにより決定された最終的な動きベクトル候補を検
出動きベクトルとして出力するステップとを具備するこ
とを特徴とする。
め、本発明は入力画像上の部分領域が参照画像上のどの
領域から動いたかを示す動きベクトルを複数の探索モー
ド及び複数の探索階層により探索して検出する動きベク
トル検出方法において、入力画像及び参照画像を分割し
た大ブロックをさらに分割した小ブロック毎及び大ブロ
ック毎に入力画像と参照画像とのブロックマッチング誤
差を算出し、小ブロック毎及び大ブロック毎にそれぞれ
ブロックマッチング誤差が最小となる小ブロック動きベ
クトル候補及び大ブロック動きベクトル候補を探索する
第１の探索モードに基づく第１の動きベクトル候補探索
ステップと、小ブロック毎に入力画像と参照画像とのブ
ロックマッチング誤差を算出し、小ブロック毎にブロッ
クマッチング誤差が最小となる小ブロック動きベクトル
候補を探索する第２の探索モードに基づく第２の動きベ
クトル候補探索ステップと、第１の探索モードにおける
大ブロック動きベクトル候補及び小ブロック動きベクト
ル候補にそれぞれ対応するブロックマッチング誤差に基
づいて最終的な動きベクトル候補を決定する動きベクト
ル候補決定ステップと、各探索階層毎に上位の探索階層
における大ブロック動きベクトル候補及び小ブロック動
きベクトル候補の探索結果に基づいて第１及び第２の探
索モードのうちのいずれかの探索モードを決定する探索
モード決定ステップと、全ての探索階層及び１画面の入
力画像に対する処理の終了時に動きベクトル候補決定ス
テップにより決定された最終的な動きベクトル候補を検
出動きベクトルとして出力するステップとを具備するこ
とを特徴とする。
【００１１】本発明は入力画像上の部分領域が参照画像
上のどの領域から動いたかを示す動きベクトルを複数の
探索モード及び複数の探索階層により探索して検出する
動きベクトル検出装置において、入力画像及び参照画像
を分割した大ブロックをさらに分割した小ブロック毎の
入力画像と参照画像とのブロックマッチング誤差を算出
する小ブロックマッチング誤差算出手段と、小ブロック
マッチング誤差算出手段により算出された各小ブロック
毎のブロックマッチング誤差の和をとって大ブロック毎
の入力画像と参照画像とのブロックマッチング誤差を算
出する大ブロックマッチング誤差算出手段と、第１及び
第２の旦濯モードを有し、第１の探索モードで小ブロッ
ク毎及び大ブロック毎にそれぞれブロックマッチング誤
差が最小となる小ブロック動きベクトル候補及び大ブロ
ック動きベクトル候補を探索し、第２の探索モードで小
ブロック毎にブロックマッチング誤差が最小となる小ブ
ロック動きベクトル候補のみを探索する動きベクトル候
補探索手段と、第１の探索モードにおける大ブロック動
きベクトル候補及び小ブロック動きベクトル候補にそれ
ぞれ対応するブロックマッチング誤差に基づいて最終的
な動きベクトル候補を決定する動きベクトル候補決定手
段と、各探索階層毎に上位の探索階層における大ブロッ
ク動きベクトル候補及び小ブロック動きベクトル候補の
探索結果に基づいて第１及び第２の探索モードのうちの
いずれかの探索モードを決定する探索モード決定手段
と、全ての探索階層及び１画面の入力画像に対する処理
の終了時に動きベクトル候補決定手段により決定された
最終的な動きベクトル候補を検出動きベクトルとして出
力する手段とを具備することを特徴とする。
上のどの領域から動いたかを示す動きベクトルを複数の
探索モード及び複数の探索階層により探索して検出する
動きベクトル検出装置において、入力画像及び参照画像
を分割した大ブロックをさらに分割した小ブロック毎の
入力画像と参照画像とのブロックマッチング誤差を算出
する小ブロックマッチング誤差算出手段と、小ブロック
マッチング誤差算出手段により算出された各小ブロック
毎のブロックマッチング誤差の和をとって大ブロック毎
の入力画像と参照画像とのブロックマッチング誤差を算
出する大ブロックマッチング誤差算出手段と、第１及び
第２の旦濯モードを有し、第１の探索モードで小ブロッ
ク毎及び大ブロック毎にそれぞれブロックマッチング誤
差が最小となる小ブロック動きベクトル候補及び大ブロ
ック動きベクトル候補を探索し、第２の探索モードで小
ブロック毎にブロックマッチング誤差が最小となる小ブ
ロック動きベクトル候補のみを探索する動きベクトル候
補探索手段と、第１の探索モードにおける大ブロック動
きベクトル候補及び小ブロック動きベクトル候補にそれ
ぞれ対応するブロックマッチング誤差に基づいて最終的
な動きベクトル候補を決定する動きベクトル候補決定手
段と、各探索階層毎に上位の探索階層における大ブロッ
ク動きベクトル候補及び小ブロック動きベクトル候補の
探索結果に基づいて第１及び第２の探索モードのうちの
いずれかの探索モードを決定する探索モード決定手段
と、全ての探索階層及び１画面の入力画像に対する処理
の終了時に動きベクトル候補決定手段により決定された
最終的な動きベクトル候補を検出動きベクトルとして出
力する手段とを具備することを特徴とする。
【００１２】さらに、本発明によると入力画像上の部分
領域が参照画像上のどの領域から動いたかを示す動きベ
クトルを複数の探索モード及び複数の探索階層により探
索して検出する動きベクトル検出処理をコンピュータに
実行させるためのプログラムであって、入力画像及び参
照画像を分割した大ブロックをさらに分割した小ブロッ
ク毎及び大ブロック毎に入力画像と参照画像とのブロッ
クマッチング誤差を算出し、小ブロック毎及び大ブロッ
ク毎にそれぞれブロックマッチング誤差が最小となる小
ブロック動きベクトル候補及び大ブロック動きベクトル
候補を探索する第１の探索モードに基づく第１の動きベ
クトル候補探索処理と、小ブロック毎に入力画像と参照
画像とのブロックマッチング誤差を算出し、小ブロック
毎にブロックマッチング誤差が最小となる小ブロック動
きベクトル候補を探索する第２の探索モードに基づく第
２の動きベクトル候補探索処理と、第１の探索モードに
おいて大ブロック動きベクトル候補及び小ブロック動き
ベクトル候補にそれぞれ対応するブロックマッチング誤
差に基づいて最終的な動きベクトル候補を決定する動き
ベクトル候補決定処理と、各探索階層毎に上位の探索階
層における大ブロック動きベクトル候補及び小ブロック
動きベクトル候補の探索結果に基づいて第１及び第２の
探索モードのうちのいずれかの探索モードを決定する探
索モード決定処理と、全ての探索階層及び１画面の入力
画像に対する処理の終了時に動きベクトル候補決定手段
により決定された最終的な動きベクトル候補を検出動き
ベクトルとして出力する処理とをコンピュータに実行さ
せるためのプログラムがあるいは該プログラムを格納し
た記憶媒体が提供される。
領域が参照画像上のどの領域から動いたかを示す動きベ
クトルを複数の探索モード及び複数の探索階層により探
索して検出する動きベクトル検出処理をコンピュータに
実行させるためのプログラムであって、入力画像及び参
照画像を分割した大ブロックをさらに分割した小ブロッ
ク毎及び大ブロック毎に入力画像と参照画像とのブロッ
クマッチング誤差を算出し、小ブロック毎及び大ブロッ
ク毎にそれぞれブロックマッチング誤差が最小となる小
ブロック動きベクトル候補及び大ブロック動きベクトル
候補を探索する第１の探索モードに基づく第１の動きベ
クトル候補探索処理と、小ブロック毎に入力画像と参照
画像とのブロックマッチング誤差を算出し、小ブロック
毎にブロックマッチング誤差が最小となる小ブロック動
きベクトル候補を探索する第２の探索モードに基づく第
２の動きベクトル候補探索処理と、第１の探索モードに
おいて大ブロック動きベクトル候補及び小ブロック動き
ベクトル候補にそれぞれ対応するブロックマッチング誤
差に基づいて最終的な動きベクトル候補を決定する動き
ベクトル候補決定処理と、各探索階層毎に上位の探索階
層における大ブロック動きベクトル候補及び小ブロック
動きベクトル候補の探索結果に基づいて第１及び第２の
探索モードのうちのいずれかの探索モードを決定する探
索モード決定処理と、全ての探索階層及び１画面の入力
画像に対する処理の終了時に動きベクトル候補決定手段
により決定された最終的な動きベクトル候補を検出動き
ベクトルとして出力する処理とをコンピュータに実行さ
せるためのプログラムがあるいは該プログラムを格納し
た記憶媒体が提供される。
【００１３】さらに、本発明によると入力画像上の部分
領域が参照画像上のどの領域から動いたかを示す動きベ
クトルを複数の探索モード及び複数の探索階層により探
索して検出する動きベクトル装置としてコンピュータを
機能させるためのプログラムであって、入力画像及び参
照画像を分割した大ブロックをさらに分割した小ブロッ
ク毎の入力画像と参照画像とのブロックマッチング誤差
を算出する小ブロックマッチング誤差算出手段と、小ブ
ロックマッチング誤差算出手段により算出された各小ブ
ロック毎のブロックマッチング誤差の和をとって大ブロ
ック毎の入力画像と参照画像とのブロックマッチング誤
差を算出する大ブロックマッチング誤差算出手段と、第
１及び第２の探索モードを有し、第１の探索モードで小
ブロック毎及び大ブロック毎にそれぞれブロックマッチ
ング誤差が最小となる小ブロック動きベクトル候補及び
大ブロック動きベクトル候補を探索し、第２の探索モー
ドで小ブロック毎にブロックマッチング誤差が最小とな
る小ブロック動きベクトル候補のみを探索する動きベク
トル候補探索手段と、第１の探索モードにおける大ブロ
ック動きベクトル候補及び小ブロック動きベクトル候補
にそれぞれ対応するブロックマッチング誤差に基づいて
最終的な動きベクトル候補を決定する動きベクトル候補
決定手段と、各探索階層毎に上位の探索階層における大
ブロック動きベクトル候補及び小ブロック動きベクトル
候補の探索結果に基づいて第１及び第２の探索モードの
うちのいずれかの探索モードを決定する探索モード決定
手段と、全ての探索階層及び１画面の入力画像に対する
処理の終了時に動きベクトル候補決定手段により決定さ
れた最終的な動きベクトル候補を検出動きベクトルとし
て出力する手段としてコンピュータを機能させるための
プログラムあるいは該プログラムを格納した記憶媒体が
提供される。
領域が参照画像上のどの領域から動いたかを示す動きベ
クトルを複数の探索モード及び複数の探索階層により探
索して検出する動きベクトル装置としてコンピュータを
機能させるためのプログラムであって、入力画像及び参
照画像を分割した大ブロックをさらに分割した小ブロッ
ク毎の入力画像と参照画像とのブロックマッチング誤差
を算出する小ブロックマッチング誤差算出手段と、小ブ
ロックマッチング誤差算出手段により算出された各小ブ
ロック毎のブロックマッチング誤差の和をとって大ブロ
ック毎の入力画像と参照画像とのブロックマッチング誤
差を算出する大ブロックマッチング誤差算出手段と、第
１及び第２の探索モードを有し、第１の探索モードで小
ブロック毎及び大ブロック毎にそれぞれブロックマッチ
ング誤差が最小となる小ブロック動きベクトル候補及び
大ブロック動きベクトル候補を探索し、第２の探索モー
ドで小ブロック毎にブロックマッチング誤差が最小とな
る小ブロック動きベクトル候補のみを探索する動きベク
トル候補探索手段と、第１の探索モードにおける大ブロ
ック動きベクトル候補及び小ブロック動きベクトル候補
にそれぞれ対応するブロックマッチング誤差に基づいて
最終的な動きベクトル候補を決定する動きベクトル候補
決定手段と、各探索階層毎に上位の探索階層における大
ブロック動きベクトル候補及び小ブロック動きベクトル
候補の探索結果に基づいて第１及び第２の探索モードの
うちのいずれかの探索モードを決定する探索モード決定
手段と、全ての探索階層及び１画面の入力画像に対する
処理の終了時に動きベクトル候補決定手段により決定さ
れた最終的な動きベクトル候補を検出動きベクトルとし
て出力する手段としてコンピュータを機能させるための
プログラムあるいは該プログラムを格納した記憶媒体が
提供される。
【００１４】
【発明の実施の形態】以下に、図面を用いて本発明の実
施形態を説明する。図１に、本発明の一実施形態に係る
動きベクトル検出装置の構成を示す。入力端子１１に
は、動きベクトル検出対象の画像信号である入力画像デ
ータが入力される。入力端子１２には、既に符号化され
局部復号化された画像信号が参照画像データとして入力
され、参照画像記憶部１４に記憶される。
施形態を説明する。図１に、本発明の一実施形態に係る
動きベクトル検出装置の構成を示す。入力端子１１に
は、動きベクトル検出対象の画像信号である入力画像デ
ータが入力される。入力端子１２には、既に符号化され
局部復号化された画像信号が参照画像データとして入力
され、参照画像記憶部１４に記憶される。
【００１５】入力画像データは小ブロック誤差算出部１
３に入力される。小ブロック誤差算出部１３では、入力
端子１１からの入力画像データのマクロブロック（大ブ
ロック）を小ブロックに分け、参照画像記憶部１４から
入力される各小ブロックの参照画像データとのブロック
マッチング誤差、すなわち小ブロック毎のブロックマッ
チング誤差を算出する。
３に入力される。小ブロック誤差算出部１３では、入力
端子１１からの入力画像データのマクロブロック（大ブ
ロック）を小ブロックに分け、参照画像記憶部１４から
入力される各小ブロックの参照画像データとのブロック
マッチング誤差、すなわち小ブロック毎のブロックマッ
チング誤差を算出する。
【００１６】小ブロック誤差算出部１３により算出され
た小ブロック毎のブロックマッチング誤差は、大ブロッ
クマッチング誤差算出部１５に入力される。大ブロック
マッチング誤差算出部１５では、各小ブロックの同一小
ブロック動きベクトル候補に対応するブロックマッチン
グ誤差の和をとることにより、大ブロック毎のブロック
マッチング誤差を算出する。
た小ブロック毎のブロックマッチング誤差は、大ブロッ
クマッチング誤差算出部１５に入力される。大ブロック
マッチング誤差算出部１５では、各小ブロックの同一小
ブロック動きベクトル候補に対応するブロックマッチン
グ誤差の和をとることにより、大ブロック毎のブロック
マッチング誤差を算出する。
【００１７】小ブロックマッチング誤差算出部１３で算
出された小ブロック毎のマブロックマッチング誤差と大
ブロックマッチング誤差算出部１５で算出された大ブロ
ック毎のブロックマッチング誤差の情報は、マッチング
誤差切替器１６を介して動きベクトル候補探索部１７に
交互に取り込まれる。動きベクトル候補探索部１７は、
小ブロック毎のブロックマッチング誤差のうちの最小誤
差と、大ブロック毎のブロックマッチング誤差のうちの
最小誤差を検出し、これらに基づき最小の小ブロック毎
のブロックマッチング誤差に対応する小ブロック動きベ
クトル候補と、最小の大ブロック毎のブロックマッチン
グ誤差に対応する大ブロック動きベクトル候補を探索す
る。
出された小ブロック毎のマブロックマッチング誤差と大
ブロックマッチング誤差算出部１５で算出された大ブロ
ック毎のブロックマッチング誤差の情報は、マッチング
誤差切替器１６を介して動きベクトル候補探索部１７に
交互に取り込まれる。動きベクトル候補探索部１７は、
小ブロック毎のブロックマッチング誤差のうちの最小誤
差と、大ブロック毎のブロックマッチング誤差のうちの
最小誤差を検出し、これらに基づき最小の小ブロック毎
のブロックマッチング誤差に対応する小ブロック動きベ
クトル候補と、最小の大ブロック毎のブロックマッチン
グ誤差に対応する大ブロック動きベクトル候補を探索す
る。
【００１８】動きベクトル候補探索部１７で探索された
小ブロック動きベクトル候補と大ブロック動きベクトル
候補の情報は、動きベクトル候補決定部１８に入力され
る。動きベクトル候補決定部１８は、探索モード決定部
１９によって決定された探索モードに従って最終的な動
きベクトル候補を決定する。すなわち、動きベクトル候
補決定部１８はマクロブロック探索モード（第１の探索
モード）では、各小ブロック動きベクトル候補に対応す
るブロックマッチング誤差及び大ブロック動きベクトル
候補に対応するブロックマッチング誤差が所定の条件を
満足するかどうかにより、小ブロック動きベクトル候補
及び大ブロック動きベクトル候補のいずれか一方を選択
する。また、動きベクトル候補決定部１８はブロック探
索モード（第２の探索モード）では、小ブロック動きベ
クトル候補を選択して、最終的な動きベクトル候補を決
定する。
小ブロック動きベクトル候補と大ブロック動きベクトル
候補の情報は、動きベクトル候補決定部１８に入力され
る。動きベクトル候補決定部１８は、探索モード決定部
１９によって決定された探索モードに従って最終的な動
きベクトル候補を決定する。すなわち、動きベクトル候
補決定部１８はマクロブロック探索モード（第１の探索
モード）では、各小ブロック動きベクトル候補に対応す
るブロックマッチング誤差及び大ブロック動きベクトル
候補に対応するブロックマッチング誤差が所定の条件を
満足するかどうかにより、小ブロック動きベクトル候補
及び大ブロック動きベクトル候補のいずれか一方を選択
する。また、動きベクトル候補決定部１８はブロック探
索モード（第２の探索モード）では、小ブロック動きベ
クトル候補を選択して、最終的な動きベクトル候補を決
定する。
【００１９】探索モード決定部１９は、動きベクトル候
補の階層的探索における各探索階層毎に、上位の探索階
層における大ブロック動きベクトル候補や小ブロック動
きベクトル候補に基づいて動きベクトル探索モードを決
定する。
補の階層的探索における各探索階層毎に、上位の探索階
層における大ブロック動きベクトル候補や小ブロック動
きベクトル候補に基づいて動きベクトル探索モードを決
定する。
【００２０】すなわち、まず最上位の探索階層において
は、参照画像と入力画像との間に動きベクトル検出済み
画像が存在しない場合は、最上位探索階層の初期動きベ
クトルとして零を設定すると共に、最上位探索階層の探
索モードとしてマクロブロック探索モードを設定する。
は、参照画像と入力画像との間に動きベクトル検出済み
画像が存在しない場合は、最上位探索階層の初期動きベ
クトルとして零を設定すると共に、最上位探索階層の探
索モードとしてマクロブロック探索モードを設定する。
【００２１】参照画像と入力画像との間に動きベクトル
検出済み画像が存在する場合は、現マクロブロックと同
画像位置の動きベクトル検出済み画像のマクロブロック
に対する動きベクトルに基づいて、最上位探索階層の初
期動きベクトル及び探索モードを決定する。具体的に
は、動きベクトル検出済み画像のマクロブロックの動き
ベクトルが大ブロック動きベクトルである場合は、その
動きベクトルを最上位探索階層の初期動きベクトルと
し、最上位探索階層の探索モードをマクロブロック探索
モードとする。
検出済み画像が存在する場合は、現マクロブロックと同
画像位置の動きベクトル検出済み画像のマクロブロック
に対する動きベクトルに基づいて、最上位探索階層の初
期動きベクトル及び探索モードを決定する。具体的に
は、動きベクトル検出済み画像のマクロブロックの動き
ベクトルが大ブロック動きベクトルである場合は、その
動きベクトルを最上位探索階層の初期動きベクトルと
し、最上位探索階層の探索モードをマクロブロック探索
モードとする。
【００２２】動きベクトル検出済み画像のマクロブロッ
クの動きベクトルが小ブロック動きベクトルである場合
は、各小ブロック動きベクトルが所定の条件を満たすか
どうかにより、最上位探索階層での初期動きベクトル及
び探索モードを決定する。例えば、動きベクトル検出済
み画像のマクロブロックに対する各小ブロック動きベク
トルの差分が所定値以下の場合は、それらの小ブロック
動きベクトルの中心ベクトルを最上位探索階層の初期動
きベクトルとし、最上位探索階層の探索モードをマクロ
ブロック探索モードとする。動きベクトル検出済み画像
のマクロブロックに対する各小ブロック動きベクトルの
差分が所定値以下でない場合（所定値を超える場合）
は、それらの小ブロック動きベクトルを最上位探索階層
の初期動きベクトルとし、最上位探索階層の探索モード
をブロック探索モードとする。
クの動きベクトルが小ブロック動きベクトルである場合
は、各小ブロック動きベクトルが所定の条件を満たすか
どうかにより、最上位探索階層での初期動きベクトル及
び探索モードを決定する。例えば、動きベクトル検出済
み画像のマクロブロックに対する各小ブロック動きベク
トルの差分が所定値以下の場合は、それらの小ブロック
動きベクトルの中心ベクトルを最上位探索階層の初期動
きベクトルとし、最上位探索階層の探索モードをマクロ
ブロック探索モードとする。動きベクトル検出済み画像
のマクロブロックに対する各小ブロック動きベクトルの
差分が所定値以下でない場合（所定値を超える場合）
は、それらの小ブロック動きベクトルを最上位探索階層
の初期動きベクトルとし、最上位探索階層の探索モード
をブロック探索モードとする。
【００２３】探索モード決定部１９は、下位探索階層で
は動きベクトル候補決定部１８により決定されたより上
位探索階層の動きベクトル候補に基づいて、探索階層毎
の初期動きベクトル及び探索モードを決定する。具体的
には、上位探索階層で大ブロック動きベクトル候補が選
択された場合は、その大ブロック動きベクトル候補を現
探索階層の初期動きベクトルとし、現探索階層の探索モ
ードをマクロブロック探索モードとする。上位探索階層
で小ブロック動きベクトル候補が選択された場合（上位
探索階層の探索モードがブロック探索モードの場合を含
む）は、その小ブロック動きベクトル候補を現探索階層
の現マクロブロックを構成する各小ブロックの初期動き
ベクトルとし、現探索階層の探索モードをブロック探索
モードとする。
は動きベクトル候補決定部１８により決定されたより上
位探索階層の動きベクトル候補に基づいて、探索階層毎
の初期動きベクトル及び探索モードを決定する。具体的
には、上位探索階層で大ブロック動きベクトル候補が選
択された場合は、その大ブロック動きベクトル候補を現
探索階層の初期動きベクトルとし、現探索階層の探索モ
ードをマクロブロック探索モードとする。上位探索階層
で小ブロック動きベクトル候補が選択された場合（上位
探索階層の探索モードがブロック探索モードの場合を含
む）は、その小ブロック動きベクトル候補を現探索階層
の現マクロブロックを構成する各小ブロックの初期動き
ベクトルとし、現探索階層の探索モードをブロック探索
モードとする。
【００２４】さらに、探索モード決定部１９では、現マ
クロブロックの上位の探索階層での動きベクトル候補探
索結果が大ブロック動きベクトル候補である場合は、そ
の動きベクトル候補を現探索階層の初期動きベクトルと
すると共に、現探索階層の探索モードをマクロブロック
探索モードとし、現マクロブロックの上位探索階層での
動きベクトル候補探索結果が小ブロック動きベクトル候
補である場合（現マクロブロックの上位探索階層の探索
モードがブロック探索モードの場合を含む）は、各小ブ
ロック動きベクトル候補が所定条件を満たすかどうかに
より現探索階層での初期動きベクトル及び探索モードを
決定してもよい。
クロブロックの上位の探索階層での動きベクトル候補探
索結果が大ブロック動きベクトル候補である場合は、そ
の動きベクトル候補を現探索階層の初期動きベクトルと
すると共に、現探索階層の探索モードをマクロブロック
探索モードとし、現マクロブロックの上位探索階層での
動きベクトル候補探索結果が小ブロック動きベクトル候
補である場合（現マクロブロックの上位探索階層の探索
モードがブロック探索モードの場合を含む）は、各小ブ
ロック動きベクトル候補が所定条件を満たすかどうかに
より現探索階層での初期動きベクトル及び探索モードを
決定してもよい。
【００２５】例えば、各小ブロック動きベクトル候補の
差分が所定値以下の場合は、それらの小ブロック動きベ
クトル候補の中心ベクトルを現探索階層の初期動きベク
トルとし、現探索階層の探索モードをマクロブロック探
索モードとし、そうで無い場合は各小ブロック動きベク
トル候補を現探索階層の現マクロブロックを構成する各
小ブロックの初期動きベクトルとし、現探索階層の探索
モードをブロック探索モードとする。さらに、探索モー
ド決定部１９は、初期動きベクトルに従って対応する参
照画像データを参照画像記憶部１４から読み出して、小
ブロック誤差算出部１３に供給する処理も行う。
差分が所定値以下の場合は、それらの小ブロック動きベ
クトル候補の中心ベクトルを現探索階層の初期動きベク
トルとし、現探索階層の探索モードをマクロブロック探
索モードとし、そうで無い場合は各小ブロック動きベク
トル候補を現探索階層の現マクロブロックを構成する各
小ブロックの初期動きベクトルとし、現探索階層の探索
モードをブロック探索モードとする。さらに、探索モー
ド決定部１９は、初期動きベクトルに従って対応する参
照画像データを参照画像記憶部１４から読み出して、小
ブロック誤差算出部１３に供給する処理も行う。
【００２６】このようにして動きベクトル候補決定部１
８により全ての探索階層及び１画面の入力画像に対する
処理の終了時に決定された最終的な動きベクトル候補
は、出力端子２０から検出動きベクトルとして出力され
る。
８により全ての探索階層及び１画面の入力画像に対する
処理の終了時に決定された最終的な動きベクトル候補
は、出力端子２０から検出動きベクトルとして出力され
る。
【００２７】次に、本実施形態に係る動きベクトル検出
の処理手順について図４を用いて説明する。まず、動き
ベクトル検出対象画像である入力画像と参照画像との間
に動きベクトル検出済み画像が存在しない場合、動きベ
クトル探索モード決定ステップＳ０１において最上位探
索階層の初期動きベクトルとして零を設定し、最上位探
索階層の探索モードをマクロブロック探索モード（第１
の探索モード）に決定する。
の処理手順について図４を用いて説明する。まず、動き
ベクトル検出対象画像である入力画像と参照画像との間
に動きベクトル検出済み画像が存在しない場合、動きベ
クトル探索モード決定ステップＳ０１において最上位探
索階層の初期動きベクトルとして零を設定し、最上位探
索階層の探索モードをマクロブロック探索モード（第１
の探索モード）に決定する。
【００２８】入力画像と参照画像との間に動きベクトル
検出済み画像が存在する場合は、動きベクトル探索モー
ド決定ステップＳ０１において現マクロブロックと同画
像位置の動きベクトル検出済み画像の大ブロックに対す
る動きベクトルに基づいて、最上位探索階層での初期動
きベクトルをの設定及び探索モードの決定を行う。具体
的には、動きベクトル検出済み画像のマクロブロックの
動きベクトルが大ブロック動きベクトルである場合は、
その動きベクトルを最上位探索階層の初期動きベクトル
に設定し、最上位探索階層の探索モードをマクロブロッ
ク探索モードに決定する。
検出済み画像が存在する場合は、動きベクトル探索モー
ド決定ステップＳ０１において現マクロブロックと同画
像位置の動きベクトル検出済み画像の大ブロックに対す
る動きベクトルに基づいて、最上位探索階層での初期動
きベクトルをの設定及び探索モードの決定を行う。具体
的には、動きベクトル検出済み画像のマクロブロックの
動きベクトルが大ブロック動きベクトルである場合は、
その動きベクトルを最上位探索階層の初期動きベクトル
に設定し、最上位探索階層の探索モードをマクロブロッ
ク探索モードに決定する。
【００２９】動きベクトル検出済み画像のマクロブロッ
クの動きベクトルが小ブロック動きベクトルである場合
は、各小ブロック動きベクトルが所定条件を満たすかど
うかにより、最上位探索階層での初期動きベクトルの設
定及び探索モードの決定を行う。例えば、動きベクトル
検出済み画像のマクロブロックに対する各小ブロック動
きベクトルの差分が所定値以下の場合は、それらの小ブ
ロック動きベクトルの中心ベクトルを最上位探索階層の
初期動きベクトルに設定すると共に、最上位探索階層の
探索モードをマクロブロック探索モードに決定し、そう
で無い場合はそれらの小ブロック動きベクトルを最上位
探索階層の現マクロブロックを構成する各小ブロックの
初期動きベクトルに設定し、最上位探索階層の探索モー
ドをブロック探索モード（第２の探索モード）に決定す
る。
クの動きベクトルが小ブロック動きベクトルである場合
は、各小ブロック動きベクトルが所定条件を満たすかど
うかにより、最上位探索階層での初期動きベクトルの設
定及び探索モードの決定を行う。例えば、動きベクトル
検出済み画像のマクロブロックに対する各小ブロック動
きベクトルの差分が所定値以下の場合は、それらの小ブ
ロック動きベクトルの中心ベクトルを最上位探索階層の
初期動きベクトルに設定すると共に、最上位探索階層の
探索モードをマクロブロック探索モードに決定し、そう
で無い場合はそれらの小ブロック動きベクトルを最上位
探索階層の現マクロブロックを構成する各小ブロックの
初期動きベクトルに設定し、最上位探索階層の探索モー
ドをブロック探索モード（第２の探索モード）に決定す
る。
【００３０】動きベクトル探索モード決定ステップＳ０
１においてマクロブロック探索モードが決定された場合
は、探索モード判定ステップＳ０２を介してステップＳ
１１〜Ｓ１５からなるマクロブロック探索モードによる
動きベクトル候補探索処理を行う。
１においてマクロブロック探索モードが決定された場合
は、探索モード判定ステップＳ０２を介してステップＳ
１１〜Ｓ１５からなるマクロブロック探索モードによる
動きベクトル候補探索処理を行う。
【００３１】すなわち、マクロブロック探索モードでは
ステップＳ０２から小ブロック誤差算出ステップＳ１１
に移り、初期動きベクトルに基づき参照領域データを入
力して入力画像のマクロブロックに対して小ブロック毎
に参照画像とのブロックマッチング誤差を算出する。次
に、大ブロック誤差算出ステップＳ１２において各小ブ
ロックのブロックマッチング誤差の和をとることによ
り、大ブロックのブロックマッチング誤差を算出する。
次に、動きベクトル候補探索ステップＳ１３において、
各小ブロックのブロックマッチング誤差が最小となる位
置を示す小ブロック動きベクトル候補及び大ブロックの
ブロックマッチング誤差が最小となる位置を示す大ブロ
ック動きベクトル候補とそれらの動きベクトル候補に対
応する各ブロックマッチング誤差を更新する。次に、探
索範囲終了判定ステップＳ１４を介して探索位置更新ス
テップＳ１５に移り、探索位置の更新に従って新しい参
照領域データを入力する。そして、前述のステップＳ１
１から探索位置更新ステップＳ１５までの処理が探索範
囲終了判定ステップＳ１４により探索範囲終了と判断さ
れるまで繰り返される。
ステップＳ０２から小ブロック誤差算出ステップＳ１１
に移り、初期動きベクトルに基づき参照領域データを入
力して入力画像のマクロブロックに対して小ブロック毎
に参照画像とのブロックマッチング誤差を算出する。次
に、大ブロック誤差算出ステップＳ１２において各小ブ
ロックのブロックマッチング誤差の和をとることによ
り、大ブロックのブロックマッチング誤差を算出する。
次に、動きベクトル候補探索ステップＳ１３において、
各小ブロックのブロックマッチング誤差が最小となる位
置を示す小ブロック動きベクトル候補及び大ブロックの
ブロックマッチング誤差が最小となる位置を示す大ブロ
ック動きベクトル候補とそれらの動きベクトル候補に対
応する各ブロックマッチング誤差を更新する。次に、探
索範囲終了判定ステップＳ１４を介して探索位置更新ス
テップＳ１５に移り、探索位置の更新に従って新しい参
照領域データを入力する。そして、前述のステップＳ１
１から探索位置更新ステップＳ１５までの処理が探索範
囲終了判定ステップＳ１４により探索範囲終了と判断さ
れるまで繰り返される。
【００３２】探索範囲終了時には、動きベクトル候補探
索ステップＳ１３の処理により、探索範囲内での小ブロ
ック毎にブロックマッチング誤差が最小となる小ブロッ
ク動きベクトル候補及び大ブロックのブロックマッチン
グ誤差が最小となる大ブロック動きベクトル候補とそれ
らの動きベクトル候補に対応するブロックマッチング誤
差が求まり、動きベクトル候補決定ステップＳ０３に移
る。
索ステップＳ１３の処理により、探索範囲内での小ブロ
ック毎にブロックマッチング誤差が最小となる小ブロッ
ク動きベクトル候補及び大ブロックのブロックマッチン
グ誤差が最小となる大ブロック動きベクトル候補とそれ
らの動きベクトル候補に対応するブロックマッチング誤
差が求まり、動きベクトル候補決定ステップＳ０３に移
る。
【００３３】動きベクトル候補決定ステップＳ０３で
は、小ブロック動きベクトル候補に対応するブロックマ
ッチング誤差の和と大ブロック動きベクトル候補に対応
するブロックマッチング誤差に基づいて所定の条件を満
足するかどうかにより、小ブロック動きベクトル候補及
び大ブロック動きベクトル候補の一方を選択して動きベ
クトル候補を決定する。
は、小ブロック動きベクトル候補に対応するブロックマ
ッチング誤差の和と大ブロック動きベクトル候補に対応
するブロックマッチング誤差に基づいて所定の条件を満
足するかどうかにより、小ブロック動きベクトル候補及
び大ブロック動きベクトル候補の一方を選択して動きベ
クトル候補を決定する。
【００３４】例えば、各小ブロック動きベクトル候補に
対応するブロックマッチング誤差の和をＳＡＤｓｂ、大
ブロック動きベクトル候補に対応するブロックマッチン
グ誤差をＳＡＤｍｂ、Ｋｐを探索階層毎に定めた定数と
して、 ＳＡＤｓｂ＋Ｋｐ＞ＳＡＤｍｂ （１） を満足する場合は大ブロック動きベクトル候補を選択す
る。式（１）の条件を満足しない場合は、小ブロック動
きベクトル候補を選択する。ここで、動きベクトル候補
の探索精度と符号化効率の観点から、上位探索階層にお
ける定数Ｋｐは下位探索階層における値以下にするのが
望ましい。
対応するブロックマッチング誤差の和をＳＡＤｓｂ、大
ブロック動きベクトル候補に対応するブロックマッチン
グ誤差をＳＡＤｍｂ、Ｋｐを探索階層毎に定めた定数と
して、 ＳＡＤｓｂ＋Ｋｐ＞ＳＡＤｍｂ （１） を満足する場合は大ブロック動きベクトル候補を選択す
る。式（１）の条件を満足しない場合は、小ブロック動
きベクトル候補を選択する。ここで、動きベクトル候補
の探索精度と符号化効率の観点から、上位探索階層にお
ける定数Ｋｐは下位探索階層における値以下にするのが
望ましい。
【００３５】一方、動きベクトル探索モード決定ステッ
プＳ０１でブロック探索モードが決定された場合は、探
索モード判定ステップＳ０２を介してステップＳ２１〜
Ｓ２５からなるブロック探索モードによる動きベクトル
候補探索処理を行う。
プＳ０１でブロック探索モードが決定された場合は、探
索モード判定ステップＳ０２を介してステップＳ２１〜
Ｓ２５からなるブロック探索モードによる動きベクトル
候補探索処理を行う。
【００３６】すなわち、マクロブロック探索モードでは
ステップＳ０２から小ブロック誤差算出ステップＳ２１
へ移り、小ブロック毎に設定された初期動きベクトルに
基づいて参照領域データを入力し、小ブロック毎に参照
画像とのブロックマッチング誤差を算出する。次に、動
きベクトル候補探索ステップＳ２３において、小ブロッ
ク毎にブロックマッチング誤差が最小となる小ブロック
動きベクトル候補とそのブロックマッチング誤差を更新
する。次に、探索範囲終了判定ステップＳ２４を介して
探索位置更新ステップＳ２５に移り、探索位置の更新に
従って新しい参照領域データを入力する。そして、小ブ
ロック誤差算出ステップＳ２１から探索位置更新ステッ
プＳ２５までの処理が探索範囲終了判定ステップＳ２４
により探索範囲終了と判断されるまで繰り返される。
ステップＳ０２から小ブロック誤差算出ステップＳ２１
へ移り、小ブロック毎に設定された初期動きベクトルに
基づいて参照領域データを入力し、小ブロック毎に参照
画像とのブロックマッチング誤差を算出する。次に、動
きベクトル候補探索ステップＳ２３において、小ブロッ
ク毎にブロックマッチング誤差が最小となる小ブロック
動きベクトル候補とそのブロックマッチング誤差を更新
する。次に、探索範囲終了判定ステップＳ２４を介して
探索位置更新ステップＳ２５に移り、探索位置の更新に
従って新しい参照領域データを入力する。そして、小ブ
ロック誤差算出ステップＳ２１から探索位置更新ステッ
プＳ２５までの処理が探索範囲終了判定ステップＳ２４
により探索範囲終了と判断されるまで繰り返される。
【００３７】探索範囲終了時には、動きベクトル候補探
索ステップＳ２３の処理により、探索範囲内での小ブロ
ック毎にブロックマッチング誤差が最小となる小ブロッ
ク動きベクトル候補と各小ブロック動きベクトル候補に
対応するブロックマッチング誤差が求まる。
索ステップＳ２３の処理により、探索範囲内での小ブロ
ック毎にブロックマッチング誤差が最小となる小ブロッ
ク動きベクトル候補と各小ブロック動きベクトル候補に
対応するブロックマッチング誤差が求まる。
【００３８】次に、全探索階層終了判定ステップＳ０４
を介して探索階層更新ステップＳ０５に移り探索階層を
下位に更新し、動きベクトル探索モード決定ステップＳ
０１に移る。動きベクトル探索モード決定ステップＳ０
１では、上位探索階層での動きベクトル候補探索結果に
従って、現探索階層の初期動きベクトルと探索モードを
設定する。
を介して探索階層更新ステップＳ０５に移り探索階層を
下位に更新し、動きベクトル探索モード決定ステップＳ
０１に移る。動きベクトル探索モード決定ステップＳ０
１では、上位探索階層での動きベクトル候補探索結果に
従って、現探索階層の初期動きベクトルと探索モードを
設定する。
【００３９】具体的には、上位探索階層で大ブロック動
きベクトル候補が選択された場合は、その大ブロック動
きベクトル候補を現探索階層の初期動きベクトルとし、
現探索階層の探索モードをマクロブロック探索モードと
し、小ブロック動きベクトル候補が選択された場合（上
位探索階層の探索モードがブロック探索モードの場合を
含む）は、その小ブロック動きベクトル候補を現探索階
層の現マクロブロックを構成する各小ブロックの初期動
きベクトルとし、現探索階層の探索モードをブロック探
索モードとする。
きベクトル候補が選択された場合は、その大ブロック動
きベクトル候補を現探索階層の初期動きベクトルとし、
現探索階層の探索モードをマクロブロック探索モードと
し、小ブロック動きベクトル候補が選択された場合（上
位探索階層の探索モードがブロック探索モードの場合を
含む）は、その小ブロック動きベクトル候補を現探索階
層の現マクロブロックを構成する各小ブロックの初期動
きベクトルとし、現探索階層の探索モードをブロック探
索モードとする。
【００４０】さらに、動きベクトル探索モード決定ステ
ップＳ０１においてマクロブロック探索モードが選択さ
れた場合は、探索モード判定ステップＳ０２を介して小
ブロック誤差算出ステップＳ１１へ移り、小ブロック誤
差算出ステップＳ１１から探索位置更新ステップＳ１５
までの処理が探索範囲終了判定ステップＳ１４により探
索範囲終了と判断されるまで繰り返される。
ップＳ０１においてマクロブロック探索モードが選択さ
れた場合は、探索モード判定ステップＳ０２を介して小
ブロック誤差算出ステップＳ１１へ移り、小ブロック誤
差算出ステップＳ１１から探索位置更新ステップＳ１５
までの処理が探索範囲終了判定ステップＳ１４により探
索範囲終了と判断されるまで繰り返される。
【００４１】また、この動きベクトル探索モード決定ス
テップＳ０１においてブロック探索モードが選択された
場合には、探索モード判定ステップＳ０２を介して小ブ
ロック誤差算出ステップＳ２１へ移り、小ブロック誤差
算出ステップＳ２１から探索位置更新ステップＳ２５ま
での処理が探索範囲終了判定ステップＳ２４により探索
範囲終了と判断されるまで繰り返される。
テップＳ０１においてブロック探索モードが選択された
場合には、探索モード判定ステップＳ０２を介して小ブ
ロック誤差算出ステップＳ２１へ移り、小ブロック誤差
算出ステップＳ２１から探索位置更新ステップＳ２５ま
での処理が探索範囲終了判定ステップＳ２４により探索
範囲終了と判断されるまで繰り返される。
【００４２】このようにして、全探索階層終了判定ステ
ップＳ０４により１つのマクロブロックについて全ての
探索階層における動きベクトル候補探索が終了したと判
断されるまで、動きベクトル探索モード決定ステップＳ
０１から探索階層更新ステップＳ０５までの処理が繰り
返される。１つのマクロブロックについて全探索階層が
終了すると、全探索階層終了判定ステップＳ０４から１
画像終了判定ステップＳ０６を介してマクロブロック更
新ステップＳ０７に移り、現マクロブロックが更新さ
れ、動きベクトル探索モード決定ステップＳ０１に戻
る。上述の処理は、１画面終了判定ステップＳ０６で１
画面分の動きベクトル探索終了と判断されるまで繰り返
される。
ップＳ０４により１つのマクロブロックについて全ての
探索階層における動きベクトル候補探索が終了したと判
断されるまで、動きベクトル探索モード決定ステップＳ
０１から探索階層更新ステップＳ０５までの処理が繰り
返される。１つのマクロブロックについて全探索階層が
終了すると、全探索階層終了判定ステップＳ０４から１
画像終了判定ステップＳ０６を介してマクロブロック更
新ステップＳ０７に移り、現マクロブロックが更新さ
れ、動きベクトル探索モード決定ステップＳ０１に戻
る。上述の処理は、１画面終了判定ステップＳ０６で１
画面分の動きベクトル探索終了と判断されるまで繰り返
される。
【００４３】本実施形態は、探索階層の更新をマクロブ
ロック単位で行うため、上位探索階層で探索した動きベ
クトル候補に対応するブロックマッチング誤差と現探索
階層のブロックマッチング誤差の比較も行って、ブロッ
クマッチング誤差が最小となる動きベクトル候補を探索
する、いわゆる木探索による動きベクトル検出処理に適
している。
ロック単位で行うため、上位探索階層で探索した動きベ
クトル候補に対応するブロックマッチング誤差と現探索
階層のブロックマッチング誤差の比較も行って、ブロッ
クマッチング誤差が最小となる動きベクトル候補を探索
する、いわゆる木探索による動きベクトル検出処理に適
している。
【００４４】図４は、本発明の第２の実施形態に係る動
きベクトル検出の処理手順を示している。本実施形態は
第１の実施形態の図３に示したステップＳ０４〜Ｓ０５
の処理とステップＳ０６〜Ｓ０７の処理を入れ替えて、
探索階層の更新を１画像単位で行う例であり、他の処理
内容については第１の実施形態と同様であるため、説明
を省略する。本実施形態は、隣接する大ブロックに対し
て参照画像データの領域の共通部分が存在する、いわゆ
る対数探索による動きベクトル検出などに適している。
きベクトル検出の処理手順を示している。本実施形態は
第１の実施形態の図３に示したステップＳ０４〜Ｓ０５
の処理とステップＳ０６〜Ｓ０７の処理を入れ替えて、
探索階層の更新を１画像単位で行う例であり、他の処理
内容については第１の実施形態と同様であるため、説明
を省略する。本実施形態は、隣接する大ブロックに対し
て参照画像データの領域の共通部分が存在する、いわゆ
る対数探索による動きベクトル検出などに適している。
【００４５】
【発明の効果】以上説明したように、本発明によれば大
ブロックでの動きベクトルによる動き補償の効果の少な
い場合や、有意な大ブロックでの動きベクトル候補探索
を小ブロックの動きベクトル候補探索結果から算出でき
ない場合にのみ、大ブロックでの動きベクトル候補探索
が省略されることにより、小ブロックによる動き補償の
多用を避け、少ないメモリバンド幅と少ない演算量で高
い符号化効率を維持できる動きベクトル検出が可能とな
る。
ブロックでの動きベクトルによる動き補償の効果の少な
い場合や、有意な大ブロックでの動きベクトル候補探索
を小ブロックの動きベクトル候補探索結果から算出でき
ない場合にのみ、大ブロックでの動きベクトル候補探索
が省略されることにより、小ブロックによる動き補償の
多用を避け、少ないメモリバンド幅と少ない演算量で高
い符号化効率を維持できる動きベクトル検出が可能とな
る。
【図１】 本発明の一実施形態に係る動きベクトル検出
装置の構成を示すブロック図
装置の構成を示すブロック図
【図２】本発明の一実施形態に係る動きベクトル検出方
法の処理手順を示すフローチャート
法の処理手順を示すフローチャート
【図３】本発明の他の実施形態に係る動きベクトル検出
方法の処理手順を示すフローチャート
方法の処理手順を示すフローチャート
【図４】フレームモードとフィールドモードの説明図
【図５】マクロブロックモードとブロックモードの説明
図
図
【図６】小ブロックによる動き補償の説明図
１１…動きベクトル検出対象画像信号入力端子
１２…参照画像信号入力端子
１３…小ブロックマッチング誤差算出部
１４…参照画像記憶部
１５…大ブロックマッチング誤差算出部
１６…マッチング誤差切替器
１７…動きベクトル候補探索部
１８…動きベクトル候補決定部
１９…探索モード決定部
２０…動きベクトル情報出力端子
Claims (8)
- 【請求項１】入力画像上の部分領域が参照画像上のどの
領域から動いたかを示す動きベクトルを複数の探索モー
ド及び複数の探索階層により探索して検出する動きベク
トル検出方法において、 入力画像及び参照画像を分割した大ブロックをさらに分
割した小ブロック毎及び大ブロック毎に入力画像と参照
画像とのブロックマッチング誤差を算出し、小ブロック
毎及び大ブロック毎にそれぞれブロックマッチング誤差
が最小となる小ブロック動きベクトル候補及び大ブロッ
ク動きベクトル候補を探索する第１の探索モードに基づ
く第１の動きベクトル候補探索ステップと、 前記小ブロック毎に入力画像と参照画像とのブロックマ
ッチング誤差を算出し、小ブロック毎にブロックマッチ
ング誤差が最小となる小ブロック動きベクトル候補を探
索する第２の探索モードに基づく第２の動きベクトル候
補探索ステップと、 前記第１の探索モードにおける前記大ブロック動きベク
トル候補及び小ブロック動きベクトル候補にそれぞれ対
応するブロックマッチング誤差に基づいて最終的な動き
ベクトル候補を決定する動きベクトル候補決定ステップ
と、 各探索階層毎に上位の探索階層における大ブロック動き
ベクトル候補及び小ブロック動きベクトル候補の探索結
果に基づいて前記第１及び第２の探索モードのうちのい
ずれかの探索モードを決定する探索モード決定ステップ
と、 全ての探索階層及び１画面の入力画像に対する処理の終
了時に前記動きベクトル候補決定ステップにより決定さ
れた前記最終的な動きベクトル候補を検出動きベクトル
として出力するステップとを具備する動きベクトル検出
方法。 - 【請求項２】前記第１の動きベクトル候補探索ステップ
は、各小ブロック毎のブロックマッチング誤差の和をと
って大ブロック毎のブロックマッチング誤差を算出する
請求項１記載の動きベクトル検出方法。 - 【請求項３】前記動きベクトル候補決定ステップは、前
記第１の探索モードで探索される大ブロック動きベクト
ル候補及び小ブロック動きベクトル候補にそれぞれ対応
するブロックマッチング誤差が所定の条件を満足するか
どうかにより、小ブロック動きベクトル候補と大ブロッ
ク動きベクトル候補の一方を選択して前記最終的な動き
ベクトル候補とする請求項１記載の動きベクトル検出方
法。 - 【請求項４】前記探索モード決定ステップは、上位の探
索階層において前記動きベクトル候補決定ステップで大
ブロック動きベクトル候補が選択された場合は探索モー
ドを前記第１の探索モードに決定し、上位の探索階層に
おいて前記動きベクトル候補決定ステップで小ブロック
動きベクトル候補が選択された場合及び第２の探索モー
ドの場合は小ブロック動きベクトル候補が所定の条件を
満足するかどうかにより探索モードを決定する請求項１
記載の動きベクトル検出方法。 - 【請求項５】前記探索モード決定ステップは、前記入力
画像と参照画像との間に動きベクトル検出済み画像が存
在しない場合は、最上位の探索階層における探索モード
を前記第１の探索モードに決定し、前記入力画像と参照
画像との間に動きベクトル検出済み画像が存在する場合
は、前記入力画像の大ブロックと画面内位置が同一の動
きベクトル検出済み画像中の大ブロックに対する動きベ
クトル候補に基づいて該最上位の探索階層における探索
モードを決定する請求項４記載の動きベクトル検出方
法。 - 【請求項６】入力画像上の部分領域が参照画像上のどの
領域から動いたかを示す動きベクトルを複数の探索モー
ド及び複数の探索階層により探索して検出する動きベク
トル検出装置において、 入力画像及び参照画像を分割した大ブロックをさらに分
割した小ブロック毎の入力画像と参照画像とのブロック
マッチング誤差を算出する小ブロックマッチング誤差算
出手段と、 前記小ブロックマッチング誤差算出手段により算出され
た各小ブロック毎のブロックマッチング誤差の和をとっ
て大ブロック毎の入力画像と参照画像とのブロックマッ
チング誤差を算出する大ブロックマッチング誤差算出手
段と、 第１及び第２の旦濯モードを有し、第１の探索モードで
小ブロック毎及び大ブロック毎にそれぞれブロックマッ
チング誤差が最小となる小ブロック動きベクトル候補及
び大ブロック動きベクトル候補を探索し、第２の探索モ
ードで小ブロック毎にブロックマッチング誤差が最小と
なる小ブロック動きベクトル候補のみを探索する動きベ
クトル候補探索手段と、 前記第１の探索モードにおける大ブロック動きベクトル
候補及び小ブロック動きベクトル候補にそれぞれ対応す
るブロックマッチング誤差に基づいて最終的な動きベク
トル候補を決定する動きベクトル候補決定手段と、 各探索階層毎に上位の探索階層における大ブロック動き
ベクトル候補及び小ブロック動きベクトル候補の探索結
果に基づいて前記第１及び第２の探索モードのうちのい
ずれかの探索モードを決定する探索モード決定手段と、 全ての探索階層及び１画面の入力画像に対する処理の終
了時に前記動きベクトル候補決定手段により決定された
前記最終的な動きベクトル候補を検出動きベクトルとし
て出力する手段とを具備する動きベクトル検出装置。 - 【請求項７】入力画像上の部分領域が参照画像上のどの
領域から動いたかを示す動きベクトルを複数の探索モー
ド及び複数の探索階層により探索して検出する動きベク
トル検出処理をコンピュータに実行させるためのプログ
ラムであって、 入力画像及び参照画像を分割した大ブロックをさらに分
割した小ブロック毎及び大ブロック毎に入力画像と参照
画像とのブロックマッチング誤差を算出し、小ブロック
毎及び大ブロック毎にそれぞれブロックマッチング誤差
が最小となる小ブロック動きベクトル候補及び大ブロッ
ク動きベクトル候補を探索する第１の探索モードに基づ
く第１の動きベクトル候補探索処理と、 前記小ブロック毎に入力画像と参照画像とのブロックマ
ッチング誤差を算出し、小ブロック毎にブロックマッチ
ング誤差が最小となる小ブロック動きベクトル候補を探
索する第２の探索モードに基づく第２の動きベクトル候
補探索処理と、 前記第１の探索モードにおいて前記大ブロック動きベク
トル候補及び小ブロック動きベクトル候補にそれぞれ対
応するブロックマッチング誤差に基づいて最終的な動き
ベクトル候補を決定する動きベクトル候補決定処理と、 各探索階層毎に上位の探索階層における大ブロック動き
ベクトル候補及び小ブロック動きベクトル候補の探索結
果に基づいて前記第１及び第２の探索モードのうちのい
ずれかの探索モードを決定する探索モード決定処理と、 全ての探索階層及び１画面の入力画像に対する処理の終
了時に前記動きベクトル候補決定手段により決定された
前記最終的な動きベクトル候補を検出動きベクトルとし
て出力する処理とをコンピュータに実行させるためのプ
ログラム。 - 【請求項８】入力画像上の部分領域が参照画像上のどの
領域から動いたかを示す動きベクトルを複数の探索モー
ド及び複数の探索階層により探索して検出する動きベク
トル装置としてコンピュータを機能させるためのプログ
ラムであって、 入力画像及び参照画像を分割した大ブロックをさらに分
割した小ブロック毎の入力画像と参照画像とのブロック
マッチング誤差を算出する小ブロックマッチング誤差算
出手段と、 前記小ブロックマッチング誤差算出手段により算出され
た各小ブロック毎のブロックマッチング誤差の和をとっ
て大ブロック毎の入力画像と参照画像とのブロックマッ
チング誤差を算出する大ブロックマッチング誤差算出手
段と、 第１及び第２の探索モードを有し、第１の探索モードで
小ブロック毎及び大ブロック毎にそれぞれブロックマッ
チング誤差が最小となる小ブロック動きベクトル候補及
び大ブロック動きベクトル候補を探索し、第２の探索モ
ードで小ブロック毎にブロックマッチング誤差が最小と
なる小ブロック動きベクトル候補のみを探索する動きベ
クトル候補探索手段と、 前記第１の探索モードにおける大ブロック動きベクトル
候補及び小ブロック動きベクトル候補にそれぞれ対応す
るブロックマッチング誤差に基づいて最終的な動きベク
トル候補を決定する動きベクトル候補決定手段と、 各探索階層毎に上位の探索階層における大ブロック動き
ベクトル候補及び小ブロック動きベクトル候補の探索結
果に基づいて前記第１及び第２の探索モードのうちのい
ずれかの探索モードを決定する探索モード決定手段と、 全ての探索階層及び１画面の入力画像に対する処理の終
了時に前記動きベクトル候補決定手段により決定された
前記最終的な動きベクトル候補を検出動きベクトルとし
て出力する手段としてコンピュータを機能させるための
プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001304009A JP3782332B2 (ja) | 2001-09-28 | 2001-09-28 | 動きベクトル検出方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001304009A JP3782332B2 (ja) | 2001-09-28 | 2001-09-28 | 動きベクトル検出方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003111082A true JP2003111082A (ja) | 2003-04-11 |
| JP3782332B2 JP3782332B2 (ja) | 2006-06-07 |
Family
ID=19123999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001304009A Expired - Lifetime JP3782332B2 (ja) | 2001-09-28 | 2001-09-28 | 動きベクトル検出方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3782332B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005012527A (ja) * | 2003-06-19 | 2005-01-13 | Nippon Hoso Kyokai <Nhk> | 符号化装置、符号化プログラムおよび符号化方法 |
| JP2008505546A (ja) * | 2004-07-02 | 2008-02-21 | クゥアルコム・インコーポレイテッド | ビデオ圧縮システムにおける動き推定 |
| JP2008124580A (ja) * | 2006-11-08 | 2008-05-29 | Matsushita Electric Ind Co Ltd | 動きベクトル検出方法、動きベクトル検出装置、及び撮像システム |
| KR100942778B1 (ko) | 2008-01-14 | 2010-02-18 | 전남대학교산학협력단 | 움직임 벡터 탐색방법 및 장치 |
| US7953151B2 (en) | 2003-09-24 | 2011-05-31 | Kddi Corporation | Motion vector detecting apparatus |
| WO2013014693A1 (ja) * | 2011-07-22 | 2013-01-31 | 株式会社日立製作所 | 動画像復号化方法及び画像符号化方法 |
| JP2015092705A (ja) * | 2014-12-16 | 2015-05-14 | 株式会社日立製作所 | 動画像復号化方法及び画像符号化方法 |
-
2001
- 2001-09-28 JP JP2001304009A patent/JP3782332B2/ja not_active Expired - Lifetime
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005012527A (ja) * | 2003-06-19 | 2005-01-13 | Nippon Hoso Kyokai <Nhk> | 符号化装置、符号化プログラムおよび符号化方法 |
| US7953151B2 (en) | 2003-09-24 | 2011-05-31 | Kddi Corporation | Motion vector detecting apparatus |
| JP2008505546A (ja) * | 2004-07-02 | 2008-02-21 | クゥアルコム・インコーポレイテッド | ビデオ圧縮システムにおける動き推定 |
| JP2008124580A (ja) * | 2006-11-08 | 2008-05-29 | Matsushita Electric Ind Co Ltd | 動きベクトル検出方法、動きベクトル検出装置、及び撮像システム |
| KR100942778B1 (ko) | 2008-01-14 | 2010-02-18 | 전남대학교산학협력단 | 움직임 벡터 탐색방법 및 장치 |
| WO2013014693A1 (ja) * | 2011-07-22 | 2013-01-31 | 株式会社日立製作所 | 動画像復号化方法及び画像符号化方法 |
| JPWO2013014693A1 (ja) * | 2011-07-22 | 2015-02-23 | 株式会社日立製作所 | 動画像復号化方法及び動画像符号化方法 |
| JP5677576B2 (ja) * | 2011-07-22 | 2015-02-25 | 株式会社日立製作所 | 動画像復号化方法及び動画像符号化方法 |
| JP2015092705A (ja) * | 2014-12-16 | 2015-05-14 | 株式会社日立製作所 | 動画像復号化方法及び画像符号化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3782332B2 (ja) | 2006-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110839155B (zh) | 运动估计的方法、装置、电子设备及计算机可读存储介质 | |
| JP5115498B2 (ja) | 画像符号化装置、画像符号化制御方法およびプログラム | |
| US20050276330A1 (en) | Method and apparatus for sub-pixel motion estimation which reduces bit precision | |
| KR100843418B1 (ko) | 화상 부호화 장치 및 화상 부호화 방법 | |
| US20210084291A1 (en) | Inter coding for adaptive resolution video coding | |
| CN110545425B (zh) | 一种帧间预测方法、终端设备以及计算机存储介质 | |
| JP4346573B2 (ja) | 符号化装置と方法 | |
| US20060109909A1 (en) | Decision mechanism for partition types of macro block | |
| JP2003111082A (ja) | 動きベクトル検出方法及び装置 | |
| KR20050020714A (ko) | 움직임 벡터 검출 장치 및 움직임 벡터 검출 방법 | |
| JP2787944B2 (ja) | 動き補償動ベクトル探索方法 | |
| US7852939B2 (en) | Motion vector detection method and device of the same | |
| JP4822940B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN100366092C (zh) | 一种视频编码中基于运动矢量预测的搜索方法 | |
| TWI450591B (zh) | 視訊處理晶片組及其中移動評估的資料讀取之方法 | |
| JP2001285874A (ja) | 動きベクトル探索装置、方法及びプログラムを記録した記録媒体 | |
| KR102426013B1 (ko) | 대규모 그래프의 점진적 무손실 요약을 위한 전자 장치 및 그의 동작 방법 | |
| CN112738517B (zh) | 运动估计搜索方法、装置、设备及存储介质 | |
| JP2009021864A (ja) | 動きベクトル探索装置 | |
| CN113473153B (zh) | 一种点云属性预测方法、编码方法、解码方法及其设备 | |
| US20170280137A1 (en) | Image compressing device and image compressing method | |
| JP2003503913A (ja) | 動画評価を行う方法及びシステム | |
| CN112004099B (zh) | 一种帧内块复制预测方法、装置及计算机可读存储介质 | |
| Paramkusam et al. | The efficient optimal and suboptimal motion estimation algorithms | |
| US20230239461A1 (en) | Inter coding for adaptive resolution video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050705 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050719 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050920 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060307 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060309 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110317 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130317 Year of fee payment: 7 |