JP2002518897A

JP2002518897A - ブロック整合法及び統合投射法を用いた階層的動き評価処理及び装置

Info

Publication number: JP2002518897A
Application number: JP2000554131A
Authority: JP
Inventors: チャン、チン−ファン; 尚史柳原
Original assignee: ソニーエレクトロニクスインク
Priority date: 1998-06-09
Filing date: 1999-06-02
Publication date: 2002-06-25
Anticipated expiration: 2019-06-02
Also published as: EP1086580A1; WO1999065232A1; ATE537660T1; JP4528441B2; KR20010052644A; EP1086580A4; AU4225199A; KR100659704B1; US6130912A; EP1086580B1

Abstract

(57)【要約】ビデオ画像データにおける２つのフレーム間の動きベクトルを判定する方法及び装置を開示する。詳しくは、本発明の方法及び装置は、現在のフレームの各ブロックの参照フレームに対する動きベクトルを複数の処理段階により評価する。第１の処理段階では、本発明を実現するアプリケーションは、参照フレームの第１の検索範囲を粗く検索して、現在のフレームにおけるスーパーマクロブロックに最も近似する候補スーパーマクロブロックを判定する（３１２）。第２の処理段階では、スーパーマクロブロックを複数のマクロブロックに分割する（３１４）。各マクロブロックを用いて検索範囲を決定し、この検索範囲を検索して、現在のフレームにおけるマクロブロックに最も近似する候補マクロブロックを判定する（３２２）。マクロブロックの近似の精度を高めるために、さらなる処理段階を実行してもよい。本発明に基づく方法及び装置により、デジタルビデオ符号化器、復号器、ビデオフォーマット変換装置を最適化することができる。

Description

【発明の詳細な説明】

【０００１】発明の背景本発明は、ビデオ画像処理における動き評価を行う装置及び方法に関し、特に
、粗検索ブロック整合動き予測法（sparse search block-matching motion esti
mation technique）及び統合射影情報（integral projection）に基づく階層的
動き評価法を用いてビデオ画像のフレーム間の動きベクトルを判定する改善され
た装置及び方法に関する。

【０００２】デジタル技術の進歩により、多くのデジタル映像のアプリケーションが開発さ
れている。デジタル映像技術は、現在、デジタル高解像度テレビジョン、ビデオ
会議、コンピュータによる画像処理、高画質ビデオテープレコーダ等に利用され
ている。圧縮されていないデジタル映像信号のデータ量は膨大であり、このよう
なデータの伝送及び記録のためには、広い帯域幅及び大きな記録容量が必要とな
る。そこで、多くのデジタル映像処理装置は、各アプリケーションに最適化され
たデータ圧縮技術を採用し、これによりデジタル映像データのデータ量を削減し
ている。デジタル圧縮装置は、一般に「符号化器（エンコーダ）」と呼ばれ、伸
長処理を行う装置は、「復号器（デコーダ）」と呼ばれる。圧縮及び伸長の両方
を行う装置は「符号化／復号器（コーデック）」と呼ばれる。

【０００３】動画像ビデオデータの圧縮法を標準化するために、ＭＰＥＧ（Motion Picture
Experts Group）は、複数種類のデジタル映像処理標準技術を提唱している。Ｍ
ＰＥＧ−１は、デジタル音声及びデジタル映像のコーディングを行うものであり
、中間のデータレートを必要とする映像装置に広く使用されている。ＭＰＥＧ−
２は、例えば直接放送衛星システム（direct broadcast satellite system）等
における、より高いデータレートを用いる装置に使用されている。

【０００４】動画像映像シーケンスは、連続する複数の静止画像、すなわち「フレーム」か
ら構成され、これらフレームを連続的に表示することにより、連続的な動きが表
現される。各フレームは、画像の要素、すなわち「画素」の２次元的な配列とし
て記述することができる。各画素は、画像における特定の点の輝度及び色を記述
する。画素情報は、デジタル形式で表現又は符号化でき、デジタル的に伝送する
こともできる。

【０００５】映像データの一圧縮法として、映像シーケンスにおいて隣接するフレーム間の
冗長性を利用する手法がある。隣接するフレームは類似する情報を含んでいる傾
向があり、新規なフレームを作成するより、フレーム間の差分を記述する方がデ
ータ量が少なくてすむ場合が多い。例えば、フレーム間に全く動きがない場合、
フレーム全体を再度コーディングするより、フレーム間の差分（ゼロ）をコーデ
ィングする方がデータ量を節減できる。

【０００６】動き評価とは、隣接するフレーム間の変位を評価する処理である。この変位は
、動きベクトルによって表され、動きベクトルは、現在のフレームにおける特定
の領域と、先行する又は後続する参照フレームにおける対応する変位した領域と
の間の最大整合性（best match）を示すものである。現在のフレームにおける特
定の領域と、参照フレームにおける対応する変位された領域の差分を「剰余情報
（residue）」と呼ぶ。

【０００７】動きベクトルを評価するための動き評価には、大きく分けて、画素再帰アルゴ
リズム（pixel-recursive algorithm）及びブロック整合アルゴリズム（block-m
atching algorithm）の２つの手法がある。画素再帰アルゴリズムでは、隣接す
るフレームにおける対応する画素に対する各画素の変位を繰り返し予測する。一
方、ブロック整合アルゴリズムでは、フレーム間の変位をブロック毎に評価し、
差分を最小化するベクトルを選択する。

【０００８】従来のブロック整合処理では、符号化すべき現在の画像を同じサイズの画素情
報を有する複数のブロックに分割する。ＭＰＥＧ映像圧縮標準技術では、画素は
マクロブロックとしてグループ化される。マクロブロックは、それぞれが２つの
色差成分用の８×８サンプルブロックに対応する１６×１６輝度サンプル配列か
ら構成される。さらに、１６×１６輝度サンプル配列は、通常圧縮モデルの入力
ブロックとして使用される４つの８×８ブロックから構成される。

【０００９】Ｆｉｇ．１は、従来の１回のブロック整合処理を説明する図である。現在のフ
レーム１２０は、複数のブロックに分割されている。各ブロックは、いかなるサ
イズであってもよいが、例えばＭＰＥＧ装置においては、現在のフレーム１２０
は、通常１６×１６サイズのマクロブロックに分割される。現在のフレーム１２
０をコード化するために、現在のフレーム１２０内の各ブロックと、先行するフ
レーム１１０又は後続するフレーム１３０におけるブロックとの差分をコード化
する。各ブロック整合処理において、現在のブロック１００は、先行するフレー
ム１１０における検索範囲１１５又は後続するフレーム１３０における検索範囲
１３５内の同サイズの候補ブロック（"candidate" blocks）と比較される。先行
又は後続するフレーム内の候補ブロックのうち、現在のブロック１００と差分が
最も小さいブロックが、Ｆｉｇ．１に示すように、参照ブロック１５０として選
択される。続いて、参照ブロック１５０と現在のブロック１００間の動きベクト
ル及び剰余情報が算出され、コード化される。現在のフレーム１２０は、伸長処
理において、参照フレーム１１０の各ブロックのコードと、現在のフレーム１２
０に関する動きベクトル及び剰余情報のコードとを用いて復元される。

【００１０】ブロック間の差分は、周知のいかなる基準に基づいて算出してもよいが、多く
の場合、誤差を最小化する手法又は相関性を最大化する手法が用いられる。さら
に、相関法は、計算量が多いため、誤差算出法が最も多く用いられている。誤差
算出測定の手法には、自乗誤差平均法（mean square error：以下、ＭＳＥとい
う。）、絶対歪み平均法（mean absolute distortion：以下、ＭＡＤという。）
、絶対歪み総和法（sum of absolute distortion：以下、ＳＡＤという。）等が
ある。これらの判定基準は、インターナショナルトムソンパブリッシング社（In
ternational Thomson Publishing）より１９９７年に発行された、ジョーン・エ
ル・ミッチェル他（Joan L. Mitchell et al.）著、「ＭＰＥＧ映像圧縮標準技
術（MPEG Video Compression Standard）」の第２８４〜２８６頁に記載されて
いる。整合性の判定基準としては、ＳＡＤが最も多く使用されている。

【００１１】ＳＡＤは、以下のように定義される。

【００１２】

【数１】

【００１３】ここで、ブロックサイズはＭ×Ｎであり、ｒ（ｘ，ｙ）は現在のブロックを表
し、ｓ（ｘ＋ｉ，ｙ＋ｉ）は参照フレームにおける検索範囲１１５内の候補ブロ
ックを表す。動きベクトルは値（ｉ，ｊ）は、ＳＡＤ（ｉ，ｊ）を最小とする値
である。

【００１４】現在のブロックと検索範囲内の全ての候補ブロックとを比較するブロック整合
アルゴリズムは、「完全検索（full search）」と呼ばれる。一般的に、検索範
囲を広くすれば、より正確な変位ベクトルを生成することができる。しかしなが
ら、完全検索の計算の複雑性は、検索範囲のサイズに比例して高くなり、いくつ
かの適用例では処理時間が長すぎて使用できない。例えば、±Ｎの検索範囲にお
いて、１画素の精度で１６×１６画素サイズのマクロブロックに関する完全検索
ブロック整合アルゴリズムを適用した場合、（２×Ｎ＋１）^２回のブロック比較
処理が必要となる。Ｎを１６とした場合、１０８９回の１６×１６ブロックの比
較処理が必要となる。各ブロックの比較は、１６×１６、すなわち２５６回の計
算を必要とするため、この手法では計算量が膨大で、処理時間が遅くなる。また
、ここで、単に検索範囲を狭くする手法では、最適な整合ブロックを見落として
しまう危険性が高くなってしまう。

【００１５】このため、広い検索範囲で整合ブロックを正しく検出するための高速なアルゴ
リズムの開発が進められてきた。このような手法のいくつかは、上述のジョーン
・エル・ミッチェル他の著書の第３０１〜３１１頁に記載されている。最も高速
な検索法は、検索範囲全体に亘って粗サンプリング（sparse sampling）を行い
、この粗サンプルのみに対して変位を算出することにより処理速度を高めている
。例えば、２次元対数検索（2-D logarithmic search）は、最小歪み方向へ移動
する連続するブロックのＭＳＥを算出することにより計算量を低減する。共役方
向検索（conjugate direction search）では、アルゴリズムは、最小歪みを検出
するまで水平方向への検索を行う。さらに、アルゴリズムは、最小歪みを検出し
た点から、垂直方向への検索を開始し、最小歪みを検出する。これら２つの手法
は、いずれも完全検索に比べて高速な処理を実現するが、最適な整合ブロックの
判定に失敗する可能性も高い。

【００１６】完全検索の計算量を低減する他の手法としては、空間領域画素情報を直接用い
る代わりに、統合射影情報（integral projection）を用いてブロック間の変位
を算出する手法がある。画素情報の統合射影情報とは、水平方向又は垂直方向に
沿った画像画素値の総和の１次元の配列である。ブロック整合アルゴリズムにお
いて、画素情報の２次元配列を用いる代わりに、１次元水平射影配列及び１次元
垂直射影配列の２つの１次元射影配列を用いることにより、各ブロック整合処理
における計算の回数を著しく低減することができる。この手法は、１９８７年に
発表された、アイ・エイチ・リー（I.H.Lee）及びアール・エイチ・パーク（R.H
.Park）による論文「統合射影情報を用いた高速ブロック整合アルゴリズム（"A
Fast Block Matching Algorithm Using Integral Projections," Proc. Tencon
'87 Conf）」の第５９０〜５９４頁に記載されている。

【００１７】高速の動き評価法は、あるデジタル映像フォーマットを他のデジタル映像フォ
ーマットに変換する際に特に有用である。デジタル映像は、符号化され、圧縮さ
れた形式で保存される。従来の装置を用いて、あるフォーマットを他のフォーマ
ットに変換する場合、デジタル映像は、元のフォーマットに伸長及び復号され、
続いて目的のフォーマットに符号化及び圧縮されて保存又は伝送される。このよ
うな、デジタル映像を一度完全に復号する必要のある変換法は、非常に時間のか
かるものである。

【００１８】このような完全検索の問題点を克服するために階層的検索法を採用した手法が
知られている。この手法では、第１の処理段階において、例えば、適度な広さの
領域に対して粗検索を行う。続いて、行われる従来型の階層的検索処理において
は、検索範囲が縮小される。３段階の階層的検索の例は、１９９４年８月に発行
された「映像技術のための回路及びシステムに関するＩＥＥＥトランザクション
（IEEE Trans. On Circuits and Systems for Video Technology, Vol.4, Augus
t 1994, pp.407-416）」第４巻第４０７〜第４１６頁、エイチ・エム・ジョン（
H.M.Jong）他著、「３段階階層的検索ブロック整合アルゴリズムのためのパラレ
ルアーキテクチャ（Parallel Architectures for 3-Step Hierarchical Search
Block-Matching Algorithm）」に開示されている。ここに開示されている階層的
検索法における粗検索処理段階では全ての画素情報を利用しておらず、したがっ
て誤った開始点からより精密な検索を開始してしまうことがあるため、この手法
は、いくつかの適用例においては不適切な処理を行ってしまう。

【００１９】本発明は、動きベクトルの精度を維持しながら、ブロック比較処理の回数を最
小化して高速階層的検索を実行する、改善された動き評価装置及び動き評価方法
を提供することを目的とする。また、本発明は、本発明に基づく階層的検索処理
及び統合射影情報を用いて、さらに計算の回数を低減できる動き評価装置及び動
き評価方法を提供することを目的とする。さらに、本発明は、統合射影情報を用
いて、画素データを完全に復号する必要なく、デジタル映像データをあるフォー
マットから他のフォーマットに変換することにより、データフォーマットの変換
処理時間を大幅に短縮できる階層的動き評価装置及び動き評価方法を提供するこ
とを目的とする。

【００２０】発明の開示本発明に係るベクトル判定方法は、ビデオ画像データにおける第１及び第２の
フレーム間の動きベクトルを生成する動きベクトル判定方法において、（ａ）第
１のフレームにおいて、画素情報の２次元配列として構成される現在のマクロブ
ロックを決定するステップと、（ｂ）第１のフレームにおいて、現在のマクロブ
ロックと複数のマクロブロックとから構成される現在のスーパーマクロブロック
を決定するステップと、（ｃ）現在のスーパーマクロブロックと第１の検索範囲
とに基づいて、第２のフレームにおける第１の検索領域を選択するステップと、
（ｄ）変位判定基準と現在のスーパーマクロブロックとに基づいて、第１の検索
範囲における最良候補スーパーマクロブロックを判定するステップと、（ｅ）最
良候補スーパーマクロブロックを複数の候補マクロブロックに分割するステップ
と、（ｆ）複数の候補マクロブロックと第２の検索範囲とに基づいて、第２のフ
レームにおける複数の第２の検索範囲を選択するステップと、（ｇ）変位判定基
準と現在のマクロブロックとに基づいて、第２の検索範囲における最良候補マク
ロブロックを判定するステップと、（ｈ）現在のマクロブロックと第１の最良候
補マクロブロックとの間の距離を表す第１の動きベクトルを判定するステップと
を有する。

【００２１】また、本発明に係る動きベクトル判定装置は、ビデオ画像データにおける第１
及び第２のフレーム間の動きベクトルを生成する動きベクトル判定装置において
、プログラム命令が格納されたメモリと、プログラム命令を実行することにより
、（ａ）第１のフレームにおいて、画素情報の２次元配列として構成される現在
のマクロブロックを決定するステップと、（ｂ）第１のフレームにおいて、現在
のマクロブロックと複数のマクロブロックとから構成される現在のスーパーマク
ロブロックを決定するステップと、（ｃ）現在のスーパーマクロブロックと第１
の検索範囲とに基づいて、第２のフレームにおける第１の検索領域を選択するス
テップと、（ｄ）変位判定基準と現在のスーパーマクロブロックとに基づいて、
第１の検索範囲における最良候補スーパーマクロブロックを判定するステップと
、（ｅ）最良候補スーパーマクロブロックを複数の候補マクロブロックに分割す
るステップと、（ｆ）複数の候補マクロブロックと第２の検索範囲とに基づいて
、第２のフレームにおける複数の第２の検索範囲を選択するステップと、（ｇ）
変位判定基準と現在のマクロブロックとに基づいて、第２の検索範囲における最
良候補マクロブロックを判定するステップと、（ｈ）現在のマクロブロックと第
１の最良候補マクロブロックとの間の距離を表す第１の動きベクトルを判定する
ステップとを実行するプロセッサとを備える。

【００２２】また、本発明に係るコンピュータプログラム製品は、ビデオ画像データにおけ
る第１及び第２のフレーム間の動きベクトルを生成するコンピュータにより読取
可能なコードが実現されたコンピュータにより使用可能な媒体を備えるコンピュ
ータプログラム製品において、コンピュータにより使用可能な媒体は、（ａ）第
１のフレームにおいて、画素情報の２次元配列として構成される現在のマクロブ
ロックを決定するコンポーネントと、（ｂ）第１のフレームにおいて、現在のマ
クロブロックと複数のマクロブロックとから構成される現在のスーパーマクロブ
ロックを決定するコンポーネントと、（ｃ）現在のスーパーマクロブロックと第
１の検索範囲とに基づいて、第２のフレームにおける第１の検索領域を選択する
コンポーネントと、（ｄ）変位判定基準と現在のスーパーマクロブロックとに基
づいて、第１の検索範囲における最良候補スーパーマクロブロックを判定するコ
ンポーネントと、（ｅ）最良候補スーパーマクロブロックを複数の候補マクロブ
ロックに分割するコンポーネントと、（ｆ）複数の候補マクロブロックと第２の
検索範囲とに基づいて、第２のフレームにおける複数の第２の検索範囲を選択す
るコンポーネントと、（ｇ）変位判定基準と現在のマクロブロックとに基づいて
、第２の検索範囲における最良候補マクロブロックを判定するコンポーネントと
、（ｈ）現在のマクロブロックと第１の最良候補マクロブロックとの間の距離を
表す第１の動きベクトルを判定するコンポーネントとを備える。

【００２３】さらに、本発明に係る動きベクトル判定システムは、ビデオ画像データにおけ
る第１及び第２のフレーム間の動きベクトルを生成する動きベクトル判定システ
ムにおいて、（ａ）第１のフレームにおいて、画素情報の２次元配列として構成
される現在のマクロブロックを決定する現在マクロブロック決定手段と、（ｂ）
第１のフレームにおいて、現在のマクロブロックと複数のマクロブロックとから
構成される現在のスーパーマクロブロックを決定する現在スーパーマクロブロッ
ク決定手段と、（ｃ）現在のスーパーマクロブロックと第１の検索範囲とに基づ
いて、第２のフレームにおける第１の検索領域を選択する第１検索領域選択手段
と、（ｄ）変位判定基準と現在のスーパーマクロブロックとに基づいて、第１の
検索範囲における最良候補スーパーマクロブロックを判定する最良候補スーパー
マクロブロック判定手段と、（ｅ）最良候補スーパーマクロブロックを複数の候
補マクロブロックに分割する分割手段と、（ｆ）複数の候補マクロブロックと第
２の検索範囲とに基づいて、第２のフレームにおける複数の第２の検索範囲を選
択する第２検索範囲選択手段と、（ｇ）変位判定基準と現在のマクロブロックと
に基づいて、第２の検索範囲における最良候補マクロブロックを判定するステッ
プ最良候補マクロブロック判定手段と、（ｈ）現在のマクロブロックと第１の最
良候補マクロブロックとの間の距離を表す第１の動きベクトルを判定する第１動
きベクトル判定手段とを備える。

【００２４】発明の好適な実施の形態の説明以下、添付の図面に示された具体例を参照して、本発明の好適な実施の形態に
ついて詳細に説明する。

【００２５】Ａ．階層的検索処理（Hierarchical Search Process）動き評価法は、各フレーム全体を符号化する代わりに、隣接するフレームから
の差分に関する情報を符号化することにより、デジタル映像シーケンスを表現す
るために必要なデータ量を圧縮する技術である。映像シーケンスを再生する際に
は、復号器は、参照フレームとともに動きベクトルを用いて現在のフレームを再
構築する。

【００２６】本発明に基づく手法では、複数段の処理（multi-stage operation）により、
現在のフレームの各ブロックについて、参照フレームに対する動きベクトルが評
価される。第１の処理段階では、本発明に基づく方法を実現するアプリケーショ
ンは、参照フレームにおける第１検索範囲を粗検索し、現在のスーパーマクロブ
ロック（supermacroblock）に最も近似する候補スーパーマクロブロックを検出
する。第２の処理段階では、このスーパーマクロブロックを複数のマクロブロッ
クコンポーネントに分割する。これら複数のマクロブロックコンポーネントは、
検索範囲を構成し、この検索範囲において候補マクロブロックが検索される。現
在のマクロブロックに近似に近似するマクロブロックをさらに高精度に検出する
ためのさらなる処理段階を設けてもよい。

【００２７】Ｆｉｇ．２は、現在のフレーム２２０と参照フレーム２１０を示す図である。
参照フレームは、先行するフレームであっても、後続するフレームであってもよ
い。現在のフレーム２２０は、それぞれＭ×Ｎ画素から構成される複数のブロッ
ク２２５に分割される。Ｍ及びＮは、２以上のいかなる整数であってもよいが、
この具体例においては、ＭＰＥＧ−１／２映像圧縮標準技術における標準的なマ
クロブロックのサイズと同様に、Ｍ＝Ｎ＝１６とする。現在のフレーム２２０を
表すために、現在のフレーム２２０内の各ブロック２２５は、現在のフレーム２
２０のマクロブロック及び参照フレーム２１０のマクロブロック間の剰余情報に
より表される。

【００２８】Ｆｉｇ．３Ａ及びＦｉｇ．３Ｂは、本発明に基づく階層的検索法により、現在
のフレームにおける１つのマクロブロックのための動きベクトルを導き出す手順
を示すフローチャートである。まず、まず、ステップ３０２において、Ｆｉｇ．
２に示す現在のフレーム２２０における現在のマクロブロック２３０が選択され
る。現在のマクロブロック２３０は、Ｍ×Ｎ画素のサイズを有している。Ｍ及び
Ｎは、２以上のいかなる整数であってもよいが、この具体例においては、Ｍ＝Ｎ
＝１６とする。

【００２９】続いて、Ｆｉｇ．３Ａに示すステップ３０４において、現在のマクロブロック
２３０を用いて、現在のスーパーマクロブロック２３５が決定される。現在のス
ーパーマクロブロックは、現在のマクロブロック２３０と、この現在のマクロブ
ロック２３０と同じサイズ及び形状を有する隣接するいくつかのマクロブロック
とから構成される。Ｆｉｇ．２に示す例では、現在のスーパーマクロブロック２
３５は、現在のフレーム２２０内において、現在のマクロブロック２３０を左上
コーナ部とする４つのマクロブロックから構成されている。

【００３０】Ｆｉｇ．３Ａに示すステップ３０６において、参照フレーム２１０における検
索領域２１５が選択される。Ｆｉｇ．２に示す検索領域２１５は、検索範囲（±
ｐ_１，±ｑ_１）により定義され、現在のフレーム２２０における現在のスーパー
マクロブロック２３５の位置に基づいて決定される。検索範囲ｐ_１，ｑ_１所定の
値であってもよく、動的に決定されるものであってもよい。また、検索範囲値ｐ _１，ｑ_１は、１以上の正の整数でフレームサイズより小さいいかなる値であって
もよい。通常、検索範囲が広いほどより正確な動きベクトルを生成することがで
きるが、検索範囲の広さに比例して検索処理の複雑性が高くなるため、全フレー
ムサイズより狭い検索範囲値ｐ_１，ｑ_１を指定することが望ましい。以下では、
例示的に、検索範囲（±ｐ_１，±ｑ_１）を（±３２，±２４）とする。Ｆｉｇ．
２において、（ｍ，ｎ）として示される点は、現在のフレーム２２０における現
在のマクロブロック２３５の左上のコーナの画素に対応する点である。検索範囲
を（±３２，±２４）とした場合、検索範囲２１５は、Ｆｉｇ．２に示すように
、（ｍ−３２，ｎ−２４）（ｍ＋３２，ｎ−２４）（ｍ＋３２，ｎ＋２４）（ｍ
−３２，ｎ＋２４）により定義される領域である。検索範囲２１５は、参照フレ
ーム２１０内の可能な全てのスーパーマクロブロックの左上コーナを限定するも
のである。

【００３１】本発明に基づく階層的動き予測処理の第１の処理段階では、検索範囲２１５内
の候補スーパーマクロブロックと現在のスーパーマクロブロック２３５とを比較
し、検索範囲２１５内における「最良」候補スーパーマクロブロックを検出する
。「最良」候補スーパーマクロブロックとは、周知の任意の誤差算出法又は相関
判定法を用いて、現在のスーパーマクロブロック２３５と比較して、最も誤差が
少ない、又は相関性が高いと判定されるスーパーマクロブロックである。

【００３２】ステップ３０８において、第１の検索処理段階が選択される。候補スーパーマ
クロブロックは、現在知られているいかなるブロック整合検索法により選択して
もよく、例えば完全検索を行ってもよく、あるいは、検索範囲内において所定の
画素検索間隔を適用してスーパーマクロブロックを比較することにより選択して
もよい。ここで、候補スーパーマクロブロックの選択には、１９９８年５月２０
日に出願された、チャン（Chang）他による米国特許出願第０９／０８１，２７
９号「粗検索ブロック整合法及び統合射影情報を用いた動き評価処理及び装置(M
otion Estimation Process and System Using Sparse Block-Maching and Integ
ral Projection)」に開示されている手法を用いてもよく、この出願は参照によ
り本願に組み込まれるものとする。

【００３３】従来の完全検索法及びチャン他に記載されている検索法を含む多くの検索法に
おいて、画素シフト間隔としては様々な値を用いることがある。例えば、画素シ
フト間隔Ｋ_１を１画素分とした場合、各１画素毎にブロック比較を行う精密な検
索を行うことができる。しかしながら、画素シフト間隔を１画素分として、完全
検索を行った場合、計算処理は複雑なものとなり、したがって、この処理段階で
は画素シフト間隔を大きくすることが望ましい。画素シフト間隔Ｋ_１を４画素分
とした場合、４画素毎に検索処理を行うため、粗検索が実現される。画素シフト
間隔は、水平方向及び垂直方向において異なるものであってもよい。説明のため
、ここでは、両方向に対し、同じ４画素分の画素シフト間隔を用いるものとする
。

【００３４】続いて、ステップ３１２において、選択された検索処理及び所定の整合性判定
基準を用いて、現在のスーパーマクロブロック２３５と、検索範囲２１５内のス
ーパーマクロブロックとを比較し、第１の検索範囲における最良候補スーパーマ
クロブロックを検出する。絶対歪み総和ＳＡＤを整合性判定基準（matching cri
teria）として用いると、検索処理全体を以下のように表すことができる。

【００３５】

【数２】

【００３６】ここで、−ｐ_１≦ｉ≦＋ｐ_１、−ｑ_１≦ｊ≦＋ｑ_１、ｒは現在の３２×３２画
素のスーパーマクロブロックを表し、ｓは候補スーパーマクロブロックを表す。
ＳＡＤ（ｉ，ｊ）の値を最小化する（ｉ，ｊ）の組により現在のスーパーマクロ
ブロック２３５の動きベクトルが定義される。例えば、動きベクトル（１，１）
は、参照フレーム内において、現在のスーパーマクロブロック２３５に対応する
位置から１画素分水平方向に右に移動し、１画素分垂直方向に下に移動したスー
パーマクロブロックが現在のスーパーマクロブロック２３５に近似することを示
す。

【００３７】上述の各スーパーマクロブロックに関する演算では、３２×３２回の計算が必
要である。ここで、３２×３２＝１０２４個の画素のうち選択された下位集合の
みに対してＳＡＤを算出することにより、計算回数を低減することができる。ま
た、画素領域情報ではなく統合射影情報を用いてブロック比較を行うことにより
計算の回数をさらに低減することができる。画素情報の統合射影情報は、水平方
向又は垂直方向に沿った複数の画素値の総和を表す情報である。Ｆｉｇ．４Ａは
、垂直統合射影情報を説明する図であり、Ｆｉｇ．４Ｂは、水平統合射影情報を
説明する図である。

【００３８】統合射影情報は、画素情報から１次元の統合射影配列を算出することにより、
あるいは、例えばデジタルビデオ復号器からの離散コサイン変換（discrete cos
ine transform：以下、ＤＣＴという。）係数データに基づく統合射影情報を算
出することにより得られる。特に、本発明は、必要な計算処理を低減し、したが
って、１つのデジタル映像フォーマットから他のデジタルフォーマットへの変換
、例えばデジタルビデオフォーマット（digital video：ＤＶ）からＭＰＥＧフ
ォーマットへの変換に要する計算処理時間を短縮する点で有効である。

【００３９】ＤＣＴは、数学的には以下のように表される。

【００４０】

【数３】

【００４１】ここで、ｈ＝０，１，・・・，７、ｖ＝０，１，・・・，７であり、ｃ（ｈ）
及びｃ（ｖ）は以下の値をとる。

【００４２】

【数４】

【００４３】Ｐ（ｘ，ｙ）は、８×８ブロックの画素データであり、Ｑ（ｈ，ｖ）は、８×
８ブロックのＤＣＴ係数である。数学的には、８×８ブロックのＤＣＴ係数を１
次元の水平逆ＤＣＴへ入力した場合、演算結果は８×８配列となり、この配列の
第１列は、定数が乗算された各行の画素情報の総和を含む。したがって、この第
１列は、８×８ブロックの画素情報の１次元垂直射影情報に等しい。同様に、同
じ８×８ブロックのＤＣＴ係数を１次元垂直逆ＤＣＴへ入力した場合、演算結果
の第１行は、元となる８×８ブロックの画素情報の１次元水平射影情報に等しく
なる。垂直統合射影情報及び水平統合射影情報は、動きベクトルの評価に使用す
ることができる。

【００４４】この具体例においては、各スーパーマクロブロックは、４つの隣接するマクロ
ブロックからなり、各マクロブロックは、４つの隣接する８×８ブロックからな
る。したがって、各スーパーマクロブロックは、１６個の８×８ブロックから構
成される。各スーパーマクロブロックの比較に必要な計算の回数は、垂直統合射
影情報又は水平統合射影情報を用いることにより低減できる。各８×８ブロック
に対する垂直（又は水平）統合射影情報は、例えば、８×８ブロックにおける第
１〜４行（又は列）の３２画素の画素値と第５〜８行（又は列）の３２画素の画
素値との和として算出される。ＤＣＴ領域の情報を利用できる場合、２つの統合
射影情報は、各２次元８×８ＤＣＴブロックにおける第１行（又は列）の最も小
さい２つの係数に対する１次元２点逆ＤＣＴ（one-dimensional 2-point IDCT）
を実行することにより得られる。これにより、各スーパーマクロブロックは、２
×１６＝３２個の垂直（又は水平）統合投影情報により表現される。したがって
、各スーパーマクロブロックの比較に必要な計算の回数は、３２回の計算と統合
射影情報の算出に必要な計算とに減少させることができる。

【００４５】統合射影情報は、例えば、８×８ブロックにおいて２つずつの行（又は列）の
総和を求めて、４つの統合射影情報を得るか、又は各行（又は列）について個別
に総和を求めて８つの統合射影情報を得ることによっても算出できることは、当
業者にとって明らかである。同様に、統合射影配列は、ＤＣＴブロックの係数に
対する１次元４点逆ＤＣＴを実行して得られるＤＣＴ領域情報からも得ることが
できる。これらの手法は、上述した２点統合射影配列の算出より多くの計算を必
要とするが、画素情報を用いた同様の手法に比べると計算回数は少ない。

【００４６】Ｆｉｇ．５は、第１の検索処理により得られる最良スーパーマクロブロック５
１０を示す図である。最良スーパーマクロブロック５１０の左上コーナの座標は
（ｕ，ｖ）であり、これは第１の検索処理における現在のスーパーマクロブロッ
クへの動きベクトルである。Ｆｉｇ．５に示すように、スーパーマクロブロック
５１０は、ステップ３１４において、複数の候補マクロブロック１，２，３，４
に分割され、本発明に基づく階層的検索処理の第２の処理段階が開始される。ス
テップ３１６においては、第２の処理段階のための検索範囲（±ｐ_２，±ｑ_２）
が決定される。各候補マクロブロック１，２，３，４について、候補マクロブロ
ックと検索範囲（±ｐ_２，±ｑ_２）とに基づいて、検索範囲が決定される。例え
ば、Ｆｉｇ．６に示す検索範囲６１０は、候補マクロブロック１と検索範囲（±
ｐ_２，±ｑ_２）により定義されている。検索範囲（±ｐ_２，±ｑ_２）は、所定の
ものであってもよく、動的に決定されるものであってもよい。検索範囲値ｐ_２，
ｑ_２は、全てのフレームについて同一の値であってもよく、現在のフレームと参
照フレームとの時間差によって異なるものとしてもよい。さらに、検索範囲検索
ｐ_２，ｑ_２は、１以上でフレームサイズ以下のいかなる整数であってもよい。検
索範囲値ｐ_２をｐ_１より小さくし、検索範囲値ｑ_２をｑ_１より小さくすることに
より、第２の検索領域６１０は、Ｆｉｇ．２に示す第１の検索範囲２１５より小
さくなる。通常、検索範囲を小さくすると、第１の処理段階により検出された動
きベクトルの精度をさらに高めることができる。

【００４７】ステップ３１８においては、第２の検索処理が選択され、ステップ３２０にお
いては、画素シフト間隔Ｋ_２が選択される。最良候補マクロブロックは、現在知
られているいかなるブロック整合検索法により選択してもよく、例えば完全検索
を行ってもよく、あるいは、検索範囲内において所定の画素検索間隔を適用して
マクロブロックを比較することにより選択してもよい。本発明の１具体例におい
ては、候補マクロブロックは、上述したチャン他による米国特許出願第０９／０
８１，２７９号に開示されている手法を用いる。Ｋ_２は、１以上で検索範囲以下
のいかなる整数であってもよい。Ｋ_２＝１とした場合、１画素分ずつ比較処理を
行う完全検索と同様の処理を実行することとなる。

【００４８】ステップ３２２において、各候補マクロブロック１，２，３，４について、所
定の検索領域に対する選択された検索処理が実行される。絶対歪み総和ＳＡＤを
整合性判定基準として用いると、各マクロブロックの比較処理は、以下のように
定義することができる。

【００４９】

【数５】

【００５０】ここで、−ｐ_２≦ｉ≦＋ｐ_２、−ｑ_２≦ｊ≦＋ｑ_２、ｒは現在の１６×１６画
素のマクロブロック２３０を表し、ｓは検索範囲６１０における１６×１６画素
の候補マクロブロックを表す。

【００５１】この具体例において、各マクロブロックは４つの隣接する８×８ブロックから
構成される。各マクロブロックの比較に必要な計算回数は、垂直統合射影情報又
は水平統合射影情報を用いることにより低減できる。各８×８ブロックに対する
垂直（又は水平）統合射影情報は、例えば、８×８ブロックにおける第１〜４行
（又は列）の３２画素の画素値と第５〜８行（又は列）の３２画素の画素値との
和として算出される。ＤＣＴ領域の情報を利用できる場合、２つの統合射影情報
は、各２次元８×８ＤＣＴブロックにおける第１行（又は列）の最も小さい２つ
の係数に対する１次元２点逆ＤＣＴを実行することにより得られる。これにより
、各スーパーマクロブロックは、２×４＝８個の垂直（又は水平）統合投影情報
により表現される。したがって、各スーパーマクロブロックの比較に必要な計算
の回数は、８回の計算と統合射影情報の算出に必要な計算とに減少させることが
できる。

【００５２】統合射影情報は、例えば、８×８ブロックにおいて２つずつの行（又は列）の
総和を求めて、４つの統合射影情報を得るか、又は各行（又は列）について個別
に総和を求めて８つの統合射影情報を得ることによっても算出できる。同様に、
統合射影配列は、ＤＣＴブロックの係数に対する１次元４点逆ＤＣＴを実行して
得られるＤＣＴ領域情報からも得ることができる。これらの手法は、上述した２
点統合射影配列の算出より多くの計算を必要とするが、画素情報を用いた同様の
手法に比べると計算回数は少ない。

【００５３】現在のマクロブロックの動きベクトルの精度は、ステップ３２４において第３
の検索処理段階を実行することによりさらに高められる。第３の検索範囲は、第
２の階層的検索処理及び検索範囲（±ｐ_３，±ｑ_３）に基づいて決定される。検
索範囲（±ｐ_３，±ｑ_３）は、所定のものであってもよく、動的に決定されるも
のであってもよい。検索範囲値ｐ_３，ｑ_３は、全てのフレームについて同一の値
であってもよく、現在のフレームと参照フレームとの時間差によって異なるもの
としてもよい。さらに、検索範囲検索ｐ_３，ｑ_３は、１以上でフレームサイズ以
下のいかなる値であってもよい。検索範囲値ｐ_３をｐ_２より小さくし、検索範囲
値ｑ_３をｑ_２より小さくすることにより、第３の検索範囲は、Ｆｉｇ．５に示す
第２の検索範囲５１０より小さくなる。なお、この処理段階においては、検索範
囲（±１，±１）が推奨される。

【００５４】続いて、第３の検索処理及び画素シフト間隔Ｋ_３が選択される。画素シフト間
隔Ｋ_３は、１以上で検索範囲以下のいかなる値であってもよい。なお、階層的検
索処理における第３の処理段階では、画素シフト間隔Ｋ_３を１とすることが望ま
しい。Ｋ_３＝１とすることにより、それぞれ１画素ずつ移動した位置から開始さ
れる比較処理を行う完全検索と同じ処理が実行される。

【００５５】現在のマクロブロックの動きベクトルの精度は、ステップ３２６において第４
の検索処理段階を実行することによりさらに高められる。第４の検索範囲は、第
３の階層的検索処理及び検索範囲（±ｐ_４，±ｑ_４）に基づいて決定される。検
索範囲（±ｐ_４，±ｑ_４）は、所定のものであってもよく、動的に決定されるも
のであってもよい。検索範囲値ｐ_４，ｑ_４は、全てのフレームについて同一の値
であってもよく、現在のフレームと参照フレームとの時間差によって異なるもの
としてもよい。さらに、検索範囲検索ｐ_４，ｑ_４は、０より大きくフレームサイ
ズ以下のいかなる値であってもよい。検索範囲値ｐ_４をｐ_３より小さくし、検索
範囲値ｑ_４をｑ_３より小さくすることにより、第３の検索範囲は、第３の検索範
囲より小さくなる。なお、この処理段階においては、検索範囲（±０．５，±０
．５）が推奨される。

【００５６】続いて、第４の検索処理及び画素シフト間隔Ｋ_４が選択される。画素シフト間
隔Ｋ_３は、０より大きく、検索範囲以下のいかなる値であってもよい。なお、階
層的検索処理における第４の処理段階では、画素シフト間隔Ｋ_４を０．５とする
ことが望ましい。当業者にとって明らかであるが、Ｋ_４＝０．５とすることによ
り、半画素検索（half-pixel search）に等しい処理が実行される。

【００５７】第４の階層的検索処理段階が完了すると、この第４の階層的検索処理段階にお
いてＳＡＤ（ｉ，ｊ）の値を最小とする（ｉ，ｊ）の組により現在のマクロブロ
ック２３０の動きベクトルが定義される。例えば、動きベクトル（１，１）は、
参照フレーム内において、現在のマクロブロックに対応する位置から１画素分水
平方向に右に移動し、１画素分垂直方向に下に移動したマクロブロックが現在の
マクロブロックに近似することを示す。ステップ３２８において、この動きベク
トルは記録され、また一連の画素差分は現在のマクロブロックと候補マクロブロ
ック間の剰余情報として記録される。

【００５８】ステップ３２４における第３の検索処理及びステップ３２６における第４の検
索処理は、処理量の低減が望まれるいくつかの実現例においては、省略してもよ
い。

【００５９】Ｂ．システムＦｉｇ．７は、本発明に基づくシステム７０５の構成を示す図である。Ｆｉｇ
．７に示すように、プロセッサ７１０は、任意の適切なデータ接続線を介して、
少なくとも１つの入出力装置７２０に接続されている。入出力装置７２０は、プ
ロセッサ７１０にデータを供給し、また、プロセッサ７１０からデータを受信す
る能力を有するいかなる装置であってもよい。入出力装置７２０は、例えばＩＥ
ＥＥ１３９４インターフェイスを介して接続されるデジタルカムコーダであって
もよい。プロセッサ７１０は、例えばペンティアムプロセッサ（Pentium proces
sor：商標）等、市販されているいかなるデジタルプロセッサであってもよい。
また、プロセッサ７１０は、単一のプロセッサであっても複数のプロセッサであ
ってもよい。なお、プロセッサ７１０の処理速度が速いほど、本発明における処
理時間が短くなる。

【００６０】さらに、本発明に基づくシステム７０５は、プロセッサ７１０により処理され
、及び入出力装置７２０に供給され又は入出力装置７２０から供給されるデータ
を格納するメモリ７３０を備える。さらに、システム７０５は、例えば陰極線管
等、情報を表示するための表示装置７４０を備えていてもよい。プロセッサ７１
０、入出力装置７２０、メモリ７３０、表示装置７４０は、標準システムバス７
６０を介して相互に接続されている。Ｆｉｇ．７は、各ハードウェアコンポーネ
ントが従来の市販されているコンピュータシステムコンポーネントにより実現さ
れた例示的なネットワークを示している。

【００６１】Ｆｉｇ．８は本発明に基づくプロセッサ７１０の内部構成を示す図である。プ
ロセッサ７１０は、例えば１又は複数のメモリ管理部（memory management unit
：以下、ＭＭＵという。）８１０と、１又は複数のプロセッサ要素アレイ（proc
essor element arrays）８２０と、１又は複数のアキュムレータ（accumulator
unit）８３０とを備える。プロセッサ要素アレイ８２０は、プロセッサ要素（図
示せず）のアレイを備える。プロセッサ要素は、例えばブロック間のＳＡＤを算
出するための減算及び加算器等から構成される。ＭＭＵ８１０は、プロセッサ要
素アレイ８２０におけるデータバッファとして使用される。アキュムレータ８３
０は、例えば、プロセッサ要素８２５からの出力データを累算するために用いら
れる。

【００６２】本発明の一具体例において、プロセッサ７１０はメモリ７３０に格納されてい
る１又は複数の命令シーケンスを実行する。この命令は、例えば入出力装置７２
０を介してコンピュータにより読取可能な媒体からメモリ７３０に読み込まれた
ものである。メモリ７３０に格納されている命令シーケンスを実行することによ
り、プロセッサ７１０は、上述した処理を実行する。変形例においては、ソフト
ウェアプログラムにより実現された命令に代えて、あるいはソフトウェアプログ
ラムにより実現された命令に加えて、ハードウェアにより構成された回路を用い
て本発明を実現することもできる。すなわち、本発明の実現形態は、ハードウェ
ア回路及びソフトウェアの特定の組み合わせによって限定されるものではない。

【００６３】ここで、「コンピュータにより読取可能な媒体」とは、プロセッサ７１０に実
行可能な命令を供給するためのあらゆる媒体を意味するものとする。この媒体は
、いかなる形式のものであってもよく、例えば不揮発性媒体、揮発性媒体、伝送
媒体等が含まれるが、これらに限定されるものではない。不揮発性媒体には、例
えば光ディスク又は磁気ディスク等が含まれる。揮発性媒体には、例えばメモリ
７３０のようなダイナミックメモリが含まれる。伝送媒体には、システムバス７
６０を構成するデータ線を含む、同軸ケーブル、銅線、光ファイバケーブル等が
含まれる。さらに、伝送媒体は、例えば無線電波及び赤外線データ通信により生
成される音波及び光波であってもよい。

【００６４】さらに、通常使用されるコンピュータにより読取可能な媒体は、例えば、フロ
ッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ又はその
他のあらゆる磁気記録媒体、ＣＤ−ＲＯＭ又はその他のあらゆる光記録媒体、パ
ンチカード、紙テープ、所定パターンの穿孔が設けられたあらゆる物理的記録媒
体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、その他のあらゆる
メモリチップ又はカートリッジ、後述する搬送波、及びコンピュータが読取可能
なその他のあらゆる媒体を含む。情報を伝送するための搬送波の例としては、シ
ステムバス７６０を介してシステム７０５への、及びシステム７０５からのデジ
タルデータ及び可能であればプログラムコードを搬送するネットワーク信号が含
まれる。本発明に基づき、システム７０５に供給されたプログラムは、供給され
ると同時にプロセッサ７１０により実行してもよく、及び／又はメモリ７３０に
記憶してもよく、又は後に実行するために不揮発性記録媒体に記録してもよい。

【００６５】本発明の思想及び範囲から逸脱することなく、本発明に基づく上述の手法及び
システムを様々に修正及び変形できることは当業者にとって明らかである。本発
明の範囲は、添付の請求の範囲により定義される。

【図面の簡単な説明】

【図１】Ｆｉｇ．１は、従来のブロック整合法を説明する図である。

【図２】Ｆｉｇ．２は、本発明に基づく、ブロック整合検索における検索領域の選択処
理を説明する図である。

【図３】Ｆｉｇ．３Ａは、本発明に基づく階層的検索処理の手順を示すフローチャート
である。

【図４】Ｆｉｇ．３Ｂは、Ｆｉｇ．３Ａの続きである。

【図５】Ｆｉｇ．４Ａは、８×８配列からなる画素情報の垂直統合射影情報の算出を説
明する図である。

【図６】Ｆｉｇ．４Ｂは、８×８配列からなる画素情報の水平統合射影情報の算出を説
明する図である。

【図７】Ｆｉｇ．５は、本発明に基づくブロック整合処理の１処理段階を説明する図で
ある。

【図８】Ｆｉｇ．６は、本発明に基づくブロック整合処理の１処理段階を説明する図で
ある。

【図９】Ｆｉｇ．７は、本発明に基づくシステムの構成を示す図である。

【図１０】Ｆｉｇ．８は、本発明に基づくプロセッサの構成を示す図である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷＦターム(参考） 5C021 PA53 PA56 PA57 PA58 PA66 PA72 PA74 PA76 RA01 RA16 5C059 KK19 MA00 MA05 NN02 NN03 NN05 NN10 NN28 NN29 PP05 SS06 SS11 TA63 TB07 TC02 TC04 TD05 TD06 TD11 UA02 UA39 5L096 AA06 BA20 DA02 FA36 GA08 GA19 HA04 JA14 KA07

Claims

【特許請求の範囲】

【請求項１】ビデオ画像データにおける第１及び第２のフレーム間の動きベ
クトルを生成する動きベクトル判定方法において、（ａ）上記第１のフレームにおいて、画素情報の２次元配列として構成される
現在のマクロブロックを決定するステップ（３０２）と、（ｂ）上記第１のフレームにおいて、上記現在のマクロブロックと複数のマク
ロブロックとから構成される現在のスーパーマクロブロックを決定するステップ
（３０４）と、（ｃ）上記現在のスーパーマクロブロックと第１の検索範囲とに基づいて、上
記第２のフレームにおける第１の検索領域を選択するステップ（３０６）と、（ｄ）変位判定基準と現在のスーパーマクロブロックとに基づいて、上記第１
の検索範囲における最良候補スーパーマクロブロックを判定するステップ（３１
２）と、（ｅ）上記最良候補スーパーマクロブロックを複数の候補マクロブロックに分
割するステップ（３１４）と、（ｆ）上記複数の候補マクロブロックと第２の検索範囲とに基づいて、上記第
２のフレームにおける複数の第２の検索範囲を選択するステップ（３１６）と、（ｇ）変位判定基準と現在のマクロブロックとに基づいて、上記第２の検索範
囲における最良候補マクロブロックを判定するステップ（３２２）と、（ｈ）上記現在のマクロブロックと上記第１の最良候補マクロブロックとの間
の距離を表す第１の動きベクトルを判定するステップ（３２８）とを有する動き
ベクトル判定方法。
【請求項２】（ｉ）上記第２のフレームにおいて、上記第１の最良候補マク
ロブロックと第３の検索範囲とに基づいて、第３の検索範囲を選択するステップ
（３２４）と、（ｊ）変位判定基準と現在のマクロブロックとに基づいて、上記第３の検索範
囲における第２の最良候補マクロブロックを判定するステップ（３２４）と、（ｋ）上記現在のマクロブロックと上記第２の最良候補マクロブロックとの間
の距離を表す第２の動きベクトルを判定するステップ（３２８）とを有する請求
項１記載の動きベクトル判定方法。
【請求項３】（ｌ）上記第２のフレームにおいて、上記第２の最良候補マク
ロブロックと第４の検索範囲とに基づいて、第４の検索範囲を選択するステップ
（３２６）と、（ｍ）所定の変位判定基準と現在のスーパーマクロブロックとに基づいて、上
記第４の検索範囲における第３の最良候補マクロブロックを判定するステップ（
３２６）と、（ｎ）上記現在のスーパーマクロブロックと上記第２の最良候補マクロブロッ
クとの間の距離を表す第３の動きベクトルを判定するステップ（３２８）とを有
する請求項２記載の動きベクトル判定方法。
【請求項４】上記最良候補スーパーマクロブックを判定するステップは、（ａ）上記現在のスーパーマクロブロックと変位判定基準とに基づいて、各画
素情報のストリップにおいて少なくとも１つの候補スーパーマクロブロックを選
択することにより、第１の候補スーパーマクロブロックの組を決定するステップ
と、（ｂ）上記現在のスーパーマクロブロックと変位判定基準とに基づいて、上記
第１の候補スーパーマクロブロックの組に基づいてそれぞれ決定された少なくと
も１つの第２の検索範囲において少なくとも１つの候補スーパーマクロブロック
を選択することにより第２の候補スーパーマクロブロックの組を決定するステッ
プと、（ｃ）変位判定基準に基づいて、上記第２の候補スーパーマクロブロックの組
から最良候補スーパーマクロブロックを判定するステップとを有することを特徴
とする請求項１記載の動きベクトル判定方法。
【請求項５】上記第１の最良候補マクロブロックを判定するステップは、（ａ）上記現在のスーパーマクロブロックと変位判定基準とに基づいて、各画
素情報のストリップにおいて少なくとも１つの候補スーパーマクロブロックを選
択することにより、第１の候補スーパーマクロブロックの組を決定するステップ
と、（ｂ）上記現在のスーパーマクロブロックと変位判定基準とに基づいて、上記
第１の候補スーパーマクロブロックの組に基づいてそれぞれ決定された少なくと
も１つの第２の検索範囲において少なくとも１つの候補スーパーマクロブロック
を選択することにより第２の候補スーパーマクロブロックの組を決定するステッ
プと、（ｃ）変位判定基準に基づいて、上記第２の候補スーパーマクロブロックの組
から最良候補スーパーマクロブロックを判定するステップとを有することを特徴
とする請求項１記載の動きベクトル判定方法。
【請求項６】ビデオ画像データにおける第１及び第２のフレーム間の動きベ
クトルを生成する動きベクトル判定方法において、（ａ）画素情報の２次元配列からなる第１のフレームにおける現在のマクロブ
ロックを決定するステップと、（ｂ）上記現在のマクロブロックを表す少なくとも１つの統合射影配列を算出
するステップと、（ｃ）上記第１のフレームにおいて、上記現在のマクロブロックと複数のマク
ロブロックとから構成される現在のスーパーマクロブロックを決定するステップ
と、（ｄ）上記現在のスーパーマクロブロックを表す少なくとも１つの統合射影配
列を算出するステップと、（ｅ）上記現在のスーパーマクロブロックと第１の検索範囲とに基づいて、上
記第２のフレームにおける第１の検索領域を選択するステップと、（ｆ）変位判定基準と上記現在のスーパーマクロブロックを表す統合射影配列
とに基づいて、上記第１の検索範囲における最良候補スーパーマクロブロックを
判定するステップと、（ｇ）上記最良候補スーパーマクロブロックを複数の候補マクロブロックに分
割するステップと、（ｈ）上記複数の候補マクロブロックと第２の検索範囲とに基づいて、上記第
２のフレームにおける複数の第２の検索範囲を選択するステップと、（ｉ）変位判定基準と上記現在のマクロブロックを表す統合射影配列とに基づ
いて、上記第２の検索範囲における最良候補マクロブロックを判定するステップ
と、（ｊ）上記現在のマクロブロックと上記第１の最良候補マクロブロックとの間
の距離を表す第１の動きベクトルを判定するステップとを有する動きベクトル判
定方法。
【請求項７】（ｋ）上記第２のフレームにおいて、上記第１の最良候補マク
ロブロックと第３の検索範囲とに基づいて、第３の検索範囲を選択するステップ
と、（ｌ）変位判定基準と現在のマクロブロックとに基づいて、上記第３の検索範
囲における第２の最良候補マクロブロックを判定するステップと、（ｍ）上記現在のマクロブロックと上記第２の最良候補マクロブロックとの間
の距離を表す第２の動きベクトルを判定するステップ（３２８）とを有する請求
項６記載の動きベクトル判定方法。
【請求項８】（ｎ）上記第２のフレームにおいて、上記第２の最良候補マク
ロブロックと第４の検索範囲とに基づいて、第４の検索範囲を選択するステップ
と、（ｏ）所定の変位判定基準と現在のスーパーマクロブロックとに基づいて、上
記第４の検索範囲における第３の最良候補マクロブロックを判定するステップと
、（ｐ）上記現在のスーパーマクロブロックと上記第２の最良候補マクロブロッ
クとの間の距離を表す第３の動きベクトルを判定するステップとを有する請求項
７記載の動きベクトル判定方法。
【請求項９】上記最良候補スーパーマクロブックを判定するステップは、（ａ）上記現在のスーパーマクロブロックと変位判定基準とに基づいて、各画
素情報のストリップにおいて少なくとも１つの候補スーパーマクロブロックを選
択することにより、第１の候補スーパーマクロブロックの組を決定するステップ
と、（ｂ）上記現在のスーパーマクロブロックを表す統合射影配列と変位判定基準
とに基づいて、上記第１の候補スーパーマクロブロックの組に基づいてそれぞれ
決定された少なくとも１つの第２の検索範囲において少なくとも１つの候補スー
パーマクロブロックを選択することにより第２の候補スーパーマクロブロックの
組を決定するステップと、（ｃ）変位判定基準に基づいて、上記第２の候補スーパーマクロブロックの組
から最良候補スーパーマクロブロックを判定するステップとを有することを特徴
とする請求項６記載の動きベクトル判定方法。
【請求項１０】上記第１の最良候補マクロブロックを判定するステップは、（ａ）上記現在のスーパーマクロブロックを表す統合射影情報と変位判定基準
とに基づいて、各画素情報のストリップにおいて少なくとも１つの候補スーパー
マクロブロックを選択することにより、第１の候補スーパーマクロブロックの組
を決定するステップと、（ｂ）上記現在のスーパーマクロブロックを表す統合射影情報と変位判定基準
とに基づいて、上記第１の候補スーパーマクロブロックの組に基づいてそれぞれ
決定された少なくとも１つの第２の検索範囲において少なくとも１つの候補スー
パーマクロブロックを選択することにより第２の候補スーパーマクロブロックの
組を決定するステップと、（ｃ）変位判定基準に基づいて、上記第２の候補スーパーマクロブロックの組
から最良候補スーパーマクロブロックを判定するステップとを有することを特徴
とする請求項６記載の動きベクトル判定方法。
【請求項１１】ビデオ画像データにおける第１及び第２のフレーム間の動き
ベクトルを生成する動きベクトル判定装置において、プログラム命令が格納されたメモリ（７３０）と、上記プログラム命令を実行することにより、（ａ）上記第１のフレームにおいて、画素情報の２次元配列として構成される
現在のマクロブロックを決定するステップと、（ｂ）上記第１のフレームにおいて、上記現在のマクロブロックと複数のマク
ロブロックとから構成される現在のスーパーマクロブロックを決定するステップ
と、（ｃ）上記現在のスーパーマクロブロックと第１の検索範囲とに基づいて、上
記第２のフレームにおける第１の検索領域を選択するステップと、（ｄ）変位判定基準と現在のスーパーマクロブロックとに基づいて、上記第１
の検索範囲における最良候補スーパーマクロブロックを判定するステップと、（ｅ）上記最良候補スーパーマクロブロックを複数の候補マクロブロックに分
割するステップと、（ｆ）上記複数の候補マクロブロックと第２の検索範囲とに基づいて、上記第
２のフレームにおける複数の第２の検索範囲を選択するステップと、（ｇ）変位判定基準と現在のマクロブロックとに基づいて、上記第２の検索範
囲における最良候補マクロブロックを判定するステップと、（ｈ）上記現在のマクロブロックと上記第１の最良候補マクロブロックとの間
の距離を表す第１の動きベクトルを判定するステップとを実行するプロセッサ（７１０）とを備える動きベクトル判定装置。
【請求項１２】上記プロセッサは、上記プログラム命令を実行することによ
り、（ｉ）上記第２のフレームにおいて、上記第１の最良候補マクロブロックと第
３の検索範囲とに基づいて、第３の検索範囲を選択するステップと、（ｊ）変位判定基準と現在のマクロブロックとに基づいて、上記第３の検索範
囲における第２の最良候補マクロブロックを判定するステップと、（ｋ）上記現在のマクロブロックと上記第２の最良候補マクロブロックとの間
の距離を表す第２の動きベクトルを判定するステップとを実行することを特徴とする請求項１１記載の動きベクトル判定装置。
【請求項１３】上記プロセッサは、上記プログラム命令を実行することによ
り、（ｌ）上記第２のフレームにおいて、上記第２の最良候補マクロブロックと第
４の検索範囲とに基づいて、第４の検索範囲を選択するステップと、（ｍ）所定の変位判定基準と現在のスーパーマクロブロックとに基づいて、上
記第４の検索範囲における第３の最良候補マクロブロックを判定するステップと
、（ｎ）上記現在のスーパーマクロブロックと上記第２の最良候補マクロブロッ
クとの間の距離を表す第３の動きベクトルを判定するステップとを実行することを特徴とする請求項１２記載の動きベクトル判定装置。
【請求項１４】上記最良候補スーパーマクロブックを判定するステップは、（ａ）上記現在のスーパーマクロブロックと変位判定基準とに基づいて、各画
素情報のストリップにおいて少なくとも１つの候補スーパーマクロブロックを選
択することにより、第１の候補スーパーマクロブロックの組を決定するステップ
と、（ｂ）上記現在のスーパーマクロブロックと変位判定基準とに基づいて、上記
第１の候補スーパーマクロブロックの組に基づいてそれぞれ決定された少なくと
も１つの第２の検索範囲において少なくとも１つの候補スーパーマクロブロック
を選択することにより第２の候補スーパーマクロブロックの組を決定するステッ
プと、（ｃ）変位判定基準に基づいて、上記第２の候補スーパーマクロブロックの組
から最良候補スーパーマクロブロックを判定するステップとを有することを特徴
とする請求項１１記載の動きベクトル判定装置。
【請求項１５】上記第１の最良候補マクロブロックを判定するステップは、（ａ）上記現在のスーパーマクロブロックと変位判定基準とに基づいて、各画
素情報のストリップにおいて少なくとも１つの候補スーパーマクロブロックを選
択することにより、第１の候補スーパーマクロブロックの組を決定するステップ
と、（ｂ）上記現在のスーパーマクロブロックと変位判定基準とに基づいて、上記
第１の候補スーパーマクロブロックの組に基づいてそれぞれ決定された少なくと
も１つの第２の検索範囲において少なくとも１つの候補スーパーマクロブロック
を選択することにより第２の候補スーパーマクロブロックの組を決定するステッ
プと、（ｃ）変位判定基準に基づいて、上記第２の候補スーパーマクロブロックの組
から最良候補スーパーマクロブロックを判定するステップとを有することを特徴
とする請求項１１記載の動きベクトル判定装置。
【請求項１６】ビデオ画像データにおける第１及び第２のフレーム間の動きベ
クトルを生成する動きベクトル判定装置において、プログラム命令が格納されたメモリと、上記プログラム命令を実行することにより、（ａ）画素情報の２次元配列からなる第１のフレームにおける現在のマクロブ
ロックを決定するステップと、（ｂ）上記現在のマクロブロックを表す少なくとも１つの統合射影配列を算出
するステップと、（ｃ）上記第１のフレームにおいて、上記現在のマクロブロックと複数のマク
ロブロックとから構成される現在のスーパーマクロブロックを決定するステップ
と、（ｄ）上記現在のスーパーマクロブロックを表す少なくとも１つの統合射影配
列を算出するステップと、（ｅ）上記現在のスーパーマクロブロックと第１の検索範囲とに基づいて、上
記第２のフレームにおける第１の検索領域を選択するステップと、（ｆ）変位判定基準と上記現在のスーパーマクロブロックを表す統合射影配列
とに基づいて、上記第１の検索範囲における最良候補スーパーマクロブロックを
判定するステップと、（ｇ）上記最良候補スーパーマクロブロックを複数の候補マクロブロックに分
割するステップと、（ｈ）上記複数の候補マクロブロックと第２の検索範囲とに基づいて、上記第
２のフレームにおける複数の第２の検索範囲を選択するステップと、（ｉ）変位判定基準と上記現在のマクロブロックを表す統合射影配列とに基づ
いて、上記第２の検索範囲における最良候補マクロブロックを判定するステップ
と、（ｊ）上記現在のマクロブロックと上記第１の最良候補マクロブロックとの間
の距離を表す第１の動きベクトルを判定するステップとを実行するプロセッサとを備える動きベクトル判定装置。
【請求項１７】上記プロセッサは、上記プログラム命令を実行することによ
り、（ｋ）上記第２のフレームにおいて、上記第１の最良候補マクロブロックと第
３の検索範囲とに基づいて、第３の検索範囲を選択するステップと、（ｌ）変位判定基準と現在のマクロブロックとに基づいて、上記第３の検索範
囲における第２の最良候補マクロブロックを判定するステップと、（ｍ）上記現在のマクロブロックと上記第２の最良候補マクロブロックとの間
の距離を表す第２の動きベクトルを判定するステップ（３２８）とを実行することを特徴とする請求項１６記載の動きベクトル判定装置。
【請求項１８】上記プロセッサは、上記プログラム命令を実行することによ
り、（ｎ）上記第２のフレームにおいて、上記第２の最良候補マクロブロックと第
４の検索範囲とに基づいて、第４の検索範囲を選択するステップと、（ｏ）所定の変位判定基準と現在のスーパーマクロブロックとに基づいて、上
記第４の検索範囲における第３の最良候補マクロブロックを判定するステップと
、（ｐ）上記現在のスーパーマクロブロックと上記第２の最良候補マクロブロッ
クとの間の距離を表す第３の動きベクトルを判定するステップとを実行することを特徴とする請求項１７記載の動きベクトル判定装置。
【請求項１９】上記最良候補スーパーマクロブックを判定するステップは、（ａ）上記現在のスーパーマクロブロックと変位判定基準とに基づいて、各画
素情報のストリップにおいて少なくとも１つの候補スーパーマクロブロックを選
択することにより、第１の候補スーパーマクロブロックの組を決定するステップ
と、（ｂ）上記現在のスーパーマクロブロックを表す統合射影配列と変位判定基準
とに基づいて、上記第１の候補スーパーマクロブロックの組に基づいてそれぞれ
決定された少なくとも１つの第２の検索範囲において少なくとも１つの候補スー
パーマクロブロックを選択することにより第２の候補スーパーマクロブロックの
組を決定するステップと、（ｃ）変位判定基準に基づいて、上記第２の候補スーパーマクロブロックの組
から最良候補スーパーマクロブロックを判定するステップとを有することを特徴
とする請求項１６記載の動きベクトル判定装置。
【請求項２０】上記第１の最良候補マクロブロックを判定するステップは、（ａ）上記現在のスーパーマクロブロックを表す統合射影情報と変位判定基準
とに基づいて、各画素情報のストリップにおいて少なくとも１つの候補スーパー
マクロブロックを選択することにより、第１の候補スーパーマクロブロックの組
を決定するステップと、（ｂ）上記現在のスーパーマクロブロックを表す統合射影情報と変位判定基準
とに基づいて、上記第１の候補スーパーマクロブロックの組に基づいてそれぞれ
決定された少なくとも１つの第２の検索範囲において少なくとも１つの候補スー
パーマクロブロックを選択することにより第２の候補スーパーマクロブロックの
組を決定するステップと、（ｃ）変位判定基準に基づいて、上記第２の候補スーパーマクロブロックの組
から最良候補スーパーマクロブロックを判定するステップとを有することを特徴
とする請求項１６記載の動きベクトル判定装置。
【請求項２１】ビデオ画像データにおける第１及び第２のフレーム間の動き
ベクトルを生成するコンピュータにより読取可能なコードが実現されたコンピュ
ータにより使用可能な媒体を備えるコンピュータプログラム製品において、上記コンピュータにより使用可能な媒体は、（ａ）上記第１のフレームにおいて、画素情報の２次元配列として構成される
現在のマクロブロックを決定するコンポーネントと、（ｂ）上記第１のフレームにおいて、上記現在のマクロブロックと複数のマク
ロブロックとから構成される現在のスーパーマクロブロックを決定するコンポー
ネントと、（ｃ）上記現在のスーパーマクロブロックと第１の検索範囲とに基づいて、上
記第２のフレームにおける第１の検索領域を選択するコンポーネントと、（ｄ）変位判定基準と現在のスーパーマクロブロックとに基づいて、上記第１
の検索範囲における最良候補スーパーマクロブロックを判定するコンポーネント
と、（ｅ）上記最良候補スーパーマクロブロックを複数の候補マクロブロックに分
割するコンポーネントと、（ｆ）上記複数の候補マクロブロックと第２の検索範囲とに基づいて、上記第
２のフレームにおける複数の第２の検索範囲を選択するコンポーネントと、（ｇ）変位判定基準と現在のマクロブロックとに基づいて、上記第２の検索範
囲における最良候補マクロブロックを判定するコンポーネントと、（ｈ）上記現在のマクロブロックと上記第１の最良候補マクロブロックとの間
の距離を表す第１の動きベクトルを判定するコンポーネントとを備えるコンピュ
ータプログラム製品。
【請求項２２】（ｉ）上記第２のフレームにおいて、上記第１の最良候補マ
クロブロックと第３の検索範囲とに基づいて、第３の検索範囲を選択するコンポ
ーネントと、（ｊ）変位判定基準と現在のマクロブロックとに基づいて、上記第３の検索範
囲における第２の最良候補マクロブロックを判定するコンポーネントと、（ｋ）上記現在のマクロブロックと上記第２の最良候補マクロブロックとの間
の距離を表す第２の動きベクトルを判定するコンポーネントとを備える請求項２
１記載のコンピュータプログラム製品。
【請求項２３】（ｌ）上記第２のフレームにおいて、上記第２の最良候補マ
クロブロックと第４の検索範囲とに基づいて、第４の検索範囲を選択するコンポ
ーネントと、（ｍ）所定の変位判定基準と現在のスーパーマクロブロックとに基づいて、上
記第４の検索範囲における第３の最良候補マクロブロックを判定するコンポーネ
ントと、（ｎ）上記現在のスーパーマクロブロックと上記第２の最良候補マクロブロッ
クとの間の距離を表す第３の動きベクトルを判定するコンポーネントとを備える
請求項２２記載のコンピュータプログラム製品。
【請求項２４】上記最良候補スーパーマクロブックを判定するコンポーネン
トは、（ａ）上記現在のスーパーマクロブロックと変位判定基準とに基づいて、各画
素情報のストリップにおいて少なくとも１つの候補スーパーマクロブロックを選
択することにより、第１の候補スーパーマクロブロックの組を決定するコンポー
ネントと、（ｂ）上記現在のスーパーマクロブロックと変位判定基準とに基づいて、上記
第１の候補スーパーマクロブロックの組に基づいてそれぞれ決定された少なくと
も１つの第２の検索範囲において少なくとも１つの候補スーパーマクロブロック
を選択することにより第２の候補スーパーマクロブロックの組を決定するコンポ
ーネントと、（ｃ）変位判定基準に基づいて、上記第２の候補スーパーマクロブロックの組
から最良候補スーパーマクロブロックを判定するコンポーネントとを備えること
を特徴とする請求項２１記載のコンピュータプログラム製品。
【請求項２５】上記第１の最良候補マクロブロックを判定するコンポーネン
トは、（ａ）上記現在のスーパーマクロブロックと変位判定基準とに基づいて、各画
素情報のストリップにおいて少なくとも１つの候補スーパーマクロブロックを選
択することにより、第１の候補スーパーマクロブロックの組を決定するコンポー
ネントと、（ｂ）上記現在のスーパーマクロブロックと変位判定基準とに基づいて、上記
第１の候補スーパーマクロブロックの組に基づいてそれぞれ決定された少なくと
も１つの第２の検索範囲において少なくとも１つの候補スーパーマクロブロック
を選択することにより第２の候補スーパーマクロブロックの組を決定するコンポ
ーネントと、（ｃ）変位判定基準に基づいて、上記第２の候補スーパーマクロブロックの組
から最良候補スーパーマクロブロックを判定するコンポーネントとを有すること
を特徴とする請求項２１記載のコンピュータプログラム製品。
【請求項２６】ビデオ画像データにおける第１及び第２のフレーム間の動き
ベクトルを生成するコンピュータにより読取可能なコードが実現されたコンピュ
ータにより使用可能な媒体を備えるコンピュータプログラム製品において、上記コンピュータにより使用可能な媒体は、（ａ）画素情報の２次元配列からなる第１のフレームにおける現在のマクロブ
ロックを決定するコンポーネントと、（ｂ）上記現在のマクロブロックを表す少なくとも１つの統合射影配列を算出
するコンポーネントと、（ｃ）上記第１のフレームにおいて、上記現在のマクロブロックと複数のマク
ロブロックとから構成される現在のスーパーマクロブロックを決定するコンポー
ネントと、（ｄ）上記現在のスーパーマクロブロックを表す少なくとも１つの統合射影配
列を算出するコンポーネントと、（ｅ）上記現在のスーパーマクロブロックと第１の検索範囲とに基づいて、上
記第２のフレームにおける第１の検索領域を選択するコンポーネントと、（ｆ）変位判定基準と上記現在のスーパーマクロブロックを表す統合射影配列
とに基づいて、上記第１の検索範囲における最良候補スーパーマクロブロックを
判定するコンポーネントと、（ｇ）上記最良候補スーパーマクロブロックを複数の候補マクロブロックに分
割するコンポーネントと、（ｈ）上記複数の候補マクロブロックと第２の検索範囲とに基づいて、上記第
２のフレームにおける複数の第２の検索範囲を選択するコンポーネントと、（ｉ）変位判定基準と上記現在のマクロブロックを表す統合射影配列とに基づ
いて、上記第２の検索範囲における最良候補マクロブロックを判定するコンポー
ネントと、（ｊ）上記現在のマクロブロックと上記第１の最良候補マクロブロックとの間
の距離を表す第１の動きベクトルを判定するコンポーネントとを備えるコンピュ
ータプログラム製品。
【請求項２７】（ｋ）上記第２のフレームにおいて、上記第１の最良候補マ
クロブロックと第３の検索範囲とに基づいて、第３の検索範囲を選択するコンポ
ーネントと、（ｌ）変位判定基準と現在のマクロブロックとに基づいて、上記第３の検索範
囲における第２の最良候補マクロブロックを判定するコンポーネントと、（ｍ）上記現在のマクロブロックと上記第２の最良候補マクロブロックとの間
の距離を表す第２の動きベクトルを判定するコンポーネント（３２８）とを有す
る請求項２６記載のコンピュータプログラム製品。
【請求項２８】（ｎ）上記第２のフレームにおいて、上記第２の最良候補マ
クロブロックと第４の検索範囲とに基づいて、第４の検索範囲を選択するコンポ
ーネントと、（ｏ）所定の変位判定基準と現在のスーパーマクロブロックとに基づいて、上
記第４の検索範囲における第３の最良候補マクロブロックを判定するコンポーネ
ントと、（ｐ）上記現在のスーパーマクロブロックと上記第２の最良候補マクロブロッ
クとの間の距離を表す第３の動きベクトルを判定するコンポーネントとを備える
請求項２７記載のコンピュータプログラム製品。
【請求項２９】上記最良候補スーパーマクロブックを判定するコンポーネン
トは、（ａ）上記現在のスーパーマクロブロックと変位判定基準とに基づいて、各画
素情報のストリップにおいて少なくとも１つの候補スーパーマクロブロックを選
択することにより、第１の候補スーパーマクロブロックの組を決定するコンポー
ネントと、（ｂ）上記現在のスーパーマクロブロックを表す統合射影配列と変位判定基準
とに基づいて、上記第１の候補スーパーマクロブロックの組に基づいてそれぞれ
決定された少なくとも１つの第２の検索範囲において少なくとも１つの候補スー
パーマクロブロックを選択することにより第２の候補スーパーマクロブロックの
組を決定するコンポーネントと、（ｃ）変位判定基準に基づいて、上記第２の候補スーパーマクロブロックの組
から最良候補スーパーマクロブロックを判定するコンポーネントとを有すること
を特徴とする請求項２６記載のコンピュータプログラム製品。
【請求項３０】上記第１の最良候補マクロブロックを判定するコンポーネン
トは、（ａ）上記現在のスーパーマクロブロックを表す統合射影情報と変位判定基準
とに基づいて、各画素情報のストリップにおいて少なくとも１つの候補スーパー
マクロブロックを選択することにより、第１の候補スーパーマクロブロックの組
を決定するコンポーネントと、（ｂ）上記現在のスーパーマクロブロックを表す統合射影情報と変位判定基準
とに基づいて、上記第１の候補スーパーマクロブロックの組に基づいてそれぞれ
決定された少なくとも１つの第２の検索範囲において少なくとも１つの候補スー
パーマクロブロックを選択することにより第２の候補スーパーマクロブロックの
組を決定するコンポーネントと、（ｃ）変位判定基準に基づいて、上記第２の候補スーパーマクロブロックの組
から最良候補スーパーマクロブロックを判定するコンポーネントとを備えること
を特徴とする請求項２６記載のコンピュータプログラム製品。
【請求項３１】ビデオ画像データにおける第１及び第２のフレーム間の動き
ベクトルを生成する動きベクトル判定システムにおいて、（ａ）上記第１のフレームにおいて、画素情報の２次元配列として構成される
現在のマクロブロックを決定する現在マクロブロック決定手段と、（ｂ）上記第１のフレームにおいて、上記現在のマクロブロックと複数のマク
ロブロックとから構成される現在のスーパーマクロブロックを決定する現在スー
パーマクロブロック決定手段と、（ｃ）上記現在のスーパーマクロブロックと第１の検索範囲とに基づいて、上
記第２のフレームにおける第１の検索領域を選択する第１検索領域選択手段と、（ｄ）変位判定基準と現在のスーパーマクロブロックとに基づいて、上記第１
の検索範囲における最良候補スーパーマクロブロックを判定する最良候補スーパ
ーマクロブロック判定手段と、（ｅ）上記最良候補スーパーマクロブロックを複数の候補マクロブロックに分
割する分割手段と、（ｆ）上記複数の候補マクロブロックと第２の検索範囲とに基づいて、上記第
２のフレームにおける複数の第２の検索範囲を選択する第２検索範囲選択手段と
、（ｇ）変位判定基準と現在のマクロブロックとに基づいて、上記第２の検索範
囲における最良候補マクロブロックを判定するステップ最良候補マクロブロック
判定手段と、（ｈ）上記現在のマクロブロックと上記第１の最良候補マクロブロックとの間
の距離を表す第１の動きベクトルを判定する第１動きベクトル判定手段とを備え
る動きベクトル判定システム。
【請求項３２】ビデオ画像データにおける第１及び第２のフレーム間の動き
ベクトルを生成する動きベクトル判定システムにおいて、（ａ）画素情報の２次元配列からなる第１のフレームにおける現在のマクロブ
ロックを決定する現在マクロブロック決定手段と、（ｂ）上記現在のマクロブロックを表す少なくとも１つの統合射影配列を算出
する統合射影配列算出手段と、（ｃ）上記第１のフレームにおいて、上記現在のマクロブロックと複数のマク
ロブロックとから構成される現在のスーパーマクロブロックを決定する現在スー
パーマクロブロック決定手段と、（ｄ）上記現在のスーパーマクロブロックを表す少なくとも１つの統合射影配
列を算出する統合射影配列算出手段と、（ｅ）上記現在のスーパーマクロブロックと第１の検索範囲とに基づいて、上
記第２のフレームにおける第１の検索領域を選択する第１検索領域選択手段と、（ｆ）変位判定基準と上記現在のスーパーマクロブロックを表す統合射影配列
とに基づいて、上記第１の検索範囲における最良候補スーパーマクロブロックを
判定する最良候補スーパーマクロブロック判定手段と、（ｇ）上記最良候補スーパーマクロブロックを複数の候補マクロブロックに分
割する分割手段と、（ｈ）上記複数の候補マクロブロックと第２の検索範囲とに基づいて、上記第
２のフレームにおける複数の第２の検索範囲を選択する第２検索範囲選択手段と
、（ｉ）変位判定基準と上記現在のマクロブロックを表す統合射影配列とに基づいて、上記第２の検索範囲における最良候補マクロブロックを判定する最良候
補マクロブロック判定手段と、（ｊ）上記現在のマクロブロックと上記第１の最良候補マクロブロックとの間
の距離を表す第１の動きベクトルを判定する第１動きベクトル判定手段とを備え
る動きベクトル判定システム。