JP2006197387A

JP2006197387A - 動きベクトル探索装置及び動きベクトル探索プログラム

Info

Publication number: JP2006197387A
Application number: JP2005008165A
Authority: JP
Inventors: Toshiyuki Yoshitake; 敏幸吉武
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2005-01-14
Filing date: 2005-01-14
Publication date: 2006-07-27

Abstract

【課題】インターレス方式の動画像であっても最適の動きベクトルを検出することができる動きベクトル探索装置及びその探索プログラムを提供する。
【解決手段】圧縮対象の現フレームのブロック画像と相関が最も高いブロック画像の位置を求める動きベクトル探索処理において，上下方向で現フレームのブロック画像とは異なるフィールドが対応する画像と，同じフィールドが対応する画像との両方を含めて探索対象のブロック画像とする。
【選択図】図１１

Description

本発明は，ＭＰＥＧなど時間方向の画像の相関を利用して動画像を圧縮する動画像圧縮方式における動きベクトル探索装置及び動きベクトル探索プログラムに関し，特に，インターレス画像に追跡型探索方法を適用する場合の動きベクトル探索装置及びプログラムに関する。

ＭＰＥＧ（Moving Picture Experts Group）は，ＤＶＤレコーダ，パーソナルコンピュータによるテレビキャプチャ，デジタルカメラの動画撮影などにおいて動画像のリアルタイムの圧縮方法として広く利用されている。一般に，動画像は毎秒当たり３０フレームの連続画像からなり，各フレームの画像を圧縮（符号化）する必要がある。圧縮対象の画像（以下圧縮画像）は直前のフレーム画像とは時間的にきわめて近接しているので，前後するフレーム画像間の相関が高い。そこで，ＭＰＥＧによる圧縮方式では，時間方向の画像の相関を圧縮に利用して各フレームの画像をそれぞれ圧縮するよりも圧縮率を高めている。例えば，現在の圧縮画像に対して直前の画像を参照画像とし，その差分成分を抽出しそれを圧縮して，高い圧縮率を実現する。

更に，ＭＰＥＧ圧縮方式では，圧縮画像を１６×１６画素領域からなるマクロブロックに分割し，各マクロブロックの画像が参照画像上で最も似ている領域を探索し，その領域に対する差分成分を抽出して圧縮する。最も似ている領域を参照画像とすることで差分成分を最小にすることができ，差分成分のデータ量を小さくすることができる。そのために，前記最も似ている領域を探索する動きベクトル探索処理が必要になる。動きベクトルとは，圧縮対象のマクロブロックから参照画像上で最も似ているマクロブロックの位置を示すものであり，最適な動きベクトルを求めることにより，差分成分をより小さくすることができ，より高い圧縮率を実現することができる。動きベクトルの探索については，例えば，特許文献１に記載されている。

最適な動きベクトルを検出する動きベクトル探索処理は，参照画像の探索範囲内のマクロブロックのうち圧縮画像のマクロブロックとの差分が最も小さくなるマクロブロックの位置を求めるものであり，動画像圧縮処理の３０〜４０％を占めるものであり，処理の省力化が求められる。
特開平９−１３０８０８号公報（平成９年５月１６日公開）

動きベクトル探索方法には，圧縮画像のマクロブロックの周わりの探索範囲内にある参照画像のマクロブロックについて全て圧縮画像との差分計算を行い，差分絶対値の総和（ＳＡＤ：Sum of Absolute Differences）が最も小さくなるものを探す全探索方法がある。この全探索方法は，探索範囲の面積に比例して差分演算回数が増大し，リアルタイムの圧縮処理には不向きである。

一方，差分演算回数を減らすことができる追跡型探索方法がある。この方法では，圧縮画像のマクロブロックの位置を中心にしてその中心から上下左右に１画素ずらした位置にある参照画像のマクロブロックについて最小の差分成分を有するものを求め，そのマクロブロックの位置を新たな中心として上記処理を繰り返し，ＳＡＤが最小になるまで探索を繰り返す。この方法では，差分演算回数を少なくすることができ，リアルタイム処理に向いている。

ところで，動画像には，プログレッシブ方式による動画像と，インターレス方式による動画像とがある。プログレッシブ方式では，動画像が毎秒３０フレームの画像からなるのに対して，インターレス方式では，動画像が毎秒３０フレームの画像からなるが各フレームの画像が奇数フィールドと偶数フィールドの画像からなる。プログレッシブ方式の動画像の場合は，前後のフレームの画像間で差分演算を行うことで最小のＳＡＤを有する位置を求めることができる。

一方で，インターレス方式の動画像の場合は，奇数フィールド及び偶数フィールドの画像はそれぞれ偶数行及び奇数行の画素が間引かれているため，それぞれのフィールド画像は縦方向の周波数が高くなり，ＭＰＥＧ方式で利用されるＤＣＴ（Discrete Cosine Transform,離散コサイン変換）ではＤＣＴ変換後のデータ量が多くなり圧縮率の低下を招く。そこで，インターレス方式の場合に，奇数フィールドと偶数フィールドの画像を合成した画像を参照画像として利用することが考えられる。

しかしながら，奇数フィールドと偶数フィールドとは時間的なずれ（位相ずれ）があるため，合成画像を参照画像として利用すると，追跡型動きベクトル探索処理において，探索対象の参照画像が圧縮画像と位相が一致する場合と一致しない場合とが発生する。つまり，圧縮画像の奇数，偶数のフィールド位置と参照画像のフィールド位置とが一致しない場合がある。そして位相が一致しない場合は，その位相ずれに伴う奇数及び偶数フィールド画像のずれにより，適切に最小のＳＤＡを検出することができず，最適な動きベクトルを検出することができなくなる。

そこで，本発明の目的は，インターレス方式の動画像であっても最適の動きベクトルを検出することができる動きベクトル探索装置及びその探索プログラムを提供することにある。

上記の課題を解決するために，本発明の第１の側面によれば，時間方向の画像の相関を利用して動画像を圧縮する動画像圧縮処理において，現フレームのブロック画像と相関の高い前フレームのブロック画像の位置を探索する動きベクトル探索装置であって，所定の位置の周囲に位置する複数の前フレームのブロック画像のうち，当該現フレームのブロック画像との相関が最も高い前フレームのブロック画像の位置を動きベクトルとして求め，当該動きベクトルの位置を前記所定の位置として前記動きベクトルを求める処理を繰り返して最適の動きベクトルを求める動きベクトル探索処理部を有し，奇数フィールドと偶数フィールドの画像を有するインターレス方式の動画像の場合，奇数フィールドと偶数フィールドの画像を合成した画像を参照対象の前フレームのブロック画像とし，前記周囲に位置する複数の前フレームのブロック画像を，上下方向において現フレームのブロック画像とは異なるフィールドが対応する画像と同じフィールドが対応する画像の両方を含めて探索対象のブロック画像とする。

上記の第１の側面によれば，インターレス方式の動画像の場合に参照対象の前フレームのブロック画像を奇数フィールドと偶数フィールドの画像を合成した画像にした場合，圧縮対象の現フレームのブロック画像と相関が最も高いブロック画像の位置を求める動きベクトル探索処理において，上下方向で現フレームのブロック画像とは異なるフィールドが対応する画像と，同じフィールドが対応する画像との両方を含めて探索対象のブロック画像とする。したがって，位相が異なる奇数及び偶数フィールドの画像を合成しても，上下方向においても最高の相関性を有するブロック画像の位置を検出することができる。単に左右上下方向において１画素ずれたブロック画像との相関をチェックする場合は，奇数及び偶数フィールドの画像の位相ずれに伴い，上下方向のブロック画像間の相関が低くなる可能性がある。これに対して，本発明によれば，上下方向においても同じ位相のフィールド画像が対応関係にあるブロック画像について相関性をチェックするので，上下方向に位置する最大の相関性を有するブロック画像の位置を適切に検出できる。

上記第１の側面において，より好ましい実施例によれば，前記周囲に位置する複数の前フレームのブロック画像を，プログレッシブ方式の動画像の場合は，少なくとも上下左右方向に１画素ずれたブロック画像とし，インターレス方式の動画像の場合は，少なくとも左右方向に１画素及び上下方向に２画素までずれたブロック画像とすることを特徴とする。

この実施例によれば，プログレッシブ方式の場合は，探索される周囲のブロック画像を上下左右方向に１画素ずれたブロック画像とし，探索対象ブロック画像数を最小限に抑えて探索処理を簡単化し，インターレス方式の場合は，探索される周囲のブロック画像を左右方向は１画素ずれたブロック画像とし，上下方向は２画素までずれたブロック画像とする。これにより，同じフィールド画像間で相関性をチェックできるようになり，最適な参照ブロックの検出を可能にする。

本発明によれば，インターレス方式の動画像に対しても最適な動きベクトルを検出することができ，動画像の圧縮率を高めることができる。

以下，図面にしたがって本発明の実施の形態について説明する。但し，本発明の技術的範囲はこれらの実施の形態に限定されず，特許請求の範囲に記載された事項とその均等物まで及ぶものである。

図１は，本実施の形態におけるＭＰＥＧ動画像圧縮装置の構成図である。圧縮対象の動画像データ１０が前処理部１２に入力され，現フレームの画像がカレント画像データＤ１としてメモリに格納される。また，前処理部１２は，画像を１６×１６画素のマクロブロックに分解すると共に，入力された動画像のヘッダ情報からプログレッシブ方式かインターレス方式かを区別しフォーマット信号Ｐ／Ｉを生成する。差分信号生成部１４は，前処理部１２から現フレームのマクロブロックの画像を供給され，動きベクトル探索ユニット２６により検出された最も相関が高い前フレームのブロック画像との差分信号を生成する。ＤＣＴ／量子化部１６は，動きベクトルと差分信号に対して，ディスクリートコサイン変換（ＤＣＴ変換）を行い，変換された信号を量子化処理する。更に，可変長符号化部１８は，量子化された信号に対して可変長符号化を行い，圧縮された動画像データ２０をストリームデータとして出力する。

ＤＣＴ／量子化部１６の出力信号は，逆量子化／逆ＤＣＴ部２２により差分信号と動きベクトルに戻され，参照画像生成部２４は，それら差分信号と動きベクトルに基づき前フレームの画像を参照して現フレームの画像を生成し，次のフレームの画像の参照画像データＤ２としてメモリに格納する。そして，動きベクトル探索ユニット２６は，現フレームの画像内のマクロブロック画像と最も相関の高い前フレームの画像内のマクロブロックを探索し，現フレームのマクロブロックの位置に対する前フレームのマクロブロックの相対位置を動きベクトルとして検出し，差分信号生成部１４に提供する。そのために，動きベクトル探索ユニット２６は，圧縮対象である現フレームの画像データＤ１と参照対象である前フレームの画像データＤ２とを参照する。

図２は，動きベクトルを説明する図である。横軸が時間軸であり，動画像は連続するフレームＦ０〜Ｆ３の画像からなる。動画像の場合，隣接するフレーム画像はわずかな時間だけずれた画像であり一般的に相関性が高い。そこで，ＭＰＥＧ圧縮方式では，現フレームＦ２の画像を圧縮する場合，前フレームＦ１を参照画像とし，その参照画像との差分成分を現フレームＦ２の画像データとして圧縮する。但し，動画であるので，参照画像内の全く同じ位置ではなくわずかにずれた位置に相関性の高い画像が存在する可能性が高い。そこで，現フレームＦ２の圧縮画像をマクロブロックに分割し，現フレームのマクロブロックＭＢｃと最も相関の高い前フレームＦ１のマクロブロックＭＢｒの位置を，動きベクトルＭＶとして検出する。そして，動きベクトルＭＶの位置にある前フレームＦ１のマクロブロックＭＢｒとの差分成分を抽出し，それを圧縮することで，全体の圧縮率を高めている。最も相関性の高い，最も類似する，つまり差分が最も小さいマクロブロックを検出することにより，差分成分を最小限にすることができ，圧縮率を更に高めることができる。

図３は，動きベクトルの探索方法の一つである全探索方法を説明する図である。全探索方法は，現フレームの圧縮対象であるマクロブロックＭＢｃの周囲の探索範囲３０における前フレームの参照対象であるマクロブロックＭＢｒについて，全て，圧縮対象のマクロブロックＭＢｃとの差分絶対値の総和（ＳＡＤ）を相関値として計算し，最小のＳＡＤを有するマクロブロックＭＢｒの位置（正確には圧縮対象ブロックＭＢｃの位置と最小ＳＡＤのマクロブロックＭＢｒの位置との相対位置）を動きベクトルとして検出する。この方法は，探索範囲３０内にある全ての位置に対してＳＡＤ計算を行うので，探索範囲３０内で最小ＳＡＤの位置を確実に検出することができるが，探索範囲が狭いと最適な動きベクトルを検出することができない。更に，探索範囲の全ての位置に対してＳＡＤを計算する必要がありその演算量が大きくなる。探索範囲が３２×３２画素の場合は，３２×３２＝１０２４回のＳＡＤ計算が必要になり，１６×１６画素のマクロブロックの場合は，１回のＳＡＤ計算は１６×１６＝２５６回の画素間差分計算が必要になる。よって，最適な動きベクトルの検出確率を高めるために探索範囲を広げるとその面積に比例して演算量が増大し，リアルタイムの圧縮処理には不向きである。

図４は，動きベクトルの探索方法の一つである追跡型探索方法を説明する図である。追跡型探索方法は最急降下法とも呼ばれ，図４（１）に示されるように，現フレームの圧縮対象マクロブロックＭＢｃから上下左右に１画素ずらした４つの位置における前フレームの参照対象マクロブロックＭＢｒ１〜ＭＢｒ４とのＳＡＤを相関値として計算し，最小のＳＡＤを有するマクロブロックＭＢｒの位置を新たな探索開始位置とし，更に，その探索開始位置から上下左右に１画素ずらした４つの位置の参照対象マクロブロックとのＳＡＤを計算し，最小のＳＡＤを有するマクロブロックＭＢｒの位置を検出する。最も小さいＳＡＤを得るまで逐次探索開始位置を移動して上記の探索を繰り返し，最小ＳＡＤを有する参照対象マクロブロックの位置を動きベクトルとする。

図４（２）は，追跡型探索方法でのＳＡＤ計算対象の画素を示す。現フレームの画素Ｐｃに対して前フレームの探索対象の画素は，画素Ｐｃの上下左右１画素ずれた４つの参照画素Ｐｒ１〜Ｐｒ４となる。そして，現フレームのマクログロックの右側マクロブロックが最小ＳＡＤをとる場合は，探索対象の画素が右側にずれて，その画素Ｐｃ１を中心に更に周りの画素Ｐｒ１２，Ｐｒ１３，Ｐｒ１４とのＳＡＤが計算される。

この方法によれば，全探索法に比較すると，周囲１画素ずれた参照画像についてのみＳＡＤ計算すれば良いので，ＳＡＤ計算回数がきわめて少なくなり，且つ広範囲に最小ＳＡＤを探索することができ，最適の動きベクトルを検出できる可能性も全探索方法とさほど遜色がない。このようにＳＡＤ計算回数が少ないので，リアルタイムの圧縮処理に適している。

図５は，プログレッシブ方式の場合の動きベクトルの求め方を示す図である。プログレッシブ方式の場合は，３０分の１秒毎にフレーム画像Ｆ０〜Ｆ３を有する。したがって，動きベクトルＭＶを検出するためには，図２と同様の方法で，現フレームＦ２のマクロブロックＭＢｃを圧縮する場合は，前フレームＦ１における最小ＳＡＤを有するマクロブロックＭＢｒの位置を検出する。参照画像である前フレームＦ１の画像は，圧縮対象の現フレームＦ２の画像とは，１／３０秒のずれがあるので，その時間的ずれの間に画像が上下左右いずれの方向に変化し，相関値が最も高い（ＳＡＤが最も低い）参照マクロブロックＭＢｒを検出することにより，差分成分を最小にすることができ，圧縮率を高めることができる。

図６は，インターレス方式の場合の動きベクトルの求め方を示す図である。インターレス方式では，各フレームＦ０〜Ｆ３が奇数フィールドの画像ＯＤと偶数フィールドの画像ＥＶとを有する。しかも，フレーム間は１／３０秒の時間的ずれがあると共に，奇数フィールドＯＤと偶数フィールドＥＶとは１／６０秒の時間的ずれまたは位相ずれがある。従来のＭＰＥＧ方式では，奇数フィールドＯＤと偶数フィールドＥＶとを独立して圧縮しており，図６に示されるとおり，奇数フィールドＯＤのマクロブロックＭＢｃに対する動きベクトルＭＶを探索するとき，前フレームＦ１の奇数フィールドＯＤと偶数フィールドＥＶのマクロブロックＭＢｒを探索している。

しかし，奇数フィールドＯＤまたは偶数フィールドＥＶの画像は，１行毎に間引かれているので，それらの画像は上下方向に高い周波数成分を有する。よって，ＤＣＴ処理された場合，この高い周波数成分により圧縮率が低下する。あるいは，同じ圧縮率では画質が低下する。

そこで，より圧縮率を高めるため，あるいは画質を高めるために，インターレス方式の場合，奇数及び偶数フィールドの画像を合成したもの同士で動きベクトルを求め，差分成分を生成することが必要になる。

図７は，インターレス方式の動画像の奇数及び偶数フィールドの画像を合成した画像を利用した動きベクトル探索を説明するための図である。参照画像である前フレームの奇数及び偶数フィールドの画像ＯＤ，ＥＶを合成した画像ＯＤ＋ＥＶが，圧縮画像である現フレームの画像のマクロブロックに対する動きベクトルＭＶ探索の対象画像となる。現フレームの圧縮対象画像も，同フレームの奇数及び偶数フィールドの画像ＯＤ，ＥＶを合成した画像（図示せず）にすることが望ましい。但し，奇数フィールドＯＤ及び偶数フィールドＥＶの画像を別々に圧縮してもよい。

図８は，合成された参照画像の画素値を示す図である。左側に合成された参照画像の一例が示されている。この画像は不鮮明ではあるが人物画像であり，奇数フィールドＯＤの画像と偶数フィールドＥＶの画像とを合成した場合，人物が横方向に移動していると，その人物の境界線が櫛歯状に形成される。そして，右側にその櫛歯状の部分の画素値が示されている。横方向に移動したため，境界部分で画素値が高い部分（高輝度）と低い部分（低輝度）とが交互に生成される。

図９は，インターレス方式の場合の問題点を示す図である。動きベクトル探索時における圧縮画像ＭＢｃと参照画像ＭＢｒの画素値が対比されて示されている。図９（１）は圧縮画像ＭＢｃと参照画像ＭＢｒの奇数及び偶数フィールド（位相）が上下方向で一致する場合の画像の画素値の関係を示す。一方，図９（２）は圧縮画像ＭＢｃと参照画像ＭＢｒの奇数及び偶数フィールド（位相）が上下方向で一致しない場合の画像の画素値の関係を示す図である。つまり，図９（１）のように，動きベクトル探索処理の時に，圧縮画像のマクロブロックＭＢｃと参照画像のマクロブロックＭＢｒとが，上下方向において奇数，偶数フィールドが一致する場合（同位相の場合）は，比較対象の対応する画素の位相（奇数または偶数フィールド）が一致するので，奇数フィールド同士と偶数フィールド同士の画素間のＳＡＤ値を算出することができ，適切なＳＡＤ値を算出することができる。しかし，図９（２）のように，不一致の場合（位相ずれの場合）は，比較対象の対応する画素の位相が不一致となり，奇数フィールドと偶数フィールドの画素間でＳＡＤ値を算出することになり，ＳＡＤ値は不適切に大きな値をとることになる。

したがって，インターレス方式の動画像の場合は，奇数及び偶数フィールドを合成した画像を参照画像とすると，動きベクトル探索において，上下左右１画素ずれたマクロブロックに対するＳＡＤを求めて最小ＳＡＤの位置を探索する追跡型探索方法では，上下方向で最小ＳＡＤを検出することができず上下方向に探索することができなくなる場合がある。その結果，上下方向により小さいＳＡＤを有するマクロブロック画像が存在していても，それを検出することができなくなり，好ましくない。

図１０は，本実施の形態におけるインターレス方式の動画像に対する追跡型探索方法を説明する図である。本実施の形態では，追跡型探索方法で，圧縮対象のマクロブロックに対してそのマクロブロックの位置から上下左右方向にずれた位置の参照対象のマクロブロックとのＳＡＤを計算する場合，上下方向に１画素のみ探索するのではなく，比較対象の画素が同じ奇数または偶数フィールドとなる２画素ずれたマクロブロックも探索範囲に加えるようにする。これにより左右方向に１画素ずれたマクロブロックと，上下方向に１画素ずれた位相ずれしたマクロブロックと，上下方向に２画素ずれた同位相のマクロブロックとに対して，ＳＡＤを計算し，最小のＳＡＤを有する位置を探索する。

具体的には，図１０（１）に示されるとおり，圧縮対象のマクロブロックの画素Ｐｃは，左右方向に１画素ずれた画素Ｐｒ１，Ｐｒ３とのＳＡＤと，上下方向に１画素ずれた画素Ｐｒ２，Ｐｒ４と２画素ずれた画素Ｐｒ２１，Ｐｒ４１とのＳＡＤも計算する。これらの６つの画素間のＳＡＤ計算が，マクロブロック内の１６×１６画素全てに対して行われ，各マクロブロックで累計値が比較され，最小ＳＡＤを有するマクロブロックの位置が検出される。図１０（２）では，右側のマクロブロックＰｒ３が最小ＳＡＤと検出された後の探索開始位置の画素Ｐｃ１が示されている。また，図１０（３）では，上側に２画素ずれたマクロブロックＰｒ２１が最小ＳＡＤと検出された後の探索開始位置Ｐｃ２が示されている。このように，追跡型探索方法で，インターレス方式の動画像の合成画像を利用した圧縮処理において，上下方向に２画素まで探索範囲を拡大するだけで，適切な動きベクトルを求めることができる。

図１１は，本実施の形態における動きベクトル探索ユニット２６の具体的構成図である。現フレームの画像であるカレント画像データファイルＤ１と，前フレームの画像である参照画像データファイルＤ２と，探索リストデータファイルＤ３とは，図１の各データＤ１，Ｄ２，Ｄ３と同じである。カレント画像データファイルＤ１と参照画像データファイルＤ２には，プログレッシブ方式の場合は，現フレームの画像データと前フレームの画像データとが格納され，インターレス方式の場合は，現フレーム及び前フレームそれぞれにおける奇数及び偶数フィールドの画像を合成した画像データが格納される。したがって，合成画像により現フレームと前フレームとの相関がチェックされる。

探索リストデータＤ３には，プログレッシブ用探索リストＤ３ｐとインターレス用探索リストＤ３ｉとが含まれている。プログレッシブ用探索リストＤ３ｐは，探索開始位置に対して上下左右１画素ずれた４つの位置のリストからなる。一方，インターレス用探索リストＤ３ｉは，探索開始位置に対して左右方向は１画素，上下方向は１画素と２画素ずれた位置，合計で６つの位置のリストからなる。これらのリストＤ３ｐ，Ｄ３ｉは，プログレッシブ方式とインターレス方式とを区別するフォーマット信号Ｐ／Ｉにより切り替えられる。

動きベクトル探索ユニット２６は，追跡探索回路４０とＳＡＤ計算回路４２とを有する。ＳＡＤ計算回路４２は，カレント画像データＤ１と参照画像データＤ２の１６×１６のマクロブロック領域間の差分絶対値の総和ＳＡＤを求める回路であり，追跡探索回路４０からの相関をとるマクロブロックの位置情報に基づいてその差分絶対値の総和ＳＡＤを計算して，そのＳＡＤを追跡探索回路４０に供給する。追跡探索回路４０は，探査リストデータＤ３に基づく探索開始位置の周囲の探索対象のマクロブロックについて，圧縮対象マクロブロックとのＳＡＤ値が最小になるものを検出し，その最小ＳＡＤ値のマクロブロックの位置に探索位置を移動さる。そして，探索対象マクロブロックのＳＡＤ値が極小値をとるまで探索位置の移動処理を繰り返す。追跡探索回路４０の追跡探索機能及びＳＡＤ計算回路４２の計算機能は，専用のハードウエアで構成することもできるし，マイクロプロセッサを利用したソフトウエアで構成することもできる。

図１２は，動きベクトル探索ユニットの動作フローチャート図である。まず，カレント画像データを読み出す（Ｓ１０）。つまり，現フレームの画像（インターレスなら合成画像）の分割されたマクロブロック画像を読み出す。そして，そのマクロブロックに対して探索対象となる初期の位置を示す初期動きベクトルを決定する（Ｓ１２）。この初期の動きベクトル決定は，例えば，現フレームのマクロブロックの位置と同じ位置にする。または，画像がいずれかの方向に移動していることが判明している場合は，その方向にずれた位置を初期の動きベクトルとすることもできる。

次に，動きベクトルに対する探索位置を探索リストデータＤ３から取得する（Ｓ１４）。前述したとおり，プログレッシブ方式の場合は，上下左右１画素ずれた４つの位置が探索位置になり，インターレス方式の場合は，上下左右１画素ずれた４つの位置と上下方向に２画素ずれた２つの位置との合計６つの位置が探索位置になる。そして，探索リスト内の１つの探索位置における参照画像のマクロブロックに対するＳＡＤ計算を行う（Ｓ１６）。このＳＡＤ計算は，ＳＡＤ計算回路４２により行われる。そして，ＳＡＤ値が最小値を更新した場合は（Ｓ１８），その参照画像のマクロブロックの位置を新たな動きベクトルに更新する（Ｓ２０）。ＳＡＤ値が最小値を更新しない場合は動きベクトルの更新は行われない。上記の工程Ｓ１６，Ｓ１８，Ｓ２０が，探索リストにある全ての探索位置に対して繰り返される。つまり，プログレッシブ方式の場合は４つの位置について，インターレス方式の場合は６つの位置について繰り返される。但し，図１０（２），（３）に示したとおり，既に探索済みのブロックについては工程Ｓ１６〜Ｓ２０を繰り返す必要はない。つまり，図１０（２）の新たな探索開始位置Ｐｃ１に対しては，上下２画素ずれた画像と右側に１画素ずれた画像に対して繰り返せばよい（Ｓ２２）。また，図１０（３）の新たな探索開始位置Ｐｃ２に対しては，左右１画素ずれた画像と上側に２画素ずれた画像に対して繰り返せばよい。

探索リストの全ての位置についてＳＡＤ値を計算して最小値更新をチェックした結果，動きベクトルが更新された場合は（Ｓ２４のＹＥＳ），更新された動きベクトルの位置を探索開始位置として新たな探索位置リストを探索リストデータＤ３から取得する（Ｓ１４）。そして，前述と同様に全ての探索位置に対して工程Ｓ１６〜Ｓ２０を繰り返す。このように，動きベクトルが更新される限りは，上記探索位置の更新と最小ＳＡＤ値の検出処理を繰り返す。最後に動きベクトルが更新されない場合は（Ｓ２４のＮＯ），ＳＡＤ値が極小値に達したことを意味し，探索手順を終了する。

このように，追跡型探索方法により最小ＳＡＤ値を有する参照画像上のマクロブロック位置と圧縮対象のマクロブロックとの相対位置を示す動きベクトルを探索する場合，インターレス方式の動画像であれば，奇数と偶数フィールドの画像を合成して現フレームと前フレームとで相関をとる。その場合，探索位置を，両マクロブロックの画像のＳＡＤ計算において対応させる画素が同じ奇数または偶数フィールドの画像になる位置と，異なる奇数または偶数フィールドの画像になる位置との両方を含ませることで，上下方向においても小さいＳＡＤ値を有する参照画像の位置を適切に検出することができる。そして，プログレッシブ方式では上下左右１画素ずれたマクロブロックだけを探索してＳＡＤ計算工程を最小限にし，インターレス方式ではそれに加えて上下２画素ずれたマクロブロックも探索して上下方向に位置する小さいＳＡＤ値を有するマクロブロックを適切に検出することができるようにする。

上記の実施の形態をまとめると以下の付記の通りである。

（付記１）時間方向の画像の相関を利用して動画像を圧縮する動画像圧縮処理において，現フレームのブロック画像と相関の高い前フレームのブロック画像の位置を探索する動きベクトル探索装置であって，
所定の位置の周囲に位置する複数の前フレームのブロック画像のうち，当該現フレームのブロック画像との相関が最も高い前フレームのブロック画像の位置を動きベクトルとして求め，当該動きベクトルの位置を前記所定の位置として前記動きベクトルを求める処理を繰り返して最適の動きベクトルを求める動きベクトル探索処理部を有し，
奇数フィールドと偶数フィールドの画像を有するインターレス方式の動画像の場合，奇数フィールドと偶数フィールドの画像を合成した画像を参照対象の前フレームのブロック画像とし，前記周囲に位置する複数の前フレームのブロック画像を，上下方向において現フレームのブロック画像とは異なるフィールドが対応する画像と同じフィールドが対応する画像の両方を含めて探索対象のブロック画像とすることを特徴とする動きベクトル探索装置。

（付記２）付記１において，
前記周囲に位置する複数の前フレームのブロック画像を，前記所定の位置の左右方向に１画素及び上下方向に２画素までずれたブロック画像とすることを特徴とする動きベクトル探索装置。

（付記３）付記１において，
前記周囲に位置する複数の前フレームのブロック画像を，プログレッシブ方式の動画像の場合は，少なくとも上下左右方向に１画素ずれたブロック画像とし，インターレス方式の動画像の場合は，少なくとも左右方向に１画素及び上下方向に２画素までずれたブロック画像とすることを特徴とする動きベクトル探索装置。

（付記４）付記１乃至３のいずれかに記載の動きベクトル探索装置と，
当該動きベクトルと，当該動きベクトルの位置の前フレームのブロック画像と原フレームのブロック画像との差分とを圧縮する圧縮手段とを有する動画像圧縮装置。

（付記５）時間方向の画像の相関を利用して動画像を圧縮する動画像圧縮処理において，現フレームのブロック画像と相関の高い前フレームのブロック画像の位置を探索する動きベクトル探索処理をコンピュータに実行させる動きベクトル探索プログラムであって，
所定の位置の周囲に位置する複数の前フレームのブロック画像のうち，当該現フレームのブロック画像との相関が最も高い前フレームのブロック画像の位置を動きベクトルとして求め，当該動きベクトルの位置を前記所定の位置として前記動きベクトルを求める処理を繰り返して最適の動きベクトルを求める動きベクトル探索手順を有し，
奇数フィールドと偶数フィールドの画像を有するインターレス方式の動画像の場合，奇数フィールドと偶数フィールドの画像を合成した画像を参照対象の前フレームのブロック画像とし，前記周囲に位置する複数の前フレームのブロック画像を，上下方向において現フレームのブロック画像とは異なるフィールドが対応する画像と同じフィールドが対応する画像の両方を含めて探索対象のブロック画像とすることを特徴とする動きベクトル探索プログラム。

本実施の形態におけるＭＰＥＧ動画像圧縮装置の構成図である。動きベクトルを説明する図である。動きベクトルの探索方法の一つである全探索方法を説明する図である。動きベクトルの探索方法の一つである追跡型探索方法を説明する図である。プログレッシブ方式の場合の動きベクトルの求め方を示す図である。インターレス方式の場合の動きベクトルの求め方を示す図である。インターレス方式の動画像の奇数及び偶数フィールドの画像を合成した画像を利用した動きベクトル探索を説明するための図である。合成された参照画像の画素値を示す図である。インターレス方式の場合の問題点を示す図である。本実施の形態におけるインターレス方式の動画像に対する追跡型探索方法を説明する図である。本実施の形態における動きベクトル探索ユニット２６の具体的構成図である。動きベクトル探索ユニットの動作フローチャート図である。

符号の説明

４０：追跡探索回路４２：相関値計算回路
Ｄ１：現フレーム画像データＤ２：参照画像データ
Ｄ３：探索リストデータ

Claims

時間方向の画像の相関を利用して動画像を圧縮する動画像圧縮処理において，現フレームのブロック画像と相関の高い前フレームのブロック画像の位置を探索する動きベクトル探索装置であって，
所定の位置の周囲に位置する複数の前フレームのブロック画像のうち，当該現フレームのブロック画像との相関が最も高い前フレームのブロック画像の位置を動きベクトルとして求め，当該動きベクトルの位置を前記所定の位置として前記動きベクトルを求める処理を繰り返して最適の動きベクトルを求める動きベクトル探索処理部を有し，
奇数フィールドと偶数フィールドの画像を有するインターレス方式の動画像の場合，奇数フィールドと偶数フィールドの画像を合成した画像を参照対象の前フレームのブロック画像とし，前記周囲に位置する複数の前フレームのブロック画像を，上下方向において現フレームのブロック画像とは異なるフィールドが対応する画像と同じフィールドが対応する画像の両方を含めて探索対象のブロック画像とすることを特徴とする動きベクトル探索装置。
請求項１において，
前記周囲に位置する複数の前フレームのブロック画像を，前記所定の位置の左右方向に１画素及び上下方向に２画素までずれたブロック画像とすることを特徴とする動きベクトル探索装置。
請求項１において，
前記周囲に位置する複数の前フレームのブロック画像を，プログレッシブ方式の動画像の場合は，少なくとも上下左右方向に１画素ずれたブロック画像とし，インターレス方式の動画像の場合は，少なくとも左右方向に１画素及び上下方向に２画素までずれたブロック画像とすることを特徴とする動きベクトル探索装置。
時間方向の画像の相関を利用して動画像を圧縮する動画像圧縮処理において，現フレームのブロック画像と相関の高い前フレームのブロック画像の位置を探索する動きベクトル探索処理をコンピュータに実行させる動きベクトル探索プログラムであって，
所定の位置の周囲に位置する複数の前フレームのブロック画像のうち，当該現フレームのブロック画像との相関が最も高い前フレームのブロック画像の位置を動きベクトルとして求め，当該動きベクトルの位置を前記所定の位置として前記動きベクトルを求める処理を繰り返して最適の動きベクトルを求める動きベクトル探索手順を有し，
奇数フィールドと偶数フィールドの画像を有するインターレス方式の動画像の場合，奇数フィールドと偶数フィールドの画像を合成した画像を参照対象の前フレームのブロック画像とし，前記周囲に位置する複数の前フレームのブロック画像を，上下方向において現フレームのブロック画像とは異なるフィールドが対応する画像と同じフィールドが対応する画像の両方を含めて探索対象のブロック画像とすることを特徴とする動きベクトル探索プログラム。