JP2007158855A - 動きベクトル検出装置および動きベクトル検出方法 - Google Patents

Abstract

【課題】処理量を削減しつつ、精度の高い動きベクトルを検出することができる動きベクトル検出装置および動きベクトル検出方法を提供する。
【解決手段】動画像符号化装置１００は、縮小符号化対象画像および縮小参照画像を生成する画像縮小部１、縮小符号化対象画像を複数個の領域に分割する領域分割部３、領域ごとに縮小参照画像に対する領域動きベクトルをそれぞれ検出する領域動きベクトル検出部４、領域動きベクトルの相関度を領域ごとに算出する相関度算出部５、領域動きベクトルと相関度とに基づいて動きベクトル探索範囲に関する情報を決定する探索範囲決定部６、動きベクトル探索範囲に関する情報を用いて動きベクトルを検出する動き検出部を有する符号化部７、および、実際に検出された動きベクトルと、既に検出済みの領域動きベクトルおよび相関度とに基づいて、次の縮小符号化対象画像の領域分割数を決定する解析部８を備える。
【選択図】図１

Description

本発明は、動画像をピクチャ間予測によって符号化する画像符号化装置で使用される動きベクトル検出装置および動きベクトル検出方法に関するものである。

ＭＰＥＧ方式（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｉｍａｇｅ ｃｏｄｉｎｇ Ｅｘｐａｒｔｓ Ｇｒｏｕｐ）のような動画像のピクチャ間相関を利用した画像圧縮方式では、動き補償を行うブロック単位で動きベクトルの検出が必要である。精度の高い動きベクトルを検出するには、探索範囲を広げることで動きベクトルの検出精度を高める方法が一般的である。しかしながら、処理量は処理ブロック数×探索範囲であるため、探索範囲を広げると処理量が増加し、かつメモリ量の増大につながる。そこで、探索範囲を広げずに動きベクトルを精度よく検出する必要がある。

このような探索範囲を広げずに動きベクトルを精度よく検出する方法として、過去に検出した動きベクトルの大きさとマクロブロックのタイプとから探索範囲を決定する動画像符号化装置が提案されている（例えば、特許文献１参照。）。
特開平１１−１１２９９３号公報

しかしながら、上記のような過去に検出した動きベクトルの大きさとマクロブロックのタイプとから探索範囲を決定する場合、過去に検出した動きベクトルを記憶しておく必要があり、メモリ量が増大するという問題がある。

ところで、近年普及しつつある高画質ハイビジョン（ＨＤ：High Definition）画像は、標準画質（ＳＤ：standard Definition）画像に対して画素数が約６倍であるため、ＳＤ画像と同等の動きベクトル検出精度を実現するには、約６倍の処理量が必要になる。また、Ｈ．２６４規格では、動き補償サイズが７種類と多く、ＭＰＥＧ２規格の約３倍の処理量が必要となる。よって、ＨＤ画像をＨ．２６４規格で画像圧縮するためには、ＳＤ画像をＭＰＥＧ２規格で画像圧縮する倍に比べ約１８倍の処理量が必要となる。

そこで、本発明は上記の事情に鑑みてなされたものであり、処理量を削減しつつ、精度の高い動きベクトルを検出することができる動きベクトル検出装置および動きベクトル検出方法を提供することを目的とする。

上記目的を達成するため、本発明に係る動きベクトル検出装置は、符号化対象画像に含まれる符号化対象ブロックの参照画像に対する動きベクトルを検出する動きベクトル検出装置であって、前記符号化対象画像および前記参照画像からそれぞれ画素数を低減した縮小符号化対象画像および縮小参照画像を生成する画像縮小手段と、前記縮小符号化対象画像を複数の領域に分割する領域分割手段と、前記領域分割手段によって分割された分割領域の前記縮小参照画像に対する動きベクトルである領域動きベクトルを検出する領域動きベクトル検出手段と、前記領域動きベクトルおよび前記縮小参照画像から生成される分割領域予測画像と、前記分割領域画像との相関度を算出する相関度算出手段と、前記分割領域に対応する領域に含まれる前記符号化対象ブロックの動きベクトルを検出する際の条件を、前記相関度および前記領域動きベクトルの少なくとも１つに基づいて決定する条件決定手段と、前記条件決定手段によって決定された前記条件で、前記符号化対象ブロックの動きベクトルを検出する動き検出手段と、前記領域動きベクトル、および前記条件で実際に検出された動きベクトルに基づいて、以降の前記縮小符号化対象画像の領域分割数を決定する解析手段とを備えることを特徴とする。これによって、実際に検出された各符号化対象ブロックの動きベクトルをフィードバックし、各符号化対象ブロックの動きベクトルと、対応する領域の領域動きベクトルおよび相関度とに基づいて、次の縮小符号化対象画像の領域分割数を決定した上で、符号化対象ブロックの動きベクトルを検出する際の条件を相関度および領域動きベクトルの少なくとも１つに基づいて決定いるので、符号化対象ブロックの動きベクトルを精度よく検出することができる。

また、前記解析手段は、前記領域動きベクトル、前記相関度、および前記条件で実際に検出された動きベクトルに基づいて、以降の前記縮小符号化対象画像の領域分割数を決定してもよい。これによって、領域動きベクトル、相関度、および実際に検出された動きベクトルに基づいて、次の縮小符号化対象画像の領域分割数を決定しているので、さらに符号化対象ブロックの動きベクトルを精度よく検出することができる。

また、前記条件決定手段は、前記条件として、前記符号化対象ブロックの動きベクトル探索範囲に関する情報を前記領域動きベクトルに基づいて決定する探索範囲決定部を備え、前記動き検出手段は、前記探索範囲決定部によって決定された前記動きベクトル探索範囲に関する情報に基づいて、前記符号化対象ブロックの動きベクトル探索範囲を決定し、決定した前記動きベクトル探索範囲内を探索することによって、前記符号化対象ブロックの動きベクトルを検出してもよい。これによって、領域動きベクトルに基づいて、符号化対象ブロックの動きベクトル探索範囲の広さ、動きベクトル探索範囲のずらし量、動きベクトル探索時の位置間引き量、評価値計算の間引き量等の動きベクトル探索範囲に関する情報を決定しているので、動きベクトル探索範囲を効率よく決定することができる。このため、符号化対象ブロックの動きベクトルを高い精度で検出することができる。

また、前記探索範囲決定部は、前記条件として、前記符号化対象ブロックの動きベクトル探索範囲に関する情報を前記領域動きベクトルおよび前記相関度に基づいて決定してもよい。これによって、領域動きベクトルと領域動きベクトルの相関度に基づいて、動きベクトル探索範囲に関する情報を決定しているので、さらに動きベクトル探索範囲を効率よく決定することができる。このため、さらに符号化対象ブロックの動きベクトルを高い精度で検出することができる。

なお、本発明は、このような動きベクトル検出装置として実現することができるだけでなく、このような動きベクトル検出装置が備える特徴的な手段をステップとする動きベクトル検出方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

本発明に係る動きベクトル検出装置および動きベクトル検出方法によれば、実際に検出された各符号化対象ブロックの動きベクトルをフィードバックし、次の縮小符号化対象画像の領域分割数を決定した上で、符号化対象ブロックの動きベクトルを検出する際の条件を相関度および領域動きベクトルの少なくとも１つに基づいて決定いるので、符号化対象ブロックの動きベクトルを精度よく検出することができる。これにより、動画像の符号化効率を改善することが可能となる。

以下、本発明の各実施の形態について、それぞれ図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る動きベクトル検出装置を備えた動画像符号化装置の構成を示すブロック図である。

動画像符号化装置１００は、入力される動画像をブロック単位で符号化するための装置であり、図１に示すように画像縮小部１、ピクチャメモリ２、領域分割部３、領域動きベクトル検出部４、相関度算出部５、探索範囲決定部６、符号化部７、および解析部８を備えている。なお、本実施の形態では、符号化部７ではＭＰＥＧ２規格に従って符号化することを前提とする。また、符号化部７で実際に行われるマクロブロック単位の動きベクトル検出は、一つの矩形領域を探索することを前提とする。

画像縮小部１は、符号化すべきマクロブロック（符号化対象ブロック）を含む符号化対象画像（入力画像）と、符号化対象ブロックを符号化するための動きベクトルを検出するために参照する参照画像とを受け取り、それぞれ周辺の画素を演算して画素数を低減した縮小符号化対象画像および縮小参照画像を生成する。ここでは、画像縮小部１は、それぞれ周辺の画素を演算して縮小符号化対象画像および縮小参照画像を生成しているが、これに限られるものではなく、例えば、単に画素を間引くだけでもよい。ピクチャメモリ２には、画像縮小部１によって生成された縮小参照画像が格納される。

領域分割部３は、画像縮小部１によって生成された縮小符号化対象画像を複数個の領域（分割領域）に分割する。領域分割部３は、最初の縮小符号化対象画像についてはあらかじめ設定された領域分割数で分割し、２つ目以降の縮小符号化対象画像については解析部８によって決定された領域分割数で分割する。領域動きベクトル検出部４は、領域分割部３によって分割された領域ごとに、画像縮小部１によって生成された縮小参照画像に対する領域動きベクトルをそれぞれ検出する。すなわち、領域動きベクトル検出部４は、領域ごとに、その領域に最も近い、縮小参照画像に含まれる画像領域の位置を求め、この位置を示す動きベクトルを領域動きベクトルとして検出する。

相関度算出部５は、領域動きベクトル検出部４によって検出された領域動きベクトルの確からしさを示す指数である相関度を領域ごとに算出する。すなわち、相関度算出部５は、領域ごとに、その領域およびその領域の領域動きベクトルで示される縮小参照画像に含まれる画像値の共分散を用いて、領域動きベクトルの相関度を算出する。

探索範囲決定部６は、領域動きベクトル検出部４によって検出された領域動きベクトルと、相関度算出部５によって算出された領域動きベクトルの相関度に基づいて、動きベクトル探索範囲の広さ、動きベクトル探索範囲のずらし量、動きベクトル探索時の位置間引き量、評価値計算の間引き量等の動きベクトル探索範囲に関する情報を決定する。

解析部８は、後述する符号化部７で実際に検出された各マクロブロックの動きベクトルをフィードバックし、各マクロブロックの動きベクトルと、対応する領域に対して既に検出済みの領域動きベクトルおよび領域動きベクトルの相関度とに基づいて、次の縮小符号化対象画像の領域分割数を決定する。

図２は、動画像符号化装置１００の符号化部７の構成を示すブロック図である。
符号化部７は、動き検出部７０２、動き補償部７０３、差分演算部７０４、直交変換部７０５、量子化部７０６、逆量子化部７０７、逆直交変換部７０８、加算部７０９、ピクチャメモリ７１０、および可変長符号化部７１２を備えている。

入力画像は、動き検出部７０２、および差分演算部７０４に入力される。
動き検出部７０２は、探索範囲決定部６によって決定された動きベクトル探索範囲に関する情報を用いて、符号化対象ブロックの動きベクトル探索範囲を決定し、決定した動きベクトル探索範囲でピクチャメモリ７１０に格納されている参照画像を探索することによって、最も符号化対象ブロックに近い画像領域を検出してその位置を示す動きベクトルを検出する。ここで、最も符号化対象ブロックに近い画像領域は、例えば、参照画像に含まれる探索領域に存在する画素データと、符号化対象ブロックの画素データとの間の差分絶対値和を求め、差分絶対値和が最小となる画像領域である。

動き補償部７０３は、動き検出部７０２によって検出された動きベクトルを用いて、ピクチャメモリ７１０に格納されている復号化画像から予測画像に最適な画像領域を取り出し、予測画像を生成する。

一方、入力画像が入力された差分演算部７０４は、入力画像と予測画像の差分値を計算し、直交変換部７０５に出力する。直交変換部７０５は、差分値を周波数係数に変換し、量子化部７０６に出力する。量子化部７０６は、入力された周波数係数を量子化し、量子化値を可変長符号化部７１２に出力する。

逆量子化部７０７は、入力された量子化値を逆量子化して周波数係数に復元し、逆直交変換部７０８に出力する。逆直交変換部７０８は、周波数係数から画素差分値に逆周波数変換し、加算部７０９に出力する。加算部７０９は、画素差分値と、動き補償部７０３から出力される予測画像とを加算して復号化画像とする。可変長符号化部１１１は、量子化値および動きベクトル等を可変長符号化してストリームを出力する。

次に、このように構成された動きベクトル検出装置を備えた動画像符号化装置１００の動作について説明する。図３は動画像符号化装置での動作の流れを示すフローチャートである。

まず、画像縮小部１は符号化対象画像を受け取る。符号化対象画像は、例えば１９２０画素×１０８０画素によって構成され、符号化すべき符号化対象ブロックを含んでいる。本実施の形態ではＭＰＥＧ２規格に従って符号化することを前提としているので、符号化対象ブロックは、１６画素×１６画素によって構成されるマクロブロックである。画像縮小部１は、符号化対象画像を縮小し、縮小符号化対象画像を生成する。

また、画像縮小部１は、符号化部によってローカルデコードされた参照画像を受け取る。ローカルデコードされた参照画像は、符号化対象画像と同様に例えば１９２０画素×１０８０画素によって構成されている。画像縮小部１は、参照画像を縮小し、縮小参照画像を生成する（ステップＳ１０１）。そして、画像縮小部１によって生成された縮小参照画像は、ピクチャメモリ２に格納される。

次に、領域分割部３は、画像縮小部１によって生成された縮小符号化対象画像を複数個の領域に分割する（ステップＳ１０２）。ここでは、最初の縮小符号化対象画像についてはあらかじめ領域分割数として４が設定され、例えば図４（ａ）に示すように縮小符号化対象画像を水平垂直それぞれ２分割し、領域Ａ、領域Ｂ、領域Ｃ、および領域Ｄの４個の領域に分割するものとする。また、２つ目以降の縮小符号化対象画像については解析部８によって決定された領域分割数で分割する。

次に、領域動きベクトル検出部４は、領域分割部３によって分割された領域ごとに、画像縮小部１によって生成された縮小参照画像に対する領域動きベクトルをそれぞれ検出する（ステップＳ１０３）。例えば、図４（ｂ）に示すように領域Ｂの領域動きベクトルＡＭＶを検出する時、縮小参照画像と重なっている部分のみでマッチングを行って評価値を算出する。このとき、重なっている部分が狭くなると評価値が小さくなるので、これを重なっている部分の大きさで補正した値を算出する。そして、領域動きベクトル検出部４は、補正した評価値が最も小さくなる位置を求め、この位置を示す動きベクトルを領域動きベクトルＡＭＶとして検出する。なお、縮小参照画像と重なっている部分のみでマッチングを行うのではなく、例えば縮小参照画像の外の領域の画素データを補完した上で、領域全体でマッチングを行っても構わない。

次に、相関度算出部５は、領域動きベクトル検出部４によって検出された領域動きベクトルＡＭＶの確からしさを示す指数である相関度を領域毎に算出する（ステップＳ１０４）。すなわち、相関度算出部５は、図４（ｂ）に示すように領域動きベクトルＡＭＶの確からしさに相当する重なり部分の相関度合いを、重なり部分の共分散を求め、図４（ｃ）に示す式を用いて相関度を算出する。なお、ここでは、重なり部分の共分散を求めているが、その他の指数、例えば重なり部分の画素の差分絶対値の総和などを用いても良い。

次に、探索範囲決定部６は、後述するように動きベクトル探索範囲に関する情報を決定する（ステップＳ１０５）。探索範囲決定部６は、すべての領域に対して動きベクトル探索範囲に関する情報を決定したか否かを判定する（ステップＳ１０６）。この結果、すべての領域に対して動きベクトル探索範囲に関する情報を決定していない場合（ステップＳ１０６でＮｏ）、領域動きベクトルの検出処理（ステップＳ１０３）から動きベクトル探索範囲に関する情報の決定処理（ステップＳ１０５）までの動作を繰り返す。一方、すべての領域に対して動きベクトル探索範囲に関する情報を決定した場合（ステップＳ１０６でＹｅｓ）、符号化部７の動き検出部７０２は、探索範囲決定部６によって決定された動きベクトル探索範囲に関する情報を用いて、符号化対象ブロック（マクロブロック）の動きベクトル探索範囲を決定し、決定した動きベクトル探索範囲でピクチャメモリ７１０に格納されている参照画像を探索することによって、動きベクトルを検出する（ステップＳ１０７）。次に、すべての符号化対象画像が終了したか否かを判定する（ステップＳ１０８）。この結果、すべての符号化対象画像が終了した場合（ステップＳ１０８でＹｅｓ）、処理を終了する。

一方、すべての符号化対象画像が終了していない場合（ステップＳ１０８でＮｏ）、解析部８は、符号化部７の動き検出部７０２で実際に検出された各マクロブロックの動きベクトルを領域ごとに取得する（ステップＳ１０９）。そして、解析部８は、各マクロブロックの動きベクトルと、対応する領域に対して既に領域動きベクトル検出部４によって検出されている領域動きベクトルとを比較し、領域動きベクトルに対する各マクロブロックの動きベクトルのばらつき度合いを求める（ステップＳ１１０）。例えば、解析部８は、領域動きベクトルに対する各マクロブロックの動きベクトルの差分の分散を評価値として算出する。なお、解析部８は、領域動きベクトルに対する各マクロブロックの動きベクトルの差分の２乗総和を評価値として算出しても構わない。また、解析部８は、領域動きベクトルを中心に所定のエリアを設定し、このエリアに入る各マクロブロックの動きベクトルを計数し、この係数値を評価値として算出しても構わない。

解析部８は、算出した評価値と、相関度算出部５によって算出されている領域動きベクトルの相関度とに基づいて、次の縮小符号化対象画像の領域分割数を決定する（ステップＳ１１１）。ここでは、解析部８は、領域分割数として、例えば領域分割を行わない領域分割数「１」、水平垂直それぞれ２分割して４個の領域に分割する領域分割数「４」、水平垂直それぞれ４分割して１６個の領域に分割する領域分割数「１６」のいずれかに決定するものとする。図５は領域分割数を決定する際の動作の流れを示すフローチャートである。

まず、解析部８は、領域動きベクトルに対する各マクロブロックの動きベクトルのばらつきが大きいか否か、すなわち、算出した評価値が所定の閾値以上であるか否かを判定する（ステップＳ２０１）。この結果、評価値が所定の閾値以上である場合（ステップＳ２０１でＹｅｓ）、解析部８は、領域分割数を増やすことを決定する（ステップＳ２０２）。一方、評価値が所定の閾値未満である場合（ステップＳ２０１でＮｏ）、解析部８は、領域動きベクトルの相関度が所定の閾値以上であるか否かを判定する（ステップＳ２０３）。この結果、相関度が所定の閾値未満である場合（ステップＳ２０３でＮｏ）、解析部８は、領域分割数を増やすことを決定する（ステップＳ２０２）。一方、相関度が所定の閾値以上である場合（ステップＳ２０３でＹｅｓ）、解析部８は、周辺領域の領域動きベクトルに対する各マクロブロックの動きベクトルの評価値、および領域動きベクトルの相関度を取得する（ステップＳ２０４）。そして、解析部８は、周辺領域の評価値が所定の閾値未満、かつ相関度が所定の閾値以上であるか否かを判定する（ステップＳ２０５）。この結果、評価値が所定の閾値未満、かつ相関度が所定の閾値以上である場合（ステップＳ２０５でＹｅｓ）、解析部８は、領域分割数を減らすことを決定する（ステップＳ２０６）。一方、評価値が所定の閾値以上、または相関度が所定の閾値未満である場合（ステップＳ２０５でＮｏ）、解析部８は、領域分割数をそのままにすることを決定する（ステップＳ２０７）。

例えば、参照画像（領域分割数「４」）が、図６（ａ）に示すように右側の飛行機が動いている画像であり、飛行機以外は動きがほとんど無い画像であるとする。この場合、前の参照画像から参照画像の間で、飛行機の位置が右上の領域から右下の領域に移ったとき、右下の領域にある各マクロブロックの動きベクトルがばらつくことになる。具体的には、右下の領域は、飛行機以外の部分の動きベクトルが０となり、飛行機の部分のみ動きベクトルが発生する事になる。このため、右下の領域の領域動きベクトル（矢印）に対する各マクロブロックのばらつき度合いは、飛行機の部分に関しては小さいが、その周辺部分に関しては大きくなる。この場合、解析部８は、上記のような動作により、符号化の対象となっている符号化対象画像の領域分割数を、図６（ｂ）に示すように参照画像よりも増やして領域分割数「１６」とし、細かく分割することで、高い精度の領域動きベクトルを求めることができるようになる。

次に、探索範囲決定部６が動きベクトル探索範囲に関する情報を決定する際の動作について説明する。図７はこの動きベクトル探索範囲に関する情報を決定する際の動作の流れを示すフローチャートである。

まず、探索範囲決定部２０１は、選択された参照画像に対する領域動きベクトルの相関度が所定の閾値より高いか否かを判定する（ステップＳ３０１）。この結果、領域動きベクトルの相関度が所定の閾値より高い場合（ステップＳ３０１でＹｅｓ）、探索範囲決定部２０１は、選択された参照画像に対する領域動きベクトルが所定の閾値より大きいか否かを判定する（ステップＳ３０２）。この結果、領域動きベクトルが所定の閾値より大きい場合（ステップＳ３０２でＹｅｓ）には、探索範囲決定部２０１は、動きベクトル探索範囲のずらし量を大きく、間引き量を小さく、探索範囲を中にするように決定する（ステップＳ３０３）。一方、領域動きベクトルが所定の閾値より大きくない場合（ステップＳ３０２でＮｏ）には、探索範囲決定部２０１は、動きベクトル探索範囲のずらし量を小さく、間引き量を小さく、探索範囲を狭くするように決定する（ステップＳ３０４）。

また、領域動きベクトルの相関度が所定の閾値より高くない場合（ステップＳ３０１でＮｏ）、探索範囲決定部２０１は、選択された参照画像に対する領域動きベクトルが所定の閾値より大きいか否かを判定する（ステップＳ３０５）。この結果、領域動きベクトルが所定の閾値より大きい場合（ステップＳ３０５でＹｅｓ）には、探索範囲決定部２０１は、動きベクトル探索範囲のずらし量を中に、間引き量を大きく、探索範囲を広くするように決定する（ステップＳ３０６）。一方、領域動きベクトルが所定の閾値より大きくない場合（ステップＳ３０５でＮｏ）には、探索範囲決定部２０１は、動きベクトル探索範囲のずらし量を小さく、間引き量を大きく、探索範囲を中にするように決定する（ステップＳ３０７）。

相関度が高ければ、画像の一致度合いが高く、領域動きベクトルの精度が高いと判断できる。そして、領域動きベクトルの精度が高いと符号化対象ブロックの動きベクトルにばらつきが少ないと判断できるため、上記のように、相関度が高い場合には、相関度が低い場合に比べて探索範囲を狭めに決定している。また、この場合には、間引き量を小さく決定している。一方、相関度が低ければ、画像の一致度合いが低く、領域動きベクトルの精度が低いと判断できる。そして、領域動きベクトルの精度が低いと符号化対象ブロックの動きベクトルにばらつきが多いと判断できるため、上記のように、相関度が低い場合には、相関度が高い場合に比べて探索範囲を広めに決定している。また、探索範囲を広めにした場合には処理量が増加するので、間引き量を大きく決定している。

次に、上記のように決定された動きベクトル探索範囲に関する情報を用いて、決定符号化部７の動き検出部７０２が行う動きベクトル探索範囲の決定、および動きベクトル探索について説明する。

まず、探索範囲のずらし方について説明する。図８は動きベクトル探索範囲のずらし方について説明するための図である。

縮小符号化対象画像と同様に符号化対象画像を水平垂直それぞれ２分割し、４個の領域に分割する。それぞれの領域が縮小符号化対象画像の各領域Ａから領域Ｄに相当する。基準位置の探索範囲は、符号化対象ブロックを中心とした図８に示す点線で囲まれた範囲である。動き検出部７０２は、探索範囲決定部６で決定された各領域での探索範囲のずらし量Ｒの分だけ、基準位置の探索範囲からずらし、図８に示す実線で囲まれた範囲で動きベクトルを探索する。例えば、ずらし量Ｒがある場合は図８に示す領域Ａ、領域Ｂ、領域Ｃのようにそれぞれずらし量Ｒの分だけ探索範囲をずらし、ずらし量Ｒが０の場合は図８に示す領域Ｄのように基準位置の探索範囲と同じ探索範囲になる。

次に、動きベクトル探索範囲の広さについて説明する。図９は動きベクトル探索範囲の広さおよびずらし方について説明するための図である。

上記と同様、基準位置の探索範囲は、符号化対象ブロックを中心とした図９に示す点線で囲まれた範囲である。動き検出部７０２は、探索範囲決定部６で決定された各領域での動きベクトル探索範囲の広さで、基準位置の探索範囲を所定量拡大、そのまま、または所定量縮小した上で、探索範囲のずらし量Ｒ’の分だけずらし、図９に示す実線で囲まれた範囲で動きベクトルを探索する。例えば、探索範囲が広く、ずらし量Ｒ’がある場合は図９に示す領域Ａのように基準位置の探索範囲を所定量拡大し、拡大した探索範囲をずらし量Ｒ’の分だけずらす。また、探索範囲が中で、ずらし量Ｒ’がある場合は図９に示す領域Ｂのように基準位置の探索範囲をそのままの広さで、ずらし量Ｒ’の分だけ探索範囲をずらす。探索範囲が狭く、ずらし量Ｒ’がある場合は図９に示す領域Ｃのように基準位置の探索範囲を所定量縮小し、縮小した探索範囲をずらし量Ｒ’の分だけずらす。また、探索範囲が狭く、ずらし量Ｒ’が０の場合は図９に示す領域Ｄのように基準位置の探索範囲を縮小した探索範囲になる。なお、ここでは、基準位置の探索範囲を拡大縮小するとしているが、これに限られるものではなく、あらかじめ決められた探索範囲の広さにした上で、探索範囲のずらし量の分だけずらしても構わない。

次に、探索位置の間引き量について説明する。図１０は動きベクトル探索位置の間引き量について説明するための図である。

探索範囲決定部６で探索範囲を広げた場合、全ての位置で評価値を算出し、動きベクトルを探索すると、探索範囲の広さに比例して処理量が増加する。処理量を抑えつつ探索範囲を広げる方法の一つとして、探索位置の間引きを行う。例えば、水平１／２間引きを行う場合、動き検出部７０２は、図１０に示すように水平方向に１画素とばした位置ごとに、最初の探索位置、２番目の探索位置、３番目の探索位置、…と順に探索する。

次に、評価値算出の間引き量について説明する。図１１は動きベクトル探索時の評価値算出の間引き量について説明するための図である。

動きベクトル探索時の評価値算出の間引き量も、探索位置の間引き量と目的は同じで、処理量を抑えつつ探索範囲を広げる方法の一つである。例えば、水平１／２間引きの場合、動き検出部７０２は、図１１に示すように水平方向に１画素とばした位置ごとの画素データを用いて評価値を算出する。一般的には、符号化対象ブロックと探索位置とのそれぞれの画素の差分絶対値和を算出するが、図１１に斜線で示す画素位置のみで差分絶対値和を算出する。

以上のように、本実施の形態では、実際に検出された各マクロブロックの動きベクトルをフィードバックし、各マクロブロックの動きベクトルと、対応する領域の領域動きベクトルおよび相関度とに基づいて、次の縮小符号化対象画像の領域分割数を決定している。さらに、領域動きベクトルおよび相関度に基づいて、動きベクトル探索範囲の広さ、動きベクトル探索範囲のずらし量、動きベクトル探索時の位置間引き量、評価値計算の間引き量等の動きベクトル探索範囲に関する情報を決定している。よって、動きベクトル探索範囲を効率よく決定し、動きベクトルを精度よく検出することができる。

なお、本実施の形態では、領域動きベクトルの大きさおよび領域動きベクトルの相関度について、それぞれ所定のしきい値より大きいか否かにより条件を２つに分け、合計４つの場合に分けて動きベクトル探索範囲に関する情報を決定しているが、これに限られるものではない。例えば、しきい値を複数設けて条件を３つ以上に分けて場合分けをさらに詳細に行っても構わない。

また、本実施の形態では、解析部８は、領域動きベクトルに対する各マクロブロックの動きベクトルのばらつき度合いを求めているが、これに限られるものではない。例えば、解析部８は、動きベクトル探索範囲のずらし量に対する各マクロブロックの動きベクトルのばらつき度合いを算出しても構わない。

また、本実施の形態では、画面全体を同じ大きさの領域に分割しているが、これに限られるものではない。例えば、４分割された４個の領域の中の１つの領域だけさらに４分割するものとしても構わない。

（実施の形態２）
上記実施の形態１では、実際に検出された各マクロブロックの動きベクトルをフィードバックして、次の縮小符号化対象画像の領域分割数を決定しているが、本実施の形態では、さらに分割された領域を統合する場合について説明する。なお、構成は、実施の形態１と同様であるので、説明を省略する。

本実施の形態では、探索範囲決定部６の動作が相違する。探索範囲決定部６は、周辺の分割領域のそれぞれの領域動きベクトルおよび相関度に応じて、周辺の分割領域を統合して一つの領域とみなして、動きベクトル探索範囲の広さ、動きベクトル探索範囲のずらし量、動きベクトル探索時の位置間引き量、評価値計算の間引き量等の動きベクトル探索範囲に関する情報を決定する。

図１２は、動画像符号化装置で領域統合を行う場合の動作の流れを示すフローチャートである。

縮小符号化対象画像および各縮小参照候補画像の生成処理（ステップＳ１０１）から相関度の算出処理（ステップＳ１０４）までの動作については実施の形態１と同様である。なお、縮小符号化対象画像の分割処理（ステップＳ１０２）では、最大領域分割数で領域分割を行うものし、ここでは水平垂直それぞれ４分割し、１６個の領域に分割するものとする。

相関度が算出されると、探索範囲決定部６は、周辺の分割領域を統合して一つの領域とみなすかどうかの決定を行う（ステップＳ４０１）。図１３は、領域統合について決定する際の動作の流れを示すフローチャートである。

探索範囲決定部６は、所定の周辺の分割領域のそれぞれの領域動きベクトルおよび相関度を取得する（ステップＳ５０１）。例えば、図１４（ａ）に示すように水平垂直それぞれ４分割している場合、左上の４個の領域５１から領域５４の領域動きベクトルと相関度を取得する。次に、探索範囲決定部６は、取得した周辺の分割領域のそれぞれの領域動きベクトルのばらつき度合いを求め、ばらつきが所定の閾値以上であるか否かを判定する（ステップＳ５０２）。この結果、領域動きベクトルのばらつきが所定の閾値以上である場合（ステップＳ５０２でＹｅｓ）、探索範囲決定部６は、領域をそのままとして扱う（ステップＳ５０３）。一方、領域動きベクトルのばらつきが所定の閾値未満である場合（ステップＳ５０２でＮｏ）、探索範囲決定部６は、周辺の分割領域の相関度が所定の閾値以上であるか否かを判定する（ステップＳ５０４）。この結果、相関度が所定の閾値未満である場合（ステップＳ５０４でＮｏ）、探索範囲決定部６は、領域をそのままとして扱う（ステップＳ５０３）。一方、相関度が所定の閾値以上である場合（ステップＳ５０４でＹｅｓ）、探索範囲決定部６は、相関度のばらつき度合いを求め、ばらつきが所定の閾値未満であるか否かを判定する（ステップＳ５０５）。この結果、相関度のばらつきが所定の閾値以上である場合（ステップＳ５０５でＮｏ）、探索範囲決定部６は、領域をそのままとして扱う（ステップＳ５０３）。一方、相関度のばらつきが所定の閾値未満である場合（ステップＳ５０５でＹｅｓ）、探索範囲決定部６は、領域を統合して扱う（ステップＳ５０６）。この場合、図１４（ａ）に示す４個の領域５１から領域５４を、例えば図１４（ｂ）に示すように１個の領域６１に統合して扱う。そして、統合後の領域動きベクトルについては、統合前のそれぞれの領域動きベクトルの平均とする。また、統合後の相関度については、統合前のそれぞれ相関度を平均した値とする。

そして、探索範囲決定部６は、統合後の領域に対して、動きベクトル探索範囲の広さ、動きベクトル探索範囲のずらし量、動きベクトル探索時の位置間引き量、評価値計算の間引き量等の動きベクトル探索範囲に関する情報を決定することになる（ステップＳ１０５）。以降の処理（ステップＳ１０６）から領域分割数の決定処理（ステップＳ１１１）までの動作については実施の形態１と同様である。

以上のように、周辺の分割領域の領域動きベクトルおよび相関度に応じて、周辺の分割領域を統合して一つの領域とみなして、動きベクトル探索範囲に関する情報を決定しているので、動きベクトル探索範囲を効率よく決定し、動きベクトルを精度よく検出することができる。

なお、本実施の形態では、探索範囲決定部６は、相関度のばらつき度合いを求め、ばらつきが所定の閾値未満であるか否かを判定しているが、この判定処理を行わなくても構わない。この場合、周辺の分割領域の相関度が所定の閾値以上である場合（ステップＳ５０４でＹｅｓ）、探索範囲決定部６は、領域を統合して扱えばよい（ステップＳ５０６）。

（実施の形態３）
上記実施の形態１では、動き検出部７０２において動きベクトルを検出する際の動きベクトル探索領域が１つの場合について説明したが、本実施の形態では、動きベクトル探索領域を複数の有する場合について説明する。

図１５は、本発明の実施の形態３に係る動きベクトル検出装置における探索範囲の設定方法について説明するための図である。なお、構成は、実施の形態１と同様であるので、説明を省略する。

動き検出部７０２は、図１５に示すように、符号化対象ブロック（マクロブロック）を中心とした所定の広さの矩形領域の探索範囲９１と、領域動きベクトルＡＭＶの指す位置を中心とする矩形領域の探索範囲９２とを探索する。この探索範囲９２は、実施の形態１と同様に、相関度や領域動きベクトルの大きさから探索位置の間引き量、評価値算出の間引き量、探索範囲の広さを変えることも可能である。

なお、ここでは、２つの探索範囲を探索する事を前提としているが、ＭＰＥＧ２規格で定められている予測ベクトルが指す位置を中心とする矩形領域を探索する事も可能である。この場合、動き検出部７０２は、図１６に示すように、符号化対象ブロック（マクロブロック）を中心とした所定の広さの矩形領域の探索範囲９１と、領域動きベクトルＡＭＶの指す位置を中心とする矩形領域の探索範囲９２とに加えて、予測ベクトルＰＭＶが指す位置を中心とする矩形領域の探索範囲９３を探索する。

以上のように、符号化対象ブロックを中心とした探索範囲９１と、領域動きベクトルＡＭＶに基づく探索範囲９２という複数の探索範囲を探索することによって、例えば、１つずつの探索範囲を狭く設定しても、動きベクトルを精度よく検出することができる。

（実施の形態４）
本実施の形態では、領域の境界部分に存在するマクロブロック（符号化対象ブロック）に対する動きベクトル探索範囲に関する情報を補正する場合について説明する。

図１７は、本発明の実施の形態４に係る動きベクトル検出装置における動きベクトル探索範囲に関する情報の補正方法について説明するための図である。なお、構成は、実施の形態１と同様であるので、説明を省略する。

探索範囲決定部６は、隣接する領域のそれぞれの相関度に応じて、領域の境界付近に位置するマクロブロックに対する動きベクトル探索範囲に関する情報を補正する。ここで、符号化対象画像の各領域Ａ〜Ｄについて、相関度の高さが図１７に示すように領域Ｂ、領域Ｄ、領域Ａ、領域Ｃの順であったとする。この場合、探索範囲決定部６は、相関度の低い側の領域にある領域の境界に存在するマクロブロックの領域動きベクトルまたは探索範囲ずらし量を相関度の高い領域の値を用いるように補正を行う。例えば、領域Ｄ、領域Ａ、および領域Ｃに含まれ、領域Ｂに隣接する領域１１１については、領域Ｂの領域動きベクトルまたは探索範囲ずらし量を用いるように補正される。また、領域Ｃに含まれ、領域Ａに隣接する領域１１２については、領域Ａの領域動きベクトルまたは探索範囲ずらし量を用いるように補正される。また、領域Ｃに含まれ、領域Ｄに隣接する領域１１３については、領域Ｄの領域動きベクトルまたは探索範囲ずらし量を用いるように補正される。

以上のように、領域の境界部分に存在するマクロブロックに対する動きベクトル探索範囲に関する情報を隣接する領域のそれぞれの相関度に応じて補正しているので、動きベクトル探索範囲を効率よく決定し、動きベクトルを精度よく検出することができる。

なお、ここでは、境界に存在する一列のマクロブロックを対象としているが、複数列のマクロブロックを対象とすることも可能である。また、相関度の差に基づいて補正するマクロブロックの数を変えても構わない。例えば、相関度が０〜１の間で設定されている場合、相関度の差が０．５以上の場合は２マクロブロック分、０．２５以上０．５未満の場合は１マクロブロック分の領域動きベクトルまたは探索範囲のずらし量を補正する。または、領域の境界近傍にあるマクロブロックの領域動きベクトルまたは探索範囲のずらし量を相関度により線形補間することで置き換えることも可能である。

また、図１、図２に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、別構成としても良い。

本発明に係る動きベクトル検出装置および動きベクトル検出方法は、ピクチャ間予測を行って画像圧縮を行い、ＴＶ放送の録画やムービー等の撮影を行う用途として有用であり、例えば、パーソナルコンピュータ、ＨＤＤレコーダ、ＤＶＤレコーダ、ビデオカメラ、およびカメラ付き携帯電話機等に適用できる。

本発明の実施の形態１に係る動きベクトル検出装置を備えた動画像符号化装置の構成を示すブロック図である。 動画像符号化装置の符号化部の構成を示すブロック図である。 動画像符号化装置での動作の流れを示すフローチャートである。 （ａ）縮小符号化対象画像の分割を示す図であり、（ｂ）領域Ｂと縮小参照画像とのマッチングを示す図であり、（ｃ）相関度を算出する式を示す図である。 領域分割数を決定する際の動作の流れを示すフローチャートである。 領域分割について説明するための図である。 この動きベクトル探索範囲に関する情報を決定する際の動作の流れを示すフローチャートである。 動きベクトル探索範囲のずらし方について説明するための図である。 動きベクトル探索範囲の広さおよびずらし方について説明するための図である。 動きベクトル探索位置の間引き量について説明するための図である。 動きベクトル探索時の評価値算出の間引き量について説明するための図である。 動画像符号化装置で領域統合を行う場合の動作の流れを示すフローチャートである。 領域統合について決定する際の動作の流れを示すフローチャートである。 領域統合について説明するための図であり、（ａ）縮小符号化対象画像の各領域の領域動きベクトルを示す図であり、（ｂ）領域統合をした後の縮小符号化対象画像を示す図である。 本発明の実施の形態２に係る動きベクトル検出装置における探索範囲の設定方法について説明するための図である。 本発明の実施の形態２に係る動きベクトル検出装置における他の探索範囲の設定方法について説明するための図である。 本発明の実施の形態３に係る動きベクトル検出装置における動きベクトル探索範囲に関する情報の補正方法について説明するための図である。

符号の説明

１ 画像縮小部
２ ピクチャメモリ
３ 領域分割部
４ 領域動きベクトル検出部
５ 相関度算出部
６ 探索範囲決定部
７ 符号化部
８ 解析部
１００ 動画像符号化装置
７０２ 動き検出部
７０３ 動き補償部
７０４ 差分演算部
７０５ 直交変換部
７０６ 量子化部
７０７ 逆量子化部
７０８ 逆直交変換部
７０９ 加算部
７１０ ピクチャメモリ
７１２ 可変長符号化部

Claims (13)

1. 符号化対象画像に含まれる符号化対象ブロックの参照画像に対する動きベクトルを検出する動きベクトル検出装置であって、
   前記符号化対象画像および前記参照画像からそれぞれ画素数を低減した縮小符号化対象画像および縮小参照画像を生成する画像縮小手段と、
   前記縮小符号化対象画像を複数の領域に分割する領域分割手段と、
   前記領域分割手段によって分割された分割領域の前記縮小参照画像に対する動きベクトルである領域動きベクトルを検出する領域動きベクトル検出手段と、
   前記領域動きベクトルおよび前記縮小参照画像から生成される分割領域予測画像と、前記分割領域画像との相関度を算出する相関度算出手段と、
   前記分割領域に対応する領域に含まれる前記符号化対象ブロックの動きベクトルを検出する際の条件を、前記相関度および前記領域動きベクトルの少なくとも１つに基づいて決定する条件決定手段と、
   前記条件決定手段によって決定された前記条件で、前記符号化対象ブロックの動きベクトルを検出する動き検出手段と、
   前記領域動きベクトル、および前記条件で実際に検出された動きベクトルに基づいて、以降の前記縮小符号化対象画像の領域分割数を決定する解析手段と
   を備えることを特徴とする動きベクトル検出装置。
2. 前記解析手段は、前記領域動きベクトルおよび前記動きベクトルを比較し、前記領域動きベクトルに対する前記動きベクトルのバラツキを示す評価値を算出し、前記評価値が所定の閾値以上である場合に、前記領域分割数を増加させるように決定する
   ことを特徴とする請求項１記載の動きベクトル検出装置。
3. 前記解析手段は、前記領域動きベクトル、前記相関度、および前記条件で実際に検出された動きベクトルに基づいて、以降の前記縮小符号化対象画像の領域分割数を決定する
   ことを特徴とする請求項１記載の動きベクトル検出装置。
4. 前記解析手段は、前記領域動きベクトルおよび前記動きベクトルを比較し、前記領域動きベクトルに対する前記動きベクトルのバラツキを示す評価値を算出し、前記評価値が所定の閾値未満であり、かつ前記相関度が所定の閾値未満である場合に、前記領域分割数を増加させるように決定する
   ことを特徴とする請求項３記載の動きベクトル検出装置。
5. 前記解析手段は、前記領域動きベクトルおよび前記動きベクトルを比較し、前記領域動きベクトルに対する前記動きベクトルのバラツキを示す評価値を算出し、前記評価値が所定の閾値未満であり、かつ前記相関度所定の閾値以上である場合に、周辺の分割領域の領域動きベクトルおよび相関度と、当該領域動きベクトルおよび当該相関度の少なくとも１つに基づいて決定された条件で実際に検出された動きベクトルと取得する
   ことを特徴とする請求項３記載の動きベクトル検出装置。
6. 前記解析手段は、周辺の前記分割領域の前記領域動きベクトルに対する前記動きベクトルのバラツキを示す評価値を算出し、前記評価値が所定の閾値未満であり、かつ前記相関度が所定の閾値以上である場合に、前記領域分割数を減少させるように決定する
   ことを特徴とする請求項５記載の動きベクトル検出装置。
7. 前記解析手段は、周辺の前記分割領域の前記領域動きベクトルに対する前記動きベクトルのバラツキを示す評価値を算出し、前記評価値が所定の閾値以上であるか、または前記相関度が所定の閾値未満である場合に、前記領域分割数を増減させないように決定する
   ことを特徴とする請求項５記載の動きベクトル検出装置。
8. 前記条件決定手段は、
   前記条件として、前記符号化対象ブロックの動きベクトル探索範囲に関する情報を前記領域動きベクトルに基づいて決定する探索範囲決定部を備え、
   前記動き検出手段は、前記探索範囲決定部によって決定された前記動きベクトル探索範囲に関する情報に基づいて、前記符号化対象ブロックの動きベクトル探索範囲を決定し、決定した前記動きベクトル探索範囲内を探索することによって、前記符号化対象ブロックの動きベクトルを検出する
   ことを特徴とする請求項１記載の動きベクトル検出装置。
9. 前記探索範囲決定部は、前記条件として、前記符号化対象ブロックの動きベクトル探索範囲に関する情報を前記領域動きベクトルおよび前記相関度に基づいて決定する
   ことを特徴とする請求項８記載の動きベクトル検出装置。
10. 前記条件決定手段は、隣接する前記分割領域のそれぞれの前記領域動きベクトルおよび前記相関度に応じて、隣接する前記分割領域を統合して一つの領域とみなして、前記条件を決定する
    ことを特徴とする請求項１記載の動きベクトル検出装置。
11. 前記条件決定手段は、隣接する前記分割領域のそれぞれの前記領域動きベクトルのバラツキを示す評価値を算出し、前記評価値が所定の閾値未満であり、かつ前記分割領域のそれぞれの前記相関度が所定の閾値以上である場合に、前記領域分割数を統合して一つの領域とみなす
    ことを特徴とする請求項１０記載の動きベクトル検出装置。
12. 符号化対象画像に含まれる符号化対象ブロックの参照画像に対する動きベクトルを検出する動きベクトル検出方法であって、
    前記符号化対象画像および前記参照画像からそれぞれ画素数を低減した縮小符号化対象画像および縮小参照画像を生成する画像縮小ステップと、
    前記縮小符号化対象画像を複数の領域に分割する領域分割ステップと、
    前記領域分割ステップによって分割された分割領域の前記縮小参照画像に対する動きベクトルである領域動きベクトルを検出する領域動きベクトル検出ステップと、
    前記領域動きベクトルおよび前記縮小参照画像から生成される分割領域予測画像と、前記分割領域画像との相関度を算出する相関度算出ステップと、
    前記分割領域に対応する領域に含まれる前記符号化対象ブロックの動きベクトルを検出する際の条件を、前記相関度および前記領域動きベクトルの少なくとも１つに基づいて決定する条件決定ステップと、
    前記条件決定ステップによって決定された前記条件で、前記符号化対象ブロックの動きベクトルを検出する動き検出ステップと、
    前記領域動きベクトル、および前記条件で実際に検出された動きベクトルに基づいて、以降の前記縮小符号化対象画像の領域分割数を決定する解析ステップと
    を含むことを特徴とする動きベクトル検出方法。
13. 符号化対象画像に含まれる符号化対象ブロックの参照画像に対する動きベクトルを検出するための集積回路であって、
    前記符号化対象画像および前記参照画像からそれぞれ画素数を低減した縮小符号化対象画像および縮小参照画像を生成する画像縮小手段と、
    前記縮小符号化対象画像を複数の領域に分割する領域分割手段と、
    前記領域分割手段において分割された分割領域の前記縮小参照画像に対する動きベクトルである領域動きベクトルを検出する領域動きベクトル検出手段と、
    前記領域動きベクトルおよび前記縮小参照画像から生成される分割領域予測画像と、前記分割領域画像との相関度を算出する相関度算出手段と、
    前記分割領域に対応する領域に含まれる前記符号化対象ブロックの動きベクトルを検出する際の条件を、前記相関度および前記領域動きベクトルの少なくとも１つに基づいて決定する条件決定手段と、
    前記条件決定手段において決定された前記条件で、前記符号化対象ブロックの動きベクトルを検出する動き検出手段と、
    前記領域動きベクトル、および前記条件で実際に検出された動きベクトルに基づいて、以降の前記縮小符号化対象画像の領域分割数を決定する解析手段と
    を備えることを特徴とする集積回路。

Images