JP2010258767A - 画像処理方法及びそれを用いた画像情報符号化装置 - Google Patents

Abstract

【課題】リファインに於いてメモリアクセスを減らして動きベクトル探索を高め、またサーチエリアを切り替え圧縮効率を改善する。
【解決手段】複数のフレーム画像を所定の圧縮率で圧縮して下位の階層の縮小画面を生成する複数の縮小画面生成装置と、複数の縮小画面を用いて第１の動きベクトルを探索する第１の動き予測装置と、フレーム画像を記憶しているメモリ上でサーチエリアを切り替え、メモリで指定されたサーチエリアで、上記第１の動きベクトルを用いて第２の動きベクトルを探索する第２の動き予測装置とを有し、縮小画像上での動き探索ベクトルの値に応じてリファインのサーチを切り替えることでリファインの動きベクトルの高速化や消費電力を低減し、また、切り替時にアクセスしたデータを全て利用して圧縮効率を改善することもできる。
【選択図】図６

Description

本発明は、動画像情報符号化装置に関わり、特に動き探索装置でのメモリアクセスに関する画像処理方法及びそれを用いた画像情報符号化装置である。

画像情報をディジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ等の方式に準拠した画像情報符号化装置がある。

ＭＰＥＧのような動画像符号化方式は、動き補償を用いた予測符号化であって、符号化処理において動き補償に用いる動きベクトルを検出する必要がある。効率的な符号化のためには、できるだけ広い範囲の探索領域で動きベクトルを検出する必要がある。しかし、広い範囲の動き探索をするためには、膨大な量の演算とデータが必要となる。

かかる課題を解決するために、階層動きベクトル探索方式が行われている。図７に、原画面と参照画面と階層ベクトル（動きベクトルとも称する）について示す。

階層動きベクトル探索について説明する。入力画像と参照画像を同じ縮小率の解像度の縮小画像に縮小し、それらの縮小画像を用いて動き探索を粗く行う。以下、ここで得られた粗動きベクトルを階層ベクトルと称する。
その後、原画像解像度面において、階層ベクトルを中心とする小領域を動き探索（以下Ｒｅｆｉｎｅ（リファイン）と記載する）することで所望の動きベクトルを得る。
フレームメモリから参照画像データを転送して、リファイン処理装置の処理能力に応じたサーチエリア（±Ｘ，±Ｙ）の固定領域を探索するのが一般的である。

引用文献１は、動きベクトルが示している参照画像データを画像メモリから動き補償部へ転送するとき、参照画像の位置が画像フレームからはみ出しているか否か判定し、この判定に用いる基準をワード単位とすることが開示してある。
しかしながら、この引用文献１には、階層ベクトルを用いたリファインにおけるメモリのサーチエリアをワード単位としてアクセスまたはサーチすることを開示していない。

特開２００７−２７４３８３号公報

フレームメモリは一般的にＳＤＲＡＭで構成されることが多いが、アクセスがワード単位であるために、設定したリファインサーチがワード境界にきれいに位置するとは限らない。
ところで、上述のとおりフレームメモリへのアクセスはワード単位で行うため、サーチエリアと階層ベクトルの値により、アクセスはするがリファイン処理には使用しないデータが存在する。

例えば、メモリ上に参照データが８×１ピクセルを１ワードとしてマッピングされ、且つ、階層ベクトル値が原画像解像度面において（−２，０）であり、リファインが（±１０，±４）の場合のサーチエリアとワードマッピングの関係を図１に示す。なお、図１中の塗りつぶした領域が不使用データに相当する。このように、リファインサーチエリアが固定値である限り階層ベクトルの値により、不使用データは必ず存在してしまう。

本発明の目的は、リファインにおいてメモリアクセスを減らして動きベクトル探索を高速化することである。また、サーチエリアを切り替えて圧縮効率を改善することである。

本発明の画像情報符号化方法は、画像圧縮情報を出力する画像圧縮情報符号化装置における階層探索に基づく動きベクトルの探索を行う画像情報符号化方法において、複数のフレーム画像を所定の圧縮率で圧縮して下位の階層の複数の縮小画面を生成するステップと、上記複数の縮小画面を用いて第１の動きベクトルを探索するステップと、上記フレーム画像を記憶しているメモリ上でサーチエリア（領域）を切り替えるステップと、当該切り替えられたサーチエリアで、上記第１の動きベクトルを用いて第２の動きベクトルを探索するステップとを有する。

好適には、上記第２の動きベクトルの探索において、上記メモリ上の上記サーチエリアを、アクセス単位を設けて形成し、アクセス単位をワード単位とした場合、１ワード内に占めるサーチ対象が占める割合により、当該ワードへのメモリアクセスを取りやめる。
また、上記第２の動きベクトルの探索において、上記メモリにアクセスした画像データに対して、サーチ演算量を保存した状態で任意形状でリファインにおける疎と蜜の領域を設ける。

本発明の画像情報符号化装置は、画像圧縮情報を出力する画像圧縮情報装置における階層探索に基づく動きベクトルの探索を行う画像情報符号化装置において、複数のフレーム画像を所定の圧縮率で圧縮して下位の階層の複数の縮小画面を生成する縮小画面生成装置と、上記複数の縮小画面を用いて第１の動きベクトルを探索する第１の動き予測装置と、上記フレーム画像を記憶しているメモリ上でサーチエリアを切り替え、上記フレーム画像を記憶しているメモリ上でサーチエリアを切り替え、上記切り替えられたサーチエリアで、上記第１の動きベクトルを用いて第２の動きベクトルを探索する第２の動き予測装置とを有する。

本発明は、縮小画像上での動きベクトルの値に応じてリファインのサーチを切り替えることでリファインの動きベクトル探索の高速化やメモリアクセスを低減することができ、また、リファインのサーチの切り替え時にアクセスしたデータを全て利用することで圧縮効率を改善することもできる。

図１は、リファインサーチにおけるワード境界と固定リファインの関係を示す図である。 図２は、階層ベクトルを探索するためのブロックマッチング動作を説明する図である。 図３は、リファインサーチにおけるメモリ上のサーチエリアの例を示す図である。 図４は、リファインサーチにおけるメモリ上のサーチポイントを示す図である。 図５は、リファインサーチにおける他の探索形状におけるサーチポイントを示す図である。 図６は、階層ベクトル探索を用いた画像情報符号化装置のブロック構成を示した図である。 図７は、従来のリファインサーチにおけるワード境界と固定リファインの関係の例を示す図である。

以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施形態（第１のリファインサーチ方法）
２．第２の実施形態（第２のリファインサーチ方法）
３．第３の実施形態（リファイン装置を用いた画像情報符号化装置）

＜１．第１の実施形態＞
［第１のリファインサーチの方法］
第１の実施形態であるリファインサーチ方法について説明する。ここで、リファインは、原画像解像度面上において、階層ベクトルを用いた精（ファイン）動きベクトルの探索のことを示す。なお、階層ベクトルは粗動きベクトルとも称する。
例えば縮小画面において、ブロックマッチングにより粗動きベクトルを求める。その後、この粗動きベクトルを用いて原画像解像度面でリファインサーチを行う。

以下、縮小画面における粗動きベクトルを求めるためのブロックマッチングの説明をし、次に、リファインサーチについて説明する。

［粗動きベクトル探索］
次に、階層サーチの１例を示す。
入力画像と参照画像を縮小した画像データを用いて、縮小した画像面の特定した画像ブロックを所定サーチエリアの範囲で１画素ずつずらして差分の絶対値をとる。これを繰り返すことにより、差分絶対値の総和の一番小さい値からベクトル値を求める。

参照フレーム（画像）をｍ×ｎブロックに分割したとき、そのブロックの配列を列方向に（０，０），（０，１），・・・，（０，ｍ−１）、（１，０），（１，１）、・・・、（１，ｍ−１）、・・・、（ｎ−１，０），（ｎ−１，１），・・・，（ｎ−１，ｍ−１）と表わす。なお、各ブロックは、例えば４×４画素（ピクセル）で構成されている。

図２において、参照画面の画像ブロックの画素番号をｒ０，ｒ１，ｒ２，・・・とし、現画面の画素番号をｃ０，ｃ１，ｃ２，・・・とする。但し、式ではマトリクス表示のｒ（ｉ，ｊ）、ｃ（ｉ，ｊ）と記載する。また、参照画面の検索領域を例えば画像ブロック（ｎ，ｍ）を中心にその周囲を検索する。上述したように、参照画面と原画面の画像ブロックは、水平方向と垂直方向にそれぞれ１／Ｎ（Ｎは正の整数））に間引きした縮小画面とする。

階層サーチにおけるサーチエリアを0<=x<=+3, 0<=y<=+3の場合を例にあげると、各画素値の差分の絶対値の総和Ｓｕｍ（x，y）は次式で求めることができる。

[数１]
Ｓｕｍ（x，y）＝Σ_{ｉ＝０，３}Σ_{ｊ＝０，３}｛ａｂｓ（ｒ_ｉ，ｊ−ｃ_ｉ，ｊ）｝
・・・（１）
として、サーチ位置（x，y）における差分絶対値の総和が求まる。ここでａｂｓ｛ ｝は｛ ｝の絶対値を表す。

基底（階層サーチにおけるサーチ単位）ブロックの動きベクトルは式（１）を用いて

[数２]
ＭＶ_ｘ，ｙ＝ｍｉｎＳｕｍ（x，y） ・・・（２）
から求まる。
ここで、式（２）の右辺は、差分の絶対値の総和Ｓｕｍ（x，y）が最小となる時の（x，y）を示す。

まず、式（１）において、Ｓｕｍ_０，０，Ｓｕｍ_０，１，Ｓｕｍ_０，２，Ｓｕｍ_０，３，Ｓｕｍ_１，０，Ｓｕｍ_１，１，Ｓｕｍ_１，２，Ｓｕｍ_１，３，・・・，Ｓｕｍ_３，０，Ｓｕｍ_３，１，Ｓｕｍ_３，２，Ｓｕｍ_３，３を求める。

具体的には、図２（ａ），（ｂ）において、画素番号ｃ０，ｃ１，ｃ２，・・・，ｃ１５のブロックについて、各Ｓｕｍ（x，y）の計算例は下記のようになる。

［数３］
Ｓｕｍ（０，０）＝｜ｒ０−ｃ０｜＋｜ｒ１−ｃ１｜＋｜ｒ２−ｃ２｜＋｜ｒ３−ｃ３｜＋｜ｒ８−ｃ４｜＋・・・＋｜ｒ２７−ｃ１５｜
・・・・（３）

［数４］
Ｓｕｍ（０，１）＝｜ｒ１−ｃ０｜＋｜ｒ２−ｃ１｜＋｜ｒ３−ｃ２｜＋｜ｒ４−ｃ３｜＋｜ｒ９−ｃ４｜＋・・・＋｜ｒ２８−ｃ１５｜
・・・・（４）
・・・

［数５］
Ｓｕｍ（３，３）＝｜ｒ２７−ｃ０｜＋｜ｒ２８−ｃ１｜＋｜ｒ２９−ｃ２｜＋｜ｒ３０−ｃ３｜＋｜ｒ３５−ｃ４｜＋・・・＋｜ｒ５４−ｃ１５｜
・・・・（５）
となる。

次に、式（３）〜（５）で求めた差分の絶対値の総和Ｓｕｍx，y（０＜＝x＜＝３，０＜＝y＜＝３）を式（２）に代入し、定義に従って最小値から粗動きベクトルＭＶ_ｘ，ｙを求める。
例えば、上記Ｓｕｍ（０，０）〜Ｓｕｍ（３，３）の中で、Ｓｕｍ（２，３）が最小であると、粗動きベクトルＶＭ_ｘ，ｙはＶＭ_２，３となる。

次に、画素番号ｃ０’，ｃ１’，ｃ２’，・・・，ｃ１５’のブロックについても、参照画面の画像ブロック対して上記と同様な操作を繰り返し、動きベクトルを求める。
このような操作を行い、１フレーム内のｍ×ｎブロックの（０，０）〜（ｎ−１，ｍ−１）について粗動きベクトルを探索する。

［リファイン動作の説明］
次に、縮小画面で求めた階層ベクトル（粗動きベクトル）ＭＶ_ｘ，ｙを用いて、原画像解像度面におけるリファインについて説明する。
次に、参照画面データを記憶するメモリのアドレス配列について説明する。図３に、このメモリのアドレスを平面状にマップ化した例を示す。メモリは、一般に半導体記憶装置で構成され、例えば、ＳＤＲＡＭ（Ｓｔａｔｉｃ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ等で構成される。

図３にリファインサーチにおける参照面データを１ワード８×１画素の単位でマップした例を示す。
メモリマップにおいて、ワード単位の境界を縦線で示し、１つの囲まれた領域は８×１ピクセルを示す１ワード単位を示し、太線の点線で囲まれた領域をサーチエリアｅとし、実線で囲まれた領域をサーチセンターの画像ブロック（エリア）ｆとする。

図３に、１ワードを８×１ピクセル単位（ワード単位とも称する）でメモリ上に配置し、かつ、リファインサーチエリアを画像ブロックｆの領域に対して（±１０，±４）とした場合、ワード境界とリファインサーチエリアの関係を示す。
図３において、メモリのアドレスを視覚的に理解し易くするために座標表示してマップ化した例を示す。メモリマップにおいて、Ｘ座標をａｎ−２４，ａｎ−２３，・・・，ａｎ，ａｎ＋１，・・・，ａｎ＋３１、Ｙ座標をｂｎ−６，ｂｎ−５，・・・，ｂｎ，ｂｎ＋１，・・・，ｂｎ＋２５とする。また、この座標に対するメモリのアドレスを（ａｎ−２４，ｂｎ−６）〜（ａｎ＋３１，ｂｎ＋２５）とし、Ｘ（座標）方向に８×１ピクセル単位の境界に縦線を設けて見やすくした。この例では、Ｘ方向のアクセス単位を８×１ピクセルとしたが、この単位はこれに限定されるものではなく、例えば４×２ピクセルのように1ワードに格納するピクセルの単位で構成されても良い。

図３（ａ）〜（ｄ）に示すメモリマップにおいて、リファインサーチされる領域以外の領域（エリアとも称する）を符号ｄ，ｈで示す。以後、同じ領域には同じ符号を付与する。

図３に示すように、原画像解像度面において、メモリは画像エリアｆのアドレスの位置によりＸ方向の階層ベクトル値（粗動きベクトル）に依存して４通りのパターンを持つ。以下その理由について説明する。

図３（ａ）〜（ｄ）におけるメモリのＸ座標の「アドレスの余り」の計算方法を示す。
図３（ａ）の場合、サーチエリアｅは（ａｎ−１０，ｂｎ−４）〜（ａｎ＋２５，ｂｎ＋１９）の範囲であり、画像エリアｆのＸ座標の開始アドレスがａｎであるので、８×１ピクセル単位に一致しているので、「余り」が無い。

図３（ｂ）において、サーチエリアｅは（ａｎ−１４，ｂｎ−４）〜（ａｎ＋２１，ｂｎ＋１９）の範囲であり、また画像エリアｆは実線で囲まれた領域で（ａｎ−４，ｂｎ）〜（ａｎ＋１１，ｂｎ＋１５）の範囲である。

図３（ｂ）において、画像エリアｆのアドレスは（ａｎ−４，ｂｎ），（ａｎ−４，ｂｎ＋１），・・・，（ａｎ−４，ｂｎ＋１），（ａｎ−３，ｂｎ＋１），・・・，（ａｎ＋11，ｂｎ＋１５）である。このＸ座標の開始アドレスａｎ−４を８×１ピクセル単位で割算すると、Ｘ座標の基準アドレスがａｎ−８の場合、「余り」は＋４となる。一方、基準アドレスをａｎとすると、「余り」は−４となる。この結果を図３（ｂ）の下部に示す。

同様に、図３（ｃ）においても画像エリアｆのアドレスは（ａｎ−２，ｂｎ），（ａｎ−１，ｂｎ），・・・，（ａｎ−１，ｂｎ），（ａｎ−１，ｂｎ＋１），・・・，（ａｎ＋１３，ｂｎ＋１５）である。Ｘ座標の基準アドレスをａｎ−８とすると、「余り」は＋６となり、また、基準アドレスをａｎとすると、「余り」は−２となる。この結果を図３（ｃ）の下部に示す。

図３（ｄ）においても同様に、Ｘ座標の基準アドレスをａｎ＋８としたとき、「余り」は＋２となり基準アドレスをａｎ＋１６としたとき、「余り」は−６となる。この結果を図３（ｄ）の下部に示す。

以上から、メモリのアクセスを８×１ピクセル単位としたとき、画像ブロックｆに対してアドレスの「余り」は、４パターンに分類される。この４パターンは、動き探索の縮小率を１／２としている場合であるので、上述の例では「余り」は、０，±２，±４，±６の値を持つ。

［メモリアクセス方法］
次に、リファインにおけるメモリのサーチ方法について図３（ａ）〜（ｄ）について説明する。
図３（ａ）において、画像エリアｆのアドレスは（ａｎ，ｂｎ）〜（ａｎ＋１５，ｂｎ＋１５）の範囲を示す。サーチ領域（サーチエリアとも記載する）ｅを画像エリアｆよりＸ方向に±１０、Ｙ方向に±４と設定する場合、サーチエリアｅのアドレスは（ａｎ−１０，ｂｎ−４）〜（ａｎ＋２５，ｂｎ＋１９）となる。
しかしながら、不図示の制御装置でメモリをワード単位でアクセスする場合、Ｘ座標のアドレスは、ａｎ−１６，ａｎ−８，ａｎ，・・・，ａｎ＋３２，・・・となる。

サーチエリアｅは画像エリアｆよりＹ方向に±４、Ｘ方向に±１０広く設定しているので、このサーチエリアｅのＸ方向の開始アドレスによっては、画像エリアｆのアドレス位置に対して「余り」が生じてしまう場合がある。

図３（ａ）の場合、（ａｎ−１６，ｂｎ−４）〜（ａｎ−１１，ｂｎ＋１９）のエリアｄと（ａｎ＋２６，ｂｎ−４）〜（ａｎ＋３１，ｂｎ＋１９）のエリアｈはアクセスされてしまう。
ところが、リファイン時は、塗りつぶされたエリア（領域）ｄ，ｈはサーチする必要はない。このために、リファイン時に、サーチされない領域までアクセスする不利益がある。

そこで、本発明の第１の実施形態において、リファイン時に８×１ピクセル単位（ワード単位）の境界で有効サーチエリアが少ないときにそこへのアクセスを止めるようにする。
図３（ａ）においては、例えば、メモリをサーチするアドレスを（ａｎ−８，ｂｎ−４）〜（ａｎ＋２３，ｂｎ＋１９）とする。この結果、サーチエリアｅは、従来のサーチエリアｅより狭い領域となる。すなわち、（ａｎ−１６，ｂｎ−４）〜（ａｎ−９，ｂｎ＋１９）の領域と（ａｎ＋２４，ｂｎ−４）〜（ａｎ＋３１，ｂｎ＋１９）の領域はサーチしない。
これ以外にも、圧縮効率との兼ね合いであるが、サーチエリアを、メモリマップのＸ座標を８×１ピクセル単位で変更してよい。例えば、（ａｎ−８，ｂｎ−４）〜（ａｎ＋３１，ｂｎ＋１９）、（ａｎ−１６，ｂｎ−４）〜（ａｎ＋２３，ｂｎ＋１９）としてもよい。
サーチエリアを設定する場合、ただサーチエリアを狭めればいいというわけではなく、リファインサーチエリアが規定される領域より狭ければ圧縮性能が落ちてしまうことになる。
固定リファインのＸ方向のａｎ−１０からａｎ−９のようにサーチの対象が狭い場合に、ａｎ＋１６からａｎ＋９のデータアクセスを止めることでメモリアクセスによる消費電力の削減を実現するのと同時にリファイン処理の高速化が実現できる。

図３（ｂ）に、画像エリアｆのアドレス位置が異なる場合を示す。図３（ａ）と同様にメモリのアクセスを行う。従来のサーチエリアｅは、（ａｎ−１４，ｂｎ−４）〜（ａｎ＋２１，ｂｎ＋１９）の領域である。しかし、上述したように、８×１ピクセル単位でメモリをサーチすると、（ａｎ−８，ｂｎ−４）〜（ａｎ＋２３，ｂｎ＋１９）の領域とする例がある。またこれ以外に、（ａｎ−８，ｂｎ−４）〜（ａｎ＋１５，ｂｎ＋１９）、さらに（ａｎ−１６，ｂｎ−４）〜（ａｎ＋１５，ｂｎ＋１９）など種々の範囲に設定することができる。または、１アクセスにおける固定サーチエリアの領域が占める割合が多いので、従来のサーチエリアのままとしてもいい。この設定は、処理時間や階層動きベクトルの方向等により選択すると良い。

以下同様に、図３（ｃ）、（ｄ）においても、メモリのサーチを同様にワード単位で行う。
図３（ｃ）の場合、サーチエリアｅのＸ座標の終端のアドレスはａｎ＋２３で８×１ピクセル単位の整数倍となっているが、サーチエリアｅの開始アドレスがワード単位と一致していないので、Ｘ座標のアドレスａｎ−８以下のみを探索しないようにする。
また、図３（ｄ）において、サーチエリアｅのＸ座標の開始のアドレスはａｎ−１６で８×１ピクセル単位の整数倍となっているが、サーチエリアｅの終了アドレスが８×１ピクセル単位と一致していないので、Ｘ座標のアドレスａｎ＋１６以上の領域を探索しないようにする。
このように、階層ベクトルを用いてリファイン処理を行うときに、メモリを８×１ピクセル単位でサーチすることにより、メモリアクセスの低減による消費電力の削減と短時間での動き探索することができる。
上述のように、本発明は、リファインサーチが固定サーチエリアで指定される場合に、１ワード内に含まれるサーチ対象ピクセルの割合に応じてそのワード列へのアクセスを取り止めるようにした。

したがって、縮小画像上での粗動き探索ベクトルの値に応じてリファインのサーチを切り替えることでリファインの動きベクトル探索の高速化やメモリアクセスを低減することができる。

＜第２の実施形態＞
［第２のリファインサーチ方法］
次に、図面を参照し、本発明の第２の実施形態について説明する。

上述した、本発明の第１の実施形態では、固定リファインサーチエリアに対して、ワード内の有効ピクセルの割合で当該ワード列へのサーチを取り止めるというアプローチであった。しかし、本発明の第２の実施形態は、第１の実施形態とは逆に、サーチされない領域もアクセス自体はしているので、取得したデータを有効に利用する。換言すると、図３中の塗りつぶし領域を含めてサーチ対象とするというものである。

ノンリアル動作時には、リアル動作と比較して時間的に余裕があるので、対象領域を全領域サーチすればよいが、リアルタイム動作では、リファインの処理能力とサーチエリアの大きさに依存関係があるのが普通である。画像エリアｆに対して（±１０,±４）のリファインサーチエリアｅがリファインサーチ能力としてリアルタイムを保証できるものだという前提だと、図４の「余り０」の時には（±１６,±４）のエリアがサーチ対象だとリアルタイムの保証ができなくなってしまう。

そこで、かかる課題を解決するために、以下の方法でサーチポイント数を領域に応じて選択してサーチ効率を高めるようにする。

図４にマクロブロックをサーチ単位とした場合のサーチポイントの様子を示す。階層ベクトル（粗動きベクトルに対応する）の値により、サーチセンターから遠い領域を粗くサーチし、サーチセンターに近い場所では密にサーチする方法である。なお、サーチセンターを、例えば、メモリマップの座標（ａｎ，ｂｎ）とする。
図４は、サーチポイントを飛び飛びでサーチしている様子を示していて、塗りつぶしたポイントはサーチしないことで、ポイント数を削減している。

図４（ａ）に示す「余り０」の場合のメモリマップを用いて、サーチポイントの動作について説明する。
リファインのセンター（＝（ａｎ，ｂｎ）に対して、飛び飛びでサーチするポイントの領域を、Ｘ（座標）方向成分マイナス１６（ａｎ−１６）からマイナス７（ａｎ−７）の範囲を示す。具体的には、図４（ａ）のメモリマップでは、（ａｎ−１６,ｂｎ−４）、（ａｎ−１４,ｂｎ−４）、（ａｎ−１２,ｂｎ−４）、・・・、（ａｎ−１６，ｂｎ＋４）、・・・、（ａｎ−８，ｂｎ＋４）と飛び飛びにサーチする。
また、Ｘ（座標）方向のプラス７（ａｎ＋７）からプラス１６（ａｎ＋１６）に対して、（ａｎ＋７，ｂｎ−４）、（ａｎ＋９，ｂｎ−４）、・・・、（ａｎ＋７，ｂｎ＋４）、・・・、（ａｎ＋１５，ｂｎ＋４）と飛び飛びのポイントをサーチする。
この領域は、階層ベクトルが指し示すサーチセンター（ａｎ，ｂｎ）＝（０,０）から遠い領域を表現している。それ以外の領域（ａｎ−６,ｂｎ−４）、・・・、（ａｎ＋６，ｂｎ＋４）については、全てのポイントをサーチする。
図４（ｂ）において、メモリマップで（ａｎ−１６，ｂｎ−４）〜（ａｎ−１３，ｂｎ＋４）の領域と（ａｎ＋５，ｂｎ−４）〜（ａｎ＋８，ｂｎ＋４）の領域は飛び飛びにサーチする。一方、（ａｎ−１２，ｂｎ−４）〜（ａｎ＋４，ｂｎ＋４）の領域では全てのポイントについてサーチする。
以下、図４（ｃ），（ｄ）においても、上述したサーチ操作と同様な動作を行う。

図４に示したサーチ方式は一例であって、サーチポイントの数が保存されていれば原理的にはどんなサーチの形状をとることも可能となる。
例えば、図５（ａ）に示すように、サーチエリアｅをサーチセンター（ａｎ，ｂｎ）に対して階層ベクトルの距離が等しい菱形の内域の全てのポイントを探索し、この菱形の外部領域を例えば１ポイント毎にサーチするようにしてもよい。また、これ以外に例えば、この菱形領域の外部域のサーチポイントを２（またはそれ以上）ポイント毎に飛び飛びにサーチしてもよい。
さらに、他の形状の例として、図５（ｂ）に示す５角形でもよく、この外部領域を所定の画素毎に粗くサーチし、内部領域は、全ての画素について細かくサーチする。
このように、本発明は、階層ベクトル（粗動きベクトル）の大きさに応じて、設定された領域内は細かくサーチし、領域外は粗く、例えば飛び飛びにサーチするようにした。なお、形状はこれらに限定されるのもではなく、少なくとも領域を２つに分類することができればよく、他の多角形、円、楕円等であってもよい。

以上述べてきた様に、本発明は、画像圧縮情報を出力する画像情報符号化装置において、縮小画像上での粗動き探索ベクトルの値に応じてリファインのサーチエリアを切り替えることでメモリアクセスしたデータを有効利用することで、圧縮効率を改善することができる。

＜第３の実施形態＞
[画像処理装置の構成]

次に、本発明におけるリファインサーチを用いた画像情報符号化装置１００について説明する。
図６に示すように、画像情報符号化装置１００は、Ａ／Ｄ（アナログ／ディジタル）変換装置１０１、画面並べ替えバッファ１０２、加算器１０３、直交変換装置１０４、量子化装置１０５、可逆符号化装置１０６、蓄積バッファ１０７、逆量子化装置１０８、逆直交変換装置１０９、デブロックフィルタ１１０、フレームメモリ（フル解像度）１１１、間引き装置１１２、フレームメモリ（１／Ｎ^２解像度）１１３、動き予測・補償装置（１／Ｎ^２解像度）１１４、イントラ予測装置１１５、動き予測・補償装置（フル解像度）１１６並びにレート制御装置１１７で構成される。

[画像情報符号化装置の動作説明]
次に、図６に示す画像情報符号化装置１００の動作について説明する。
画像情報符号化装置１００は、入力される画像信号Ｓ_ｉｎは、まず、Ａ／Ｄ変換装置１０１においてディジタル信号に変換され、画面並べ替えバッファ１０２で、出力される画像圧縮情報のＧＯＰ構造に応じ、フレームの並べ替えが行われる。イントラ符号化が行われる画像に関しては、入力画像と、イントラ予測装置１１５により生成される画素値の差分情報が直交変換装置１０４に入力され、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われる。

直交変換装置１０４から出力された変換係数は、量子化装置１０５に供給され、量子化処理が行われる。量子化装置１０５から出力される量子化された変換係数は、可逆符号化装置１０６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が行われた後、蓄積バッファ１０７に蓄積され、画像圧縮情報Ｓ_ｏｕｔとして出力される。

量子化装置１０５の動作はレート制御装置１１７によって制御される。これと同時に、量子化装置１０５から出力された量子化された変換係数は、逆量子化装置１０８に入力され逆量子化され、更に逆直交変換装置１０９において逆直交変換処理が行われて、元の復号化画像情報となる。

逆直交変換処理が施された復号化画像情報は、デブロックフィルタ１１０に供給されブロック歪の除去が施された後、その情報はフレームメモリ１１１に記憶される。

イントラ予測装置１１５において、ブロック／マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化装置１０６に伝送され、画像圧縮情報におけるヘッダ情報の一部として符号化される。

インター符号化が行われる画像に関して、画像情報は動き予測・補償装置１１６に入力される。これと同時に参照となる画像情報がフレームメモリ１１１から取り出され、動き予測処理が行われ、参照画像情報が生成される。
参照画像情報は加算器１０３に送られ、画面並べ替えバッファ１０２から供給された画像情報と演算処理されて差分信号へ変換される。

間引き装置１１２では、フレームメモリ１１１に格納された画像情報が入力され、これに、水平方向、垂直方向のそれぞれに対して、１／Ｎ（Ｎは正の整数）間引き処理を行い、これにより生成された画素値を、フレームメモリ１１３に格納する。
また、動き予測・補償装置１１４では、フレームメモリ１１３に格納された画素値を用い、４×４ブロック、８×８ブロック、若しくは１６×１６ブロック等の画素ブロックを用いて、ブロックマッチングにより、当該ブロックに対する最適な粗動きベクトル情報の探索を行う。
ピクチャをフィールド符号化する際には、間引き処理は、第一フィールドと第二フィールドに分けて行う。

縮小画像を用いて探索された粗動きベクトル情報は、動き予測・補償装置１１６へ入力される。

動き予測・補償装置１１６において、原画像解像度の参照画面を用いてサーチセンターのアドレスに応じてメモリアクセスを所定ワード単位で適宜切り替えてリファイン処理を行う。なお、ワード単位以外の所定長のビット単位で切り替えても良い、
また、他のリファイン処理では、元画像解像度の参照画面を用いて、サーチ領域を少なくとも２個に分割してサーチセンターに近いエリアをすべてサーチし、遠いエリアを飛び飛びにサーチする。
また、この動き予測・補償装置１１６は、同時に動きベクトル情報を可逆符号化装置１０６に出力し、その情報は可変長符号化、算術符号化の可逆符号化処理が施されて、画像圧縮情報を形成する。

よって、画像情報符号化装置１００は、階層探索の結果からフレームメモリ（フル解像度）へ探索データをアクセスする際に、サーチ量の削減を行うことで、低省電力化並びに、動き予測（フル解像度）での演算量の削減（高速化）をすることができる。

また、画像情報符号化装置１００は、上述の構成によりメモリアクセスした全データ領域を動き探索対象領域とし、該探査領域を階層ベクトルのサーチセンターからの距離に応じて探索方法を切替えることで、圧縮効率を改善することができる。

本発明において、複数のフレーム画像を所定の圧縮率で圧縮して下位の階層の縮小画面を生成する縮小画面生成装置は、間引き装置１１２に対応し、上記複数の縮小画面を用いて第１の動きベクトルを探索する第１の動き予測装置は、動き予測・補償装置１１４に対応し、上記フレーム画像を記憶しているメモリ上でサーチエリアを切り替え、当該切り替えられたサーチエリアで、上記第１の動きベクトルを用いて第２の動きベクトルを探索する第２の動き予測装置は動き予測・補償装置１１６に対応する。

１００…画像情報符号化装置、１０１…Ａ／Ｄ（アナログ／ディジタル）変換装置、１０２…画面並べ替えバッファ、１０３…加算器、１０４…直交変換装置、１０５…量子化装置、１０６…可逆符号化装置、１０７…蓄積バッファ、１０８…逆量子化装置、１０９…逆直交変換装置、１１０…デブロックフィルタ、１１１…フレームメモリ（フル解像度）、１１２…間引き装置、１１３…フレームメモリ（１／Ｎ^２解像度）、１１４…動き予測・補償装置（１／Ｎ^２解像度）、１１５…イントラ予測装置、１１６…動き予測・補償装置（フル解像度）、１１７…レート制御装置。

Claims (15)

1. 画像圧縮情報を出力する画像圧縮情報装置における階層探索に基づく動きベクトルの探索を行う画像情報符号化方法において、
   複数のフレーム画像を所定の圧縮率で圧縮して下位の階層の複数の縮小画面を生成するステップと、
   上記複数の縮小画面を用いて第１の動きベクトルを探索するステップと、
   上記フレーム画像を記憶しているメモリ上でサーチエリアを切り替えるステップと、
   上記切り替えられたサーチエリアで、上記第１の動きベクトルを用いて第２の動きベクトルを探索するステップと
   を有する
   画像情報符号化方法。
2. 上記メモリ上の上記サーチエリアは、アクセス単位により形成される
   請求項１記載の画像情報符号化方法。
3. 上記フレーム画像を記憶しているメモリ上で、上記アクセス単位を所定のビット長とする
   請求項２記載の画像情報符号化方法。
4. 上記メモリ上のアクセスにおいて、上記アクセス単位をワード単位とする
   請求項３記載の画像情報符号化方法。
5. 上記第２の動きベクトルの探索において、１ワード内に占めるサーチ対象が占める割合により、当該ワードへのメモリアクセスを中止する
   請求項４記載の画像情報符号化方法。
6. 上記第２の動きベクトルの探索において、上記メモリにアクセスしたフレーム画像に対して、サーチ演算量を保存した状態でサーチエリアの任意形状に対して動き探索を行う
   請求項１記載の画像情報符号化方法。
7. 上記サーチエリアにおける上記第２の動きベクトルの探索は、上記任意形状の領域内と、領域外でサーチポイントの密度が異なる
   請求項６記載の画像情報符号化方法。
8. 上記サーチエリアにおける上記第２の動きベクトルの探索は、上記領域外のサーチポイントを上記領域内のサーチより粗にする
   請求項７記載の画像情報符号化方法。
9. 上記縮小画面を所定ビットのブロックに分割し、分割したブロックを用いて上記第１の動きベクトルを求める
   請求項１記載の画像情報符号化方法。
10. 上記ブロックは、Ｎ×Ｍ画素（Ｎ，Ｍ＝２^ｎでｎは正の整数）で構成される
    請求項９記載の画像情報符号化方法。
11. 画像圧縮情報を出力する画像圧縮情報装置における階層探索に基づく動きベクトルの探索を行う画像情報符号化装置において、
    複数のフレーム画像を所定の圧縮率で圧縮して下位の階層の複数の縮小画面を生成する縮小画面生成装置と、
    上記複数の縮小画面を用いて第１の動きベクトルを探索する第１の動き予測装置と、
    上記フレーム画像を記憶しているメモリ上でサーチエリアを切り替え、当該切り替えられたサーチエリアで、上記第１の動きベクトルを用いて第２の動きベクトルを探索する第２の動き予測装置と
    を有する
    画像情報符号化装置。
12. 上記メモリ上のアクセスにおいて、上記アクセス単位をワード単位とする
    請求項１１記載の画像情報符号化装置。
13. 上記第２の動きベクトルの探索において、１ワード内に占めるサーチ対象が占める割合により、当該ワードへのメモリアクセスを取りやめる
    請求項１２記載の画像情報符号化装置。
14. 上記第２の動きベクトルの探索において、上記メモリにアクセスした画像データに対して、サーチ演算量を保存した状態で任意形状に対して動き探索を行う
    請求項１１記載の画像情報符号化装置。
15. 上記サーチエリアにおける上記第２の動きベクトルの探索は、上位第１の動きベクトル内の上記任意形状の領域内と、領域外でサーチポイントが異なる
    請求項１４記載の画像情報符号化装置。

Images