JP2013172323A - 動き検出装置、画像処理装置および画像処理システム - Google Patents

Abstract

【課題】少ないデータ転送量で高精度に動き検出を行う動き検出装置、これを用いて動画像の符号化を行う画像処理装置および画像処理システムを提供する。
【解決手段】画像処理装置は、参照画像符号化部と、切捨部と、参照画像復号部と、ブロックマッチング部とを備える。参照画像符号化部は、参照画像から抽出される複数の画像成分のそれぞれをエントロピー符号化して、複数の符号化成分を生成する。切捨部は、データ長が予め定めた固定長以下となるよう、前記複数の符号化成分のうちの１または複数を所定の優先順位で選択する。参照画像復号部は、前記選択された符号化成分を復号して、１または複数の画像成分を復元する。ブロックマッチング部は、入力画像の動き検出対象ブロックの画像成分と、前記動き検出対象ブロックに対応する前記参照画像のマッチング対象ブロックの前記復元された画像成分と、に基づいて、前記動き検出対象ブロックの動きベクトルを検出する。
【選択図】図１

Description

本発明は、動き検出装置、画像処理装置および画像処理システムに関する。

動画像を効率よく圧縮符号化するために、Ｈ．２６４などの動画像圧縮符号化方式において、フレーム間動き予測符号化が行われている。フレーム間動き予測符号化は、動き検出を行ってフレーム間予測画像を生成し、フレーム間予測画像と実際の画像との差分を圧縮符号化する手法である。動画像ではフレーム間の相関度が高いため、正確なフレーム間予測画像を生成できれば、画質を劣化させることなく高圧縮率で動画像を圧縮できる。

動き検出を行うためには、入力画像と参照画像との間で多数のブロックマッチング演算を行う必要がある。そのため、データ転送量が多くなってしまうという問題がある。

特開２００７−２５１４５３号公報

少ないデータ転送量で高精度に動き検出を行う動き検出装置、これを用いて動画像の符号化を行う画像処理装置および画像処理システムを提供する。

実施形態によれば、画像処理装置は、参照画像符号化部と、切捨部と、参照画像復号部と、ブロックマッチング部とを備える。参照画像符号化部は、参照画像から抽出される複数の画像成分のそれぞれをエントロピー符号化して、複数の符号化成分を生成する。切捨部は、データ長が予め定めた固定長以下となるよう、前記複数の符号化成分のうちの１または複数を所定の優先順位で選択する。参照画像復号部は、前記選択された符号化成分を復号して、１または複数の画像成分を復元する。ブロックマッチング部は、入力画像の動き検出対象ブロックの画像成分と、前記動き検出対象ブロックに対応する前記参照画像のマッチング対象ブロックの前記復元された画像成分と、に基づいて、前記動き検出対象ブロックの動きベクトルを検出する。

第１の実施形態に係る画像処理システムの概略ブロック図。 動き検出部１の内部構成を示す概略ブロック図。 画像処理システムにおける画像データの流れの一例を示す図。 図１〜図３の画像処理システムにより入力画像を符号化するフローチャート。 画像処理システムにおける画像データの流れの別の例を示す図。 第２の実施形態に係る画像処理システムの概略ブロック図。 図６の画像処理システムにおける画像データの流れの一例を示す図。 図６および図７に示す画像処理システムにより入力画像を符号化するフローチャート。 第３の実施形態に係る画像処理システムの概略ブロック図。 図９の画像処理システムにおける画像データの流れの一例を示す図。 図９および図１０に示す画像処理システムにより入力画像を符号化するフローチャート。 画像成分ｘ１，ｘ２の一例を示す図。 画像成分ｘ１，ｘ２の別の一例を示す図。

以下、動き検出装置、画像処理装置および画像処理システムの実施形態について、図面を参照しながら具体的に説明する。

（第１の実施形態）
図１は、第１の実施形態に係る画像処理システムの概略ブロック図である。画像処理システムは、画像処理装置１００と、フレームメモリ２００と、表示部３００とを備えている。

画像処理装置１００は、動画像である入力画像を符号化して、符号化ストリームを生成する。画像処理装置１００は、動き検出部（動き検出装置）１と、入力画像符号化部２とを有する。動き検出部１は、入力画像と参照画像とを比較して、動きベクトルを生成する。参照画像とは、符号化済みの入力画像を復号して得られる画像である。入力画像符号化部２は、生成された動きベクトルおよび参照画像を用いてフレーム間符号化等を行い、入力画像を符号化して、符号化ストリームを生成する。

フレームメモリ２００は、参照画像を記憶する。さらに本実施形態では、フレームメモリ２００は、動き検出部１により参照画像をエントロピー符号化および切捨処理して得られる固定長参照符号Ｘ’＊を記憶する。表示部３００は、例えば液晶ディスプレイであり、符号化された入力画像を復号して表示する。なお、画像処理システムは、表示部３００の他に、符号化ストリームを記憶する記憶媒体を備えていてもよい。

本実施形態の特徴の１つは、動き検出部１が参照画像そのものではなく、固定長参照符号Ｘ’＊をフレームメモリ２００に記憶しておき、動きベクトルを生成する際には固定長参照符号Ｘ’＊を読み出し、これを復号して用いることである。これにより、エントロピー符号化後に固定長に制限して読み出すことで、負荷の高いフレームメモリ２００と動き検出部１との間のデータ転送量を抑制できる。また、エントロピー符号化を用いることで、読み出すデータの情報量が失われることを防ぐことができる。以下、この点について詳しく説明する。

図２は、動き検出部１の内部構成を示す概略ブロック図である。動き検出部１は、参照画像符号化部１０と、切捨部２０と、参照画像復号部３０と、ブロックマッチング部４０とを有する。

入力画像および参照画像はマクロブロックに分割され、処理が行われる。動き検出部１は、入力画像の動き検出対象ブロックと、参照画像の複数のマッチング対象ブロックのそれぞれとのブロックマッチング演算を行う。そして、複数のマッチング対象ブロックの中から、該動き検出対象ブロックと相関度が高いマクロブロックを検出することにより、動きベクトルを生成する。

参照画像符号化部１０は、成分抽出部１１と、エントロピー符号化部１２とを有する。成分抽出部１１は参照画像の各画素の任意の２つ以上の画像成分を抽出する。ここでは例えば、第１の画像成分ｘ１として輝度成分を、第２の画像成分ｘ２として色差成分を抽出する。エントロピー符号化部１２は、各画像成分に対応する２つ以上のエントロピー符号化部１２ａ，１２ｂを有する。エントロピー符号化部１２は、マクロブロック単位で画像成分ｘ１，ｘ２をそれぞれエントロピー符号化し、符号化成分ｘ１＊，ｘ２＊を生成する。そして、参照画像符号化部１０は参照符号Ｘ＊＝（ｘ１＊，ｘ２＊）を切捨部２０に供給する。

切捨部２０は、参照符号Ｘ＊に対して、データ長が固定長Ｌ０以下となるよう選択処理を行い、固定長参照符号Ｘ’＊を生成する。固定長Ｌ０は、例えば符号化成分ｘ１＊の最大データ長に設定される。輝度成分が一様の場合、符号化成分ｘ１＊は情報量が少なく、データ長は短くなる。したがって、参照符号Ｘ＊が固定長Ｌ０を超えていれば固定長参照符号Ｘ’ ＊＝（ｘ１＊，Ｎ／Ａ）（Ｎ／Ａはデータが存在しないことを示す）を、超えていなければ固定長参照符号Ｘ’ ＊＝（ｘ１＊，ｘ２＊）を生成する。切捨部２０は、固定長参照符号Ｘ’ ＊をフレームメモリ２００に記憶させる。

参照画像復号部３０は、エントロピー復号部３１を有する。エントロピー復号部３１は、フレームメモリ２００から固定長参照符号Ｘ’ ＊を読み出し復号する。エントロピー復号部３１ａは符号化成分ｘ１＊を復号し、画像成分ｘ１を復元する。エントロピー復号部３１ｂは、固定長参照符号Ｘ’＊に符号化成分ｘ２＊が含まれていれば、これを復号し、画像成分ｘ２を復元する。なお、固定長参照符号Ｘ’＊に符号化成分ｘ２＊が含まれていない場合、エントロピー符号化部３１ｂは特に処理を行わない。そして、復元された局所参照画像Ｘ’＝（ｘ１，ｘ２）あるいは（ｘ１，Ｎ／Ａ）はブロックマッチング部４０に供給される。

ブロックマッチング部４０は、成分抽出部４１と、差分部４２と、コスト算出部４３と、最適動きベクトル生成部４４とを有する。成分抽出部４１は、入力画像の各画素から画像成分ｃ１，ｃ２を抽出する。画像成分ｃ１，ｃ２は、参照画像から抽出される画像成分ｘ１，ｘ２とそれぞれ対応する成分である。差分部４２ａは画像成分ｃ１と画像成分ｘ１との差分を算出する。差分部４２ｂは、画像成分ｘ２が復元された場合は、画像成分ｃ２と画像成分ｘ２との差分を算出する。なお、固定長参照符号Ｘ’＊に符号化成分ｘ２＊が含まれていない場合、差分部４２ｂは特に処理を行わない。

差分は、動き検出対象ブロックの画像成分と、複数のマッチング対象ブロックのそれぞれの画像成分について算出される。コスト算出部４３は、差分に基づいて、符号化効率、すなわち符号化される画像の画質と圧縮率とのバランスを示すコストを、マッチング対象ブロック毎に算出する。最適動きベクトル生成部４４は、コストが最も低くなるマッチング対象ブロックに対応する動きベクトルを生成し、最適な動きベクトルとして出力する。

図３は、画像処理システムにおける画像データの流れの一例を示す図である。図２および図３に示す構成の場合、例えば、動き検出部１および入力画像符号化部２を同一チップ１０１上に搭載する。図４は、図１〜図３の画像処理システムにより入力画像を符号化するフローチャートである。

まず、参照画像符号化部１０および切捨部２０は、Ｓ１〜Ｓ６により、参照画像をエントロピー符号化および切捨処理を行って、固定長参照符号Ｘ’＊をフレームメモリ２００に記憶させる。すなわち、参照画像符号化部１０の成分抽出部１１は、入力画像符号化部２から出力される参照画像の各画素の画像成分ｘ１，ｘ２を抽出する（Ｓ１）。ここで、例えば参照画像の輝度成分を画像成分ｘ１とし、色差成分のうちの一方を画像成分ｘ２とする。次いで、エントロピー符号化部１２は、マクロブロックを単位として、画像成分ｘ１，ｘ２をエントロピー符号化して、符号化成分ｘ１＊，ｘ２＊を連結した参照符号Ｘ＊＝（ｘ１＊，ｘ２＊）を生成する（Ｓ２）。

より具体的には、エントロピー符号化部１２ａ，１２ｂは、まず差分パルス符号変調（Differential Pulse Code Modulation：ＤＰＣＭ）を行う。これにより、近傍画素の画像成分が近似した値であるほど、すなわち、画像成分が一様であるほど、値の小さいＤＰＣＭデータが生成される。次に、エントロピー符号化部１２は、ＤＰＣＭデータに対し、指数ゴロム符号化を行う。指数ゴロム符号化では、値が小さいほどデータ長の短い符号が割り当てられる。したがって、例えば画像成分ｘ１が一様であれば、データ長の短い符号化成分ｘ１＊が生成される。一方、画像成分ｘ１が一様でない場合、符号化成分ｘ１＊のデータ長は長くなる。

続いて、切捨部２０は、参照符号Ｘ＊が固定長Ｌ０を超えているか否かを判定する（Ｓ３）。固定長Ｌ０は、例えば符号化成分ｘ１＊の最大データ長とし、外部から設定される。参照符号Ｘ＊が固定長Ｌ０以下である場合（Ｓ３のＹＥＳ）、切捨部２０は符号化成分ｘ１＊，ｘ２＊を含む参照符号Ｘ＊を固定長参照符号Ｘ’＊＝（ｘ１＊，ｘ２＊）として出力する（Ｓ４ａ）。一方、固定長Ｌ０を超えている場合、切捨部２０は、符号化成分ｘ２＊を切り捨て、符号化成分ｘ１＊のみを含む固定長参照符号Ｘ’＊＝（ｘ１＊，Ｎ／Ａ）を出力する（Ｓ４ｂ）。

固定長参照符号Ｘ’＊は、バス４００を介して、フレームメモリ２００に記憶される（Ｓ５）。このとき、切捨部２０からフレームメモリ２００へのデータ転送量は、入力画像に関わらず固定長Ｌ０に抑えられる。以上の処理を参照画像の全てのマクロブロックについて行い、フレームメモリ２００に記憶させる（Ｓ６）。フレームメモリ２００には、参照画像をマクロブロック毎にエントロピー符号化し、かつ、データ長を固定長Ｌ０に抑えたデータが記憶される。なお、同じ参照画像であっても、固定長参照符号Ｘ’＊が符号化成分ｘ２＊を含むマクロブロックもあるし、含まないマクロブロックもある。

固定長参照符号Ｘ’＊＝（ｘ１＊，ｘ２＊）となるのは、画像成分ｘ１が一様であるために、符号化成分ｘ１＊のデータ長が短い場合である。この場合、画像成分ｘ１、ｘ２を用いて、高精度に動き検出を行うことができる。一方、固定長参照符号Ｘ’＊＝（ｘ１＊，Ｎ／Ａ）となるのは、画像成分ｘ１が一様でないために、符号化成分ｘ１＊のデータ長が長い場合である。この場合、符号化成分ｘ２＊が含まれない。しかしながら、画像成分ｘ１が一様ではない場合は、画像成分ｘ１のみを用いても十分高精度に動き検出を行うことができる。固定長参照符号Ｘ’＊がいずれの場合でも、そのデータ長は固定長Ｌ０であるため、動き検出部１およびフレームメモリ２００間のデータ転送量を抑制できる。

続いて、Ｓ７〜Ｓ１２により、入力画像の動き検出対象ブロックと、参照画像のマッチング対象ブロックとのブロックマッチングを行う。まず、参照画像復号部３０のエントロピー復号部３１は、バス４００を介して、フレームメモリ２００から該マッチング対象ブロックの固定長参照符号Ｘ’＊を読み出す（Ｓ７）。このときのフレームメモリから参照画像復号部３０へのデータ転送量も、固定長Ｌ０以下とする。

固定長参照符号Ｘ’＊に符号化成分ｘ２＊が含まれる場合（Ｓ８のＹＥＳ）、すなわち固定長参照符号Ｘ’＊＝（ｘ１＊，ｘ２＊）の場合、エントロピー復号部３１は符号化成分ｘ１＊，ｘ２＊を復号して、画像成分ｘ１，ｘ２を復元する（Ｓ９ａ）。そして、ブロックマッチング部４０の成分抽出部４１は、入力画像の動き検出対象ブロックの各画素から画像成分ｃ１，ｃ２を抽出する。画像成分ｃ１，ｃ２はそれぞれ、画像成分ｘ１，ｘ２と対応する成分である。

そして、全ての画素について、差分部４２ａは画像成分ｘ１，ｃ１の差分絶対値和ＳＡＤ（ｘ１，ｃ１）を算出し、差分部４２ｂは画像成分ｘ２，ｃ２のＳＡＤ（ｘ２，ｃ２）を算出する（Ｓ１０ａ）。そして、コスト算出部４３は、差分絶対値和ＳＡＤ（ｘ１，ｃ１），ＳＡＤ（ｘ２，ｃ２）を用いて、符号化効率を示すコストＣＳＴを、例えば（１）式により、算出する（Ｓ１１ａ）。
ＣＳＴ＝α＊ＳＡＤ（ｘ１，ｃ１）＋β＊ＳＡＤ（ｘ２，ｃ２） ・・・（１）

一方、固定長参照符号Ｘ’＊に符号化成分ｘ１＊のみが含まれる場合（Ｓ８のＮＯ）、画像成分ｘ１を復元し、例えば（２）式により、コストＣＳＴを算出する（Ｓ９ｂ〜Ｓ１１ｂ）。
ＣＳＴ＝α＊ＳＡＤ（ｘ１，ｃ１） ・・・（２）

ブロックマッチング部４０は、全てのマッチング対象ブロックについて、コストＣＳＴを算出する（Ｓ１２）。コストＣＳＴを算出する毎に、フレームメモリ２００から固定長参照符号Ｘ’＊を読み出すが、フレームメモリ２００から参照画像復号部３０へのデータ転送量は、固定長Ｌ０以下であるため、バス４００のデータ転送量を抑制できる。

そして、最適動きベクトル生成部４４は、コストＣＳＴが最小となる、すなわち符号化効率が高くなるマッチング対象ブロックの動きベクトルを、最適な動きベクトルとして選択し、出力する（Ｓ１３）。固定長参照符号Ｘ’＊に符号化成分ｘ２＊を含む場合、画像成分ｘ２も考慮してコストＣＳＴを算出できるので、動き検出の精度がより向上する。

（１），（２）式の係数α，βは、例えば、α＝ＳＡＤ（ｘ２，ｃ２）の最大値＋１、β＝１に設定する。このように設定することで、差分絶対値和ＳＡＤ（ｘ１，ｃ１）によるブロックマッチングを行い、この値が等しいマッチング対象ブロックが複数ある場合に限り、さらに差分絶対値和ＳＡＤ（ｘ２，ｃ２）も考慮してブロックマッチングを行う。これにより、画像成分ｘ１，ｃ１を優先して動きベクトルを探索できる。

この係数α，βの設定をハードウェアで行う場合、差分絶対値ＳＡＤ（ｘ１，ｃ１）を上位側ビットとし、差分絶対値ＳＡＤ（ｘ２，ｃ２）を下位側ビットとして連結することにより、（１）式のコストＣＳＴを算出できる。また、例えば、α＝ＳＡＤ（ｘ２，ｃ２）の最大値の１／２、β＝１に設定し、画像成分ｘ２，ｃ２をより重視して、ブロックマッチングを行ってもよい。

そして、入力画像符号化部２は、最適な動きベクトルを用いたフレーム間予測により、入力画像を符号化し、符号化ストリームを生成する（Ｓ１４）。より具体的には、まず、参照画像と動きベクトルからフレーム間予測画像を生成し、これと入力画像との予測残差画像を離散コサイン変換および量子化する。そして、量子化されたデータを可変長符号化して、符号化ストリームを生成する。符号化効率が高くなるよう、入力画像に応じて、フレーム間予測およびフレーム内予測を使い分けてもよい。

第１の実施形態では、動き検出部１は、参照画像から画像成分ｘ１，ｘ２を抽出し、これらをエントロピー符号化する。さらに、動き検出部１は、データ長が固定長Ｌ０となるよう切捨処理を行った上で、固定長参照符号Ｘ’＊をフレームメモリ２００に記憶させる。そのため、動きベクトルを生成するために必要な、動き検出部１とフレームメモリ２００間のデータ転送量を抑制できる。また、画像成分ｘ１が一様でない場合は、画像成分ｘ１のみを用いて動き検出を行い、画像成分ｘ１が一様な場合は、画像成分ｘ１，ｘ２を用いることにより、さらに高精度に動き検出を行うことができる。

図５は、画像処理システムにおける画像データの流れの別の例を示す図である。図５に示す構成の場合、入力画像符号化部２、参照画像復号部３０およびブロックマッチング部４０をチップ１０１ａ上に、参照画像符号化部１０および切捨部２０をチップ１０１ｂ上に搭載している。

図３の入力画像符号化部２は、入力画像を表示部３００に表示するための切捨処理をされていない参照画像と、切捨処理をされた参照画像とを、バス４００を介してフレームメモリ２００に記憶させる。これに対し、図５の入力画像符号化部２は、切捨処理をされていない入力画像のみを、バス４００を介して、フレームメモリ２００に記憶させるとともに、参照画像符号化部１０に供給する。その他の処理は、図３の構成と同様である。図５の構成にすることで、バス４００で転送されるデータ量をさらに抑制できる。

（第２の実施形態）
第２の実施形態は、参照画像のみをフレームメモリ２００に記憶させるものである。図６は、第２の実施形態に係る画像処理システムの概略ブロック図であり、図１と共通する構成部分には同一の符号を付している。図７は、図６の画像処理システムにおける画像データの流れの一例を示す図である。図７に示す構成の場合、入力画像符号化部２、参照画像復号部３０およびブロックマッチング部４０をチップ１０１ｃ上に、参照画像符号化部１０および切捨部２０をチップ１０１ｄ上に搭載している。第１の実施形態との主な相違点は、固定長参照符号Ｘ’＊はフレームメモリ２００には記憶せず、動き検出部１はフレームメモリ２００から参照画像を読み出して、動きベクトルを生成する点である。

図８は、図６および図７に示す画像処理システムにより入力画像を符号化するフローチャートであり、図４と共通する処理には同一の符号を付している。以下、第１の実施形態との相違点を中心に説明する。

まず、入力画像符号化部２は、バス４００を介して、参照画像をフレームメモリ２００に記憶させる（Ｓ２１）。参照画像は符号化されていないが、入力画像符号化部２からフレームメモリ２００へのデータ転送は参照画像１枚につき１回のみなので、バス４００のデータ転送量が大幅に増加することはない。続いて、参照画像符号化部１０はフレームメモリ２００から参照画像を読み出す（Ｓ２２）。フレームメモリ２００から参照画像符号化部１０へはバス４００を介さずに参照画像を転送するため、バス４００のデータ転送量には影響しない。

切捨部２０は、図４と同様の処理動作により、固定長参照符号Ｘ’＊を生成する（Ｓ１〜Ｓ４ａ，Ｓ４ｂ）。そして、切捨部２０は、バス４００を介して、固定長参照符号Ｘ’＊を参照画像復号部３０へ供給する（Ｓ２３）。バス４００で転送されるのは固定長参照符号Ｘ’＊であるため、データ転送量は固定長Ｌ０に抑えられる。さらに、Ｓ８〜Ｓ１３の処理により、最適な動きベクトルが生成される。

第２の実施形態では、フレームメモリ２００に記憶されるのは参照画像のみであるため、バス４００でのデータ転送量を抑えて高精度に動き検出を行うことができるとともに、フレームメモリ２００を小容量化できる。

（第３の実施形態）
第３の実施形態は、エントロピー符号化された参照画像をフレームメモリ２００に記憶させるものである。図９は、第３の実施形態に係る画像処理システムの概略ブロック図であり、図１と共通する構成部分には同一の符号を付している。画像処理装置１００ｂは、エントロピー符号化してフレームメモリ２００に記憶された参照画像を復号する参照画像復号部３をさらに備えている。

図１０は、図９の画像処理システムにおける画像データの流れの一例を示す図である。同図に示す構成の場合、入力画像符号化部２、参照画像復号部３、参照画像符号化部１０、参照画像復号部３０およびブロックマッチング部４０をチップ１０１ｅ上に、切捨部２０をチップ１０１ｆ上に搭載している。第１および第２の実施形態との主な相違点は、参照画像符号化部１０によりエントロピー符号化した参照画像をフレームメモリ２００に記憶させる点である。図１１は、図９および図１０に示す画像処理システムにより入力画像を符号化するフローチャートであり、図４と共通する処理には同一の符号を付している。以下、第１および第２の実施形態との相違点を中心に説明する。

まず、参照画像符号化部１０は、参照画像の各画素の画像成分ｘ１，ｘ２を抽出し（Ｓ１）、これをエントロピー符号化して、参照符号Ｘ＊を生成する（Ｓ２）。そして、参照画像符号化部１０は、バス４００を介して、参照符号Ｘ＊をフレームメモリ２００に記憶させる（Ｓ３１）。以上の処理を参照画像内の全てのマクロブロックについて行う（Ｓ３２）。フレームメモリ２００には、参照画像をエントロピー符号化した参照符号Ｘ＊が記憶される。なお、参照符号Ｘ＊は切捨処理を行っていないので、何ら情報は失われていない。

次に、切捨部２０はフレームメモリ２００から参照画像内のマッチング対象ブロックの参照符号Ｘ＊を読み出す（Ｓ３３）。そして、切捨部２０は、切捨処理を行い、固定長参照符号Ｘ’＊を生成する（Ｓ３，Ｓ４ａ，Ｓ４ｂ）。さらに、切捨部２０は、バス４００を介して、固定長参照符号Ｘ’＊を参照画像復号部３０へ転送する（Ｓ３３）。バス４００で転送されるのは固定長参照符号Ｘ’＊であるため、データ転送量は固定長Ｌ０に抑えられる。以下、Ｓ８〜Ｓ１３の処理動作により、最適な動きベクトルが生成される。

一方、エントロピー符号化した参照符号Ｘ＊としてフレームメモリ２００に記憶された参照画像は、参照画像復号部３にて復号され、表示部３００に表示される。参照符号Ｘ＊は切捨処理が行われていないので、参照画像復号部３は、エントロピー符号化前の情報を失うことなく、参照画像を復元できる。

第３の実施形態では、参照画像をエントロピー符号化してフレームメモリ２００に記憶させるため、バス４００によるデータ転送量を抑制できる。また、フレームメモリ２００には参照符号Ｘ＊が記憶されるため、参照画像そのものを記憶する場合に比べ、フレームメモリ２００を小容量化することができる。

なお、各実施形態では、２つの画像成分ｘ１，ｘ２を用いる例を示したが、画像成分を３つ以上用いてもよい。その場合、用いる画像成分の数に合わせて参照画像符号化部１０内のエントロピー符号化部や参照画像復号部３０内のエントロピー復号部、ブロックマッチング部４０内の差分部を設ければよい。そして、切捨部２０は、画像成分から所定の優先順位で１または複数の画像成分を選択し、固定長参照符号Ｘ’を生成すればよい。

例えば、画像成分を３つ用いる場合、輝度成分、色差成分Ｃｂ、色差成分Ｃｒを画像成分としてもよい。また、画像成分を５つ用いる場合、輝度成分、色差成分Ｃｂの直流成分、色差成分Ｃｒの直流成分、色差成分Ｃｂの交流成分、色差成分Ｃｒの交流成分を画像成分としてもよい。

また、必ずしも、画像成分を入力画像および参照画像の画素毎に抽出しなくてもよい。例えば、マクロブロックが１６×１６画素から構成される場合、画素成分ｘ１，ｘ２を（３），（４）式のように定義してもよい。
ｘ１＝Ｙ［２ｉ］［２ｊ］ （０≦ｉ，ｊ＜８） ・・・（３）
ｘ２＝Ｙ［２ｉ＋１］［２ｊ］−Ｙ［２ｉ］［２ｊ］，Ｙ［２ｉ］［２ｊ＋１］−Ｙ［２ｉ］［２ｊ］，Ｙ［２ｉ＋１］［２ｊ＋１］−Ｙ［２ｉ］［２ｊ］ （０≦ｉ，ｊ＜８） ・・・（４）

Ｙ［ｐ］［ｑ］はマクロブロック内の座標（ｐ，ｑ）における輝度成分を示す。図１２は、（３），（４）式で表される画像成分ｘ１，ｘ２を図示したものである。画像成分ｘ１を偶数画素の輝度成分Ｙ、画像成分ｘ２を元の画像の輝度成分Ｙと画像成分ｘ１の輝度成分Ｙとの差分とする。すなわち、第１の画像成分ｘ１は解像度を落としたマクロブロックの輝度成分に相当し、第２の画像成分ｘ２は元のマクロブロックの画像成分と、解像度を落としたマクロブロックの画像成分との差分成分に相当する。このように画像成分ｘ１，ｘ２を定義することにより、まず低解像度の画像を用いて広い範囲でブロックマッチングを行い、その後に、高解像度の画像を用いて狭い範囲でブロックマッチングを行う階層探索を高精度に行うことができる。

また、画素成分ｘ１，ｘ２を（５），（６）式のように定義してもよい。
ｘ１＝Ｙ［ｉ］［ｊ］ （０≦ｉ，ｊ＜１６） ・・・（５）
ｘ２＝Ｙ［ｉ］［ｊ］ （ｉ＝１６ ｏｒ ｊ＝１６） ・・・（６）

図１３は、（５），（６）式で表される画像成分ｘ１，ｘ２を図示したものである。第１の画像成分ｘ１をマクロブロック内の各画素の輝度成分Ｙ、第２の画像成分ｘ２をマクロブロックの右または下に位置する未符号化画素の輝度成分Ｙとする。動き検出対象ブロックとマッチング対象ブロックとの比較のみではコストＣＳＴに差異がない複数のマッチング対象ブロックが存在する場合、さらにブロックの周囲の画素も考慮してコストＣＳＴを算出することで、動き検出の精度が向上する。

各実施形態で説明した画像処理システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像処理システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。また、画像処理システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 動き検出部
２ 符号化部
３ 参照画像復号部
１０ 参照画像符号化部
２０ 切捨部
３０ 参照画像復号部
４０ ブロックマッチング部
１００，１００ａ，１００ｂ 画像処理装置
２００ フレームメモリ
３００ 表示部

Claims (5)

1. 参照画像から抽出される複数の画像成分のそれぞれをエントロピー符号化して、複数の符号化成分を生成する参照画像符号化部と、
   データ長が予め定めた固定長以下となるよう、前記複数の符号化成分のうちの１または複数を所定の優先順位で選択する切捨部と、
   前記選択された符号化成分を復号して、１または複数の画像成分を復元する参照画像復号部と、
   入力画像の動き検出対象ブロックの画像成分と、前記動き検出対象ブロックに対応する前記参照画像のマッチング対象ブロックの前記復元された画像成分と、に基づいて、前記動き検出対象ブロックの動きベクトルを検出するブロックマッチング部と、を備えることを特徴とする動き検出装置。
2. 前記ブロックマッチング部は、前記複数のマッチング対象ブロックについて、前記復元された画像成分と、前記動き検出対象ブロックの画像成分と、の画素毎の差分値に基づいて、符号化効率を算出し、前記符号化効率が高いマッチング対象ブロックの動きベクトルを出力することを特徴とする請求項１に記載の動き検出装置。
3. 参照画像から抽出される複数の画像成分のそれぞれをエントロピー符号化して、複数の符号化成分を生成する参照画像符号化部と、
   データ長が予め定めた固定長以下となるよう、前記複数の符号化成分のうちの１または複数を所定の優先順位で選択する切捨部と、
   前記選択された符号化成分を復号して、１または複数の画像成分を復元する参照画像復号部と、
   入力画像の動き検出対象ブロックの画像成分と、前記動き検出対象ブロックに対応する前記参照画像のマッチング対象ブロックの前記復元された画像成分と、に基づいて、前記動き検出対象ブロックの動きベクトルを検出するブロックマッチング部と、
   前記動きベクトルを用いて、前記入力画像を符号化する入力画像符号化部と、を備えることを特徴とする画像処理装置。
4. 前記ブロックマッチング部は、前記複数のマッチング対象ブロックについて、前記復元された画像成分と、前記動き検出対象ブロックの画像成分と、の画素毎の差分値に基づいて、符号化効率を算出し、前記符号化効率が高いマッチング対象ブロックの動きベクトルを出力することを特徴とする請求項３に記載の画像処理装置。
5. 参照画像から抽出される複数の画像成分のそれぞれをエントロピー符号化して、複数の符号化成分を生成する参照画像符号化部と、
   データ長が予め定めた固定長以下となるよう、前記複数の符号化成分のうちの１または複数を所定の優先順位で選択する切捨部と、
   前記選択された符号化成分を復号して、１または複数の画像成分を復元する参照画像復号部と、
   入力画像の動き検出対象ブロックの画像成分と、前記動き検出対象ブロックに対応する前記参照画像のマッチング対象ブロックの前記復元された画像成分と、に基づいて、前記動き検出対象ブロックの動きベクトルを検出するブロックマッチング部と、
   前記動きベクトルを用いて、前記入力画像を符号化する入力画像符号化部と、
   前記符号化された入力画像を復号し、表示する表示部を備えることを特徴とする画像処理システム。

Images