JP2011129998A - 画像符号化装置、画像復号化装置、画像符号化方法、及び、画像復号化方法 - Google Patents

Abstract

【課題】従来の技術では、フレーム内での予測効率が十分でない。
【解決手段】画像符号化装置は、既に符号化されたブロックの局部復号画像を用いて符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を変移予測信号として変移ベクトルを算出する変移ベクトル検出部１０３と、既に符号化されたブロックの局部復号画像に対して水平及び垂直の少なくとも一方に縮小した信号を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を縮小変移予測信号として、縮小された符号化対象ブロックと縮小変移予測信号との画面内の変移である変移ベクトルを求める縮小画像変移ベクトル検出部１０４と、変移予測信号と縮小変移予測信号より、符号化対象ブロックと相関性の高い信号を選択し予測信号とする変移予測モード判定／信号生成部１０５とを有する。
【選択図】図１

Description

本発明は、画像信号の符号化及び復号化技術に関し、対象となる画像信号に対する予測信号を符号化済み画像より生成し、予測信号との差分信号を符号化する画面内予測処理を用いる、画像符号化装置、画像復号化装置、画像符号化方法、及び、画像復号化方法に関するものである。

近年、デジタル化された画像・音声コンテンツを、衛星や地上波等の放送波やネットワークを介して配信するサービスが実用化されており、膨大な情報量を持つ画像・音声の情報を効率的に記録・伝送するための高能率符号化が必要となっている。コンテンツの高精細化・多様化に伴い、符号化される画像の数及びデータ量は更に増大しており、将来のコンテンツサービスを想定した、更なる画像信号の高効率な符号化が要求されている。

画像の高能率符号化としては、ＭＰＥＧ２やＭＰＥＧ４−ＡＶＣ（Advanced Video Coding）に代表される、動画像信号の同一フレーム内で空間的に隣接する画素間の相関および、時間的に隣接するフレーム間やフィールド間の相関を利用して情報量を圧縮する方式が用いられている。

ＭＰＥＧ４−ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０ Advanced Video Coding）では、画像を複数の２次元ブロックに分割し、ブロック単位で同一フレーム内やフレーム間の相関を用いて予測信号を生成し、予測信号との差分情報を符号化する事で高い符号化効率を実現している。ＭＰＥＧ４−ＡＶＣにおける同一フレーム内の相関を用いた予測処理はイントラ予測と呼ばれ、図１１に示すように、符号化対象であるブロックの予測画像を、対象ブロックに隣接する符号化済み部分の復号画像を用いて生成する。イントラ予測では、隣接する復号画像が図１１に示すような一定の方向に対して相関が高い事を想定した複数（４×４画素ブロック単位で予測を行う場合には９種類）の予測モードで生成した予測画像より、最も符号化対象ブロックと誤差の少ない予測モードを選択し、予測モード情報と合わせて符号化される。

イントラ予測は隣接した領域との相関性のみを利用した予測処理となり、符号化対象ブロックとの境界における相関性が少ない場合には、予測効果が減少する。

画像信号においては、対象としたブロックより離れた位置においても、物体の形状や模様・背景等の類似した画像成分を有する信号が存在する。特許文献１においては対象ブロックより離れた位置における画像相関性を利用して、予測処理を行う手法が提示されている。具体的には、図１２に示すように対象ブロックより画面内の変移量（以降変移ベクトルと表記する）だけ移動した位置の、符号化済み復号画像と符号化対象ブロックとの誤差を算出し、最も誤差の少ない変移ベクトルで参照される参照画像を予測画像とし、変移ベクトルと合わせて符号化する。

変移ベクトルを伝送する符号量を上回る、相関性が高い予測画像が生成できる場合には、イントラ予測に対して高い符号化効率を実現出来るが、変移ベクトル量の伝送量が大きい場合には、十分な予測効率を発揮出来ない。

特許文献２においては、上記変移ベクトルに要する符号量を削減するために、変移ベクトルを伝送せずに特定する手法が提示されている。特許文献２においては、対象ブロックに隣接した符号化済みの復号画像をテンプレートとして用いて、変移ベクトルだけ移動した位置の符号化済み復号画像と、前記対象ブロックに隣接した符号化済みの復号画像との誤差を算出し、最も誤差の少ない変移ベクトルを、符号化対象ブロックの変移ベクトルと見立て、変移ベクトルで参照される参照画像を予測画像とする。この方式においては、復号側では符号化側と同様に、符号化済みの復号画像を用いて変移ベクトルを検出することで、変移ベクトルを受信せずに算出できるため、付加情報による符号量の増大は起こらない。

特開２００５−１５９９４７号公報 特開２００７−０４３６５１号公報

ＭＰＥＧ４−ＡＶＣにおいて、時間的に連続性のある画像信号に対しては、時間方向で異なるフレームの復号済み画像信号を基準に動き補償予測処理を行う事で高い符号化効率を実現出来るが、動き補償予測処理を行う基準フレームは同一フレーム内でのイントラ予測のみを使用して符号化を行う必要があり、符号化対象ブロックとの境界における相関性が少ない場合には、予測効果が減少する課題がある。この課題は、動画像信号が時間的に連続性のない場合においても、動き補償予測が機能しないためにイントラ予測の性能限界による、符号化効率低下となって現れる。

特許文献１及び特許文献２で提示されているような、対象ブロックとの変移ベクトルを伝送もしくは自己生成して、対象ブロックと離れた位置における画像相関性を利用する場合には、画像信号に対する隣接領域では無い部分の自己相似性や、同一なテクスチャ成分を有する、異なる物体からの予測を行うために、画面内に存在している物体の形状変化や輝度変化等の影響があり、画像信号が有する自己相似性やテクスチャの相似性を十分に活用できていない。

特許文献１においては、変移ベクトルの符号量を上回る効果を有する予測信号を算出できない場合に、効率が低下する課題を有しており、特許文献２においては、符号化対象ブロックの隣接画像をテンプレートにして変移ベクトルを算出するため、隣接画像と対象ブロックの間で相関性が低い場合や、特許文献１で生成される変移ベクトルで参照される参照ブロックの隣接画像との相関性が低い場合等、精度の高い変移ベクトルを求める事が出来ず、効率が向上しない課題を有している。

そこで、本発明はフレーム内での予測効率を大幅に向上させるために、対象ブロックと離れた位置における画像相関性を更に有効に利用した、フレーム内予測手法を実現させる事を目的とする。

上記目的を達成するため、本発明の画像符号化装置は、符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を変移予測信号として、前記符号化対象ブロックと前記変移予測信号との画面内の変移である変移ベクトルを算出する、変移ベクトル検出部と、符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像に対して、水平及び垂直の少なくとも一方に縮小した信号を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を縮小変移予測信号として、縮小された符号化対象ブロックと前記縮小変移予測信号との画面内の変移である変移ベクトルを求める、縮小画像変移ベクトル検出部と、前記変移予測信号と前記縮小変移予測信号より、符号化対象ブロックと相関性の高い信号を選択し予測信号として、選択された信号に用いられた変移ベクトル、及び選択した結果を示す情報を出力する、変移予測モード判定／信号生成部とを有し、前記予測信号と前記符号化対象ブロックとの差分信号と、前記変移ベクトルと、前記選択した結果を示す情報とを符号化する。

本発明の画像復号化装置は、ブロック単位で符号化が施された符号化ストリームより、復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像より生成される予測信号と、前記復号対象ブロックとの画面内の変移である変移ベクトル及び、前記変移ベクトルにおいて指定される前記復号画像を縮小して予測信号を生成するか否かを示す情報を復号する、変移ベクトル／モード復号部と、前記変移ベクトル、及び前記復号画像を縮小して予測信号を生成するか否かを示す情報に従って、前記復号画像より予測信号を生成する、変移予測信号生成部とを有し、前記予測信号と、復号された残差信号とを加算することで復号画像を算出する。

本発明の画像符号化方法は、符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を変移予測信号として、前記符号化対象ブロックと前記変移予測信号との画面内の変移である変移ベクトルを算出するステップと、符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像に対して、水平及び垂直の少なくとも一方に縮小した信号を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を縮小変移予測信号として、縮小された符号化対象ブロックと前記縮小変移予測信号との画面内の変移である変移ベクトルを求めるステップと、前記変移予測信号と前記縮小変移予測信号より、符号化対象ブロックと相関性の高い信号を選択し予測信号として、選択された信号に用いられた変移ベクトル、及び選択した結果を示す情報を出力するステップとを含み、前記予測信号と前記符号化対象ブロックとの差分信号と、前記変移ベクトルと、前記選択した結果を示す情報とを符号化する。

本発明の画像復号化方法は、ブロック単位で符号化が施された符号化ストリームより、復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像より生成される予測信号と、前記復号対象ブロックとの画面内の変移である変移ベクトル及び、前記変移ベクトルにおいて指定される前記復号画像を縮小して予測信号を生成するか否かを示す情報を復号するステップと、前記変移ベクトル、及び前記復号画像を縮小して予測信号を生成するか否かを示す情報に従って、前記復号画像より予測信号を生成するステップとを含み、前記予測信号と、復号された残差信号とを加算することで復号画像を算出する。

本発明における、画像符号化装置及び画像復号化装置においては、テクスチャ成分を予測するためのテンプレート信号として用いる、符号化済み復号画像に対して縮小させた参照画像を生成し予測画像として用いる事により、従来方式におけるフレーム内での画像信号予測の精度を向上させる事が出来る。また、縮小画像を作成する際のフィルタ特性に関して、符号化時の入力画像の特性を評価する事で、縮小画像の信号特性が入力画像と近くなるようにする事が可能となり、より予測精度を上げる事が可能となる。これらを合わせる事により、符号化効率を向上する事が出来る。

本発明の第１実施例の画像符号化装置を示す構成図である。 本発明の第１実施例の画像復号化装置を示す構成図である。 本発明の画面内変移予測を説明する概念図である。 本発明の第１実施例における変移予測モード判定信号生成処理を説明するフローチャートである。 本発明の第２実施例の画像符号化装置を示す構成図である。 本発明の第２実施例の符号化処理を説明するフローチャートである。 本発明の第２実施例の画像復号化装置を示す構成図である。 本発明の第２実施例の復号処理を説明するフローチャートである。 本発明の第３実施例の画像符号化装置を示す構成図である。 本発明の第３実施例の符号化処理を説明するフローチャートである。 従来手法のイントラ予測の概念図である。 従来手法の画面内変移予測の概念図である。 ＭＰＥＧ４−ＡＶＣにおける対象ブロックと予測動きベクトル算出に用いる隣接ブロックの関係を示す図である。

次に、発明を実施するための最良の形態について図面を併せ参照して説明する。

まず、本発明の第１実施例である画像符号化装置、画像復号化装置の形態について説明する。

図１は、本発明の第１実施例である画像符号化装置の形態を示す構成図である。図１に示すように、本実施例の形態の画像符号化装置は、入力端子１００、入力画像バッファ１０１、ブロック分割部１０２、変移ベクトル検出部１０３、縮小画像変移ベクトル検出部１０４、変移予測モード判定／信号生成部１０５、減算器１０６、直交変換部１０７、量子化部１０８、逆量子化部１０９、逆直交変換部１１０、加算器１１１、フレーム内復号画像メモリ１１２、縮小画像生成部１１３、縮小復号画像メモリ１１４、エントロピー符号化部１１５、ストリームバッファ１１６、出力端子１１７及び符号量制御部１１８から構成される。

変移ベクトル検出部１０３、縮小画像変移ベクトル検出部１０４、変移予測モード判定／信号生成部１０５、縮小画像生成部１１３、縮小復号画像メモリ１１４を設けた点と、これらの処理ブロックにおける動作が、本発明の第１実施例における特徴であり、他の処理ブロックに関してはＭＰＥＧ４−ＡＶＣ等の画像符号化装置におけるフレーム内符号化処理を構成する処理ブロックとなる。

入力端子１００より入力されたデジタル画像信号は、入力画像バッファ１０１に格納される。入力画像バッファ１０１に格納されたデジタル画像信号は、ブロック分割部１０２に供給され、１６×１６画素で構成される２次元マクロブロック単位で符号化対象ブロックとして切り出される。ブロック分割部１０２は、切り出した符号化対象ブロックを、変移ベクトル検出部１０３、縮小画像変移ベクトル検出部１０４、変移予測モード判定／信号生成部１０５、及び減算器１０６に供給する。減算器１０６は、ブロック分割部１０２から供給された符号化対象ブロックと、後述する変移予測モード判定／信号生成部１０５より供給される予測画像ブロックとの差分を演算し、結果を差分ブロックとして直交変換部１０７に供給する。

直交変換部１０７は、差分ブロックに対して所定の２次元ブロック（例えば、水平８画素×垂直８画素）単位にＤＣＴ変換を行うことで、直交変換された周波数成分信号に相当するＤＣＴ係数を生成する。また、直交変換部１０７は、生成したＤＣＴ係数を２次元マクロブロック単位に纏めて、量子化部１０８に出力する。量子化部１０８は、ＤＣＴ係数を周波数成分毎に異なった値で除算することにより量子化処理を行う。量子化部１０８は、量子化処理されたＤＣＴ係数を、逆量子化部１０９及びエントロピー符号化部１１５に供給する。逆量子化部１０９は、量子化部１０８より入力した量子化処理されたＤＣＴ係数に対して、量子化時に除算された値を乗算することで逆量子化を行い、逆量子化された結果を復号されたＤＣＴ係数として、逆直交変換部１１０に出力する。逆直交変換部１１０は逆ＤＣＴ処理を行い、復号された差分ブロックを生成する。逆直交変換部１１０は、復号された差分ブロックを加算器１１１に供給する。加算器１１１は、変移予測モード判定／信号生成部１０５より供給される予測画像ブロックと、逆直交変換部１１０より供給される、復号された差分ブロックとを加算し、局部復号ブロックを生成する。加算器１１１で生成された局部復号ブロックは、フレーム内復号画像メモリ１１２に逆ブロック変換された形で格納される。

変移ベクトル検出部１０３は、ブロック分割部１０２より入力された符号化対象ブロックの画像信号と、フレーム内復号画像メモリ１１２に格納されている局部復号画像信号との間で変移ベクトルを算出する。具体的には、符号化対象ブロックの画面内位置に対して、図１２に示される符号化済み部分復号画像の位置に参照ブロック全体が配置される変移ベクトルＤＶに対応する局部復号画像信号と、符号化対象ブロックの間の相関値を、絶対値誤差の総和、二乗誤差の総和等で定義される評価式で算出し、評価式で示される値が最も小さい変移ベクトルを、変移予測に用いる変移ベクトル値とする。

変移ベクトル検出部１０３は、検出した変移ベクトル値に対応する局部復号画像信号を
変移予測画像として、検出した変移ベクトル値と共に、変移予測モード判定／信号生成部１０５に出力する。

加算器１１１で生成された局部復号ブロックは、フレーム内復号画像メモリ１１２と共に、縮小画像生成部１１３にも入力され、局部復号ブロックに対して縮小処理を施し、縮小された局部復号ブロックを、縮小復号画像メモリ１１４に出力する。

縮小処理に用いるフィルタに関しては、本実施例においては、縮小方向とフィルタ係数を固定に定義する。一例としては、縮小処理は水平・垂直共に１／２に縮小し、フィルタ係数は３タップの１次元フィルタ １ ２ １ （／４）を、水平／垂直の順に施す定義を行う。

縮小画像生成部１１３より出力された、縮小された局部復号ブロックは、縮小復号画像メモリ１１４に格納され、縮小復号画像として縮小画像変移ベクトル検出部１０４における変移ベクトル検出に用いられる。

縮小された局部復号ブロックと、符号化対象ブロックとの関係は、図３に示されるように、仮想的に符号化対象ブロックを縮小した場合の符号化対象ブロックの画面内位置と、予測画像の候補である参照ブロックの画面内位置との変移量が変移ベクトルとして定義される。

縮小画像変移ベクトル検出部１０４は、変移ベクトルで示される画面内位置を基準として、符号化対象ブロックと同一ブロックサイズの２次元ブロックを、縮小復号画像メモリ１１４より入力し、符号化対象ブロックとの間の相関値を、絶対値誤差の総和、二乗誤差の総和等で定義される評価式で算出し、評価式で示される値が最も小さい変移ベクトルを、縮小変移予測に用いる変移ベクトル値として検出する。

縮小画像変移ベクトル検出部１０４は、検出した変移ベクトル値に対応する縮小復号画像を縮小変移予測画像として、検出した変移ベクトル値と共に、変移予測モード判定／信号生成部１０５に出力する。

変移予測モード判定／信号生成部１０５は、変移ベクトル検出部１０３より入力された変移ベクトル値及び変移予測画像と、縮小画像変移ベクトル検出部１０４より入力された変移ベクトル値及び縮小変移予測画像より、最適な予測モードを選択し、選択した予測画像を減算器１０６及び加算器１１１に出力すると共に、エントロピー符号化部１１５に選択した予測モード及び変移ベクトルを示す情報を出力する。変移予測モード判定／信号生成部１０５の詳細動作に関しては、後述する。

エントロピー符号化部１１５は、量子化部１０８より供給された量子化処理されたＤＣＴ係数と、変移予測モード判定／信号生成部１０５より供給された、選択された予測モードと変移ベクトルを示す情報より、変移ベクトル情報及び予測モード情報と、量子化されたＤＣＴ係数の可変長符号化を行う。可変長符号化を施した情報は、ストリームバッファ１１６に出力される。

ストリームバッファ１１６に蓄えられた符号化ストリームは、出力端子１１７を介して、記録媒体もしくは伝送路に出力される。符号化ストリームの符号量制御に関しては、符号量制御部１１８に、ストリームバッファ１１６に蓄えられているビットストリームの符号量が供給され、目標とする符号量との間で比較がとられ、目標符号量に近づけるために量子化部１０８の量子化の細かさ（量子化スケール）が制御される。

続いて、本発明の第１実施例である画像符号化装置により生成された符号化ビットストリームを復号する、画像復号化装置の形態について説明する。

図２は、本発明の第１実施例である画像復号化装置の形態を示す構成図である。図２に示すように、本実施の形態の画像復号化装置は、入力端子２００、ストリームバッファ２０１、エントロピー復号部２０２、変移ベクトル／モード復号部２０３、変移予測信号生成部２０４、逆量子化部２０５、逆直交変換部２０６、加算器２０７、フレーム内復号画像メモリ２０８、出力端子２０９及び縮小画像生成部２１０から構成される。

変移ベクトル／モード復号部２０３、変移予測信号生成部２０４及び縮小画像生成部２１０を設けた点と、これらの処理ブロックにおける動作が、本発明の第１実施例における特徴であり、他の処理ブロックに関してはＭＰＥＧ４−ＡＶＣ等の画像符号化装置におけるフレーム内復号化処理を構成する処理ブロックとなる。

入力端子２００より入力された符号化ビットストリームは、ストリームバッファ２０１に格納される、格納された符号化ビットストリームは、ストリームバッファ２０１よりエントロピー復号部２０２に供給され、エントロピー復号部２０２は、入力されたビットストリームより、符号化された変移ベクトル情報と予測モード情報、及び量子化されたＤＣＴ係数に関して可変長復号を行い、逆量子化部２０５に量子化されたＤＣＴ係数を、変移ベクトル／モード復号部２０３に変移ベクトル情報と予測モード情報を出力する。逆量子化部２０５、逆直交変換部２０６、加算器２０７及びフレーム内復号画像メモリ２０８に関しては、第１実施例の動画像符号化装置の局部復号処理と同様の処理が行われる。フレーム内復号画像メモリ２０８に蓄えられた復号画像は、出力端子２０９を介して、表示装置に復号画像信号として表示される。

変移ベクトル／モード復号部２０３は、エントロピー復号部２０２より入力された変移ベクトル情報と予測モード情報より、変移ベクトル値と変移予測信号が通常の変移予測処理を施した予測信号であるか、縮小画像を用いた変移予測処理を施した予測信号であるかの選択信号を算出し、変移予測信号生成部２０４に出力する機能を有する。

変移予測信号生成部２０４は、変移ベクトル／モード復号部２０３より出力された変移ベクトル値及び選択信号を元に、予測画像を生成する。選択信号が通常の変移予測を示している場合には、フレーム内復号画像メモリ２０８より復号対象ブロックから変移ベクトル値だけ移動した位置の復号画像信号を入力し、予測信号を生成する。一方、選択信号が縮小画像を用いた変移予測を示している場合には、縮小画像生成部２１０に対して、変移ベクトル値を出力し、生成された縮小画像を受け取る。

縮小画像生成部２１０は、変移予測信号生成部２０４より変移ベクトル値を入力されると、図３に示されるように、仮想的に符号化対象ブロックを縮小した場合の符号化対象ブロックの画面内位置と、予測画像の候補である参照ブロックの画面内位置に相当する参照ブロックを生成するために、変移ベクトルを縮小前の変移に補正したベクトル値が示す位置の復号画像を、フレーム内復号画像メモリ２０８より入力し、縮小フィルタ処理を施した結果を、変移予測信号生成部２０４に出力する。

変移予測信号生成部２０４は、生成もしくは入力した予測画像を加算器２０７に出力する。

本発明の第１実施例である画像復号化装置においては、縮小画像生成部２１０において、縮小変移予測が施された場合にのみ変移ベクトルにより示される参照ブロックを縮小フィルタにより生成しているが、第１実施例である画像符号化装置における局部復号処理で行っているように、常に復号された２次元ブロックに対して縮小処理を施し、縮小画像メモリに蓄えておく構成を採ることも可能である。

続いて、本発明の第１実施例である画像符号化装置における、変移予測モード判定／信号生成部１０５の詳細動作を、図４に示すフローチャートを用いて説明する。

図４に示すフローチャートは、複数の符号化ブロックで定義されるスライス単位における変移予測モード判定処理の動作を示している。

まず、対象となる符号化ブロックCurを入力し（Ｓ４００）、符号化対象ブロックに対応する変移ベクトルDV及び変移予測画像DVrefを変移ベクトル検出部１０３より受信する（Ｓ４０１）。続いて、符号化対象ブロックに対応する縮小変移ベクトルDVssと縮小変移予測画像DVrefssを縮小画像変移ベクトル検出部１０４より受信する（Ｓ４０２）。次に、各々の予測モードによる符号化対象ブロックと予測画像との誤差評価値を算出するため、符号化ブロックCurと変移予測画像DVrefとの間の画素毎の誤差値を積算し、誤差評価値ErrNorm(DV)を算出すると共に、Curと縮小変移予測画像DVrefssとの間の画素毎の誤差値を積算し、誤差評価値ErrSS(DVss)を算出する（Ｓ４０３）。

次に、変移ベクトル値を情報として符号化する際に必要となる符号量を算出する。具体的には、変移ベクトルを予測値DVpredより予測して、その差分値を符号化する形態を取る。予測値DVpredの算出に関しては、図１３に示されるようなＭＰＥＧ４−ＡＶＣにおいて動きベクトルの予測に用いられる構成を用いる。隣接ブロックは、対象ブロックに対して、左隣であるブロックＡ、上隣であるブロックＢ、右上であるブロックＣの３ブロックが選択される。しかしながら、画像端であるようなブロックＣが無効である場合には、ブロックＣの代わりに左上であるブロックＤが用いられる。選択された３ブロックの変移ベクトルの水平方向成分をＤＶＡｘ、ＤＶＢｘ、ＤＶＣｘ、垂直方向成分をＤＶＡｙ、ＤＶＢｙ、ＤＶＣｙとすると、予測変移ベクトル値ＰＤＶｘ、ＰＤＶｙは、下記の式１のように水平方向成分、垂直方向成分それぞれに３値の中間値を選択することで生成する。

（式１）
ＰＤＭＶｘ＝Ｍｅｄｉａｎ（ＤＶＡｘ、ＤＶＢｘ、ＤＶＣｘ）
ＰＤＭＶｙ＝Ｍｅｄｉａｎ（ＤＶＡｙ、ＤＶＢｙ、ＤＶＣｙ）
このようにして、生成されたＰＤＭＶｘ、ＰＤＭＶｙを変移ベクトルの予測値DVpredとして算出する（Ｓ４０４）。

続いて、変移ベクトルの予測値DVpredと変移ベクトルDVとの差分値DiffDVを求め、符号化時のベクトル想定符号量を計算し、ErrNorm(DV)に加算する（Ｓ４０５）。ベクトル想定符号量に関しては、例えばDiffDVがゴロム符号として符号化される事を想定して、必要となる符号量を算出する事が出来る。

同様に、変移ベクトルの予測値DVpredを縮小した値と、縮小変移ベクトルDVssとの差分値DiffDVssを求め、符号化時のベクトル想定符号量を計算し、ErrSS(DVss)に加算する（Ｓ４０６）。

変移予測に関しては、符号化対象ブロックとは異なる対象物における、同じようなテクスチャ成分を有する画像信号を予測信号として抽出するため、縮小復号画像と縮小しない状態の復号画像信号における同位置の画像に関して自己相似性がある場合には、選択対象になる変移ベクトルが近い変移を示す事を想定して、縮小率にあわせた補正を掛けた変移ベクトルを図１３における隣接ブロックの変移ベクトル値として保存する構成を採る。本発明の第１実施例においては、縮小変移ベクトルを水平・垂直共に１／２に縮小した復号画像より検出し、予測画像として用いるため、DVpredを水平・垂直に１／２に縮小した値とDVssとの差分値がDiffDVssとなる。DiffDVssの符号化時のベクトル想定符号量は、DiffDVと同様に算出する。

このようにして算出された誤差評価値ErrNorm(DV)とErrSS(DVss)とを比較して（Ｓ４０７）、ErrSS(DVss)>ErrNorm(DV)の場合には（Ｓ４０７：ＹＥＳ）、予測モードの選択信号DVsel=0、符号化する変移ベクトル情報Dvresult=DiffDVをセットし、後続する符号化対象ブロックの変移ベクトル予測に用いるベクトル値としてDVを格納する（Ｓ４０８）。続いて、減算器１０６、加算器１１１に予測画像としてDVrefを出力する（Ｓ４０９）。

一方、ErrSS(DVss)>ErrNorm(DV)でない場合には（Ｓ４０７：ＮＯ）、DVsel=1、DVresult=DiffDVssをセットし、後続する符号化対象ブロックの変移ベクトル予測に用いるベクトル値としてDVssを水平・垂直に２倍した値を格納する（Ｓ４１０）。続いて、減算器１０６、加算器１１１に予測画像としてDVrefssを出力する（Ｓ４１１）。

最後にDVsel及びDVresultをエントロピー符号化部１１５に出力し（Ｓ４１２）、符号化対象ブロック単位の処理を終了する。この符号化対象ブロックがスライス最後のブロックでない場合（Ｓ４１３：ＮＯ）には、符号化対象ブロックを更新し（Ｓ４１４）、Ｓ４００に戻る。スライス最後のブロックである場合（Ｓ４１３：ＹＥＳ）には、スライス単位における変移予測モード判定処理が終了する。

第１実施例における本発明のポイントは、従来手法に比べてより画像信号が有する自己相似性やテクスチャの相似性を十分に活用するために、参照画像を縮小させたブロックを予測対象信号として追加し、縮小したか否かを示す情報と共に符号化する事で、より符号化ブロックとの相関性の高い予測ブロックを生成している点である。結果として、従来方式におけるフレーム内での画像信号予測の精度を向上させる事が可能である。変移ベクトル値に関しては、通常変移予測モードと縮小変移予測モードにおいて、縮小率に応じて変移ベクトルの予測値を補正することで、隣接ブロックからの変移ベクトル予測を適切に行う事が出来、変移ベクトル情報の符号量増大を避けることが出来る。

また、参照画像となる局部復号画像は、符号化劣化の影響により入力画像には存在しない歪成分の増加や、高周波成分の減少が生じ、符号化対象ブロックとの相関性を低下させているが、縮小画像を生成するプロセスにおいて、歪成分は高周波成分としてカットされると共に、縮小画像の画素基準での周波数成分としては、高周波成分が符号化後においても多く残っているため、相関性の低下が抑えられ、より符号化ブロックとの相関性の高い予測ブロックとして、予測処理に用いられる。

結果として、特に高圧縮時のフレーム内予測効率を向上させ、高い符号化効率を実現する事が可能となる。

次に、本発明の第２実施例である画像符号化装置、画像復号化装置の形態について説明する。第１実施例は、フレーム内の相関のみを利用する画像符号化・復号化装置の実施例であったが、第２実施例は、フレーム内の相関及びフレーム間の相関を利用する、動画像の時間相関を活用可能な画像符号化・復号化装置の実施例である。

図５は、本発明の第２実施例である画像符号化装置の形態を示す構成図である。図５に示すように、本実施例の形態の画像符号化装置は、第１実施例と同様の機能を有する、入力端子１００、入力画像バッファ１０１、ブロック分割部１０２、変移ベクトル検出部１０３、縮小画像変移ベクトル検出部１０４、変移予測モード判定／信号生成部１０５、減算器１０６、直交変換部１０７、量子化部１０８、逆量子化部１０９、逆直交変換部１１０、加算器１１１、フレーム内復号画像メモリ１１２、縮小復号画像メモリ１１４、エントロピー符号化部１１５、ストリームバッファ１１６、出力端子１１７及び符号量制御部１１８と、第１実施例に対して追加の処理を有する、縮小画像生成部５１３及び、追加された処理ブロックである、イントラ予測部５１９、デブロックフィルタ５２０、参照画像メモリ５２１、動きベクトル検出部５２２、動き補償予測部５２３、モード判定部５２４及び画像解析部５２５から構成される。

追加された処理ブロックにおいて、ＭＰＥＧ４−ＡＶＣで定義される処理を施す処理ブロックの動作を説明すると、イントラ予測部５１９は、ブロック分割部１０２から符号化対象ブロックが入力され、フレーム内復号画像メモリ１１２内にある、隣接する符号化済み領域の復号画像を用いて、ＭＰＥＧ４−ＡＶＣで行われるイントラ予測処理を行う。イントラ予測部５１９は、予測画像と符号化対象ブロックの相関性が最も高いイントラ予測モードを選択し、イントラ予測画像及びイントラ予測モード信号、及び誤差評価値をモード判定部５２４に出力する。また、加算器１１１より出力された局部復号画像は、デブロックフィルタ５２０において符号化処理単位のブロック境界の歪を除去するためのフィルタ処理が施され、参照画像メモリ５２１に格納される。動きベクトル検出部５２２は、ブロック分割部１０２から取得した符号化対象ブロック画像と、参照画像メモリ５２１に格納されている参照画像との間で、動き推定を行う。一般的な動き推定処理としては、画面内の同一位置より所定の移動量だけ移動させた位置の参照画像を切り出し、その画像を予測ブロックとした際の予測誤差が最も少なくなる移動量を動きベクトル値として、移動量を変化させながら求めるブロックマッチング処理が用いられる。動きベクトル検出部５２２は、図１３で示されるような隣接するブロックに用いられた動きベクトル値より算出した動きベクトル予測値と、動きベクトル値との差分を符号化する際に必要となる符号量を加味して、最適な動きベクトル値を検出する。

動きベクトル検出部５２２によって求められた動きベクトル値は、動き補償予測部５２３に供給され、複数の参照画像に対する予測信号より最も符号化する差分情報が少ない予測信号を選択し、選択された動き補償予測モードと予測信号をモード判定部５２４に出力する。上述した処理ブロックに関しては、従来手法のイントラ予測及び動き補償予測を適用するための構成となる。

続いて、本発明の第２実施例における特徴を示す動作を行う処理ブロックである、画像解析部５２５、縮小画像生成部５１３及び、モード判定部５２４の動作を、図６で示す符号化処理のフローチャートを用いて説明する。

図６に示すフローチャートは、複数の符号化ブロックで定義される１画面の符号化処理の動作を示している。

先ず、入力画像バッファ１０１に格納された１画面の画像データを画像解析部５２５に入力し、１画面における水平・垂直方向の周波数成分を測定する（Ｓ６００）。測定手法に関しては、フーリエ変換による周波数解析、ウェーブレット変換による周波数解析等を用いる事が可能であるが、本実施例では離散フーリエ変換FFT（Fast Fourier Transfer）を水平・垂直別々に１次元に施した結果を蓄積して、画面内全体の結果を加算した値を測定値とする。FFTの単位は例えば32画素単位とし、解析単位の境界による影響を低減するために、16画素毎で解析位置を移動させる。

画像解析部５２５には、予め複数帯域での帯域制限を施す事が可能な低域通過フィルタの係数セットを用意しておく。フィルタ係数の設計手法に関しては、既存のデジタルフィルタ設計手法を用いる事が可能である。

続いて、周波数成分を測定した結果の周波数分布にもっとも近い縮小画像を構成できる帯域制限特性を持つ水平・垂直用のフィルタ係数を選択する（Ｓ６０１）。選択手法としては、該当周波数以上の周波数成分分布がある閾値以下になる周波数を阻止域にするフィルタの中で最も通過帯域が広いフィルタ係数を選択する方式を用いる事も可能であるが、各フィルタ係数によって入力画像を縮小した縮小画像に対して、１画面における水平・垂直方向の周波数成分を実際に測定し、その周波数特性が最も近似しているフィルタ係数を選択する事も可能である。

続いて、画像解析部５２５は選択したフィルタ係数もしくは係数を指定するパラメータを、エントロピー符号化部１１５及び縮小画像生成部５１３に出力する。

エントロピー符号化部１１５は、１画面全体の符号化に関連する付加情報として、例えばＭＰＥＧ４−ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０ Advanced Video Coding）において定義されているＰＰＳ（Picture Parameter Set）等に追加する形で、選択したフィルタ係数もしくは係数を指定するパラメータを符号化（Ｓ６０２）する。

このようにして選択されたフィルタ係数を用いて、１画面の符号化処理を開始する。先ず、入力画像より符号化対象ブロックを切り出し（Ｓ６０３）、Ｉスライスでない場合（Ｓ６０４：ＮＯ）には、動きベクトル検出・動き補償予測を行い（Ｓ６０５）、平行してイントラ予測を行い（Ｓ６０６）、変移ベクトル検出を行い（Ｓ６０７）、縮小変移ベクトル検出を行う（Ｓ６０８）。続いて、変移予測と縮小変移予測のどちらを変移予測として用いるかを選択するために、変移モード判定・変移予測を行う（Ｓ６０９）。判定手法に関しては、第１実施例にて説明した手法が用いられる。

この結果で算出された動きベクトル予測、イントラ予測、変移予測より、モード判定部５２４で最適な予測モードを選択し、予測画像を生成し、減算器１０６及び加算器１１１に出力する（Ｓ６１０）と共に、予測モード・動きベクトル・変移ベクトルや変移予測における縮小画像を使用したか否かを示す情報をエントロピー符号化部１１５に出力する。続いて、符号化対象ブロックと予測画像の差分信号を算出して直交変換・量子化を行い（Ｓ６１１）、量子化された直交変換係数、及び予測モード・動きベクトル・変移ベクトルや変移予測における縮小画像を使用したか否かを示す情報を符号化する（Ｓ６１２）。

次に、量子化された係数を逆量子化・逆直交変換を施し、出力信号を予測画像と加算すし（Ｓ６１３）、生成された局部復号画像をフレーム内復号画像メモリ１１２に格納する（Ｓ６１４）。

縮小画像生成部５１３は、加算器１１１より入力された局部復号画像と、画像解析部５２５より入力された選択されたフィルタ係数もしくは係数を指定するパラメータを元に、水平・垂直に縮小処理を施す際のフィルタ係数を設定し、そのフィルタ係数を用いて局部復号画像を縮小する（Ｓ６１５）。縮小画像生成部５１３は、縮小した局部縮小画像を縮小復号画像メモリ１１４に格納し（Ｓ６１６）、対象となる符号化ブロックに対する符号化処理を終了する。

対象となる符号化ブロックが１画面の最終ブロックである場合には（Ｓ６１７：ＹＥＳ）、デブロックフィルタ５２０が、画面全体に対するデブロックフィルタを施し、参照画像メモリ５２１に格納し（Ｓ６１８）、１画面の符号化処理を終了する。１画面の最終ブロックでない場合には（Ｓ６１７：ＮＯ）、符号化対象ブロックを更新し（Ｓ６１９）、Ｓ６０３に戻る。

続いて、本発明の第２実施例である画像符号化装置により生成された符号化ビットストリームを復号する、画像復号化装置の形態について説明する。

図７は、本発明の第２実施例である画像復号化装置の形態を示す構成図である。図７に示すように、本実施の形態の画像復号化装置は、第１実施例と同様の機能を有する、入力端子２００、ストリームバッファ２０１、エントロピー復号部２０２、変移ベクトル／モード復号部２０３、逆量子化部２０５、逆直交変換部２０６、加算器２０７、フレーム内復号画像メモリ２０８及び出力端子２０９と、第１実施例に対して追加の処理を有する、縮小画像生成部７１０及び、追加された処理ブロックである、縮小フィルタ係数復号部７１１、予測モード復号部７１２、予測信号選択部７１３、イントラ予測モード復号部７１４、イントラ予測部７１５、動きベクトル復号部７１６、デブロックフィルタ７１７、参照画像メモリ７１８及び動き補償予測部７１９から構成される。

追加された処理ブロックの内、イントラ予測モード復号部７１４、イントラ予測部７１５、動きベクトル復号部７１６、デブロックフィルタ７１７、参照画像メモリ７１８及び動き補償予測部７１９に関しては、図５での第２実施例における画像符号化装置の説明と同様に、ＭＰＥＧ４−ＡＶＣ標準におけるイントラ予測及び動き補償予測を復号するための構成であり、本発明の特徴を有する処理ブロックではないため、説明を割愛する。

続いて、本発明の第２実施例における特徴を示す動作を行う処理ブロックである、縮小フィルタ係数復号部７１１、予測モード復号部７１２、予測信号選択部７１３、及び縮小画像生成部７１０の動作を、図８で示す符号化処理のフローチャートを用いて説明する。

図８に示すフローチャートは、複数の符号化ブロックで定義される１画面の符号化処理の動作を示している。

入力端子２００より、ストリームバッファ２０１に格納された符号化ビットストリームより、エントロピー復号部２０２で１画面全体の符号化に関連する付加情報を検出し、縮小フィルタ係数復号部７１１に入力する。縮小フィルタ係数復号部７１１は、１画面に関連するパラメータ情報を復号し、その中より用いられたフィルタ係数もしくはフィルタ係数を指定する情報を復号する（Ｓ８００）。

続いて、１画面の復号処理を開始する。先ず、エントロピー復号部２０２から復号対象ブロックに対する量子化された係数が逆量子化部２０５に出力されると共に、復号対象ブロックに関する付加情報が予測モード復号部７１２に出力される。予測モード復号部７１２は、復号対象ブロックに関する情報を復号し（Ｓ８０１）、復号された予測モードを予測信号選択部７１３に出力すると共に、復号された予測モードがイントラ予測である場合には（Ｓ８０２：ＹＥＳ）、イントラ予測モード復号部７１４でイントラ予測モードを復号し、復号したイントラ予測モードを用いて、イントラ予測部７１５がフレーム内復号画像メモリ２０８に格納されている復号済みの隣接画素よりイントラ予測を行い（Ｓ８０３）、イントラ予測結果を予測信号選択部７１３に出力する。

復号された予測モードがイントラ予測でない場合には（Ｓ８０２：ＮＯ）、復号された予測モードが動き補償予測であるかどうかを確認し（Ｓ８０４）、動き補償予測である場合（Ｓ８０４：ＹＥＳ）、動きベクトル復号部７１６で復号した動きベクトルを用いて、動き補償予測部７１９で、参照画像メモリ７１８に格納されている参照画像より動き補償を行い（Ｓ８０５）、動き補償予測結果を予測信号選択部７１３に出力する。

復号された予測モードが動き補償予測でない場合には（Ｓ８０４：ＮＯ）、変移ベクトル／モード復号部２０３で、変移予測モード及び変移ベクトルを示す情報を復号し、変移予測信号生成部２０４に出力する。復号された変移予測モードが縮小変移予測である場合には（Ｓ８０６：ＹＥＳ）、縮小画像生成部７１０は、縮小フィルタ係数復号部７１１より入力された縮小フィルタ係数情報と、変移予測信号生成部２０４より入力された変移ベクトルを示す情報を用いてフレーム内復号画像メモリ２０８より、変移ベクトルを縮小前の変移に補正したベクトル値が示す位置の復号画像入力し、縮小フィルタ係数情報で指定されるフィルタ係数を用いて、縮小フィルタ処理を施し縮小変移予測を行い（Ｓ８０７）、縮小変移予測結果を変移予測信号生成部２０４に出力する。

復号された変移予測モードが縮小変移予測でない場合（Ｓ８０６：ＮＯ）には、変移予測信号生成部２０４は、変移ベクトル／モード復号部２０３より入力された変移ベクトルを示す情報を用いて、フレーム内復号画像メモリ２０８より復号対象ブロックから変移ベクトル値だけ移動した位置の復号画像信号を入力し、変移予測信号を生成する（Ｓ８０８）。変移予測信号生成部２０４は、変移予測信号と縮小画像生成部７１０から入力された縮小変移予測信号の内、復号対象ブロックにおいて生成された信号を予測信号選択部７１３に出力する。

予測信号選択部７１３は、イントラ予測部７１５、動き補償予測部７１９、変移予測信号生成部２０４の何れかから入力された予測信号を格納し（Ｓ８０９）、加算器２０７に出力する。

エントロピー復号部２０２より出力された量子化された係数は、逆量子化・逆直交変換を施され、出力信号と予測信号が加算器２０７で加算され（Ｓ８１０）、復号画像が生成される。生成された復号画像はフレーム内復号画像メモリ２０８に格納され（Ｓ８１１）、復号対象ブロックに対する復号処理は終了する。

復号対象ブロックが１画面最後のブロックである場合には（Ｓ８１２：ＹＥＳ）、デブロックフィルタ７１７で画面全体に対するデブロックフィルタを施し、参照画像メモリ７１８に格納され（Ｓ８１３）、１画面の復号処理が終了する。

一方、復号対象ブロックが１画面最後のブロックでない場合には（Ｓ８１２：ＮＯ）、復号対象ブロックの位置を更新し（Ｓ８１４）、Ｓ８０１に戻る。

第２実施例においては、テンプレートとして用いる符号化済みの復号画像を縮小させる帯域制限フィルタの特性を、入力画像の帯域特性を測定した結果を元に設定し、複数の定義可能なフィルタパラメータより選択する事で、入力画像の信号特性と近似したテンプレートを縮小画像で生成できると共に、復号画像の劣化が大きい場合においても、縮小画像生成時に保存される成分は、縮小前の中・低域成分であるため、符号化劣化の影響が少なく、テンプレートとして用いる信号の品質が保たれ、符号化劣化による予測効率低下の影響が少ない予測信号を生成する事が可能となる。よって、予測効率が従来手法よりも向上し、符号化効率が高くなる効果を有する。

また、縮小フィルタを生成する為の情報は、帯域制限特性に応じた予め設定したフィルタセットより画面単位で選択する事で、少ない情報で制御する事が可能であり、付加情報の増加を押さえる事が出来る。

尚、本発明の第２実施例の符号化装置をデジタルカメラやカムコーダ等の光学特性が特定できる装置において用いる場合には、画像解析部５２５において入力装置（カメラ）の特性情報を入力し、縮小画像を生成する際の縮小フィルタ係数を設定する事も可能であり、同様の効果を発揮できる。

続いて、本発明の第３実施例である画像符号化装置の形態について説明する。第３実施例は第２実施例の構成に対して、周波数解析による縮小フィルタ係数の特定を行うのではなく、縮小画像と入力画像の変移を伴った予測効率を測定する事で、最適な縮小フィルタ係数を設定し、符号化・復号処理に用いる構成となる。よって、第３実施例における画像復号化装置は、第２実施例における画像復号化装置と同一構成で実現出来るため、符号化装置のみの説明を行う。

図９は、本発明の第３実施例である画像符号化装置の形態を示す構成図である。第３実施例の画像符号化装置の構成は、図５で示される第２実施例の画像符号化装置の構成に対して、画像解析部５２５の代わりに縮小フィルタ選択部９２５及び縮小画像相関検出部９２６が用いられている点が異なる。

縮小フィルタ選択部９２５及び縮小画像相関検出部９２６の動作を、図１０で示す第３実施例の符号化処理フローチャートを用いて説明する。

図１０に示す第３実施例の符号化処理フローチャートは、図６で示した第２実施例の符号化処理フローチャートに対して、Ｓ６００及びＳ６０１のプロセスに変わって、Ｓ１０００、Ｓ１００１及びＳ１００２のプロセスが施される流れとなる。

先ず、入力画像バッファ１０１に格納された１画面の画像データを縮小フィルタ選択部９２５に入力し、予め用意された複数の異なる帯域特性を有するフィルタを用いて、複数の縮小画像を生成する（Ｓ１０００）。

続いて、入力画像と各々の縮小フィルタにより生成された入力画像の縮小画像が縮小フィルタ選択部９２５より縮小画像相関検出部９２６に出力され、縮小画像相関検出部９２６において、それぞれの縮小画像と入力画像の変移ベクトルを検出し、検出時の予測誤差値を積算する（Ｓ１００１）事で相関性を測定する。変移ベクトルを検出する際の処理単位に関しては、符号化時に用いられる変移予測のブロック単位と同一でも、異なっても可能であり、また１画面全部の領域に対する変移ベクトルを検出する事も、特定の領域を決めて変移ベクトルを検出する事も、入力画像において対象ブロックと隣接相関が少ないブロックを抽出して、抽出したブロックに対する変移ベクトルを検出する事も可能である。

各縮小フィルタ係数を用いた際の予測誤差の積算値は、縮小画像相関検出部９２６より縮小フィルタ選択部９２５に出力され、縮小フィルタ選択部９２５では積算値を比較し、積算値が最小となる縮小フィルタ係数を選択し、フィルタ係数として設定する（Ｓ１００２）。

縮小フィルタ選択部９２５は選択したフィルタ係数もしくは係数を指定するパラメータを、エントロピー符号化部１１５及び縮小画像生成部５１３に出力する。

エントロピー符号化部１１５は、第２実施例と同様に、１画面全体の符号化に関連する付加情報として、例えばＭＰＥＧ４−ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０ Advanced Video Coding）において定義されているＰＰＳ（Picture Parameter Set）等に追加する形で、選択したフィルタ係数もしくは係数を指定するパラメータを符号化（Ｓ６０２）する。

以降の１画面の符号化処理に関しては、第２実施例と同様の処理が施されるため、説明を省略する。

第３実施例においては、テンプレートとして用いる符号化済みの復号画像を縮小させる帯域制限フィルタの特性を、入力画像と入力画像に対して複数の定義可能なフィルタパラメータにより帯域制限を施した縮小画像との間での相関度を、変移ベクトルを検出する形で測定し、測定した結果を元にフィルタパラメータを選択する事で、入力画像に対して実際に変移予測を施す際の相関性が高い縮小画像を生成できる。

その為に、より符号化処理における予測信号として適したテンプレートを縮小画像により生成でき、より予測精度を向上させる事が可能になる。

第３実施例においては、縮小画像相関検出部９２６において求めた変移ベクトル値に関しては、変移ベクトルを検出する２次元ブロックの単位を符号化対象ブロックと同一にした場合に、縮小画像変移ベクトル検出部１０４に出力する事で、そのまま縮小復号画像を用いた変移ベクトル値として使用する事も可能であり、また変移ベクトル検出時の基準値にする（このベクトル値の周辺Ｎ画素に対して、予測誤差値を測定し変移ベクトルを検出する）事も可能である。

尚、第１、第２、第３の実施例として提示した、画像符号化装置、及び画像復号化装置は、物理的にはＣＰＵ（中央処理装置）、メモリなどの記録装置、ディスプレイ等の表示装置、及び伝送路への通信手段を具備したコンピュータで実現することが可能であり、提示した各々の機能を具備する手段を、コンピュータ上のプログラムとして実現し、実行することが可能である。

１００ 入力端子
１０１ 入力画像バッファ
１０２ ブロック分割部
１０３ 変移ベクトル検出部
１０４ 縮小画像変移ベクトル検出部
１０５ 変移予測モード判定／信号生成部
１０６ 減算器
１０７ 直交変換部
１０８ 量子化部
１０９ 逆量子化部
１１０ 逆直交変換部
１１１ 加算器
１１２ フレーム内復号画像メモリ
１１３ 縮小画像生成部
１１４ 縮小復号画像メモリ
１１５ エントロピー符号化部
１１６ ストリームバッファ
１１７ 出力端子
１１８ 符号量制御部
２００ 入力端子
２０１ ストリームバッファ
２０２ エントロピー復号部
２０３ 変移ベクトル／モード復号部
２０４ 変移予測信号生成部
２０５ 逆量子化部
２０６ 逆直交変換部
２０７ 加算器
２０８ フレーム内復号画像メモリ
２０９ 出力端子
２１０ 縮小画像生成部
５１３ 縮小画像生成部
５１９ イントラ予測部
５２０ デブロックフィルタ
５２１ 参照画像メモリ
５２２ 動きベクトル検出部
５２３ 動き補償予測部
５２４ モード判定部
５２５ 画像解析部
７１０ 縮小画像生成部
７１１ 縮小フィルタ係数復号部
７１２ 予測モード復号部
７１３ 予測信号選択部
７１４ イントラ予測モード復号部
７１５ イントラ予測部
７１６ 動きベクトル復号部
７１７ デブロックフィルタ
７１８ 参照画像メモリ
７１９ 動き補償予測部
９２５ 縮小フィルタ選択部
９２６ 縮小画像相関検出部

Claims (7)

1. 符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を変移予測信号として、前記符号化対象ブロックと前記変移予測信号との画面内の変移である変移ベクトルを算出する、変移ベクトル検出部と、
   符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像に対して、水平及び垂直の少なくとも一方に縮小した信号を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を縮小変移予測信号として、縮小された符号化対象ブロックと前記縮小変移予測信号との画面内の変移である変移ベクトルを求める、縮小画像変移ベクトル検出部と、
   前記変移予測信号と前記縮小変移予測信号より、符号化対象ブロックと相関性の高い信号を選択し予測信号として、選択された信号に用いられた変移ベクトル、及び選択した結果を示す情報を出力する、変移予測モード判定／信号生成部とを有し、
   前記予測信号と前記符号化対象ブロックとの差分信号と、前記変移ベクトルと、前記選択した結果を示す情報とを符号化することを特徴とする、画像符号化装置。
2. 更に、
   入力画像の画面単位の周波数特性を測定もしくは入力情報として受け取り、縮小画像を生成する際に用いる縮小フィルタ係数として、縮小画像の周波数特性が入力画像の周波数特性に近づくフィルタ係数を選択する、画像解析部と、
   既に符号化された同一画像信号内のブロックの局部復号画像に対して、水平及び垂直の少なくとも一方に縮小した信号を生成する、縮小画像生成部とを有し、
   前記縮小画像生成部において、前記画像解析部において選択された縮小フィルタ係数を用いて、縮小した信号を生成することを特徴とする、
   請求項１に記載の画像符号化装置。
3. 更に、
   入力画像と、前記入力画像を複数の帯域制限特性を持つフィルタにおいて縮小した、縮小画像の間の相関性を示す値を算出する、縮小画像相関検出部と、
   算出された相関性を示す値より、最も相関の高い縮小画像を生成するフィルタの係数を縮小フィルタ係数として選択する、縮小フィルタ選択部と、
   既に符号化された同一画像信号内のブロックの局部復号画像に対して、水平及び垂直の少なくとも一方に縮小した信号を生成する、縮小画像生成部とを有し、
   前記縮小画像生成部において、前記縮小フィルタ選択部において選択された縮小フィルタ係数を用いて、縮小した信号を生成することを特徴とする、
   請求項１に記載の画像符号化装置。
4. ブロック単位で符号化が施された符号化ストリームより、復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像より生成される予測信号と、前記復号対象ブロックとの画面内の変移である変移ベクトル及び、前記変移ベクトルにおいて指定される前記復号画像を縮小して予測信号を生成するか否かを示す情報を復号する、変移ベクトル／モード復号部と、
   前記変移ベクトル、及び前記復号画像を縮小して予測信号を生成するか否かを示す情報に従って、前記復号画像より予測信号を生成する、変移予測信号生成部とを有し、
   前記予測信号と、復号された残差信号とを加算することで復号画像を算出することを特徴とする、画像復号化装置。
5. 更に、縮小画像を生成する際に用いられるフィルタ係数を指定する情報を復号する、縮小フィルタ係数復号部を有し、
   前記変移予測信号生成部が、前記変移ベクトル、前記復号画像を縮小して予測信号を生成するか否かを示す情報、及び前記縮小画像を生成する際に用いられるフィルタ係数を指定する情報に従って、前記復号画像より予測信号を生成することを特徴とする、請求項４に記載の画像復号化装置。
6. 符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を変移予測信号として、前記符号化対象ブロックと前記変移予測信号との画面内の変移である変移ベクトルを算出するステップと、
   符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像に対して、水平及び垂直の少なくとも一方に縮小した信号を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を縮小変移予測信号として、縮小された符号化対象ブロックと前記縮小変移予測信号との画面内の変移である変移ベクトルを求めるステップと、
   前記変移予測信号と前記縮小変移予測信号より、符号化対象ブロックと相関性の高い信号を選択し予測信号として、選択された信号に用いられた変移ベクトル、及び選択した結果を示す情報を出力するステップとを含み、
   前記予測信号と前記符号化対象ブロックとの差分信号と、前記変移ベクトルと、前記選択した結果を示す情報とを符号化することを特徴とする、画像符号化方法。
7. ブロック単位で符号化が施された符号化ストリームより、復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像より生成される予測信号と、前記復号対象ブロックとの画面内の変移である変移ベクトル及び、前記変移ベクトルにおいて指定される前記復号画像を縮小して予測信号を生成するか否かを示す情報を復号するステップと、
   前記変移ベクトル、及び前記復号画像を縮小して予測信号を生成するか否かを示す情報に従って、前記復号画像より予測信号を生成するステップとを含み、
   前記予測信号と、復号された残差信号とを加算することで復号画像を算出することを特徴とする、画像復号化方法。