JP2020150334A - 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、及びプログラム - Google Patents

Abstract

【課題】 符号化済ピクチャのブロック状の予測画素群を用いた予測方法に対する誤差に対しても量子化マトリクスを用いた量子化を行い、主観画質の向上を図る。【解決手段】 画像を複数のブロックに分割し、ブロック単位で符号化を行う画像符号化装置であって、符号化対象の着目ブロックの予測画像を、当該着目ブロックが属するフレームの符号化済の領域におけるブロック状の画素群を用いて生成する予測部と、着目ブロックの画素と予測画像との誤差を直交変換し、変換係数を生成する変換部と、変換部で生成された変換係数を、量子化マトリクスを用いて量子化する量子化部とを有する。【選択図】 図１

Description

本発明は画像の符号化技術に関するものである。

動画像の圧縮記録の符号化方式として、ＨＥＶＣ（High Efficiency Video Coding）符号化方式が知られている。ＨＥＶＣでは符号化効率向上のため、従来のマクロブロック（１６×１６画素）より大きなサイズの基本ブロックが採用された。この大きなサイズの基本ブロックはＣＴＵ（Coding Tree Unit）と呼ばれ、そのサイズは最大６４×６４画素である。ＣＴＵはさらに予測や変換を行う単位となるサブブロックに分割される。

また、ＨＥＶＣにおいては、量子化マトリクスと呼ばれる、直交変換を施した後の係数（以下、変換係数と記す）を、周波数成分に応じて重み付けをする処理が用いられている。人間の視覚には劣化が目立ちにくい高周波成分のデータをより削減することで、画質を維持しながら圧縮効率を高めることが可能となっている。特許文献１には、このような量子化マトリクスを符号化する技術が開示されている。

近年、ＨＥＶＣの後継として、さらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＶＥＴ（Joint Video Experts Team）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立され、ＶＶＣ（Versatile Video Coding）符号化方式として標準化が進められている。ＶＣＣ符号化方式では、符号化効率向上のため、従来のイントラ予測、インター予測に加え、符号化対象ピクチャのブロック状の予測画素群を用いた新たな予測方法（以下、現ピクチャ参照予測と呼称する）が検討されている。

特開２０１３−３８７５８号公報

ＶＶＣにおいても、ＨＥＶＣと同様に量子化マトリクスの導入が検討されている。しかしながら、ＨＥＶＣにおける量子化マトリクスは従来のイントラ予測やインター予測といった予測方法を前提としており、新しい予測方法である現ピクチャ参照予測には対応できていない。このため、現ピクチャ参照予測の誤差に対しては、周波数成分に応じた量子化制御を行うことができず、主観画質の向上は期待できない。

本発明は上述した課題を解決するためになされたものであり、上記定義の現ピクチャ参照予測に対応した量子化マトリクスを用いた量子化処理を可能とすることで、主観画質を向上する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
画像を複数のブロックに分割し、ブロック単位で符号化を行う画像符号化装置であって、
符号化対象の着目ブロックの予測画像を、当該着目ブロックが属するフレームの符号化済の領域におけるブロック状の画素群を用いて生成する予測手段と、
前記着目ブロックの画素と前記予測画像との誤差を直交変換し、変換係数を生成する変換手段と、
前記変換手段で生成された前記変換係数を、量子化マトリクスを用いて量子化する量子化手段とを有する。

本発明によれば、符号化済ピクチャのブロック状の予測画素群を用いた新しい予測方法に対する誤差に対しても量子化マトリクスを用いた量子化を行い、主観画質を向上させることができる。

第１の実施形態における画像符号化装置のブロック構成図。 第２の実施形態における画像復号装置のブロック構成図。 第１の実施形態の画像符号化装置の符号化処理を示すフローチャート。 第２の実施形態の画像復号装置の復号処理を示すフローチャート。 画像符号化装置、復号装置に適用可能なコンピュータのハードウェア構成例を示す図。 実施形態におけるビットストリームの構造例を示す図。 実施形態で用いられるサブブロック分割の例を示す図。 実施形態で用いられる量子化マトリクスの例を示す図。 実施形態で用いられる量子化マトリクスの要素の走査方法を示す図。 実施形態で生成される量子化マトリクスの差分値行列を示す図。 実施形態での符号化処理に用いられる符号化テーブルの例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。また、基本ブロックや、サブブロック、量子化マトリクスといった呼称は、各実施形態において便宜的に用いている呼称であり、その意味が変わらない範囲で、適宜、他の呼称を用いてもよい。例えば、基本ブロックやサブブロックは、基本ユニットやサブユニットと称されてもよいし、単にブロックやユニットと称されてもよい。

［第１の実施形態］
図１は本実施形態が適用する画像符号化装置を示すブロック図である。なお、実施形態における画像符号化装置は、符号化対象の画像データを発生する撮像素子を持つデジタルビデオカメラに実装されるものとして説明する。しかし、これはあくまで理解を容易にするためであり、符号化対象の画像発生源は特に問わない点に留意願いたい。

制御部１５０は、ＣＰＵ、ＣＰＵが実行するプログラムや各種パラメータを記憶しているＲＯＭ、及び、ＣＰＵのワークエリアとして利用されるＲＡＭで構成され、以下に説明する各構成要素の制御を行うことで画像符号化装置の全体の制御を司る。

ブロック分割部１０２は、撮像部で撮像された画像データを、入力端子１０１を介して入力する。そして、ブロック分割部１０２は、その入力画像を複数の基本ブロックに分割し、基本ブロック単位の画像データを後段の予測部１０４に出力する。

量子化マトリクス保持部１０３は、量子化マトリクスを生成、及び、保持する。量子化マトリクスの生成方法は特に問わないが、ユーザが量子化マトリクスを入力しても良いし、入力画像の特性から算出しても、初期値として予め指定されたものを使用しても良い。本実施形態の量子化マトリクス保持部１０３は、図８（ａ）〜（ｃ）に示される３種類の８×８画素の直交変換に対応した二次元の量子化マトリクスを生成し、保持するものとする。ここで、量子化マトリクスとは、周波数成分に応じて、変換係数に対する量子化処理を重み付けするためのものである。各変換係数のための量子化ステップは、基準となる値に、量子化マトリクスにおける各要素の値を乗算することで重み付けされる。なお、量子化ステップの基準となる値は、量子化パラメータによって、定義される。

予測部１０４は、ブロック分割部１０２から受信した基本ブロック単位の画像データに対し、サブブロック分割法を決定し、サブブロック単位でフレーム内予測であるイントラ予測やフレーム間予測であるインター予測などを行い、予測画像データを生成する。さらに、予測部１０４は、サブブロックの画像データと予測画像データとの差分である予測誤差を算出し、出力する。また、予測部１０４は、予測に必要な情報、例えばサブブロック分割法、予測モードや動きベクトル等の情報も予測誤差と併せて出力される。以下ではこの予測に必要な情報を予測情報と呼称する。

変換・量子化部１０５は、予測部１０４からのサブブロック単位の予測誤差を直交変換することで変換係数を生成する。さらに変換・量子化部１０５は、量子化マトリクス保持部１０３に格納されている量子化マトリクスと、量子化パラメータとを用いて、生成した変換係数の量子化を行うことで量子化後の変換係数（以下、単に量子化係数）を得る。なお、直交変換を行う機能と、量子化を行う機能とは別々の構成にしてもよい。

逆量子化・逆変換部１０６は、変換・量子化部１０５から出力された量子化係数を量子化マトリクス保持部１０３に格納されている量子化マトリクスと、量子化パラメータとを用いて逆量子化することで変換係数を再生する。さらに逆量子化・逆変換部１０６は、再生した変換係数に対して逆直交変換して予測誤差を再生する。なお、逆量子化を行う機能と、逆直交変換を行う機能とは別々の構成にしてもよい。

画像再生部１０７は、予測部１０４から出力された予測情報に基づいて、フレームメモリ１０８を適宜参照して、符号化対象の着目ブロック用の予測画像データを生成する。そして、画像再生部１０７は、この予測画像データに、逆量子化・逆変換部１０６から入力された予測誤差を加算することで、再生画像データを生成し、フレームメモリ１０８に格納する。

インループフィルタ部１０９は、フレームメモリ１０８に格納された再生画像に対し、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行い、フィルタ処理後の画像データを再びフレームメモリ１０８に格納する。

符号化部１１０は、変換・量子化部１０５から出力された量子化係数および予測部１０４から出力された予測情報を符号化して、符号化データを生成し、出力する。なお、画像復号装置が量子化パラメータを導出するための情報も符号化部１１０によってビットストリームに符号化される。

量子化マトリクス符号化部１１３は、量子化マトリクス保持部１０３に保持されている量子化マトリクスを符号化して、量子化マトリクスの符号化データを生成し、出力する。

統合符号化部１１１は、量子化マトリクス符号化部１１３からの出力である量子化マトリクスの符号化データを用いてヘッダデータを生成する。更に、統合符号化部１１１は、ヘッダデータと、符号化部１１０から出力された符号化データと合わせて、ビットストリームを形成して、出力端子１１２を介して外部に出力する。出力対象は、実施形態の場合にメモリカード等の記録媒体となるが、出力対象はネットワーク等でも構わず、その種類は特に問わない。

実施形態における画像符号化装置の構成と動作は、概ね上記の通りであるが、以下、より詳しく説明する。本実施形態では符号化対象は動画像であり、フレーム単位に入力する構成とする。さらに本実施形態では説明を単純化するため、ブロック分割部１０１においては８×８画素の基本ブロックに分割するものとして説明するが、これはあくまで理解を容易にするためであると理解されたい。例えば、基本ブロックよりも大きいブロック（例えば、６４×６４画素のブロックや１２８×１２８画素のブロック）を基準として、それを様々な大きさの基本ブロックに分割するようにしてもよい。

画像の符号化に先立ち、量子化マトリクスの生成および符号化が行われる。

最初に、制御部１５０は、量子化マトリクス保持部１０３を制御し、量子化マトリクスを生成させる。量子化マトリクス保持部１０３は、符号化を行うサブブロックのサイズや予測方法の種類に応じて、量子化マトリクスを生成する。本実施形態では、図７（ａ）に示される８×８画素の基本ブロックに対して、分割無しとした８×８画素のサイズのサブブロック用の量子化マトリクスを生成するものとする。ただし、生成される量子化マトリクスはこれに限定されず、４×８や８×４、４×４など、サブブロックの形状に対応した量子化マトリクスが生成されても良い。量子化マトリクスを構成する各要素の決定方法は特に問わない。例えば、所定の初期値を用いても良いし、個別に設定しても良い。また、画像の特性に応じて生成されても構わない。

量子化マトリクス保持部１０３は、このようにして生成した量子化マトリクスを保持する。量子化マトリクス保持部１０３が生成する量子化マトリクス例を図８（ａ）乃至（ｃ）に示す。図８（ａ）はイントラ予測用、図８（ｂ）はインター予測用、図８（ｃ）は現ピクチャ参照予測用に対応する量子化マトリクスの一例である。太枠の８００は、量子化マトリクスを表している。説明を簡易にするため、それぞれ８×８の６４画素分の構成とし、太枠内の各正方形は量子化マトリクスを構成している各要素値を表しているものとする。本実施形態では、図８（ａ）〜（ｃ）に示された三種の量子化マトリクスが二次元の形状で保持されているものとするが、量子化マトリクス内の各要素はもちろんこれに限定されない。また、サブブロックのサイズによって、あるいは符号化対象が輝度ブロックか色差ブロックかによって、同じ予測方法に対して複数の量子化マトリクスを保持することも可能である。一般的に、量子化マトリクスは人間の視覚特性に応じた量子化処理を実現するため、図８（ａ）〜（ｃ）に示すように量子化マトリクスの左上部分に相当する低周波部分の要素値は小さく、右下部分に相当する高周波部分の要素値は大きくなっている。

量子化マトリクス符号化部１１３は、図８（ａ）〜（ｃ）に示すような二次元形状で格納されている量子化マトリクスを量子化マトリクス保持部１０６から順に読み出し、各要素を走査（スキャン）して差分を計算し、一次元の行列に配置する。本実施形態の量子化マトリクス符号化部１１３は、図８（ａ）〜（ｃ）に示された各量子化マトリクスを、図９に示された走査方法を用い、要素ごとに走査順に直前の要素との差分を計算する。例えば図８（ｃ）で示された８×８画素分の量子化マトリクスは図９で示された走査方法によって走査されるが、左上に位置する最初の要素“８”の次はそのすぐ下に位置する要素“１１”が走査され、差分である＋３が計算される。また、量子化マトリクスの最初の要素（本実施形態では“８”）の符号化には、所定の初期値（例えば“８”）との差分を計算するものとするが、もちろんこれに限定されず、任意の値との差分や、最初の要素の値そのものを用いても良い。

このようにして、図８（ａ）〜（ｃ）の量子化マトリクスは、図９の走査方法を用い、図１０（ａ）〜（ｃ）に示される差分行列が生成される。量子化マトリクス符号化部１１３は、さらに差分行列を符号化して量子化マトリクスの符号化データを生成する。本実施形態では図１１（ａ）に示される符号化テーブルを用いて符号化するものとするが、符号化テーブルはこれに限定されず、例えば図１１（ｂ）に示される符号化テーブルを用いても良い。量子化マトリクス符号化部１１３は、このようにして生成された図８（ａ）〜（ｃ）に示す量子化マトリクスの符号化データを後段の統合符号化部１１１に出力する。

図１に戻り、統合符号化部１１１は画像データの符号化に必要なヘッダ情報を符号化し、量子化マトリクスの符号化データを統合する。

続いて、画像データの符号化が行われる。端子１０１から入力された１フレーム分の画像データはブロック分割部１０２に供給される。ブロック分割部１０２は、入力されたフレームの画像データを複数の基本ブロックに分割し、基本ブロック単位の画像データを予測部１０４に出力する。本実施形態での基本ブロックのサイズは８×８画素である。

予測部１０４は、ブロック分割部１０２から入力された基本ブロックの画像データに対し予測処理を実行する。具体的には、基本ブロックをさらに細かいサブブロックに分割するサブブロック分割法を決定し、さらにサブブロック単位でイントラ予測やインター予測、現ピクチャ参照予測などの予測モードを決定する。

図７にサブブロック分割方法の例を示す。太枠を表す参照符号７００〜７０５はそれぞれ基本ブロックを表しており、説明を簡易にするため、８×８画素の構成とし、太枠内の各四角形はサブブロックを表している。図７（ａ）は基本ブロック＝サブブロックの例を示している。同図（ｂ）は従来の正方形サブブロック分割の一例を表しており、８×８画素の基本ブロック７０１は４つの４×４画素のサブブロックに分割されている。一方、図７（ｃ）〜（ｆ）は、基本ブロック７０２乃至７０５が２つまたは３つの長方形サブブロックで構成されることを示している。図７（ｃ）は基本ブロック７０２が垂直方向に長手の２つの４×８画素へのサブブロック分割を示している。図７（ｄ）は基本ブロック７０３が水平方向に長手の２つの８×４画素へのサブブロック分割を示している。また、図７（ｅ）は、基本ブロック７０４が、垂直方向に長手で、幅が１：２：１の比の３つの長方形サブブロック分割を示している。そして、図７（ｆ）は、基本ブロック７０５が、水平方向に長手で、幅が１：２：１の比の３つの長方形サブブロック分割を示している。このように正方形だけではなく、長方形のサブブロックも用いて符号化処理を行っている。

本実施形態では、８×８画素の基本ブロックを、分割しない図７（ａ）のみが用いられるものとするが、サブブロック分割方法はこれに限定されない。図７（ｂ）のような四分木分割や、図７（ｅ）、（ｆ）のような三分木分割または図７（ｃ）や図７（ｄ）のような二分木分割を用いても構わない。図７（ａ）以外のサブブロック分割も用いられる場合には、量子化マトリクス保持部１０３にて使用されるサブブロックに対応する量子化マトリクスが生成される。また、生成された量子化マトリクスは量子化マトリクス符号化部１１３にて符号化されることとなる。

また、本実施形態で用いられる予測方法について、改めて説明する。本実施形態ではイントラ予測、インター予測、現ピクチャ参照予測の３種類の予測方法が用いられる。

イントラ予測は、符号化対象ブロックの空間的に周辺に位置する符号化済画素を用いて符号化対象ブロックの予測画素を生成するものである。予測画素の生成方法は、水平予測や垂直予測などの３３種類の方向にかかるＡｎｇｕｌａｒ予測、隣接ブロックの復号画素値の平均値を予測値とするＤＣ予測、隣接ブロックの復号画素から平面近似により予測画素値を生成するＰｌａｎａｒ予測などが含まれ、いずれを用いたのかを示す情報も生成する。

インター予測は、符号化対象ブロックとは時間的に異なるフレームの符号化済画素を用いて符号化対象ブロックの予測画素を生成し、参照するフレームや動きベクトルなどを示す動き情報も生成する。

そして、現ピクチャ参照予測は、符号化対象ブロックが属するフレームの符号化済領域内から、類似したブロック状の画素群を符号化対象ブロックの予測ブロックとして生成するものである。例えば符号化対象ブロックから左方向にｘ画素、上方向にｙ画素離れた位置に符号化対象ブロックと類似したブロック状の画素群が存在した場合、この「左にｘ画素、上にｙ画素」を変位情報として生成する。こうして現ピクチャ参照予測では、符号化対象ブロックの予測ブロックを生成し、予測画素の生成に用いられた変位情報も生成する。この現ピクチャ参照予測は、特に符号化・復号対象のフレーム内に同一の文字やテクスチャが繰り返し出現するコンピュータの画面のような人工の画像において、符号化効率を向上させるのに適した技術であると言える。

予測部１０４は、上記いずれかの予測モードの中から誤差が最小となる予測モードを決定する。そして、予測部１０４は、決定した予測モードおよび符号化済の画素から予測画像データを生成し、さらに入力された画像データと予測画像データから予測誤差を生成し、予測誤差を変換・量子化部１０５に出力する。また、予測部１０４は、サブブロック分割や予測モードなどの情報を予測情報として、変換・量子化部１０５、符号化部１１０、画像再生部１０７、逆量子化・逆変換部１０６に出力する。

変換・量子化部１０５は、予測部１０４より入力した予測誤差に対して直交変換を行い、変換係数を得る。そして、変換・量子化部１０５は、予測モードに従った量子化マトリクスと、量子化パラメータとを用いて、変換係数に対して量子化を行い、量子化係数を生成する。具体的には、変換・量子化部１０５は、サブブロックのサイズに対応した直交変換処理を施し直交変換係数を生成し、次に変換係数を予測モードに応じて量子化マトリクス保持部１０３に格納されている量子化マトリクスと、量子化パラメータとを用いて量子化し、量子化係数を生成する。本実施形態の変換・量子化部１０５は、イントラ予測で予測が行われたサブブロックの変換係数に対しては図８（ａ）、インター予測が行われたサブブロックの変換係数には図８（ｂ）、現ピクチャ参照予測が行われたサブブロックの変換係数には図８（ｃ）の量子化マトリクスを用いて量子化を行う。ただし、使用される量子化マトリクスはこれに限定されない。そして、変換・量子化部１０５は、量子化処理で得た量子化係数を符号化部１１０および逆量子化・逆変換部１０６に出力する。

逆量子化・逆変換部１０６は、入力された量子化係数を量子化マトリクス保持部１０３に保持された量子化マトリクスと、量子化パラメータとを用いて逆量子化して変換係数を再生する。このように、量子化マトリクスと量子化パラメータとを用いて、変換係数を再生（導出）する処理を逆量子化と称するものとする。更に、逆量子化・逆変換部１０６は、再生された変換係数を逆直交変換して予測誤差を再生する。逆量子化・逆変換部１０６による逆量子化処理で用いる量子化マトリクスは、変換・量子化部１０５が符号化対象ブロックの変換係数に対して用いた量子化マトリクスと同じものが用いられる。そのため、逆量子化・逆変換部１０６は、予測部１０４からの予測情報に基づいて、利用する量子化マトリクスを決定することになる。逆量子化・逆変換部１０６は、再生した予測誤差を画像再生部１０７に出力する。

画像再生部１０７は、予測部１０４から入力した予測情報に基づいて、フレームメモリ１０８を適宜参照し、サブブロックの予測画像を再生する。そして再生された予測画像と、逆量子化・逆変換部１０６より入力したサブブロックの予測誤差から画像データを再生し、フレームメモリ１０８に格納する。

インループフィルタ部１０９は、フレームメモリ１０８から再生画像を読み出し、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、インループフィルタ部１０９は、フィルタ処理後の画像データをフレームメモリ１０８に再格納する。

符号化部１１０は、ブロック単位で、変換・量子化部１０５で生成された量子化係数、予測部１０４から入力された予測情報をエントロピー符号化し、符号化データを生成する。エントロピー符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。生成された符号化データは統合符号化部１１１に出力される。

統合符号化部１１１では、前述のヘッダの符号化データ（量子化マトリクスの符号化データが含まれる）と、符号化部１１０から入力した符号化データなどを多重化してビットストリームを形成する。そして、統合符号化部１１１は、形成したビットストリームは端子１１２から本装置外（例えば記録媒体）に出力する。

図６（ａ）は第１の実施形態で出力されるビットストリームの一例である。シーケンスヘッダには量子化マトリクスの符号化データが含まれ、各要素の符号化結果で構成されている。ただし、符号化される位置はこれに限定されず、ピクチャヘッダ部やその他のヘッダ部に符号化される構成をとってももちろん構わない。また、１つのシーケンスの中で量子化マトリクスの変更を行う場合、量子化マトリクスを新たに符号化することで更新することも可能である。この際、全ての量子化マトリクスを書き換えても良いし、書き換える量子化マトリクスに対応する量子化マトリクスの予測モードを指定することでその一部を変更するようにすることも可能である。

図３は、第１の実施形態の画像符号化装置における制御部１５０の制御下での１フレーム分の符号化処理を示すフローチャートである。

まず、画像の符号化に先立ち、Ｓ３０１にて、量子化マトリクス保持部１０３は二次元の量子化マトリクスの生成、保持する。本実施形態の量子化マトリクス保持部１０３は、図８（ａ）〜（ｃ）に示される、８×８画素のサブブロックに対応するイントラ予測用、インター予測用および現ピクチャ参照予測用の量子化マトリクスを生成し、保持することになる。

Ｓ３０２にて、量子化マトリクス符号化部１１３は、Ｓ３０１にて生成・保持された量子化マトリクスを走査して各要素の差分を算出し、差分行列を生成する。本実施形態では、図８（ａ）〜（ｃ）に示された量子化マトリクスは図９の走査方法で走査され、図１０（ａ）〜（ｃ）に示される差分行列が生成されることになる。量子化マトリクス符号化部１１３は、このように生成された差分行列を符号化し、量子化マトリクスの符号化データを生成する。

Ｓ３０３にて、統合符号化部１１１は、生成された量子化マトリクスの符号化データを含む、画像データの符号化に必要なヘッダ情報を符号化し、出力する。

Ｓ３０４にて、ブロック分割部１０２はフレーム単位の入力画像を基本ブロック単位に分割する。

Ｓ３０５にて、予測部１０４はＳ３０４にて生成された基本ブロック単位の画像データに対して、予測処理を実行し、サブブロック分割情報や予測モードなどの予測情報および予測画像データを生成する。本実施形態の予測部１０４は、イントラ予測、インター予測および現ピクチャ参照予測の３種類の予測方法を試し、予測誤差が最小となる一の予測方法を決定する。ただし、予測方法の決定方法はこれに限定されず、予測誤差の大きさと発生符号量から符号化コストを算出し、符号化コストが最小となる予測方法を決定する構成としても良い。そして、予測部１０４は、入力された画像データと予測画像データから予測誤差を算出し、予測情報と共に出力する。

Ｓ３０６にて、変換・量子化部１０５はＳ３０５で算出された予測誤差を直交変換して変換係数を生成する。さらに変換・量子化部１０５は、予測情報に基づき、量子化マトリクス保持部１０３に保持された該当する量子化マトリクスと、量子化パラメータとを用いて、生成した変換係数の量子化を行い、量子化係数を生成する。本実施形態では、イントラ予測が用いられたサブブロックには図８（ａ）、インター予測が用いられたサブブロックには図８（ｂ）、現ピクチャ参照予測が用いられたサブブロックには図８（ｃ）の量子化マトリクスが用いられることになる。

Ｓ３０７にて、逆量子化・逆変換部１０６はＳ３０６で生成された量子化係数を、量子化マトリクス保持部１０３に保持された該当する量子化マトリクスを用いて逆量子化を行い、変換係数を再生する。さらに、逆量子化・逆変換部１０６は、再生した変換係数に対して逆直交変換し、予測誤差を再生する。本ステップにおいて、逆量子化で用いる量子化マトリクスは、Ｓ３０６で用いられた量子化マトリクスと同じとなる。

Ｓ３０８にて、画像再生部１０７はＳ３０５で生成された予測情報に基づいて予測画像を再生する。さらに画像再生部１０７は、再生された予測画像とＳ３０７で生成された予測誤差から画像データを再生する。

３０９にて、符号化部１１０は、Ｓ３０５で生成された予測情報およびＳ３０６で生成された量子化係数を符号化し、画像データに対する符号化データを生成する。また、符号化部１１０は、他の符号化データも含め、ビットストリームを生成する。

Ｓ３１０にて、制御部１５０は、フレーム内の全ての基本ブロックの符号化が終了したか否かの判定を行い、終了したと判定した場合は処理をＳ３１１に、未符号化の基本ブロックが残っていると判定した場合は処理をＳ３０４に戻す。

Ｓ３１１にて、インループフィルタ部１０９はＳ３０８で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像データを生成し、処理を終了する。

以上の構成と動作により、特にＳ３０６において、現ピクチャ参照予測を用いたサブブロックに対して量子化マトリクスを用いた量子化処理をすることで、周波数成分ごとに量子化を制御し主観画質を向上させることができる。

なお、本実施形態では、イントラ予測、インター予測および現ピクチャ参照予測の３種類の予測方法に対して、個別に量子化マトリクスを定義し、３種類の量子化マトリクス全てを符号化する構成としたが、そのうちのいくつかを共通化しても構わない。

例えば、現ピクチャ予測を用いたサブブロックに対しても、イントラ予測画像用の量子化マトリクス（図８（ａ））を用いて量子化し、図８（ｃ）の量子化マトリクスの符号化を省略することも可能である。これにより、図８（ｃ）の量子化マトリクス分の符号量を削減しつつ、ブロック歪みなどの同一フレーム内の画素を用いた予測による誤差から生じる画質劣化を軽減させることができる。

同様に、現ピクチャ参照予測を用いたサブブロックに対しても、インター予測画像用の量子化マトリクス（図８（ｂ））を用いて量子化し、図８（ｃ）の量子化マトリクスの符号化を省略することも可能である。これにより、図８（ｃ）の量子化マトリクス分の符号量を削減しつつ、ガクガクした動きなどのブロック状の画素群を用いた予測による誤差から生じる画質劣化を低減させることもできる。

また、画像符号化装置は、不図示の操作部からのユーザによる指示に応じて、現ピクチャ参照予測のサブブロックで用いる量子化マトリクスをどれにするかを選択できるようにしても良い。この場合、いずれが選択されたのかを示す情報を、ストリームのヘッダに、量子化マトリクス設定情報として格納する。

この場合の、ストリーム構成の例を図６（ｂ）に示す。量子化マトリクス設定情報が“０”である場合は、現ピクチャ参照予測を用いたサブブロックに対して用いた量子化マトリクスは、イントラ予測用の量子化マトリクス（図８（ａ））であるものとする。また、量子化マトリクス設定情報が“１”の場合は、現ピクチャ参照予測を用いたサブブロックに対して用いた量子化マトリクスは、インター予測用の量子化マトリクス（図８（ｂ））であるものとする。そして、量子化マトリクス設定情報が“２”の場合は、現ピクチャ参照予測を用いたサブブロックに対して用いた量子化マトリクスは、現ピクチャ参照予測のため専用の量子化マトリクス（図８（ｃ））であるものとする。これにより、量子化マトリクス符号量削減と現ピクチャ参照予測を用いたサブブロックに対する独自の量子化制御とを選択的に実現することが可能となる。

［第２の実施形態］
本第２の実施形態は画像復号装置について説明する。本第２の実施形態に係る画像復号装置の構成を図２に示す。この画像復号装置は、第１の実施形態の画像符号化装置が生成した符号化ビットストリームを復号するものとして説明する。

制御部２５０は、ＣＰＵ、ＣＰＵが実行するプログラムや各種パラメータを記憶しているＲＯＭ、及び、ＣＰＵのワークエリアとして利用されるＲＡＭで構成され、以下に説明する各構成要素の制御を行うことで画像復号装置の全体の制御を司る。

分離復号部２０２は、入力端子２０１より入力した符号化ビットストリームから復号処理に関する情報や係数に関する符号化データに分離し、また符号化ビットストリームのヘッダ部に存在する符号化データを復号する。具体的には、分離復号部２０２は、符号化ビットストリームから量子化マトリクスの符号化データを分離し、分離した量子化マトリクスの符符号化データを量子化マトリクス復号部２０９に出力する。また、分離復号部２０２は、符号化ビットストリームから画像の符号化データを分離し、その分離した画像の符号化データを復号部２０３に出力する。つまり、分離復号部２０２は図１の統合符号化部１１１と逆の処理を行う。

量子化マトリクス復号部２０９は、分離復号部２０２より入力した量子化マトリクスの符号化データを復号し、保持する。

復号部２０３は、分離復号部２０２より入力した画像の符号化データを復号し、量子化係数および予測情報を再生する。そして、復号部２０３は、量子化係数を逆量子化・逆変換部２０４に供給すると共に、予測情報を逆量子化・逆変換部２０４、及び、画像再生部２０５に出力する。なお、量子化パラメータを導出するための情報も復号部２０３によってビットストリームから復号される。

逆量子化・逆変換部２０４は復号部２０３から量子化係数を入力する。そして、逆量子化・逆変換部２０４は、図１の逆量子化・逆変換部１０６と同様に、予測情報で示される予測モードに応じた量子化マトリクスと、量子化パラメータとを用いて、量子化係数の逆量子化処理を行って変換係数を得る。さらに逆量子化・逆変換部２０４は、得られた変換係数に対して逆直交変換を行い、予測誤差を再生し、画像再生部２０５に出力する。

画像再生部２０５は、予測部２０３より入力した予測情報に基づいて、フレームメモリ２０６（復号済の画像データが格納されている）を適宜参照して予測画像データを生成する。そして、画像再生部２０５は、この予測画像データと、逆量子化・逆変換部２０４で再生された予測誤差から再生画像データを生成する。そして、画像再生部２０５は、生成した再生画像をフレームメモリ２０６に格納する。

インループフィルタ部２０７は、図１のインループフィルタ部１０９と同様であり、フレームメモリ２０６に格納された再生画像に対し、デブロッキングフィルタなどのインループフィルタ処理を行い、フィルタ処理された画像をフレームメモリ２０６に再格納する。この結果、フレームメモリにはフィルタ処理後の表示可能な画像データが格納されるので、出力端子２０８を介して外部装置（表示装置がその代表例）に出力されることになる。

本第２の実施形態の画像復号装置における画像の復号動作を更に詳しく以下に説明する。本第２の実施形態では、先に説明した第１の実施形態の画像符号化装置で生成されたビットストリームをフレーム単位で入力する構成となっている。

分離復号部２０２は、入力端子２０１を介してビットストリームを入力し、復号処理に関する情報や係数に関する符号化データに分離し、ビットストリームのヘッダ部に存在する符号化データを復号する。より具体的には、分離復号部２０２は、ビットストリームのヘッダ部に格納されている、量子化マトリクスの符号化データを分離し、量子化マトリクス復号部２０９に出力する。本実施形態の分離復号部２０２は、図６（ａ）に示されるビットストリームのシーケンスヘッダから量子化マトリクスの符号化データを抽出し、量子化マトリクス復号部２０９に出力する。この結果、本実施形態では、図８（ａ）〜（ｃ）に示される量子化マトリクスの符号化データが量子化マトリクス復号部２０９に出力されることになる。また、分離復号部２０２は、ヘッダ部に後続する画像の符号化データをビットストリームから分離し、復号部２０３に出力する。

量子化マトリクス復号部２０９は、分離復号部２０２から入力した量子化マトリクスの符号化データを復号し、図１０（ａ）〜（ｃ）に示される一次元の差分行列を再生する。本実施形態では、第１の実施形態と同様、図１１（ａ）に示される符号化テーブルを用いて復号するものとするが、符号化テーブルはこれに限定されず、符号化装置と同じものを用いる限りは他の符号化テーブルを用いても良い。さらに量子化マトリクス復号部２０９は、再生された一次元の差分行列を走査し、二次元の量子化マトリクスを再生する。ここでは第１の実施形態の量子化マトリクス符号化部１１３の動作とは逆の動作を行う。すなわち、量子化マトリクス復号部２０９は、図１０（ａ）〜（ｃ）に示される差分行列から、図９に示される走査方法を用いて、それぞれ図８（ａ）〜（ｃ）に示される３種の量子化マトリクスを再生し、保持する。

復号部２０３は、分離復号部２０２から入力した符号化データを復号し、量子化係数および予測情報を再生する。復号部２０３は、再生された量子化係数を逆量子化・逆変換部２０４に、再生された予測情報を逆量子化・逆変換部２０４及び画像再生部２０５に出力する。

逆量子化・逆変換部２０４は、入力された量子化係数に対して、量子化マトリクスと、量子化パラメータとを用いて逆量子化を行うことで、変換係数を生成する。逆量子化・逆変換部２０４は、得られた変換係数を逆直交変換して、予測誤差を再生する。そして、逆量子化・逆変換部２０４は、再生された予測誤差を画像再生部２０５に出力する。本実施形態の逆量子化・逆変換部２０４は、復号部２０３で再生された予測情報によって定まった復号対象ブロックの予測モードに応じて、逆量子化処理において使用される量子化マトリクスを決定する。すなわち、イントラ予測が用いられているサブブロックには図８（ａ）、インター予測が用いられているサブブロックには図８（ｂ）、現ピクチャ参照予測が用いられているサブブロックには図８（ｃ）の量子化マトリクスが用いられる。ただし、使用される量子化マトリクスはこれに限定されず、第１の実施形態の変換・量子化部１０５および逆量子化・逆変換部１０６で用いられた量子化マトリクスと同一のものであれば良い。

画像再生部２０５では、復号部２０３から入力された予測情報に基づいて、フレームメモリ２０６を適宜参照し、予測画像を再生する。本第２の実施形態の画像再生部２０５は、第１の実施形態における予測部１０４と同様、イントラ予測、インター予測および現ピクチャ参照予測の３種類の予測方法が用いられる。具体的な予測の処理については、第１の実施形態の予測部１０４と同様であるため、説明を省略する。画像再生部２０５は、この予測画像と逆量子化・逆変換部２０４から入力された予測誤差とを足し合わせて画像データを再生し、フレームメモリ２０６に格納する。格納された画像データは予測の際の参照に用いられる。

インループフィルタ部２０７は、図１のインループフィルタ部１０９と同様、フレームメモリ２０６から再生画像を読み出し、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、インループフィルタ部２０７は、フィルタ処理後の画像を再びフレームメモリ２０６に格納する。

そして、このフレームメモリ２０６に格納された再生画像は、最終的には出力端子２０８から外部に出力される。

図４は、第２の実施形態の画像復号装置における制御部２５０の制御下での１フレーム分の符号化処理を示すフローチャートである。

まず、Ｓ４０１にて、分離復号部２０２はビットストリームから復号処理に関する情報や係数に関する符号化データに分離して、ヘッダ部分の符号化データを復号する。この結果、量子化マトリクスの符号化データが得られる。分離復号部２０２は、得られた量子化マトリクスの符号化データを量子化マトリクス復号部２０９に、後続する画像データの符号化データを復号部２０３に出力する。

Ｓ４０２にて、量子化マトリクス復号部２０９は、分離復号部２０２から入力した量子化マトリクスの符号化データを復号し、図１０（ａ）〜（ｃ）で示される一次元の差分行列を再生する。さらに、量子化マトリクス復号部２０９は、再生された一次元の差分行列を走査し、二次元の量子化マトリクスを再生する。すなわち、本実施形態では、量子化マトリクス復号部２０９は、図１０（ａ）〜（ｃ）に示される差分行列を、図９に示される走査方法を用いて、それぞれ図８（ａ）〜（ｃ）に示される３種の量子化マトリクスを再生し、保持する。

Ｓ４０３にて、復号部２０３は、分離復号部２０２から入力した符号化データを復号し、量子化係数および予測情報を再生する。

Ｓ４０４にて、逆量子化・逆変換部２０４は、復号部２０３より入力した量子化係数に対し、量子化マトリクス復号部２０９が保持している量子化マトリクスと、量子化パラメータとを用いて逆量子化を行って変換係数を得る。さらに逆量子化・逆変換部２０４は、得られた変換係数を逆直交変換し、予測誤差を再生する。本実施形態の逆量子化・逆変換部２０４は、Ｓ４０３で再生された予測情報によって定まった予測モードに応じて、逆量子化処理において使用される量子化マトリクスを選択する。すなわち、逆量子化・逆変換部２０４は、イントラ予測が用いられているサブブロックには図８（ａ）、インター予測が用いられているサブブロックには図８（ｂ）、現ピクチャ参照予測が用いられているサブブロックには図８（ｃ）の量子化マトリクスを選択し、量子化マトリクス復号部２０９から選択した量子化マトリクスを取得する。ただし、使用される量子化マトリクスはこれに限定されず、第１の実施形態のＳ３０６およびＳ３０７で用いられた量子化マトリクスと同一のものであれば良い。

Ｓ４０５にて、画像再生部２０５は、復号部２０３から入力した予測情報を用い、フレームメモリ２０７を参照して予測画像を再生する。本実施形態では、第１の実施形態のＳ３０５と同様、イントラ予測、インター予測および現ピクチャ参照予測の３種類の予測方法が用いられる。画像再生部２０５は、さらに再生された予測画像と、逆量子化・逆変換部２０４で生成された予測誤差とを足し合わせこととで、画像データを再生する。画像再生部２０５は、再生した画像データをフレームメモリ２０７に格納する。

Ｓ４０６にて、制御部２５０は、着目フレーム内の全ての基本ブロックの復号が終了したか否かの判定を行い、終了していれば処理をＳ４０７に進み、そうでなければ次の基本ブロックを復号するため、処理をＳ４０３に戻す。

Ｓ４０７にて、インループフィルタ部２０７は、フレームメモリ２０７に格納されたた画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、フレームメモリ２０７に再格納し、本処理を終える。

以上の構成と動作により、第１の実施形態で生成された、現ピクチャ参照予測を用いたサブブロックに対しても、周波数成分ごとに量子化を制御し主観画質を向上したビットストリームを復号することができる。

なお、本第２の実施形態では、イントラ予測、インター予測および現ピクチャ参照予測の３種類の予測方法に対して、個別に量子化マトリクスを定義し、３種類の量子化マトリクス全てを復号する構成としたが、そのうちのいくつかを共通化しても構わない。例えば、現ピクチャ参照予測を用いたサブブロックに対しても、イントラ予測を用いたサブブロック同様に図８（ａ）の量子化マトリクスを用いて逆量子化し、図８（ｃ）の量子化マトリクスの復号を省略することも可能である。これにより、図８（ｃ）の量子化マトリクス分の符号量を削減しつつ、ブロック歪みなど同一フレーム内の画素を用いた予測による誤差から生じる画質劣化を軽減させたビットストリームを復号することができる。

同様に、現ピクチャ参照予測を用いたサブブロックに対しても、インター予測を用いたサブブロック同様に図８（ｂ）の量子化マトリクスを用いて逆量子化し、図８（ｃ）の量子化マトリクスの復号を省略することも可能である。これにより、図８（ｃ）の量子化マトリクス分の符号量を削減しつつ、ガクガクした動きなどのブロック状の画素群を用いた予測による誤差から生じる画質劣化を低減させたビットストリームを復号することもできる。

さらには、本実施形態では、現ピクチャ参照予測を用いたサブブロックに対する量子化マトリクスが一意に決まる構成としたが、識別子を導入することで選択可能とする構成としても構わない。

復号対象のビットストリームとして、図６（ｂ）に示すようにヘッダ部に、量子化マトリクス設定情報を設ける。量子化マトリクス設定情報が“０”である場合は、現ピクチャ参照予測を用いたサブブロックに対して用いた量子化マトリクスは、イントラ予測用の量子化マトリクス（図８（ａ））であるものとする。また、量子化マトリクス設定情報が“１”の場合は、現ピクチャ参照予測を用いたサブブロックに対して用いた量子化マトリクスは、インター予測用の量子化マトリクス（図８（ｂ））であるものとする。そして、量子化マトリクス設定情報が“２”の場合は、現ピクチャ参照予測を用いたサブブロックに対して用いた量子化マトリクスは、現ピクチャ参照予測のため専用の量子化マトリクス（図８（ｃ））であるものとする。これにより、量子化マトリクス符号量削減と現ピクチャ参照予測を用いたサブブロックに対する独自の量子化制御とを選択的に実現したビットストリームを復号することが可能となる。

［第３の実施形態］
上記第１、第２の実施形態では、図１、図２に示した各処理部はハードウェアでもって構成しているものとして説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。

図５は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ５０１は、図１、図２に示した各処理部として機能することになる。

ＲＡＭ５０２は、外部記憶装置５０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）５０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ５０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ５０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部５０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ５０１に対して入力することができる。表示部５０５は、ＣＰＵ５０１による処理結果を表示する。また表示部５０５は例えば液晶ディスプレイで構成される。

外部記憶装置５０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置５０６には、ＯＳ（オペレーティングシステム）や、図１、図２に示した各部の機能をＣＰＵ５０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置５０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜、ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。Ｉ／Ｆ５０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ５０７を介して様々な情報を取得したり、送出したりすることができる。５０８は上述の各部を繋ぐバスである。

上記構成において、本装置の電源がＯＮになると、ＣＰＵ５０１はＲＯＭ５０３のブートプログラムを実行して、外部記憶装置５０６に格納されたＯＳをＲＡＭ５０２にロードし、ＯＳを起動する。この結果、本装置が、インターフェース５０７を介した通信が可能となり、情報処理装置として機能する。そして、ＯＳの制御下で、ＣＰＵ５０１は画像符号化に係るアプリケーション（図３に相当する）を外部記憶装置５０６からＲＡＭ５０２にロードして実行することで、ＣＰＵ５０１が図１に示す各種処理部として機能することになり、本装置が画像符号化装置として機能することになる。一方、ＣＰＵ５０１は画像復号に係るアプリケーション（図４に相当する）を外部記憶装置５０６からＲＡＭ５０２にロードして実行した場合、ＣＰＵ５０１は図２に示す各種処理部として機能することになり、本装置が画像復号装置として機能することになる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

本発明は静止画・動画の符号化・復号を行う符号化装置・復号装置に用いられる。特に、量子化マトリクスを使用する符号化方式および復号方式に適用が可能である。

１０１、２０１…入力端子、１０２…ブロック分割部、１０３…量子化マトリクス保持部、１０４…予測部、１０５…変換・量子化部、１０６、２０４…逆量子化・逆変換部、１０７、２０５…画像再生部、１０８、２０６…フレームメモリ、１０９、２０７…インループフィルタ部、１１０…符号化部、１１１…統合符号化部、１１３…量子化マトリクス符号化部、２０２…分離復号部、２０３…復号部、２０９…量子化マトリクス復号部、１１２、２０８…出力端子

Claims (11)

1. 画像を複数のブロックに分割し、ブロック単位で符号化を行う画像符号化装置であって、
   符号化対象の着目ブロックの予測画像を、当該着目ブロックが属するフレームの符号化済の領域におけるブロック状の画素群を用いて生成する予測手段と、
   前記着目ブロックの画素と前記予測画像との誤差を直交変換し、変換係数を生成する変換手段と、
   前記変換手段で生成された前記変換係数を、量子化マトリクスを用いて量子化する量子化手段とを有する
   ことを特徴とする画像符号化装置。
2. 前記着目ブロックが属するフレームの符号化済の領域における前記ブロック状の画素群を用いて生成される予測画像が用いられる場合における量子化マトリクスは、
   前記着目ブロックの予測画像が当該着目ブロックに空間的に隣接する符号化済の画素群のみから生成される予測画像が用いられる場合における量子化マトリクスと同じであることを特徴とする請求項１に記載の画像符号化装置。
3. 前記着目ブロックが属するフレームの符号化済の領域における前記ブロック状の画素群を用いて生成される予測画像が用いられる場合における量子化マトリクスは、
   前記着目ブロックの予測画像が当該着目ブロックが属するフレームとは異なるフレームの画素群から生成される予測画像が用いられる場合における量子化マトリクスと同じであることを特徴とする請求項１に記載の画像符号化装置。
4. 画像を複数のブロックに分割し、ブロック単位で符号化を行う画像符号化方法であって、
   符号化対象の着目ブロックの予測画像を、当該着目ブロックが属するフレームの符号化済の領域におけるブロック状の画素群を用いて生成する予測工程と、
   前記着目ブロックの画素と前記予測画像との誤差を直交変換し、変換係数を生成する変換工程と、
   前記変換工程で生成された前記変換係数を、量子化マトリクスを用いて量子化する量子化工程とを有する
   ことを特徴とする画像符号化方法。
5. ビットストリームからブロック単位に画像を復号する画像復号装置であって、
   前記ビットストリームから、量子化マトリクスの符号化データを復号する第１の復号手段と、
   前記ビットストリームから、ブロック単位の量子化係数の符号化データと予測情報を復号する第２の復号手段と、
   前記予測情報に基づいて特定される量子化マトリクスを用いて、前記量子化係数の符号化データに基づく着目ブロックの量子化係数から当該着目ブロックの変換係数を導出する逆量子化を行う逆量子化手段と、
   前記逆量子化手段で導出した前記変換係数に逆直交変換を行って、前記着目ブロックの予測誤差を導出する逆直交変換手段と
   前記予測情報に従って前記着目ブロックの予測画像を生成し、当該予測画像と、前記逆直交変換手段で導出した前記予測誤差とから前記着目ブロックの画像を再生する再生手段とを有し、
   前記再生手段による前記予測画像を生成する方法は、
   前記着目ブロックが属するフレームの復号済の領域におけるブロック状の画素群を用いる方法を含む
   ことを特徴とする画像復号装置。
6. 前記再生手段は、
   前記予測情報に従って、前記着目ブロックが属するフレームとは異なるフレームの画素群を用いる方法、前記着目ブロックが属するフレームにおける当該着目ブロックに空間的に隣接する復号済の画素群のみを用いる方法、前記着目ブロックが属するフレームの復号済の領域における前記ブロック状の画素群を用いる方法のいずれかを用いて前記予測画像を生成する
   ことを特徴とする請求項５に記載の画像復号装置。
7. 前記逆量子化手段は、
   前記着目ブロックが属するフレームの復号済の領域における前記ブロック状の画素群を用いて、前記着目ブロックの予測画像が生成される場合、
   前記着目ブロックに対し、当該着目ブロックに空間的に隣接する復号済の画素群のみから生成される予測画像が用いられる場合における量子化マトリクスと同じ量子化マトリクスを用いて逆量子化を行うことを特徴とする請求項５に記載の画像復号装置。
8. 前記逆量子化手段は、
   前記着目ブロックが属するフレームの復号済の領域における前記ブロック状の画素群を用いて、前記着目ブロックの予測画像が生成される場合、
   前記着目ブロックに対し、当該着目ブロックが属するフレームとは異なるフレームの画素群から生成される予測画像が用いられる場合における量子化マトリクスと同じ量子化マトリクスを用いて逆量子化を行うことを特徴とする請求項５に記載の画像復号装置。
9. ビットストリームからブロック単位に画像を復号する画像復号方法であって、
   前記ビットストリームから、量子化マトリクスの符号化データを復号する第１の復号工程と、
   前記ビットストリームから、ブロック単位の量子化係数の符号化データと予測情報を復号する第２の復号工程と、
   前記予測情報に基づいて特定される量子化マトリクスを用いて、前記量子化係数の符号化データに基づく着目ブロックの量子化係数から当該着目ブロックの変換係数を導出する逆量子化を行う逆量子化工程と、
   前記逆量子化工程で導出した前記変換係数に逆直交変換を行って、前記着目ブロックの予測誤差を導出する逆直交変換工程と
   前記予測情報に従って前記着目ブロックの予測画像を生成し、当該予測画像と、前記逆直交変換工程で導出した前記予測誤差とから前記着目ブロックの画像を再生する再生工程とを有し、
   前記再生工程による前記予測画像を生成する方法は、
   前記着目ブロックが属するフレームの復号済の領域におけるブロック状の画素群を用いる方法を含む
   ことを特徴とする画像復号方法。
10. コンピュータが読み込み実行することで、前記コンピュータに、請求項１乃至３のいずれか１項に記載の画像符号化装置の各手段として機能させるためのプログラム。
11. コンピュータが読み込み実行することで、前記コンピュータに、請求項５乃至８のいずれか１項に記載の画像復号装置の各手段として機能させるためのプログラム。

Images