JP2020010320A - 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム - Google Patents

Abstract

【課題】直交変換の形状に応じて設定された量子化マトリクスを符号化したときの符号量を抑制する技術を提供する。【解決手段】画像符号化装置は、符号化対象の画像を予め設定された複数種類の矩形ブロックのいずれかに分割するブロック分割部１０２と、複数種類の矩形ブロックそれぞれに対応する複数種類の量子化マトリクスを生成する生成部と、該生成部で生成した、それぞれの量子化マトリクスを、それぞれの形状に応じた走査順に従って符号化する量子化マトリクス符号化部１１３と、分割部で得た着目の矩形ブロックの画像を周波数変換し、得られた変換係数を着目の矩形ブロックの形状に応じた量子化マトリクスを用いて量子化する変換・量子化部１０５と、該変換・量子化部で得た量子化後の変換係数を符号化する符号化部１１０と、量子化マトリクス符号化部で得た符号化データと、符号化部で得た符号化データとを統合する統合符号化部１１１とを有する。【選択図】図１

Description

本発明は画像の符号化技術に関するものである。

動画像の圧縮記録の符号化方式として、High Efficiency Video Coding（以下、ＨＥＶＣと記す）が知られている。ＨＥＶＣでは符号化効率向上のため、従来のマクロブロック（１６×１６画素）より大きなサイズの基本ブロックが採用された。この大きなサイズの基本ブロックはＣＴＵ（Coding Tree Unit）と呼ばれ、そのサイズは最大６４×６４画素である。ＣＴＵはさらに予測や変換を行う単位となるサブブロックに分割される。

また、ＨＥＶＣにおいては、量子化マトリクスと呼ばれる、直交変換を施した後の係数（以下、直交変換係数と記す）を、周波数成分に応じて重み付けをする処理が用いられている。人間の視覚は高周波成分に鈍感であることを利用し、高周波成分のデータを削減することで、画質を維持しながら圧縮効率を高めることが可能となっている。特許文献１では、このような量子化マトリクスを符号化する技術が開示されている。

近年、ＨＥＶＣの後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。Joint Video Experts Team（ＪＶＥＴ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立され、Versatile Video Coding符号化方式（以下、ＶＶＣと記す）として標準化が進められている。符号化効率向上のため、従来の正方形サブブロックベースのイントラ予測・直交変換方法に加え、長方形サブブロックベースのイントラ予測・直交変換方法が検討されている。

特開２０１３−３８７５８号公報

ＶＶＣにおいても、ＨＥＶＣと同様に量子化マトリクスの導入が検討されている。さらにＶＶＣでは、正方形だけでなく長方形のサブブロックおよびそれに対応した直交変換の形状が検討されているが、それぞれの直交変換係数の分布は直交変換の形状によって異なる。そのため、直交変換の形状に応じて最適な量子化マトリクスは異なり、それぞれの量子化マトリクスに適した符号化処理を行わないと、量子化マトリクス自体の符号量が不必要に増大することとなる。

したがって、本発明は上述した課題を解決するためになされたものであり、直交変換の形状に応じて設定された量子化マトリクスを符号化したときの符号量を抑制する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
画像を符号化する画像符号化装置であって、
符号化対象の画像を予め設定された複数種類の矩形ブロックのいずれかに分割する分割手段と、
前記複数種類の矩形ブロックそれぞれに対応する複数種類の量子化マトリクスを生成する生成手段と、
該生成手段で生成した、それぞれの量子化マトリクスを、それぞれの形状に応じた走査順に従って符号化する第１の符号化手段と、
前記分割手段で得た着目の矩形ブロックの画像を周波数変換し、得られた変換係数を前記着目の矩形ブロックの形状に応じた量子化マトリクスを用いて量子化する量子化手段と、
該量子化手段で得た量子化後の変換係数を符号化する第２の符号化手段と、
前記第１の符号化手段で得た符号化データと、前記第２の符号化手段で得た符号化データとを統合する統合手段とを有する。

本発明によれば、複数種類の量子化マトリクスに対して適応的に量子化マトリクス自体の符号量を抑制することが可能になる。

実施形態における画像符号化装置のブロック構成図。 実施形態における画像復号装置のブロック構成図。 実施形態に係る画像符号化装置における符号化処理を示すフローチャート。 実施形態に係る画像復号装置における復号処理を示すフローチャート。 実施形態における画像符号化装置、復号装置に適用可能なコンピュータのハードウェア構成図。 実施形態の画像符号化装置が生成するビットストリーム構造の例を示す図。 実施形態の画像符号化装置におけるブロック分割の例を示す図。 実施形態で用いられる量子化マトリクスの例を示す図。 実施形態における量子化マトリクスの要素の走査方法を示す図。 実施形態で生成される量子化マトリクスの差分値行列の例を示す図。 量子化マトリクスの差分値の符号化に用いられる符号化テーブルの例を示す図。

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

図１は本実施形態の画像符号化装置のブロック構成図である。画像符号化装置は、装置全体の制御を司る制御部１５０を有する。この制御部１５０は、ＣＰＵ、ＣＰＵが実行するプログラムを格納するＲＯＭ、ＣＰＵのワークエリアとして利用するＲＡＭを有する。また、画像符号化装置は、入力端子１０１、ブロック分割部１０２、量子化マトリクス保持部１０３、予測部１０４、変換・量子化部１０５、逆量子化・逆変換部１０６、画像再生部１０７、フレームメモリ１０８、インループフィルタ部１０９、符号化部１１０、統合符号化部１１１、出力端子１１２、及び、量子化マトリクス符号化部１１３を有する。

入力端子１０１は、画像データ発生源で発生した符号化対象の画像データをフレーム単位に入力する。画像データ発生源は、撮像装置、符号化対象の画像データを記憶したファイルサーバや記憶媒体等、その種類は問わない。また、出力端子１１２は、符号化データを出力先装置に出力するが、その出力先装置も記憶媒体、ファイルサーバ等、特に問わない。

ブロック分割部１０２は、入力端子１０１より入力した符号化対象の画像データを、複数の基本ブロックに分割し、その１つを着目基本ブロックとして後段の予測部１０４に順次出力する。

量子化マトリクス保持部１０３は、矩形ブロック（正方向、長方形を含む）であって、複数種類の量子化マトリクスを生成し、内部のメモリに保持する。量子化マトリクスの生成方法については特に限定しないが、ユーザが量子化マトリクスを入力しても良いし、入力画像の特性から算出しても、初期値として予め指定されたものを使用しても良い。本実施形態における量子化マトリクス保持部１０３は、図８（ａ）〜（ｃ）に示される８×８画素、４×８画素、８×４画素の直交変換に対応した二次元の量子化マトリクスを生成し、保持しているものとする。

量子化マトリクスとは、直交変換を施した後の変換係数に対して、周波数成分に応じて重み付けするための成分を有するマトリクスのことを指す。なお、量子化マトリクスは、スケーリングリストと呼ばれることもある。

予測部１０４は、基本ブロック単位の画像データに対し、ブロック分割の種類を決定し、サブブロック単位に、フレームメモリ１０８を参照して、フレーム内予測であるイントラ予測やフレーム間予測であるインター予測などを行い、予測画像データを生成する。さらに、入力された画像データと前記予測画像データから予測誤差を算出し、出力する。また、予測部１０４は、予測に必要な情報、例えばサブブロック分割、予測モードや、予測データの所在位置を特定する情報（動きベクトル）等も予測誤差と併せて出力される。以下ではこの予測に必要な情報を予測情報と呼称する。

変換・量子化部１０５は、予測部１０４から入力した予測誤差をサブブロック単位で直交変換（周波数変換）して変換係数を得る。そして、変換・量子化部１０５は、得られた変換係数を、量子化マトリクス保持部１０３に格納されている量子化マトリクスを用いて量子化を行い、量子化後の係数を得る。

逆量子化・逆変換部１０６は、変換・量子化部１０５から出力された量子化後の係数を量子化マトリクス保持部１０３に格納されている量子化マトリクスを用いて逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する。

画像再生部１０７は、予測部１０４から出力された予測情報に基づいて、フレームメモリ１０８を適宜参照して予測画像データを生成する。そして、画像再生部１０７は、予測画像データに、逆量子化・逆変換部１０６からの予測誤差を加算することで、再生画像データを生成し、フレームメモリ１０８に格納する。

インループフィルタ部１０９は、画像再生部１０７が再生した再生画像に対し、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行い、フィルタ処理された画像を再びフレームメモリ１０８に格納する。

符号化部１１０は、変換・量子化部１０５から出力された量子化係数および予測部１０４から出力された予測情報を符号化して、符号データを生成し、その符号化データを統合符号化部１１１に出力する。

量子化マトリクス符号化部１１３は、量子化マトリクス保持部１０３から出力された量子化マトリクスを符号化して、量子化マトリクス符号化データを生成し、その符号化データを統合符号化部１１１に出力する。

統合符号化部１１１は、量子化マトリクス符号化部１１３からの出力である量子化マトリクスの符号化データ等を格納するヘッダ符号データを生成する。さらに統合符号化部１１１は、ヘッダ符号データと、符号化部１１０から出力された符号データとを合わせて、ビットストリームを形成して、出力端子１１２を介して符号化データを出力する。

ここで、画像符号化装置における画像データの符号化処理をより詳しく説明する。本実施形態では動画像データをフレーム単位に入力する構成とするが、１フレーム分の静止画像データを入力する構成としても構わない。また、本実施形態では、説明を容易にするため、イントラ予測符号化の処理を説明するが、これに限定されずインター予測符号化の処理においても適用可能である。さらに本実施形態では説明のため、ブロック分割部１０１は、符号化対象の１フレームの画像データを、複数の、８×８画素の基本ブロックに分割するものとして説明するが、これに限定されない。

画像データの符号化に先立ち、量子化マトリクスの符号化が行われる。

量子化マトリクス保持部１０３は、予め生成された量子化マトリクスを保持する。具体的には、符号化されるサブブロックのサイズに応じて、量子化マトリクスが決定される。量子化マトリクスを構成する各要素の決定方法は特に限定しない。例えば、所定の初期値を用いても良いし、個別に設定しても良い。また、画像の特性に応じて生成されても構わない。

量子化マトリクス保持部１０３は、図８に示す量子化マトリクスを保持する。図８（ａ）は８×８画素サイズの直交変換に対応する量子化マトリクス８００を、図８（ｂ）は４×８画素サイズの直交変換に対応する量子化マトリクス８０１を、図８（ｃ）は８×４画素サイズの直交変換に対応する量子化マトリクス８０２を示している。説明を簡易にするため、それぞれ８×８の６４画素分または８×４もしくは４×８の３２画素分の構成とし、太枠内の各正方形は量子化マトリクスを構成している各要素を表しているものとする。本実施形態では、図８（ａ）〜（ｃ）に示された三種の量子化マトリクス８００〜８０２が二次元の形状で保持されているものとするが、量子化マトリクス内の各要素はもちろんこれに限定されない。さらに、本実施形態に加えて４×４画素サイズの直交変換も用いる場合は、図８（ｄ）に示されたような４×４画素サイズの直交変換に対応する他の量子化マトリクス８０３も保持することになる。また、後述の予測方法、例えばイントラ予測を用いるかインター予測を用いるかによって、あるいは符号化対象が輝度ブロックか色差ブロックかによって、同じ大きさの直交変換に対して複数の量子化マトリクスを保持することも可能である。一般的に、量子化マトリクスは人間の視覚特性に応じた量子化処理を実現するため、図８（ａ）〜（ｆ）に示す量子化マトリクス８００〜８０５の左上部分に相当する低周波部分の要素は小さく、右下部分に相当する高周波部分の要素は大きな値となる。

量子化マトリクス符号化部１１３は、二次元形状で格納されている量子化マトリクスを量子化マトリクス保持部１０６から順に読み出し、各要素を走査して差分を計算し、一次元の行列に配置し、その後で符号化する。本実施形態では、図８（ａ）〜（ｃ）に示された各量子化マトリクスはそれぞれ図９（ａ）、（ｂ）、（ｄ）に示された走査方法を用い、要素ごとに走査順に直前の要素との差分を取得し、この差分が符号化されるものとする。

例えば、図８（ａ）に示された８×８画素の正方の量子化マトリクス８００の場合、最小の周波数（直流）を示す左上隅から最大の周波数を示す右下隅に至る範囲を、図９（ａ）に示すように斜め方向にスキャンしていく。具体的には、量子化マトリクス符号化部１１３は、左上に位置する最初の要素“６”は、走査の最初であるので予め設定された初期値との差分を計算する。そして、以降の要素は、直前の要素との差を求める。つまり２つ目の要素は、最初の要素のすぐ下に位置する“９”であるので、１つ前の要素（最初の要素）との差分である“＋３”が取得される。以下、量子化マトリクス符号化部１１３は、この差分演算を図９（ａ）に示す走査順に走査して求めていく。また、マトリクスの端部の要素に対しては、１行２列目の要素と３行１列目の要素との差分、１行３列目の要素と４行１列目との差分、といった具合に差分が取得される。なお、図８（ｄ）に示された４×４画素の正方の（正方）の量子化マトリクス８０３に関しても、同様に図９（ｆ）に示すような斜めスキャンを行うことによって各要素の差分が取得されることになる。

また、図８（ｂ）で示された４×８画素分の量子化マトリクス８０１の場合、量子化マトリクス符号化部１１３は、図９（ｂ）で示されるように垂直（上から下）にスキャンする処理を、左（低周波）から右側（高周波）に移して行う。具体的には、量子化マトリクス符号化部１１３は、左上に位置する最初の要素“６”は、走査の最初であるので予め設定された初期値との差分を取得する。そして、その次に、量子化マトリクス符号化部１１３は、すぐ下に位置する要素“９”を読み出し、１つ前の要素（最初の要素）との差分である“＋３”を取得する。この処理を繰り返し行い、そして量子化マトリクス符号化部１１３は、１行２列目の要素“１３”と８行１列目の要素“３７”との差分“−２４”を取得する。以下、量子化マトリクス符号化部１１３は、この差分演算を図９（ｂ）に示す走査順に走査して求めていく。

同様に図８（ｃ）で示された８×４画素分の量子化マトリクス８０２の場合、量子化マトリクス符号化部１１３は、図９（ｄ）で示されるように、水平（左から右）にスキャンする処理を、上側（低周波）から下側（高周波）に移して行う。具体的には、量子化マトリクス符号化部１１３は、左上に位置する最初の要素“６”は、走査の最初であるので予め設定された初期値との差分を取得する。そして、その次に、量子化マトリクス符号化部１１３は、その右隣に位置する要素“９”と、１つ前の要素（最初の要素“６”）との差分である“＋３”を取得する。この処理を繰り返し行い、そして量子化マトリクス符号化部１１３は、２行１列目の要素“１３”と１行８列目の要素“３７”との差分“−２４”を取得する。以下、量子化マトリクス符号化部１１３は、この差分演算を図９（ｄ）に示す走査順に走査して求めていく。

なお、実施形態では、量子化マトリクス符号化部１１３は、１つの量子化マトリクスの最初の要素の差分を求める際に参照する初期値は“８”とするが、もちろんこれに限定されず、任意の値で良い。要するに、符号化側と復号側との間で共通の値となっていれば良い。特に初期値を“０”とした場合、最初の要素がそのまま計算結果となる。

このようにして、本実施形態では、図８（ａ）〜（ｃ）の量子化マトリクス８００〜８０２はそれぞれ、図９（ａ）、（ｂ）、（ｄ）の走査方法を用い、図１０（ａ）〜（ｃ）に示される差分の１次元行１０００〜１００２が生成される。量子化マトリクス符号化部１１３はさらにこの差分行列を符号化して量子化マトリクス符号データを生成する。本実施形態では図１１（ａ）に示される符号化テーブルを用いて符号化するものとするが、符号化テーブルはこれに限定されず、例えば図１１（ｂ）に示される符号化テーブルを用いても良い。このようにして生成された量子化マトリクス符号データは後段の統合符号化部１１１に出力される。

画像符号化処理に用いられる量子化マトリクスは、図８（ａ）〜（ｃ）の例でも示しているように、一般的に左上に位置する低周波部分から右下に位置する高周波部分にかけて要素の値が増加していく傾向がある。図８（ｂ）、（ｃ）のような長方形の量子化マトリクスの場合は、垂直と水平方向の要素数の違いから、互いに要素の増加度合いが異なる。そのため、図８（ｂ）のような水平方向よりも垂直方向に長い量子化マトリクス８０１の場合は、垂直方向の要素間の増加の度合いが緩やかなため、図９（ｂ）のような垂直スキャンを用いて要素を走査することで、要素間の差分値が小さくなり、結果として符号量を削減することができる。同様に、図８（ｃ）のような垂直方向よりも水平方向に長い量子化マトリクス８０２の場合は、水平方向の要素間の増加度合いが緩やかなため、図９（ｄ）のような水平スキャンを用いて要素を走査することで、結果として符号量を削減することができる。

なお、上記実施形態では、量子化マトリクスを８×８、４×８、８×４画素サイズとして説明したが、整数Ｎ，Ｍの関係がＮ＞Ｍとしたとき、Ｎ×Ｎ画素、Ｍ×Ｎ画素，Ｎ×Ｍ画素のサイズとして一般化できる。更に、これ以外のサイズを含めるようにしても構わない。

例えば、２×８画素サイズの直交変換を用いる場合には、図８（ｅ）の量子化マトリクス８０４を量子化マトリクス保持部１０３が保持することになる。２×８画素サイズの量子化マトリクスを符号化する場合、量子化マトリクス符号化部１１３は、図９（ｇ）に示す垂直スキャンを用いて量子化マトリクスの各要素の差分を取得し、符号化する。また、８ｘ２画素サイズの直交変換を用いる場合には、図８（ｆ）の量子化マトリクス８０５を量子化マトリクス保持部１０３が保持することになる。この８×２画素サイズの量子化マトリクスを符号化する場合、量子化マトリクス符号化部１１３は、図９（ｈ）に示す水平スキャンを用いて量子化マトリクスの各要素の差分を取得し、符号化する。

図１に戻り、統合符号化部１１１では画像データの符号化に必要なヘッダ情報を符号化し、量子化マトリクスの符号データを統合する。この際、統合符号化部１１１は、量子化マトリクスのサイズの種類（例えば８×８、４×８、８×４）と、各量子化マトリクス符号化データとの対応関係を示す情報もヘッダ情報に含める。簡単には、量子化マトリクスのサイズの種類が８×８、４×８、８×４となっている場合、これと同じ順序で量子化マトリクス符号化データを格納すればよい。ただし、順序はこれに限らず４×８、８×４、８×８と小さい方から順番に量子化マトリクス符号化データを格納しても構わない。

続いて、画像データの符号化について説明する。端子１０１から入力された１フレーム分の画像データはブロック分割部１０２に供給される。ブロック分割部１０２は、入力された画像データを複数の基本ブロックに分割し、基本ブロック単位の画像を予測部１０４に出力する。本実施形態では８×８画素の基本ブロック単位の画像を出力するものとする。

予測部１０４は、ブロック分割部１０２から入力された基本ブロック単位の画像データに対し予測処理を実行する。具体的には、基本ブロックをさらに細かいサブブロックに分割するブロック分割の種類を決定し、さらにサブブロック単位で水平予測や垂直予測などのイントラ予測モードを決定する。

図７（ａ）乃至（ｆ）に基本ブロックを分割して得られるブロック分割の種類の一例を示す。太枠の７００乃至７０５は基本ブロックを表しており、説明を簡易にするため、８×８画素の構成とし、太枠内の各四角形はサブブロックを表している。図７（ａ）は基本ブロック７００を分割せず、基本ブロック＝サブブロックの例を示している。図７（ｂ）は、従来の正方形サブブロックの一例を表しており、基本ブロック７０１が、４×４画素サイズの４つのサブブロックに分割されている例である。一方、図７（ｃ）〜（ｆ）は長方形サブブロックの一例を表している。図７（ｃ）では基本ブロック７０２が４×８画素サイズの２つのサブロックに分割された例を示している。図７（ｄ）は基本ブロック７０２が、８×４画素サイズの２つのサブブロックに分割された例を示している。また、図７（ｅ）、（ｆ）では、分割方向が異なるものの、基本ブロック７０４、７０５が１：２：１のサイズ比で、３つの長方形サブブロックに分割された例を示している。このように正方形だけではなく、長方形のサブブロックも用いて符号化処理が行われる。

上記の如く、本実施形態では、８×８画素の基本ブロックを、サブブロック分割しない（図７（ａ））、水平方向に沿って分割する（図７（ｃ））、垂直方向に沿って分割する（図７（ｄ））のいずれかが決定されるものとするが、サブブロック分割方法はこれに限定されない。図７（ｂ）のような四分木分割や、図７（ｅ）、（ｆ）のような三分木分割を用いても構わない。

予測部１０４は、決定したイントラ予測モードおよび符号化済の画素からサブブロックの予測画像データを生成し、さらに入力された画像データと予測画像データから予測誤差を生成し、変換・量子化部１０５に出力する。また、予測部１０４は、サブブロック分割やイントラ予測モードなどの情報を予測情報として、符号化部１１０、画像再生部１０７に出力する。

変換・量子化部１０５は、入力された予測誤差を示す残差に対して直交変換、さらには、量子化を行い、当該残差を示す残差係数を生成する。まず、変換・量子化部１０５は、サブブロックのサイズに対応した直交変換処理が施し、直交変換係数を生成する。次に変換・量子化部１０５は、直交変換係数を量子化マトリクス保持部１０３に格納されている量子化マトリクスを用いて量子化し、残差係数を生成する。本実施形態では、図７（ａ）に対応したサブブロック７００に対しては、図８（ａ）の量子化マトリクス８００が用いられるものとする。同様にして、図７（ｃ）のサブブロック７０２に対しては図８（ｂ）に示す量子化マトリクス８０１、図７（ｄ）のサブブロック７０３に対しては図８（ｃ）の量子化マトリクス８０２が用いる。変換・量子化部１０５は、生成した残差係数を、符号化部１１０および逆量子化・逆変換部１０６に出力する。

逆量子化・逆変換部１０６は、入力された残差係数を量子化マトリクス保持部１０３に格納されている量子化マトリクスを用いて逆量子化して変換係数を再生する。更に、逆量子化・逆変換部１０６は、再生された変換係数を逆直交変換して予測誤差を再生する。なお、逆量子化・逆変換部１０６が逆量子化処理の際に用いる量子化マトリクスは、変換・量子化部１０５が用いるサブブロック分割に対応した量子化マトリクスが用いられる。逆量子化・逆変換部１０６は、再生された予測誤差を画像再生部１０７に出力する。

画像再生部１０７は、予測部１０４から入力される予測情報に基づいて、フレームメモリ１０８を適宜参照し、予測画像を再生する。そして、画像再生部１０７は、再生された予測画像と、逆量子化・逆変換部１０６から入力された再生された予測誤差とから、画像データを再生し、フレームメモリ１０８に格納する。

インループフィルタ部１０９は、フレームメモリ１０８から、画像再生部１０７が再生した画像を読み出し、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、インループフィルタ部１０９は、フィルタ処理された画像を再びフレームメモリ１０８に格納する。

符号化部１１０は、ブロック単位で、変換・量子化部１０５で生成された残差係数、予測部１０４から入力された予測情報をエントロピー符号化し、符号データを生成する。エントロピー符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。そして、符号化部１１０は生成された符号データを統合符号化部１１１に出力する。

統合符号化部１１１は、前述のヘッダの符号データとともに符号化部１１０から入力した符号データなどを多重化してビットストリームを形成する。最終的には、ビットストリームは端子１１２から外部に出力される。

図６（ａ）は実施形態で出力されるビットストリームの一例である。シーケンスヘッダに量子化マトリクスの符号データが含まれ、各要素の符号化結果で構成されている。ただし、符号化される位置はこれに限定されず、ピクチャヘッダ部やその他のヘッダ部に符号化される構成をとってももちろん構わない。また、１つのシーケンスの中で量子化マトリクスの変更を行う場合、量子化マトリクスを新たに符号化することで更新することも可能である。この際、全ての量子化マトリクスを書き換えても良いし、書き換える量子化マトリクスの変換ブロックサイズを指定することでその一部を変更するようにすることも可能である。

図３は、実施形態に係る画像符号化装置における符号化処理を示すフローチャートである。

まず、画像の符号化に先立ち、Ｓ３０１にて、制御部１５０は、量子化マトリクス保持部１０３を制御し、量子化マトリクスを生成し、保持させる。本実施形態の量子化マトリクス保持部１０３は、図８（ａ）〜（ｃ）に示された３種類の量子化マトリクス８００〜８０２を生成し、保持することになる。

Ｓ３０２にて、制御部１５０は、量子化マトリクス符号化部１１３を制御し、Ｓ３０１にて生成・保持された量子化マトリクスを走査して各要素の差分を算出し、差分行列を生成させる。本実施形態では、図８（ａ）〜（ｃ）の量子化マトリクスはそれぞれ、図９（ａ）、（ｂ）、（ｄ）の走査方法を用い、図１０（ａ）〜（ｃ）に示される差分行列が生成されることになる。そして、制御部１５０は、量子化マトリクス符号化部１１３を制御し、生成された差分行列の符号化を行わせ、量子化マトリクス符号データを生成させる。

Ｓ３０３にて、制御部１５０は、統合符号化部１１１を制御し、生成された量子化マトリクス符号データとともに、画像データの符号化に必要なヘッダ情報を符号化し、出力させる。Ｓ３０４にて、制御部１５０は、ブロック分割部１０２を制御し、フレーム単位の入力画像を基本ブロック単位に分割させる。Ｓ３０５にて、制御部１５０は、予測部１０４を制御し、Ｓ３０４にて生成された基本ブロック単位の画像データに対して、予測処理を実行する。そして、予測部１０４によって、図７に示すような基本ブロックを分割することによって得られるブロック分割の種類に関する情報、イントラ予測モードなどの予測情報、および予測画像データが生成される。なお、ブロック分割の種類に関する情報として、図７（ａ）〜（ｆ）のブロック分割の種類に関する識別子が符号化される。なお、ブロック分割の種類に関する情報として、サブブロックの形状の種類そのもの（例えば、４×８画素サイズ、８×２画素サイズなど）に関する識別子を符号化してもよい。また、予測部１０４は、入力された画像データと前記予測画像データから予測誤差を算出することになる。

Ｓ３０６にて、制御部１５０は、変換・量子化部１０５を制御し、Ｓ３０５で算出された予測誤差に対して直交変換させ、変換係数を生成させる。更に、制御部１５０は、変換・量子化部１０５を制御し、Ｓ３０１にて生成・保持された量子化マトリクスを用いて量子化を行わせ、残差係数を生成させる。本実施形態では、図７（ａ）に対応したブロック分割に対しては図８（ａ）の量子化マトリクスが用いられるものとする。同様にして、図７（ｃ）のブロック分割に対しては図８（ｂ）、図７（ｄ）のブロック分割に対しては図８（ｃ）の量子化マトリクスが用いられるものとする。

Ｓ３０７にて、制御部１５０は、逆量子化・逆変換部１０６を制御し、Ｓ３０５で生成された残差係数を、Ｓ３０１にて生成・保持された量子化マトリクスを用いて逆量子化を行い、変換係数を再生させる。また、逆量子化・逆変換部１０６は、変換係数に対して逆直交変換し、予測誤差を再生する。

Ｓ３０８にて、制御部１５０は画像再生部１０７を制御し、Ｓ３０５で生成された予測情報に基づいて予測画像を再生させる。更に、制御部１５０は、画像再生部１０７に、再生された予測画像とＳ３０７で生成された予測誤差から画像データを再生させる。

Ｓ３０９にて、制御部１５９は、符号化部１１０を制御し、Ｓ３０５で生成された予測情報およびＳ３０６で生成された残差係数を符号化し、符号データを生成させる。このとき、符号化部１１０は、図７（ａ）〜（ｆ）のブロック分割の種類に関する識別子を符号化する。また、制御部１５０は、統合符号化部１１１を制御し、他の符号データも含め、ビットストリームを生成させる。

Ｓ３１０にて、制御部１５０は、フレーム内の全ての基本ブロックの符号化が終了したか否かの判定を行う。終了した判定した場合、制御部１５０は処理をＳ３１１に進み、そうでなければ次の基本ブロックを対象の符号化を行うため、処理をＳ３０４に戻す。

Ｓ３１１にて、制御部１５０は、インループフィルタ部１０９を制御し、Ｓ３０８で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。

以上の構成と動作により、特にＳ３０２において、量子化マトリクスの形状に応じた走査方法を用いて量子化マトリクスを符号化することで、量子化マトリクスの符号量を削減することができる。結果として、生成されるビットストリーム全体のデータ量を削減することになるため、圧縮効率を向上させることができる。

なお、本実施形態では、サブブロックのサイズの種類に応じて、使用される量子化マトリクスや要素の走査方法が一意に決まる構成としたが、量子化マトリクスの要素の走査方法を複数の走査方法の中から選択し、識別子をヘッダ内に符号化する構成としても構わない。例えば、図９（ｂ）に示される走査方法を用いるかあるいは図９（ｄ）に示される走査方法を用いるかを示す情報を、量子化マトリクス走査方法情報符号としてヘッダ部分に符号化し、図６（ｂ）に示されるビットストリームを生成する構成としても良い。これにより、各量子化マトリクスが最適な方法で走査され、量子化マトリクスの符号量がより少ないビットストリームを生成することができる。

また、本実施形態では、図８（ｂ）の垂直方向に長尺の量子化マトリクス８０１は図９（ｂ）の垂直スキャンで、図８（ｃ）の水平方向に長尺の量子化マトリクス８０２は図９（ｃ）の水平スキャンで走査して符号化するものとした。しかし、用いられる走査方法はこれに限定されない。例えば、図８（ｂ）の量子化マトリクス８０１に対しては図９（ｄ）のような走査方法を用いても良く、水平方向よりも水平方向の要素を先に走査・符号化することで、本実施形態と同様の符号量削減効果を実現することができる。同様にして、図８（ｃ）の量子化マトリクス８０２に対しては、図９（ｅ）のような走査方法を用いても良い。

図２は、本実施形態における画像復号装置の構成を示すブロック図である。この画像復号装置は、上述の実施形態の画像符号化装置で生成された符号化データの復号するものである。

画像復号装置は、装置全体の制御を司る制御部２５０を有する。この制御部２５０は、ＣＰＵ、ＣＰＵが実行するプログラムを格納するＲＯＭ、ＣＰＵのワークエリアとして利用するＲＡＭを有する。また、画像復号装置は、入力端子２０１、分離復号部２０２、復号部２０３、逆量子化・逆変換部２０４、画像再生部２０５、フレームメモリ２０６、インループフィルタ部２０７、出力端子２０８、及び、量子化マトリクス復号部２０９を有する。

入力端子２０１は、符号化されたビットストリームを入力するものであり、入力源は例えば符号化ストリームを格納した記憶媒体であるが、ネットワークから入力しても良く、その種類は問わない。

分離復号部２０２は、入力したビットストリームから復号処理に関する情報や係数に関する符号データに分離する。また、分離復号部２０２は、ビットストリームのヘッダ部に存在する符号化データを復号する。本実施形態の分離復号部２０２は、量子化マトリクス符号化データを分離し、後段に出力する。分離復号部２０２は、図１の統合符号化部１１１と逆の動作を行うものでもある。

量子化マトリクス復号部２０９は、量子化マトリクス符号を復号して量子化マトリクスを再生する。復号部２０３は、分離復号部２０２から出力された画像の符号化データを復号し、残差係数および予測情報を再生する。

逆量子化・逆変換部２０４は、図１の逆量子化・逆変換部１０６と同様、再生された量子化マトリクスを用いて残差係数に逆量子化を行って変換係数を得、さらに逆直交変換を行い、予測誤差を再生する。

画像再生部２０５は、入力された予測情報に基づいて、フレームメモリ２０６を適宜参照して予測画像データを生成する。そして、この予測画像データと逆量子化・逆変換部２０４で再生された予測誤差から再生画像データを生成し、フレームメモリ２０６に再格納する。

インループフィルタ部２０７は、図１のインループフィルタ部１０９と同様、フレームメモリ２０６に格納された再生画像に対し、デブロッキングフィルタなどのインループフィルタ処理を行い、フィルタ処理後の画像をフレームメモリ２０７に再格納する。

出力端子は、フレームメモリ２０６に格納されたフレーム画像を順次、外部に出力する。出力先は、表示装置とするが、他のデバイスであっても構わない。

次に上記画像復号装置における動作を、より詳しく説明する。本実施形態の画像復号装置は、実施形態の画像符号化装置で生成されたビットストリームをフレーム単位で入力する構成となっているが、１フレーム分の静止画像ビットストリームを入力する構成としても構わない。また、本実施形態では説明を容易にするため、イントラ予測復号処理のみを説明するが、これに限定されずインター予測復号処理においても適用可能である。

分離復号部２０２は、入力端子２０１を介して入力した１フレーム分のビットストリームから、復号処理に関する情報や係数に関する符号化データに分離し、ビットストリームのヘッダ部に存在する符号化データを復号する。より具体的には、分離復号部２０２は、量子化マトリクスの符号化データを再生する。分離復号部２０２は、図６（ａ）に示されるビットストリームのシーケンスヘッダから量子化マトリクスの符号化データを抽出し、量子化マトリクス復号部２０９に出力する。続いて、分離復号部２０２は、ピクチャデータの基本ブロック単位の符号データを再生し、復号部２０３に出力する。

量子化マトリクス復号部２０９は、まず入力された量子化マトリクス符号データを復号し、一次元の差分行列を再生する。本実施形態では、図１１（ａ）に示される符号化テーブルを用いて復号するものとするが、符号化テーブルはこれに限定されず、本実施形態と同じものを用いる限りは他の符号化テーブルを用いても良い。さらに量子化マトリクス復号部２０９は、再生された一次元の差分行列を逆走査し、二次元の量子化マトリクスを再生する。ここでは本実施形態の量子化マトリクス符号化部１１３と同様の走査を行う。すなわち、本実施形態の量子化マトリクス復号部２０９は、図１０（ａ）〜（ｃ）に示される差分行列１０００〜１００２はそれぞれ、図９（ａ）、（ｂ）、（ｄ）に示される走査方法を用いて、図８（ａ）〜（ｃ）に示される３種の量子化マトリクスを再生し、自身が有する内部メモリ（不図示）に保持する。

復号部２０３は、画像の符号化データを復号し、着目ブロックの量子化係数および予測情報を再生する。復号部２０３は、再生した量子化係数を逆量子化・逆変換部２０４に出力し、再生された予測情報を画像再生部２０５に出力する。

逆量子化・逆変換部２０４は、入力された量子化係数に対し、量子化マトリクス復号部２０９で再生された量子化マトリクスを用いて逆量子化を行って直交変換係数を生成する。さらに逆量子化・逆変換部２０４は、逆直交変換を施して予測誤差を再生する。そして、逆量子化・逆変換部２０４は、再生された予測情報を画像再生部２０５に出力する。この際、復号対象のサブブロックのサイズの種類に応じて用いられる量子化マトリクスが定まり、本実施形態では、図７（ａ）に対応したブロック分割に対しては図８（ａ）の量子化マトリクスが用いられるものとする。同様にして、図７（ｃ）のブロック分割に対しては図８（ｂ）、図７（ｄ）のブロック分割に対しては図８（ｃ）の量子化マトリクスが用いられるものとする。

画像再生部２０５は、復号部２０３から入力された予測情報に基づいて、フレームメモリ２０６を参照し、予測画像を再生する。そして、画像再生部２０５は、この予測画像に、逆量子化・逆変換部２０４から入力された予測誤差を加算することで、画像データを再生し、その再生した画像データをフレームメモリ２０６に格納する。この格納された画像データは、後続する符号化データの復号時の予測の際に参照されることになる。

インループフィルタ部２０７は、図１のインループフィルタ部１０９と同様、フレームメモリ２０６から再生画像を読み出し、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、インループフィルタ部２０７は、フィルタ処理された画像を再びフレームメモリ２０６に格納する。フレームメモリ２０６に格納された再生画像は、最終的には出力端子２０８から外部に出力されることになる。

図４は、実施形態の画像復号装置における制御部２５０の復号処理を示すフローチャートである。

まず、Ｓ４０１にて、制御部２５０は、分離復号部２０２を制御し、ビットストリームから復号処理に関する情報や係数に関する符号化データに分離させてヘッダ部分の符号化データを復号する。この結果、分離復号部２０２は、量子化マトリクス符号データを再生することになる。

Ｓ４０２にて、制御部２５０は、量子化マトリクス復号部２０９を制御し、Ｓ４０１で再生された量子化マトリクス符号データを復号させる。この結果、図１０（ａ）〜（ｃ）で示されたような一次元の差分行列が再生される。さらに制御部２５０は、量子化マトリクス復号部２０９を制御し、再生された一次元の差分行列を走査し、二次元の量子化マトリクスを再生する。すなわち、量子化マトリクス復号部２０９は、図１０（ａ）〜（ｃ）に示される差分行列を、それぞれ、図９（ａ）、（ｂ）、（ｄ）に示される走査方法を用いて、図８（ａ）〜（ｃ）に示される３種の量子化マトリクスを再生し、内部のメモリに保持する。

Ｓ４０３にて、制御部２５０は復号部２０３を制御し、Ｓ４０１で分離された画像の符号化データを復号させ、量子化係数および予測情報を再生させる。

具体的には、復号部２０３は、ビットストリームから分割情報を復号し、図７（ａ）〜（ｆ）に示すようなブロック分割の種類に関する情報を取得する。ブロック分割の種類に関する情報として、図７（ａ）〜（ｆ）のブロック分割の種類に関する識別子を取得する。なお、画像復号装置においてはこれらの識別子に対応するブロック分割の種類は既知であるとする。すなわち、制御部２５０は、取得した識別子に対応するブロック分割の種類が判別できるので、どの形状の種類の量子化マトリクスを使用するかを判別することができる。例えば、図７（ｃ）に対応するブロック分割の種類に関する識別子が取得された場合、４×８画素サイズのサブブロックの量子化マトリクスを２回使用することになる。

なお、ブロック分割の種類に関する情報として、サブブロックの形状の種類そのもの（例えば、４×８画素サイズ、８×２画素サイズなど）に関する識別子がビットストリームから復号される場合、これらの識別子とそれらに対応するサブブロック形状の種類は既知であるとする。

さらに、復号部２０３は、取得されたブロック分割の種類に従って、用いる量子化マトリクスを決定する。例えば、図７（ｃ）の場合、４×８画素サイズの量子化マトリクスが２回使用される。また図７（ｅ）の場合、２×８画素サイズの量子化マトリクス、４×８画素サイズの量子化マトリクス、そして再び２×８画素サイズの量子化マトリクスが使用される。

そして、制御部２５０は、Ｓ４０４にて、逆量子化・逆変換部２０４を制御し、量子化係数に対して、Ｓ４０２で再生された量子化マトリクスを用いて逆量子化を行わせて変換係数を得、さらに逆直交変換を行わせ、予測誤差を再生させる。

Ｓ４０５にて、制御部２５０は、画像再生部２０５を制御し、Ｓ４０３で生成された予測情報や予測画像を再生させる。さらに制御部２５０は画像再生部２０５を制御して、再生された予測画像と、Ｓ４０４で生成された予測誤差から画像データを再生させる。

Ｓ４０６にて、制御部２５０は、フレーム内の全ての基本ブロックの復号が終了したか否かの判定を行う。全基本ブロックの復号が完了していない場合、制御部２５０は処理を４０３に戻し、次の記録ブロックの復号処理を行う。また、フレーム内の全ての基本ブロックの復号が完了した場合、制御部２５０は処理をＳ４０７に進める。このＳ４０７にて、制御部２５０は、インループフィルタ部２０７を制御し、Ｓ４０５で再生された画像データに対し、インループフィルタ処理を行わせ、フィルタ処理された画像を再度フレームメモリに格納し、本処理を終了する。

以上の構成と動作により、本実施形態で生成された、量子化マトリクスの形状に応じた走査方法を用い、量子化マトリクスの符号量を削減したビットストリームを復号することができる。

なお、本実施形態では、サブブロックのサイズの種類に応じて、使用される量子化マトリクスや要素の走査方法が一意に決まる構成としたが、量子化マトリクスの要素の走査方法を複数の走査方法の中から選択する識別子をヘッダから復号する構成としても構わない。例えば、図９（ｂ）に示される走査方法を用いるかあるいは図９（ｄ）に示される走査方法を用いるかを示す情報を、図６（ｂ）に示されるビットストリームのヘッダ部分から量子化マトリクス走査方法情報符号として復号する構成としても良い。これにより、各量子化マトリクスが最適な方法で走査され、量子化マトリクスの符号量がより少ないビットストリームを復号することができる。

また、本実施形態では、図８（ｂ）の縦長量子化マトリクスは図９（ｂ）の垂直スキャンで、図８（ｃ）の横長量子化マトリクスは図９（ｄ）の水平スキャンで逆走査して復号されるものとしたが、用いられる走査方法はこれに限定されない。例えば、図８（ｂ）の縦長量子化マトリクスに対しては図９（ｃ）のような走査方法を用いても良く、水平方向よりも水平方向の要素を先に逆走査・復号することで、同様に符号量が削減されたビットストリームを復号することができる。同様にして、図８（ｃ）の横長量子化マトリクスに対しては、図９（ｅ）のような走査方法を用いても良い。

［第２の実施形態］
図１、図２に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理を、パーソナルコンピュータに代表される情報処理装置で実行するコンピュータプログラムによって実現させる例を第２の実施形態として説明する。

図５は、本第２の実施形態におけるコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。

ＲＡＭ５０２は、外部記憶装置５０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）５０７を介して外部から取得したデータなどを一時的に記憶するために用いられる。更に、ＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ５０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ５０３には、本コンピュータの設定データ（ＢＩＯＳを含む）や、ブートプログラムなどが格納されている。操作部５０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ５０１に対して入力することができる。表示部５０５は、ＣＰＵ５０１による処理結果を表示する。また表示部５０５は例えば液晶ディスプレイで構成される。

外部記憶装置５０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置５０６には、ＯＳ（オペレーティングシステム）や、図１、図２に示した各部の機能をＣＰＵ５０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置５０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜、ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。Ｉ／Ｆ５０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ５０７を介して様々な情報を取得したり、送出したりすることができる。５０８は上述の各部を繋ぐバスである。

上述の構成において、本装置の電源がＯＮになると、ＣＰＵ５０１はＲＯＭ５０３のブートプログラムを実行することで、外部記憶装置５０６からＯＳをＲＡＭ５０２にロードし実行する。この結果、操作部５０４と表示部５０５によるユーザインターフェースが機能する。そして、ＣＰＵ５０１は、ユーザにより画像符号化、復号に係るプログラムを実行指示を受け付けると、そのプログラムを外部記憶装置５０６からＲＡＭ５０２に読み出し、ＯＳの下で実行する。この結果、ＣＰＵ５０１は、図１または図２の各処理部として処理を行い、ＣＰＵ５０１が図３又は図４に従って制御を行うことで、本装置が画像符号化装置或いは画像復号装置として機能することになる。なお、図１、図２におけるフレームメモリは、ＲＡＭ５０２が代用されるものとする。また、符号化対象の画像データや符号化画像データは外部記憶装置５０６に格納されるものとする。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は静止画・動画の符号化・復号を行う符号化装置・復号装置に用いられる。特に、量子化マトリクスを使用する符号化方式および復号方式に適用が可能である。

１０１、２０１…入力端子、１１２、２０８…出力端子、１０２…ブロック分割部、１０３…量子化マトリクス保持部、１０４…予測部、１０５…変換・量子化部、１０６、２０４…逆量子化・逆変換部、１０７、２０５…画像再生部、１０８、２０６… フレームメモリ、１０９、２０７…インループフィルタ部、１１０…符号化部、１１１…統合符号化部、１１３…量子化マトリクス符号化部、２０２…分離復号部、２０３…復号部、２０９…量子化マトリクス復号部

Claims (9)

1. 画像を符号化する画像符号化装置であって、
   符号化対象の画像を予め設定された複数種類の矩形ブロックのいずれかに分割する分割手段と、
   前記複数種類の矩形ブロックそれぞれに対応する複数種類の量子化マトリクスを生成する生成手段と、
   該生成手段で生成した、それぞれの量子化マトリクスを、それぞれの形状に応じた走査順に従って符号化する第１の符号化手段と、
   前記分割手段で得た着目の矩形ブロックの画像を周波数変換し、得られた変換係数を前記着目の矩形ブロックの形状に応じた量子化マトリクスを用いて量子化する量子化手段と、
   該量子化手段で得た量子化後の変換係数を符号化する第２の符号化手段と、
   前記第１の符号化手段で得た符号化データと、前記第２の符号化手段で得た符号化データとを統合する統合手段と
   を有することを特徴とする画像符号化装置。
2. 前記分割手段は、整数Ｎ，ＭがＮ＞Ｍの関係にあるとしたとき、符号化対象の画像から、Ｎ×Ｎ画素のブロック、Ｍ×Ｎ画素のブロック、Ｎ×Ｍ画素のブロックのいずれかで着目のブロックを分割し、
   前記第１の符号化手段は、
   Ｎ×Ｍ画素の量子化マトリクスについては、水平方向に沿った走査を、低周波から高周波に向かって行うことで符号化する
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記第１の符号化手段は、１つの量子化マトリクスを符号化するとき、当該量子化マトリクスにおける最初の量子化ステップ値については、予め設定された初期値との差分を求め、以降の量子化ステップ値については直前の量子化ステップ値との差分を求め、該差分に符号を割り当てることで符号化することを特徴とする請求項２に記載の画像符号化装置。
4. 前記第１の符号化手段は、差分が０に近いほど短い符号を割り当てたテーブルを用いて符号化することを特徴とする請求項３に記載の画像符号化装置。
5. 前記第２の符号化手段は、
   符号化済みの画像を格納するフレームメモリを参照して、前記着目の矩形ブロックに対する予測データを生成し、
   前記着目の矩形ブロックが表す画像と、前記予測データとの予測誤差を求め、
   該予測誤差を周波数変換し、
   周波数変換で得られた係数を前記着目の矩形ブロックに対応する量子化マトリクスを用いて量子化し、
   前記予測データを特定するための情報と、前記量子化で得た係数を符号化する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
6. 請求項１に記載の画像符号化装置により得た符号化データを復号する画像復号装置であって、
   復号対象の符号化データから、量子化マトリクスの符号化データと、画像データの符号化データとを分離する分離手段と、
   該分離手段により得た前記量子化マトリクスの符号化データを、再生しようとする量子化マトリクスの形状に応じた走査順に従って復号し、復号して得られた複数種類の量子化マトリクスを保持する第１の復号手段と、
   前記分離手段により得た着目ブロックの画像データの符号化データを復号することで、前記着目ブロックの量子化後の係数を得る第２の復号手段と、
   該第２の復号手段で得た前記着目ブロックの量子化後の係数を、当該着目ブロックに対応する量子化マトリクスを用いて逆量子化し、当該逆量子化で得た係数を逆直交変換することで前記着目ブロックの画像を再生する再生手段と
   を有することを特徴とする画像復号装置。
7. 画像を符号化する画像符号化装置の制御方法であって、
   符号化対象の画像を予め設定された複数種類の矩形ブロックのいずれかに分割する分割工程と、
   前記複数種類の矩形ブロックそれぞれに対応する複数種類の量子化マトリクスを生成する生成工程と、
   該生成工程で生成した、それぞれの量子化マトリクスを、それぞれの形状に応じた走査順に従って符号化する第１の符号化工程と、
   前記分割工程で得た着目の矩形ブロックの画像を周波数変換し、得られた変換係数を前記着目の矩形ブロックの形状に応じた量子化マトリクスを用いて量子化する量子化工程と、
   該量子化工程で得た量子化後の変換係数を符号化する第２の符号化工程と、
   前記第１の符号化工程で得た符号化データと、前記第２の符号化工程で得た符号化データとを統合する統合工程と
   を有することを特徴とする画像符号化装置の制御方法。
8. 請求項１に記載の画像符号化装置により得た符号化データを復号する画像復号装置の制御方法であって、
   復号対象の符号化データから、量子化マトリクスの符号化データと、画像データの符号化データとを分離する分離工程と、
   該分離工程により得た前記量子化マトリクスの符号化データを、再生しようとする量子化マトリクスの形状に応じた走査順に従って復号し、復号して得られた複数種類の量子化マトリクスを保持する第１の復号工程と、
   前記分離工程により得た着目ブロックの画像データの符号化データを復号することで、前記着目ブロックの量子化後の係数を得る第２の復号工程と、
   該第２の復号工程で得た前記着目ブロックの量子化後の係数を、当該着目ブロックに対応する量子化マトリクスを用いて逆量子化し、当該逆量子化で得た係数を逆直交変換することで前記着目ブロックの画像を再生する再生工程と
   を有することを特徴とする画像復号装置の制御方法。
9. コンピュータが読み込み実行することで、前記コンピュータに、請求項７又は８に記載の方法の各工程を実行させるためのプログラム。

Images