JP2021048532A - 画像符号化装置、画像復号装置及びそれらの制御方法及びプログラム - Google Patents

Abstract

【課題】量子化マトリクスの符号量を抑制して、画像データの符号化効率を向上させた画像符号化装置を提供する。【解決手段】画像符号化装置において、ブロックの予測誤差を量子化する量子化マトリクス符号化部は、符号化対象の量子化マトリクスが符号化済の量子化マトリクスと同一であることを示す情報を符号化し、当該符号化対象の量子化マトリクスの各要素を符号化しない第一のモード、符号化対象の量子化マトリクスと符号化済の量子化マトリクスの各要素の差分を符号化することを示す情報を符号化し、かつ、当該符号化対象の量子化マトリクスと符号化済の量子化マトリクスの各要素の差分を符号化する第二のモード、符号化対象の量子化マトリクス内の要素間の差分を符号化することを示す情報を符号化するとともに、当該符号化対象の量子化マトリクス内の要素間の差分を符号化する第三のモード、を有する。【選択図】図１

Description

本発明は画像の符号化処理並びに復号処理に関するものである。

動画像の圧縮記録の符号化方式として、ＨＥＶＣ（High Efficiency Video Coding）符号化方式（以下、単にＨＥＶＣと記す）が知られている。ＨＥＶＣでは符号化効率向上のため、従来のマクロブロック（１６×１６画素）より大きなサイズの基本ブロックが採用された。この大きなサイズの基本ブロックはＣＴＵ（Coding Tree Unit）と呼ばれ、そのサイズは最大６４×６４画素である。ＣＴＵはさらに予測や変換を行う単位となるサブブロックに分割される。

また、ＨＥＶＣにおいては、量子化マトリクスと呼ばれる、直交変換を施した後の係数（以下、直交変換係数と記す）を、周波数成分に応じて重み付けをする処理が用いられている。人間の視覚には劣化が目立ちにくい高周波成分のデータをより削減することで、画質を維持しながら圧縮効率を高めることが可能となっている。特許文献１には、このような量子化マトリクスを符号化する技術が開示されている。

近年、ＨＥＶＣの後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＶＥＴ（Joint Video Experts Team）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立され、ＶＶＣ（Versatile Video Coding）符号化方式（以下、ＶＶＣ）として標準化が進められている。符号化効率向上のため、ＶＶＣでは基本ブロックのサイズは最大１２８×１２８画素となっており、また、従来の正方形サブブロック分割に加えて長方形のサブブロック分割も検討されている。

特開２０１３−３８７５８号公報

ＶＶＣにおいても、ＨＥＶＣと同様に量子化マトリクスの導入が検討されている。さらにＶＶＣでは、長方形の形状も含め、ＨＥＶＣよりも多種類のサブブロック分割が検討されている。それぞれのサブブロック分割に対応する直交変換係数の分布は直交変換の大きさや形状によって異なるため、サブブロックの大きさや形状に応じて最適な量子化マトリクスを定義することが望ましい。しかしながら、全てのサブブロックの形状に対して個別の量子化マトリクスを定義すると、量子化マトリクスの符号量が不必要に増大することとなる。

本発明はかかる問題に鑑み成されたものであり、量子化マトリクスの符号量を抑制する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
画像を複数のブロックに分割し、分割されたブロック単位で予測の誤差を量子化し、符号化する画像符号化装置において、
量子化マトリクスを用いて前記ブロックの予測誤差を量子化する量子化手段と、
前記量子化マトリクスを符号化する符号化手段とを有し、
前記符号化手段は、
符号化対象の量子化マトリクスが符号化済の量子化マトリクスと同一であることを示す情報を符号化し、当該符号化対象の量子化マトリクスの各要素を符号化しない第一のモード、
符号化対象の量子化マトリクスと符号化済の量子化マトリクスの各要素の差分を符号化することを示す情報を符号化し、かつ、当該符号化対象の量子化マトリクスと符号化済の量子化マトリクスの各要素の差分を符号化する第二のモード、
符号化対象の量子化マトリクス内の要素間の差分を符号化することを示す情報を符号化するとともに、当該符号化対象の量子化マトリクス内の要素間の差分を符号化する第三のモード、
を有することを特徴とする。

本発明によれば、これまでよりも量子化マトリクスの符号量を抑制して、画像データの符号化効率を向上させることが可能になる。

第１の実施形態の画像符号化装置のブロック構成図。 第１の実施形態の画像復号装置のブロック構成図。 第１の実施形態の画像符号化装置における符号化処理を示すフローチャート。 第１の実施形態の画像復号装置における復号処理を示すフローチャート。 第２の実施形態で適用するコンピュータハードウェア構成図。 第１の実施形態の画像符号化装置が生成するビットストリームのデータ構造の例を示す図。 実施形態におけるサブブロック分割例を示す図。 実施形態で用いられる量子化マトリクスの例を示す図。 実施形態で用いられる量子化マトリクスの要素の走査方法を示す図。 実施形態で生成される量子化マトリクスの差分値行列を示す図。 量子化マトリクスの差分値の符号化に用いられる符号化テーブルの例を示す図。 実施形態で用いられる量子化マトリクスのシンタックステーブルの例を示す図。 実施形態で用いられる参照量子化マトリクスの例を示す図。 量子化マトリクスの符号化手順を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わされても良い。さらに添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１は第１の実施形態における画像符号化装置のブロック構成図である。画像符号化装置は、装置全体の制御を司る制御部１５０を有する。この制御部１５０はＣＰＵ、ＣＰＵが実行するプログラムを格納するＲＯＭ、ＣＰＵのワークエリアとして利用するＲＡＭを有する。また、画像符号化装置は、入力端子１０１、ブロック分割部１０２、量子化マトリクス保持部１０３、予測部１０４、変換・量子化部１０５、逆量子化・逆変換部１０６、画像再生部１０７、フレームメモリ１０８、インループフィルタ部１０９、符号化部１１０、統合符号化部１１１、出力端子１１２、及び、量子化マトリクス符号化部１１３を有する。

入力端子１０１は、画像データ発生源で発生した符号化対象の画像データをフレーム単位に入力する。画像データ発生源は、撮像装置、符号化対象の画像データを記憶したファイルサーバや記憶媒体等、その種類は問わない。また、出力端子１１２は、符号化データを出力先装置に出力するが、その出力先装置も記憶媒体、ファイルサーバ等、特に問わない。

ブロック分割部１０２は、入力したフレームの画像を複数の基本ブロックに分割し、その１つを基本ブロックとして後段の予測部１０４に順に出力する。

量子化マトリクス保持部１０３は、符号化に先立って複数の量子化マトリクスを生成し、内部の不図示のメモリに保持する。量子化マトリクスの生成方法については特に限定しないが、ユーザが量子化マトリクスを入力しても良いし、入力画像の特性から算出しても、初期値として予め指定されたものを使用しても良い。本実施形態における量子化マトリクス保持部１０３は、図８（ａ）〜（ｌ）に示される８×８画素サイズ、４×４画素サイズ、あるいは２×２画素サイズの直交変換に対応した二次元の量子化マトリクス８００〜８１１を生成し、保持する。ここで、量子化マトリクス８００、８０３、８０６、８０９が輝度成分用、量子化マトリクス８０１、８０２、８０４、８０５、８０７、８０８、８１０、８１１は２つの色差成分用の量子化マトリクスである。

予測部１０４は、基本ブロック単位の画像データに対し、サブブロック分割を決定し、サブブロック単位でフレーム内予測であるイントラ予測や、フレーム間予測であるインター予測などを行い、予測画像データを生成する。さらに、予測部１０４は、入力された画像データにおけるサブブロックと、該当する予測画像データから画素単位の予測誤差を算出し、出力する。また、予測部１０４は、予測に必要な情報、例えばサブブロック分割、予測モードや動きベクトル等の情報も予測誤差と併せて出力される。以降、この予測に必要な情報を予測情報と呼称する。

変換・量子化部１０５は、予測部１０４から入力したサブブロックの予測誤差を、サブブロック単位で直交変換して直交変換係数を得る。さらに、変換・量子化部１０５は、量子化マトリクス保持部１０３に格納されている量子化マトリクスを用いて、直交変換係数の量子化を行い、残差係数（量子化後の直交変換係数）を得る。

逆量子化・逆変換部１０６は、変換・量子化部１０５から残差係数を入力し、量子化マトリクス保持部１０３に格納されている該当する量子化マトリクスを用いて逆量子化し、直交変換係数を再生する。逆量子化・逆変換部１０６は、さらに直交変換係数を逆直交変換して予測誤差を再生する。

画像再生部１０７は、予測部１０４から出力された予測情報に基づいて、フレームメモリ１０８を適宜参照して予測画像データを生成する。画像再生部１０７は、この予測画像データに、逆量子化・逆変換部１０６から入力された予測誤差を加算することで、再生画像データを生成し、フレームメモリ１０８に格納する。

インループフィルタ１０９は、フレームメモリ１０８に格納されている再生画像に対し、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行い、フィルタ処理後の画像データを再度フレームメモリ１０８に格納する。

符号化部１１０は、変換・量子化部１０５から出力された残差係数および予測部１０４から出力された予測情報を符号化して、符号データを生成し、統合符号化部１１１に出力する。

量子化マトリクス符号化部１１３は、量子化マトリクス保持部１０３に保持されている量子化マトリクス（図８（ａ）〜（ｌ）参照）を符号化して、量子化マトリクス符号データを生成し、統合符号化部１１１に出力する。

統合符号化部１１１は、量子化マトリクス符号化部１１３からの量子化マトリクス符号データを含むヘッダ符号データを生成する。そして、統合符号化部１１１は、ヘッダ符号データに、符号化部１１０から出力された符号データと後続させ、ビットストリームを形成する。そして、統合符号化部１１１は、形成したビットストリームを、出力端子１１２を介して出力する
ここで、画像符号化装置における画像の符号化動作をより詳しく以下に説明する。本実施形態では、入力端子１０１より、４：２：０カラーフォーマットの動画像データをフレーム単位に、所定のフレームレート（例えば３０フレーム／秒）に入力する構成とするが、１フレーム分の静止画データを入力する構成としても構わない。また、本実施形態では説明のため、ブロック分割部１０１においては、入力端子１０１より入力した画像データから８×８画素の基本ブロックに分割するものとして説明する。すなわち、８×８画素の基本ブロックには、８×８画素の輝度（Ｙ）成分と、４×４画素の色差（ＣｂおよびＣｒ）成分の画素が含まれることになる。なお、これは理解を容易にするためであり、上記数値（サイズ）に限定されるものではない。

画像の符号化に先立ち、量子化マトリクスの生成および符号化を行う。

量子化マトリクス保持部１０３は、まず、量子化マトリクスを生成し、保持する。具体的には、符号化されるサブブロックのサイズや予測方法の種類に応じて、量子化マトリクスを生成する。本実施形態では、図７（ａ）に示されるサブブロックに分割しない８×８画素の基本ブロックに対応する、量子化マトリクス、および図７（ｂ）に示される基本ブロックを四分木分割された４×４画素のサブブロックに対応する、量子化マトリクスを生成する。すなわち、量子化マトリクス保持部１０３は、輝度（Ｙ）成分用の８×８画素サイズおよび４×４画素サイズの量子化マトリクスと、色差（ＣｂおよびＣｒ）成分用の４×４画素サイズおよび２×２画素サイズの量子化マトリクスを生成する。ただし、生成される量子化マトリクスはこれに限定されず、４×８、８×４など、サブブロックの形状に対応した量子化マトリクスが生成されても良い。量子化マトリクスを構成する各要素の決定方法は特に限定しない。例えば、所定の初期値を用いても良いし、個別に設定しても良い。また、画像の特性に応じて生成されても構わない。

量子化マトリクス保持部１０３は、このようにして生成された複数種類の量子化マトリクスを、内部の不図示のメモリに保持する。図８（ａ）はイントラ予測を用いたＹ成分用の８×８画素サイズの量子化マトリクス８００を示している。また、同図（ｂ）は同じくイントラ予測を用いたＣｂ成分用の４×４画素サイズの量子化マトリクス８０１、同図（ｃ）はイントラ予測を用いたＣｒ成分用の４×４画素サイズの量子化マトリクス８０２を示している。

同様に、図８（ｄ）はインター予測を用いたＹ成分用の８×８画素サイズの量子化マトリクス８０３を示している。また、同図（ｅ）は同じくインター予測を用いたＣｂ成分用の４×４画素サイズの量子化マトリクス８０４、同図（ｆ）はインター予測を用いたＣｒ成分用の４×４画素サイズの量子化マトリクス８０５を示している。

さらには、図８（ｇ）はイントラ予測を用いたＹ成分用の４×４画素サイズの量子化マトリクス８０６を示している。また、同図（ｈ）は同じくイントラ予測を用いたＣｂ成分用の２×２画素サイズの量子化マトリクス８０７、同図（ｉ）はイントラ予測を用いたＣｒ成分用の２×２画素サイズの量子化マトリクス８０８を示している。

同様に、図８（ｊ）はインター予測を用いたＹ成分用の４×４画素サイズの量子化マトリクス８０９を示している。また、同図（ｋ）は同じくインター予測を用いたＣｂ成分用の２×２画素サイズの量子化マトリクス８１０、同図（ｌ）はインター予測を用いたＣｒ成分用の２×２画素サイズの量子化マトリクス８１１を示している。

説明を簡易にするため、８×８の６４画素分、４×４の１６画素分および２×２の４画素分の構成とし、太枠内の各正方形は量子化マトリクスを構成している各要素を表しているものとする。本実施形態では、図８（ａ）〜（ｌ）に示された１２種の量子化マトリクスが二次元の形状で保持されているものとするが、量子化マトリクス内の各要素はもちろんこれに限定されない。また、サブブロックのサイズによって、同じ色成分、同じ予測モードに対して複数の量子化マトリクスを保持することも可能である。一般的に、量子化マトリクスは人間の視覚特性に応じた量子化処理を実現するため、図８（ａ）〜（ｌ）に示すように量子化マトリクスの左上部分に相当する低周波部分の要素は小さく、右下部分に相当する高周波部分の要素は大きくなっている。

量子化マトリクス符号化部１１３は、量子化マトリクス保持部１０６に保持されている二次元形状の量子化マトリクスを順に読み出し、それぞれの量子化マトリクスを符号化する際に用いる量子化マトリクスの符号化モードを決定する。本実施形態では、「量子化マトリクス参照モード」、「量子化マトリクス間差分符号化モード」、「量子化マトリクス内差分符号化モード」の３種類の量子化マトリクス符号化モードが用いられる。量子化マトリクス符号化部１１３は、各量子化マトリクスに対し、符号化結果のデータ量が最小となる量子化マトリクス符号化モードを決定する。

ここで、本実施形態の量子化マトリクス符号化部１１３で用いる３種類の量子化マトリクス符号化モードについて、より詳しく説明する。

「量子化マトリクス参照モード」は、符号化済の量子化マトリクスの中に、符号化対象の量子化マトリクスと一致するものが存在する場合に用いられるモードである。このモードが用いられた場合、量子化マトリクス符号化部１１３は、符号化対象の量子化マトリクスの各要素を符号化する代わりに、参照対象の一致している符号化済の量子化マトリクスを示す識別子である、量子化マトリクス参照インデックスを符号化する。

次に、「量子化マトリクス間差分符号化モード」は、符号化済の量子化マトリクスの中から、符号化対象の量子化マトリクスに近いものを選択して、それぞれの各要素の差分値を算出し、算出された差分値を符号化するモードである。このモードが選択された場合、量子化マトリクス符号化部１１３は、参照対象の量子化マトリクスを示す識別子である、量子化マトリクス参照インデックスを符号化し、続いて各要素の差分値の集合である差分情報を符号化する。

そして、「量子化マトリクス内差分符号化モード」は、符号化済の量子化マトリクスが存在しない場合や、符号化対象の量子化マトリクスに似たものがない場合に用いられる。量子化マトリクス符号化部は、符号化対象の量子化マトリクスの各要素を走査して、要素間の差分値を算出し、差分値の集合である差分情報を符号化する。

図１２は本実施形態において、量子化マトリクスの符号化に用いられるシンタックステーブルである。このシンタックステーブルを用いて、本実施形態における図８（ａ）〜（ｌ）に示された各量子化マトリクスの符号化処理について、具体的に説明する。まず、図１２のシンタックステーブルの構造について説明する。シンタックステーブルの一番外側にはｓｉｚｅＩｄというパラメータによるｆｏｒループが存在する。ｓｉｚｅＩｄは量子化マトリクスの大きさを示しており、同じ大きさの量子化マトリクスが連続して符号化されることになる。ｓｉｚｅＩｄ＝１は２×２画素サイズの量子化マトリクスを示す。同様にｓｉｚｅＩｄ＝２には４×４画素サイズの量子化マトリクスを示し、ｓｉｚｅＩｄ＝３は８×８画素サイズの量子化マトリクスを示す。

ｆｏｒループでのｓｉｚｅＩｄの初期値は“１”であり、ループするごとに“１”だけ増加し、ｓｉｚｅＩｄが４未満である限り繰り返すことを定義している。よって、本実施形態では２×２画素サイズの量子化マトリクス群が符号化された後に、４×４画素サイズの量子化マトリクス群が符号化され、その後に８×８画素サイズの量子化マトリクス群といった順番に符号化されることを意味している。ＶＶＣでは最小２×２画素サイズから６４×６４画素サイズの大きさの直交変換が用いられており、ｓｉｚｅＩｄ＝１の２×２画素サイズから、ｓｉｚｅＩｄ＝６の６４×６４画素サイズまでのｆｏｒループとし、それぞれに対応する量子化マトリクスを符号化する構成とすることも可能である。しかしながら、本実施形態では、最大の直交変換サイズ、すなわちサブブロックのサイズは８×８であるため、ｆｏｒループの上限値を８×８画素サイズに対応するｓｉｚｅＩｄ＝３としている。このようにして、ｆｏｒループの上限値を実際に用いる直交変換サイズの最大値に基づいて設定することで、不必要な量子化マトリクスの符号化を省略し、冗長な符号の発生を防止することができる。

ｓｉｚｅＩｄによるｆｏｒループの内側には、ｍａｔｒｉｘＩｄというパラメータによるｆｏｒループが存在する。このｍａｔｒｉｘＩｄは予測モードと色成分に基づいたパラメータであり、この値が０の時はイントラ予測・Ｙ成分用、１の時はイントラ予測・Ｃｂ成分用、２の時はイントラ予測・Ｃｒ成分用であることを意味している。同様にして、ｍａｔｒｉｘＩｄが３の時はインター予測・Ｙ成分用、４の時はインター予測・Ｃｂ成分用、５の時はインター予測・Ｃｒ成分用であることを意味している。すなわち、同じ大きさの量子化マトリクス群の中では、初めにイントラ予測に対応する量子化マトリクス群が符号化され、次にインター予測に対応する量子化マトリクス群が符号化される。さらに、同じ予測モードに対応する量子化マトリクス群の中では、Ｙ成分用、Ｃｂ成分用、Ｃｒ成分用といった順番で符号化される。

以上の量子化マトリクスの符号化順序を踏まえると、図８（ａ）〜（ｌ）の各量子化マトリクスの符号化順は、次の通りになる。

初めに２×２画素サイズの図８（ｈ）、（ｉ）、（ｋ）、（ｌ）が符号化される。次に、４×４画素サイズの図８（ｇ）、（ｂ）、（ｃ）、（ｊ）、（ｅ）、（ｆ）が符号化される。そして最後に８×８画素サイズの図８（ａ）、（ｄ）が符号化される。

上記を符号化の順番は、要するに（ｉ）量子化マトリクスのサイズ、（ｉｉ）イントラ用／インター用の種別、（ｉｉｉ）成分（輝度、色差）の種別の優先順位に符号化するものである。量子化マトリクスのサイズを、第１優先順位にしたのは、量子化マトリクス間の相関性を考慮した符号化のためである。

次に、各量子化マトリクスの符号化手順について説明する。初めに、量子化マトリクス符号化部１１３は、決定した量子化マトリクス符号化モードを符号化する。図１２のシンタックステーブルにおけるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｉｄｘが量子化マトリクス符号化モードに相当する。本実施形態では、この値が０の時に「量子化マトリクス参照モード」が用いられ、１の時に「量子化マトリクス間差分符号化モード」が用いられ、２の時に「量子化マトリクス内差分符号化モード」が用いられるものとする。量子化マトリクス符号化モードはゴロム符号化されるため、この値が小さいほどｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｉｄｘに係る符号量は小さくなる。すなわち、本実施形態では、マトリクス参照モードに係る符号量が最も小さくなり、これは同一の量子化マトリクスが多数存在している場合に、発生符号量が最小となるメリットがある。

量子化マトリクス参照モードを用いる場合、量子化マトリクス符号化部１１３は、続いて量子化マトリクス参照インデックスを符号化する。これは、図１２のシンタックステーブルではｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａに相当する。例えば、図８（ｂ）の量子化マトリクス８０１は、直前に符号化される図８（ｇ）の量子化マトリクス８０６と同一である。よって、量子化マトリクス符号化部１１３は、図８（ｂ）の量子化マトリクス８０１の符号化時には、量子化マトリクス参照モードを選択し、量子化マトリクス参照インデックスとして直前に符号化された量子化マトリクスであることを示す０を符号化する。こうすることで、図８（ｇ）の量子化マトリクス８０６と同一の量子化マトリクスを符号化することができる。なお、さらに１つ前の量子化マトリクスを用いた場合、量子化マトリクス参照インデックスは「１」となる。

一方、量子化マトリクス間差分符号化モードを用いる場合、量子化マトリクス参照モードを用いる場合と同様、量子化マトリクス符号化部１１３は、まず、量子化マトリクス参照インデックスを符号化する。続いて、量子化マトリクス符号化部１１３は、量子化マトリクス参照インデックスにより定まる符号化済の参照量子化マトリクスの各要素と符号化対象の量子化マトリクスの各要素との差分である差分情報を符号化する。これは、図１２のシンタックステーブルでは、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｄｅｌｔａに相当する。例えば、図８（ｃ）の量子化マトリクス８０２の各要素は、直前に符号化される図８（ｂ）の量子化マトリクス８０１の各要素に類似している（この例では、各要素間の差の絶対値が所定値以下（図示では“１”以下）である）。よって、量子化マトリクス符号化部１１３は、図８（ｃ）の量子化マトリクス８０２の符号化時には、量子化マトリクス間差分符号化モードを選択し、まず、量子化マトリクス参照インデックスとして直前に符号化された量子化マトリクスであることを示す０を符号化する。なお、さらに１つ前の量子化マトリクスの各要素との差分を符号化する場合、量子化マトリクス参照インデックスは「１」となる。続いて、量子化マトリクス符号化部１１３は、参照量子化マトリクスである図８（ｂ）の各要素と符号化対象の量子化マトリクスである図８（ｃ）の各要素との差分値をそれぞれ計算し、図１０（ａ）に示された二次元の差分値行列を算出する。そして、二次元の差分値行列の各差分値を走査して、一次元の行列に配置する。図９（ａ）〜（ｃ）は、本実施形態において、二次元の行列を一次元に配置される際に用いられる走査方法を示したものであり、図９（ａ）は８×８、図９（ｂ）は４×４、図９は２×２の量子化マトリクスに対応している。ここでは４×４の量子化マトリクスが対象であるため、量子化マトリクス符号化部１１３は、図９（ｂ）に示された走査方法を用いて、図１０（ａ）の二次元の差分値行列は図１０（ｂ）に示される一次元の差分値行列に配置する。そして、量子化マトリクス符号化部１１３は、図１０（ｂ）の各差分値を符号化する。なお、図１０（ｂ）の各差分値の絶対値は“１”以下であるが、絶対値が１より大きいケースもありうる。そのようなケースを考慮して隣接する各差分値の差分をさらに取得することにより、更に符号量を低減することが可能となる。

また、量子化マトリクス内差分符号化モードを用いる場合、量子化マトリクス符号化部１１３は、符号化対象の量子化マトリクスの各要素を、図９（ａ）〜（ｃ）のいずれかを用いて走査して、連続する２要素の差分を計算し、一次元の行列に配置する。そして、量子化マトリクス符号化部１１３は、一次元の行列に配置された各差分値を、差分情報として符号化する。これは、図１２のシンタックステーブルでは、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｅｌｔａ＿ｃｏｅｆに相当する。例えば、図８（ｇ）の量子化マトリクス８０６は４×４画素サイズの量子化マトリクスの中で最初に符号化されるものであるため、前述の量子化マトリクス参照モードや量子化マトリクス間差分符号化モードを用いて参照対象となる量子化マトリクスが存在しない。よって、図８（ｇ）の量子化マトリクス８０６の符号化時には、量子化マトリクス符号化部１１３は必然的に量子化マトリクス内差分符号化モードを選択することとなる。よって、量子化マトリクス符号化部１１３は、図８（ｇ）の量子化マトリクス８０６を、図９（ｂ）を用いて走査し、要素ごとに走査順に直前の要素との差分を算出する。量子化マトリクス符号化部１１３は、算出された差分を一次元の行列に配置し、図１０（ｃ）に示された一次元の差分値行列を得る。ここで、例えば図８（ｇ）の４×４画素サイズの量子化マトリクスは図９（ｂ）で示された走査方法によって走査されるが、左上に位置する最初の要素６の次はそのすぐ下に位置する要素１３が走査され、差分である＋７が算出される。また、量子化マトリクスの最初の要素（本実施形態では６）の符号化には、所定の初期値（例えば８）との差分を計算するものとするが、もちろんこれに限定されず、任意の値との差分や、最初の要素の値そのものを用いても良い。要するに、復号装置と同じ初期値となっていれば良い。そして、量子化マトリクス符号化部１１３は、図１０（ｃ）の各差分値を符号化する。

ここで上記の量子化マトリクスの符号化処理について補足説明する。図１２の上から５つ目の“ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｉｄｘ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］”は、ｓｉｚｅＩｄ、ｍａｔｒｉｘＩｄに応じた量子化マトリクスの符号化モードを示すパラメータである。このパラメータの算出には、ｓｉｚｅＩｄ、ｍａｔｒｉｘＩｄで特定される量子化マトリクス（図８（ａ）乃至（ｌ）のいずれか）を、上記３つの符号化モードに従って符号化処理し、生成された符号量が最小となる符号化モードを判定する。そして、このパラメータには、判定した符号化モードを特定する情報（上記では０乃至２）を設定する。

量子化マトリクス符号化部１１３は、上記のようにして各量子化マトリクス符号化モードを用いて生成した各量子化マトリクスの符号化結果として、量子化マトリクス符号データを生成する。本実施形態の量子化マトリクス符号化部１１３は、一次元の差分行列の個々の要素に対し、図１１（ａ）に示される符号化テーブルを用いて、二値符号である符号語を割り当てることで符号化し量子化マトリクス符号データを生成する。なお、符号化テーブルはこれに限定されず、例えば図１１（ｂ）に示される符号化テーブルを用いても良い。このようにして、量子化マトリクス符号化部１１３は、生成した量子化マトリクス符号データを、後段の統合符号化部１１１に出力する。

図１に戻り、統合符号化部１１１は画像データの符号化に必要なヘッダ情報に、量子化マトリクスの符号データを統合する。

続いて、画像データの符号化が行われる。入力端子１０１から入力された１フレーム分の画像データはブロック分割部１０２に供給される。

ブロック分割部１０２は、入力された１フレームの画像データを複数の基本ブロックに分割し、基本ブロック単位の画像データを予測部１０４に出力する。本実施形態では、８×８画素の基本ブロック単位の画像データが予測部１０４に供給されることとなる。

予測部１０４は、ブロック分割部１０２から入力された基本ブロック単位の画像データに対し予測処理を実行する。具体的には、基本ブロックをさらに細かいサブブロックに分割するサブブロック分割を決定し、さらにサブブロック単位でイントラ予測やインター予測などの予測モードを決定する。イントラ予測は符号化対象ブロックの空間的に周辺に位置する符号化済画素を用いて符号化対象ブロックの予測画素を生成し、水平予測や垂直予測、ＤＣ予測などのイントラ予測方法を示すイントラ予測モードも生成する。インター予測は符号化対象ブロックとは時間的に異なるフレームの符号化済画素を用いて符号化対象ブロックの予測画素を生成し、参照するフレームや動きベクトルなどを示す動き情報も生成する。

図７を参照してサブブロック分割方法を説明する。図７（ａ）〜（ｆ）のブロック７００〜７０５の太枠は基本ブロックと同じ８×８画素のサイズである。太枠内の各四角形はサブブロックを表している。図７（ｂ）は従来の正方形サブブロック分割の一例を表しており、８×８画素の基本ブロック７０１は、４個の４×４画素のサブブロックに分割されている。一方、図７（ｃ）〜（ｆ）は長方形サブブロック分割の一例を表している。図７（ｃ）は、基本ブロック７０２が４×８画素サイズの２個のサブブロック（垂直方向に長手）に分割されることを示している。図７（ｄ）は、基本ブロック７０３が、８×４画素サイズの２個のサブブロック（水平方向に長手）に分割されることを示している。図７（ｅ）、（ｆ）は、基本ブロック７０４、７０５の場合、分割方法が異なるものの、１：２：１の比で３つの長方形サブブロックに分割されている。このように正方形だけではなく、長方形のサブブロックも用いて符号化処理を行っている。

本実施形態では、８×８画素サイズの基本ブロックを、サブブロックに分割しない図７（ａ）、および、四分木にサブブロック分割する図７（ｂ）のいずれかが用いられるものとして説明するが、サブブロック分割方法はこれに限定されない。図７（ｅ）、（ｆ）のような三分木分割または図７（ｃ）や図７（ｄ）のような二分木分割を用いても構わない。図７（ａ）や図７（ｂ）以外のサブブロック分割も用いられる場合には、量子化マトリクス保持部１０３にて使用されるサブブロックに対応する量子化マトリクスが生成される。また、生成された量子化マトリクスは量子化マトリクス符号化部１１３にて符号化されることとなる。

予測部１０４は、決定した予測モード、および、フレームメモリ１０８に格納されている符号化済の領域から予測画像データを生成し、さらに入力された画像データにおける着目サブブロックと対応する予測画像データから画素単位の予測誤差を算出し、その誤差を変換・量子化部１０５に出力する。また、予測部１０４は、サブブロック分割や予測モードなどの情報を予測情報として、符号化部１１０、画像再生部１０７に出力する。

変換・量子化部１０５は、予測部１０４より入力した予測誤差に対し、直交変換・量子化を行い、残差係数を生成する。具体的には、変換・量子化部１０５は、まず、予測誤差に対し、サブブロックのサイズに対応した直交変換処理を施し直交変換係数を生成する。そして、変換・量子化部１０５は、直交変換係数を予測モードや色成分に応じて量子化マトリクス保持部１０３に格納されている量子化マトリクスを用いて量子化し、残差係数を生成する。本実施形態では、サブブロック分割をせず、イントラ予測モードを用いた場合、Ｙ成分の直交変換係数には図８（ａ）、Ｃｂ成分の直交変換係数には図８（ｂ）、Ｃｒ成分の直交変換係数には図８（ｃ）の量子化マトリクスが用いられるものとする。また、同様にサブブロック分割をせず、代わりにインター予測モードを用いた場合、Ｙ成分の直交変換係数には図８（ｄ）、Ｃｂ成分の直交変換係数には図８（ｅ）、Ｃｒ成分の直交変換係数には図８（ｆ）の量子化マトリクスが用いられるものとする。一方、図７（ｂ）のサブブロック分割を行い、イントラ予測モードを用いた場合、Ｙ成分の直交変換係数には図８（ｇ）、Ｃｂ成分の直交変換係数には図８（ｈ）、Ｃｒ成分の直交変換係数には図８（ｉ）の量子化マトリクスが用いられるものとする。また、同様に図７（ｂ）のサブブロック分割を行い、代わりにインター予測モードを用いた場合、Ｙ成分の直交変換係数には図８（ｊ）、Ｃｂ成分の直交変換係数には図８（ｋ）、Ｃｒ成分の直交変換係数には図８（ｌ）の量子化マトリクスが用いられるものとする。ただし、使用される量子化マトリクスはこれに限定されない。生成された残差係数および色差統合情報は符号化部１１０および逆量子化・逆変換部１０６に出力される。

逆量子化・逆変換部１０６は、変換・量子化部１０５から入力した残差係数を、量子化マトリクス保持部１０３に格納されている、対応する量子化マトリクスを用いて逆量子化することで直交変換係数を再生する。逆量子化・逆変換部１０６は、さらに再生された直交変換係数を逆直交変換して予測誤差を再生する。逆量子化処理には、変換・量子化部１０５と同様、符号化対象サブブロックの大きさや色成分に対応した量子化マトリクスが用いられる。具体的には、逆量子化・逆変換部１０６は、変換・量子化部１０５で用いられた量子化マトリクスと同一のものを用いて逆量子化を行う。すなわち、サブブロック分割をせず、イントラ予測モードを用いた場合、Ｙ成分の直交変換係数には図８（ａ）、Ｃｂ成分の直交変換係数には図８（ｂ）、Ｃｒ成分の直交変換係数には図８（ｃ）の量子化マトリクスが用いられる。また、同様にサブブロック分割をせず、代わりにインター予測モードを用いた場合、Ｙ成分の直交変換係数には図８（ｄ）、Ｃｂ成分の直交変換係数には図８（ｅ）、Ｃｒ成分の直交変換係数には図８（ｆ）の量子化マトリクスが用いられる。一方、図７（ｂ）のサブブロック分割を行い、イントラ予測モードを用いた場合、Ｙ成分の直交変換係数には図８（ｇ）、Ｃｂ成分の直交変換係数には図８（ｈ）、Ｃｒ成分の直交変換係数には図８（ｉ）の量子化マトリクスが用いられる。また、同様に図７（ｂ）のサブブロック分割を行い、代わりにインター予測モードを用いた場合、Ｙ成分の直交変換係数には図８（ｊ）、Ｃｂ成分の直交変換係数には図８（ｋ）、Ｃｒ成分の直交変換係数には図８（ｌ）の量子化マトリクスが用いられる。

こうして再生された直交変換係数に逆直交変換を施して再生された予測誤差は画像再生部１０７に出力される。

画像再生部１０７は、予測部１０４から入力される予測情報に基づいて、フレームメモリ１０８を適宜参照し、予測画像を再生する。そして画像再生部１０７は、再生された予測画像と、逆量子化・逆変換部１０６により再生されたサブブロックの予測誤差とに基づき、サブブロック単位に再生画像データを生成し、フレームメモリ１０８に格納する。

インループフィルタ部１０９は、フレームメモリ１０８から再生画像データを読み出し、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、インループフィルタ部１０９は、フィルタ処理された画像データをフレームメモリ１０８に再格納する。

符号化部１１０は、変換・量子化部１０５で生成されたサブブロック単位の残差係数や色差統合情報、並びに、予測部１０４から入力された予測情報をエントロピー符号化し、符号データを生成する。エントロピー符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。符号化部１１０は、生成された符号データを統合符号化部１１１に出力する。

統合符号化部１１１は、前述のヘッダの符号データとともに、符号化部１１０から入力された符号データなどを多重化してビットストリームを形成する。そして、統合符号化部１１１は、形成したビットストリームを出力端子１１２から外部（記憶媒体やネットワークなど）に出力する。

図６（ａ）は本実施形態で出力されるビットストリームのデータ構造の一例である。シーケンスヘッダには、量子化マトリクスの符号データが含まれ、各量子化マトリクスの符号化結果で構成されている。ただし、量子化マトリクスの符号化データが格納される位置はこれに限定されず、図６（ｂ）のようなピクチャヘッダ部や複数のピクチャにまたがるヘッダ部に配置される構成をとってももちろん構わない。また、１つのシーケンスの中で量子化マトリクスの変更を行う場合、量子化マトリクスを新たに符号化することで更新することも可能である。この際、全ての量子化マトリクスを書き換えても良いし、書き換える量子化マトリクスに対応する量子化マトリクスの大きさや予測モード、色成分を指定することでその一部を変更するようにすることも可能である。

図３は、実施形態の画像符号化装置における制御部１５０の１フレーム分の符号化処理を示すフローチャートである。

まず、画像の符号化に先立ち、Ｓ３０１にて、制御部１５０は、量子化マトリクス保持部１０３を制御し、二次元の量子化マトリクスを生成させ、保持させる。本実施形態の量子化マトリクス保持部１０３は、８×８〜２×２画素サイズのブロックに対応し、図８（ａ）〜（ｌ）に示されるそれぞれの色成分や予測モードに対応した量子化マトリクスを生成し、保持することになる。

Ｓ３０２にて、制御部１５０は、量子化マトリクス符号化部１１３を制御し、Ｓ３０１にて生成・保持された量子化マトリクスの符号化を行わせる。ここでの量子化マトリクス符号化部１１３の具体的な動作は、説明済であるため省略する。本実施形態では、制御部１５０は、量子化マトリクス符号化部１１３を制御し、図８（ａ）〜（ｌ）に示された量子化マトリクス８０１〜８１２を図１２のシンタックステーブルに基づいた符号化を行わせ、量子化マトリクス符号データを生成させる。

Ｓ３０３にて、制御部１５０は、統合符号化部１１１を制御し、生成された量子化マトリクス符号データとともに、画像データの符号化に必要なヘッダ情報を符号化し、出力させる。

Ｓ３０４にて、制御部１５０は、ブロック分割部１０２を制御し、フレーム単位の入力画像を基本ブロック単位に分割させる。

Ｓ３０５にて、制御部１５０は、予測部１０４を制御し、Ｓ３０４にて生成された基本ブロック単位の画像データに対して、サブブロックへの分割、及び、各サブブロックに対する予測処理を実行させ、サブブロック分割情報や予測モードなどの予測情報および予測画像データを生成させる。さらに、制御部１５０は、予測部１０４を制御して、入力されたサブブロックの画像データと予測画像データから予測誤差を算出させる。

Ｓ３０６にて、制御部１５０は、変換・量子化部１０５を制御し、Ｓ３０５で算出された予測誤差に対して直交変換を行わせ、直交変換係数を生成させる。さらに、制御部１５０は、変換・量子化部１０５を制御し、Ｓ３０１にて生成・保持された量子化マトリクスを用いて量子化を行わせ、残差係数を生成させる。本実施形態では、サブブロックのサイズや予測モード、色成分に応じて、図８（ａ）〜図８（ｌ）の量子化マトリクスが用いられるものとする。

Ｓ３０７にて、制御部１５０は、逆量子化・逆変換部１０６を制御し、Ｓ３０６で生成された残差係数を、Ｓ３０１にて生成・保持された量子化マトリクスを用いて逆量子化を行わせ、直交変換係数を再生させる。本ステップではＳ３０６で用いられた量子化マトリクスと同一のものが用いられ、逆量子化処理が行われる。そして、再生された直交変換係数に対して逆直交変換し、予測誤差を再生する。

Ｓ３０８にて、制御部１５０は、画像再生部１０７を制御し、Ｓ３０５で生成された予測情報に基づいて予測画像を再生させ、再生された予測画像とＳ３０７で生成された予測誤差から画像データを再生させ、フレームメモリ１０８に格納させる。

Ｓ３０９にて、制御部１５０は、符号化部１１０を制御し、Ｓ３０５で生成された予測情報およびＳ３０６で生成された残差係数の符号化を行わせ、符号データを生成させる。また、符号化部１１０は、生成した符号データを統合符号化部１１１に出力する。統合符号化部１１１は、符号化部１１０からの符号化データを、先に生成したヘッダに後続するように位置させ、出力する。

Ｓ３１０にて、制御部１５０は、着目フレーム内の全ての基本ブロックの符号化が終了したか否かの判定を行う。制御部１５０は、終了していると判定した場合にはＳ３１１に進め、未符号化の基本ブロックが残っていると判断した場合にはＳ３０４に処理を戻し、次の基本ブロックに対する符号化を継続させる。

Ｓ３１１にて、制御部１５０は、インループフィルタ部１０９を制御し、Ｓ３０８で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。

以上の構成と動作、特にＳ３０２において、量子化マトリクスによる発生符号量が最小となる量子化マトリクス符号化モードを決定し、符号化することで、量子化マトリクスによる発生符号量を抑制させることができる。

なお、本実施形態では、量子化マトリクス参照モードおよび量子化マトリクス間差分符号化モードにおいて、同じサイズの量子化マトリクスのみを参照可能としたが、拡大・縮小を用いて別のサイズの量子化マトリクスを参照可能とする構成としても良い。例えば、図８（ｇ）の量子化マトリクス８０６の符号化時に、図８（ｈ）の量子化マトリクス８０７を参照して拡大し、両者の差分値を差分情報として符号化する構成としても構わない。これにより、各サイズにおいて最初に符号化される量子化マトリクスのデータ量をさらに削減することも可能となる。

また、本実施形態では、図１２のシンタックステーブルに示す通り、小さい量子化マトリクスから順に符号化する構成としたが、大きい量子化マトリクスから順に符号化する構成としても良い。これにより、特に前述の異なるサイズの量子化マトリクス間の参照を可能とした場合、量子化マトリクスのデータ量をさらに削減することが可能となる。

さらには、本実施形態では、量子化マトリクスの参照対象を符号化済の量子化マトリクスに限定したが、図１３（ａ）〜（ｃ）に示したような、量子化マトリクスを用いない場合に基準となるフラットな量子化マトリクスを参照対象とすることもできる。これにより、特に符号化対象の量子化マトリクスがフラットな量子化マトリクスに近い場合、量子化マトリクスのデータ量をさらに削減することが可能となる。

図２は、上記画像符号化装置で生成された符号化画像データを復号する、画像復号装置のブロック構成図である。以下、同図を参照し、復号処理に係る構成とその動作を説明する。

画像復号装置は、装置全体の制御を司る制御部２５０を有する。この制御部２５０は、ＣＰＵ、ＣＰＵが実行するプログラムを格納するＲＯＭ、ＣＰＵのワークエリアとして利用するＲＡＭを有する。また、画像復号装置は、入力端子２０１、分離復号部２０２、復号部２０３、逆量子化・逆変換部２０４、画像再生部２０５、フレームメモリ２０６、インループフィルタ部２０７、出力端子２０８、及び、量子化マトリクス復号部２０９を有する。

入力端子２０１は、符号化されたビットストリームを入力するものであり、入力源は例えば符号化ストリームを格納した記憶媒体であるが、ネットワークから入力しても良く、その種類は問わない。

分離復号部２０２は、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、またビットストリームのヘッダ部に存在する符号データを復号する。本実施形態の分離復号部２０２は、量子化マトリクス符号データを分離し、量子化マトリクス復号部２０９に出力する。また、分離復号部２０２は、画像の符号データを復号部２０３に出力する。つまり、分離復号部２０２は、図１の統合符号化部１１１と逆の動作を行う。

量子化マトリクス復号部２０９は、分離復号部２０２より供給された量子化マトリクス符号データを復号することで量子化マトリクスを再生し、保持する。

復号部２０３は、分離復号部２０２から出力された画像の符号データを復号し、サブブロック単位の残差係数および予測情報を再生する。

逆量子化・逆変換部２０４は、図１の逆量子化・逆変換部１０６と同様、再生された量子化マトリクスを用いて、着目サブブロックの残差係数に対して逆量子化を行い、逆量子化後の係数を得、さらに逆直交変換を実行することで、予測誤差を再生する。

画像再生部２０５は、入力された予測情報に基づいてフレームメモリ２０６を適宜参照して予測画像データを生成する。そして、画像再生部２０５は、この予測画像データと逆量子化・逆変換部２０４で再生された予測誤差から、着目サブブロックの再生画像データを生成し、フレームメモリ２０６に格納する。

インループフィルタ部２０７は、図１のインループフィルタ部１０９と同様、フレームメモリ２０６に格納された再生画像データに対し、デブロッキングフィルタなどのインループフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ２０６に再格納する。

出力端子２０８は、フレームメモリ２０６に格納されたフレーム画像を順次、外部に出力する。出力先は表示装置が一般的であるが、他のデバイスであっても構わない。

上記実施形態の画像復号装置の画像の復号に係る動作をさらに詳しく説明する。本実施形態では、符号化されたビットストリームをフレーム単位で入力する構成となっている。

図２において、入力端子２０１から入力された１フレーム分のビットストリームは分離復号部２０２に供給される。分離復号部２０２は、ビットストリームから復号処理に関する情報や係数に関する符号データを分離し、ビットストリームのヘッダ部に存在する符号データを復号する。そして、分離復号部２０２には、ヘッダ部に含まれていた量子化マトリクス符号データを量子化マトリクス復号部２０９に供給し、画像データの符号データを復号部２０３に供給する。具体的には、分離復号部２０２は、まず、図６（ａ）に示されるビットストリームのシーケンスヘッダから量子化マトリクス符号データを抽出し、抽出した量子化マトリクス符号データを量子化マトリクス復号部２０９に出力する。本実施形態では、図８（ａ）〜（ｌ）に示される量子化マトリクスに対応する量子化マトリクス符号データが抽出、出力される。続いて、ピクチャデータの基本ブロック単位の符号データを抽出し、復号部２０３に出力する。

量子化マトリクス復号部２０９は、まず入力された量子化マトリクス符号データを復号し、図１２に示されたシンタックステーブルに基づいて、符号化側で生成された各量子化マトリクスの符号化結果を再生する。図６（ａ）に示された通り、各量子化マトリクスの符号化結果は量子化マトリクス符号化モードと、各量子化マトリクス符号化モードに対応するデータから構成される。

例えば、量子化マトリクス符号化モード、すなわち図１２のシンタックステーブルにおけるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｉｄｘが０の場合、当該量子化マトリクスは量子化マトリクス参照モードで符号化されたことを意味する。この場合、当該量子化マトリクスの符号化結果は、量子化マトリクス符号化モード（０）と量子化マトリクス参照インデックスから構成される。例えば、イントラ予測・Ｃｂ成分用の４×４の量子化マトリクスを復号する際に、量子化マトリクス復号部２０９は、量子化マトリクス参照モードを意味する量子化マトリクス符号化モード＝０をまずは再生する。そして、量子化マトリクス復号部２０９は、量子化マトリクス参照インデックスを再生する。量子化マトリクス参照インデックスが、復号済の量子化マトリクスのうち参照対象の量子化マトリクスが直前に復号されたものであることを示す場合、量子化マトリクス参照インデックス＝０となる。量子化マトリクス参照インデックス＝１の場合、さらに１つ前に復号済の量子化マトリクスが参照される。これらの情報により、量子化マトリクス復号部２０９は、イントラ予測・Ｃｂ成分用の４×４の量子化マトリクスは、イントラ予測・Ｙ成分用の図８（ｇ）の量子化マトリクス８０６と同一であることが分かり、図８（ｂ）の量子化マトリクス８０１を再生する。

また、量子化マトリクス符号化モード、すなわち図１２のシンタックステーブルにおけるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｉｄｘが１の場合、当該量子化マトリクスは量子化マトリクス間差分符号化モードで符号化されたことを意味する。この場合、当該量子化マトリクスの符号化結果は量子化マトリクス符号化モード（１）、量子化マトリクス参照インデックスおよび差分情報から構成される。例えば、イントラ予測・Ｃｒ成分用の４×４の量子化マトリクスを復号する際に、量子化マトリクス復号部２０９は、量子化マトリクス間差分符号化モードを意味する量子化マトリクス符号化モード＝１をまずは再生する。そして、量子化マトリクス復号部２０９は、量子化マトリクス参照インデックスを再生する。量子化マトリクス参照インデックスが、復号済の量子化マトリクスのうち参照対象の量子化マトリクスが直前に復号されたものであることを示す場合、量子化マトリクス参照インデックス＝０となる。量子化マトリクス参照インデックス＝１の場合、さらに１つ前に復号済の量子化マトリクスが参照される。続いて、量子化マトリクス復号部２０９は差分情報、すなわち図１２のシンタックステーブルにおけるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｄｅｌｔａを量子化マトリクスの要素の個数分復号し、図１０（ｂ）に示される一次元の差分行列を再生する。量子化マトリクス復号部２０９は、図９（ｂ）の走査方法を用いて図１０（ｂ）の一次元の差分行列を二次元に配置し、図１０（ａ）に示された二次元の差分行列を得る。そして、量子化マトリクス復号部２０９は、参照対象である図８（ｂ）の量子化マトリクス８０１の各要素に、図１０（ａ）の二次元の差分行列の各差分値を足し合わせ、図８（ｃ）の量子化マトリクス８０２を再生する。

一方、量子化マトリクス符号化モード、すなわち図１２のシンタックステーブルにおけるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｉｄｘが２の場合、当該量子化マトリクスは量子化マトリクス内差分符号化モードで符号化されたことを意味する。この場合、当該量子化マトリクスの符号化結果は量子化マトリクス符号化モード（２）および差分情報から構成される。例えば、イントラ予測・Ｙ成分用の４×４の量子化マトリクスを復号する際に、量子化マトリクス復号部２０９は、量子化マトリクス内差分符号化モードを意味する量子化マトリクス符号化モード＝２をまずは再生する。そして、量子化マトリクス復号部２０９は差分情報、すなわち図１２のシンタックステーブルにおけるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄｅｌｔａ＿ｃｏｅｆを量子化マトリクスの要素の個数分復号し、図１０（ｃ）に示される一次元の差分行列を再生する。量子化マトリクス復号部２０９は、直前の要素に図１０（ｂ）の一次元の差分行列内の各差分値を加算しつつ、図９（ｂ）の走査方法を用いて二次元に配置し、図８（ｇ）の量子化マトリクス８０６を再生する。

なお、本実施形態では差分情報の復号において、図１１（ａ）の符号化テーブルを利用するものとするが、図１１（ｂ）の符号化テーブルを用いても構わない。要するに、符号化側と同じものを用いれば良い。そして、量子化マトリクス復号部２０９は、このようにして再生され量子化マトリクス８００〜８１１を保持する。ここでは符号化側の量子化マトリクス符号化部１１３の動作とは逆の動作を行うこととなる。

復号部２０３は、分離復号部２０２から供給された符号データを復号し、予測情報を再生し、さらに残差係数を再生する。まず、復号部２０３は、予測情報を再生し、当該サブブロックで用いられる予測モードを取得する。復号部２０３は、再生された残差係数を逆量子化・逆変換部２０４に出力し、再生された予測情報を画像再生部２０５に出力する。

逆量子化・逆変換部２０４は、入力された残差係数に対し、量子化マトリクス復号部２０９で再生された量子化マトリクスを用いて逆量子化を行って直交変換係数を生成し、さらに逆直交変換を施して予測誤差を再生する。逆量子化・逆変換部２０４は、符号化側の逆量子化・逆変換部１０６と同様、復号対象サブブロックの大きさや色成分に対応した量子化マトリクスを用いて逆量子化を行うことになる。すなわち、サブブロック分割をせず、イントラ予測モードが用いられた場合、Ｙ成分の直交変換係数には図８（ａ）、Ｃｂ成分の直交変換係数には図８（ｂ）、Ｃｒ成分の直交変換係数には図８（ｃ）の量子化マトリクスが用いられる。また、同様にサブブロック分割をせず、代わりにインター予測モードが用いられた場合、Ｙ成分の直交変換係数には図８（ｄ）、Ｃｂ成分の直交変換係数には図８（ｅ）、Ｃｒ成分の直交変換係数には図８（ｆ）の量子化マトリクスが用いられる。一方、図７（ｂ）のサブブロック分割を行い、イントラ予測モードが用いられた場合、Ｙ成分の直交変換係数には図８（ｇ）、Ｃｂ成分の直交変換係数には図８（ｈ）、Ｃｒ成分の直交変換係数には図８（ｉ）の量子化マトリクスが用いられる。また、同様に図７（ｂ）のサブブロック分割を行い、代わりにインター予測モードが用いられた場合、Ｙ成分の直交変換係数には図８（ｊ）、Ｃｂ成分の直交変換係数には図８（ｋ）、Ｃｒ成分の直交変換係数には図８（ｌ）の量子化マトリクスが用いられる。

こうして再生された直交変換係数に逆直交変換を施して再生された予測誤差は画像再生部２０５に出力される。ただし、使用される量子化マトリクスはこれに限定されず、符号化側の変換・量子化部１０５および逆量子化・逆変換部１０６で用いられた量子化マトリクスと同一のものであれば良い。

画像再生部２０５は、復号部２０３から入力された予測情報に基づいて、フレームメモリ２０６を適宜参照し、予測画像を再生する。本実施形態の画像再生部２０５は、符号化側の予測部１０４と同様、イントラ予測やインター予測が用いられる。具体的な予測の処理については、符号化側の予測部１０４と同様であるため、説明を省略する。画像再生部２０５は、この予測画像と逆量子化・逆変換部２０４から入力された予測誤差から画像データを再生し、フレームメモリ２０６に格納する。格納された画像データは予測の際の参照に用いられる。

インループフィルタ部２０７は、符号化側のインループフィルタ部１０９と同様、フレームメモリ２０６から再生画像を読み出し、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、インループフィルタ部２０７は、フィルタ処理された画像をフレームメモリ２０６に再格納する。

フレームメモリ２０６に格納された再生画像は、最終的には出力端子２０８から外部（表示装置がその代表となる）に出力される。

図４は、実施形態に係る画像復号装置における制御部２５０の復号処理を示すフローチャートである。

まず、Ｓ４０１にて、制御部２５０は、分離復号部２０２を制御して、ビットストリームから復号処理に関する情報や係数に関する符号データを分離して、ヘッダ部分の符号データを復号する。より具体的には、分離復号部２０２は、量子化マトリクスの符号データを量子化マトリクス復号部２０９に供給し、画像の符号データを復号部２０３に供給する。

Ｓ４０２にて、制御部２５０は、量子化マトリクス復号部２０９を制御し、Ｓ４０１で再生された量子化マトリクス符号データを図１２のシンタックステーブルに基づいて復号させ、図８（ａ）〜（ｌ）に示された量子化マトリクス８０１〜８１１を再生させ、保持させる。ここでの量子化マトリクス復号部２０９の具体的な動作は、説明済であるため省略する。

Ｓ４０３にて、制御部２５０は、復号部２０３を制御し、Ｓ４０１で分離された符号データを復号し、予測情報を再生し、残差係数を再生させる。

Ｓ４０４にて、制御部２５０は、逆量子化・逆変換部２０４を制御し、残差係数に対しＳ４０２で再生された量子化マトリクスを用いて逆量子化を行って直交変換係数を生成させる。逆量子化・逆変換部２０４は、さらに逆直交変換を行い、予測誤差を再生する。本実施形態では、復号対象サブブロックの色成分や大きさに応じて、逆量子化処理において使用される量子化マトリクスを決定する。すなわち、逆量子化・逆変換部２０４は、サブブロックのサイズや予測モード、色成分に応じて、図８（ａ）〜図８（ｌ）の量子化マトリクスを用いて逆量子化する。ただし、使用される量子化マトリクスはこれに限定されず、符号化側で用いられた量子化マトリクスと同一のものであれば良い。

Ｓ４０５にて、制御部２５０は画像再生部２０５を制御し、Ｓ４０３で生成された予測情報に基づき画像を再生させる。具体的には、画像再生部２０５は、予測情報に基づき、フレームメモリ２０６を参照して予測画像を再生する。このとき、画像再生部２０５は、符号化側のＳ３０５と同様、イントラ予測やインター予測が用いられる。そして、画像再生部２０５は、再生された予測画像とＳ４０４で生成された予測誤差から画像データを再生し、再生した画像データをフレームメモリ２０６に格納する。

Ｓ４０６にて、制御部２５０は、着目フレーム内の全ての基本ブロックの復号が終了したか否かの判定を行い、終了していれば処理をＳ４０７に進み、未符号の基本ブロックが存在する場合は次の基本ブロックを復号対象とするための処理をＳ４０３に戻す。

Ｓ４０７にて、制御部２５０は、インループフィルタ部２０７を制御し、Ｓ４０５で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。

以上の構成と動作により、先に説明した画像符号化装置で生成された、符号化ビットストリーム、すなわち、適切な量子化マトリクス符号化モードにて符号化され、量子化マトリクスによる発生符号量を抑制したビットストリームを復号することができる。

なお、本実施形態では、量子化マトリクス参照モードおよび量子化マトリクス間差分符号化モードにおいて、同じサイズの量子化マトリクスのみを参照可能としたが、拡大・縮小を用いて別のサイズの量子化マトリクスを参照可能とする構成としても良い。例えば、図８（ｇ）の量子化マトリクス８０６の復号時に、図８（ｈ）の量子化マトリクス８０７を参照して拡大し、両者の差分値を差分情報として復号し、量子化マトリクスを再生する構成としても構わない。これにより、各サイズにおいて最初に符号化される量子化マトリクスのデータ量をさらに削減したビットストリームを復号することも可能となる。

また、本実施形態では、図１２のシンタックステーブルに示す通り、小さい量子化マトリクスから順に復号する構成としたが、大きい量子化マトリクスから順に復号する構成としても良い。これにより、特に前述の異なるサイズの量子化マトリクス間の参照を可能とした場合、量子化マトリクスのデータ量をさらに削減したビットストリームを復号することが可能となる。

さらには、本実施形態では、量子化マトリクスの参照対象を復号済の量子化マトリクスに限定したが、図１３（ａ）〜（ｃ）に示したような、量子化マトリクスを用いない場合に基準となるフラットな量子化マトリクスを参照対象とすることもできる。これにより、特に復号対象の量子化マトリクスがフラットな量子化マトリクスに近い場合、量子化マトリクスのデータ量がさらに削減されたビットストリームを復号することが可能となる。

［第２の実施形態］
上記第１の実施形態における画像符号化装置および画像復号装置が有する各処理部はハードウェアでもって構成しているものとして説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。

図５は、上記実施形態に係る画像符号化装置、復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ５０１は、図１、図２に示した各処理部として機能することになる。

ＲＡＭ５０２は、外部記憶装置５０６、Ｉ／Ｆ（インターフェース）５０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアとしても利用される。ＲＡＭ５０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ５０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部５０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ５０１に対して入力することができる。表示部５０５は、ＣＰＵ５０１による処理結果を表示する。また表示部５０５は例えば液晶ディスプレイで構成される。

外部記憶装置５０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置５０６には、ＯＳ（オペレーティングシステム）や、図１、図２に示した各部の機能をＣＰＵ５０１に実現させるためのコンピュータプログラム（アプリケーションプログラム）が保存されている。更には、外部記憶装置５０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜、ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。Ｉ／Ｆ５０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ５０７を介して様々な情報を取得したり、送出したりすることができる。５０８は上述の各部を繋ぐバスである。

上記構成において、本装置に電源が投入されると、ＣＰＵ５０１はＲＯＭ５０３に格納されたブートプログラムを実行し、外部記憶装置５０６に格納されたＯＳをＲＡＭ５０２にロードし実行する。そして、ＣＰＵ５０１は、ＯＳの制御下にて、外部記憶装置５０６から符号化、或いは、復号に係るアプリケーションプログラムをＲＡＭ５０２にロードし、実行する。この結果、ＣＰＵ５０１は、図１或いは図２の各処理部として機能し、本装置が画像符号化装置、或いは、画像復号装置として機能することになる。

ここで、本第２の実施形態における量子化マトリクスの符号化処理、つまり、図３のＳ３０２に相当する処理を、図１４のフローチャートを参照して説明する。

なお、符号化する量子化マトリクスの順番は、第１の実施形態と同じで、最初は２×２画素サイズの量子化マトリクス８０７→８０８→８１０→８１１の順に、次に、４×４画素サイズの量子化マトリクス８０６→８０１→８０２→８０９→８０４→８０６の順に、最後に、８×８画素サイズの量子化マトリクス８００→８０３の順とする。

また、以下に示す変数ｓｉｚｅＩｄ、ｍａｔｒｉｘＩｄは、第１の実施形態で示したものと同じ意味を持つ。

つまり、変数ｓｉｚｅＩｄは、量子化マトリクスのサイズを示す変数であり、ｓｉｚｅＩｄが“１”のときは、符号化対象の量子化マトリクスのサイズが２×２画素サイズであることを示す。また、ｓｉｚｅＩｄが“２”のときは、符号化対象の量子化マトリクスのサイズが４×４画素サイズであることを示す。そして、ｓｉｚｅＩｄが“３”のときは、符号化対象の量子化マトリクスのサイズが８×８画素サイズであることを示す。また、変数ｍａｔｒｉｘＩｄは、同じサイズの量子化マトリクスの順番を示す。そして、ｓｉｚｅＩｄとｍａｔｒｉｘＩｄにより、符号化対象の量子化マトリクスが特定される。

例えばｓｉｚｅＩｄ＝２、ｍａｔｒｉｘＩｄ＝０のとき、４×４画素サイズの最初の量子化マトリクス８０６が符号化対象の量子化マトリクスであることを表す。

まず、Ｓ１４０１にて、ＣＰＵ５０１は変数ｓｉｚｅＩｄに初期値として“１”を設定することで、符号化対象の量子化マトリクスのサイズを２×２画素サイズに設定する。次に、Ｓ１４０２にて、ＣＰＵ５０１は、ｍａｔｒｉｘＩｄに初期値として“０”を設定する。この結果、このＳ１４０２が最初に実行された場合の、符号化対象の着目量子化マトリクスとして、図８の量子化マトリクス８０７が設定されたことになる。

Ｓ１４０３にて、ＣＰＵ５０１は、ｍａｔｒｉｘＩｄが“０”であるか否かを判定する。ｍａｔｒｉｘＩｄが“０”以外である場合、着目量子化マトリクスと同じサイズの符号化済み量子化マトリクスが存在することになる。それ故、ＣＰＵ５０１は処理をＳ１４０４に進め、量子化マトリクス参照モードによる探索処理を行う。つまり、ＣＰＵ５０１は、符号化済みの量子化マトリクスの中に、着目量子化マトリクスと同一のものが存在するかの探索処理を行う。

Ｓ１４０５にて、ＣＰＵ５０１は、着目量子化マトリクスと同じ符号化済みの量子化マトリクスを探索できたか否かを判定する。探索できたと判定した場合、ＣＰＵ５０１は処理をＳ１４０６に進め、“０”、及び、一致した量子化マトリクスを特定する値を、着目量子化マトリクスの符号化データとして出力する。符号化データの先頭に“０”を設定するのは、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｉｄｘのパラメータを“０”と設定するのと等価のことである。また、「一致した量子化マトリクスを特定する値」は、実施形態の場合、４×４画素サイズの量子化マトリクスの数“６”が、他のサイズの量子化マトリクスの数より多いので、その量子化マトリクスを特定する値に割り当てるビット数が３ビットあれば十分である。一方で、探索できなかったと判定した場合、ＣＰＵ５０１は処理をＳ１４０７に進める。

Ｓ１４０３にて、ＣＰＵ５０１が、ｍａｔｒｉｘＩｄが“０”であると判定した場合、処理をＳ１４０９に進める。

このＳ１４０７にて、ＣＰＵ５０１は、着目量子化マトリクスについて、量子化マトリクス間差分符号化モードを実行する。そして、Ｓ１４０８にて、ＣＰＵ５０１は、“１”および、量子化マトリクス間差分符号化モードによる符号化データを得る。符号化データの先頭に“１”を設定するのは、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｉｄｘのパラメータを“１”と設定するのと等価のことである。注目量子化マトリクスと同じ量子化マトリクスの順番を示す情報を先頭の“１”に後続して出力し、その後で差分符号化データを出力するようにしても良い。

次に、Ｓ１４０９にて、ＣＰＵ５０１は、着目量子化マトリクスについて、量子化マトリクス内差分符号化モードを実行する。そして、Ｓ１４１０にて、ＣＰＵ５０１は、“２”および、量子化マトリクス間差分符号化モードによる符号化データを得る。符号化データの先頭に“２”を設定するのは、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｉｄｘの返り値を“２”とするのと等価のことである。

そして、Ｓ１４１１にて、ＣＰＵ５０１は、Ｓ１４０８、Ｓ１４１０で生成された符号化データの少ない方を、着目量子化マトリクスの符号化データとして出力する。なお、Ｓ１４０３からＳ１４０９に分岐した場合は、Ｓ１４０９の量子化マトリクス内差分符号化モードで生成された符号化データが出力される。

Ｓ１４１２にて、ＣＰＵ５０１は、変数ｍａｔｒｉｘＩｄを“１”増加させる。そして、Ｓ１４１３にて、ＣＰＵ５０」１は、変数ｓｉｚｅＩｄとｍａｔｒｉｘＩｄに基づき、着目量子化マトリクスと同サイズの全ての量子化マトリクスの符号化を終えたか否かを判定する。Ｓ１４１３の判定結果が“Ｎｏ”の場合、ＣＰＵ５０１は処理をＳ１４０３に進め、上記処理を繰り返す。

また、Ｓ１４１３の判定結果が“Ｙｅｓ”の場合、ＣＰＵ５０１は、ｓｉｚｅＩｄを“１”増加させる。そして、Ｓ１４１５にて、ＣＰＵ５０１は、変数ｓｉｚｅＩｄとｍａｔｒｉｘＩｄに基づき、全サイズの量子化マトリクスの符号化を終えたか否かを判定する。Ｓ１４１５の判定結果が“Ｎｏ”の場合、未符号化のサイズの量子化マトリクスが存在することになるので、ＣＰＵは処理をＳ１４０２に戻す。また、Ｓ１４１５の判定結果が“Ｙｅｓ”の場合は、本処理（図３のＳ３０２）を終える。

なお、Ｓ１４０６に処理が進んだ場合、量子化マトリクス参照モードによる符号化データが少なくなることが約束されるので、他のモードでの符号化データとの比較は省略したが、勿論、比較しても構わない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は静止画・動画の符号化・復号を行う符号化装置・復号装置に用いられる。特に、量子化マトリクスを使用する符号化方式および復号方式に適用が可能である。

１０１…入力端子、１０２…ブロック分割部、１０３…量子化マトリクス保持部、１０４…予測部、１０５…変換・量子化部、１０６…逆量子化・逆変換部、１０７…画像再生部、１０８…フレームメモリ、１０９…インループフィルタ部、１１０…符号化部、１１１…統合符号化部、１１２…出力端子、１１３…量子化マトリクス符号化部、１５０…制御部

Claims (7)

1. 画像を複数のブロックに分割し、分割されたブロック単位で予測の誤差を量子化し、符号化する画像符号化装置であって、
   量子化マトリクスを用いて前記ブロックの予測誤差を量子化する量子化手段と、
   前記量子化マトリクスを符号化する符号化手段とを有し、
   前記符号化手段は、
   符号化対象の量子化マトリクスが符号化済の量子化マトリクスと同一であることを示す情報を符号化し、当該符号化対象の量子化マトリクスの各要素を符号化しない第一のモード、
   符号化対象の量子化マトリクスと符号化済の量子化マトリクスの各要素の差分を符号化することを示す情報を符号化し、かつ、当該符号化対象の量子化マトリクスと符号化済の量子化マトリクスの各要素の差分を符号化する第二のモード、
   符号化対象の量子化マトリクス内の要素間の差分を符号化することを示す情報を符号化するとともに、当該符号化対象の量子化マトリクス内の要素間の差分を符号化する第三のモード、
   を有することを特徴とする画像符号化装置。
2. 前記ブロックの成分の種類には、輝度の成分、２つの色差の成分が含まれ、それぞれに対応する量子化マトリクスを用いて各成分の予測誤差が量子化されることを特徴とする請求項１に記載の画像符号化装置。
3. イントラ予測、およびインター予測のそれぞれに対応する量子化マトリクスを用いて予測誤差が生成され、
   前記符号化手段は、ブロックのサイズ、イントラ予測あるいはインター予測の種別、成分の種別の優先順に、量子化マトリクスを符号化する
   ことを特徴とする請求項２に記載の画像符号化装置。
4. 画像を複数のブロックに分割し、分割されたブロック単位で予測の誤差を逆量子化することにより、符号化されたビットストリームから画像を復号する画像復号装置であって、
   量子化マトリクスを復号する復号手段と、
   前記復号された量子化マトリクスを用いて復号対象の残差係数を逆量子化する逆量子化手段とを有し、
   前記復号手段は、前記量子化マトリクスの符号化モードを示す情報を復号し、
   前記符号化モードを示す情報が、第一のモードの場合、当該復号済の量子化マトリクスを用いて復号対象の残差係数を逆量子化し、
   前記符号化モードを示す情報が、第二のモードの場合、復号済の量子化マトリクスの各要素および復号済の量子化マトリクスの各要素に対する差分値から得られる量子化マトリクスを用いて復号対象の残差係数を逆量子化し、
   前記符号化モードを示す情報が、第三のモードの場合、符号化された各要素の差分値を復号することによって得られる量子化マトリクスを用いて逆量子化する
   ことを特徴とする画像復号装置。
5. 画像を複数のブロックに分割し、分割されたブロック単位で予測の誤差を量子化し、符号化する画像符号化装置の制御方法であって、
   量子化マトリクスを用いて前記ブロックの予測誤差を量子化する量子化工程と、
   前記量子化マトリクスを符号化する符号化工程とを有し、
   前記符号化工程は、
   符号化対象の量子化マトリクスが符号化済の量子化マトリクスと同一であることを示す情報を符号化し、当該符号化対象の量子化マトリクスの各要素を符号化しない第一のモード、
   符号化対象の量子化マトリクスと符号化済の量子化マトリクスの各要素の差分を符号化することを示す情報を符号化し、かつ、当該符号化対象の量子化マトリクスと符号化済の量子化マトリクスの各要素の差分を符号化する第二のモード、
   符号化対象の量子化マトリクス内の要素間の差分を符号化することを示す情報を符号化するとともに、当該符号化対象の量子化マトリクス内の要素間の差分を符号化する第三のモード、
   を有することを特徴とする画像符号化装置の制御方法。
6. 画像を複数のブロックに分割し、分割されたブロック単位で予測の誤差を逆量子化することにより、符号化されたビットストリームから画像を復号する画像復号装置の制御方法であって、
   量子化マトリクスを復号する復号工程と、
   前記復号された量子化マトリクスを用いて復号対象の残差係数を逆量子化する逆量子化工程とを有し、
   前記復号工程は、前記量子化マトリクスの符号化モードを示す情報を復号し、
   前記符号化モードを示す情報が、第一のモードの場合、当該復号済の量子化マトリクスを用いて復号対象の残差係数を逆量子化し、
   前記符号化モードを示す情報が、第二のモードの場合、復号済の量子化マトリクスの各要素および復号済の量子化マトリクスの各要素に対する差分値から得られる量子化マトリクスを用いて復号対象の残差係数を逆量子化し、
   前記符号化モードを示す情報が、第三のモードの場合、符号化された各要素の差分値を復号することによって得られる量子化マトリクスを用いて逆量子化する
   ことを特徴とする画像復号装置の制御方法。
7. コンピュータが読み込み実行することで、前記コンピュータに、請求項５又は６に記載の方法の各工程を実行させるためのプログラム。

Images