JP2005039743A

JP2005039743A - 画像情報符号化装置及び方法、並びに画像情報復号装置及び方法

Info

Publication number: JP2005039743A
Application number: JP2003277128A
Authority: JP
Inventors: Teruhiko Suzuki; 輝彦鈴木; Akira Sugiyama; 晃杉山; Kyohei Koyabu; 恭平小藪
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-07-18
Filing date: 2003-07-18
Publication date: 2005-02-10
Anticipated expiration: 2023-07-18
Also published as: EP2506574A2; US9843817B2; EP1648180A1; EP2506574A3; US8675976B2; US20110123108A1; EP2506579A3; US20110122947A1; US20050271288A1; US20110123109A1; EP2506577A3; WO2005009050A1; EP2506576A3; EP2506578A3; CN100542305C; US8873870B2; EP2506575A3; US20160191936A1; US20110123104A1; KR20060121651A

Abstract

【課題】入力画像信号の色成分の解像度及び色空間に基づいて、効率よく画像内符号化を行う。
【解決手段】画像情報符号化装置１０において、イントラ予測部２３は、色成分の解像度が４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がＹＣｂＣｒ、ＲＧＢ、ＸＹＺ等の何れであるかを示す色空間信号に基づいて、予測画像を生成する際のブロックサイズを適応的に変更する。また、直交変換部１４、量子化部１５においても、クロマフォーマット信号及び色空間信号に応じて直交変換手法、量子化手法を変更する。可逆符号化部１６は、このクロマフォーマット信号及び色空間信号を符号化し、画像圧縮情報に含める。
【選択図】図１

Description

本発明は、ＭＰＥＧ（Moving Picture Experts Group）、Ｈ．２６ｘ等のように、離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き予測・補償とによって圧縮された画像圧縮情報（ビットストリーム）を、衛星放送、ケーブルＴＶ若しくはインターネット等のネットワークメディアを介して受信する際に、又は光ディスク、磁気ディスク若しくはフラッシュメモリ等の記憶メディア上で処理する際に用いられる画像情報符号化装置及びその方法、並びに画像情報復号装置及びその方法に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き予測・補償とにより圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

特に、ＭＰＥＧ２（ISO/IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。しかし、携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。

さらに、近年、テレビ会議用の画像符号化を当初の目的として、Ｈ.２６４（ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。Ｈ．２６４は、ＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６４をベースに、Ｈ．２６４ではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がＪＶＴ（Joint Video Team）によって行われている。

ここで、離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き予測・補償とにより画像圧縮を実現する画像情報符号化装置の概略構成を図９に示す。図９に示すように、画像情報符号化装置１００は、Ａ／Ｄ（Analogue/Digital）変換部１０１と、画像並び替えバッファ１０２と、加算器１０３と、直交変換部１０４と、量子化部１０５と、可逆符号化部１０６と、蓄積バッファ１０７と、逆量子化部１０８と、逆直交変換部１０９と、加算器１１０と、フレームメモリ１１１と、動き予測・補償部１１２と、イントラ予測部１１３と、レート制御部１１４とにより構成されている。

図９において、Ａ／Ｄ変換部１０１は、入力された画像信号をデジタル信号に変換する。そして、画像並び替えバッファ１０２は、当該画像情報符号化装置１００から出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。ここで、画像並び替えバッファ１０２は、イントラ（画像内）符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換部１０４に供給する。直交変換部１０４は、画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化部１０５に供給する。量子化部１０５は、直交変換部１０４から供給された変換係数に対して量子化処理を施す。

可逆符号化部１０６は、量子化された変換係数に対して可変長符号化、算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ１０７に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力される。

量子化部１０５の挙動は、レート制御部１１４によって制御される。また、量子化部１０５は、量子化後の変換係数を逆量子化部１０８に供給し、逆量子化部１０８は、その変換係数を逆量子化する。逆直交変換部１０９は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ１１１に供給して蓄積させる。

一方、画像並び替えバッファ１０２は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測・補償部１１２に供給する。動き予測・補償部１１２は、同時に参照される画像情報をフレームメモリ１１１より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償部１１２は、この参照画像情報を加算器１０３に供給し、加算器１０３は、参照画像情報を当該画像情報との差分信号に変換する。また、動き補償・予測部１１２は、同時に動きベクトル情報を可逆符号化部１０６に供給する。

可逆符号化部１０６は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。

ここで、上述したＪＶＴで標準化が行われている符号化方式（以下、JVT Codecという。）では、イントラ符号化を行う際に、ブロック周辺の画素から予測画像を生成してその差分を符号化するというイントラ予測符号化が採用されている。すなわち、イントラ符号化が行われる画像に関しては、符号化する画素ブロックの近傍の既に符号化が終了した画素値から予測画像を生成し、その予測画像との差分が符号化される。逆量子化部１０８及び逆直交変換部１０９は、イントラ符号化された画素をそれぞれ逆量子化及び逆直交変換し、加算器１１０は、逆直交変換部１０９の出力と当該画素ブロックを符号化する際に使用された予測画像とを加算し、その加算値をフレームメモリ１１１に供給して蓄積させる。イントラ予測部１１３は、イントラ符号化される画素ブロックの場合には、既に符号化が終了しフレームメモリ１１１に蓄積されている近傍画素を読み出し、予測画像を生成する。このとき、予測画像の生成に用いたイントラ予測モードについても可逆符号化部１０６において可逆符号化処理を施し、画像圧縮情報に含めて出力する。

続いて、上述した画像情報符号化装置１００に対応する画像情報復号装置の概略構成を図１０に示す。図１０に示すように、画像情報復号装置１２０は、蓄積バッファ１２１と、可逆復号部１２２と、逆量子化部１２３と、逆直交変換部１２４と、加算器１２５と、画像並び替えバッファ１２６と、Ｄ／Ａ（Digital/Analogue）変換部１２７と、動き予測・補償部１２８と、フレームメモリ１２９と、イントラ予測部１３０とにより構成されている。

図１０において、蓄積バッファ１２１は、入力された画像圧縮情報を一時的に格納した後、可逆復号部１２２に転送する。可逆復号部１２２は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号又は算術復号等の処理を施し、量子化された変換係数を逆量子化部１２３に供給する。また、可逆復号部１２２は、当該フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部１２８に供給する。

逆量子化部１２３は、可逆復号部１２２から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部１２４に供給する。逆直交変換部１２４は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換又は逆カルーネン・レーベ変換等の逆直交変換を施す。

ここで、当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、画像並び替えバッファ１２６に格納され、Ｄ／Ａ変換部１２７におけるＤ／Ａ変換処理の後に出力される。

一方、当該フレームがインター符号化されたものである場合には、動き予測・補償部１２８は、可逆復号処理が施された動きベクトル情報とフレームメモリ１２９に格納された画像情報とに基づいて参照画像を生成し、加算器１２５に供給する。加算器１２５は、この参照画像と逆直交変換部１２４の出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。

なお、JVT Codecではイントラ予測符号化が採用されているため、当該フレームがイントラ符号化されたものである場合には、イントラ予測部１３０は、フレームメモリ１２９から画像を読みだし、可逆復号部１２２において可逆復号処理が施されたイントラ予測モードに従って予測画像を生成する。加算器１２５は、逆直交変換部１２４の出力とこの予測画像とを加算する。

以上説明した画像情報符号化装置１００及び画像情報復号装置１２０については、例えば下記特許文献１、２等に記載されている。

特開２００１−１９９８１８号公報特開２００２−２０９５３号公報

ところで、JVT Codec（H.264｜MPEG-4 AVC）では、上述したように、イントラ符号化を行う際に、ブロックの周辺の画素から予測画像を生成してその差分を符号化するというイントラ予測符号化が採用されている。

ここで、輝度成分に関しては、４×４画素ブロック単位に予測を行うイントラ４×４予測モードと１６×１６画素ブロック（マクロブロック）単位で予測を行うイントラ１６×１６予測モードとの２つの予測方式が用いられている。

一方、色差成分に関しては、Ｃｂ，Ｃｒそれぞれの８×８ブロック単位で予測を行う。この予測符号化の方法は、イントラ１６×１６予測モードと同様であり、当該予測モードを８×８ブロック単位に変更したものである。色差のイントラ予測符号化における予測モードを図１１に示す。図１１に示すように、JVT Codecでは、
(a) Vertical mode（mode=0）
(b) Horizontal mode（mode=1）
(c) DC mode（mode=2）
(d) Plane Prediction mode（mode=3）
の４つの予測モードが定義されており、最も予測残差の少ない予測モードに従って予測画像が生成される。以下、この４つの予測モードにおける予測画像の生成手法について説明する。

(a) Vertical mode（mode=0）
Vertical mode においては、色差ブロックの隣接する上側のブロックの画素（４：２：０フォーマットの場合、上のマクロブロック）をコピーして当該ブロックの予測画像とする。この場合の色差ブロックの予測画像pred_ｃは、隣接する上側のブロックの画素をｐ[ｘ，−１]とすると、以下の式（１）のように表される。なお、このモードは隣接する上側のブロックが存在する場合にのみ用いることが可能である。

(b) Horizontal mode（mode=1）
Horizontal mode においては、色差ブロックの隣接する左側のブロックの画素（４：２：０フォーマットの場合、左のマクロブロック）をコピーして当該ブロックの予測画像とする。この場合の色差ブロックの予測画像pred_ｃは、隣接する左側のブロックの画素をｐ[−１，ｙ]とすると、以下の式（２）のように表される。なお、このモードは隣接する左側のブロックが存在する場合のみ用いることが可能である。

(c) DC mode（mode=2）
DC mode においては、色差ブロックの隣接する上側及び左側のブロックの画素を用いてその平均値を予測画像とする。但し、隣接する画素が存在しない場合には、値１２８が予測信号として用いられる。

すなわち、ｘ，ｙ＝０..３の場合、予測画像pred_ｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ，ｙ＝０..３）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iv）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の４つの場合において、それぞれ以下の式（３）〜（６）に従って生成される。

同様に、ｘ＝４..７、ｙ＝０..３の場合、予測画像pred_ｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝４..７、ｙ＝０..３）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]が存在する場合、（ii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iii）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の３つの場合において、それぞれ以下の式（７）〜（９）に従って生成される。

同様に、ｘ＝０..３、ｙ＝４..７の場合、予測画像pred_ｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝０..３、ｙ＝４..７）を用いて生成される。より詳しくは、（ｉ）画素ｐ[−１，ｙ]が存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の３つの場合において、それぞれ以下の式（１０）〜（１２）に従って生成される。

同様に、ｘ，ｙ＝４..７の場合、予測画像pred_ｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ，ｙ＝４..７）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iv）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の４つの場合において、それぞれ以下の式（１３）〜（１６）に従って生成される。

(d) Plane Prediction mode（mode=3）
Plane Prediction mode においては、色差ブロックの隣接する左側のブロックの画素（４：２：０フォーマットの場合、左のマクロブロック）と上側のブロックの画素から予測画像を平面近似して当該ブロックの予測画像とする。この場合の色差の予測画像pred_ｃは、隣接する左側のブロックの画素をｐ[−１，ｙ]、上側のブロックをｐ[ｘ，−１]とすると、以下の式（１７）のように表される。ここで、式（１７）におけるClip1は、０から２５５の範囲にクリッピングすることを示す。

以上のように、４つの予測モードの何れかによって色差成分のイントラ予測を行って予測画像を生成した後、加算器１０３において現在の画素ブロックとこの予測画像との差分信号が生成される。直交変換部１０４は、この８×８ブロックの差分信号に対して４×４画素ブロック単位で４×４整数変換を適用する。現在の画素ブロックから予測画像を引いた差分信号をＦ_４ｘ４とすると、４×４整数変換は、以下の式（１８）のように表される。

さらにJVT Codecでは、４×４整数変換した後、図１２に示すように、８×８ブロック中の４つの４×４ブロックの（０，０）係数（ＤＣ係数）を集めて２×２ブロックを構成し、この２×２ブロックに対して２×２アダマール変換を適応する。これは、色差で用いられているイントラ予測の効率がそれ程高くなく、隣り合う４×４ブロック間の（０，０）係数の間にまだ相関が残っているためである。この相関を利用してより符号化効率を高めるため、４×４ブロックの（０，０）係数のみを集めて２×２ブロックを構成し、２×２アダマール変換を適用する。２×２のクロマＤＣブロックをｆdc_２ｘ２とすると、２×２アダマール変換後のクロマＤＣブロックｆdc'_２ｘ２は、以下の式（１９）のように表される。

整数変換の後、各係数は量子化される。輝度の量子化係数を求めるためのパラメータをＱＰ_ｙとすると、色差の量子化係数を求めるためのパラメータＱＰ_ｃは、以下のようにして算出される。

すなわち、先ず画像圧縮情報中に符号化されるＱＰ_ｙ（０から５１の値をとる）及び色差の量子化係数のオフセット値chroma_qp_offsetを用いて、下記の式（２０）に従ってパラメータＱＰ_ｉを計算する。但し、ＱＰ_ｉは０から５１の範囲にクリッピングされる。

そして、このＱＰ_ｉを用いて以下の表１に示すテーブルから色差のパラメータＱＰ_ｃを求める。

ここで、量子化前の各ＡＣ係数の値をｆとし、量子化後の各ＡＣ係数の値をｆ’とすると、量子化後の係数の値は以下の式（２１）で表される。

一方、量子化前の各ＤＣ係数の値をｆdcとし、量子化後の各ＤＣ係数の値をｆdc’とすると、量子化後の係数の値は以下の式（２２）で表される。なお、式（２２）におけるｒは、丸め処理のための定数である。

また、ＡＣ係数の逆量子化は、逆量子化後のＡＣ係数をｆ”とすると、以下の式（２３）で表される。

一方、ＤＣ係数の逆量子化は、逆量子化後のＤＣ係数をｆdc”とすると、ＱＰ_ｃが６以上である場合には、以下の式（２４）で表され、ＱＰ_ｃが６未満である場合には、以下の式（２５）で表される。

以上のようにして、JVT Codecではイントラ予測符号化が行われているが、上記手法を用いても、色差のイントラ予測符号化はブロックサイズが小さいため、輝度と比べると符号化効率がよくないという問題があった。

また、上記手法は、４：２：０フォーマット、ＹＣｂＣｒ色空間のみにしか対応しておらず、４：２：２フォーマット、４：４：４フォーマット、ＲＧＢ色空間、ＸＹＺ色空間等の場合には符号化することができないという問題があった。

本発明は、このような従来の実情に鑑みて提案されたものであり、４：２：２フォーマット，４：４：４フォーマット, ＲＧＢ色空間、ＸＹＺ色空間等の画像であっても、より効率よく符号化することを可能にする画像情報符号化装置及びその方法、並びに画像情報復号装置及びその方法を提供することを目的とする。

上述した目的を達成するために、本発明に係る画像情報符号化装置は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、色信号の解像度を示すクロマフォーマット信号及び色空間を示す色空間信号に基づき、ブロックサイズを適応的に変更して、色信号を画像内予測符号化する際の予測画像を生成する画像内予測手段と、上記画像内予測手段によって生成された予測画像と原画像との差分信号を所定のブロックサイズ単位で整数変換する変換手段と、上記変換手段による変換に応じて量子化手法を適応的に変更し、上記変換手段によって生成された変換係数を量子化する量子化手段と、上記量子化手段によって量子化された上記変換係数と、上記クロマフォーマット信号及び上記色空間信号とを符号化する符号化手段とを備える。

また、上述した目的を達成するために、本発明に係る画像情報符号化方法は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、色信号の解像度を示すクロマフォーマット信号及び色空間を示す色空間信号に基づき、ブロックサイズを適応的に変更して、色信号を画像内予測符号化する際の予測画像を生成する画像内予測工程と、上記画像内予測工程にて生成された予測画像と原画像との差分信号を所定のブロックサイズ単位で整数変換する変換工程と、上記変換工程における変換に応じて量子化手法を適応的に変更し、上記変換工程にて生成された変換係数を量子化する量子化工程と、上記量子化工程にて量子化された上記変換係数と、上記クロマフォーマット信号及び上記色空間信号とを符号化する符号化工程とを有する。

このような画像情報符号化装置及びその方法では、入力画像信号を画像内予測符号化する際に、色成分の解像度が例えば４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間が例えばＹＣｂＣｒ、ＲＧＢ、ＸＹＺ等の何れであるかを示す色空間信号に基づいて、予測画像を生成する際のブロックサイズを適応的に変更する。さらに、この画像情報符号化装置及びその方法では、量子化された変換係数と共に、上記クロマフォーマット信号及び上記色空間信号を符号化する。

また、上述した目的を達成するために、本発明に係る画像情報復号装置は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号装置において、量子化され符号化された変換係数と、色信号の解像度を示すクロマフォーマット信号及び色空間を示す色空間信号とを復号する復号手段と、上記クロマフォーマット信号及び上記色空間信号に応じて逆量子化手法を適応的に変更し、上記復号手段によって復号された上記変換係数を逆量子化する逆量子化手段と、上記逆量子化されたブロックを整数変換する逆変換手段と、上記逆変換手段からの出力信号を用いて、上記クロマフォーマット信号及び上記色空間信号に応じたブロックサイズで、色信号を画像内予測復号する際の予測画像を生成する画像内予測手段とを備える。

また、上述した目的を達成するために、本発明に係る画像情報復号方法は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号方法において、量子化され符号化された変換係数と、色信号の解像度を示すクロマフォーマット信号及び色空間を示す色空間信号とを復号する復号工程と、上記クロマフォーマット信号及び上記色空間信号に応じて逆量子化手法を適応的に変更し、上記復号工程にて復号された上記変換係数を逆量子化する逆量子化工程と、上記逆量子化されたブロックを整数変換する逆変換工程と、上記逆変換工程の出力信号を用いて、上記クロマフォーマット信号及び上記色空間信号に応じたブロックサイズで、色信号を画像内予測復号する際の予測画像を生成する画像内予測工程とを有する。

このような画像情報復号装置及びその方法では、色成分の解像度が例えば４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間が例えばＹＣｂＣｒ、ＲＧＢ、ＸＹＺ等の何れであるかを示す色空間信号を復号し、このクロマフォーマット信号及び色空間信号に応じたブロックサイズで、色信号を画像内予測復号する際の予測画像を生成する。

本発明に係る画像情報符号化装置及びその方法、並びに画像情報復号装置及びその方法によれば、４：２：０フォーマット、ＹＣｂＣｒ色空間の場合のみならず、４：２：２フォーマット、４：４：４フォーマット、ＲＧＢ色空間、ＸＹＺ色空間等の場合にも、画像内予測によって、効率よく符号化、復号することができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明するが、本発明はこの実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

（１）画像情報符号化装置の構成及び動作
先ず、本実施の形態における画像情報符号化装置の概略構成を図１に示す。図１に示すように、画像情報符号化装置１０は、Ａ／Ｄ（Analogue/Digital）変換部１１と、画像並び替えバッファ１２と、加算器１３と、直交変換部１４と、量子化部１５と、可逆符号化部１６と、蓄積バッファ１７と、逆量子化部１８と、逆直交変換部１９と、加算器２０と、フレームメモリ２１と、動き予測・補償部２２と、イントラ予測部２３と、レート制御部２４とにより構成されている。

図１において、Ａ／Ｄ変換部１１は、入力された画像信号をデジタル信号に変換する。そして、画像並び替えバッファ１２は、当該画像情報符号化装置１０から出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。ここで、画像並び替えバッファ１２は、イントラ（画像内）符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換部１４に供給する。直交変換部１４は、画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化部１５に供給する。量子化部１５は、直交変換部１４から供給された変換係数に対して量子化処理を施す。

可逆符号化部１６は、量子化された変換係数に対して可変長符号化、算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ１７に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力される。

量子化部１５の挙動は、レート制御部２４によって制御される。また、量子化部１５は、量子化後の変換係数を逆量子化部１８に供給し、逆量子化部１８は、その変換係数を逆量子化する。逆直交変換部１９は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ２１に供給して蓄積させる。

一方、画像並び替えバッファ１２は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測・補償部２２に供給する。動き予測・補償部２２は、同時に参照される画像情報をフレームメモリ２１より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償部２２は、この参照画像情報を加算器１３に供給し、加算器１３は、参照画像情報を当該画像情報との差分信号に変換する。また、動き補償・予測部２２は、同時に動きベクトル情報を可逆符号化部１６に供給する。

可逆符号化部１６は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。

ここで、上述したJVT Codecでは、イントラ符号化を行う際に、ブロック周辺の画素から予測画像を生成してその差分を符号化するというイントラ予測符号化が採用されている。すなわち、イントラ符号化が行われる画像（Ｉピクチャ、Ｉスライス、イントラマクロブロックなど）に関しては、符号化する画素ブロックの近傍の既に符号化が終了した画素値から予測画像を生成し、その予測画像との差分が符号化される。逆量子化部１８及び逆直交変換部１９は、イントラ符号化された画素をそれぞれ逆量子化及び逆直交変換し、加算器２０は、逆直交変換部１９の出力と当該画素ブロックを符号化する際に使用された予測画像とを加算し、その加算値をフレームメモリ２１に供給して蓄積させる。イントラ予測部２３は、イントラ符号化される画素ブロックの場合には、既に符号化が終了しフレームメモリ２１に蓄積されている近傍画素を読み出し、予測画像を生成する。このとき、予測画像の生成に用いたイントラ予測モードについても可逆符号化部１６において可逆符号化処理を施し、画像圧縮情報に含めて出力する。

（２）画像情報符号化装置における本発明の適用部分
（２−１）イントラ予測部
イントラ予測部２３の構成の一例を図２に示す。イントラ予測部２３は、色成分の解像度が４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がＹＣｂＣｒ、ＲＧＢ、ＸＹＺ等の何れであるかを示す色空間信号に基づいて、予測の手法を切り替える。なお、クロマフォーマット信号及び色空間信号は、予め外部のユーザ等によって設定され、画像情報符号化装置１０に供給される。

図２に示すイントラ予測部２３において、クロマフォーマット信号及び色空間信号は、スイッチ３０，３２に供給される。スイッチ３０，３２では、クロマフォーマット信号及び色空間信号に基づき、イントラ予測器３１ａ，３１ｂ，３１ｃの何れかを選択し、フレームメモリ２１から読み出した画像信号を選択したイントラ予測器に供給し、選択したイントラ予測器からの予測画像を出力する。スイッチ３０，３２は、同一のイントラ予測器を選択する。なお、この図２では、３種類のイントラ予測器３１ａ，３１ｂ，３１ｃの何れかを選択するものとして説明するが、このイントラ予測器の数、すなわち予測の方式の数は、任意に設定することができる。

（２−１−１）
先ず、イントラ予測器３１ａの動作を説明する。このイントラ予測器３１ａでは、クロマフォーマット信号が４：２：０フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対し、８×８ブロックを単位として予測を行う。なお、イントラ予測器３１ａの動作は、前述した従来例と同様であるため、詳細な説明を省略する。

（２−１−２）
次に、イントラ予測器３１ｂの動作を説明する。イントラ予測器３１ｂにおいてもイントラ色差予測モードには、Vertical mode、Horizontal mode、DC mode、Plane prediction mode の４つの予測モードが存在する。このイントラ予測器３１ｂでは、クロマフォーマット信号が４：２：２フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対し、マクロブロック中の連続する縦方向の２つの８×８ブロックをまとめて８×１６ブロックを構成し、この８×１６ブロックを単位として予測を行う。以下、このイントラ予測器３１ｂにおける、４つの予測モードのそれぞれに従った予測画像の生成手法について説明する。

(a) Vertical mode（mode=0）
Vertical mode においては、色差ブロックの隣接する上側のブロックの画素をコピーして当該ブロックの予測画像とする。この場合の色差の予測画像ｐｒｅｄ_ｃは、隣接する上側のブロックの画素をｐ[ｘ，−１]とすると、以下の式（２６）のように表される。なお、このモードは隣接する上側のブロックが存在する場合にのみ用いることが可能である。

(b) Horizontal mode（mode=1）
Horizontal mode においては、色差ブロックの隣接する左側のブロックの画素をコピーして当該ブロックの予測画像とする。この場合の色差ブロックの予測画像pred_ｃは、隣接する左側のブロックの画素をｐ[−１，ｙ]とすると、以下の式（２７）のように表される。なお、このモードは隣接する左側のブロックが存在する場合のみ用いることが可能である。

すなわち、ｘ，ｙ＝０..３の場合、予測画像pred_ｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ，ｙ＝０..３）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iv）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の４つの場合において、それぞれ以下の式（２８）〜（３１）に従って生成される。

同様に、ｘ＝４..７、ｙ＝０..３の場合、予測画像pred_ｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝４..７、ｙ＝０..３）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]が存在する場合、（ii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iii）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の３つの場合において、それぞれ以下の式（３２）〜（３４）に従って生成される。

同様に、ｘ＝０..３、ｙ＝４..７の場合、予測画像pred_ｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝０..３、ｙ＝４..７）を用いて生成される。より詳しくは、（ｉ）画素ｐ[−１，ｙ]が存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の３つの場合において、それぞれ以下の式（３５）〜（３７）に従って生成される。

同様に、ｘ，ｙ＝４..７の場合、予測画像pred_ｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ，ｙ＝４..７）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iv）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の４つの場合において、それぞれ以下の式（３８）〜（４１）に従って生成される。

同様に、ｘ＝０..３、ｙ＝８..１１の場合、予測画像pred_ｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝０..３、ｙ＝８..１１）を用いて生成される。より詳しくは、（ｉ）画素ｐ[−１，ｙ]が存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の３つの場合において、それぞれ以下の式（４２）〜（４４）に従って生成される。

同様に、ｘ＝４..７、ｙ＝８..１１の場合、予測画像pred_ｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝４..７、ｙ＝８..１１）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iv）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の４つの場合において、それぞれ以下の式（４５）〜（４８）に従って生成される。

同様に、ｘ＝０..３、ｙ＝１２..１５の場合、予測画像pred_ｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝０..３、ｙ＝１２..１５）を用いて生成される。より詳しくは、（ｉ）画素ｐ[−１，ｙ]が存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の３つの場合において、それぞれ以下の式（４９）〜（５１）に従って生成される。

同様に、ｘ＝４..７、ｙ＝１２..１５の場合、予測画像pred_ｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝４..７、ｙ＝１２..１５）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iv）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の４つの場合において、それぞれ以下の式（５２）〜（５５）に従って生成される。

ここで、上述した予測方法では、単純に上側のブロックの８画素と左側のブロックの１６画素との平均値を予測画像としているため、２４での割り算を行う必要があり、演算量が多くなるという問題がある。そこで、以下のように予測方法を変形し、１６（＝２^４）での割り算を行うようにすることで、演算量を削減することができる。

すなわち、ｘ，ｙ＝０..７の場合、予測画像pred_ｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ，ｙ＝０..７）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iv）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の４つの場合において、それぞれ以下の式（５６）〜（５９）に従って生成される。

同様に、ｘ＝０..７、ｙ＝８..１５の場合、予測画像pred_ｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝０..７、ｙ＝８..１５）を用いて生成される。より詳しくは、（ｉ）画素ｐ[−１，ｙ]が存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の３つの場合において、それぞれ以下の式（６０）〜（６２）に従って生成される。

(d) Plane Prediction mode（mode=3）
Plane Prediction mode においては、色差ブロックの隣接する左側のブロックの画素と上側のブロックの画素から予測画像を平面近似して当該ブロックの予測画像とする。この場合の色差の予測画像pred_ｃは、隣接する左側のブロックの画素をｐ[−１，ｙ]、上側のブロックをｐ[ｘ，−１]とすると、以下の式（６３）のように表される。ここで、式（６３）におけるClip1は、０から２５５の範囲にクリッピングすることを示す。

（２−１−３）
続いて、イントラ予測器３１ｃの動作を説明する。イントラ予測器３１ｃにおいてもイントラ色差予測モードには、Vertical mode、Horizontal mode、DC mode、Plane prediction mode の４つの予測モードが存在する。このイントラ予測器３１ｃでは、クロマフォーマット信号が４：４：４フォーマットを示し、色空間信号がＹＣｂＣｒ、ＲＧＢ又はＸＹＺを示す画像信号に対し、マクロブロック中の連続する縦横方向の４つの８×８ブロックをまとめて１６×１６ブロックを構成し、この１６×１６ブロックを単位として予測を行う。以下、このイントラ予測器３１ｃにおける、４つの予測モードのそれぞれに従った予測画像の生成手法について説明する。

(a) Vertical mode（mode=0）
Vertical mode においては、色差ブロックの隣接する上側のブロックの画素をコピーして当該ブロックの予測画像とする。この場合の色差の予測画像ｐｒｅｄ_ｃは、隣接する上側のブロックの画素をｐ[ｘ，−１]とすると、以下の式（６４）のように表される。なお、このモードは隣接する上側のブロックが存在する場合にのみ用いることが可能である。

(b) Horizontal mode（mode=1）
Horizontal mode においては、色差ブロックの隣接する左側のブロックの画素をコピーして当該ブロックの予測画像とする。この場合の色差ブロックの予測画像pred_ｃは、隣接する左側のブロックの画素をｐ[−１，ｙ]とすると、以下の式（６５）のように表される。なお、このモードは隣接する左側のブロックが存在する場合のみ用いることが可能である。

すなわち、ｘ，ｙ＝０..１５の場合、予測画像pred_ｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ，ｙ＝０..１５）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iv）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の４つの場合において、それぞれ以下の式（６６）〜（６９）に従って生成される。

(d) Plane Prediction mode（mode=3）
Plane Prediction mode においては、色差ブロックの隣接する左側のブロックの画素と上側のブロックの画素から予測画像を平面近似して当該ブロックの予測画像とする。この場合の色差の予測画像pred_ｃは、隣接する左側のブロックの画素をｐ[−１，ｙ]、上側のブロックをｐ[ｘ，−１]とすると、以下の式（７０）のように表される。ここで、式（７０）におけるClip1は、０から２５５の範囲にクリッピングすることを示す。

（２−２）直交変換部
クロマフォーマット信号及び色空間信号は、直交変換部１４にも供給される。
直交変換部１４の構成の一例を図３に示す。直交変換部１４は、色成分の解像度が４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がＹＣｂＣｒ、ＲＧＢ、ＸＹＺ等の何れであるかを示す色空間信号に基づいて、直交変換の方式を切り替える。

図３に示す直交変換部１４において、クロマフォーマット信号及び色空間信号は、スイッチ４０，４２に供給される。スイッチ４０，４２では、クロマフォーマット信号及び色空間信号に基づき、直交変換器４１ａ，４１ｂ，４１ｃの何れかを選択し、加算器１３からの出力を選択した直交変換器に供給し、選択した直交変換器からの信号を出力する。スイッチ４０，４２は、同一の直交変換器を選択する。なお、この図３では、３種類の直交変換器４１ａ，４１ｂ，４１ｃの何れかを選択するものとして説明するが、この直交変換器の数、すなわち直交変換の方式の数は、任意に設定することができる。

（２−２−１）
先ず、直交変換器４１ａの動作を説明する。この直交変換器４１ａでは、クロマフォーマット信号が４：２：０フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対して直交変換を行う。なお、直交変換器４１ａの動作は、前述した従来例と同様であるため、詳細な説明を省略する。

（２−２−２）
次に、直交変換器４１ｂの動作を説明する。この直交変換器４１ｂでは、クロマフォーマット信号が４：２：２フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対して直交変換を行う。

より詳しくは、色差のイントラ予測を行った後、８×８ブロック中の４×４画素ブロック単位で４×４整数変換を適用する。当該画素ブロックから予測画像を引いた差分信号をｆ_４ｘ４とすると、４×４直交変換は、以下の式（７１）のように表される。

４×４整数変換した後、図４に示すように、縦方向に連続する２つの８×８ブロック中の８つの４×４ブロックの（０，０）係数を集めて２×４ブロックを構成し、この２×４ブロックに対して２×４変換を適応する。これは色差で用いられているイントラ予測の効率がそれ程高くなく、隣り合う４×４ブロック間の（０，０）係数の間にまだ相関が残っているためである。この相関を相関を利用してより符号化効率を高めるため、４×４ブロックの（０，０）係数のみを集めて２×４ブロックを構成し、２×４変換を適用する。２×４のクロマＤＣのブロックをｆ_２ｘ４とすると、このクロマＤＣブロックに対する変換は、以下の式（７２）のように表される。

（２−２−３）
続いて、直交変換器４１ｃの動作を説明する。この直交変換器４１ｃでは、クロマフォーマット信号が４：４：４フォーマットを示し、色空間信号がＹＣｂＣｒ、ＲＧＢ又はＸＹＺを示す画像信号に対して直交変換を行う。

より詳しくは、４：４：４フォーマット、ＹＣｂＣｒ、ＲＧＢ、ＸＹＺを示す色差を４×４整数変換した後、輝度と同様にしてマクロブロック中の１６個の（０，０）係数を集めて４×４ＤＣブロックを構成し、４×４変換を適用する。この変換は、以下の式（７３）のように表される。

（２−３）量子化部
クロマフォーマット信号及び色空間信号は、量子化部１５にも供給される。
量子化部１５の構成の一例を図５に示す。量子化部１５は、色成分の解像度が４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がＹＣｂＣｒ、ＲＧＢ、ＸＹＺ等の何れであるかを示す色空間信号に基づいて、量子化の方式を切り替える。

図５に示す量子化部１５において、クロマフォーマット信号及び色空間信号は、スイッチ５０，５２に供給される。スイッチ５０，５２では、クロマフォーマット信号及び色空間信号に基づき、量子化器５１ａ，５１ｂ，５１ｃの何れかを選択し、直交変換部１４からの出力を選択した量子化器に供給し、選択した量子化器からの信号を出力する。スイッチ５０，５２は、同一の量子化器を選択する。なお、この図５では、３種類の量子化器５１ａ，５１ｂ，５１ｃの何れかを選択するものとして説明するが、この量子化器の数、すなわち量子化の方式の数は、任意に設定することができる。

（２−３−１）
先ず、量子化器５１ａの動作を説明する。この量子化器５１ａでは、クロマフォーマット信号が４：２：０フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対して量子化を行う。なお、量子化器５１ａの動作は、前述した従来例と同様であるため、詳細な説明を省略する。

（２−３−２）
次に、量子化器５１ｂの動作を説明する。この量子化器５１ｂでは、クロマフォーマット信号が４：２：２フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対して量子化を行う。

ここで、４：２：０フォーマットの場合におけるクロマＤＣの変換に用いられるアダマール変換は、以下の式（７４）のように表される。

一方、４：２：２フォーマットの場合におけるクロマＤＣの変換に用いられる２×４変換は、以下の式（７５）のように表される。

したがって、４：２：０フォーマットでの変換による正規化係数は１／２であるのに対し、４：２：２フォーマットでの変換による正規化係数は１／２√２となる。しかしながら、この場合には実数演算が入ってしまうため、以下の式（７６）で示すように簡略化する。

この正規化係数は、量子化の際のスケールと一緒に計算されているため、４：２：２フォーマットの変換の場合、量子化方法を以下のように変更する必要がある。

量子化後のＤＣ係数をＱｆ’［ｉｊ］とすると、２×４クロマＤＣブロックの量子化後の係数値は、例えば以下の式（７７）で与えられる。ここで、式（７７）におけるｒは、丸め処理を変更するためのパラメータである。なお、ＡＣ係数に対する量子化は４：２：０フォーマットの場合と同様であるため、説明を省略する。

（２−３−３）
続いて、量子化器５１ｃの動作を説明する。この量子化器５１ｃでは、クロマフォーマット信号が４：４：４フォーマットを示し、色空間信号がＹＣｂＣｒ、ＲＧＢ又はＸＹＺを示す画像信号に対して量子化を行う。

ここで、クロマＤＣの変換に用いられるアダマール変換は、以下の式（７８）のように表される。したがって、この場合、変換の正規化係数は１／４となる。

量子化後のＤＣ係数をＱｆ’［ｉｊ］とすると、４×４クロマＤＣブロックの量子化後の係数値は、例えば以下の式（７９）で与えられる。ここで、式（７９）におけるｒは、丸め処理を変更するためのパラメータである。

（２−４）逆量子化部
クロマフォーマット信号及び色空間信号は、逆量子化部１８にも供給される。
逆量子化部１８の構成の一例を図６に示す。逆量子化部１８は、色成分の解像度が４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がＹＣｂＣｒ、ＲＧＢ、ＸＹＺ等の何れであるかを示す色空間信号に基づいて、逆量子化の方式を切り替える。

図６に示す逆量子化部１８において、クロマフォーマット信号及び色空間信号は、スイッチ６０，６２に供給される。スイッチ６０，６２では、クロマフォーマット信号及び色空間信号に基づき、逆量子化器６１ａ，６１ｂ，６１ｃの何れかを選択し、量子化部１５からの出力を選択した逆量子化器に供給し、選択した逆量子化器からの信号を出力する。スイッチ６０，６２は、同一の逆量子化器を選択する。なお、この図６では、３種類の逆量子化器６１ａ，６１ｂ，６１ｃの何れかを選択するものとして説明するが、この逆量子化器の数、すなわち逆量子化の方式の数は、任意に設定することができる。

（２−４−１）
先ず、逆量子化器６１ａの動作を説明する。この逆量子化器６１ａでは、クロマフォーマット信号が４：２：０フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対して逆量子化を行う。なお、逆量子化器６１ａの動作は、前述した従来例と同様であるため、詳細な説明を省略する。

（２−４−２）
次に、逆量子化器６１ｂの動作を説明する。この逆量子化器６１ｂでは、クロマフォーマット信号が４：２：２フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対して逆量子化を行う。

より詳しくは、逆量子化後のＤＣ係数をｆdc”とすると、２×２クロマＤＣブロックの逆量子化後の係数値は、ＱＰ_ｃが６以上である場合には以下の式（８０）で表され、ＱＰ_ｃが６未満である場合には、以下の式（８１）で表される。なお、ＡＣ係数に対する逆量子化は４：２：０フォーマットの場合と同様であるため、説明を省略する。

（２−４−３）
次に、逆量子化器６１ｃの動作を説明する。この逆量子化器６１ｃでは、クロマフォーマット信号が４：４：４フォーマットを示し、色空間信号がＹＣｂＣｒ、ＲＧＢ又はＸＹＺを示す画像信号に対して逆量子化を行う。

より詳しくは、逆量子化後のＤＣ係数をｆdc”とすると、４×４クロマＤＣブロックの逆量子化後の係数値は、ＱＰ_ｃが６以上である場合には以下の式（８２）で表され、ＱＰ_ｃが６未満である場合には、以下の式（８３）で表される。なお、ＡＣ係数に対する逆量子化は４：２：０フォーマットの場合と同様であるため、説明を省略する。

（２−５）逆直交変換部
クロマフォーマット信号及び色空間信号は、逆直交変換部１９にも供給される。
逆直交変換部１９の構成の一例を図７に示す。逆直交変換部１９は、色成分の解像度が４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がＹＣｂＣｒ、ＲＧＢ、ＸＹＺ等の何れであるかを示す色空間信号に基づいて、逆直交変換の方式を切り替える。

図７に示す逆直交変換部１９において、クロマフォーマット信号及び色空間信号は、スイッチ７０，７２に供給される。スイッチ７０，７２では、クロマフォーマット信号及び色空間信号に基づき、逆直交変換器７１ａ，７１ｂ，７１ｃの何れかを選択し、逆量子化部１８からの出力を選択した逆直交変換器に供給し、選択した逆直交変換器からの信号を出力する。スイッチ７０，７２は、同一の逆直交変換器を選択する。なお、この図７では、３種類の逆直交変換器７１ａ，７１ｂ，７１ｃの何れかを選択するものとして説明するが、この逆直交変換器の数、すなわち逆直交変換の方式の数は、任意に設定することができる。

（２−５−１）
先ず、逆直交変換器７１ａの動作を説明する。この逆直交変換器７１ａでは、クロマフォーマット信号が４：２：０フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対して逆直交変換を行う。なお、逆直交変換器７１ａの動作は、前述した従来例と同様であるため、詳細な説明を省略する。

（２−５−２）
次に、逆直交変換器７１ｂの動作を説明する。この逆直交変換器７１ｂでは、クロマフォーマット信号が４：２：２フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対して逆直交変換を行う。

より詳しくは、２×４ＤＣブロックに対して２×４逆変換を適用する。逆変換後の２×４のクロマＤＣブロックをｆdc_２ｘ４'''とすると、このクロマＤＣブロックに対する逆変換は、以下の式（８４）のように表される。

このクロマＤＣ係数を図４に示したような４×４ブロックの（０，０）係数とし、各４×４ブロックの逆変換を行う。逆変換されたクロマＤＣであるｆdc_２ｘ４'''を（０，０）係数とする４×４ブロックの各係数をＦ'_４ｘ４とし、逆変換後の４×４ブロックに復号差分信号をＦ''_４ｘ４とすると、逆変換は、以下の式（８５）のように表される。

（２−５−３）
続いて、逆直交変換器７１ｃの動作を説明する。この逆直交変換器７１ｃは、クロマフォーマット信号が４：４：４フォーマットを示し、色空間信号がＹＣｂＣｒ、ＲＧＢ又はＸＹＺを示す画像信号に対して逆直交変換を行う。

より詳しくは、４×４ＤＣブロックに対して４×４逆変換を適用する。逆変換後の４×４のクロマＤＣブロックをｆdc_４ｘ４'''とすると、このクロマＤＣブロックに対する逆変換は、以下の式（８６）のように表される。

このクロマＤＣ係数をＡＣ係数の４×４ブロックの（０，０）係数とし、各４×４ブロックの逆変換を行う。逆変換されたクロマＤＣであるｆdc_４ｘ４'''を（０，０）係数とする４×４ブロックの各係数をＦ'_４ｘ４とし、逆変換後の４×４ブロックに復号差分信号をＦ''_４ｘ４とすると、逆変換は、以下の式（８７）のように表される。

（２−６）その他のブロック
クロマフォーマット信号及び色空間信号は、可逆符号化部１６にも供給されて可変長符号化又は算術符号化され、画像圧縮情報に含められて出力される。

このクロマフォーマット信号及び色空間信号は、例えば以下のようなシンタクスで符号化される。
seq_parameter_set_rbsp() {
:
chroma_format_idc u(2)
color_space_idc u(2)
:
}
ここで、u(2)として符号化されるシンタクスは、例えば「００１ｘ_１ｘ_０」という可変長符号で符号化される。このうち、ｘ_１，ｘ_０が符号化されるシンタクスの２ビットに相当する。

（３）画像情報復号装置の構成及び動作
上述した画像情報符号化装置１０に対応する画像情報復号装置の概略構成を図８に示す。図８に示すように、画像情報復号装置８０は、蓄積バッファ８１と、可逆復号部８２と、逆量子化部８３と、逆直交変換部８４と、加算器８５と、画像並び替えバッファ８６と、Ｄ／Ａ（Digital/Analogue）変換部８７と、動き予測・補償部８８と、フレームメモリ８９と、イントラ予測部９０とにより構成されている。

図８において、入力となる画像圧縮情報は、先ず蓄積バッファ８１に格納された後、可逆復号部８２に転送される。可逆復号部８２は、定められた画像圧縮情報のフォーマットに基づき、可変長復号又は算術復号等の処理を行う。また可逆復号部８２は、当該フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報をも復号し、その情報を動き予測・補償部８８へ転送する。さらに可逆復号部８２は、クロマフォーマット信号及び色空間信号を復号し、逆量子化部８３、逆直交変換部８４及びイントラ予測部９０に供給する。

可逆復号部８２の出力となる量子化された変換係数は、逆量子化部８３に供給され、ここで変換係数として出力される。逆直交変換部８４は、変換係数は、定められた画像圧縮情報のフォーマットに基づき、逆離散コサイン変換又は逆カルーネン・レーベ変換等の可逆変換を施す。当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、画像並び替えバッファ８６に格納され、Ｄ／Ａ変換処理の後に出力される。

ここで、当該フレーム又はマクロブロックがイントラ符号化されたものである場合、可逆復号部８２で復号されたクロマフォーマット信号及び色空間信号に基づいて、上述と同様の逆量子化方法、逆直交変換方法、イントラ予測方法を用いて復号する。

一方、当該フレームがインター符号化されたものである場合には、可逆復号処理が施された動きベクトル情報、及びフレームメモリ８９に格納された画像情報を元に参照画像が生成され、この参照画像と逆直交変換部８４の出力とが加算器８５において合成される。その他の処理はイントラ符号化されたフレームと同様であるため、説明を省略する。

入力画像信号が４：２：０フォーマット、ＹＣｂＣｒ色空間の場合のみならず、４：２：２フォーマット、４：４：４フォーマット、ＲＧＢ色空間、ＸＹＺ色空間等の場合にも、画像内予測符号化を用いて、効率よく符号化することができる。

本実施の形態における画像情報符号化装置の概略構成を説明する図である。同画像情報符号化装置におけるイントラ予測部の構成の一例を示す図である。同画像情報符号化装置における直交変換部の構成の一例を示す図である。縦方向に連続する２つの８×８ブロック中の８つの４×４ブロックのＤＣ係数を集めて２×４ブロックを構成する様子を示す図である。同画像情報符号化装置における量子化部の構成の一例を示す図である。同画像情報符号化装置における逆量子化部の構成の一例を示す図である。同画像情報符号化装置における逆直交変換部の構成の一例を示す図である。本実施の形態における画像情報復号装置の概略構成を説明する図である。離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き予測・補償とにより画像圧縮を実現する従来の画像情報符号化装置の概略構成を説明する図である。同画像情報符号化装置に対応する従来の画像情報復号装置の概略構成を説明する図である。 JVT Codec における４つのイントラ予測モードを説明する図である。８×８ブロック中の４つの４×４ブロックのＤＣ係数を集めて２×２ブロックを構成する様子を示す図である。

符号の説明

１０画像情報符号化装置、１１Ａ／Ｄ変換部、１２画像並び替えバッファ、１３加算器、１４直交変換部、１５量子化部、１６可逆符号化部、１７蓄積バッファ、１８逆量子化部、１９逆直交変換部、２０加算器、２１フレームメモリ、２２動き予測・補償部、２３イントラ予測部、２４レート制御部、８０画像情報復号装置、８１蓄積バッファ、８２可逆復号部、８３逆量子化部、８４逆直交変換部、８５加算器、８６画像並び替えバッファ、８７Ｄ／Ａ変換部、８８動き予測・補償部、８９フレームメモリ、９０イントラ予測部

Claims

入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、
色信号の解像度を示すクロマフォーマット信号及び色空間を示す色空間信号に基づき、ブロックサイズを適応的に変更して、色信号を画像内予測符号化する際の予測画像を生成する画像内予測手段と、
上記画像内予測手段によって生成された予測画像と原画像との差分信号を所定のブロックサイズ単位で整数変換する変換手段と、
上記変換手段による変換に応じて量子化手法を適応的に変更し、上記変換手段によって生成された変換係数を量子化する量子化手段と、
上記量子化手段によって量子化された上記変換係数と、上記クロマフォーマット信号及び上記色空間信号とを符号化する符号化手段と
を備えることを特徴とする画像情報符号化装置。
上記変換手段は、上記所定のブロックサイズ単位で整数変換した後のＤＣ成分のみを集めて構成されたブロックをさらに整数変換することを特徴とする請求項１記載の画像情報符号化装置。
上記クロマフォーマット信号は、４：２：０フォーマット、４：２：２フォーマット及び４：４：４フォーマットを少なくとも含み、上記色空間信号は、ＹＣｂＣｒ、ＲＧＢ及びＸＹＺを少なくとも含むことを特徴とする請求項２記載の画像情報符号化装置。
上記画像内予測手段は、上記クロマフォーマット信号が４：２：０フォーマット、上記色空間信号がＹＣｂＣｒである場合には、８×８画素単位で上記予測画像を生成することを特徴とする請求項３記載の画像情報符号化装置。
上記画像内予測手段は、上記クロマフォーマット信号が４：２：２フォーマット、上記色空間信号がＹＣｂＣｒである場合には、８×８画素のブロックを縦方向に並べた８×１６画素単位で上記予測画像を生成することを特徴とする請求項３記載の画像情報符号化装置。
上記画像内予測手段は、上記クロマフォーマット信号が４：４：４フォーマット、上記色空間信号がＹＣｂＣｒ、ＲＧＢ又はＸＹＺである場合には、８×８画素のブロックを縦横方向に並べた１６×１６画素単位で上記予測画像を生成することを特徴とする請求項３記載の画像情報符号化装置。
上記変換手段は、上記クロマフォーマット信号が４：２：０フォーマット、上記色空間信号がＹＣｂＣｒである場合には、上記差分信号を４×４画素単位で整数変換し、変換後のＤＣ成分を集めて構成された２×２画素単位のブロックをさらに整数変換することを特徴とする請求項４記載の画像情報符号化装置。
上記２×２画素単位のブロックの各係数をｆdc_２x２としたとき、該ブロックの整数変換後の各係数ｆdc'_２x２は、

で表されることを特徴とする請求項７記載の画像情報符号化装置。
上記変換手段は、上記クロマフォーマット信号が４：２：２フォーマット、上記色空間信号がＹＣｂＣｒである場合には、上記差分信号を４×４画素単位で整数変換し、変換後のＤＣ成分を集めて構成された２×４画素単位のブロックをさらに整数変換することを特徴とする請求項５記載の画像情報符号化装置。
上記２×４画素単位のブロックの各係数をｆdc_２x４としたとき、該ブロックの整数変換後の各係数ｆdc'_２x４は、

で表されることを特徴とする請求項９記載の画像情報符号化装置。
上記ｆdc_２x４とｆdc'_２x４との関係を、

と近似することを特徴とする請求項１０記載の画像情報符号化装置。
上記変換手段は、上記クロマフォーマット信号が４：４：４フォーマット、上記色空間信号がＹＣｂＣｒ、ＲＧＢ又はＸＹＺである場合には、上記差分信号を４×４画素単位で整数変換し、変換後のＤＣ成分を集めて構成された４×４画素単位のブロックをさらに整数変換することを特徴とする請求項６記載の画像情報符号化装置。
上記４×４画素単位のブロックの各係数をｆdc_４x４としたとき、該ブロックの整数変換後の各係数ｆdc'_４x４は、

で表されることを特徴とする請求項１２記載の画像情報符号化装置。
入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、
色信号の解像度を示すクロマフォーマット信号及び色空間を示す色空間信号に基づき、ブロックサイズを適応的に変更して、色信号を画像内予測符号化する際の予測画像を生成する画像内予測工程と、
上記画像内予測工程にて生成された予測画像と原画像との差分信号を所定のブロックサイズ単位で整数変換する変換工程と、
上記変換工程における変換に応じて量子化手法を適応的に変更し、上記変換工程にて生成された変換係数を量子化する量子化工程と、
上記量子化工程にて量子化された上記変換係数と、上記クロマフォーマット信号及び上記色空間信号とを符号化する符号化工程と
を有することを特徴とする画像情報符号化方法。
上記変換工程では、上記所定のブロックサイズ単位で整数変換した後のＤＣ成分のみを集めて構成されたブロックをさらに整数変換することを特徴とする請求項１４記載の画像情報符号化方法。
上記クロマフォーマット信号は、４：２：０フォーマット、４：２：２フォーマット及び４：４：４フォーマットを少なくとも含み、上記色空間信号は、ＹＣｂＣｒ、ＲＧＢ及びＸＹＺを少なくとも含むことを特徴とする請求項１４記載の画像情報符号化方法。
入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号装置において、
量子化され符号化された変換係数と、色信号の解像度を示すクロマフォーマット信号及び色空間を示す色空間信号とを復号する復号手段と、
上記クロマフォーマット信号及び上記色空間信号に応じて逆量子化手法を適応的に変更し、上記復号手段によって復号された上記変換係数を逆量子化する逆量子化手段と、
上記逆量子化されたブロックを整数変換する逆変換手段と、
上記逆変換手段からの出力信号を用いて、上記クロマフォーマット信号及び上記色空間信号に応じたブロックサイズで、色信号を画像内予測復号する際の予測画像を生成する画像内予測手段と
を備えることを特徴とする画像情報復号装置。
上記逆変換手段は、上記逆量子化されたブロックを整数変換し、この各係数を所定のブロックサイズのブロックの各ＤＣ成分として、上記所定のブロックサイズ単位でさらに整数変換することを特徴とする請求項１７記載の画像情報復号装置。
上記クロマフォーマット信号は、４：２：０フォーマット、４：２：２フォーマット及び４：４：４フォーマットを少なくとも含み、上記色空間信号は、ＹＣｂＣｒ、ＲＧＢ及びＸＹＺを少なくとも含むことを特徴とする請求項１８記載の画像情報復号装置。
上記逆変換手段は、上記クロマフォーマット信号が４：２：０フォーマット、上記色空間信号がＹＣｂＣｒである場合には、上記逆量子化された２×２画素単位のブロックを整数変換し、変換後の各係数を８×８画素のブロックを構成する４つの４×４画素単位のブロックの各ＤＣ係数としてさらに整数変換することを特徴とする請求項１９記載の画像情報復号装置。
上記逆変換手段は、上記クロマフォーマット信号が４：２：２フォーマット、上記色空間信号がＹＣｂＣｒである場合には、上記逆量子化された２×４画素単位のブロックを整数変換し、変換後の各係数を８×１６画素のブロックを構成する８つの４×４画素単位のブロックの各ＤＣ係数としてさらに整数変換することを特徴とする請求項１９記載の画像情報復号装置。
上記変換手段は、上記クロマフォーマット信号が４：４：４フォーマット、上記色空間信号がＹＣｂＣｒ、ＲＧＢ又はＸＹＺである場合には、上記逆量子化された４×４画素単位のブロックを整数変換し、変換後の各係数を１６×１６画素のブロックを構成する１６つの４×４画素単位のブロックの各ＤＣ係数としてさらに整数変換することを特徴とする請求項１９記載の画像情報復号装置。
入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号方法において、
量子化され符号化された変換係数と、色信号の解像度を示すクロマフォーマット信号及び色空間を示す色空間信号とを復号する復号工程と、
上記クロマフォーマット信号及び上記色空間信号に応じて逆量子化手法を適応的に変更し、上記復号工程にて復号された上記変換係数を逆量子化する逆量子化工程と、
上記逆量子化されたブロックを整数変換し、この各係数を所定のブロックサイズのブロックの各ＤＣ成分として、上記所定のブロックサイズ単位でさらに整数変換する逆変換工程と、
上記逆変換工程の出力信号を用いて、上記クロマフォーマット信号及び上記色空間信号に応じたブロックサイズで、色信号を画像内予測復号する際の予測画像を生成する画像内予測工程と
を有することを特徴とする画像信号復号方法。
上記逆変換工程では、上記逆量子化されたブロックを整数変換し、この各係数を所定のブロックサイズのブロックの各ＤＣ成分として、上記所定のブロックサイズ単位でさらに整数変換することを特徴とする請求項２３記載の画像情報復号方法。
上記クロマフォーマット信号は、４：２：０フォーマット、４：２：２フォーマット及び４：４：４フォーマットを少なくとも含み、上記色空間信号は、ＹＣｂＣｒ、ＲＧＢ及びＸＹＺを少なくとも含むことを特徴とする請求項２４記載の画像情報復号方法。