JP2010045853A - 動画像符号化装置および動画像符号化方法 - Google Patents

Abstract

【課題】４：２：０、４：２：２、４：４：４等の複数の異なるクロマフォーマットに対して効率的な装置構成で統一的に符号化・復号する。
【解決手段】前記入力動画像信号のクロマフォーマット種別を与える制御信号に基づき、クロマフォーマットが４：２：０ないしは４：２：２の場合は、前記入力動画像信号の輝度成分に前記第１のイントラ予測モード決定部と前記第１のイントラ予測画像生成部を、色差成分に前記第２のイントラ予測モード決定部と前記第２のイントラ予測画像生成部を適用し、クロマフォーマットが４：４：４の場合は、前記入力動画像信号の全色成分に前記第１のイントラ予測モード決定部と前記第１のイントラ予測画像生成部を適用して符号化を行い、前記可変長符号化部は前記制御信号を動画像シーケンス単位に適用する符号化データとしてビットストリームに多重化する。
【選択図】図４

Description

本発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられるデジタル画像信号符号化装置、デジタル画像信号復号装置、デジタル画像信号符号化方法、およびデジタル画像信号復号方法に関する。

従来、MPEGやITU-T H.26xなどの国際標準映像符号化方式（例えば「"Information Technology Coding of Audio-Visual Objects Part10: Advanced Video Coding", ISO/IEC 14496-10, 2003」：以下、非特許文献１と呼ぶ）では、主として４：２：０フォーマットと呼ばれる標準化された入力信号フォーマットの使用を前提としてきた。４：２：０とは、RGBなどのカラー動画像信号を輝度成分(Y)と２つの色差成分(Cb、Cr)に変換し、水平・垂直ともに色差成分のサンプル数を輝度成分の半分に削減したフォーマットである(図２３)。色差成分は輝度成分に比べて視認性が落ちることから、従来の国際標準映像符号化方式では、このように符号化を行う前に色差成分のダウンサンプルを行うことで符号化対象の原情報量を削減しておくことを前提としていた。また、放送素材映像など業務向けの映像符号化では、Cb、Crの成分を水平方向のみについて輝度成分の半分にダウンサンプルする４：２：２フォーマットが用いられることもある。これにより垂直方向の色解像度は輝度と同じになり、４：２：０フォーマットに比べて色再現性が高まる。一方、近年のビデオディスプレイの高解像度化、高階調化に伴い、色差成分をダウンサンプルすることなく輝度成分と同一サンプル数のまま符号化する方式の検討が行われている。輝度成分と色差成分とがまったく同一のサンプル数のフォーマットは４：４：４フォーマットと呼ばれる。従来の４：２：０フォーマットが色差成分のダウンサンプルを前提としたためにY、Cb、Crという色空間定義にのみ限定されたのに対し、４：４：４フォーマットでは色成分間にサンプル比の区別がないため、Y、Cb、Crのほか、R,G,Bを直接使用したり、その他複数の色空間定義を利用することが可能である。４：４：４フォーマットを対象とした映像符号化方式としては、「Woo-Shik Kim, Dae-Sung Cho, and Hyun Mun Kim、"INTER-PLANE PREDICTION FOR RGB VIDEO CODING", ICIP 2004, October 2004.」（以下、非特許文献２と呼ぶ）などがある。

"Information Technology Coding of Audio-Visual Objects Part10: Advanced Video Coding", ISO/IEC 14496-10, 2003 Woo-Shik Kim, Dae-Sung Cho, and Hyun Mun Kim、"INTER-PLANE PREDICTION FOR RGB VIDEO CODING", ICIP 2004, October 2004.

非特許文献１におけるAVCの４：２：０フォーマットを符号化対象とするハイ４：２：０プロファイルでは、輝度成分１６ｘ１６画素からなるマクロブロック領域において、対応する色差成分はCb、Crとも各８ｘ８画素ブロックとなる。ハイ４：２：０プロファイルにおける動き補償予測では、輝度成分に対してのみ動き補償予測の単位となるブロックサイズ情報と予測に用いる参照画像情報、各ブロックごとの動きベクトル情報を多重化し、色差成分は輝度成分と同じ情報を用いて動き補償予測を行うことになっている。４：２：０フォーマットは、画像の構造情報のほとんどが(テクスチャ)輝度成分に集約されていることと、輝度信号に比べ色差成分の方が歪の視認性が低く、映像再現性に関する寄与が小さいという色空間定義上の特徴があり、上記ハイ４：２：０プロファイルの予測・符号化はこのような４：２：０フォーマットの性質の前提のもとでなりたつものである。一方、４：４：４フォーマットでは３つの色成分が同等にテクスチャ情報を保持しており、1成分のみに依存したインター予測モード、参照画像情報および動きベクトル情報で動き補償予測が行われる方式は、画像信号の構造表現に際して各色成分が同等に寄与する４：４：４フォーマットでは必ずしも最適な予測方法とはいえない。このように４：２：０フォーマットを対象とする符号化方式は４：４：４フォーマットを対象とする符号化方式とは最適な符号化を行うための信号処理が異なり、符号化ビットストリームに多重化される情報の定義も異なるため、複数の異なるフォーマットの圧縮映像データを復号可能な復号装置を構成するためには、各フォーマットの信号に対するビットストリームを個別に解釈する構成をとる必要があり、装置構成が非効率になるという課題がある。

そこで、本発明は、従来の４：２：０フォーマットなどY、Cb、Cr空間で符号化されたビットストリームと、４：４：４フォーマットのような色成分間にサンプル比の区別がなく、色空間の定義に自由度のある映像信号を圧縮したビットストリームに互換性を持たせるビットストリーム生成方法、ならびに復号方法を提供することを目的とする。

ディジタル動画像信号を入力として圧縮符号化を行う動画像符号化装置において、入力動画像信号のクロマフォーマットが４：２：０ないしは４：２：２の場合の輝度成分に相当する信号成分に対してイントラ予測を行う第１のイントラ予測モード決定部と、入力動画像信号のクロマフォーマットが４：２：０ないしは４：２：２の場合の色差成分に相当する信号成分に対してイントラ予測を行う第２のイントラ予測モード決定部と、前記第１のイントラ予測モード決定部によって定まる第１のイントラ予測モード、ないし前記第２のイントラ予測モード決定部によって定まる第２のイントラ予測モードを可変長符号化する可変長符号化部と、前記第１のイントラ予測モードに基づいて第１のイントラ予測画像を生成する第１のイントラ予測画像生成部と、前記第２のイントラ予測モードに基づいて第２のイントラ予測画像を生成する第２のイントラ予測画像生成部と、前記第１のイントラ予測画像、ないし前記第２のイントラ予測画像と入力動画像信号の対応する色成分信号との差分として得られる予測誤差信号に対して変換符号化を行う符号化部を備え、前記入力動画像信号のクロマフォーマット種別を与える制御信号に基づき、クロマフォーマットが４：２：０ないしは４：２：２の場合は、前記入力動画像信号の輝度成分に前記第１のイントラ予測モード決定部と前記第１のイントラ予測画像生成部を、色差成分に前記第２のイントラ予測モード決定部と前記第２のイントラ予測画像生成部を適用し、クロマフォーマットが４：４：４の場合は、前記入力動画像信号の全色成分に前記第１のイントラ予測モード決定部と前記第１のイントラ予測画像生成部を適用して符号化を行い、前記可変長符号化部は前記制御信号を動画像シーケンス単位に適用する符号化データとしてビットストリームに多重化するものである。

４：２：０、４：２：２、４：４：４などの複数の異なるクロマフォーマットに対して、効率的な装置構成で統一的に符号化・復号することが可能となり、映像符号化データの相互接続性を高めることができる。

シーケンス、ピクチャ、スライス、マクロブロックの関係を示す説明図 共通符号化処理を示す説明図 独立符号化処理を示す説明図 実施の形態１における符号化装置の構成を示すブロック図 イントラNxN予測(N=4or8)を示す説明図 イントラ16x16予測を示す説明図 4:2:0/4:2:2Cb/Crイントラ予測を示す説明図 マクロブロックの単位を示す説明図 4:2:0/4:2:2Y,4:4:4動き補償予測画像生成処理を示す説明図 4:2:0/4:2:2Cb/Cr動き補償予測画像生成処理を示す説明図 4:2:0,4:2:2Y予測残差符号化処理を示す説明図 4:2:0及び4:2:2のCb/Cr予測残差符号化処理を示す説明図 ビットストリーム３０を示す説明図 スライス構造を示す説明図 4:4:4の共通と独立の符号化スライスを示す説明図 実施の形態１における復号装置の構成を示すブロック図 可変長復号部のマクロブロックレイヤ内部処理を示す説明図 Cb/Cr成分でクロマフォーマットに応じたイントラ予測の切り替えを示す説明図 Cb/Cr成分でクロマフォーマットに応じたMCの切り替えを示す説明図 4:2:0,4:2:2Y,4:4:4予測残差復号処理を示す説明図 4:2:0及び4:2:2のCb/Cr予測残差復号処理を示す説明図 C1成分及びC2成分の予測残差復号部の内部構成を示す説明図 フォーマットを示す説明図

実施の形態１．
本実施の形態１では、(Y,Cb,Cr)色空間で定義される４：２：０、４：２：２の各クロマフォーマットの映像信号、および(R,G,B)、(Y,Cb,Cr)、(X,Y,Z)などの色空間で定義される４：４：４クロマフォーマットの映像信号のいずれかを入力として映像符号化を行いビットストリームを出力する符号化装置、および該符号化装置により生成される符号化ビットストリームを入力として画像信号を復元する復号装置について述べる。以降の説明においては、３つの色成分を(C0,C1,C2)成分と総称し、４：２：０、４：２：２クロマフォーマットのときのC0成分はY成分、C1成分はCb成分、C2成分はCr成分とみなす。

本実施の形態１における符号化装置は、図１に示すように、時間サンプリングによりフレームないしはフィールドの単位で定義される画面情報(以降、ピクチャと呼ぶ)の時系列データとして表現される映像信号を入力とする。ピクチャを時系列に並べたデータ単位をシーケンスと呼ぶ。シーケンスは、いくつかのピクチャのグループ(GOP)に分割されることがある。GOPは、任意のGOPの先頭から他のGOPに依存せずに復号を実行できることを保証し、ビットストリームに対するランダムアクセスを保証するといった用途に利用する。ピクチャはさらにマクロブロックと呼ばれる正方ブロックに分割され、マクロブロックの単位で予測・変換・量子化処理を適用して映像圧縮を行う。また、マクロブロックを複数個集めた単位をスライスと呼ぶ。スライスは、異なるスライスとは独立に符号化・復号を行うことができるデータ単位であり、例えばHDTVあるいはそれ以上の高い解像度を持つ映像信号をリアルタイム処理する際にスライス分割を行って各スライスを並列に符号化・復号することで演算時間を短縮したり、ビットストリームを誤り率の高い回線で伝送する場合に、あるスライスが誤りの影響で破壊されて復号画像が乱れても次のスライスから正しい復号処理に復帰するといった用途に利用する。一般に、スライスの境界では、隣接スライスとの信号の依存性を利用した予測などが使えなくなるため、スライスの数が増えるほど符号化性能は低下するが、並列処理の柔軟性や誤りに対する耐性が高まるという特徴がある。

４：２：０、４：２：２、４：４：４の各クロマフォーマット時のマクロブロックは、図２３においてW=H=16とした画素ブロックとして定義される。マクロブロックの単位で予測・変換・量子化処理を適用して映像圧縮を行うため、ビットストリームに多重されるマクロブロックの符号化データは、大別して２種類の情報からなる。ひとつは予測モードや動き予測情報、量子化のためのパラメータといった映像信号自体とは異なるサイド情報の類で、これらをまとめてマクロブロックヘッダと呼ぶ。もう一つは映像信号自体の情報であり、本実施の形態１では、符号化される映像信号はマクロブロックヘッダの情報に基づいて予測・変換・量子化を行った結果として得られる予測誤差信号の圧縮データであり、変換係数を量子化した形式で表現されることから、以降、量子化係数データと呼ぶ。

以降において、１フレームないしは１フィールドの３つの色成分信号を共通のマクロブロックヘッダで符号化する処理を「共通符号化処理」、１フレームないしは１フィールドの３つの色成分信号を個別の独立したマクロブロックヘッダで符号化する処理を「独立符号化処理」と記す。同様に、１フレームないしは１フィールドの３つの色成分信号が共通のマクロブロックヘッダで符号化されたビットストリームから画像データを復号する処理を「共通復号処理」、１フレームないしは１フィールドの３つの色成分信号が個別の独立したマクロブロックヘッダで符号化されたビットストリームから画像データを復号する処理を「独立復号処理」と記す。本実施の形態１の符号化装置は、４：４：４クロマフォーマットの信号に対しては、共通符号化処理による符号化を行うか、独立符号化処理による符号化を行うかを選択して符号化できるように構成する。共通符号化処理では、１フレームないしは１フィールドの３つの色成分をまとめて１つのピクチャとして定義し、３つの色成分をまとめた形のマクロブロックに分割する(図２)。同図ならびに以降の説明において、３つの色成分をC0、C1、C2成分と呼ぶ。一方、独立符号化処理では、１フレームないしは１フィールドの入力映像信号を３つの色成分に分離し、それぞれをピクチャとして定義して、各ピクチャを単一の色成分からなるマクロブロックに分割する(図３)。つまり、共通符号化処理の対象となるマクロブロックは、C0、C1、C2の３つの色成分のサンプル(画素)を含むが、独立符号化処理の対象となるマクロブロックは、C0またはC1またはC2成分のうちのいずれか１つの成分のサンプル(画素)のみを含む。なお、本実施の形態１における符号化装置は、４：２：０、４：２：２のクロマフォーマットに対しては常に図２のマクロブロック定義を用い、「共通符号化処理」「共通復号処理」相当の符号化処理を適用する。

＜符号化装置＞
図４に、本実施の形態１の符号化装置の構成を示す。以下、符号化対象となる入力映像信号のクロマフォーマットを指定する情報をクロマフォーマット識別情報１、共通符号化処理による符号化を行うか独立符号化処理による符号化を行うかを示す識別情報を、共通符号化・独立符号化識別情報２と呼ぶ。

入力映像信号３は、まずクロマフォーマット識別情報１、共通符号化・独立符号化識別情報２により、図２ないしは図３のいずれかのマクロブロックデータに分割され、イントラオンリー符号化指示情報４に従い、イントラ予測処理(C0成分イントラ予測モード決定部５、C1/C2成分イントラ予測モード決定部６、C0成分イントラ予測画像生成部７、C1/C2成分イントラ予測画像生成部８)、動き補償予測処理(C0成分動き検出部９、C1/C2成分動き検出部１０、C0成分動き補償部１１、C1/C2成分動き補償部１２)を行って、当該マクロブロックを符号化するにあたってもっとも効率のよい予測モードを選択し(符号化モード選択部１４)、予測残差を変換・量子化し(C0成分予測残差符号化部１８、C1成分予測残差符号化部１９、C2成分予測残差符号化部２０)、予測モードや動き情報などのサイド情報と量子化された変換係数とを可変長符号化してビットストリーム３０を生成する(可変長符号化部２７)。また、量子化された変換係数は局所復号され(C0成分局所復号部２４、C1成分局所復号部２５、C2成分局所復号部２６)、サイド情報と参照画像データによって得られる予測画像を加算することにより局所復号画像を得て、必要に応じて量子化に伴うブロック境界歪を抑制するデブロッキングフィルタ(デブロッキングフィルタ部２８)を施した後、以降の予測処理に用いるためにフレームメモリ１３および/またはラインメモリ２９に格納される。イントラオンリー符号化指示情報４が「イントラ符号化のみを実施」を指示する場合は、動き補償予測処理を実行せず、イントラ予測処理のみを実行する。

以下、本実施の形態１の特徴である、クロマフォーマット識別情報１、共通符号化・独立符号化識別情報２、イントラオンリー符号化指示情報４などに基づいて処理切り替えを行うイントラ予測処理、動き補償予測処理、予測残差符号化処理、可変長符号化処理(およびその結果得られるビットストリーム構成)についてそれぞれ詳細を説明する。

（１）イントラ予測処理
イントラ予測処理は、図４のC0成分イントラ予測モード決定部５、C1/C2成分イントラ予測モード決定部６、C0成分イントラ予測画像生成部７、C1/C2成分イントラ予測画像生成部８によって行われる。

クロマフォーマットが４：２：０、４：２：２の場合は、Y成分の信号はC0成分イントラ予測モード決定部５によってC0成分イントラ予測モード１００が決定される。ここで選択可能なモードはイントラ4x4予測モード、イントラ8x8予測モード、イントラ16x16予測モードの3種類がある。イントラ4x4予測モードとイントラ8x8予測モードについては、マクロブロックを4x4画素または8x8画素からなるブロックに分割して、図５に示すように個々のブロックごとに個別に近傍参照画素を用いた空間予測を行う。この予測方法の選択肢が９つあり、９つのうちのいずれの方法を用いて予測を行ったかをイントラ予測モードの形でサイド情報のひとつとして符号化する。図５の矩形でかこまれた4x4画素が予測対象の画素であり、斜線塗りつぶしの画素が予測画像生成のための参照画素である。矢印は参照画素が予測値に影響を与える方向を示す。Mode2は参照画素の平均値を予測値とする。図５は4x4ブロックの例を示しているが、8x8画素ブロックについても同様のモードが定義される。このような方向性を持った空間予測を行うことで被写体の輪郭やテクスチャパターンなど画像の構造情報に対して有効な予測を行うことができる。

また、マクロブロックを細分化せずに16x16ブロックのままイントラ予測を行うモードとしてイントラ16x16予測モードがある(図６)。この場合は図６に示す４種類の空間予測方法を選択できる。これは絵柄が平坦な画像領域に対して少ないサイド情報で予測効果を高めるモードとして有効である。

Cb、Cr成分については、C1/C2成分イントラ予測モード決定部６によって、Y成分とは個別のC1/C2成分イントラ予測モード１０１（C1、C2それぞれに対応するものを１０１ａ、１０１ｂとする。なお、４：２：０、４：２：２のときは１０１ａ、１０１ｂは常に同値であって、いずれか一方がビットストリームに多重化される。デコーダでは復号した値を１０１ａ、１０１ｂに設定する。）が決定される。４：２：０、４：２：２クロマフォーマットの際に選択可能なCb、Cr成分のイントラ予測モードは図７に示す。この図７は４：２：０フォーマットの場合を示す図面であるが、４：２：２フォーマットも同様のモードが用いられる。この４モードのうち、mode0のみ、Cb、Crのマクロブロック相当領域(４：２：０の場合は8x8画素ブロック、４：２：２の場合は8x16画素ブロック)を4x4ブロックに分割して、4x4ブロックの単位で周辺からの平均値予測を行う。例えば、左上の4x4ブロックに対しては領域a、領域xの全8画素を平均するか、aないしxの4画素を平均するかいずれかの値が予測値として用いられる。Mode1,2,3については、図５、図６と同様、方向性を持った空間予測となる。４：２：０、４：２：２クロマフォーマットでは、画像のテクスチャなど構造的な情報はY成分に集約され、色差成分信号であるCb、Cr成分については画像の構造情報が保存されない。そのため、このような簡易な予測モードで効率的な予測を行う。

クロマフォーマットが４：４：４の場合は、C0、C1、C2の各成分がY、Cb、Crに固定されておらず、R、G、Bなどの色空間では各色成分にY成分相当の画像構造情報が保持されているため、上記のようなCb、Cr成分に対する予測では十分な予測効率が得られないことがある。そこで、本実施の形態１の符号化装置では、クロマフォーマットが４：４：４の場合にはC0、C1、C2ともに、C0成分のイントラ予測モード決定部５相当の処理によるイントラ予測モードの選択を行う。より具体的には、共通符号化・独立符号化識別情報２が「共通符号化処理」を示す場合は、C0、C1、C2成分を共通の唯一のイントラ予測モードで予測する。一方、共通符号化・独立符号化識別情報２が「独立符号化処理」を示す場合は、C0、C1、C2成分に対して個別に求めたイントラ予測モードで予測する。すなわち、クロマフォーマットが４：４：４で、かつ共通符号化・独立符号化識別情報２が「共通符号化処理」を示す場合は、C0、C1、C2成分はすべてC0成分イントラ予測モード１００でイントラ予測される。クロマフォーマットが４：４：４で、かつ共通符号化・独立符号化識別情報２が「独立符号化処理」を示す場合は、C1、C2成分は図５ないしは図６に示すC0成分対応のイントラ予測モードからC0成分とは独立して求めるC1/C2成分イントラ予測モード１０１a、１０１bによってイントラ予測される。

図４の符号化装置の構成では、クロマフォーマットが４：４：４で、かつ共通符号化・独立符号化識別情報２が「共通符号化処理」を示す場合は、C0成分はC0成分イントラ予測モード決定部５によって予測モードを決定し、C1、C2成分はC0成分で用いる予測モードをそのまま使用するか、あるいはC1/C2成分イントラ予測モード決定部６を併用してC0、C1、C2の全成分に対して最適となる唯一のイントラ予測モードをひとつ決定する。クロマフォーマットが４：４：４で、かつ共通符号化・独立符号化識別情報２が「独立符号化処理」を示す場合は、C0成分はC0成分イントラ予測モード決定部５によって予測モードを決定し、C1、C2成分はC1/C2成分イントラ予測モード決定部６により、それぞれ個別に最適なイントラ予測モードを決定する。

すべてのイントラ予測処理において、参照画素となる周辺画素値はデブロッキングフィルタを施していない局所復号画像である必要がある。そのため、C0成分局所復号部２４、C1成分局所復号部２５、C2成分局所復号部２６の出力である局所復号予測残差信号１７ｂと予測画像３４との加算によって得られるデブロッキングフィルタ処理前の画素値をラインメモリ２９に格納してイントラ予測に用いるものとする。

以上の処理によって決定された各色成分ごとのイントラ予測モードに基づいて、C0成分イントラ予測画像生成部７、C1/C2成分イントラ予測画像生成部８において予測画像の生成が行われる。C0成分イントラ予測画像生成部７、C1/C2成分イントラ予測画像生成部８は復号装置でも共通の部材が用いられるため、詳細な動作は復号装置側の説明にて述べる。

（２）動き補償予測処理
動き補償予測処理は、図４のC0成分動き検出部９、C1/C2成分動き検出部１０、C0成分動き補償部１１、C1/C2成分動き補償部１２によって行われる。

クロマフォーマットが４：２：０、４：２：２の場合は、Y成分の信号はC0成分動き検出部９によって動き情報が決定される。動き情報は、フレームメモリ１３に格納される１枚以上の参照画像データのうちのいずれの参照画像を予測に用いるかを指示する参照画像インデックスと、参照画像インデックスで指定される参照画像で適用する動きベクトルを含む。

C0成分動き検出部９では、フレームメモリ１３に格納される動き補償予測参照画像データの中から参照画像を選択し、マクロブロックの単位でY成分に対する動き補償予測処理を行う。フレームメモリ１３には、直前ないしは過去・未来の複数時刻に渡って、複数枚の参照画像データが格納され、これらの中からマクロブロックの単位で最適な参照画像を選択して動き予測を行う。実際に動き補償予測を行う単位となるブロックサイズは７種類用意されており、まずマクロブロック単位に、図８(a)から(d)に示すように、16x16、16x8、8x16、8x8のいずれかのサイズを選択する。さらに8x8が選択された場合には、各8x8ブロックごとに、図８(e)から(h)に示すように、8x8、8x4、4x8、4x4のいずれかのサイズを選択する。図８のすべてまたは一部のブロックサイズ・サブブロックサイズ、および所定の探索範囲の動きベクトルおよび利用可能な１枚以上の参照画像に対してマクロブロックごとに動き補償予測処理を実行して、Y成分の動き情報(動きベクトルおよび参照画像インデックス)１０２を得る。Cb、Cr成分については、Y成分と同じ参照画像インデックスを用い、Y成分の動きベクトルを利用してCb/Cr成分の動き情報１０３を求める(具体的にはYとCb,Crのサンプル比相当で、Y成分の動きベクトルのスケーリングを行うことによって求める)。この処理はC1/C2成分動き検出部１０にて行われる。

なお、動き検出部で評価する動き補償予測画像候補、ならびに動き補償部で生成する予測画像の生成方法はY成分とCb、Cr成分で以下のように異なる。

Y成分については、実際に符号化装置に入力される画素(以下、整数画素)位置のみならず、整数画素の間の中点である1/2画素位置や、1/2画素の間の中点である1/4画素位置の画素を内挿処理によって仮想的に作り出し、予測画像の生成に用いる。この様子を図９に示す。図９において、1/2画素位置の画素値を得るためにはその周辺6画素分のデータを用いて内挿補間フィルタを施し、画素値を得る。1/4画素位置の画素値を得るためには、周辺2画素分を用いて平均処理による線形補間で画素値を得る。動きベクトルは1/4画素精度を単位として表現する。これに対して、Cb、Crの予測画像生成では、図１０に示すように、対応するY成分の動きベクトルをスケーリングした結果として得られる動きベクトルが指す画素位置の画素値を、その近傍4箇所の整数画素の画素値から、画素間距離に応じた重み付け線形内挿処理にて求める。

クロマフォーマットが４：４：４の場合は、C0、C1、C2の各成分がY、Cb、Crに固定されておらず、R、G、Bなどの色空間では各色成分にY成分相当の画像構造情報が保持されているため、上記のようなCb、Cr成分に対する予測画像生成方法では十分な予測効率が得られないことがある。そこで、本実施の形態１の符号化装置では、クロマフォーマットが４：４：４の場合にはC0、C1、C2ともに、C0成分動き検出部９およびC0成分動き補償部１１相当の処理による予測画像候補ないしは予測画像の生成を行って動き情報を得る。より具体的には、共通符号化・独立符号化識別情報２が「共通符号化処理」を示す場合は、C0、C1、C2成分を共通の唯一の動き情報１０２を求める。４：２：０、４：２：２の場合のように、ある特定の色成分の動きベクトルを他の成分に適用する際にスケーリングの処理は行わない。一方、共通符号化・独立符号化識別情報２が「独立符号化処理」を示す場合は、C0、C1、C2成分を独立に、個別の動き情報を求める。図４の符号化装置の構成では、クロマフォーマットが４：４：４で、かつ共通符号化・独立符号化識別情報２が「共通符号化処理」を示す場合は、C0成分はC0成分動き検出部９によってC0成分動き情報１０２を決定し、C1、C2成分はC0成分動き情報をそのまま使用するか、あるいはC1/C2成分動き検出部１０を併用してC0、C1、C2の全成分に対して最適となる唯一の動き情報１０２をひとつ決定する。クロマフォーマットが４：４：４で、かつ共通符号化・独立符号化識別情報２が「独立符号化処理」を示す場合は、C0成分はC0成分動き検出部９によってC0成分動き情報１０２を決定し、C1、C2成分はC1/C2成分動き検出部１０により、それぞれ個別に最適な動き情報１０３a、１０３ｂを決定する。

以上の処理によって決定された各色成分ごとの動き情報に基づいて、C0成分動き補償部１１、C1/C2成分動き補償部１２において予測画像の生成が行われる。C0成分動き補償部１１、C1/C2成分動き補償部１２は復号装置でも共通の部材が用いられるため、詳細な動作は復号装置側の説明にて述べる。

（３）予測残差符号化処理
以上のイントラ予測処理の結果得られる最適なイントラ予測モードとその予測画像、および動き補償予測処理の結果得られる最適な動き情報(動きベクトル・参照画像インデックス)とその予測画像は、符号化モード選択部１４にて評価され、最適な符号化モード１５が選択される。符号化モード１５がイントラ予測であれば、減算器１６にて、入力映像信号３とイントラ予測による予測画像との差分がとられ、予測残差信号１７aが得られる。符号化モード１５が動き補償予測であれば、減算器１６にて、入力映像信号３と動き補償予測による予測画像との差分がとられ、予測残差信号１７aが得られる。

得られた予測残差信号１７aは、C0成分予測残差符号化部１８、C1成分予測残差符号化部１９、C2成分予測残差符号化部２０により、変換・量子化されて情報圧縮される。C1成分予測残差符号化部１９、C2成分予測残差符号化部２０では、クロマフォーマット識別情報１、共通符号化・独立符号化識別情報２に応じて、C1/C2成分に対する処理を切り替える。

クロマフォーマットが４：２：０、４：２：２の場合のY成分、ならびにクロマフォーマットが４：４：４の場合のC0成分に対しては、C0成分予測残差符号化部１８において、図１１に示す予測残差符号化処理が行われる。本処理ではまず、符号化モード１５がイントラ8x8予測モードであるか、予測残差信号１７aを8x8ブロック単位で整数変換するモードが選択されている場合は、マクロブロック内を４分割した8x8ブロックの単位で整数変換を行い、量子化パラメータ３２に従う量子化処理を行い量子化係数データ２１を得る。符号化モード１５がそれ以外の場合は、まず4x4ブロック単位に整数変換を行い、続いて符号化モード１５がイントラ16x16予測モードの場合は、各4x4ブロックの変換係数のDC成分のみを集めて4x4ブロックを構成し、アダマール変換を施す。DC成分に対してはこのアダマール変換係数に対して量子化パラメータ３２に従う量子化を行い、残りの4x4ブロックのAC成分１５個は個別に量子化処理を行う。符号化モード１５がイントラ16x16予測モードでない場合は、１６個の変換係数に対して同時に量子化パラメータ３２に従う量子化処理を行う。

クロマフォーマットが４：２：０、４：２：２の場合のCb成分、ならびにクロマフォーマットが４：４：４の場合のC1成分に対しては、C1成分予測残差符号化部１９において予測残差符号化処理が行われる。この際、クロマフォーマットが４：２：０、４：２：２の場合は図１２に示す処理で、クロマフォーマットが４：４：４の場合は図１１に示す処理で予測残差符号化が行われるので、以下、クロマフォーマットが４：２：０、４：２：２の場合の処理のみを記す。本処理では符号化モード１５に依存せず、マクロブロックのCb成分信号を4x4ブロックに分割して整数変換を行い、量子化パラメータ３２に従う量子化処理を行って量子化係数データ２２を得る。まず、4x4ブロック単位に整数変換を行い、続いて各4x4ブロックのDC成分を集めて２ｘ２(クロマフォーマットが４：２：０のとき)または2x4ブロック(クロマフォーマットが４：２：２のとき)を構成し、アダマール変換を施す。DC成分に対してはこのアダマール変換係数に対して量子化パラメータ３２に従う量子化を行い、残りの4x4ブロックのAC成分１５個は個別に量子化パラメータ３２に従う量子化処理を行う。

クロマフォーマットが４：２：０、４：２：２の場合のCr成分、ならびにクロマフォーマットが４：４：４の場合のC2成分に対しては、C2成分予測残差符号化部２０において予測残差符号化処理が行われる。この際、クロマフォーマットが４：２：０、４：２：２の場合は図１２に示す処理で、クロマフォーマットが４：４：４の場合は図１１に示す処理で予測残差符号化が行われ、出力として量子化係数データ２３を得る。

なお、各色成分について、量子化の結果、8x8ブロックの単位で有効な(すなわち、非ゼロの)係数が存在するか否かを示すCBP(coded block pattern)の情報が定まり、これはマクロブロック単位の再度情報の一つとしてビットストリームに多重される。CBPの定義もクロマフォーマット識別情報１ならびに共通符号化・独立符号化識別情報２に基づいて切り替わるが、詳細は復号装置の説明において述べる。

以上の処理によって得られる量子化係数データ２１、２２、２３を入力として、C0成分局所復号部２４、C1成分局所復号部２５、C2成分局所復号部２６にて局所復号予測残差信号が得られる。これら局所復号部は、復号装置側でまったく同じ部材を用いられるため、詳細な動作は復号装置側の説明で述べる。

（４）可変長符号化処理
可変長符号化部２７には、シーケンスレベルのヘッダ情報として、クロマフォーマット識別情報１、共通符号化・独立符号化識別情報２、イントラオンリー符号化指示情報４、画像サイズ情報３１が入力される。また、共通符号化・独立符号化識別情報２が「独立符号化処理」を示す場合は、現在符号化処理中のピクチャがいずれの色成分に属するかを支持する色成分識別情報が入力され、これに基づいて符号化処理中のスライス先頭に色成分識別フラグ３３を付与する。これによって復号装置側にて、受信したスライスがどの色成分の符号化データを含むかを識別可能とする。マクロブロックレベルの符号化データとしては、符号化モード１５、イントラ予測モード１００・１０１、動き情報１０２・１０３、量子化パラメータ３２、変換ブロックサイズ指示情報１０４、量子化係数データ２１・２２・２３などが入力され、ハフマン符号化ないしは算術符号化によってエントロピー符号化されてビットストリーム３０に多重される。ビットストリーム３０は、マクロブロックが１つないしは複数個まとまったスライスデータの単位でパケット化(AVCでは、ＮＡＬユニット化とも呼ぶ)されて出力される。

図１３に、ビットストリーム３０の全体図を示す。シーケンスレベルのヘッダ情報であるシーケンスパラメータセット(SPS)には、クロマフォーマット識別情報１、共通符号化・独立符号化識別情報２、イントラオンリー符号化指示情報４、画像サイズ情報３１が多重化される。なお、共通符号化・独立符号化識別情報２はクロマフォーマットが４：４：４の場合のみ必要であるため、クロマフォーマット識別情報１が４：４：４である場合にのみ多重される。ピクチャレベルのヘッダ情報であるピクチャパラメータセット(PPS)には、ピクチャ先頭で用いる量子化パラメータ３２の初期値などが多重される。画像符号化データはスライス以下に多重され、クロマフォーマット識別情報１、共通符号化・独立符号化識別情報２の値に応じて、図１４、図１５のようにデータ形式が異なる。

クロマフォーマット識別情報１により、クロマフォーマットが４：２：０、４：２：２であると示される場合は、図１４のようなスライス構造になる。図１４において、SHはスライスヘッダ、MBはマクロブロック符号化データ、MBHはマクロブロックヘッダ、Txはx成分の量子化係数データである。このとき、スライスは図２の構成で、クロマフォーマットのサンプル比に従ったY、Cb、Crの画素からなるマクロブロックの符号化データを含み、MBHには符号化モード１５に相当するマクロブロックタイプが含まれ、マクロブロックタイプがイントラ予測モードを示す場合は、C0すなわちY成分のイントラ予測モード１００と、C1/C2すなわちCb/Cr成分で共通のイントラ予測モード１０１と、量子化係数データの量子化・逆量子化に用いる量子化パラメータ３２などが含まれる。マクロブロックタイプが動き補償予測(インター)モードを示す場合は、C0すなわちY成分の動き情報１０２(動きベクトルおよび参照画像インデックス)と、量子化係数データの量子化・逆量子化に用いる量子化パラメータ３２などが含まれる。

クロマフォーマット識別情報１により、クロマフォーマットが４：４：４であると示される場合は、共通符号化・独立符号化識別情報２の値に応じて、図１５のようなスライス構造になる。共通符号化・独立符号化識別情報２が「共通符号化処理」を示す場合(図１５Ａ)は、スライスは図２の構成で、クロマフォーマットのサンプル比に従ったC0、C1、C2成分の画素からなるマクロブロックの符号化データを含み、MBHには符号化モード１５に相当するマクロブロックタイプが含まれ、マクロブロックタイプがイントラ予測モードを示す場合は、C0/C1/C2の全成分共通のイントラ予測モード１００と、量子化係数データの量子化・逆量子化に用いる量子化パラメータ３２などが含まれる。マクロブロックタイプが動き補償予測(インター)モードを示す場合は、C0/C1/C2の全成分共通の動き情報１０２(動きベクトルおよび参照画像インデックス)と、量子化係数データの量子化・逆量子化に用いる量子化パラメータ３２などが含まれる。

共通符号化・独立符号化識別情報２が「独立符号化処理」を示す場合(図１５Ｂ)は、スライスは図３の構成で、C0、C1、C2のいずれか１つの色成分(Ck)の画素からなるマクロブロックの符号化データを含む。CkがC0、C1、C2のいずれの色成分に該当するかを指示する情報として、スライスの先頭に色成分識別フラグ３３が付与される。MBHには符号化モード１５に相当するマクロブロックタイプが含まれ、マクロブロックタイプがイントラ予測モードを示す場合は、Ck成分のイントラ予測モード１００と、量子化係数データの量子化・逆量子化に用いる量子化パラメータ３２などが含まれる。マクロブロックタイプが動き補償予測(インター)モードを示す場合は、Ck成分の動き情報１０２(動きベクトルおよび参照画像インデックス)と、量子化係数データの量子化・逆量子化に用いる量子化パラメータ３２などが含まれる。

なお、図示はしていないが、必要に応じて、アクセスユニット(クロマフォーマットが４：２：０、４：２：２の場合か共通符号化処理を行う場合は１ピクチャ、独立符号化処理を行う場合は３ピクチャ分)の切れ目を示すユニークワードを挿入することがある(AVCのアクセスユニットデリミタ、MPEG-2規格ではピクチャスタートコード、MPEG-4規格のVOPスタートコードなど)。

以上のようにビットストリームを構成することにより、４：２：０、４：２：２、４：４：４など複数の異なるクロマフォーマットを一括して符号化処理する場合でも、符号化される予測モードや動き情報の検出・生成方法や符号化データのセマンティクスを共通化できるので、符号化装置構成を効率化できる。また、４：２：０、４：２：２、４：４：４など複数の異なるクロマフォーマットの映像符号化データを単一の形式のビットストリームで表現することができるため、本実施の形態１の符号化装置が出力するビットストリーム３０は複数の異なるクロマフォーマットを扱う伝送・記録システムにおいて高い相互接続性を満たすことができる。

なお、図４の符号化装置では、イントラオンリー符号化指示情報４により符号化処理を制御するよう構成する。イントラオンリー符号化指示情報４は、符号化装置が動き補償予測による時間方向の予測処理を行うか否かを指示する信号であり、同信号が「イントラオンリー符号化」であることを示す場合は、入力映像信号３のすべてのピクチャに対して、動き補償予測による時間方向の予測を行うことなく、画面内に閉じた符号化(イントラ予測のみの符号化)を行う。また、このとき同時に、ピクチャ符号化部内部でデブロッキングフィルタを無効にする。イントラオンリー符号化指示情報４が「イントラオンリー符号化ではない」ことを示す場合は、入力映像信号３のピクチャに対して、動き補償予測による時間方向の予測も使用して、画面内・画面間のあらゆる相関を利用した符号化を行う。イントラオンリー符号化指示情報４は可変長符号化部２７において、シーケンスパラメータセットに付与してビットストリーム３０に多重する。これによって、ビットストリーム３０を入力とする復号装置では、シーケンスパラメータセット中のイントラオンリー符号化指示情報４を復号してその値を確認することで、ビットストリーム３０がイントラオンリー符号化されたかどうかを認識できるので、イントラオンリー符号化されている場合はデブロッキングフィルタ処理を実行せず、復号装置の演算量を削減することができる。また、イントラオンリー符号化指示情報４が「イントラオンリー符号化である」ことを示す場合は、動き補償予測を実行しないため、参照画像としてのフレームメモリ１３への書き出しも行わない。このように構成することでメモリアクセスも削減される。

さらに、入力映像信号３の画面サイズ情報３１によって符号化処理を制御するよう構成する。画面サイズ情報３１は入力映像信号３のピクチャ内マクロブロック数を示す情報であり、この値が所定の閾値よりも大きい場合にスライス中に含まれるマクロブロックの数の上限値を定め、スライスがそれよりも多くのマクロブロックを含まないように制御する。具体的には、画像サイズ情報３１は可変長符号化部２７に入力され、可変長符号化部２７は画像サイズ情報３１に基づいて、スライス内に含まれるマクロブロックの個数の上限値を定める。可変長符号化部２７は、符号化されたマクロブロックの個数をカウントしておき、スライス内に含まれるマクロブロックの個数が上記上限値に達したとき、そこでスライスデータのパケットを閉じ、以降のマクロブロックは新しいスライスデータとしてパケット化する。画面サイズ情報３１は可変長符号化部２７においてシーケンスパラメータセットに付与してビットストリーム３０に多重される。これにより、入力映像信号３の画面サイズが大きい(すなわち、空間解像度が高い)場合に、符号化装置・復号装置ともに並列処理可能な単位を特定でき、円滑なタスク割り当てを行うことができる。

＜復号装置＞
図１６に、本実施の形態１の復号装置の構成を示す。図１６の復号装置は、ビットストリーム３０を入力とし、ビットストリーム中に含まれるクロマフォーマット識別情報１に基づいて内部復号処理を切り替える構成をとり、複数の異なるクロマフォーマットの符号化データの復号処理に対応する。

入力ビットストリーム３０は、まず可変長復号処理され(可変長復号部２００)、クロマフォーマット識別情報１、共通符号化・独立符号化識別情報２、イントラオンリー符号化指示情報４、画像サイズ情報３１などが上位ヘッダ情報として復号され、シーケンス復号中保持される。続いて、クロマフォーマット識別情報１、共通符号化・独立符号化識別情報２によって定まる図１４、図１５のスライス構造、図２ないし図３のいずれかのマクロブロック構造に基づいて、マクロブロックデータごとに復号処理が行われる。マクロブロック単位の復号では、まず復号された符号化モード１５に従い、イントラ予測画像生成処理(C0成分イントラ予測画像生成部７、C1/C2成分イントラ予測画像生成部８)、動き補償処理(C0成分動き補償部１１、C1/C2成分動き補償部１２)を行って、当該マクロブロックに対する予測画像の生成を行う。その一方、マクロブロック符号化データの一部として復号される量子化係数データに対して逆量子化・逆整数変換処理を施すことにより、予測残差信号17bを復号する(C0成分予測残差復号部２４、C1成分予測残差復号部２５、C2成分予測残差復号部２６)。次いで、予測画像３４と予測残差信号17bとを加算することにより暫定復号画像を得る。必要に応じて量子化に伴うブロック境界歪を抑制するデブロッキングフィルタ(デブロッキングフィルタ部２８)を施した後、以降の予測画像生成処理に用いるためにフレームメモリ２０１および/またはラインメモリ２０２に格納される。イントラオンリー符号化指示情報４が「イントラ符号化のみを実施」を指示する場合は、動き補償処理を実行せず、イントラ予測画像生成処理のみを実行する。

以下、本実施の形態１の特徴である、クロマフォーマット識別情報１、共通符号化・独立符号化識別情報２、イントラオンリー符号化指示情報４などに基づいて処理切り替えを行う可変長復号処理、イントラ予測画像生成処理、動き補償処理、予測残差復号処理についてそれぞれ詳細を説明する。

（１）可変長復号処理
ビットストリーム３０は、まず可変長復号部２００に入力され、図１３のシーケンスパラメータセットやピクチャパラメータセットなどの上位ヘッダの解析処理を行う。この過程で、クロマフォーマット識別情報１、共通符号化・独立符号化識別情報２、イントラオンリー符号化指示情報４、画像サイズ情報３１が復号される。共通符号化・独立符号化識別情報２は、クロマフォーマット識別情報１が４：４：４クロマフォーマットであることを示している場合にのみビットストリーム３０中から抽出される。これらのパラメータはシーケンスの復号期間中、可変長復号部２００の内部メモリに保持しておく。

続いて、スライスNALユニットの復号を行う。まず、クロマフォーマット識別情報１が４：４：４クロマフォーマットであることを示していて、かつ共通符号化・独立符号化識別情報２が「独立符号化処理」であることを示している場合にのみ、色成分識別フラグ３３を復号し、カレントスライスがどの色成分の符号化データを含むかを認識する。引き続きスライスヘッダの復号を行い、スライスに属するマクロブロック符号化データの復号へ進む。

マクロブロック符号化データの並びとその解析・復号処理の流れを、図１７を用いて説明する。マクロブロックの復号では、
(a)まず図１４、図１５にあるように、符号化モード１５に相当するマクロブロックタイプ(図１７のmb_type)を復号する。
(b)SW1でmb_typeを評価し、mb_typeがPCMモード(非圧縮で画素値をそのままビットストリームに多重するモード)を示している場合は、そのままビットストリームからマクロブロック中の画素数分の非圧縮データを抽出して、当該マクロブロックの復号処理を終える。
(c)SW1でmb_typeがPCMモードではなく、SW2でmb_typeを評価し、8x8ブロック以下のサイズで動き補償予測を行うモードである場合、8x8ブロック以下のサブマクロブロックタイプ(sub_mb_type)を復号して、各サブブロックごとの動き情報(動きベクトル・参照画像インデックス)を復号する。SW4へ。
(d)SW2でmb_typeが(c)の条件に合致せず、SW3でmb_typeを評価し、インター符号化モードで予測残差信号１７ｂの変換ブロックサイズとして8x8ブロックが選択可能である場合、変換ブロックサイズ指示情報１０４を復号し、さらに動き情報を復号する。動き情報の復号に際しては、クロマフォーマット識別情報１、共通符号化・独立符号化識別情報２に基づいて以下のように復号を行う。SW4へ。
(ア)クロマフォーマットが４：２：０または４：２：２のとき
復号する動き情報はC0成分動き情報１０２として復号する
(イ)クロマフォーマットが４：４：４で共通符号化処理、のとき
復号する動き情報はC0、C1、C2成分で共通に用いる動き情報１０２、１０３として復号する
(ウ)クロマフォーマットが４：４：４で独立符号化処理、のとき
復号する動き情報は、色成分識別フラグ３３が示すCk成分で用いる動き情報として復号する
(e)SW2でmb_typeが(c)の条件に合致せず、SW3でmb_typeを評価し、イントラ4x4予測またはイントラ8x8予測モードの場合は、イントラ予測モード情報を復号する。イントラ予測モード情報の復号に際しては、クロマフォーマット識別情報１、共通符号化・独立符号化識別情報２に基づいて以下のように復号を行う。SW4へ。
(ア)クロマフォーマットが４：２：０または４：２：２のとき
Y成分に対しては4x4ないしは8x8ブロックの単位で定まるC0成分イントラ予測モード１００を復号し、Cb/Cr成分に対しては、それとは独立に符号化されるC1/C2成分イントラ予測モード１０１を復号する
(イ)クロマフォーマットが４：４：４で共通符号化処理、のとき
復号するイントラ予測モード情報はC0、C1、C2成分で共通に用いるイントラ予測モード情報１００、１０１として復号する
(ウ)クロマフォーマットが４：４：４で独立符号化処理、のとき
復号するイントラ予測モード情報は、色成分識別フラグ３３が示すCk成分で用いるイントラ予測モード情報として復号する
(f)SW3でmb_typeが(d)ないしは(e)の条件に合致せず、SW4でmb_typeを評価し、イントラ16x16予測モードの場合は、mb_typeに組み込まれているイントラ16x16予測モードを復号し、その後、クロマフォーマット識別情報１が４：２：０または４：２：２クロマフォーマットを示す場合は上記(e)の(ア)に従い、Y成分とは独立のC1/C2成分イントラ予測モード１０１を復号する。次いで、量子化パラメータを復号する。
(g)SW4でmb_typeが(f)の条件に合致しない場合は、CBP(coded block pattern)を復号し、CBPの値に基づき、全係数がゼロであることを示す8x8ブロックに対して、量子化係数データの復号結果をオールゼロにセットする。CBPがマクロブロック内のいずれかの8x8ブロックに有効係数があることを示していれば(SW5)、量子化パラメータを復号する。復号されるCBPは、クロマフォーマット識別情報１が４：２：０または４：２：２クロマフォーマットを示す場合は、輝度成分の4個の8x8ブロック、ならびに色差成分のN個(N=2 for 4:2:0, N=4 for 4:2:2)の8x8ブロックに対する有効係数データの有無を判別する情報として復号される。一方、クロマフォーマット識別情報１が４：４：４クロマフォーマットを示す場合は、共通符号化・独立符号化識別情報２が「共通符号化」を示す場合には、C0,C1,C2の同一空間上の8x8ブロックのいずれかに有効係数が存在するか否かを、4つの8x8ブロック領域に対して規定する情報として復号される。共通符号化・独立符号化識別情報２が「独立符号化」を示す場合には、CBPはC0,C1,C2の各成分ごとに個別に復号され、クロマフォーマットが４：２：０または４：２：２の場合の輝度成分と同様の定義の情報として復号される。
(h)量子化パラメータを復号したマクロブロックについて、量子化係数データの復号を行う。ここでは、クロマフォーマット識別情報１、共通符号化・独立符号化識別情報２に基づいて定まる図１４、図１５のスライス、マクロブロックデータ構造に従った量子化係数データTxの復号を行う。

（２）イントラ予測画像生成処理
イントラ予測画像生成処理は、図１６のC0成分イントラ予測画像生成部７、C1/C2成分イントラ予測画像生成部８によって行われる。これらは図４の符号化装置にて説明した部材と共通である。

クロマフォーマットが４：２：０、４：２：２の場合は、Y成分の信号は、可変長復号部２００から供給されるC0成分イントラ予測モード１００に基づいてC0成分イントラ予測画像生成部７において予測画像が生成される。C0成分イントラ予測モード１００としては、前述のイントラ4x4予測モード、イントラ8x8予測モード、イントラ16x16予測モードの3種類がある。イントラ4x4予測モードとイントラ8x8予測モードについては、マクロブロックを4x4画素または8x8画素からなるブロックに分割して、図５に示すように個々のブロックごとに個別に近傍参照画素を用いた空間予測により予測画像を生成する。この予測画像生成方法の選択肢が９つあり、９つのうちのいずれの方法を用いて予測画像を生成するかがC0成分イントラ予測モード１００としてC0成分イントラ予測画像生成部７に供給される。図５は4x4ブロックの例を示しているが、8x8画素ブロックについても同様のモードが定義される。このような方向性を持った空間予測モードの効果は前述のとおりである。

また、マクロブロックを細分化せずに16x16ブロックのままイントラ予測を行うモードとしてイントラ16x16予測モードがある(図６)。この場合は図６に示す4種類の空間予測から予測画像生成方法を選択する。このような空間予測モードの効果は前述のとおりである。

Cb、Cr成分については、C1/C2成分イントラ予測画像生成部８によって、Y成分とは個別にイントラ予測画像の生成が行われる。図１８に本実施の形態１におけるC1/C2成分イントラ予測画像生成部８の内部構成を示す。クロマフォーマット識別情報１が４：２：０クロマフォーマット、ないしは４：２：２クロマフォーマットを示す場合は、C1/C2成分イントラ予測モード１０１は、図７に示す4種類のモードのいずれかを示す。予測画像生成処理対象のブロック数により、クロマフォーマットに応じて４：２：０Cb/Cr成分イントラ予測画像生成部８a、ないしは４：２：２Cb/Cr成分イントラ予測画像生成部８bに処理が分岐する。また、クロマフォーマットが４：４：４の場合は、C1/C2成分イントラ予測モード１０１は、Y成分を処理するC0成分イントラ予測モードとまったく同一の定義であるため、Y成分イントラ予測画像生成部８ｃに処理を分岐する。Y成分イントラ予測画像生成部８ｃは、C0成分イントラ予測画像生成部７とほぼ同じ部材で構成することが可能であるが、共通符号化・独立符号化識別情報２に基づいて「共通符号化処理」の場合はC1/C2両成分の予測画像生成を行い、「独立符号化処理」の場合は、色成分識別フラグ３３で定まるCk成分に対応するイントラ予測モード(１０１aないしは１０１bの一方)のみに対応する予測画像生成を行う点が異なる。

すべてのイントラ予測画像生成処理において、参照画素となる周辺画素値はデブロッキングフィルタを施していない復号画像である必要がある。そのため、C0成分予測残差復号部２４、C1成分予測残差復号部２５、C2成分予測残差復号部２６の出力である復号予測残差信号１７bと予測画像３４の加算によって得られるデブロッキングフィルタ処理前の画素値をラインメモリ２０２に格納してイントラ予測画像生成に用いるものとする。

（３）動き補償処理
動き補償処理は、図１６のC0成分動き補償部１１、C1/C2成分動き補償部１２によって行われる。これらは図４の符号化装置にて説明した部材と共通である。

クロマフォーマットが４：２：０、４：２：２の場合は、Y成分の予測信号は、C0成分動き補償部１１において、マクロブロック符号化データの一部として復号されるY成分動き情報１０２によって生成される。動き情報は、フレームメモリ２０１に格納される１枚以上の参照画像データのうちのいずれの参照画像を予測に用いるかを指示する参照画像インデックスと、参照画像インデックスで指定される参照画像で適用する動きベクトルを含む。

Y成分動き情報１０２は、図８に示す動き補償予測単位となる7種類のブロックサイズに対応して復号される。この図８のいずれのブロックサイズで動き補償を行うかは、符号化モード１５および上記可変長復号処理動作の説明で述べたサブマクロブロックタイプ(sub_mb_type)で定まる。動き補償を行う単位となるブロックに対してY成分動き情報１０２を割り当て、フレームメモリ２０１中の参照画像インデックスで指し示される参照画像に対して動きベクトルを適用して予測画像を得る。Cb、Cr成分については、図１７に示すように、可変長復号部２００内で、Y成分と同じ参照画像インデックスを割り当て、Y成分の動きベクトルを利用してCb/Cr成分動き情報１０３を求める(具体的にはYとCb,Crのサンプル比相当で、Y成分の動きベクトルのスケーリングを行うことによって求める)。

また、図９、図１０を用いて述べたとおり、動き補償部で生成する予測画像の生成方法はY成分とCb、Cr成分で異なる。Cb/Cr成分の動き補償処理はC1/C2成分動き補償部１２で行われる。

図１９に本実施の形態１におけるC1/C2成分動き補償部１２の内部構成を示す。クロマフォーマット識別情報１が４：２：０クロマフォーマット、ないしは４：２：２クロマフォーマットを示す場合は、Cb/Cr成分動き情報１０３は、上述のとおりC0成分すなわちY成分の動き情報１０２に基づいて可変長復号部２００において生成され、C1/C2成分動き補償部１２へ入力される。予測画像生成処理対象のブロック数により、クロマフォーマットに応じて４：２：０Cb/Cr成分動き補償部１２a、ないしは４：２：２Cb/Cr成分動き補償部１２bに処理が分岐する。また、クロマフォーマットが４：４：４の場合は、Cb/Cr成分動き情報１０３は、Y成分を処理するY成分動き情報１０２とまったく同一の定義であるため、Y成分動き補償部１２ｃに処理を分岐する。Y成分動き補償部１２ｃは、C0成分動き補償部１１とほぼ同じ部材で構成することが可能であるが、共通符号化・独立符号化識別情報２に基づいて「共通符号化処理」の場合はC1/C2両成分の予測画像生成を行い、「独立符号化処理」の場合は、色成分識別フラグ３３で定まるCk成分に対応する動き情報(１０３aないしは１０３bの一方)のみに対応する予測画像生成を行う点が異なる。

（４）予測残差復号処理
予測残差復号処理は、図１６のC0成分予測残差復号部２４、C1成分予測残差復号部２５、C2成分予測残差復号部２６によって行われる。これらは図４の符号化装置にて説明した、C0成分局所復号部２４、C1成分局所復号部２５、C2成分局所復号部２６と共通である。

予測残差復号処理は、可変長復号部２００から出力されるマクロブロックごとのC0、C1、C2成分量子化係数データ２１、２２、２３に対して逆量子化・逆変換を行って予測残差信号17bへ復元する処理である。C1成分予測残差復号部２５、C2成分予測残差復号部２６では、クロマフォーマット識別情報１、共通符号化・独立符号化識別情報２に応じて、C1/C2成分に対する処理を切り替える。

クロマフォーマットが４：２：０、４：２：２の場合のY成分、ならびにクロマフォーマットが４：４：４の場合のC0成分に対しては、C0成分予測残差復号部２４において、図２０に示す予測残差復号処理が行われる。本処理ではまず、符号化モード１５がイントラ8x8予測モードを示しているか、変換ブロックサイズ指示情報１０４が8x8ブロック単位の整数変換であることを示している場合は、量子化係数データ２１を、マクロブロック内を4分割した8x8ブロックの単位で処理する。8x8ブロック単位で量子化パラメータ３２に従う逆量子化を行った後、8x8ブロックの単位で逆整数変換を行い、予測残差信号17aの復元値17bを得る。

符号化モード１５がそれ以外の場合は、符号化モード１５がイントラ16x16予測モードか否かで処理を切り替える。イントラ16x16予測モードのときは、量子化係数データ２１からはじめに各4x4ブロックのDC成分だけの変換係数に対して量子化パラメータ３２に従う逆量子化処理を行い、続いて4x4の逆アダマール変換を行う。これによってマクロブロック中の各4x4ブロックのDC成分の復元値を得る。残りの15個のAC係数についても量子化パラメータ３２に従う逆量子化処理を行い、上記で得られたDC成分と合わせて4x4ブロック単位の逆量子化済み変換係数を得る。これを最後に4x4逆整数変換によって予測残差信号17bを復元する。

符号化モード１５がイントラ16x16予測モードでもない場合は、各4x4ブロックごとに逆量子化・逆整数変換を行って予測残差信号17bを復元する。

クロマフォーマットが４：２：０、４：２：２の場合のCb、Cr成分、ならびにクロマフォーマットが４：４：４の場合のC1、C2成分に対しては、C1成分予測残差復号部２５、C2成分予測残差復号部２６において、それぞれ予測残差復号処理が行われる。

クロマフォーマットが４：２：０、４：２：２の場合のCb、Cr成分については、図２１の流れで予測残差の復号処理を行う。４：２：０と４：２：２の違いはアダマール変換を実行する単位が2x2ブロックか2x4ブロックかの違いである。まず、4x4ブロックの変換係数のDC成分のみをあつめてアダマール逆変換処理の対象となるブロックを構成し、逆量子化を行った後アダマール逆変換を実行する。のこりの15個のAC成分については個別に逆量子化を行い、DC成分と合わせてから4x4逆整数変換を実行する。これによって予測残差信号17bを復元する。

C1成分予測残差復号部２５、C2成分予測残差復号部２６の内部構成を図２２に示す。上記のクロマフォーマットが４：２：０、４：２：２の場合のCb、Cr成分の処理については、図２２では４：２：０ Cb or Cr成分予測残差復号部２５a、４：２：２ Cb or Cr成分予測残差復号部２５b、として分離して記載しているが、処理内容の違いは上述のとおりである。一方、クロマフォーマットが４：４：４の場合は、C1/C2の量子化係数データ２２、２３は、4：2：0、4：2：2のY成分の量子化係数データ２１とまったく同じ方法で符号化されているため、Y成分予測残差復号部２５ｃに処理を分岐する。Y成分予測残差復号部２５ｃは、C0成分予測残差復号部２４と同じ部材で構成することが可能である。

なお、イントラオンリー符号化指示情報４が「イントラオンリー符号化」であることを示す場合は、ビットストリーム３０中のすべてのピクチャは、動き補償予測による時間方向の予測を行うことなく、画面内に閉じた符号化(イントラ予測のみの符号化)を行って符号化されていることを示すので、デブロッキングフィルタ部２８の処理を無効にする。これによって、ビットストリーム３０を入力とする復号装置では、イントラオンリー符号化されている場合はデブロッキングフィルタ処理を実行せず、復号装置の演算量を削減することができる。また、イントラオンリー符号化指示情報４が「イントラオンリー符号化である」ことを示す場合は、動き補償予測を実行しないため、参照画像としてのフレームメモリ２０１への書き出しも行わない。このように構成することでメモリアクセスも削減される。

なお、本実施の形態１の復号装置は、上記説明した符号化装置が出力するビットストリーム３０を入力として復号を行う構成で説明したが、符号化装置がビットストリーム３０の形式に従うビットストリームを出力する限り、４：２：０クロマフォーマットのみを入力として符号化を行う符号化装置や、４：２：２のみ、４：２：０と４：２：２の２種類といった様々な仕様の符号化装置の出力するビットストリームも正しく復号することが可能である。

以上述べた本実施の形態１の符号化装置と復号装置によれば、４：２：０、４：２：２、４：４：４などの複数の異なるクロマフォーマットに対して、効率的な装置構成で統一的に符号化・復号することが可能となり、映像符号化データの相互接続性を高めることが可能となる。
なお、本実施の形態１では、４：２：０、４：２：２クロマフォーマットの３つの色空間をY、Cb、Crとして説明を行ったが、それ以外の例えばY、Pb、Prなどの色空間を用いても同様の効果を得ることが可能である。

１ クロマフォーマット識別情報、２ 共通符号化・独立符号化識別情報、３ 入力映像信号、４ イントラオンリー符号化指示情報、５ C0成分イントラ予測モード決定部、６ C1/C2成分イントラ予測モード決定部、７ C0成分イントラ予測画像生成部、８ C1/C2成分イントラ予測画像生成部、９ C0成分動き検出部、１０ C1/C2成分動き検出部、１１ C0成分動き補償部、１２ C1/C2成分動き補償部、１３ フレームメモリ、１４ 符号化モード選択部、１５ 符号化モード、１６ 減算器、１７ 予測残差信号、１８ C0成分予測残差符号化部、１９ C1成分予測残差符号化部、２０ C2成分予測残差符号化部、２１、２２、２３ 量子化係数データ、２４ C0成分局所復号部、C0成分予測残差復号部、２５ C1成分局所復号部、C1成分予測残差復号部、２６ C2成分局所復号部、C2成分予測残差復号部、２７ 可変長符号化部、２８ デブロッキングフィルタ部、２９ ラインメモリ、３０ ビットストリーム、３１ 画像サイズ情報、３２ 量子化パラメータ、３３ 色成分識別フラグ、３４ 予測画像、１００ C0成分イントラ予測モード、１０１ C1/C2成分イントラ予測モード、１０２ Y成分の動き情報、１０３ Cb/Cr成分の動き情報、１０４ 変換ブロックサイズ指示情報、２００ 可変長復号部、２０１ フレームメモリ、２０２ ラインメモリ。

Claims (8)

1. ディジタル動画像信号をブロック単位に変換・量子化することによって圧縮符号化してビットストリームを生成する動画像符号化装置において、
   前記ディジタル動画像信号の各ピクチャをすべてイントラ符号化するか否かを示し、かつ変換・量子化の単位となるブロックの境界に施すデブロッキングフィルタの動作を制御する識別情報をビットストリームに多重化する符号化部を備えることを特徴とする動画像符号化装置。
2. ディジタル動画像信号を入力として圧縮符号化を行う動画像符号化装置において、
   入力動画像信号のクロマフォーマットが４：２：０ないしは４：２：２の場合の輝度成分に相当する信号成分に対してイントラ予測を行う第１のイントラ予測モード決定部と、
   入力動画像信号のクロマフォーマットが４：２：０ないしは４：２：２の場合の色差成分に相当する信号成分に対してイントラ予測を行う第２のイントラ予測モード決定部と、
   前記第１のイントラ予測モード決定部によって定まる第１のイントラ予測モード、ないし前記第２のイントラ予測モード決定部によって定まる第２のイントラ予測モードを可変長符号化する可変長符号化部と、
   前記第１のイントラ予測モードに基づいて第１のイントラ予測画像を生成する第１のイントラ予測画像生成部と、
   前記第２のイントラ予測モードに基づいて第２のイントラ予測画像を生成する第２のイントラ予測画像生成部と、
   前記第１のイントラ予測画像、ないし前記第２のイントラ予測画像と入力動画像信号の対応する色成分信号との差分として得られる予測誤差信号に対して変換符号化を行う符号化部を備え、
   前記入力動画像信号のクロマフォーマット種別を与える制御信号に基づき、クロマフォーマットが４：２：０ないしは４：２：２の場合は、前記入力動画像信号の輝度成分に前記第１のイントラ予測モード決定部と前記第１のイントラ予測画像生成部を、色差成分に前記第２のイントラ予測モード決定部と前記第２のイントラ予測画像生成部を適用し、クロマフォーマットが４：４：４の場合は、前記入力動画像信号の全色成分に前記第１のイントラ予測モード決定部と前記第１のイントラ予測画像生成部を適用して符号化を行い、
   前記可変長符号化部は前記制御信号を動画像シーケンス単位に適用する符号化データとしてビットストリームに多重化することを特徴とする動画像符号化装置。
3. 請求項２記載の動画像符号化装置において、クロマフォーマットが４：４：４の場合に、さらに共通符号化・独立符号化の種別を識別する制御信号に基づいて、該制御信号が共通符号化であることを示す場合は、前記第１のイントラ予測モード決定部において前記入力動画像信号の一部ないしは全色成分の信号を評価して、得られる第１のイントラ予測モードを前記入力動画像信号の全色成分に共通の予測モードとして決定し、
   前記制御信号が独立符号化であることを示す場合は、前記第１のイントラ予測モード決定部において前記入力動画像信号の各色成分の信号を個別に評価して、色成分ごとに前記第１のイントラ予測モードを独立に決定して符号化を行うことを特徴とする動画像符号化装置。
4. ディジタル動画像信号を入力として圧縮符号化を行う動画像符号化装置において、
   入力動画像信号のクロマフォーマットが４：２：０ないしは４：２：２の場合の輝度成分に相当する信号成分に対して第１の動き情報の決定を行う第１の動き検出部と、
   入力動画像信号のクロマフォーマットが４：２：０ないしは４：２：２の場合の色差成分に相当する信号成分に対して第２の動き情報の決定を行う第２の動き検出部と、
   前記第１の動き検出部によって定まる第１の動き情報を可変長符号化する可変長符号化部と、
   前記第１の動き情報に基づいて第１のインター予測画像を生成する第１の動き補償部と、前記第２の動き情報に基づいて第２のインター予測画像を生成する第２の動き補償部と、前記第１のインター予測画像、ないし前記第２のインター予測画像と入力動画像信号の対応する色成分信号との差分として得られる予測誤差信号に対して変換符号化を行う符号化部を備え、
   前記入力動画像信号のクロマフォーマット種別を与える制御信号に基づき、クロマフォーマットが４：２：０ないしは４：２：２の場合は、前記入力動画像信号の輝度成分に前記第１の動き検出部と前記第１の動き補償部を、色差成分に前記第２の動き検出部と前記第２の動き補償部を適用し、クロマフォーマットが４：４：４の場合は、前記入力動画像信号の全色成分に前記第１の動き検出部と前記第１の動き補償部を適用して符号化を行い、前記可変長符号化部は前記制御信号を動画像シーケンス単位に適用する符号化データとしてビットストリームに多重化することを特徴とする動画像符号化装置。
5. 請求項４記載の動画像符号化装置において、クロマフォーマットが４：４：４の場合に、さらに共通符号化・独立符号化の種別を識別する制御信号に基づいて、該制御信号が共通符号化であることを示す場合は、前記第１の動き検出部において前記入力動画像信号の一部ないしは全色成分の信号を評価して第１の動き情報を前記入力動画像信号の全色成分に共通の動き情報として決定し、
   前記制御信号が独立符号化であることを示す場合は、前記第１の動き検出部において前記入力動画像信号の各色成分の信号を個別に評価して色成分ごとに前記第１の動き情報を決定して符号化を行うことを特徴とする動画像符号化装置。
6. ディジタル動画像信号をブロック単位に変換・量子化することによって圧縮符号化してビットストリームを生成する動画像符号化方法において、
   前記ディジタル動画像信号の各ピクチャをすべてイントラ符号化するか否かを示し、かつ変換・量子化の単位となるブロックの境界に施すデブロッキングフィルタの動作を制御する識別情報をビットストリームに多重化する符号化ステップを備えることを特徴とする動画像符号化方法。
7. ディジタル動画像信号を入力として圧縮符号化を行う動画像符号化方法において、
   入力動画像信号のクロマフォーマットが４：２：０ないしは４：２：２の場合の輝度成分に相当する信号成分に対してイントラ予測を行う第１のイントラ予測モード決定ステップと、
   入力動画像信号のクロマフォーマットが４：２：０ないしは４：２：２の場合の色差成分に相当する信号成分に対してイントラ予測を行う第２のイントラ予測モード決定ステップと、
   前記第１のイントラ予測モード決定ステップによって定まる第１のイントラ予測モード、ないし前記第２のイントラ予測モード決定ステップによって定まる第２のイントラ予測モードを可変長符号化する可変長符号化ステップと、
   前記第１のイントラ予測モードに基づいて第１のイントラ予測画像を生成する第１のイントラ予測画像生成ステップと、
   前記第２のイントラ予測モードに基づいて第２のイントラ予測画像を生成する第２のイントラ予測画像生成ステップと、
   前記第１のイントラ予測画像、ないし前記第２のイントラ予測画像と入力動画像信号の対応する色成分信号との差分として得られる予測誤差信号に対して変換符号化を行う符号化ステップを備え、
   前記入力動画像信号のクロマフォーマット種別を与える制御信号に基づき、クロマフォーマットが４：２：０ないしは４：２：２の場合は、前記入力動画像信号の輝度成分に前記第１のイントラ予測モード決定ステップと前記第１のイントラ予測画像生成ステップを、色差成分に前記第２のイントラ予測モード決定ステップと前記第２のイントラ予測画像生成ステップを適用し、クロマフォーマットが４：４：４の場合は、前記入力動画像信号の全色成分に前記第１のイントラ予測モード決定ステップと前記第１のイントラ予測画像生成ステップを適用して符号化を行い、
   前記可変長符号化ステップは前記制御信号を動画像シーケンス単位に適用する符号化データとしてビットストリームに多重化することを特徴とする動画像符号化方法。
8. ディジタル動画像信号を入力として圧縮符号化を行う動画像符号化方法において、
   入力動画像信号のクロマフォーマットが４：２：０ないしは４：２：２の場合の輝度成分に相当する信号成分に対して第１の動き情報の決定を行う第１の動き検出ステップと、
   入力動画像信号のクロマフォーマットが４：２：０ないしは４：２：２の場合の色差成分に相当する信号成分に対して第２の動き情報の決定を行う第２の動き検出ステップと、
   前記第１の動き検出ステップによって定まる第１の動き情報を可変長符号化する可変長符号化ステップと、
   前記第１の動き情報に基づいて第１のインター予測画像を生成する第１の動き補償ステップと、
   前記第２の動き情報に基づいて第２のインター予測画像を生成する第２の動き補償ステップと、
   前記第１のインター予測画像、ないし前記第２のインター予測画像と入力動画像信号の対応する色成分信号との差分として得られる予測誤差信号に対して変換符号化を行う符号化ステップを備え、
   前記入力動画像信号のクロマフォーマット種別を与える制御信号に基づき、クロマフォーマットが４：２：０ないしは４：２：２の場合は、前記入力動画像信号の輝度成分に前記第１の動き検出ステップと前記第１の動き補償ステップを、色差成分に前記第２の動き検出ステップと前記第２の動き補償ステップを適用し、クロマフォーマットが４：４：４の場合は、前記入力動画像信号の全色成分に前記第１の動き検出ステップと前記第１の動き補償ステップを適用して符号化を行い、
   前記可変長符号化ステップは前記制御信号を動画像シーケンス単位に適用する符号化データとしてビットストリームに多重化することを特徴とする動画像符号化方法。

Images