JP2009303263A - 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法 - Google Patents

Abstract

【課題】４：４：４フォーマットのような色成分間にサンプル比の区別のない動画像信号を符号化するにあたり、最適性を高めた、符号化装置、復号装置、符号化方法、および、復号方法を提供する。
【解決手段】各色成分の信号を独立に符号化するか否かを示す識別情報と、各色成分の逆量子化に用いる量子化マトリクス情報をビットストリームに多重するとともに、前記識別情報が、各色成分の信号を独立に符号化することを示す場合に、スライスヘッダに、当該スライスに含まれる符号化データがいずれの色成分の符号化データであるかを識別するための色成分識別情報を多重するとともに、該色成分識別情報に基づいて当該スライスの符号化処理に使用する量子化マトリクスを特定するピクチャ符号化部を有する。
【選択図】図８

Description

本発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられるデジタル画像信号符号化装置、デジタル画像信号復号装置、デジタル画像信号符号化方法、およびデジタル画像信号復号方法に関する。

従来、MPEGやITU-T H.26xなどの国際標準映像符号化方式(例えば非特許文献１)では、主として４：２：０フォーマットと呼ばれる標準化された入力信号フォーマットの使用を前提としてきた。４：２：０とは、RGBなどのカラー動画像信号を輝度成分(Y)と２つの色差成分(Cb、Cr)に変換し、水平・垂直ともに色差成分のサンプル数を輝度成分の半分に削減したフォーマットである。色差成分は輝度成分に比べて視認性が落ちることから、従来の国際標準映像符号化方式では、このように符号化を行う前に色差成分のダウンサンプルを行うことで符号化対象の原情報量を削減しておくことを前提としていた。一方、近年のビデオディスプレイの高解像度化、高階調化に伴い、色差成分をダウンサンプルすることなく輝度成分と同一サンプル数のまま符号化する方式の検討が行われている。輝度成分と色差成分とがまったく同一のサンプル数のフォーマットは４：４：４フォーマットと呼ばれる。従来の４：２：０フォーマットが色差成分のダウンサンプルを前提としたためにY、Cb、Crという色空間定義にのみ限定されたのに対し、４：４：４フォーマットでは色成分間にサンプル比の区別がないため、Y、Cb、Crのほか、R,G,Bを直接使用したり、その他複数の色空間定義を利用することが可能である。４：４：４フォーマットを対象とした映像符号化方式としては、非特許文献２などがある。同文献では、色成分間に残存する相関を利用して異なる色成分間で予測を行うことにより符号化すべき情報量を削減するアプローチを提案している。しかし、色成分間の相関の度合いは映像コンテンツの種類や色空間によって様々であり、予測が符号化効率上逆効果となる場合もありうる。また、複数の色成分をまたがった信号処理を必要とするために、デジタルシネマ映像(4000x2000画素)などきわめて解像度の高い映像信号のリアルタイム処理を行うような例では並列処理効率が悪いという課題がある。

"Information Technology Coding of Audio-Visual Objects Part10: Advanced Video Coding", ISO/IEC 14496-10, 2003 Woo-Shik Kim, Dae-Sung Cho, and Hyun Mun Kim、"INTER-PLANE PREDICTION FOR RGB VIDEO CODING", ICIP 2004, October 2004.

非特許文献１におけるMPEG-4 Advanced Video Coding(以下AVC)の４：２：０フォーマットを符号化対象とするハイ４：２：０プロファイルでは、輝度成分１６ｘ１６画素からなるマクロブロック領域において、対応する色差成分はCb、Crとも各８ｘ８画素ブロックとなる。ハイ４：２：０プロファイルにおける動き補償予測では、輝度成分に対してのみ動き補償予測の単位となるブロックサイズ情報と予測に用いる参照画像情報、各ブロックごとの動きベクトル情報を多重化し、色差成分は輝度成分と同じ情報を用いて動き補償予測を行うことになっている。４：２：０フォーマットは、画像の構造情報(テクスチャ情報)のほとんどが輝度成分に集約されていることと、輝度信号に比べ色差成分のほうが歪の視認性が低く、映像再現性に関する寄与が小さいという色空間定義上の特徴があり、上記ハイ４：２：０プロファイルの予測・符号化はこのような４：２：０フォーマットの性質の前提のもとでなりたつものである。しかしながら、４：４：４フォーマットでは３つの色成分が同等にテクスチャ情報を保持しており、１成分のみに依存したインター予測モード、参照画像情報および動きベクトル情報で動き補償予測が行われる方式は、画像信号の構造表現に際して各色成分が同等に寄与する４：４：４フォーマットでは必ずしも最適な予測方法とはいえない。

そこで、本発明は、上記従来技術に述べたように、４：４：４フォーマットのような色成分間にサンプル比の区別のない動画像信号を符号化するにあたり、最適性を高めた符号化装置、復号装置、符号化方法、および復号方法を提供することを目的とする。

本発明は、４：４：４フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、各色成分の信号を独立に符号化するか否かを示す識別情報と、各色成分の逆量子化に用いる量子化マトリクス情報をビットストリームに多重するとともに、前記識別情報が、各色成分の信号を独立に符号化することを示す場合に、スライスヘッダに、当該スライスに含まれる符号化データがいずれの色成分の符号化データであるかを識別するための色成分識別情報を多重するとともに、該色成分識別情報に基づいて当該スライスの符号化処理に使用する量子化マトリクスを特定するピクチャ符号化部を有するものである。

本発明によれば、Y、Cb、Crなどの固定された色空間に限定せず多様な色空間を利用する符号化を行う場合において、各色成分で用いるインター予測モード情報を柔軟に選択できるように構成することができ、色空間の定義が種々に及ぶ場合にも最適な符号化処理を行うことができる。

シーケンス、ＧＯＰ、ピクチャ、スライス、マクロブロックにより構成される映像信号の階層構造を示す説明図である。 マクロブロック符号化データの構成を示す説明図である。 「共通符号化処理」の際にマクロブロックを構成する３つの色信号成分を示す説明図である。 「独立符号化処理」の際にマクロブロックを構成する３つの色信号成分を示す説明図である。 「共通符号化」・「独立符号化」におけるピクチャ間の時間方向の動き予測参照関係を示す説明図である。 実施の形態１におけるビットストリームの構成例を示す説明図である。 実施の形態１におけるスライスデータのビットストリームの構成例を示す説明図である。 実施の形態１における符号化装置の概略構成図である。 第１のピクチャ符号化部５の内部構成図である。 動き補償予測を行う７種類のブロックサイズを示す説明図である。 第２のピクチャ符号化部７の内部構成図である。 実施の形態１における復号装置の概略構成図である。 第１のピクチャ復号部３０２の内部構成図である。 第２のピクチャ復号部３０４の内部構成図である。 ３つの色成分のピクチャデータの配置例を示す説明図である。

実施の形態１．
本実施の形態１では、特定の色空間に限定されない４：４：４フォーマットの映像信号を効率的に符号化する符号化装置、および該符号化装置により生成される符号化ビットストリームを入力として画像信号を復元する復号装置について述べる。
本実施の形態１における符号化装置は、RGB、XYZ、YCbCrといったような３つの色成分からなる映像信号を入力して圧縮符号化を行ってビットストリームを出力する。図１に示すように、入力映像信号は、時間サンプリングによりフレームないしはフィールドの単位で定義される画面情報(以降、ピクチャと呼ぶ)の時系列データとして表現される。ピクチャを時系列に並べたデータ単位をシーケンスと呼ぶ。シーケンスは、いくつかのピクチャのグループ(GOP)に分割されることがある。GOPは、任意のGOPの先頭から他のGOPに依存せずに復号を実行できることを保証し、ビットストリームに対するランダムアクセスを保証するといった用途に利用する。ピクチャはさらにマクロブロックと呼ばれる正方ブロックに分割され、マクロブロックの単位で予測・変換・量子化処理を適用して映像圧縮を行う。

また、マクロブロックを複数個集めた単位をスライスと呼ぶ。スライスは、それぞれのスライスで独立に符号化・復号を行うことができるデータ単位であり、例えばHDTVあるいはそれ以上の高い解像度を持つ映像信号をリアルタイム処理する際に、１つのピクチャを複数のスライスに分割し各スライスを並列に符号化・復号することで演算時間を短縮したり、ビットストリームを誤り率の高い回線で伝送する場合に、あるスライスが誤りの影響で破壊されて復号画像が乱れても次のスライスから正しい復号処理に復帰するといった用途に利用する。一般に、スライスの境界では、隣接スライスとの信号の依存性を利用した予測などが使えなくなるため、スライスの数が増えるほど符号化性能は低下するが、並列処理の柔軟性や誤りに対する耐性が高まるという特徴がある。

マクロブロックの単位で予測・変換・量子化処理を適用して映像圧縮を行うため、ビットストリームに多重されるマクロブロックの符号化データは、大別して２種類の情報からなる。ひとつは予測モードや動き予測情報、量子化のためのパラメータといった映像信号自体とは異なるサイド情報と呼ばれる類で、これらをまとめてマクロブロックヘッダと呼ぶ。もう一つは映像信号自体の情報であり、本実施の形態では、符号化される映像信号はマクロブロックヘッダの情報に基づいて予測・変換・量子化を行った結果として得られる予測誤差信号の圧縮データであり、変換係数を量子化した形式で表現されることから、以降、係数符号化データと呼ぶ。本実施の形態１におけるマクロブロック符号化データの並びの様子を図２に示す。同図において、マクロブロックヘッダは、マクロブロックタイプ・サブマクロブロックタイプ・イントラ予測モードなどの符号化・予測モード情報、参照画像識別番号・動きベクトルなどの動き予測情報、変換係数に対する量子化パラメータ、８ｘ８ブロック単位での有効変換係数有無判定フラグなど、係数符号化データの前までのすべてのサイド情報を含む。

本実施の形態１では、３つの色成分を共通のマクロブロックヘッダに基づいて符号化するか、色成分別に独立のマクロブロックヘッダに基づいて符号化するかを選択しながら符号化を行う符号化装置と、該符号化装置の出力として得られるビットストリームを入力して、３つの色成分が共通のマクロブロックヘッダに基づいて符号化されているか、色成分ごとに独立したマクロブロックヘッダに基づいて符号化されているかを、ビットストリームから復号して取り出した識別情報に基づいて選択しながら映像の復号処理を行う復号装置について説明する。本実施の形態１では、特に、３つの色成分信号を共通のマクロブロックヘッダで符号化・復号するか、色成分ごとに独立のマクロブロックヘッダで符号化・復号するかをシーケンスの単位で切り替えて符号化・復号する装置構成・動作を具体的な図面をもとに説明する。このように符号化装置・復号装置を構成することにより、入力映像信号が定義される色空間や映像信号の統計的性質に合わせて各色成分を共通の予測パラメータで符号化する場合と、各色成分を独立した予測パラメータで符号化する場合とを選択して符号化することできるので、４：４：４フォーマットの映像信号に対して最適な符号化を行うことができる。

以降において、１フレームないしは１フィールドの３つの色成分信号を共通のマクロブロックヘッダで符号化する処理を「共通符号化処理」、１フレームないしは１フィールドの３つの色成分信号を個別の独立したマクロブロックヘッダで符号化する処理を「独立符号化処理」と記す。同様に、１フレームないしは１フィールドの３つの色成分信号が共通のマクロブロックヘッダで符号化されたビットストリームから画像データを復号する処理を「共通復号処理」、１フレームないしは１フィールドの３つの色成分信号が個別の独立したマクロブロックヘッダで符号化されたビットストリームから画像データを復号する処理を「独立復号処理」と記す。共通符号化処理では、１フレームないしは１フィールドの３つの色成分をまとめて１つのピクチャとして定義し、３つの色成分をまとめた形のマクロブロックに分割する(図３)。同図ならびに以降の説明において、３つの色成分をＣ０、Ｃ１、Ｃ２成分と呼ぶ。一方、独立符号化処理では、１フレームないしは１フィールドの入力映像信号を３つの色成分に分離し、それぞれをピクチャとして定義して、各ピクチャを単一の色成分からなるマクロブロックに分割する(図４)。つまり、共通符号化処理の対象となるマクロブロックは、Ｃ０、Ｃ１、Ｃ２の３つの色成分のサンプル(画素)を含むが、独立符号化処理の対象となるマクロブロックは、Ｃ０またはＣ１またはＣ２成分のうちのいずれか１つの成分のサンプル(画素)のみを含む。

図５には、本実施の形態１の符号化装置・復号装置における、ピクチャ間の時間方向の動き予測参照関係を示す。この例では、太縦棒線で示されるデータ単位をピクチャとし、ピクチャとアクセスユニットとの関係を囲み点線で示している。共通符号化・復号処理の場合、上述のように、１ピクチャは３つの色成分が混在した映像信号を表すデータであって、独立符号化・復号処理の場合、１ピクチャはいずれか１つの色成分からなる映像信号とする。アクセスユニットは、映像信号に対してオーディオ・音声情報などとの同期などを目的とするタイムスタンプを付与する最小データ単位であり、共通符号化・復号処理の場合、１つのアクセスユニットには１ピクチャ分のデータを含む。一方、独立符号化・復号処理の場合は１つのアクセスユニットに３つのピクチャが含まれる。これは独立符号化・復号処理の場合、３つの色成分すべての同一表示時刻のピクチャがそろってはじめて１フレーム分の再生映像信号が得られるためである。なお、各ピクチャの上部に付与した番号は、ピクチャの時間方向の符号化・復号処理順序(AVCのframe_numに相当)を示す。図５では、ピクチャ間の矢印は動き予測の参照方向を示している。すなわち、独立符号化・復号処理の場合、同一アクセスユニットに含まれるピクチャの間での動き予測参照、ならびに異なる色成分間での動き予測参照は行わないものとし、Ｃ０、Ｃ１、Ｃ２の各色成分のピクチャを同一色成分の信号に限定して予測参照しながら符号化・復号する。このような構成とすることにより、本実施の形態１における独立符号化・復号処理の場合は、各色成分の符号化・復号を、他の色成分の符号化・復号処理に全く依存することなく実行でき、並列処理が容易になる。

以下、共通符号化処理による符号化を行うか、独立符号化処理による符号化を行うかを示す識別情報を、共通符号化・独立符号化識別信号１と呼ぶ。
図６に、本実施の形態１の符号化装置で生成され、本実施の形態１の復号装置が入力・復号処理の対象とするビットストリームの構造の一例を示す。同図は、シーケンスからスライスレベルまでのビットストリーム構成を示したもので、まず、シーケンスレベルの上位ヘッダ(AVCの場合、シーケンスパラメータセット)に、共通符号化・独立符号化識別信号１を多重する。AUDは、AVCにおいてアクセスユニットの切れ目を識別するためのユニークなNALユニットであるAccess Unit Delimiter NALユニットを示す。AUDはアクセスユニットの先頭をあらわす情報であり、AVCのAUDのデータ形式によらず、その目的に合致すれば任意のデータ形式に適用可能である。例えば、MPEG-2規格ではピクチャスタートコード、MPEG-4規格ではVOPスタートコードなどが対応する。
共通符号化・独立符号化識別信号１が「共通符号化処理」を示す場合は、アクセスユニットには１ピクチャ分の符号化データが含まれる。このときのピクチャは、前述のように３つの色成分が混在した１フレームないしは１フィールド分の映像信号を表すデータである。実際の映像符号化データは、図１のスライスの単位でビットストリームに多重される。一方、共通符号化・独立符号化識別信号１が「独立符号化処理」を示す場合は、１ピクチャは、１フレームないしは１フィールド中のいずれか１つの色成分の映像信号であり、１つのアクセスユニットには３つのピクチャが含まれる。このとき、スライスは各色成分のピクチャに対して定義される。

図７は、共通符号化処理、独立符号化処理それぞれの場合のスライスデータのビットストリーム構成を示す。独立符号化処理によって符号化されたビットストリームでは、後述する効果を達成するため、復号装置で受信したスライスデータがアクセスユニット内のどの色成分のピクチャに属するスライスかを識別可能なように、スライスデータの先頭のヘッダ領域に色成分識別フラグ２(color_channel_idc)を付与する。色成分識別フラグ２は、その値が同じスライスをグループ化する。つまり、色成分識別フラグ２の値が異なるスライス間では、いかなる符号化・復号の依存性(例えば動き予測参照、CABACのコンテキストモデリング・生起確率学習など)も持たせないものとする。このように規定することで、独立符号化処理の場合のアクセスユニット内の個々のピクチャの独立性が確保される。また、各スライスヘッダに多重される frame_num (スライスが属するピクチャの符号化・復号処理順序)については、１アクセスユニット内の全色成分ピクチャにおいて同一の値とする。

図８に、本実施の形態１の符号化装置の概略構成を示す。同図において、共通符号化処理は第１のピクチャ符号化部５において実行され、独立符号化処理は第２のピクチャ符号化部７ａ〜７ｃ(３つの色成分分を用意)において実行される。
入力映像信号３は、スイッチ(SW)４によって第１のピクチャ符号化部５か、色成分分離部６および第２のピクチャ符号化部７ａ〜７ｃ、のいずれかに供給される。スイッチ４は、共通符号化・独立符号化識別信号１によって駆動され、入力映像信号３を指定されたパスへ供給する。
共通符号化・独立符号化識別信号１は、入力映像信号が４：４：４フォーマットの場合にシーケンスパラメータセットに多重され、シーケンスの単位で共通符号化処理と独立符号化処理を選択する信号とする。共通符号化・独立符号化識別信号１は、ビットストリーム１１がいずれの処理を用いて生成されたかを指定する情報としてビットストリーム１１中のシーケンスパラメータセットに多重する。これによって、ビットストリーム１１を入力とする復号装置では、シーケンスパラメータセット中の共通符号化・独立符号化識別信号１を復号してその値を確認することで、ビットストリーム１１が共通符号化処理を用いて生成された場合に共通復号処理を実行し、独立符号化処理を用いて生成された場合は独立復号処理を実行することができる。

共通符号化・独立符号化識別信号１が「共通符号化処理」を指示する場合は、第１のピクチャ符号化部５において、入力映像信号３を図３に示すように３つの色成分のサンプルをまとめた形式のマクロブロックへ分割して、その単位で符号化処理が行われ、符号化データはビットストリーム８として出力される。第１のピクチャ符号化部５における符号化処理は後述する。
共通符号化・独立符号化識別信号１が「独立符号化処理」を指示する場合は、入力映像信号３は色成分分離部６でＣ０、Ｃ１、Ｃ２の各色成分の信号に分離され、それぞれ対応する第２のピクチャ符号化部７ａ〜７ｃへ供給される。第２のピクチャ符号化部７ａ〜７ｃでは、色成分ごとに分離された信号を図４に示す形式のマクロブロックへ分割して、その単位で符号化処理が行われ、ビットストリーム９ａ〜９ｃとして出力される。第２のピクチャ符号化部７ａ〜７ｃにおける符号化処理は後述する。

多重化部１０では、共通符号化・独立符号化識別信号１をシーケンスパラメータセットに付与してビットストリーム１１に多重するとともに、共通符号化・独立符号化識別信号１の値に応じて、ビットストリーム８ないしは９ａ〜９ｃのいずれかを選択してビットストリーム１１に多重する。

さらに、詳細は後述するが、ピクチャ符号化過程、特に量子化・逆量子化処理の過程で用いる量子化パラメータに対する量子化重み付け係数情報を３つの色成分ごとにそれぞれ用意し(１２ａ〜１２ｃ)、これらを各ピクチャ符号化部へ入力し、色成分ごとの特性に合わせた量子化処理を行うよう構成する。量子化重み付け係数１２ａ〜１２ｃは符号化処理過程で用いた値と同じ値を復号装置側でも使用するため、シーケンスパラメータセットに多重するために多重化部１０にも送られる。
さらに、イントラオンリー符号化指示信号１３をピクチャ符号化部５、７ａ〜７ｃへ入力し、符号化処理を制御するよう構成する。イントラオンリー符号化指示信号１３は、ピクチャ符号化部が動き補償予測による時間方向の予測処理を行うか否かを指示する信号であり、同信号が「イントラオンリー符号化」であることを示す場合は、入力映像信号３のすべてのピクチャに対して、動き補償予測による時間方向の予測を行うことなく、画面内に閉じた符号化を行う。また、このとき同時に、ピクチャ符号化部内部でループ内デブロッキングフィルタを無効にする(詳しくは後述する)。イントラオンリー符号化指示信号１３が「イントラオンリー符号化ではない」ことを示す場合は、入力映像信号３のピクチャに対して、動き補償予測による時間方向の予測も使用して、画面内・画面間の相関を利用したインター符号化を行う。イントラオンリー符号化指示信号１３は多重化部１０において、シーケンスパラメータセットに付与してビットストリーム１１に多重する。これによって、ビットストリーム１１を入力とする復号装置では、シーケンスパラメータセット中のイントラオンリー符号化指示信号１３を復号してその値を確認することで、ビットストリーム１１がイントラオンリー符号化されたかどうかを認識できるので、イントラオンリー符号化されている場合はループ内デブロッキングフィルタ処理を不要とすることができ、復号装置の演算量を削減することができる。

ＡＶＣのイントラ符号化処理では、インター符号化処理に比べ符号量が２〜１０倍程度必要となるため、「イントラオンリー符号化」で符号化されているデータは「イントラオンリー符号化ではない」ものに比べデータ量がかなり大きくなる。
従来の復号装置では、復号処理を可能とするデータ量に上限を設け、装置内部の動作スピードや必要とするメモリ量などをできる限り小さくすることにより、動作の安定性を図っている。そのため、「イントラオンリー符号化」の場合には、設けられている上限値を超えたデータが入力される可能性があり、安定した動作が可能かどうか判別できない、という問題が生じる。
そこでシーケンスパラメータセットの中に、符号化データが所定量よりも少ないか、あるいは所定量を超えているかいずれであるかを示すためのフラグを設ける。フラグにより判定処理を行い、所定量よりも符号化データが少ない場合には、従来の復号装置でも処理が可能であるとして復号処理を行い、所定量よりも符号化データが超えている場合には、従来の復号装置では安定した処理が困難な可能性があるものとして、例えば警告を発する、といった処理をとることができる。

さらに、入力映像信号３の画像サイズ情報１４をピクチャ符号化部５、７ａ〜７ｃへ入力し、符号化処理を制御するよう構成する。画像サイズ情報１４は入力映像信号３のピクチャ内マクロブロック数を示す情報であり、この値が所定の閾値よりも大きい場合にスライス中に含まれるマクロブロックの数の上限値を定め、スライスがそれよりも多くのマクロブロックを含まないように制御する。画像サイズ情報１４はシーケンスパラメータセットに付与してビットストリーム１１に多重する。これにより、入力映像信号３の画面サイズが大きい(すなわち、空間解像度が高い)場合に、符号化装置・復号装置ともに並列処理可能な単位を特定でき、円滑なタスク割り当てを行うことができる。

以下、第１および第２のピクチャ符号化部の動作を詳しく説明する。
第１のピクチャ符号化部の動作概要
第１のピクチャ符号化部５の内部構成を図９に示す。同図において、入力映像信号３は、４：４：４フォーマットで、かつ図３の形式の３つの色成分をまとめたマクロブロックの単位で符号化されるものとする。内部処理は、イントラオンリー符号化指示信号１３の値によって異なる。

（１）イントラオンリー符号化指示信号１３が「イントラオンリー符号化でない」ことを示す場合
予測部１５において、メモリ１６に格納される動き補償予測参照画像データの中から参照画像を選択し、該マクロブロックの単位で動き補償予測処理を行う。メモリ１６には、直前ないしは過去・未来の複数時刻に渡って、３つの色成分で構成される複数枚の参照画像データが格納され、予測部１５では、これらの中からマクロブロックの単位で最適な参照画像を選択して動き予測を行う。メモリ１６内の参照画像データの配置は、色成分ごとに面順次で分けて格納してもよいし、各色成分のサンプルを点順次で格納してもよい。動き補償予測を行うブロックサイズは７種類用意されており、まずマクロブロック単位に、図１０(ａ)から(ｄ)に示すように、１６ｘ１６、１６ｘ８、８ｘ１６、８ｘ８のいずれかのサイズを選択する。さらに８ｘ８が選択された場合には、それぞれの８ｘ８ブロックごとに、図１０(ｅ)から(ｈ)に示すように、８ｘ８、８ｘ４、４ｘ８、４ｘ４のいずれかのサイズを選択する。第１のピクチャ符号化部５で実行される共通符号化処理においては、３つの色成分に対して共通の動き補償予測ブロックサイズが選択・適用される。

予測部１５では、図１０のすべてまたは一部のブロックサイズ・サブブロックサイズ、および所定の探索範囲の動きベクトルおよび利用可能な１枚以上の参照画像に対してマクロブロックごとに動き補償予測処理を実行して、動きベクトルおよび予測に用いる参照画像インデックスを含む予測オーバヘッド情報１７と予測画像３３を出力する。減算器１８は予測画像３３と入力映像信号３により、動き補償予測単位となるブロックごとの予測差分信号１９を得る。符号化モード判定部２０では、予測部１５で実行した予測処理の中から選定処理を行い、選定された予測差分信号１９とマクロブロックタイプ／サブマクロブロックタイプ２１を出力する。マクロブロックタイプ、サブマクロブロックタイプ、参照画像インデックス、動きベクトルなどのマクロブロックヘッダ情報はすべて、３つの色成分に対して共通のヘッダ情報として決定され、３つの色成分の符号化に共通に使用され、ビットストリーム８に多重化される。予測効率の最適性の評価にあたっては、演算量を抑制する目的で、ある所定の色成分(たとえばＲＧＢのうちのＧ成分、ＹCbCrのうちのＹ成分など)に対する予測誤差量だけを評価してもよいし、演算量は大きくなるが最適な予測性能を得るべくすべての色成分についての予測誤差量を総合評価するようにしてもよい。

同様に、予測部１５ではイントラ予測も実行する。イントラ予測実行時は、信号１７には、イントラ予測モード情報が出力される。
以降、特にイントラ予測、動き補償予測を区別しない場合には、信号１７は予測オーバヘッド情報と呼ぶ。なお、イントラ予測を行う際の参照画像データとしては、デブロッキングフィルタ２２を施す前の局部復号画像２３を用いる(図示していないが、局部復号画像２３はイントラ予測の参照画像データとして用いるため、予測部１５などへ一時的に格納される)。第１のピクチャ符号化部５で実行される共通符号化処理においては、３つの色成分に対して共通のイントラ予測モードが選択・適用される。イントラ予測についても所定の色成分だけの予測誤差量を評価してもよいし、すべての色成分についての予測誤差量を総合評価するようにしてもよい。最後に、マクロブロックタイプをイントラ予測にするか、インター予測にするかを、符号化モード判定部２０において予測効率または符号化効率で評価して選定する。

変換部２４は予測差分信号１９を変換し変換係数として量子化部２５へ出力する。この際、変換を行う単位となるブロックのサイズを４ｘ４か８ｘ８など複数の候補の中から選択するようにしてもよい。変換ブロックサイズを選択可能とする場合は、符号化時に選択されたブロックサイズを、変換ブロックサイズ指定フラグ２６の値に反映し、同フラグをビットストリーム８に多重化する。量子化部２５は入力される変換係数を、量子化パラメータ２７と量子化重み付け係数１２ａ〜１２ｃに基づいて量子化を行い、結果を量子化済み変換係数２８として可変長符号化部２９および逆量子化部３０へ出力する。
量子化部２５の処理について記す。変換部２４で空間領域から周波数領域の信号に変換された変換係数は、人間の視覚特性上ひずみが目に付きやすい低周波領域と、ひずみを検知しにくい高周波領域に分離されている。そこで、周波数領域ごとに重みをつけ、低周波領域は細かい量子化を、高周波領域は粗い量子化を行うことにより、人間の視覚特性に合わせた量子化処理を実現することが可能である。量子化重み付け係数１２ａ〜１２ｃは、この周波数領域ごとに与える重み付けのパラメータであり、４ｘ４ブロックサイズの変換用に１６個の、８ｘ８ブロックサイズの変換用に６４個のパラメータが使用される。前述のように量子化重み付け係数１２ａ〜１２ｃはシーケンスパラメータセットに多重されるが、「共通符号化処理」を行う場合には３つの色成分で同じ量子化重み付け係数を使用するため、１２ａ、１２ｂ、１２ｃと３つ多重する必要は無く１つだけ多重すれば十分である。量子化部２５は３つの色成分の変換係数に対してそれぞれの量子化重み付け係数１２ａ〜１２ｃを用いて重みをつけた量子化処理を行い、量子化済み変換係数２８を得る。

これら３つの色成分分の量子化済み変換係数２８は、可変長符号化部２９にてハフマン符号化や算術符号化などの手段によりエントロピー符号化される。
また、量子化済み変換係数２８は逆量子化部３０、逆変換部３１を経て局部復号予測差分信号３２へ復元され、選定されたマクロブロックタイプ／サブマクロブロックタイプ２１と予測オーバヘッド情報１７に基づいて生成される予測画像３３と加算器３４で加算することで局部復号画像２３が生成される。局部復号画像２３は、デブロッキングフィルタ２２でブロックひずみ除去処理を実施した後、以降の動き補償予測処理に用いるためメモリ１６へ格納される。
可変長符号化部２９に入力される量子化済み変換係数２８、マクロブロックタイプ／サブマクロブロックタイプ２１、予測オーバヘッド情報１７、量子化パラメータ２７は所定のマクロブロック符号化データのシンタックスに従って配列・整形され、図３の形式のマクロブロックが１つないしは複数個まとまったスライスデータの単位でパケット化(AVCでは、ＮＡＬユニット化とも呼ぶ)されてビットストリーム８として出力される。

（２）イントラオンリー符号化指示信号１３が「イントラオンリー符号化である」ことを示す場合
予測部１５は（１）で述べたイントラ予測処理のみを実行する。イントラ予測実行時は、予測オーバヘッド情報１７には、イントラ予測モード情報が出力される。なお、イントラ予測を行う際の参照画像データとしては、デブロッキングフィルタ２２を施す前の局部復号画像２３を用いる(図示していないが、局部復号画像２３はイントラ予測の参照画像データとして用いるため、予測部１５などへ一時的に格納される)。第１のピクチャ符号化部５で実行される共通符号化処理においては、３つの色成分に対して共通のイントラ予測モードが選択・適用される。イントラ予測モードの選定は、符号化モード判定部２０において予測効率または符号化効率で評価して選定する。

符号化モード判定部２０は、選定された予測差分信号１９を変換部２４へ出力する。変換部２４は入力される予測差分信号１９を変換し変換係数として量子化部２５へ出力する。この際、変換を行う単位となるブロックのサイズを４ｘ４か８ｘ８など複数の候補の中から選択するようにしてもよい。AVCでは、イントラ予測モードの被予測ブロックを変換ブロックサイズと合わせるように構成されている。変換ブロックサイズを選択可能とする場合は、符号化時に選択されたブロックサイズを、変換ブロックサイズ指定フラグ２６の値に反映し、同フラグをビットストリーム８に多重化する。量子化部２５は入力される変換係数を、量子化パラメータ２７と量子化重み付け係数１２ａ〜１２ｃに基づいて量子化を行い、結果を量子化済み変換係数２８として可変長符号化部２９へ出力する。処理の例は上述のとおりである。
３つの色成分分の量子化済み変換係数２８は、可変長符号化部２９にてハフマン符号化や算術符号化などの手段によりエントロピー符号化される。

また、量子化済み変換係数２８は逆量子化部３０、逆変換部３１を経て局部復号予測差分信号３２へ復元され、予測オーバヘッド情報１７に基づいて生成される予測画像３３と加算器３４で加算することで局部復号画像２３が生成される。イントラオンリー符号化指示情報１３が「イントラオンリー符号化である」ことを示す場合は、動き補償予測を実行しないため、デブロッキングフィルタ２２は処理を実行せず、参照画像としてのメモリ１６への書き出しも行わない。このように構成することで、メモリアクセスやデブロッキングフィルタの処理に要する演算が削減できる。

可変長符号化部２９に入力される量子化済み変換係数２８、マクロブロックタイプ／サブマクロブロックタイプ２１(イントラモードに固定)、予測オーバヘッド情報１７、量子化パラメータ２７は所定のマクロブロック符号化データのシンタックスに従って配列・整形され、図３の形式のマクロブロックが１つないしは複数個まとまったスライスデータの単位でパケット化(AVCでは、ＮＡＬユニット化とも呼ぶ)されてビットストリーム８として出力される。

なお、イントラオンリー符号化指示情報１３の値によらず、画像サイズ情報１４によってスライスの中に含まれるマクロブロックの個数に制約を与える。画像サイズ情報１４は可変長符号化部２９に入力され、可変長符号化部２９は画像サイズ情報１４に基づいて、スライス内に含まれるマクロブロックの個数の上限値を定める。可変長符号化部２９は、符号化されたマクロブロックの個数をカウントしておき、スライス内に含まれるマクロブロックの個数が上記上限値に達したとき、そこでスライスデータのパケットを閉じ、以降のマクロブロックは新しいスライスデータとしてパケット化する。

また、本実施の形態１における第１のピクチャ符号化部５では、共通符号化・独立符号化識別信号１によってシーケンス中のすべてのスライスデータがＣ０，Ｃ１，Ｃ２混在スライス（すなわち、３つの色成分の情報が混在するスライス）であることが識別可能であるため、スライスデータに対して色成分識別フラグ２は付与しない。

第２のピクチャ符号化部の動作概要
第２のピクチャ符号化部７ａの内部構成を図１１に示す。同図において、入力映像信号３ａは、図４の形式のＣ０成分のサンプルからなるマクロブロックの単位で入力されるものとする。第２のピクチャ符号化部７ｂ、７ｃについては、入力映像信号３ａが３ｂ(Ｃ１成分),３ｃ(Ｃ２成分)を扱うようになるだけで内部構成はまったく同様であるため、以下では第２のピクチャ符号化部７ａを代表例として第２のピクチャ符号化部の動作説明を行う。

（３）イントラオンリー符号化指示信号１３が「イントラオンリー符号化でない」ことを示す場合
予測部１１５において、メモリ１１６に格納される動き補償予測参照画像データの中から参照画像を選択し、マクロブロックの単位で動き補償予測処理を行う。メモリ１１６には、直前ないしは過去・未来の複数時刻に渡って、単一色成分で構成される複数枚の参照画像データを格納でき、予測部１１５では、これらの中からマクロブロックの単位で最適な参照画像を選択して動き予測を行う。なお、第２のピクチャ符号化部７ａ〜７ｃは、それぞれ対象とする色成分の分の参照画像データのみを使用し、他の色成分の参照画像データにはアクセスしない構成をとることも可能なので、メモリ１１６としては３つの色成分それぞれにメモリを持つ構成ではなく、一つにまとめた構成としてもよい。さらに、第２のピクチャ符号化部７ａ〜７ｃによって符号化処理を行うシーケンス中では、第１のピクチャ符号化部５は動作しないため、メモリ１１６はメモリ１６と共用するように構成してもよい。動き補償予測を行うブロックサイズには７種類用意されており、まずマクロブロック単位に、図１０(ａ)から(ｄ)に示すように、１６ｘ１６、１６ｘ８、８ｘ１６、８ｘ８のいずれかのサイズを選択することができる。さらに８ｘ８が選択された場合には、それぞれの８ｘ８ブロックごとに、図１０(ｅ)から(ｈ)に示すように、８ｘ８、８ｘ４、４ｘ８、４ｘ４のいずれかのサイズを選択することができる。第２のピクチャ符号化部７で実行される独立符号化処理においては、Ｃ０〜Ｃ２各成分に対して個別に動き補償予測ブロックサイズが選択・適用される。

予測部１１５では、図１０のすべてまたは一部のブロックサイズ・サブブロックサイズ、および所定の探索範囲の動きベクトルおよび利用可能な１枚以上の参照画像に対してマクロブロックごとに動き補償予測処理を実行して、動きベクトルと予測に用いる参照画像のインデックスを含む予測オーバヘッド情報１１７と予測画像１３３を出力する。減算器１１８は予測画像１３３と入力映像信号３ａにより、動き補償予測単位となるブロックごとの予測差分信号１１９を得る。符号化モード判定部１２０では、予測部１１５で実行した予測処理の中から選定処理を行い、選定された予測差分信号１１９とマクロブロックタイプ／サブマクロブロックタイプ１２１を出力する。マクロブロックタイプ、サブマクロブロックタイプ、参照画像インデックス、動きベクトルなどのマクロブロックヘッダ情報はすべて、入力映像信号３ａに対するヘッダ情報として決定され、符号化に使用され、ビットストリーム９ａに多重化される。予測効率の最適性の評価にあたっては、符号化処理対象となる入力映像信号３ａに対する予測誤差量を評価する。
同様に、予測部１１５ではイントラ予測も実行する。イントラ予測実行時は、予測オーバヘッド情報１１７には、イントラ予測モード情報が出力される。

入力映像信号３の各色成分におけるイントラ予測モードの選択・適用は、各色成分で個別に行われる。なお、イントラ予測を行う際の参照画像データとしては、デブロッキングフィルタ１２２を施す前の局部復号画像１２３を用いる(図示していないが、局部復号画像１２３はイントラ予測の参照画像データとして用いるため、予測部１１５などへ一時的に格納される)。イントラ予測についても符号化処理対象となる入力映像信号３ａに対する予測誤差量を評価する。最後に、マクロブロックタイプをイントラ予測にするか、インター予測にするかを符号化モード判定部１２０において予測効率または符号化効率で評価して選定する。

変換部１２４は、予測差分信号１１９を変換し変換係数として量子化部１２５へ出力する。この際、変換を行う単位となるブロックのサイズを４ｘ４か８ｘ８のいずれかから選択するようにしてもよい。AVCでは、イントラ予測モードの被予測ブロックを変換ブロックサイズと合わせるように構成されている。選択可能とする場合は、符号化時に選択されたブロックサイズを、変換ブロックサイズ指定フラグ１２６の値に反映し、同フラグをビットストリーム９ａに多重化する。量子化部１２５は入力される変換係数を、量子化パラメータ１２７と量子化重み付け係数１２ａまたは１２ｂまたは１２ｃに基づいて量子化を行い、結果を量子化済み変換係数１２８として可変長符号化部１２９へ出力する。

次に量子化部１２５の処理について記す。変換部１２４で空間領域から周波数領域の信号に変換された変換係数は、人間の視覚特性上ひずみが目に付きやすい低周波領域と、ひずみを検知しにくい高周波領域に分離されている。そこで、周波数領域ごとに重みをつけ、低周波領域は細かい量子化を、高周波領域は粗い量子化を行うことにより、人間の視覚特性に合わせた量子化処理を実現することが可能である。量子化重み付け係数１２ａ、１２ｂ、１２ｃは、いずれもこの周波数領域ごとに与える重み付けのパラメータであり、４ｘ４ブロックサイズの変換用に１６個の、８ｘ８ブロックサイズの変換用に６４個のパラメータが使用される。前述のように量子化重み付け係数１２ａ、１２ｂ、１２ｃはシーケンスパラメータセットに多重されるが、「独立符号化処理」を行う場合には３つの色成分でそれぞれ異なる量子化重み付け係数を使用することが可能であるため、１２ａ、１２ｂ、１２ｃと３つともすべて多重してもよいし、同じ値を使用する場合にはそのことを示す情報とともに１つだけを多重してもよい。量子化部１２５は３つの色成分の変換係数に対してそれぞれの量子化重み付け係数１２ａまたは１２ｂまたは１２ｃを用いて重みをつけた量子化処理を行い、量子化済み変換係数１２８を得る。
量子化済み変換係数１２８は、可変長符号化部１２９にてハフマン符号化や算術符号化などの手段によりエントロピー符号化される。

また、量子化済み変換係数１２８は逆量子化部１３０、逆変換部１３１を経て局部復号予測差分信号１３２へ復元され、選定されたマクロブロックタイプ／サブマクロブロックタイプ１２１と予測オーバヘッド情報１１７に基づいて生成される予測画像１３３と加算器１３４で加算することで局部復号画像１２３が生成される。局部復号画像１２３は、デブロッキングフィルタ１２２でブロックひずみ除去処理を実施した後、以降の動き補償予測処理に用いるためメモリ１１６へ格納される。
可変長符号化部１２９に入力される量子化済み変換係数１２８、マクロブロックタイプ／サブマクロブロックタイプ１２１、予測オーバヘッド情報１１７、量子化パラメータ１２７は所定のマクロブロック符号化データのシンタックスに従って配列・整形され、図４の形式のマクロブロックが１つないしは複数個まとまったスライスデータの単位でパケット化(AVCでは、ＮＡＬユニット化とも呼ぶ)されてビットストリーム９ａとして出力される。

（４）イントラオンリー符号化指示信号１３が「イントラオンリー符号化である」ことを示す場合
予測部１１５は（３）で述べたイントラ予測処理のみを実行する。イントラ予測実行時は、予測オーバヘッド情報１１７には、イントラ予測モード情報が出力される。なお、イントラ予測を行う際の参照画像データとしては、デブロッキングフィルタ１２２を施す前の局部復号画像１２３を用いる(図示していないが、局部復号画像１２３はイントラ予測の参照画像データとして用いるため、予測部１１５などへ一時的に格納される)。AVCにおけるイントラ予測は上述のとおりであり、入力映像信号３ａに対して実行されるので、入力映像信号３の各色成分におけるイントラ予測モードの選択・適用は各色成分で個別に行われる。イントラ予測モードの選定は、符号化モード判定部１２０において予測効率または符号化効率で評価して選定する。

符号化モード判定部１２０は、選定された予測差分信号１１９を変換部１２４へ出力する。変換部１２４は入力される予測差分信号１１９を変換し変換係数として量子化部１２５へ出力する。この際、変換を行う単位となるブロックのサイズを４ｘ４か８ｘ８など複数の候補の中から選択するようにしてもよい。AVCでは、イントラ予測モードの被予測ブロックを変換ブロックサイズと合わせるように構成されている。変換ブロックサイズを選択可能とする場合は、符号化時に選択されたブロックサイズを、変換ブロックサイズ指定フラグ１２６の値に反映し、同フラグをビットストリーム９ａに多重化する。量子化部１２５は入力される変換係数を、量子化パラメータ１２７と量子化重み付け係数１２ａに基づいて量子化を行い、結果を量子化済み変換係数１２８として可変長符号化部１２９へ出力する。処理の例は上述のとおりである。

また、量子化済み変換係数１２８は、可変長符号化部１２９にてハフマン符号化や算術符号化などの手段によりエントロピー符号化される。
量子化済み変換係数１２８は逆量子化部１３０、逆変換部１３１を経て局部復号予測差分信号１３２へ復元され、予測オーバヘッド情報１１７に基づいて生成される予測画像１３３と加算器１３４で加算することで局部復号画像１２３が生成される。イントラオンリー符号化指示情報１１３が「イントラオンリー符号化である」ことを示す場合は、動き補償予測を実行しないため、デブロッキングフィルタ１２２は処理を実行せず、参照画像としてのメモリ１１６への書き出しも行わない。このように構成することで、メモリアクセスやデブロッキングフィルタの処理に要する演算が削減できる。
可変長符号化部１２９に入力される量子化済み変換係数１２８、マクロブロックタイプ／サブマクロブロックタイプ１２１(イントラモードに固定)、予測オーバヘッド情報１１７、量子化パラメータ１２７は所定のマクロブロック符号化データのシンタックスに従って配列・整形され、図４の形式のマクロブロックが１つないしは複数個まとまったスライスデータの単位でパケット化(AVCでは、ＮＡＬユニット化とも呼ぶ)されてビットストリーム９ａとして出力される。

本実施の形態１における第２のピクチャ符号化部７ａ〜７ｃでは、共通符号化・独立符号化識別信号１により、シーケンス中のすべてのスライスデータが単一色成分スライス（すなわち、Ｃ０スライスまたはＣ１スライスまたはＣ２スライス）で符号化されているため、スライスデータ先頭に常に色成分識別フラグ２を多重化し、復号装置側でどのスライスがアクセスユニット内のどのピクチャデータに該当するかを識別できるようにする。例えば、第２のピクチャ符号化部７ａでは色成分識別フラグ２の値を０、第２のピクチャ符号化部７ｂでは色成分識別フラグ２の値を１、第２のピクチャ符号化部７ｃでは色成分識別フラグ２の値を２、といったように設定してスライスデータの先頭に付与する。これによって、ビットストリーム９ａ〜９ｃをシリアルにビットストリーム１１へ多重しても、その中のどのスライスがＣ０、Ｃ１、Ｃ２成分のいずれの符号化データかを容易に識別可能となる。つまり、第２のピクチャ符号化部７ａ〜７ｃは、それぞれのビットストリーム出力を１画面分ためこむことなく、１スライス分のデータがたまった時点でいつでも送出することができる。

なお、イントラオンリー符号化指示情報１３の値によらず、画像サイズ情報１４によってスライスの中に含まれるマクロブロックの個数に制約を与える。画像サイズ情報１４は可変長符号化部１２９に入力され、可変長符号化部１２９は画像サイズ情報１４に基づいて、スライス内に含まれるマクロブロックの個数の上限値を定める。可変長符号化部１２９は、符号化されたマクロブロックの個数をカウントしておき、スライス内に含まれるマクロブロックの個数が上記上限値に達したとき、そこでスライスデータのパケットを閉じ、以降のマクロブロックは新しいスライスデータとしてパケット化する。なお、画像サイズ情報１４は４：４：４フォーマットの場合はＣ０、Ｃ１、Ｃ２成分で同値であるので、シーケンスパラメータセット中に１つだけ多重しておけばよい。

また、第１のピクチャ符号化部５と第２のピクチャ符号化部７ａ〜７ｃとは、マクロブロックヘッダ情報を３成分共通の情報として扱うか、単一の色成分の情報として扱うかの違いと、スライスデータのビットストリーム構成が異なるだけである。したがって、図９の変換部２４、逆変換部３１、量子化部２５、逆量子化部３０、デブロッキングフィルタ２２は、図１１の変換部１２４、逆変換部１３１、量子化部１２５、逆量子化部１３０、デブロッキングフィルタ１２２をそれぞれ３成分分繰り返す演算で実現できるので、第１のピクチャ符号化部５と第２のピクチャ符号化部７ａ〜７ｃの内部構成の一部を共通の機能ブロックで実現することもできる。したがって、図８のような完全に独立な符号化処理部としてだけでなく、図９、図１１の構成要素を適宜組み合わせて、例えば同じ回路を複数回繰り返して動作させる、というように多様な符号化装置の実装を実現することができる。また、上述のように、第１のピクチャ符号化部５におけるメモリ１６の配置を面順次で持つことにすれば、参照画像格納メモリを第１のピクチャ符号化部５と第２のピクチャ符号化部と７ａ〜７ｃで共有できる。

図１２に、本実施の形態１の復号装置の概略構成を示す。同図において、共通復号処理は第１のピクチャ復号部３０２において実行され、独立復号処理は色成分判定部３０３と第２のピクチャ復号部３０４(３つの色成分分を用意)において実行される。
ビットストリーム１１は、上位ヘッダ解析部３００でＮＡＬユニット単位に分割され、シーケンスパラメータセットやピクチャパラメータセットなどの上位ヘッダ情報は復号して第１のピクチャ復号部３０２、色成分判定部３０３、第２のピクチャ復号部３０４が参照可能な上位ヘッダメモリ３０５へ格納する。シーケンス単位に多重される共通符号化・独立符号化識別信号１、量子化重み付け係数１２ａ〜１２ｃ、イントラオンリー符号化指示情報１３、画像サイズ情報１４は、シーケンスパラメータセットの一部として上位ヘッダメモリ３０５に保持される。
復号された共通符号化・独立符号化識別信号１はスイッチ（ＳＷ）３０１に供給され、スイッチ３０１は共通符号化・独立符号化識別信号１が「共通符号処理されている」ことを示すならば、当該シーケンス中のスライスＮＡＬユニットをすべてビットストリーム８として第１のピクチャ復号部３０２へ供給し、共通符号化・独立符号化識別信号１が「独立符号化処理されている」ことを示すならば、当該シーケンス中のスライスＮＡＬユニットをすべて色成分判定部３０３に供給する。第１および第２のピクチャ復号部の詳細な動作は後述する。
色成分判定部３０３は、入力されるスライスNALユニットの中から図７で示した色成分識別フラグ２の値を解析し、スライスＮＡＬユニットが現在のアクセスユニット内でいずれの色成分ピクチャに相当するかを識別して、第２のピクチャ復号部３０４ａ〜３０４ｃのうち該当する復号部へビットストリーム９ａ〜９ｃとして分配供給する。このような復号装置の構成によって、アクセスユニット内で色成分ごとにスライスがインタリーブされて符号化されたビットストリームを受信しても、どのスライスがどの色成分ピクチャに属するかを容易に判別し正しく復号できる効果がある。

第１のピクチャ復号部の動作概要
第１のピクチャ復号部３０２の内部構成を図１３に示す。第１のピクチャ復号部３０２は、例えば図８の符号化装置から出力されるビットストリーム１１を、Ｃ０、Ｃ１、Ｃ２の３つの色成分混在スライスで構成されるビットストリーム８の形式で受信して、図３に示す３つの色成分のサンプルからなるマクロブロックを単位として復号処理を行い、出力映像フレームを復元する。
可変長復号部３１０はビットストリーム８を入力とし、所定の規則(シンタックス)に従ってビットストリーム８を解読して、３成分分の量子化済み変換係数２８、および３成分で共通して用いられるマクロブロックヘッダ情報(マクロブロックタイプ／サブマクロブロックタイプ２１、予測オーバヘッド情報１７、変換ブロックサイズ指定フラグ２６、量子化パラメータ２７)をビットストリーム８から抽出する。

さらに、量子化済み変換係数２８は量子化パラメータ２７とともに、第１のピクチャ符号化部５と同じ処理を行う逆量子化部３０へ入力され、逆量子化処理が行われる。その際、各色成分で用いる量子化重み付け係数１２ａ〜１２ｃを上位ヘッダメモリ３０５から参照して使用する。なお３つの量子化重み付け係数１２ａ〜１２ｃにおいて同じ値が使用される場合には、復号器内部では必ずしも３つ分のデータとして持つ必要は無く、１つのデータを共通に使用することも可能である。ついでその出力が第１のピクチャ符号化部５と同じ処理を行う逆変換部３１へ入力され、局部復号予測差分信号３２へ復元される(変換ブロックサイズ指定フラグ２６がビットストリーム８中に存在すれば、それを逆量子化、逆変換処理過程で参照する)。一方、予測部３１１は、第１のピクチャ符号化部５中の予測部１５のうち、予測オーバヘッド情報１７を参照して予測画像３３を生成する処理だけが含まれ、予測部３１１に対してマクロブロックタイプ／サブマクロブロックタイプ２１、予測オーバヘッド情報１７が入力され、３成分分の予測画像３３を得る。

マクロブロックタイプがイントラ予測であることを示す場合は、予測オーバヘッド情報１７からイントラ予測モード情報に従って３成分分の予測画像３３を得、マクロブロックタイプがインター予測であることを示す場合は、予測オーバヘッド情報１７から動きベクトル、参照画像インデックスに従って３成分分の予測画像３３を得る。局部復号予測差分信号３２と予測画像３３は加算器３４により加算され、３成分分の暫定復号画像３２３を得る。暫定復号画像３２３は以降のマクロブロックの動き補償予測に用いられるため、第１のピクチャ符号化部５と同じ処理を行うデブロッキングフィルタ２２で３成分分の暫定復号画像サンプルに対してブロックひずみ除去処理を実施した後、復号画像３１３として出力されるとともに、メモリ３１２へ格納される。メモリ３１２には、複数時刻に渡る、３つの色成分で構成される複数枚の参照画像データが格納され、予測部３１１では、これらの中からマクロブロックの単位でビットストリーム８から抽出した参照画像インデックスで示される参照画像を選択して予測画像生成を行う。メモリ３１２内の参照画像データの配置は、色成分ごとに面順次で分けて格納してもよいし、各色成分のサンプルを点順次で格納してもよい。復号画像３１３は３つの色成分を含んでいるカラー映像フレームである。

また、第１のピクチャ復号部３０２は、上位ヘッダメモリ３０５に格納されるイントラオンリー符号化指示情報１３が「イントラオンリー符号化である」ことを示す場合は、動き補償予測処理を必要としないので参照画像が不要となるため、デブロッキングフィルタ２２における処理をスキップし、参照画像としてのメモリ３１２への書き出しを行わない構成をとることも可能である。このように構成することで、メモリアクセスやデブロッキングフィルタの処理に要する演算を削減することが可能となる。ただし、たとえ「イントラオンリー符号化」であっても、復号画像を表示するための後処理としてデブロッキングフィルタもしくは類似の後処理フィルタを行うことは可能である。

第２のピクチャ復号部の動作概要
第２のピクチャ復号部３０４の内部構成を図１４に示す。第２のピクチャ復号部３０４は、例えば図８の符号化装置から出力されるビットストリーム１１が、色成分判定部３０３で振り分けられたＣ０ないしは、Ｃ１ないしは、Ｃ２スライスNALユニットで構成されるビットストリーム９ａ〜９ｃのいずれかを受信して、図４に示す単一色成分のサンプルからなるマクロブロックを単位として復号処理を行い、出力映像フレームを復元する。

可変長復号部４１０はビットストリーム９を入力とし、所定の規則(シンタックス)に従ってビットストリーム９を解読して、単一色成分の量子化済み変換係数１２８、および単一色成分に適用するマクロブロックヘッダ情報(マクロブロックタイプ／サブマクロブロックタイプ１２１、予測オーバヘッド情報１１７、変換ブロックサイズ指定フラグ１２６、量子化パラメータ１２７)を抽出する。量子化済み変換係数１２８は量子化パラメータ１２７とともに第２のピクチャ符号化部７と同じ処理を行う逆量子化部１３０へ入力され、逆量子化処理が行われる。その際に用いる量子化重み付け係数は、可変長復号部４１０で復号した色成分識別フラグ２に基づいて、上位ヘッダメモリ３０５中の量子化重み付け係数１２ａ〜１２ｃの中から当該色成分に対応するもの一つを選択し参照する。ついでその出力が第２のピクチャ符号化部７と同じ処理を行う逆変換部１３１へ入力され、局部復号予測差分信号１３２へ復元される(変換ブロックサイズ指定フラグ１２６がビットストリーム９中に存在すれば、それを逆量子化、逆直交変換処理過程で参照する)。

一方、予測部４１１は、第２のピクチャ符号化部７中の予測部１１５のうち、予測オーバヘッド情報１１７を参照して予測画像１３３を生成する処理だけが含まれ、予測部４１１に対してマクロブロックタイプ／サブマクロブロックタイプ１２１、予測オーバヘッド情報１１７が入力され、単一色成分の予測画像１３３を得る。マクロブロックタイプがイントラ予測であることを示す場合は、予測オーバヘッド情報１１７からイントラ予測モード情報に従って単一色成分の予測画像１３３を得、マクロブロックタイプがインター予測であることを示す場合は、予測オーバヘッド情報１１７から動きベクトル、参照画像インデックスに従って単一色成分の予測画像１３３を得る。局部復号予測差分信号１３２と予測画像１３３は加算器１３４により加算され、単一色成分マクロブロックの暫定復号画像４２３を得る。暫定復号画像４２３は以降のマクロブロックの動き補償予測に用いられるため、第２のピクチャ符号化部７と同じ処理を行うデブロッキングフィルタ１２２で単一色成分の暫定復号画像サンプルに対してブロックひずみ除去処理を実施した後、復号画像４１３として出力されるとともに、メモリ４１２へ格納される。復号画像４１３は単一色成分のサンプルのみを含み、図５に示すように、他の色成分用の第２のピクチャ復号部３０４のそれぞれの出力を束ねることで、カラー映像フレームとして構成される。

また、第２のピクチャ復号部３０４は、上位ヘッダメモリ３０５に格納されるイントラオンリー符号化指示情報１１３が「イントラオンリー符号化である」ことを示す場合は、動き補償予測処理を必要としないので参照画像が不要となるため、デブロッキングフィルタ１２２における処理をスキップし、参照画像としてのメモリ４１２への書き出しを行わない構成をとることも可能である。このように構成することで、メモリアクセスやデブロッキングフィルタの処理に要する演算を削減することが可能となる。ただし、たとえ「イントラオンリー符号化」であっても、復号画像を表示するための後処理としてデブロッキングフィルタもしくは類似の後処理フィルタを行うことは可能である。

以上のことから明らかなように、第１のピクチャ復号部３０２と第２のピクチャ復号部３０４とは、マクロブロックヘッダ情報を３成分共通の情報として扱うか、単一の色成分の情報として扱うかの違いと、スライスデータのビットストリーム構成が異なるだけであるので、図１３や図１４における予測部、逆変換部、逆量子化部などの基本的な復号処理ブロックは第１のピクチャ復号部３０２と第２のピクチャ復号部３０４とで共通の機能ブロックで実現できる。したがって、図１２のような完全に独立な符号化処理部としてだけでなく、図１３や図１４の基本構成要素を適宜組み合わせて多様な復号装置の実装を実現することができる。また、第１のピクチャ復号部３０２におけるメモリ３１２の配置を面順次で持つことにすれば、メモリ３１２、メモリ４１２の構成を第１のピクチャ復号部３０２と第２のピクチャ復号部３０４とで共通にすることができる。

上記実施例の第１のピクチャ復号部および第２のピクチャ復号部は、符号化装置が出力するビットストリーム１１を入力として説明したが、符号化装置が出力するビットストリームに限定されるものではなく、ハードディスクやＤＶＤのような蓄積メディアから読み出されたビットストリームを入力としてもよいし、サーバーから読み出されてネットワーク経由で送信されてくるビットストリームを入力としてもよい。

なお、上記実施例の符号化装置・復号装置において、独立符号化処理の場合には、図１５に示すように、３つの色成分のピクチャデータを順番に配置して、ひとつのピクチャデータとして扱っても同様の効果を得ることができる。このときには、水平方向Ｈ画素、垂直方向Ｖラインであるカラー映像信号に対して、垂直方向に３つのデータを連結して、画像サイズ情報１４を水平方向Ｈ画素、垂直方向Ｖ×３ラインとし、単一の色成分画素配列相当とするものである。なお、本実施の形態１の符号化装置・復号装置において、各色成分の信号をそれぞれ独立したピクチャとして扱えるようにするために、各色成分の境界(図１５太線点線部)における符号化・復号処理において色成分間の依存性を除去する。依存性の除去の例として、以下のような条件が挙げられる。

・符号化時は、各色成分の境界に位置するマクロブロックでは、その動きベクトル探索において、隣接する他の色成分の画素を使用せず、画面境界の場合の処理と同様、自色成分の端点画素を拡張して画面外探索を行うようにする。復号時は、色成分の境界に位置するマクロブロックでは、動きベクトルが自色成分の画像領域を逸脱する場合（画面外の探索が行われている場合）、他の色の画素信号を用いるのではなく、画面境界とみなして自色成分の端点画素を拡張して予測画像生成を行うようにする。
・各色成分の境界に位置するブロック間に対してデブロッキングフィルタ処理は行わない。
・各色成分のマクロブロックの符号化・復号処理で、可変長符号化・可変長復号の処理に学習型の算術符号化を用いる場合、確率モデルを色成分ごとに個別に用意し、学習プロセスを色成分ごとに独立に実施する。

これらの条件を課すことにより、それぞれの色成分の信号の独立性が得られ、第１、２、３のピクチャ符号化部、ピクチャ復号部がそれぞれ独立に処理を実行することが可能となる。

また、スライスは、各色成分の境界をまたがって定義することを禁止し、１スライス内に複数の異なる色成分の符号化データが含まれないようにするとともに、各色成分の先頭マクロブロックデータは、必ずスライスデータの先頭マクロブロックとなるように制約を課す。

また、スライスデータがどの色成分に属するかを規定するために、上記実施例のようにcolor_channel_idcを定義してスライスデータの先頭領域に付与することにより明示的にスライスが属する色成分を指定するように構成してもよいし、color_channel_idcを使用せず、各スライスデータの先頭マクロブロックアドレスと、画像サイズ情報１４を使用して、当該スライスデータがどの色成分に属するかを識別するように構成してもよい。例えば、水平画素数Ｗ＝１９２０、垂直画素数Ｖ＝１０８０の場合、Ｃ０成分、Ｃ１成分、Ｃ２成分それぞれの先頭マクロブロックアドレスを０、８１６０、１６３２０として、マクロブロックアドレスが０−８１５９のマクロブロックはＣ０成分、マクロブロックアドレスが８１６０−１６３１９のマクロブロックはＣ１成分、マクロブロックアドレスが１６３２０−２４４７９のマクロブロックはＣ２成分と割り当てる。
このような構成とすることで、共通符号化処理・独立符号化処理のピクチャ・アクセスユニット構造の共通化をはかることができ、ランダムアクセスや編集作業などを効率化することができる。

１ 共通符号化・独立符号化識別信号、２ 色成分識別フラグ、３，３ａ〜３ｃ 入力映像信号、４ スイッチ（ＳＷ）、５ 第１のピクチャ符号化部、６ 色成分分離部、７ａ〜７ｃ 第２のピクチャ符号化部、８ 第１のピクチャ符号化部が出力するビットストリーム、９ａ〜９ｃ 第２のピクチャ符号化部７ａ〜７ｃが出力するビットストリーム、１０ 多重化部、１１ ビットストリーム、１２ａ〜１２ｃ 量子化重み付け係数、１３ イントラオンリー符号化指示信号、１４ 画像サイズ情報、１５，１１５ 予測部、１６，１１６ メモリ、１７，１１７ 予測オーバヘッド情報（参照画像インデックスと動きベクトル情報、もしくはイントラ予測モード情報）、１８，１１８ 減算器、１９，１１９ 予測差分信号、２０，１２０ 符号化モード判定部、２１，１２１ マクロブロックタイプ／サブマクロブロックタイプ、２２，１２２ デブロッキングフィルタ、２３，１２３ 局部復号画像、２４，１２４ 変換部、２５，１２５ 量子化部、２６，１２６ 変換ブロックサイズ指定フラグ、２７，１２７ 量子化パラメータ、２８，１２８ 量子化済み変換係数、２９，１２９ 可変長符号化部、３０，１３０ 逆量子化部、３１，１３１ 逆変換部、３２，１３２ 局部復号予測差分信号、３３，１３３ 予測画像、３４，１３４ 加算器、３００ 上位ヘッダ解析部、３０１ スイッチ（ＳＷ）、３０２ 第１のピクチャ復号部、３０３ 色成分判定部、３０４ａ〜３０４ｃ 第２のピクチャ復号部、３０５ 上位ヘッダメモリ、３１１，４１１ 予測部、３１２，４１２ メモリ、３１３，４１３ 復号画像、３２３，４２３ 暫定復号画像。

Claims (4)

1. ４：４：４フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化装置において、
   各色成分の信号を独立に符号化するか否かを示す識別情報と、各色成分の逆量子化に用いる量子化マトリクス情報をビットストリームに多重するとともに、前記識別情報が、各色成分の信号を独立に符号化することを示す場合に、スライスヘッダに、当該スライスに含まれる符号化データがいずれの色成分の符号化データであるかを識別するための色成分識別情報を多重するとともに、該色成分識別情報に基づいて当該スライスの符号化処理に使用する量子化マトリクスを特定するピクチャ符号化部を有することを特徴とする画像符号化装置。
2. ４：４：４フォーマットのカラー画像を圧縮符号化してビットストリームを生成する画像符号化方法において、
   各色成分の信号を独立に符号化するか否かを示す識別情報と、各色成分の逆量子化に用いる量子化マトリクス情報をビットストリームに多重するとともに、前記識別情報が、各色成分の信号を独立に符号化することを示す場合に、スライスヘッダに、当該スライスに含まれる符号化データがいずれの色成分の符号化データであるかを識別するための色成分識別情報を多重するとともに、該色成分識別情報に基づいて当該スライスの符号化処理に使用する量子化マトリクスを特定するピクチャ符号化ステップを有することを特徴とする画像符号化方法。
3. ４：４：４フォーマットのデジタル動画像信号を入力して圧縮符号化を行う画像符号化装置において、
   入力された動画像信号の３つの色成分信号を共通の符号化モードで符号化処理を行い、共通の量子化マトリクスを使用して量子化処理を行う第１の符号化処理と、
   入力された動画像信号の３つの色成分信号をそれぞれ独立の符号化モードで符号化処理を行い、それぞれ独立の量子化マトリクスを使用して量子化処理を行う第２の符号化処理と
   のいずれか一方を選択して符号化処理を行うピクチャ符号化部を備え、
   前記ピクチャ符号化部は、どちらを選択したかを示す識別信号を圧縮データに含むとともに、
   第２の符号化処理を選択した場合には、３つの色成分信号のうちのどの色成分のものかを示す色成分識別フラグを圧縮データに含むことを特徴とする画像符号化装置。
4. ４：４：４フォーマットのデジタル動画像信号を入力して圧縮符号化を行う画像符号化装置において、
   入力された動画像信号の３つの色成分信号を共通の符号化モードで符号化処理を行い、共通の量子化マトリクスを使用して量子化処理を行う第１の符号化処理と、
   入力された動画像信号の３つの色成分信号をそれぞれ独立の符号化モードで符号化処理を行い、それぞれ独立の量子化マトリクスを使用して量子化処理を行う第２の符号化処理と
   のいずれか一方を選択して符号化処理を行うピクチャ符号化部を備え、
   前記ピクチャ符号化部は、どちらを選択したかを示す識別信号を圧縮データに含むとともに、
   第２の符号化処理を選択した場合には、３つの色成分信号のうちのどの色成分のものかを示す色成分識別フラグを圧縮データに含むとともに、３つの色成分信号でそれぞれ独立の参照画像を用いて動き補償予測を行うことを特徴とする画像符号化装置。

Images