JP2012138773A - 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム - Google Patents

Abstract

【課題】ＣＩＰ符号化において、ビットストリームに含まれるＣＩＰ符号化を示す情報のビット数の率を低く抑える。
【解決手段】映像符号化装置は、画像ブロックに隣接する再構築画像の外挿値と被予測対象の画像に隣接する画像の平均値との重み付け和を画像ブロックから減じて予測誤差を計算する予測手段１３と、予測誤差及び外挿値に基づいて画像ブロックを再構築するイントラ予測画像再構築手段１５と、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築する併用イントラ予測画像再構築手段１６と、外部設定されるブロックサイズに基づいてイントラ予測画像再構築手段１５と併用イントラ予測画像再構築手段１６とのいずれかを選択する選択手段１７と、外部設定されるブロックサイズに基づいて併用イントラ予測ヘッダをビットストリームに埋め込む多重化手段１８とを備える。
【選択図】図９

Description

本発明は、ＣＩＰ符号化を用いる映像符号化装置及び映像復号装置に関する。

一般に、映像符号化装置は、外部から入力される動画像信号をディジタル化した後、所定の映像符号化方式に準拠した符号化処理を行うことで符号化データすなわちビットストリームを生成する。所定の映像符号化方式として非特許文献１に記載されたISO/IEC 14496-10 Advanced Video Coding（ＡＶＣ）がある。

非特許文献１に記載されているような映像符号化方式では、フレームをマクロブロック（ＭＢ：Macro Block ）と呼ばれる１６×１６画素サイズのブロックに分割し、フレームの左上から順に各ＭＢを符号化する。非特許文献１に記載されているＡＶＣにおいては、ＭＢをさらに４×４画素サイズのブロックにブロック分割し、各４×４ブロックを符号化する。

図１３は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。以下、説明の簡略化のために、輝度の画素値のみに着目して説明を行う。

ブロックに分割された入力映像は、映像符号化装置における予測器から供給される予測信号が減じられて、映像符号化装置における変換／量子化器に入力される。予測信号には、イントラ予測信号とフレーム間予測信号の２種類がある。それぞれの予測信号を説明する。イントラ予測信号は、バッファに格納された現在のピクチャと表示時刻が同一である再構築ピクチャの画像に基づいて生成される予測信号である。

非特許文献１の8.3.1 Intra_４×４ prediction process for luma samples、8.3.2 Intra_８×８ prediction process for luma samples、及び8.3.3 Intra_１６×１６ prediction process for luma samplesを引用すると、３種類のブロックサイズのイントラ予測Intra_４×４、Intra_８×８、Intra_１６×１６がある。

Intra_４×４とIntra_８×８は、図１４の（ａ）と（ｃ）を参照すると、それぞれ４×４ブロックサイズと８×８ブロックサイズのイントラ予測であることが分かる。ただし、図面の丸（○）はイントラ予測に用いる参照画素、つまり、現在のピクチャと表示時刻が同一である再構築ピクチャの画素である。

Intra_４×４のイントラ予測では、再構築した周辺画素をそのまま参照画素とし、図１４の（ｂ）に示す９種類の方向に参照画素をパディング（外挿）して予測信号を形成する。Intra_８×８のイントラ予測では、図１４の（ｃ）の右矢印の下に記載のローパスフィルタ（１／２，１／４，１／２）によって再構築ピクチャの画像の周辺画素を平滑化した画素を参照画素として、図１４の（ｂ）に示す９種類の方向に参照画素を外挿して予測信号を形成する。

一方、Intra_１６×１６は、図１５の（ａ）を参照すると、１６×１６ブロックサイズのイントラ予測であることが分かる。図１４と同様に図面の丸（○）はイントラ予測に用いる参照画素、つまり、現在のピクチャと表示時刻が同一である再構築ピクチャの画素である。Intra_１６×１６のイントラ予測では、再構築ピクチャの画像の周辺画素をそのまま参照画素として、図１５の（ｂ）に示す４種類の方向に参照画素を外挿して予測信号を形成する。

以下、イントラ予測信号を用いて符号化されるＭＢ及びブロックをそれぞれイントラＭＢ及びイントラブロックと呼ぶ。イントラ予測のブロックサイズをイントラ予測ブロックサイズと呼ぶ。また、外挿の方向をイントラ予測方向と呼ぶ。なお、イントラ予測ブロックサイズ及びイントラ予測方向は、イントラ予測に関する予測パラメータである。

フレーム間予測信号は、バッファに格納された現在のピクチャと表示時刻が異なる再構築ピクチャの画像から生成される予測信号である。以下、フレーム間予測信号を用いて符号化されるＭＢ及びブロックをそれぞれインターＭＢ及びインターブロックと呼ぶ。インター予測のブロックサイズ（インター予測ブロックサイズ）として、例えば、１６×１６，１６×８，８×１６，８×８，８×４，４×８，４×４を選択することができる。

図１６は、１６×１６のブロックサイズを例にしたフレーム間予測の例を示す説明図である。図１６に示す動きベクトルＭＶ＝（mv_x，mv_y）は、符号化対象ブロックに対する参照ピクチャのフレーム間予測ブロック（フレーム間予測信号）の平行移動量を示す、フレーム間予測の予測パラメータである。ＡＶＣにおいては、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向を表すフレーム間予測の方向に加えて、符号化対象ブロックのフレーム間予測に用いる参照ピクチャを同定するための参照ピクチャインデックスもフレーム間予測の予測パラメータである。ＡＶＣにおいては、バッファ１０５に格納された複数枚の参照ピクチャをフレーム間予測に利用できるからである。

なお、フレーム間予測のより詳細な説明が、非特許文献１の8.4 Inter prediction processに記載されている。

また、イントラＭＢのみで符号化されたピクチャはＩピクチャと呼ばれる。イントラＭＢだけでなくインターＭＢも含めて符号化されたピクチャはＰピクチャと呼ばれる。フレーム間予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターＭＢを含めて符号化されたピクチャはＢピクチャと呼ばれる。また、Ｂピクチャにおいて、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向が過去のフレーム間予測を前方向予測、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向が未来のフレーム間予測を後方向予測、過去と未来を含むフレーム間予測を双方向予測とそれぞれ呼ぶ。なお、フレーム間予測の方向（インター予測方向）は、フレーム間予測の予測パラメータである。

非特許文献２では、改良されたイントラ予測として、参照画像から生成される角度付き予測（Angular prediction）信号と局所平均予測（local mean prediction ）信号の重み付け予測とに基づく併用イントラ予測（Combined Intra Prediction ：ＣＩＰ）が提案されている。

ISO/IEC 14496-10 Advanced Video Coding "Test Model under Consideration", Document: JCTVC-B205, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010

非特許文献１に記載された映像符号化方式では、符号化ユニットサイズ（ＣＵサイズ）は、１６×１６画素サイズのＭＢに固定されている。しかし、ＣＵサイズが可変である映像符号化方式も提案されている（例えば、非特許文献２参照）。以下、非特許文献２に記載されているような、ＣＵサイズが可変である、図１７に示す階層構造の符号化ユニット（Coding Tree Block （ＣＴＢ））を用いた映像符号化を、Test Model under Consideration方式（ＴＭｕＣ方式）と呼ぶ。

なお、最大のＣＴＢをLargest Coding Tree Block （ＬＣＴＢ）、最小のＣＴＢをSmallest Coding Tree Block（ＳＣＴＢ）と呼ぶ。また、本明細書においては、ＣＴＢのブロックをCoding Unit （ＣＵ：符号化ユニット）と呼ぶ。また、ＴＭｕＣ方式においては、ＣＵに対する予測ユニットとしてPrediction unit（ＰＵ）という概念（図１８参照）が導入されている。図１８は、ＰＵを説明するための説明図であるが、イントラ予測ブロックサイズとして図１８に示された形状のうち正方形のみがサポートされている。

図１９は、ＣＩＰで使用される局所平均予測の概念を示す説明図である。ＣＩＰで使用される局所平均予測では、入力された画像ブロックまたは再構築画像における、現在の画像ブロックに隣接する画像（隣接画像）の画素値の平均値（具体的には、重み付き平均値）を局所平均予測信号とする。

なお、図１９において短い矢印で示されているように、隣接画像は、現在のフレーム画像の左側、左上側及び直上のものである。また、図１９には、角度付き予測も例示されている。すなわち、画像ブロックに隣接する再構築画像から延びる矢印は、角度付き予測を示す。よって、図１９において、「二予測重み付き結合」は、ＣＩＰを意味している。

図２０は、ＣＩＰで使用される角度付き予測の概念を示す説明図である。角度付き予測は、画像ブロックに隣接する再構築画像の外挿値を計算して予測信号を生成する予測である。８×８ＰＵでは、予測方向として、ＤＣ、図２０において破線で示す右斜め下、図２０において破線よりも右側の実線で示す１６の垂直方向、及び図２０において破線の左側の実線で示す１６の水平方向の計３４の方向がある。８×８ＰＵでは、画像ブロックに隣接する再構築画像の画素を参照画素として、図２０に示す３４種類の方向に参照画素を外挿して予測信号を形成する。なお、４×４ＰＵでは１７の予測方向、１６×１６ＰＵでは３４の予測方向、３２×３２ＰＵでは３４の予測方向、６４×６４ＰＵでは５の予測方向がある。

ＣＩＰ符号化を用いる映像符号化装置は、図２１に示すように構成される。以下、図２１に示される映像符号化装置を一般的な映像符号化装置と呼ぶ。

図２１を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する、一般的な映像符号化装置の構成と動作を説明する。

図２１に示された映像符号化装置は、変換／量子化器１０２、エントロピー符号化器１０３、逆変換／逆量子化器１０４、ピクチャバッファ１０５、デコードピクチャバッファ１０６、フレーム間予測器（インター予測器）１０９、イントラ予測部１１０、多重化器１１１、符号化制御器１１２、スイッチ１２１、及びスイッチ１２２を備える。イントラ予測部１１０は、ピクチャバッファ１０５に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する機能に加えて、ＣＩＰ符号化を実現するための機能を有する。図２１に例示する構成では、ＣＩＰ符号化は、イントラ予測部１１０内の局所平均符号化器１０７及び角度付きイントラ予測器１０８で実現される。

ブロックに分割された入力映像は、イントラ予測部１１０又はフレーム間予測器１０９から供給される予測信号が減じられて、変換／量子化器１０２に入力される。予測信号は、イントラ予測信号、ＣＩＰ信号又はフレーム間予測信号である。

符号化制御部１１２は、イントラ予測信号、ＣＩＰ信号、及び、フレーム間予測信号を、入力映像とそれぞれ比較する。符号化制御部１１２は、予測誤差画像ブロックのエネルギーが最も小さくなる予測信号を選択する。符号化制御部１１２は、予測信号としてＣＩＰ信号を選択した場合、ＣＩＰの重み付けパラメータＷ_LCとＷ_ANG をそれぞれＷ_LC＝１６とＷ_ANG ＝１６とする。符号化制御部１１２は、予測信号としてＣＩＰ信号以外を選択した場合、Ｗ_LC＝０とＷ_ANG ＝３２とする。

符号化制御部１１２は、選択した予測信号が符号化に利用されるように、スイッチ１２２を制御する。また、選択した予測信号に関連する予測パラメータをエントロピー符号化器１０３に供給する。

イントラ予測信号は、ピクチャバッファ１０５に格納された、現在のピクチャと表示時刻が同一である再構築ピクチャの画像に基づいて生成される予測信号である。ＣＩＰ信号は、ピクチャバッファ１０５に格納された、現在のピクチャと表示時刻が同一である再構築ピクチャの画像、又は当該再構築ピクチャの画像と入力画像とに基づいて生成される予測信号である。

変換／量子化器１０２は、入力画像から予測信号が減じられた画像（予測誤差画像）を周波数変換する。変換／量子化器１０２は、さらに、所定の量子化ステップ幅Ｑs で、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値と呼ぶ。

エントロピー符号化器１０３は、予測パラメータと変換量子化値をエントロピー符号化する。予測パラメータとは、ブロックタイプ（ＣＩＰ、イントラ予測及びインター予測）、イントラ予測ブロックサイズ、イントラ予測方向、インター予測ブロックサイズ、及び動きベクトルなど、ブロックの予測に関連した情報である。

逆変換／逆量子化器１０４は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号（外挿値に基づくイントラ予測信号、外挿値及び隣接する再構築画像の平均値に基づくＣＩＰ信号、又はインター予測信号）が加えられて、スイッチ１２１及びピクチャバッファ１０５に供給される。

ピクチャバッファ１０５には、現在のフレームに含まれる全てのＣＵが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。ピクチャバッファ１０５において再構築画像によって構成されるピクチャを再構築画像ピクチャという。

イントラ予測部１１０において、局所平均予測器１０７には、スイッチ１２１を介して入力映像又はピクチャバッファ１０５に格納されている再構築画像が入力される。なお、スイッチ１２１は、符号化制御部１１２の制御により、再構築画像が未だ形成されていない時点（逆変換／逆量子化器１０４が変換量子化値を逆量子化／逆変換する前の時点）では、入力映像が局所平均予測器１０７に入力されるように切り替えられる。局所平均予測器１０７は、図１９に示されるように、現隣接画像の画素値の平均値をとって局所平均予測信号LC_PRED を生成する。

イントラ予測部１１０において、角度付きイントラ予測器１０８は、図２０に示されるように、隣接する再構築画像の外挿値を計算して予測信号ANG_PRED を生成する。

さらに、イントラ予測部１１０におけるＣＩＰを制御する部分は、符号化制御器１１２の制御に従って、局所平均予測信号LC_PRED とイントラ予測信号ANG_PREDとを使用してＣＩＰ信号CIP_PRED を生成する。ＣＩＰ信号CIP_PREDは、（１）式によって生成される。つまり、イントラ予測部１１０におけるＣＩＰを制御する部分は、局所平均予測信号LC_PRED と予測信号ANG_PRED との重み付きの平均値を算出する。

CIP_PRED ＝（Ｗ_ANG ＊ANG_PRED （ｘ，ｙ）＋Ｗ_LC＊LC_PRED （ｘ，ｙ）＋１６）／３２ ・・・（１）

なお、（１）式において、（ｘ，ｙ）は、現在のフレーム画像における画素の座標値を示す。なお、符号化制御部１１２がＣＩＰの重み付けパラメータをＷ_LC＝０とＷ_ANG ＝３２設定した場合、式（１）より、ＣＩＰ信号CIP_PREDは、通常のイントラ予測信号ANG_PREDと同一である。

多重化器１１１は、エントロピー符号化器１０３の出力データにピクチャパラメータセットやスライスヘッダを多重して出力する。

図２１に示された映像符号化装置は、上述した処理によって、ビットストリームを生成する。

しかし、上述したＣＩＰを使用する映像符号化方式を、図１７に示す階層構造のＣＴＢを用いた映像符号化に適用する場合には、全てのイントラ符号化ユニットにおいて、ＣＩＰ符号化を示す情報（combined_intra_pred_flag：ＣＩＰヘッダ）を出力ビットストリームに埋め込む。よって、ビットストリームに含まれるＣＩＰ符号化を示す情報のビット数の率が高くなり、圧縮映像の品質が低下する課題がある。なお、符号化制御部１１２が予測信号としてＣＩＰ信号を選択した場合、combined_intra_pred_flagは１である。そうでない場合は、combined_intra_pred_flagは０である。

上述したＣＩＰを使用する映像符号化方式の課題を解決するために、本発明は、ＣＩＰは、参照画像と被予測画像間の距離が大きな被予測画素数が多くなる、ブロックサイズの大きい高階層のＣＵ（図１７参照）で選択される傾向があることに着目する。なお、高階層のＣＵとは、図１７から分かるようにdepth の値が小さいＣＵである。

本発明では、ＣＩＰ符号化を使用する映像符号化において、ＣＩＰ符号化を示す情報を伝送するＣＵのdepth を制限することによって課題を解決する。すなわち、本発明では、ＣＩＰ符号化を示す情報を伝送するＣＵサイズを所定のサイズに制限する。

本発明による映像符号化装置は、画像ブロックに隣接する再構築画像の外挿値を計算する外挿予測手段と、被予測対象の画像に隣接する画像（入力画像における画像、又は再構築画像における画像）の平均値を計算する平均予測手段と、外挿値と平均値との重み付け和を画像ブロックから減じて予測誤差を計算する予測手段と、予測誤差に関するデータをエントロピー符号化するエントロピー符号化手段と、予測誤差及び外挿値に基づいて画像ブロックを再構築するイントラ予測画像再構築手段と、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築する併用イントラ予測画像再構築手段と、外部設定されるブロックサイズに基づいてイントラ予測画像再構築手段と併用イントラ予測画像再構築手段とのいずれかを選択する選択手段と、外部設定されるブロックサイズに基づいて併用イントラ予測ヘッダをビットストリームに埋め込む多重化手段とを備えることを特徴とする。

本発明による映像復号装置は、併用イントラ予測ブロックサイズ情報を含むビットストリームを多重化解除する多重化解除手段と、多重化解除手段が多重化解除した併用イントラ予測ブロックサイズ情報に基づいて併用イントラ予測ヘッダをビットストリームから読み出す併用イントラ予測ブロックサイズを決定するブロックサイズ決定手段と、ビットストリームに含まれる画像ブロックの予測誤差に関するデータをエントロピー復号するエントロピー復号手段と、画像ブロックに隣接する再構築画像の外挿値を計算する外挿予測手段と、被予測対象の画像に隣接する再構築画像の平均値を計算する平均予測手段と、予測誤差及び外挿値に基づいて画像ブロックを再構築するイントラ予測画像再構築手段と、予測誤差、外挿値、及び、平均値に基づいて画像ブロックの画像を再構築する併用イントラ予測画像再構築手段と、ブロックサイズ決定手段が決定した併用イントラ予測ブロックサイズに基づいて併用イントラ予測ヘッダをビットストリームから読み出す読み出し手段と、読み出し手段が読み出した併用イントラ予測ヘッダに基づいてイントラ予測画像再構築手段と併用イントラ予測画像再構築手段とのいずれかで画像ブロックを再構築させる制御手段とを備えることを特徴とする。

本発明による映像符号化方法は、画像ブロックに隣接する再構築画像の外挿値を計算し、被予測対象の画像に隣接する画像の平均値を計算し、外挿値と平均値との重み付け和を画像ブロックから減じて予測誤差を計算し、予測誤差に関するデータをエントロピー符号化し、外部設定されるブロックサイズに基づいて、予測誤差及び外挿値に基づいて画像ブロックを再構築して生成されるイントラ予測画像と、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築して生成される併用イントラ予測画像とのいずれかを選択し、外部設定されるブロックサイズに基づいて併用イントラ予測ヘッダをビットストリームに埋め込むことを特徴とする。

本発明による映像復号方法は、併用イントラ予測ブロックサイズ情報を含むビットストリームを多重化解除し、多重化解除した併用イントラ予測ブロックサイズ情報に基づいて併用イントラ予測ヘッダをビットストリームから読み出す併用イントラ予測ブロックサイズを決定し、ビットストリームに含まれる画像ブロックの予測誤差に関するデータをエントロピー復号し、画像ブロックに隣接する再構築画像の外挿値を計算し、被予測対象の画像に隣接する再構築画像の平均値を計算し、併用イントラ予測ブロックサイズに基づいて併用イントラ予測ヘッダをビットストリームから読み出し、読み出した併用イントラ予測ヘッダに基づいて、予測誤差及び外挿値に基づいて画像ブロックを再構築して生成されるイントラ予測画像と、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築して生成される併用イントラ予測画像とのいずれかを選択して画像ブロックを再構築することを特徴とする。

本発明による映像符号化プログラムは、コンピュータに、画像ブロックに隣接する再構築画像の外挿値を計算する処理と、被予測対象の画像に隣接する画像の平均値を計算する処理と、外挿値と平均値との重み付け和を画像ブロックから減じて予測誤差を計算する処理と、予測誤差に関するデータをエントロピー符号化する処理と、外部設定されるブロックサイズに基づいて、予測誤差及び外挿値に基づいて画像ブロックを再構築して生成されるイントラ予測画像と、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築して生成される併用イントラ予測画像とのいずれかを選択する処理と、外部設定されるブロックサイズに基づいて併用イントラ予測ヘッダをビットストリームに埋め込む処理とを実行させることを特徴とする。

本発明による映像復号プログラムは、コンピュータに、併用イントラ予測ブロックサイズ情報を含むビットストリームを多重化解除する処理と、多重化解除した併用イントラ予測ブロックサイズ情報に基づいて併用イントラ予測ヘッダをビットストリームから読み出す併用イントラ予測ブロックサイズを決定する処理と、ビットストリームに含まれる画像ブロックの予測誤差に関するデータをエントロピー復号する処理と、画像ブロックに隣接する再構築画像の外挿値を計算する処理と、被予測対象の画像に隣接する再構築画像の平均値を計算する処理と、併用イントラ予測ブロックサイズに基づいて併用イントラ予測ヘッダをビットストリームから読み出す処理と、読み出した併用イントラ予測ヘッダに基づいて、予測誤差及び外挿値に基づいて画像ブロックを再構築して生成されるイントラ予測画像と、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築して生成される併用イントラ予測画像とのいずれかを選択して画像ブロックを再構築する処理とを実行させることを特徴とする。

本発明によれば、ＣＩＰ符号化を示す情報を伝送するＣＵのdepth を制限する手段を備えることによって、ビットストリームに含まれるＣＩＰ符号化を示す情報のビット数の率を低く抑えて、圧縮映像の品質を保持できる。

第１の実施形態の映像符号化装置のブロック図である。 ＰＵシンタクスにおけるＣＩＰヘッダを示すリスト１の説明図である。 シーケンスパラメータセットにおけるＣＩＰ符号化ユニットサイズ情報を示すリスト２の説明図である。 ＣＩＰヘッダの符号化を示す概念図である。 第２の実施形態の映像復号装置のブロック図である。 ピクチャパラメータセットにおけるＣＩＰ符号化ユニットサイズ情報を示すリスト３の説明図である。 スライスヘッダにおけるＣＩＰ符号化ユニットサイズ情報を示すリスト４の説明図である。 本発明による映像符号化装置及び映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本発明による映像符号化装置の主要部を示すブロック図である。 本発明による映像復号装置の主要部を示すブロック図である。 本発明による映像符号化装置の処理を示すフローチャートである。 本発明による映像復号装置の処理を示すフローチャートである。 ブロック分割の例を示す説明図である。 予測の種類を説明するための説明図である。 予測の種類を説明するための説明図である。 １６×１６のブロックサイズを例にしたフレーム間予測の例を示す説明図である。 ＣＴＢを説明するための説明図である。 ＰＵを説明するための説明図である。 ＣＩＰで使用される局所平均予測の概念を示す説明図である。 ＣＩＰで使用される角度付き予測の概念を示す説明図である。 一般的な映像符号化装置の構成を示すブロック図である。

実施形態１．
第１の実施形態では、所定の条件下でＣＩＰヘッダを符号化する映像符号化装置、具体的には、ＰＵのＣＵサイズが外部設定されるＣＵサイズ以上である場合にＣＩＰヘッダを符号化する映像符号化装置を示す。

具体例を示しながら説明するために、本実施形態では、ＣＩＰヘッダが符号化されることになるＣＵサイズは、外部から設定されるＣＩＰ符号化ユニットサイズ（cipCodingUnitSize ）以上とする。また、利用可能な符号化ユニットサイズを１２８，６４，３２，１６，８、cipCodingUnitSize を３２とする。よって、本実施形態では、ＣＩＰヘッダが符号化されることになるＣＵサイズに対応するブロックサイズが１２８×１２８と６４×６４になる。

図１に示すように、本実施形態の映像符号化装置は、図２１に示された一般的な映像符号化装置と同様に、変換／量子化器１０２、エントロピー符号化器１０３、逆変換／逆量子化器１０４、ピクチャバッファ１０５、デコードピクチャバッファ１０６、フレーム間予測器（インター予測器）１０９、イントラ予測部１１０、多重化器１１１、符号化制御器１１２、スイッチ１２１、及びスイッチ１２２を備える。

符号化制御部１１２は、イントラ予測信号、ＣＩＰ信号、及び、フレーム間予測信号を、入力映像とそれぞれ比較する。符号化制御部１１２は、予測誤差画像ブロックのエネルギーが最も小さくなる予測信号を選択する。符号化制御部１１２は、予測信号としてＣＩＰ信号を選択した場合、ＣＩＰの重み付けパラメータＷ_LCとＷ_ANG をそれぞれＷ_LC＝１６とＷ_ANG ＝１６とする。符号化制御部１１２は、予測信号としてＣＩＰ信号以外を選択した場合、Ｗ_LC＝０とＷ_ANG ＝３２とする。

ただし、本実地形態の符号化制御部１１２は、cipCodingUnitSize 以下の符号化ユニットサイズのＣＵに対して、ＣＩＰ信号を入力映像と比較しない。すなわち、cipCodingUnitSize 以下の符号化ユニットサイズのＣＵに対して、ＣＩＰ信号を選択しない。

符号化制御部１１２は、選択した予測信号が符号化に利用されるように、スイッチ１２２を制御する。また、選択した予測信号に関連する予測パラメータをエントロピー符号化器１０３に供給する。

イントラ予測部１１０は、ピクチャバッファ１０５に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する機能に加えて、ＣＩＰ符号化を実現するための機能を有する。本実施形態では、ＣＩＰ符号化は、イントラ予測部１１０内の局所平均符号化器１０７及び角度付きイントラ予測器１０８で実現される。図１に示す本実施形態の映像符号化装置では、図２１に示す一般的な映像符号化装置とは異なり、cipCodingUnitSize 以上のＣＵサイズのイントラＣＵの場合にＣＩＰヘッダを符号化するためにcipCodingUnitSize が多重化器１１１に供給されている。

変換／量子化器１０２は、入力画像から予測信号が減じられた画像（予測誤差画像）を周波数変換する。変換／量子化器１０２は、さらに、所定の量子化ステップ幅Ｑs で、周波数変換した予測誤差画像（周波数変換係数）を量子化する。

エントロピー符号化器１０３は、ＣＵのサイズをシグナリングするsplit_coding_unit_flag（図６参照）、フレーム間予測器１０９又はイントラ予測部１１０から供給される予測パラメータ、及び変換／量子化器１０２から供給される変換量子化値をエントロピー符号化する。予測パラメータとは、ブロックタイプ（ＣＩＰ、イントラ予測、及びインター予測）、ＣＩＰブロックサイズ、イントラ予測ブロックサイズ、イントラ予測方向、インター予測ブロックサイズ、及び動きベクトルなど、符号化対象ＣＵの予測に関連した情報である。

なお、本実施形態のエントロピー符号化器１０３は、外部設定されるcipCodingUnitSize に基づいて、符号化対象ＣＵのサイズがcipCodingUnitSize 以上であり、かつ、符号化対象ＣＵがイントラである場合、ＣＩＰヘッダをエントロピー符号化する。

逆変換／逆量子化器１０４は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号（外挿値に基づくイントラ予測信号、外挿値及び隣接する再構築画像の平均値に基づくＣＩＰ信号、又はインター予測信号）が加えられて、スイッチ１２１及びピクチャバッファ１０５に供給される。

イントラ予測部１１０は、イントラ予測時に、ピクチャバッファ１０５に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。

符号化制御器１１２は、選択した予測信号がＣＩＰ信号である場合に、イントラ予測部１１０に、ＣＩＰを行わせる。

イントラ予測部１１０において、局所平均予測器１０７には、スイッチ１２１を介して入力映像又はピクチャバッファ１０５に格納されている再構築画像が入力される。なお、スイッチ１２１は、符号化制御部１１２の制御により、再構築画像が未だ形成されていない時点（逆変換／逆量子化器１０４が変換量子化値を逆量子化／逆変換する前の時点）では、入力映像が局所平均予測器１０７に入力されるように切り替えられる。ＣＩＰによる予測を実行するときに、局所平均予測器１０７は、図１９に示されるように、隣接する隣接画像の画素値の平均値をとって局所平均予測信号LC_PRED を生成する。

また、イントラ予測部１１０において、ＣＩＰによる予測を実行するときに、角度付きイントラ予測器１０８は、図２０に示されるように、隣接する再構築画像の外挿値を計算して予測信号ANG_PRED を生成する。

さらに、イントラ予測部１１０におけるＣＩＰを制御する部分は、符号化制御器１１２の制御に従って、局所平均予測信号LC_PRED と予測信号ANG_PRED とを使用してＣＩＰ信号CIP_PRED を生成する。ＣＩＰ信号CIP_PRED は、（１）式によって生成される。つまり、イントラ予測部１１０におけるＣＩＰを制御する部分は、局所平均予測信号LC_PRED と予測信号ANG_PRED との重み付きの平均値を算出する。

符号化制御器１１２は、ＣＩＰによる符号化時に、エントロピー符号化器１０３に、ＣＵのＰＵヘッダにおいて、ブロックタイプを示す、mode_table_idxシンタクス又はpred_mode シンタクスをイントラ予測としてエントロピー符号化出力させて、さらに、イントラＣＵのＰＵパーティション（２Ｎ×２ＮもしくはＮ×Ｎ）を示すintra_split_flagシンタクスをエントロピー符号化出力させる。

続いて、符号化制御器１１２は、エントロピー符号化器１０３に、combined_intra_pred_flagをエントロピー符号化出力させる。

なお、上述したmode_table_idxシンタクス、pred_mode シンタクス、intra_split_flagシンタクス、及びcombined_intra_pred_flagシンタクスは、非特許文献１のSpecification of syntax functions, categories, and descriptors及び非特許文献２の4.1.10 Prediction unit syntax の表記に従えば、図２に示すリスト１に表されるようにシグナリングできる。リスト１において、"if（currPredUnitSize>=cipCodingUnitSize ）"の条件によって、符号化対象ＣＵのサイズがcipCodingUnitSize 以上である場合にのみcombined_intra_pred_flagシンタクスがシグナリングされることが、本実施形態の特徴である。

多重化器１１１は、ＣＩＰ符号化ユニットサイズに関する情報（max_cip_coding_unit_hierarchy_depth ）、及びエントロピー符号化器１０３の出力データを多重化して出力する。非特許文献２の4.1.2 Sequence parameter set RBSP syntaxの表記に従えば、図３に示すリスト２に表されるように、シーケンスパラメータセットのlog2_min_coding_unit_size_minus3シンタクスとmax_coding_unit_hierarchy_depth シンタクスに後続させて、max_cip_coding_unit_hierarchy_depth シンタクス（本実施形態においては、ＣＵサイズを最小符号化ユニットサイズで割った値の”２”を底とするlog （対数）である１の値）を多重化する。ただし、log2_min_coding_unit_size_minus3シンタクス及びmax_coding_unit_hierarchy_depth シンタクスは、それぞれ、ＳＣＵのサイズ（MinCodingUnitSize ）及びＬＣＵのサイズ（MaxCodingUnitSize ）を決定するための情報である。MinCodingUnitSize とMaxCodingUnitSize は、以下のように、それぞれ計算される。

MinCodingUnitSize ＝１<<（log2_min_coding_unit_size_minus3＋３）

MaxCodingUnitSize＝１<<（log2_min_coding_unit_size_minus3＋３＋max_coding_unit_hierarchy_depth ）

また、max_coding_unit_hierarchy_depth シンタクスとMinCodingUnitSize には以下の関係がある。

max_cip_coding_unit_hierarchy_depth ＝log _２（cipCodingUnitSize/MinCodingUnitSize）

上述した動作に基づいて、発明の映像符号化装置はビットストリームを生成する。

本実施形態の映像符号化装置は、外部設定されるＣＩＰ符号化ユニットサイズに従ってＣＩＰヘッダをビットストリームに埋め込む多重化手段を備える。よって、ビットストリームに含まれるＣＩＰヘッダのビット数の率を低く抑えて圧縮映像の品質を保持できる。

図４は、ＣＩＰヘッダの符号化を示す概念図である。図４（Ａ）に示すように、本実施形態の映像符号化装置は、ＣＵのＰＵヘッダにおいて、ブロックタイプを示す、mode_table_idxシンタクス又はpred_mode シンタクスをイントラ予測としてエントロピー符号化出力する機能３０１と、符号化対象ＣＵサイズとＣＩＰ符号化ユニットサイズとを比較して符号化対象ＣＵのサイズがcipCodingUnitSize 以上である場合にＣＩＰヘッダをエントロピー符号化出力する、条件付ＣＩＰヘッダ符号化機能３０２とを備える。

なお、図４（Ｂ）には、一般的な映像符号化装置のＣＩＰヘッダの符号化の概念が示されている。図４（Ｂ）に示すように、一般的な映像符号化装置は、ＣＵのＰＵヘッダにおいて、ブロックタイプを示す、mode_table_idxシンタクス又はpred_mode シンタクスをイントラ予測としてエントロピー符号化出力する機能３０１と、全てのイントラＣＵにおいてＣＩＰヘッダをエントロピー符号化出力するＣＩＰヘッダ符号化機能３０３とを備える。よって、一般的な映像符号化装置では、ビットストリームに含まれるＣＩＰ符号化を示す情報のビット数の率が高くなる。

また、本実施形態では、多重化手段は、外部設定されたＣＵサイズを映像復号装置にシグナリングするためのＣＩＰ符号化ユニットサイズ情報をビットストリームに埋め込むが、ＣＩＰ符号化ユニットサイズは、ＬＣＵ又はＳＣＵのdepth 値を基準とするdepth 値の差分などで表現できる。例えば、ＬＣＵのdepth （LCU_depth ）値を基準にする場合、所定depth 値のＣＵサイズは、ＬＣＵのサイズの２^{（depth- LCU_depth）}と表現できる（ブロックサイズに換算すると４^{（depth- LCU_depth）}倍である。）。ＳＣＵのdepth （SCU_depth ）値を基準にする場合、所定Depth値のＣＵサイズは、ＳＣＵのサイズの２^{（SCU_depth−depth）}分の１と表現できる（ブロックサイズに換算すると４^{（SCU_depth−depth）}分の１である。）。

上記のような特徴を有する多重化手段を備えることによって、発明は、映像符号化装置と映像復号装置の相互運用性を高めることができる。

実施形態２．
第２の実施形態では、第１の実施形態の映像符号化装置が生成したビットストリームを復号する映像復号装置を示す。

本実施形態の映像復号装置は、ビットストリームに多重化されたＣＩＰ符号化ユニットサイズ情報を多重化解除する手段、多重化解除したＣＩＰ符号化ユニットサイズ情報に基づいてＣＩＰヘッダを読み出す符号化ユニットサイズを決定するブロックサイズ手段、ブロックサイズ手段が決定した符号化ユニットサイズのイントラＣＵでＣＩＰヘッダをビットストリームから読み出す読み出し手段、及びＣＩＰ復号手段を制御する復号制御手段を備えることを特徴とする。

図５に示すように、本実施形態の映像復号装置は、多重化解除器２０１、エントロピー復号器２０２、逆変換／逆量子化器２０３、ピクチャバッファ２０４、デコードピクチャバッファ２０５、イントラ予測部２１０、フレーム間予測器（インター予測器）２０８、復号制御器２１２、及びスイッチ２２１を備える。イントラ予測部２１０は、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０４に格納された再構築画像を利用してイントラ予測信号を生成する機能に加えて、ＣＩＰを実現するための機能を有する。本実施形態では、ＣＩＰは、イントラ予測部２１０内の局所平均符号化器２０６及び角度付きイントラ予測器２０７で実現される。

多重化解除器２０１は、入力されるビットストリームを多重化解除して、ＣＩＰ符号化ユニットサイズ情報、及びエントロピー符号化された映像ビットストリームを抽出する。図３のリスト２に示されるように、シーケンスパラメータにおいて、log2_min_coding_unit_size_minus3シンタクスとmax_coding_unit_hierarchy_depth シンタクスに後続するmax_cip_coding_unit_hierarchy_depth シンタクスを多重化解除する。さらに、多重化解除器２０１は、多重化解除したシンタクスの値を用いて、ＣＩＰヘッダであるcombined_intra_pred_flagが伝送されるＣＩＰ符号化ユニットサイズcipCodingUnitSize を以下のように決定する。

cipCodingUnitSize ＝１<<（log2_min_coding_unit_size_minus3＋３＋max_cip_coding_unit_hierarchy_depth ）

すなわち、本実施形態の多重化解除器２０１は、多重化解除したＣＩＰ符号化ユニットサイズ情報に基づいてＣＩＰヘッダを読み出す符号化ユニットのブロックサイズを決定する役割も担っている。

多重化解除器２０１は、ＣＩＰ符号化ユニットサイズ（cipCodingUnitSize ）をエントロピー復号器２０２及び復号制御器２１２に供給する。

エントロピー復号器２０２は、映像ビットストリームをエントロピー復号する。エントロピー復号器２０２は、変換量子化値を、逆変換／逆量子化器２０３に供給する。エントロピー復号器２０２は、予測パラメータを、復号制御器２１２に供給する。

エントロピー復号器２０２は、復号対象ＣＵがイントラＣＵである場合、cipCodingUnitSizeに基づいてＣＩＰヘッダを条件付きでエントロピー復号する。エントロピー復号器２０２は、復号対象ＣＵのサイズがcipCodingUnitSize以上である場合にcombined_intra_pred_flagシンタクスをエントロピー復号し、エントロピー復号した値(０：イントラ予測（ＣＩＰ符号化オフ）、１：ＣＩＰ符号化)を復号制御器２１２に供給する。そうでない場合、エントロピー復号器２０２は、combined_intra_pred_flagシンタクスをエントロピー復号しないで、combined_intra_pred_flagとして０の値を復号制御器２１２に供給する。

すなわち、本実施形態のエントロピー復号器２０２は、cipCodingUnitSize 以上のサイズのＣＵにおいてcombined_intra_pred_flagシンタクスを含むＣＩＰヘッダをビットストリームから読み出す役割も担っている。

逆変換／逆量子化器２０３は、量子化ステップ幅で、輝度及び色差の変換量子化値を逆量子化する。さらに、逆変換／逆量子化器２０３は、逆量子化した周波数変換係数を逆周波数変換する。

ピクチャバッファ２０４には、現在復号中のフレームに含まれるすべてのＣＵが復号されるまで、元の空間領域に戻された再構築予測誤差画像ブロックに予測信号（予測パラメータによって決定する、外挿値に基づくイントラ予測信号、外挿値及び隣接する再構築画像の平均値に基づくＣＩＰ信号、又はインター予測信号）が加えられた再構築画像ブロックが格納される。

デコードピクチャバッファ２０５は、再構築画像を参照画像ピクチャとして格納する。参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。また、参照画像ピクチャは、適切な表示タイミングで伸張フレームとして出力される。

イントラ予測部２１０は、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０４に格納された再構築画像を利用してイントラ予測信号又はＣＩＰ信号を生成する。

フレーム間予測器２０８は、現在復号中のフレームと表示時刻が異なる、デコードピクチャバッファ２０５に格納された参照画像を利用してフレーム間予測信号を生成する。

ＣＵがＣＩＰ符号化である場合は、復号制御部２１２は、イントラ予測部２１０におけるＣＩＰを制御する部分に、ＣＩＰ復号を実行させる。

すなわち、復号制御器２１２は、復号対象のイントラＣＵのサイズがcipCodingUnitSize 以上であり、尚且つ、combined_intra_pred_flagシンタクスが１である場合に、イントラ予測部２１０に、ＣＩＰを行わせる。具体的には、復号制御器２１２は、ＣＩＰの重み付けパラメータＷ_LCとＷ_ANG をそれぞれＷ_LC＝１６とＷ_ANG ＝１６とする。

復号制御器２１２は、その他の場合に、イントラ予測部２１０に、イントラ予測を行わせる。具体的には、復号制御器２１２は、ＣＩＰの重み付けパラメータＷ_LCとＷ_ANG をそれぞれＷ_LC＝０とＷ_ANG ＝３２とする。

イントラ予測部２１０において、局所平均予測器２０６には、ピクチャバッファ２０４に格納されている再構築画像が入力される。ＣＩＰによる予測を実行するときに、局所平均予測器２０６は、隣接画像の画素値の平均値をとって局所平均予測信号LC_PRED を生成する。

イントラ予測部２１０において、角度付きイントラ予測器２０７は、隣接する再構築画像の外挿値を計算して予測信号ANG_PRED を生成する。

さらに、イントラ予測部２１０におけるＣＩＰを制御する部分は、復号制御器２１２の制御に従って、局所平均予測信号LC_PRED と予測信号ANG_PRED とを使用してＣＩＰ信号CIP_PRED を生成する。ＣＩＰ信号CIP_PRED は、上記の（１）式によって生成される。つまり、イントラ予測部２１０におけるＣＩＰを制御する部分は、局所平均予測信号LC_PRED と予測信号ANG_PRED との重み付きの平均値を算出する。

予測信号生成後、逆変換／逆量子化器２０３で逆周波数変換された再構築予測誤差画像は、イントラ予測部２１０またはフレーム間予測器２０８から供給される予測信号が加えられる。予測信号が加えられた再構築予測誤差画像は再構築画像としてピクチャバッファ２０４に供給される。

デコードピクチャバッファ２０５は、再構築画像を参照画像ピクチャとして格納する。参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。また、参照画像ピクチャは、適切な表示タイミングで伸張フレームとして出力される。

上述した動作に基づいて、本実施形態の映像復号装置はデコード画像を生成する。

本実施形態の映像復号装置は、多重化解除したＣＩＰ符号化ユニットサイズ情報に基づいて、決定したＣＩＰ符号化ユニットサイズのイントラＣＵでＣＩＰヘッダをビットストリームから読み出し、ＣＩＰ復号を実行する。これによって、ＣＩＰヘッダのビット数の率が低いビットストリームを復号できる。

なお、映像符号化装置は、第１の実施形態で利用されたＣＩＰ符号化ユニットサイズ情報（max_cip_coding_unit_hierarchy_depth ）を、図６に示すリスト３や図７に示すリスト４に表されているように、ピクチャパラメータセットやスライスヘッダにおいて多重化できる。同様に、映像復号装置は、ピクチャパラメータセットやスライスヘッダからmax_cip_coding_unit_hierarchy_depth シンタクスを多重化解除できる。

また、max_cip_coding_unit_hierarchy_depth シンタクスを、最大符号化ユニットサイズ（MaxCodingUnitSize ）をＣＩＰ符号化ユニットサイズ（cipCodingUnitSize ）で割った値の”２”を底とするlog （対数）としてもよい。すなわち、下式を用いてもよい。

max_cip_coding_unit_hierarchy_depth＝log ２（MaxCodingUnitSize ／cipCodingUnitSize ）

この場合、映像復号装置において、ＣＩＰ符号化ユニットサイズは、max_cip_coding_unit_hierarchy_depth シンタクスに基づいて以下のように計算できる。

cipCodingUnitSize ＝１<<（log2_min_coding_unit_size_minus3＋３＋max_coding_unit_hierarchy_depth − max_cip_coding_unit_hierarchy_depth）

なお、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

図８に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３及びビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。

図８に示された情報処理システムにおいて、プログラムメモリ１００２には、図１，図５のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１，図５のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。

図９は、本発明による映像符号化装置の主要部を示すブロック図である。図９に示すように、本発明による映像符号化装置は、画像ブロックに隣接する再構築画像の外挿値を計算する外挿予測手段１２（一例として、図１に示す角度付きイントラ予測器１０８）と、被予測対象の画像に隣接する画像の平均値を計算する平均予測手段１１（一例として、図１に示す局所平均予測器１０７）と、外挿値と平均値との重み付け和を画像ブロックから減じて予測誤差を計算する予測手段１３（一例として、図１に示す変換／量子化器１０２の前段の減算器）と、予測誤差に関するデータをエントロピー符号化するエントロピー符号化手段１４（一例として、図１に示すエントロピー符号化器１０３）と、予測誤差及び外挿値に基づいて画像ブロックを再構築するイントラ予測画像再構築手段（一例として、図１に示す逆変換／逆量子化器１０４、及び再構築予測誤差画像とイントラ予測に基づく予測信号とを加算する加算器）１５と、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築する併用イントラ予測画像再構築手段１６（一例として、図１に示す逆変換／逆量子化器１０４、及び再構築予測誤差画像とＣＩＰに基づく予測信号とを加算する加算器）と、外部設定されるブロックサイズに基づいてイントラ予測画像再構築手段１５と併用イントラ予測画像再構築手段１６とのいずれかを選択する選択手段１７（一例として、図１に示すスイッチ１２２）と、外部設定されるブロックサイズに基づいて併用イントラ予測ヘッダをビットストリームに埋め込む多重化手段１８（一例として、図１に示す多重化器１１１）とを備える。

図１０は、本発明による映像復号装置の主要部を示すブロック図である。図１０に示すように、本発明による映像復号装置は、併用イントラ予測ブロックサイズ情報を含むビットストリームを多重化解除する多重化解除手段２１（一例として、図５に示す多重化解除器２０１）と、多重化解除手段２１が多重化解除した併用イントラ予測ブロックサイズ情報に基づいて併用イントラ予測ヘッダに基づいてビットストリームから読み出す併用イントラ予測ブロックサイズを決定するブロックサイズ決定手段２２（一例として、図５に示すエントロピー復号器２０２で実現される。）と、ビットストリームに含まれる画像ブロックの予測誤差に関するデータをエントロピー復号するエントロピー復号手段２３（一例として、図５に示すエントロピー復号器２０２）と、画像ブロックに隣接する再構築画像の外挿値を計算する外挿予測手段２４（一例として、図５に示す角度付きイントラ予測器２０７）と、被予測対象の画像に隣接する再構築画像の平均値を計算する平均予測手段２５（一例として、図５に示す局所平均予測器２０６）と、予測誤差及び外挿値に基づいて画像ブロックを再構築するイントラ予測画像再構築手段２６（一例として、図５に示す逆変換／逆量子化器２０３、及び再構築予測誤差画像ブロックとイントラ予測に基づく予測信号とを加算する加算器）と、予測誤差、外挿値、及び、平均値に基づいて画像ブロックの画像を再構築する併用イントラ予測画像再構築手段２７（一例として、図５に示す逆変換／逆量子化器２０３、及び再構築予測誤差画像ブロックとＣＩＰに基づく予測信号とを加算する加算器）と、ブロックサイズ決定手段２８が決定した併用イントラ予測ブロックサイズで併用イントラ予測ヘッダをビットストリームから読み出す読み出し手段２８（一例として、図５に示すエントロピー復号器２０２で実現される。）と、読み出し手段２８が読み出した併用イントラ予測ヘッダに基づいてイントラ予測画像再構築手段２６と併用イントラ予測画像再構築手段２７とのいずれかで画像ブロックを再構築させる制御手段２９（一例として、図５に示す復号制御器２１２）とを備える。

図１１は、本発明による映像符号化方法の主要ステップを示すフローチャートである。図１１に示すように、本発明による映像符号化方法では、画像ブロックに隣接する再構築画像の外挿値を計算し（ステップＳ１０１）、被予測対象の画像に隣接する画像の平均値を計算し（ステップＳ１０２）、外挿値と平均値との重み付け和を画像ブロックから減じて予測誤差を計算し（ステップＳ１０３）、予測誤差に関するデータをエントロピー符号化し（ステップＳ１０４）、外部設定されるブロックサイズに基づいて、予測誤差及び外挿値に基づいて画像ブロックを再構築して生成されるイントラ予測画像と、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築して生成される併用イントラ予測画像とのいずれかを選択し（ステップＳ１０５）、外部設定されるブロックサイズに基づいて併用イントラ予測ヘッダをビットストリームに埋め込む（ステップＳ１０６）。

図１２は、本発明による映像復号方法の主要ステップを示すフローチャートである。図１２に示すように、本発明による映像復号方法では、併用イントラ予測ブロックサイズ情報を含むビットストリームを多重化解除し（ステップＳ２０１）、多重化解除した併用イントラ予測ブロックサイズ情報に基づいて併用イントラ予測ヘッダをビットストリームから読み出す併用イントラ予測ブロックサイズを決定し（ステップＳ２０２）、ビットストリームに含まれる画像ブロックの予測誤差に関するデータをエントロピー復号し（ステップＳ２０３）、被予測対象の画像ブロックに隣接する再構築画像の外挿値を計算し（ステップＳ２０４）、画像に隣接する再構築画像の平均値を計算し（ステップＳ２０５）、併用イントラ予測ブロックサイズに基づいて併用イントラ予測ヘッダをビットストリームから読み出し（ステップＳ２０６）、読み出した併用イントラ予測ヘッダに基づいて、予測誤差及び外挿値に基づいて画像ブロックを再構築して生成されるイントラ予測画像と、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築して生成される併用イントラ予測画像とのいずれかを選択して画像ブロックを再構築する（ステップＳ２０７）。

１１ 平均予測手段
１２ 外挿予測手段
１３ 予測手段
１４ エントロピー符号化手段
１５ イントラ予測画像再構築手段
１６ 併用イントラ予測画像再構築手段
１７ 選択手段
１８ 多重化手段
２１ 多重化解除手段
２２ ブロックサイズ決定手段
２３ エントロピー復号手段
２４ 外挿予測手段
２５ 平均予測手段
２６ イントラ予測画像再構築手段
２７ 併用イントラ予測画像再構築手段
２８ 読み出し手段
２９ 制御手段
１０２ 変換／量子化器
１０３ エントロピー符号化器
１０４ 逆変換／逆量子化器
１０５ ピクチャバッファ
１０６ デコードピクチャバッファ
１０７ 局所平均予測器
１０８ 角度付きイントラ予測器
１０９ フレーム間予測器
１１０ イントラ予測部
１１１ 多重化器
１１２ 符号化制御器
１２１ スイッチ
１２２ スイッチ
２０１ 多重化解除器
２０２ エントロピー復号器
２０３ 逆変換／逆量子化器
２０４ ピクチャバッファ
２０５ デコードピクチャバッファ
２０６ 局所平均予測器
２０７ 角度付きイントラ予測器
２０８ フレーム間予測器
２１０ イントラ予測部
２１２ 復号制御部
１００１ プロセッサ
１００２ プログラムメモリ
１００３ 記憶媒体
１００４ 記憶媒体

Claims (12)

1. 画像ブロックに隣接する再構築画像の外挿値を計算する外挿予測手段と、
   被予測対象の画像に隣接する画像の平均値を計算する平均予測手段と、
   前記外挿値と前記平均値との重み付け和を画像ブロックから減じて予測誤差を計算する予測手段と、
   前記予測誤差に関するデータをエントロピー符号化するエントロピー符号化手段と、
   前記予測誤差及び前記外挿値に基づいて画像ブロックを再構築するイントラ予測画像再構築手段と、
   前記予測誤差、前記外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築する併用イントラ予測画像再構築手段と、
   外部設定されるブロックサイズに基づいてイントラ予測画像再構築手段と併用イントラ予測画像再構築手段とのいずれかを選択する選択手段と、
   前記外部設定されるブロックサイズに基づいて併用イントラ予測ヘッダをビットストリームに埋め込む多重化手段とを備える
   ことを特徴とする映像符号化装置。
2. 前記多重化手段は、前記外部設定されるブロックサイズをシグナリングするための併用イントラ予測ブロックサイズ情報をビットストリームに埋め込む請求項１記載の映像符号化装置。
3. 前記外部設定されるブロックサイズは最大符号化ユニットサイズに対応するブロックサイズの４のＮ乗分の１以上である請求項２記載の映像符号化装置。
4. 前記外部設定されるブロックサイズは最小符号化ユニットサイズに対応するブロックサイズの４のＮ乗倍以上である請求項２記載の映像符号化装置。
5. 併用イントラ予測ブロックサイズ情報を含むビットストリームを多重化解除する多重化解除手段と、
   前記多重化解除手段が多重化解除した併用イントラ予測ブロックサイズ情報に基づいて併用イントラ予測ヘッダをビットストリームから読み出す併用イントラ予測ブロックサイズを決定するブロックサイズ決定手段と、
   ビットストリームに含まれる画像ブロックの予測誤差に関するデータをエントロピー復号するエントロピー復号手段と、
   画像ブロックに隣接する再構築画像の外挿値を計算する外挿予測手段と、
   被予測対象の画像に隣接する再構築画像の平均値を計算する平均予測手段と、
   前記予測誤差及び前記外挿値に基づいて画像ブロックを再構築するイントラ予測画像再構築手段と、
   前記予測誤差、前記外挿値、及び、前記平均値に基づいて画像ブロックの画像を再構築する併用イントラ予測画像再構築手段と、
   前記ブロックサイズ決定手段が決定した前記併用イントラ予測ブロックサイズに基づいて併用イントラ予測ヘッダをビットストリームから読み出す読み出し手段と、
   前記読み出し手段が読み出した併用イントラ予測ヘッダに基づいてイントラ予測画像再構築手段と併用イントラ予測画像再構築手段とのいずれかで画像ブロックを再構築させる制御手段とを備える
   ことを特徴とする映像復号装置。
6. 前記多重化解除手段は、ビットストリームを多重化解除してブロックサイズがシグナリングされる併用イントラ予測ブロックサイズ情報を取得する請求項５記載の映像復号装置。
7. 前記ブロックサイズは最大符号化ユニットサイズに対応するブロックサイズの４のＮ乗分の１以上である請求項６記載の映像復号装置。
8. 前記ブロックサイズは最小符号化ユニットサイズに対応するブロックサイズの４のＮ乗倍以上である請求項６記載の映像復号装置。
9. 画像ブロックに隣接する再構築画像の外挿値を計算し、
   被予測対象の画像に隣接する画像の平均値を計算し、
   前記外挿値と前記平均値との重み付け和を画像ブロックから減じて予測誤差を計算し、
   前記予測誤差に関するデータをエントロピー符号化し、
   外部設定されるブロックサイズに基づいて、前記予測誤差及び前記外挿値に基づいて画像ブロックを再構築して生成されるイントラ予測画像と、前記予測誤差、前記外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築して生成される併用イントラ予測画像とのいずれかを選択し、
   前記外部設定されるブロックサイズに基づいて併用イントラ予測ヘッダをビットストリームに埋め込む
   ことを特徴とする映像符号化方法。
10. 併用イントラ予測ブロックサイズ情報を含むビットストリームを多重化解除し、
    多重化解除した前記併用イントラ予測ブロックサイズ情報に基づいて併用イントラ予測ヘッダをビットストリームから読み出す併用イントラ予測ブロックサイズを決定し、
    ビットストリームに含まれる画像ブロックの予測誤差に関するデータをエントロピー復号し、
    画像ブロックに隣接する再構築画像の外挿値を計算し、
    被予測対象の画像に隣接する再構築画像の平均値を計算し、
    前記併用イントラ予測ブロックサイズに基づいて併用イントラ予測ヘッダをビットストリームから読み出し、
    読み出した併用イントラ予測ヘッダに基づいて、前記予測誤差及び前記外挿値に基づいて画像ブロックを再構築して生成されるイントラ予測画像と、前記予測誤差、前記外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築して生成される併用イントラ予測画像とのいずれかを選択して画像ブロックを再構築する
    ことを特徴とする映像復号方法。
11. コンピュータに、
    画像ブロックに隣接する再構築画像の外挿値を計算する処理と、
    画像に隣接する画像の平均値を計算する処理と、
    前記外挿値と前記平均値との重み付け和を画像ブロックから減じて予測誤差を計算する処理と、
    前記予測誤差に関するデータをエントロピー符号化する処理と、
    外部設定されるブロックサイズに基づいて、前記予測誤差及び前記外挿値に基づいて画像ブロックを再構築して生成されるイントラ予測画像と、前記予測誤差、前記外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築して生成される併用イントラ予測画像とのいずれかを選択する処理と、
    前記外部設定されるブロックサイズに基づいて併用イントラ予測ヘッダをビットストリームに埋め込む処理と
    を実行させるための映像符号化プログラム。
12. コンピュータに、
    併用イントラ予測ブロックサイズ情報を含むビットストリームを多重化解除する処理と、
    多重化解除した前記併用イントラ予測ブロックサイズ情報に基づいて併用イントラ予測ヘッダをビットストリームから読み出す併用イントラ予測ブロックサイズを決定する処理と、
    ビットストリームに含まれる画像ブロックの予測誤差に関するデータをエントロピー復号する処理と、
    画像ブロックに隣接する再構築画像の外挿値を計算する処理と、
    画像に隣接する再構築画像の平均値を計算する処理と、
    前記併用イントラ予測ブロックサイズに基づいて併用イントラ予測ヘッダをビットストリームから読み出す処理と、
    読み出した併用イントラ予測ヘッダに基づいて、前記予測誤差及び前記外挿値に基づいて画像ブロックを再構築して生成されるイントラ予測画像と、前記予測誤差、前記外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築して生成される併用イントラ予測画像とのいずれかを選択して画像ブロックを再構築する処理と
    を実行させるための映像復号プログラム。

Images