JP2012138774A - 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム - Google Patents

Abstract

【課題】ＣＩＰを使用する映像符号化装置及び映像復号装置において、符号化処理及び復号処理のスループットを向上させる。
【解決手段】映像符号化装置は、画像ブロックに隣接する再構築画像の外挿値を計算する外挿予測手段１２と、被予測対象の画像に隣接する画像の平均値を計算する平均予測手段１１と、外挿値と平均値との重み付け和を画像ブロックから減じて予測誤差を計算する予測手段１３と、予測誤差に関するデータをエントロピー符号化するエントロピー符号化手段１４と、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築する併用イントラ予測画像再構築手段１５とを備え、併用イントラ予測画像再構築手段１５は、後続画像ブロックとの境界位置の画像については予測誤差及び外挿値のみに基づいて画像ブロックの画像を再構築する。
【選択図】図５

Description

本発明は、ＣＩＰ符号化を用いる映像符号化装置及び映像復号装置に関する。

一般に、映像符号化装置は、外部から入力される動画像信号をディジタル化した後、所定の映像符号化方式に準拠した符号化処理を行うことで符号化データすなわちビットストリームを生成する。所定の映像符号化方式として非特許文献１に記載されたISO/IEC 14496-10 Advanced Video Coding（ＡＶＣ）がある。

非特許文献１に記載されているような映像符号化方式では、フレームをマクロブロック（ＭＢ：Macro Block ）と呼ばれる１６×１６画素サイズのブロックに分割し、フレームの左上から順に各ＭＢを符号化する。非特許文献１に記載されているＡＶＣにおいては、ＭＢをさらに４×４画素サイズのブロックにブロック分割し、各４×４ブロックを符号化する。

図９は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。以下、説明の簡略化のために、輝度の画素値のみに着目して説明を行う。

ブロックに分割された入力映像は、映像符号化装置における予測器から供給される予測信号が減じられて、映像符号化装置における変換／量子化器に入力される。予測信号には、イントラ予測信号とフレーム間予測信号の２種類がある。それぞれの予測信号を説明する。イントラ予測信号は、バッファに格納された現在のピクチャと表示時刻が同一である再構築ピクチャの画像に基づいて生成される予測信号である。

非特許文献１の8.3.1 Intra_４×４ prediction process for luma samples、8.3.2 Intra_８×８ prediction process for luma samples、及び8.3.3 Intra_１６×１６ prediction process for luma samplesを引用すると、３種類のブロックサイズのイントラ予測Intra_４×４、Intra_８×８、Intra_１６×１６がある。

Intra_４×４とIntra_８×８は、図１０の（ａ）と（ｃ）を参照すると、それぞれ４×４ブロックサイズと８×８ブロックサイズのイントラ予測であることが分かる。ただし、図面の丸（○）はイントラ予測に用いる参照画素、つまり、現在のピクチャと表示時刻が同一である再構築ピクチャの画素である。

Intra_４×４のイントラ予測では、再構築した周辺画素をそのまま参照画素とし、図１０の（ｂ）に示す９種類の方向に参照画素をパディング（外挿）して予測信号を形成する。Intra_８×８のイントラ予測では、図１０の（ｃ）の右矢印の下に記載のローパスフィルタ（１／２，１／４，１／２）によって再構築ピクチャの画像の周辺画素を平滑化した画素を参照画素として、図１０の（ｂ）に示す９種類の方向に参照画素を外挿して予測信号を形成する。

一方、Intra_１６×１６は、図１１の（ａ）を参照すると、１６×１６ブロックサイズのイントラ予測であることが分かる。図１０と同様に図面の丸（○）はイントラ予測に用いる参照画素、つまり、現在のピクチャと表示時刻が同一である再構築ピクチャの画素である。Intra_１６×１６のイントラ予測では、再構築ピクチャの画像の周辺画素をそのまま参照画素として、図１１の（ｂ）に示す４種類の方向に参照画素を外挿して予測信号を形成する。

以下、イントラ予測信号を用いて符号化されるＭＢ及びブロックをそれぞれイントラＭＢ及びイントラブロックと呼ぶ。イントラ予測のブロックサイズをイントラ予測ブロックサイズと呼ぶ。また、外挿の方向をイントラ予測方向と呼ぶ。なお、イントラ予測ブロックサイズ及びイントラ予測方向は、イントラ予測に関する予測パラメータである。

フレーム間予測信号は、バッファに格納された現在のピクチャと表示時刻が異なる再構築ピクチャの画像から生成される予測信号である。以下、フレーム間予測信号を用いて符号化されるＭＢ及びブロックをそれぞれインターＭＢ及びインターブロックと呼ぶ。インター予測のブロックサイズ（インター予測ブロックサイズ）として、例えば、１６×１６，１６×８，８×１６，８×８，８×４，４×８，４×４を選択することができる。

図１２は、１６×１６のブロックサイズを例にしたフレーム間予測の例を示す説明図である。図１２に示す動きベクトルＭＶ＝（mv_x，mv_y）は、符号化対象ブロックに対する参照ピクチャのフレーム間予測ブロック（フレーム間予測信号）の平行移動量を示す、フレーム間予測の予測パラメータである。ＡＶＣにおいては、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向を表すフレーム間予測の方向に加えて、符号化対象ブロックのフレーム間予測に用いる参照ピクチャを同定するための参照ピクチャインデックスもフレーム間予測の予測パラメータである。ＡＶＣにおいては、バッファ１０５に格納された複数枚の参照ピクチャをフレーム間予測に利用できるからである。

なお、フレーム間予測のより詳細な説明が、非特許文献１の8.4 Inter prediction processに記載されている。

また、イントラＭＢのみで符号化されたピクチャはＩピクチャと呼ばれる。イントラＭＢだけでなくインターＭＢも含めて符号化されたピクチャはＰピクチャと呼ばれる。フレーム間予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターＭＢを含めて符号化されたピクチャはＢピクチャと呼ばれる。また、Ｂピクチャにおいて、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向が過去のフレーム間予測を前方向予測、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向が未来のフレーム間予測を後方向予測、過去と未来を含むフレーム間予測を双方向予測とそれぞれ呼ぶ。なお、フレーム間予測の方向（インター予測方向）は、フレーム間予測の予測パラメータである。

非特許文献２では、改良されたイントラ予測として、参照画像から生成される角度付き予測（Angular prediction）信号と局所平均予測（local mean prediction ）信号の重み付け予測とに基づく併用イントラ予測（Combined Intra Prediction ：ＣＩＰ）が提案されている。

ISO/IEC 14496-10 Advanced Video Coding "Test Model under Consideration", Document: JCTVC-B205, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010

図１３は、ＣＩＰで使用される局所平均予測の概念を示す説明図である。ＣＩＰで使用される局所平均予測では、入力された画像ブロックまたは再構築画像における、現在の画像ブロックに隣接する画像（隣接画像）の画素値の平均値（具体的には、重み付き平均値）を局所平均予測信号とする。

なお、図１３において短い矢印で示されているように、隣接画像は、現在のフレーム画像の左側、左上側及び直上のものである。また、図１３には、角度付き予測も例示されている。すなわち、画像ブロックに隣接する再構築画像から延びる矢印は、角度付き予測を示す。よって、図１３において、「二予測重み付き結合」は、ＣＩＰを意味している。

図１４は、ＣＩＰで使用される角度付き予測の概念を示す説明図である。角度付き予測は、画像ブロックに隣接する再構築画像の外挿値を計算して予測信号を生成する予測である。８×８ＰＵでは、予測方向として、ＤＣ、図１４において破線で示す右斜め下、図１４において破線よりも右側の実線で示す１６の垂直方向、及び図１４において破線の左側の実線で示す１６の水平方向の計３４の方向がある。８×８ＰＵでは、画像ブロックに隣接する再構築画像の画素を参照画素として、図１４に示す３４種類の方向に参照画素を外挿して予測信号を形成する。なお、４×４ＰＵでは１７の予測方向、１６×１６ＰＵでは３４の予測方向、３２×３２ＰＵでは３４の予測方向、６４×６４ＰＵでは５の予測方向がある。

ＣＩＰ符号化を用いる映像符号化装置は、図１５に示すように構成される。以下、図１５に示される映像符号化装置を一般的な映像符号化装置と呼ぶ。

図１５を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する、一般的な映像符号化装置の構成と動作を説明する。

図１５に示された映像符号化装置は、変換／量子化器１０２、エントロピー符号化器１０３、逆変換／逆量子化器１０４、ピクチャバッファ１０５、デコードピクチャバッファ１０６、フレーム間予測器（インター予測器）１０９、イントラ予測部１１０、符号化制御器１１１、スイッチ１２１、及びスイッチ１２２を備える。イントラ予測部１１０は、ピクチャバッファ１０５に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する機能に加えて、ＣＩＰ符号化を実現するための機能を有する。図１５に例示する構成では、ＣＩＰ符号化は、イントラ予測部１１０内の局所平均符号化器１０７及び角度付きイントラ予測器１０８で実現される。

符号化制御部１１１は、イントラ予測信号、ＣＩＰ信号、及び、フレーム間予測信号を、入力映像とそれぞれ比較する。符号化制御部１１１は、予測誤差画像ブロックのエネルギーが最も小さくなる予測信号を選択する。符号化制御部１１２は、予測信号としてＣＩＰ信号を選択した場合、ＣＩＰの重み付けパラメータＷ_LCとＷ_ANG をそれぞれＷ_LC＝１６とＷ_ANG ＝１６とする。符号化制御部１１１は、予測信号としてＣＩＰ信号以外を選択した場合、Ｗ_LC＝０とＷ_ANG ＝３２とする。

符号化制御部１１１は、選択した予測信号が符号化に利用されるように、スイッチ１２２を制御する。また、選択した予測信号に関連する予測パラメータをエントロピー符号化器１０３に供給する。

イントラ予測信号は、ピクチャバッファ１０５に格納された、現在のピクチャと表示時刻が同一である再構築ピクチャの画像に基づいて生成される予測信号である。ＣＩＰ信号は、ピクチャバッファ１０５に格納された、現在のピクチャと表示時刻が同一である再構築ピクチャの画像、又は当該再構築ピクチャの画像と入力画像とに基づいて生成される予測信号である。

変換／量子化器１０２は、入力画像から予測信号が減じられた画像（予測誤差画像）を周波数変換する。変換／量子化器１０２は、さらに、所定の量子化ステップ幅Ｑs で、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値と呼ぶ。

エントロピー符号化器１０３は、予測パラメータと変換量子化値をエントロピー符号化する。予測パラメータとは、ブロックタイプ（ＣＩＰ、イントラ予測及びインター予測）、ＣＩＰヘッダ、イントラブロックサイズ、イントラ予測方向、インター予測ブロックサイズ、及び動きベクトルなど、ブロックの予測に関連した情報である。なお、ＣＩＰヘッダは、ＣＩＰ符号化のオン・オフを示す情報である。

逆変換／逆量子化器１０４は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号（外挿値に基づくイントラ予測信号、外挿値及び隣接する再構築画像の平均値に基づくＣＩＰ信号、又はインター予測信号）が加えられて、スイッチ１２１及びピクチャバッファ１０５に供給される。

ピクチャバッファ１０５には、現在のフレームに含まれる全てのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。ピクチャバッファ１０５において再構築画像によって構成されるピクチャを再構築画像ピクチャという。

イントラ予測部１１０において、局所平均予測器１０７には、スイッチ１２１を介して入力映像又はピクチャバッファ１０５に格納されている再構築画像が入力される。なお、スイッチ１２１は、符号化制御部１１１の制御により、再構築画像が未だ形成されていない時点では、入力映像が局所平均予測器１０７に入力されるように切り替えられる。局所平均予測器１０７は、図１３に示されるように、現在のフレーム画像に隣接する隣接画像の画素値の平均値をとって局所平均予測信号LC_PRED を生成する。

イントラ予測部１１０において、角度付きイントラ予測器１０８は、図１４に示されるように、隣接する再構築画像の外挿値を計算して予測信号ANG_PRED を生成する。

さらに、イントラ予測部１１０におけるＣＩＰを制御する部分は、符号化制御器１１１の制御に従って、局所平均予測信号LC_PRED と予測信号ANG_PRED とを使用してＣＩＰ信号CIP_PRED を生成する。ＣＩＰ信号CIP_PRED は、（１）式によって生成される。つまり、イントラ予測部１１０におけるＣＩＰを制御する部分は、局所平均予測信号LC_PRED と予測信号ANG_PRED との重み付きの平均値を算出する。

CIP_PRED ＝（Ｗ_ANG ＊ANG_PRED （ｘ，ｙ）＋Ｗ_LC＊LC_PRED （ｘ，ｙ）＋１６）／３２ ・・・（１）

なお、（１）式において、（ｘ，ｙ）は、現在のフレーム画像における画素の座標値を示す。（１）式から分かるように、符号化制御部１１１がＣＩＰの重み付けパラメータをＷ_LC＝０とＷ_ANG ＝３２に設定した場合、式（１）より、ＣＩＰ信号CIP_PREDは、通常のイントラ予測信号ANG_PREDと同一である。

図１５に示された映像符号化装置は、上述した処理によって、ビットストリームを生成する。

局所平均予測器１０７は、図１３に示されるように、入力された画像ブロックまたは再構築画像における隣接画像として、現在のフレーム画像の左側、左上側及び直上の画像を使用する。

よって、図１６に示すように、画像ブロック内で、局所平均予測に起因する画像の依存関係が発生する。図１６において、矢印の先端は、参照元の画像を示す。なお、図１６において、斜め方向の依存関係は記載省略されている。

図１７は、後続画像ブロックに隣接する隣接ブロックを示す説明図である。図１７でも、図１６に示す例と同様に、矢印は依存関係を示す。図１６及び図１７に示すような依存関係があることから、画像ブロック（図１６及び図１７に示す例では、８×８ＰＵ）において右端及び下端に位置する画像は、それらよりも内側にある画像（図１７において斜線が施されていない各矩形に相当）が再構築されない限り、再構築されない。

現在のＣＩＰ符号化の対象である８×８ＰＵの次にＣＩＰの対象になる後続画像ブロック（図１７において図示せず）に着目すると、現在のＣＩＰ符号化の対象である画像ブロックにおける右端及び下端に位置する画像が再構築されない限り、ＣＩＰによる符号化を開始できない。以下、画像ブロックにおける右端及び下端に位置する画像を「境界位置の画像」と呼ぶ。

現在のＣＩＰ符号化の対象である画像ブロックにおいて内側の画像が再構築されない限り境界位置の画像は再構築されず、かつ、境界位置の画像が再構築されない限り後続画像ブロックに関するＣＩＰによる符号化を開始できないことは、符号化処理のスループットを向上させることに対して妨げになる。

映像復号装置においても、現在のＣＩＰ復号の対象である画像ブロックにおいて内側の画像が再構築されない限り境界位置の画像は再構築されず、かつ、境界位置の画像が再構築されない限り後続画像ブロックに関するＣＩＰによる復号を開始できないことは、復号処理のスループットを向上させることに対して妨げになる。

本発明は、ＣＩＰを使用する映像符号化装置及び映像復号装置において、符号化処理及び復号処理のスループットを向上させることを目的とする。

本発明による映像符号化装置は、画像ブロックに隣接する再構築画像の外挿値を計算する外挿予測手段と、被予測対象の画像に隣接する画像の平均値を計算する平均予測手段と、外挿値と平均値との重み付け和を画像ブロックから減じて予測誤差を計算する予測手段と、予測誤差に関するデータをエントロピー符号化するエントロピー符号化手段と、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築する併用イントラ予測画像再構築手段とを備え、併用イントラ予測画像再構築手段は、後続画像ブロックとの境界位置の画像については予測誤差及び外挿値のみに基づいて画像ブロックの画像を再構築することを特徴とする。

本発明による映像復号装置は、ビットストリームに含まれる画像ブロックの予測誤差に関するデータをエントロピー復号するエントロピー復号手段と、画像ブロックに隣接する再構築画像の外挿値を計算する外挿予測手段と、被予測対象の画像に隣接する再構築画像の平均値を計算する平均予測手段と、予測誤差、外挿値、及び、平均値に基づいて画像ブロックの画像を再構築する併用イントラ予測画像再構築手段とを備え、併用イントラ予測画像再構築手段は、後続画像ブロックとの境界位置の画像については予測誤差及び外挿値のみに基づいて画像ブロックの画像を再構築することを特徴とする。

本発明による映像符号化方法は、画像ブロックに隣接する再構築画像の外挿値を計算し、被予測対象の画像に隣接する画像の平均値を計算し、外挿値と平均値との重み付け和を画像ブロックから減じて予測誤差を計算し、予測誤差に関するデータをエントロピー符号化し、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築し、画像ブロックの画像を再構築するときに、後続画像ブロックとの境界位置の画像については予測誤差及び外挿値のみに基づいて画像ブロックの画像を再構築することを特徴とする。

本発明による映像復号方法は、ビットストリームに含まれる画像ブロックの予測誤差に関するデータをエントロピー復号し、画像ブロックに隣接する再構築画像の外挿値を計算し、被予測対象の画像に隣接する再構築画像の平均値を計算し、予測誤差、外挿値、及び、平均値に基づいて画像ブロックの画像を再構築し、併用イントラ予測画像再構築手段は、後続画像ブロックとの境界位置の画像については予測誤差及び外挿値のみに基づいて画像ブロックの画像を再構築することを特徴とする。

本発明による映像符号化プログラムは、コンピュータに、画像ブロックに隣接する再構築画像の外挿値を計算する処理と、被予測対象の画像に隣接する画像の平均値を計算する処理と、外挿値と平均値との重み付け和を画像ブロックから減じて予測誤差を計算する処理と、予測誤差に関するデータをエントロピー符号化する処理と、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築する処理とを実行させ、画像ブロックの画像を再構築する処理で、後続画像ブロックとの境界位置の画像については予測誤差及び外挿値のみに基づいて画像ブロックの画像を再構築する処理を実行させることを特徴とする。

本発明による映像復号プログラムは、コンピュータに、画像ブロックに隣接する再構築画像の外挿値を計算する処理と、被予測対象の画像に隣接する画像の平均値を計算する処理と、外挿値と平均値との重み付け和を画像ブロックから減じて予測誤差を計算する処理と、予測誤差に関するデータをエントロピー符号化する処理と、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築する処理とを実行させ、画像ブロックの画像を再構築する処理で、後続画像ブロックとの境界位置の画像については予測誤差及び外挿値のみに基づいて画像ブロックの画像を再構築する処理とを実行させることを特徴とする。

本発明によれば、ＣＩＰを使用する映像符号化装置及び映像復号装置において、符号化の並列処理及び復号の並列処理が可能になり、符号化処理及び復号処理のスループットを向上させることができる。

第１の実施形態の映像符号化装置のブロック図である。 本発明のＣＩＰ符号化の概念を示す説明図である。 第２の実施形態の映像復号装置のブロック図である。 本発明による映像符号化装置及び映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本発明による映像符号化装置の主要部を示すブロック図である。 本発明による映像復号装置の主要部を示すブロック図である。 本発明による映像符号化装置の処理を示すフローチャートである。 本発明による映像復号装置の処理を示すフローチャートである。 ブロック分割の例を示す説明図である。 予測の種類を説明するための説明図である。 予測の種類を説明するための説明図である。 １６×１６のブロックサイズを例にしたフレーム間予測の例を示す説明図である。 ＣＩＰで使用される局所平均予測の概念を示す説明図である。 ＣＩＰで使用される角度付き予測の概念を示す説明図である。 一般的な映像符号化装置の構成を示すブロック図である。 局所平均予測の依存関係を示す説明図である。 後続画像ブロックに隣接する隣接ブロックを示す説明図である。

実施形態１．
第１の実施形態では、画像ブロックにおける所定位置の画像については、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築するが、後続画像ブロックに隣接する境界位置の画像については、隣接する再構築画像の平均値を使用せずにＣＩＰ符号化を行う映像符号化装置を示す。

図１に示すように、本実施形態の映像符号化装置は、変換／量子化器１０２、エントロピー符号化器１０３、逆変換／逆量子化器１０４、ピクチャバッファ１０５、デコードピクチャバッファ１０６、フレーム間予測器（インター予測器）１０９、イントラ予測部１１０、符号化制御器１１２、スイッチ１２１、及びスイッチ１２２を備える。

符号化制御部１１２は、イントラ予測信号、ＣＩＰ信号、及び、フレーム間予測信号を、入力映像とそれぞれ比較する。符号化制御部１１２は、予測誤差画像ブロックのエネルギーが最も小さくなる予測信号を選択する。符号化制御部１１２は、予測信号としてＣＩＰ信号を選択した場合、ＣＩＰの重み付けパラメータＷ_LCとＷ_ANG をそれぞれＷ_LC＝１６とＷ_ANG ＝１６とする。符号化制御部１１２は、予測信号としてＣＩＰ信号以外を選択した場合、Ｗ_LC＝０とＷ_ANG ＝３２となるように制御する。

ただし、本実施形態の符号化制御器１１２は、イントラ予測部１１０に対して、後続画像ブロックに隣接する境界位置の画像について実質的に局所平均符号化器１０７を動作させないように、前記境界位置の画像の符号化に際しては、Ｗ_LC＝０とＷ_ANG ＝３２と制御する。

符号化制御部１１２は、選択した予測信号が符号化に利用されるように、スイッチ１２２を制御する。また、選択した予測信号に関連する予測パラメータをエントロピー符号化器１０３に供給する。

イントラ予測部１１０は、ピクチャバッファ１０５に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する機能に加えて、ＣＩＰ符号化を実現するための局所平均符号化器１０７及び角度付きイントラ予測器１０８を含む。

変換／量子化器１０２は、入力画像から予測信号が減じられた画像（予測誤差画像）を周波数変換する。変換／量子化器１０２は、さらに、所定の量子化ステップ幅Ｑs で、周波数変換した予測誤差画像（周波数変換係数）を量子化する。

エントロピー符号化器１０３は、フレーム間予測器１０９又はイントラ予測部１１０から供給される予測パラメータ、及び変換／量子化器１０２から供給される変換量子化値をエントロピー符号化する。予測パラメータとは、ブロックタイプ（ＣＩＰ、イントラ予測、及びインター予測）、ＣＩＰヘッダ、イントラブロックサイズ、イントラ予測ブロックサイズ、イントラ予測方向、インター予測ブロックサイズ、及び動きベクトルなど、符号化対象ＣＵの予測に関連した情報である。

逆変換／逆量子化器１０４は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号（外挿値に基づくイントラ予測信号、外挿値及び隣接する再構築画像の平均値に基づくＣＩＰ信号、又はインター予測信号）が加えられて、スイッチ１２１及びピクチャバッファ１０５に供給される。

イントラ予測部１１０は、イントラ予測時に、ピクチャバッファ１０５に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。

イントラ予測部１１０において、局所平均予測器１０７には、スイッチ１２１を介して入力映像又はピクチャバッファ１０５に格納されている再構築画像が入力される。ＣＩＰによる予測を実行するときに、局所平均予測器１０７は、図１３に示されるように、隣接画像の画素値の平均値をとって局所平均予測信号LC_PRED を生成する。

また、イントラ予測部１１０において、ＣＩＰによる予測を実行するときに、角度付きイントラ予測器１０８は、図１４に示されるように、隣接する再構築画像の外挿値を計算して予測信号ANG_PRED を生成する。

さらに、イントラ予測部１１０におけるＣＩＰを制御する部分は、符号化制御器１１２の制御に従って、局所平均予測信号LC_PRED と予測信号ANG_PRED とを使用してＣＩＰ信号CIP_PRED を生成する。ＣＩＰ信号CIP_PRED は、（１）式によって生成される。つまり、イントラ予測部１１０におけるＣＩＰを制御する部分は、局所平均予測信号LC_PRED と予測信号ANG_PRED との重み付きの平均値を算出する。

ただし、符号化制御器１１２は、ＣＩＰによる符号化が行われているときに、被予測画像が後続画像ブロックとの境界位置の画像（図１７参照）であるタイミングでは、イントラ予測部１１０が局所平均予測信号LC_PRED を使用しないように制御する（上述したように、本実施形態の符号化制御器１１２は、前記境界位置の画像の符号化に際しては、Ｗ_LC＝０とＷ_ANG ＝３２となるように制御する。）。

一例として、符号化制御器１１２は、イントラ予測部１１０に、LC_PRED の係数を０とし、ANG_PRED の係数を３２とした演算を実行させる。

上述した動作に基づいて、発明の映像符号化装置はビットストリームを生成する。

図２は、本実施形態のＣＩＰ符号化の概念を示す説明図である。図２に示すように、映像符号化装置は、画像ブロックにおいて後続画像ブロックとの境界位置よりも内側にある画像を符号化する際に、画像の左側、左上側及び直上の隣接画像を使用して局所平均予測を実行するとともに、角度付きイントラ予測を実行する（図２における矢印参照）。すなわち、ＣＩＰ符号化を実行する。なお、図２には、内側にある画像における一画素のみにおいてＣＩＰ符号化が実行される例が示されているが、実際には、映像符号化装置は、内側にある画像の全ての画素についてＣＩＰ符号化を実行する。

しかし、映像符号化装置は、後続画像ブロックとの境界位置にある画像を符号化する際に、局所平均予測を使用せず、角度付きイントラ予測のみを実行する（図２における長い矢印参照）。

上述したように、本実施形態の映像符号化装置は、ＣＩＰ符号化時に、後続画像ブロックとの境界位置の被予測画像については、局所平均予測を使用しない。ゆえに、境界位置の画像が再構築される前に後続画像ブロックの符号化を開始できる。よって、映像符号化装置に並列処理性能を持たせることができるので、符号化処理のスループットを向上させることができる。

実施形態２．
第２の実施形態では、ビットストリームを復号する映像復号装置を示す。

本実施形態の映像復号装置は、画像ブロックにおける所定位置の画像については、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築するが、後続画像ブロックに隣接する境界位置の画像については、隣接する再構築画像の平均値を使用せずに復号処理を行う映像復号装置である。

図３に示すように、本実施形態の映像復号装置は、エントロピー復号器２０２、逆変換／逆量子化器２０３、ピクチャバッファ２０４、デコードピクチャバッファ２０５、イントラ予測部２１０、フレーム間予測器（インター予測器）２０８、復号制御器２１２、及びスイッチ２２１を備える。イントラ予測部２１０は、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０４に格納された再構築画像を利用してイントラ予測信号を生成する機能に加えて、局所平均符号化器２０６及び角度付きイントラ予測器２０７を含む。

エントロピー復号器２０２は、映像ビットストリームをエントロピー復号する。エントロピー復号器２０２は、変換量子化値を、逆変換／逆量子化器２０３に供給する。エントロピー復号器２０２は、予測パラメータを、復号制御器２１２に供給する。

逆変換／逆量子化器２０３は、量子化ステップ幅で、輝度及び色差の変換量子化値を逆量子化する。さらに、逆変換／逆量子化器２０３は、逆量子化した周波数変換係数を逆周波数変換する。

ピクチャバッファ２０４には、現在復号中のフレームに含まれるすべてのＣＵが復号されるまで、元の空間領域に戻された再構築予測誤差画像ブロックに予測信号（予測パラメータによって決定する、外挿値に基づくイントラ予測信号、外挿値及び隣接する再構築画像の平均値に基づくＣＩＰ信号、又はインター予測信号）が加えられた再構築画像ブロックが格納される。

デコードピクチャバッファ２０５は、再構築画像を参照画像ピクチャとして格納する。参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。また、参照画像ピクチャは、適切な表示タイミングで伸張フレームとして出力される。

イントラ予測部２１０は、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０４に格納された再構築画像を利用してイントラ予測信号又はＣＩＰ信号を生成する。

フレーム間予測器２０８は、現在復号中のフレームと表示時刻が異なる、デコードピクチャバッファ２０５に格納された参照画像を利用してフレーム間予測信号を生成する。

エントロピー復号対象のＣＵがＣＩＰ符号化である場合、エントロピー復号器２０２は、ＣＩＰヘッダを復号制御器２１２に供給する。復号制御部２１２は、イントラ予測部２１０におけるＣＩＰを制御する部分に、ＣＩＰ復号を実行させる。具体的には、復号制御器２１２は、ＣＩＰの重み付けパラメータＷ_LCとＷ_ANG をそれぞれＷ_LC＝１６とＷ_ANG ＝１６とする。ただし、被予測画像が後続画像ブロックとの境界位置の画像（図１７参照）であるタイミングでは、Ｗ_LC＝０とＷ_ANG ＝３２とする。

復号制御器２１２は、エントロピー復号対象のＣＵがイントラ符号化である場合には、イントラ予測部２１０に、イントラ予測を行わせる。具体的には、復号制御器２１２は、ＣＩＰの重み付けパラメータＷ_LCとＷ_ANG をそれぞれＷ_LC＝０とＷ_ANG ＝３２とする。

イントラ予測部２１０において、局所平均予測器２０６には、ピクチャバッファ２０４に格納されている再構築画像が入力される。ＣＩＰによる予測を実行するときに、局所平均予測器２０６は、隣接画像の画素値の平均値をとって局所平均予測信号LC_PRED を生成する。

イントラ予測部２１０において、ＣＩＰによる予測を実行するときに、角度付きイントラ予測器２０７は、隣接する再構築画像の外挿値を計算して予測信号ANG_PRED を生成する。

さらに、イントラ予測部２１０におけるＣＩＰを制御する部分は、復号制御器２１２の制御に従って、局所平均予測信号LC_PRED と予測信号ANG_PRED とを使用してＣＩＰ信号CIP_PRED を生成する。ＣＩＰ信号CIP_PRED は、上記の（１）式によって生成される。つまり、イントラ予測部２１０におけるＣＩＰを制御する部分は、局所平均予測信号LC_PRED と予測信号ANG_PRED との重み付きの平均値を算出する。

ただし、復号制御器２１２は、ＣＩＰを用いた復号が行われているときに、被予測画像が後続画像ブロックとの境界位置の画像（図１７参照）であるタイミングでは、イントラ予測部２１０が局所平均予測信号LC_PRED を使用しないように制御する（上述したように、本実施形態の復号制御器２１２は、前記境界位置の画像の復号に際しては、Ｗ_LC＝０とＷ_ANG ＝３２となるように制御する。）。

一例として、復号制御器２１２は、イントラ予測部２１０に、LC_PRED の係数を０とし、ANG_PRED の係数を３２とした演算を実行させる。

予測信号生成後、逆変換／逆量子化器２０３で逆周波数変換された再構築予測誤差画像は、イントラ予測部２１０またはフレーム間予測器２０８から供給される予測信号が加えられる。予測信号が加えられた再構築予測誤差画像は再構築画像としてピクチャバッファ２０４に供給される。

デコードピクチャバッファ２０５は、再構築画像を参照画像ピクチャとして格納する。参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。また、参照画像ピクチャは、適切な表示タイミングで伸張フレームとして出力される。

上述した動作に基づいて、本実施形態の映像復号装置はデコード画像を生成する。

本実施形態の映像復号装置は、ＣＩＰを使用する復号時に、後続画像ブロックとの境界位置の被予測画像については、局所平均予測を使用しない。ゆえに、境界位置の画像が再構築される前に後続画像ブロックの符号化を開始できる。よって、映像復号装置に並列処理性能を持たせることができるので、復号処理のスループットを向上させることができる。

なお、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

図４に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３及びビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。

図４に示された情報処理システムにおいて、プログラムメモリ１００２には、図１，図３のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１，図３のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。

図５は、本発明による映像符号化装置の主要部を示すブロック図である。図５に示すように、本発明による映像符号化装置は、画像ブロックに隣接する再構築画像の外挿値を計算する外挿予測手段１２（一例として、図１に示す角度付きイントラ予測器１０８）と、被予測対象の画像に隣接する画像の平均値を計算する平均予測手段１１（一例として、図１に示す局所平均予測器１０７）と、外挿値と平均値との重み付け和を画像ブロックから減じて予測誤差を計算する予測手段１３（一例として、図１に示す変換／量子化器１０２の前段の減算器）と、予測誤差に関するデータをエントロピー符号化するエントロピー符号化手段１４（一例として、図１に示すエントロピー符号化器１０３）と、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築する併用イントラ予測画像再構築手段１５（一例として、図１に示す逆変換／逆量子化器１０４、及び再構築予測誤差画像とＣＩＰに基づく予測信号とを加算する加算器）とを備え、併用イントラ予測画像再構築手段１５は、後続画像ブロックとの境界位置の画像については予測誤差及び外挿値のみに基づいて画像ブロックの画像を再構築することを特徴とする。

図６は、本発明による映像復号装置の主要部を示すブロック図である。図６に示すように、本発明による映像復号装置は、ビットストリームに含まれる画像ブロックの予測誤差に関するデータをエントロピー復号するエントロピー復号手段２１（一例として、図３に示すエントロピー復号器２０２）と、画像ブロックに隣接する再構築画像の外挿値を計算する外挿予測手段２２（一例として、図３に示す角度付きイントラ予測器２０７）と、被予測対象の画像に隣接する再構築画像の平均値を計算する平均予測手段２３（一例として、図３に示す局所平均予測器２０６）と、予測誤差、外挿値、及び、平均値に基づいて画像ブロックの画像を再構築する併用イントラ予測画像再構築手段２５（一例として、図３に示す逆変換／逆量子化器２０３、及び再構築予測誤差画像ブロックとＣＩＰに基づく予測信号とを加算する加算器）とを備え、併用イントラ予測画像再構築手段２５は、後続画像ブロックとの境界位置の画像については予測誤差及び外挿値のみに基づいて画像ブロックの画像を再構築することを特徴とする。

図７は、本発明による映像符号化方法の主要ステップを示すフローチャートである。図７に示すように、本発明による映像符号化方法では、画像ブロックに隣接する再構築画像の外挿値を計算し（ステップＳ１０１）、被予測対象の画像に隣接する画像の平均値を計算し（ステップＳ１０２）、外挿値と平均値との重み付け和を画像ブロックから減じて予測誤差を計算し（ステップＳ１０３）、予測誤差に関するデータをエントロピー符号化し（ステップＳ１０４）、予測誤差、外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築し、画像ブロックの画像を再構築するときに、後続画像ブロックとの境界位置の画像については予測誤差及び外挿値のみに基づいて画像ブロックの画像を再構築する（ステップＳ１０５）。

図８は、本発明による映像復号方法の主要ステップを示すフローチャートである。図８に示すように、本発明による映像復号方法では、ビットストリームに含まれる画像ブロックの予測誤差に関するデータをエントロピー復号し（ステップＳ２０１）、画像ブロックに隣接する再構築画像の外挿値を計算し（ステップＳ２０２）、被予測対象の画像に隣接する再構築画像の平均値を計算し（ステップＳ２０３）、予測誤差、外挿値、及び、平均値に基づいて画像ブロックの画像を再構築し、併用イントラ予測画像再構築手段は、後続画像ブロックとの境界位置の画像については予測誤差及び外挿値のみに基づいて画像ブロックの画像を再構築する（ステップＳ２０４）。

１１ 平均予測手段
１２ 外挿予測手段
１３ 予測手段
１４ エントロピー符号化手段
１５ 併用イントラ予測画像再構築手段
２１ エントロピー復号手段
２２ 外挿予測手段
２３ 平均予測手段
２５ 併用イントラ予測画像再構築手段
１０２ 変換／量子化器
１０３ エントロピー符号化器
１０４ 逆変換／逆量子化器
１０５ ピクチャバッファ
１０６ デコードピクチャバッファ
１０７ 局所平均予測器
１０８ 角度付きイントラ予測器
１０９ フレーム間予測器
１１０ イントラ予測部
１１２ 符号化制御器
１２１ スイッチ
１２２ スイッチ
２０２ エントロピー復号器
２０３ 逆変換／逆量子化器
２０４ ピクチャバッファ
２０５ デコードピクチャバッファ
２０６ 局所平均予測器
２０７ 角度付きイントラ予測器
２０８ フレーム間予測器
２１０ イントラ予測部
２１２ 復号制御部
１００１ プロセッサ
１００２ プログラムメモリ
１００３ 記憶媒体
１００４ 記憶媒体

Claims (8)

1. 画像ブロックに隣接する再構築画像の外挿値を計算する外挿予測手段と、
   被予測対象の画像に隣接する画像の平均値を計算する平均予測手段と、
   前記外挿値と前記平均値との重み付け和を画像ブロックから減じて予測誤差を計算する予測手段と、
   前記予測誤差に関するデータをエントロピー符号化するエントロピー符号化手段と、
   前記予測誤差、前記外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築する併用イントラ予測画像再構築手段とを備え、
   前記併用イントラ予測画像再構築手段は、後続画像ブロックとの境界位置の画像については前記予測誤差及び前記外挿値のみに基づいて画像ブロックの画像を再構築する
   ことを特徴とする映像符号化装置。
2. 前記併用イントラ予測画像再構築手段は、後続画像ブロックとの境界位置の画像において前記平均予測手段の出力に対して０の重みを付ける
   請求項１記載の映像符号化装置。
3. ビットストリームに含まれる画像ブロックの予測誤差に関するデータをエントロピー復号するエントロピー復号手段と、
   画像ブロックに隣接する再構築画像の外挿値を計算する外挿予測手段と、
   被予測対象の画像に隣接する再構築画像の平均値を計算する平均予測手段と、
   前記予測誤差、前記外挿値、及び、前記平均値に基づいて画像ブロックの画像を再構築する併用イントラ予測画像再構築手段とを備え、
   前記併用イントラ予測画像再構築手段は、後続画像ブロックとの境界位置の画像については前記予測誤差及び前記外挿値のみに基づいて画像ブロックの画像を再構築する
   ことを特徴とする映像復号装置。
4. 前記併用イントラ予測画像再構築手段は、後続画像ブロックとの境界位置の画像において前記平均予測手段の出力に対して０の重みを付ける
   請求項３記載の映像復号装置。
5. 画像ブロックに隣接する再構築画像の外挿値を計算し、
   被予測対象の画像に隣接する画像の平均値を計算し、
   前記外挿値と前記平均値との重み付け和を画像ブロックから減じて予測誤差を計算し、
   前記予測誤差に関するデータをエントロピー符号化し、
   前記予測誤差、前記外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築し、
   前記画像ブロックの画像を再構築するときに、後続画像ブロックとの境界位置の画像については前記予測誤差及び前記外挿値のみに基づいて画像ブロックの画像を再構築する
   ことを特徴とする映像符号化方法。
6. ビットストリームに含まれる画像ブロックの予測誤差に関するデータをエントロピー復号し、
   画像ブロックに隣接する再構築画像の外挿値を計算し、
   被予測対象の画像に隣接する再構築画像の平均値を計算し、
   前記予測誤差、前記外挿値、及び、前記平均値に基づいて画像ブロックの画像を再構築し、
   前記併用イントラ予測画像再構築手段は、後続画像ブロックとの境界位置の画像については前記予測誤差及び前記外挿値のみに基づいて画像ブロックの画像を再構築する
   ことを特徴とする映像復号方法。
7. コンピュータに、
   画像ブロックに隣接する再構築画像の外挿値を計算する処理と、
   被予測対象の画像に隣接する画像の平均値を計算する処理と、
   前記外挿値と前記平均値との重み付け和を画像ブロックから減じて予測誤差を計算する処理と、
   前記予測誤差に関するデータをエントロピー符号化する処理と、
   前記予測誤差、前記外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築する処理とを実行させ、
   前記画像ブロックの画像を再構築する処理で、後続画像ブロックとの境界位置の画像については前記予測誤差及び前記外挿値のみに基づいて画像ブロックの画像を再構築する処理を実行させるための映像符号化プログラム。
8. コンピュータに、
   画像ブロックに隣接する再構築画像の外挿値を計算する処理と、
   被予測対象の画像に隣接する画像の平均値を計算する処理と、
   前記外挿値と前記平均値との重み付け和を画像ブロックから減じて予測誤差を計算する処理と、
   前記予測誤差に関するデータをエントロピー符号化する処理と、
   前記予測誤差、前記外挿値、及び、隣接する再構築画像の平均値に基づいて画像ブロックの画像を再構築する処理とを実行させ、
   前記画像ブロックの画像を再構築する処理で、後続画像ブロックとの境界位置の画像については前記予測誤差及び前記外挿値のみに基づいて画像ブロックの画像を再構築する処理とを実行させるための映像復号プログラム。

Images