JP2013219679A - 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム - Google Patents

Abstract

【課題】量子化パラメータを伝送する単位を自由に設定して、適切な量子化パラメータを伝送する技術を提供する。
【解決手段】動画像の各ピクチャを分割したブロックの予測残差信号及び差分量子化パラメータを符号化する動画像符号化装置において、第１の符号化ビット列生成部１１２は、第１の符号化部と第２の符号化部を備える。第１の符号化部は、符号化ブロックが画面間予測符号化されている場合に、予測残差信号があるなら、量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを符号化し、予測残差信号がないなら、差分量子化パラメータを符号化しない。第２の符号化部は、符号化ブロックが画面内予測符号化されている場合に、予測残差信号の有無に拘らず、差分量子化パラメータを符号化する。
【選択図】図１

Description

本発明は、動画像の符号化技術に関し、特に量子化パラメータの予測符号化を利用した動画像の符号化技術に関する。

ＭＰＥＧ−２ Ｐａｒｔ２（以下ＭＰＥＧ−２と呼ぶ）やＭＰＥＧ−４ Ｐａｒｔ１０／Ｈ．２６４（以下ＡＶＣと呼ぶ）等のデジタル動画像符号化では、画像を所定の大きさのブロックに分割して符号化を行い、予測誤差信号（又は単に画像信号）に対する量子化の粗さを示す量子化パラメータを伝送する。符号化側でこの量子化パラメータを所定ブロック単位で可変制御することにより、符号量を制御することや主観画質を向上させることが可能である。

主観画質を向上させる量子化パラメータの制御としては、Ａｄａｐｔｉｖｅ Ｑｕａｎｔｉｚａｔｉｏｎ（適応量子化）が度々用いられる。適応量子化では、視覚的に劣化の目立ちやすい平坦部ではより細かく量子化され、劣化の比較的目立ちにくい絵柄の複雑な部分でより粗く量子化されるように、各マクロブロックのアクティビティによって変化させる。即ち、符号化されたときの割り当てビット量が大きくなりやすいアクティビティの高いマクロブロックにおいては、大きい量子化スケールが設定されるように、量子化パラメータを変化させ、その結果、符号化された画像のデータにおいてビット数が出来るだけ少なくなるように制御しながら、主観画質を向上させることになる。

ＭＰＥＧ−２では符号化／復号する順序で１つ前のブロックの量子化パラメータと符号化対象のブロックの量子化パラメータが同一であるかどうかを判断し、同一でない場合には量子化パラメータを伝送する。ＡＶＣでは符号化／復号する順序で１つ前のブロックの量子化パラメータを予測値として、符号化対象のブロックの量子化パラメータを差分符号化する。これは、一般的に符号量制御は符号化順に行うため、符号化順で１つ前のブロックの量子化パラメータが最も符号化ブロックの量子化パラメータに近いということに基づいており、伝送する量子化パラメータの情報量を抑制することを狙っている。

特開２０１１−９１７７２号公報

従来の符号化では量子化パラメータを伝送するブロックの大きさが固定されていたため、符号量制御及び適応量子化を適用するブロックの大きさを変えることができない。また、符号量制御及び適応量子化を適用するブロックの大きさを変えたとしても、適応したブロックの大きさで量子化パラメータを伝送することができず、量子化パラメータを伝送するブロックより細かい単位で量子化パラメータを制御できなかったり符号量制御及び差分量子化パラメータの符号量が増加したりする課題があった。

本発明はこうした状況に鑑みてなされたものであり、その目的は、量子化パラメータを伝送する単位を自由に設定して、適切な量子化パラメータを伝送する技術を提供することにある。

上記課題を解決するために、本発明のある態様の動画像符号化装置は、動画像の各ピクチャを分割したブロックの予測残差信号及び差分量子化パラメータを符号化する動画像符号化装置であって、符号化ブロックが画面間予測符号化されている場合に、予測残差信号があるなら、量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを符号化し、予測残差信号がないなら、前記差分量子化パラメータを符号化しない第１の符号化部（１１２）と、前記符号化ブロックが画面内予測符号化されている場合に、予測残差信号の有無に拘らず、前記差分量子化パラメータを符号化する第２の符号化部（１１２）とを備える。

本発明の別の態様もまた、動画像符号化装置である。この装置は、動画像の各ピクチャを分割したブロックの予測残差信号及び差分量子化パラメータを符号化する動画像符号化装置であって、符号化ブロックが画面間予測符号化されている場合、予測残差信号の有無を示すフラグを符号化する第１の符号化部（１１２）と、前記符号化ブロックが画面内予測符号化されている場合、前記予測残差信号の有無を示すフラグを予測残差信号があることを示す値に設定するフラグ設定部（１１２）と、前記予測残差信号の有無を示すフラグが、予測残差信号があることを示す値である場合に、量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを符号化する第２の符号化部（１１２）とを備える。

本発明のさらに別の態様は、動画像符号化方法である。この方法は、動画像の各ピクチャを分割したブロックの予測残差信号及び差分量子化パラメータを符号化する動画像符号化方法であって、符号化ブロックが画面間予測符号化されている場合に、予測残差信号があるなら、量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを符号化し、予測残差信号がないなら、前記差分量子化パラメータを符号化しない第１の符号化ステップと、前記符号化ブロックが画面内予測符号化されている場合に、予測残差信号の有無に拘らず、前記差分量子化パラメータを符号化する第２の符号化ステップとを備える。

本発明のさらに別の態様もまた、動画像符号化方法である。この方法は、動画像の各ピクチャを分割したブロックの予測残差信号及び差分量子化パラメータを符号化する動画像符号化方法であって、符号化ブロックが画面間予測符号化されている場合、予測残差信号の有無を示すフラグを符号化する第１の符号化ステップと、前記符号化ブロックが画面内予測符号化されている場合、前記予測残差信号の有無を示すフラグを予測残差信号があることを示す値に設定するフラグ設定ステップと、前記予測残差信号の有無を示すフラグが、予測残差信号があることを示す値である場合に、量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを符号化する第２の符号化ステップとを備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、量子化パラメータを伝送する単位で自由に設定でき、適切な量子化パラメータを伝送できる。

実施の形態に係る予測量子化パラメータの導出方法を具備した動画像符号化装置の構成を示すブロック図である。 実施の形態に係る予測量子化パラメータの導出方法を具備した動画像復号装置の構成を示すブロック図である。 ＭＰＥＧ−２ ＴＭ５の画面内の符号量制御を説明する図である。 ＡＶＣの量子化パラメータ予測方法を示す図である。 階層ツリー符号化を使用した場合の符号化処理順の一例を示す図である。 階層ツリー符号化により分割されたツリーブロック内部の左上の量子化符号化ブロックの量子化パラメータの予測の一例を示す図である。 階層ツリー符号化により分割されたツリーブロック内部の左下の量子化符号化ブロックの量子化パラメータの予測の一例を示す図である。 階層ツリー符号化により分割されたツリーブロック内部の左上の量子化符号化ブロックの量子化パラメータの予測の一例を示す図である。 ＭＰＥＧ−２ ＴＭ５の画面内の符号量制御において、上下で隣接する符号化ブロックの位置を説明する図である。 差分量子化パラメータの符号化テーブルの一例を表す図である。 符号化対象ツリーブロックと符号化済みツリーブロックとの関係を示す図である。 階層ツリー符号化により分割されたツリーブロック内部の左上の量子化符号化ブロックの予測元を示す図である。 階層ツリー符号化により分割されたツリーブロック内部の右上の量子化符号化ブロックの予測元を示す図である。 階層ツリー符号化により分割されたツリーブロック内部の左下の量子化符号化ブロックの予測元を示す図である。 階層ツリー符号化により分割されたツリーブロック内部の右下の量子化符号化ブロックの予測元を示す図である。 予測量子化パラメータ導出のフローチャートである。 予測量子化パラメータの演算処理の例を示す図である。 量子化符号化ブロックの一例を説明する図である。 空間的に隣接する量子化符号化ブロックとツリーブロックの関係を表す図である。 残差信号無フラグ及び差分量子化パラメータ符号化のフローチャートである。 残差信号無フラグ及び差分量子化パラメータ復号のフローチャートである。 予測モードと残差成分の存在確率及びデブロック強度の関係を示す図である。 デブロックフィルタの強度設定のフローチャートである。 デブロックフィルタで用いられる量子化パラメータを説明する図である。 デブロックフィルタで用いる量子化パラメータを示す図である。 量子化パラメータとデブロックフィルタ処理画素範囲のテーブルの一例を示す図である。 残差信号無フラグ及び差分量子化パラメータのシンタックスを示す図である。 ロスレス符号化モードのフローチャートである。

本発明の実施の形態は、ピクチャを所定サイズの矩形ブロックに分割し、更にそのブロックを量子化パラメータを管理する単位である１つ或いは複数の量子化符号化ブロックに分割し、量子化符号化ブロック単位に差分量子化パラメータの伝送を行う動画像符号化において、処理対象のブロックの量子化パラメータの符号量を削減するために、複数の符号化済みブロックの符号化情報から最適な予測量子化パラメータを導出し、予測量子化パラメータとの差分を算出して、符号化する符号量制御技術を提供する。
（実施の形態１）

本発明を実施する好適な動画像符号化装置１００及び動画像復号装置２００について説明する。図１は本発明を実施する動画像符号化装置１００の構成を示すブロック図であり、画像メモリ１０１、残差信号生成部１０２、直交変換・量子化部１０３、第２の符号化ビット列生成部１０４、逆量子化・逆直交変換部１０５、復号画像信号重畳部１０６、復号画像メモリ１０７、予測画像生成部１０８、アクティビティ算出部１０９、量子化パラメータ算出部１１０、差分量子化パラメータ生成部１１１、第１の符号化ビット列生成部１１２、符号化情報格納メモリ１１３、予測量子化パラメータ導出部１１４、符号化ビット列多重化部１１５及びデブロックフィルタ部１１６から構成される。尚、各ブロック間を結ぶ太実線の矢印はピクチャの画像信号、細実線の矢印は符号化を制御するパラメータ信号の流れを表すものである。

画像メモリ１０１は、撮影／表示時間順に供給された符号化対象の画像信号を一時格納する。画像メモリ１０１は、格納された符号化対象の画像信号を、所定の画素ブロック単位で、残差信号生成部１０２、予測画像生成部１０８及びアクティビティ算出部１０９に供給する。その際、撮影／表示時間順に格納された画像は、符号化順序に並べ替えられて、画素ブロック単位で、画像メモリ１０１から出力される。

残差信号生成部１０２は、符号化する画像信号と予測画像生成部１０８にて生成された予測信号との減算を行い残差信号を生成し、直交変換・量子化部１０３に供給する。

直交変換・量子化部１０３は、量子化パラメータ算出部１１０で算出された量子化パラメータを用いて残差信号に対して直交変換及び量子化を行い、直交変換・量子化された残差信号を生成し、第２の符号化ビット列生成部１０４と逆量子化・逆直交変換部１０５に供給する。また、残差信号の有無を第１の符号化ビット列生成部１１２に供給する。

第２の符号化ビット列生成部１０４は、直交変換及び量子化された残差信号を規定のシンタックス規則に従ってエントロピー符号化して第２の符号化ビット列を生成し、符号化ビット列多重化部１１５に供給する。

逆量子化・逆直交変換部１０５は、量子化パラメータ算出部１１０で算出された量子化パラメータを用いて直交変換・量子化部１０３から供給された直交変換・量子化された残差信号を逆量子化及び逆直交変換して残差信号を算出し、復号画像信号重畳部１０６に供給する。

復号画像信号重畳部１０６は、予測画像生成部１０８により生成された予測画像信号と逆量子化・逆直交変換部１０５で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、デブロックフィルタ部１１６に供給する。

デブロックフィルタ部１１６は、復号画像信号重畳部１０６により生成された復号画像に対してデブロックフィルタを施し、デブロックフィルタを施した画像を復号画像メモリ１０７に格納する。デブロックフィルタ部１１６の詳細な構成と動作は、後述する。

予測画像生成部１０８は、画像メモリ１０１から供給される画像信号と復号画像メモリ１０７から供給される復号画像信号から、予測モードを基にピクチャ内予測（イントラ予測）或いはピクチャ間予測（インター予測）を行い、予測画像信号を生成する。イントラ予測は、画像メモリ１０１から供給される画像信号を所定のブロック単位で分割された符号化対象のブロックと、復号画像メモリ１０７から供給される符号化対象のブロックと同じピクチャ内に存在する符号化対象のブロックに隣接する周囲の符号化済みブロックの画素信号を用いて予測画像信号を生成する。インター予測は、画像メモリ１０１から供給される画像信号を所定のブロック単位で分割された符号化対象のブロックのピクチャ（符号化ピクチャ）の時系列で前または後ろにある復号画像メモリ１０７に格納されている符号化済みピクチャを参照ピクチャとし、符号化ピクチャと参照ピクチャとの間でブロックマッチングを行い、動き量を示す動きベクトルを求め、この動き量を基に参照ピクチャから動き補償を行い、予測画像信号を生成する。こうして生成された予測画像信号を残差信号生成部１０２に供給する。予測画像生成部１０８にて得られた動きベクトル等の符号化情報は、必要に応じて符号化情報格納メモリ１１３に格納する。更に、予測画像生成部１０８では、複数の予測モードの選択が可能である場合、生成された予測画像信号と元の画像信号との間の歪量等を評価することにより、最適な予測モードを決定し、決定された予測モードによる予測により生成された予測画像信号を選択し、残差信号生成部１０２に供給するとともに、予測モードがイントラ予測である場合はイントラ予測モードを符号化情報格納メモリ１１３及び第１の符号化ビット列生成部に供給する。

アクティビティ算出部１０９は、画像メモリ１０１から供給される符号化対象のブロックの画像の複雑さや滑らかさを示す係数であるアクティビティが計算され、量子化パラメータ算出部１１０に供給する。アクティビティ算出部１０９の詳細な構成と動作は、後述する。

量子化パラメータ算出部１１０は、アクティビティ算出部１０９にて算出されたアクティビティによって、符号化対象のブロックの量子化パラメータを算出し、差分量子化パラメータ生成部１１１及び符号化情報格納メモリ１１３に供給する。量子化パラメータ算出部１１０の詳細な構成と動作は、後述する。

差分量子化パラメータ生成部１１１は、量子化パラメータ算出部１１０にて算出された量子化パラメータに対して、予測量子化パラメータ導出部１１４にて導出された予測量子化パラメータと減算を行い、差分量子化パラメータを算出し、第１の符号化ビット列生成部１１２に供給する。

第１の符号化ビット列生成部１１２は、直交変換・量子化部１０３によって供給された残差信号の有無に基づき、残差信号無フラグ及び差分量子化パラメータ生成部１１１によって算出された差分量子化パラメータを規定のシンタックス規則に従って符号化して第１の符号化ビット列を生成し、符号化ビット列多重化部１１５に供給する。第１の符号化ビット列生成部１１２の詳細な構成と動作は、後述する。

符号化情報格納メモリ１１３は、符号化が終了したブロックの量子化パラメータを格納する。また、図１に結線を図示していないが、予測画像生成部１０８にて生成される予測モードや動きベクトル等の符号化情報も、次の符号化対象のブロックを符号化に必要な情報として格納する。更に、ピクチャやスライス単位で生成される符号化情報も必要に応じて格納する。

予測量子化パラメータ導出部１１４は、既符号化済みの量子化符号化ブロックの量子化パラメータや符号化情報を用いて、量子化符号化対象ブロックの予測量子化パラメータを導出し、差分量子化パラメータ生成部１１１に供給する。予測量子化パラメータ導出部１１４の詳細な構成と動作は、後述する。

符号化ビット列多重化部１１５は、第１の符号化ビット列と第２の符号化ビット列を規定のシンタックス規則に従って多重化し、ビットストリームを出力する。

図２は図１の動画像符号化装置１００に対応した実施の形態に係る動画像復号装置２００の構成を示すブロック図である。実施の形態の動画像復号装置２００は、ビット列分離部２０１、第１符号化ビット列復号部２０２、量子化パラメータ生成部２０３、符号化情報格納メモリ２０４、予測量子化パラメータ導出部２０５、第２符号化ビット列復号部２０６、逆量子化・逆直交変換部２０７、復号画像信号重畳部２０８、予測画像生成部２０９、復号画像メモリ２１０及びデブロックフィルタ部２１１を備える。尚、図１の動画像符号化装置１００と同様に、各ブロック間を結ぶ太実線の矢印はピクチャの画像信号、細実線の矢印は符号化を制御するパラメータ信号の流れを表すものである。

図２の動画像復号装置２００の復号処理は、図１の動画像符号化装置１００の内部に設けられている復号処理に対応するものであるから、図２の逆量子化・逆直交変換部２０７、復号画像信号重畳部２０８、デブロックフィルタ部２１１、予測画像生成部２０９、復号画像メモリ２１０及び符号化情報格納メモリ２０４の各構成は、図１の動画像符号化装置１００の逆量子化・逆直交変換部１０５、復号画像信号重畳部１０６、デブロックフィルタ部１１６予測画像生成部１０８、復号画像メモリ１０７及び符号化情報格納メモリ１１３の各構成とそれぞれ対応する機能を有する。ただし、予測画像生成部２０９は図１の動画像符号化装置の予測画像生成部１０８動きベクトル検出機能及び予測モードの選択機能は含まない。

ビット列分離部２０１に供給されるビットストリームは規定のシンタックスの規則に従って分離し、分離された符号化ビット列が第１符号化ビット列復号部２０２、第２符号化ビット列復号部２０６に供給される。

第１符号化ビット列復号部２０２は、供給された符号化ビット列を復号して予測モード、動きベクトル、差分量子化パラメータ等に関する符号化情報を出力し、差分量子化パラメータを量子化パラメータ生成部２０３に与えるとともに、符号化情報を符号化情報格納メモリ２０４に格納する。第１符号化ビット列復号部２０２の詳細な構成と動作は、後述する。

量子化パラメータ生成部２０３は、第１符号化ビット列復号部２０２から供給される差分量子化パラメータと予測量子化パラメータ導出部２０５にて導出される量子化パラメータとを加算して量子化パラメータを算出し、逆量子化・逆直交変換部２０７及び符号化情報格納メモリ２０４に供給する。

符号化情報格納メモリ２０４は、復号が終了した量子化符号化ブロックの量子化パラメータを格納する。更に、第１符号化ビット列復号部２０２にて復号されたブロック単位の符号化情報だけでなく、ピクチャやスライス単位で生成される符号化情報も必要に応じて格納する。また、図２に結線を図示していないが、復号された予測モードや動きベクトル等の符号化情報を予測画像生成部２０９に供給する。

予測量子化パラメータ導出部２０５は、既復号済みの量子化符号化ブロックの量子化パラメータを用いて、予測量子化パラメータを導出し、量子化パラメータ生成部２０３に供給する。予測量子化パラメータ導出部２０５は動画像符号化装置１００の予測量子化パラメータ導出部１１４と同等の機能を有しており、詳細な構成と動作は後述する。

第２符号化ビット列復号部２０６は、供給された符号化ビット列を復号して直交変換・量子化された残差信号を算出し、直交変換・量子化された残差信号を逆量子化・逆直交変換部２０７に与える。

逆量子化・逆直交変換部２０７は、第２符号化ビット列復号部２０６で復号された直交変換・量子化された残差信号に対して、量子化パラメータ生成部２０３にて生成された量子化パラメータを用いて、逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。

復号画像信号重畳部２０８は、予測画像生成部２０９で生成された予測画像信号と、逆量子化・逆直交変換部２０７により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を生成し、デブロックフィルタ部１１６に供給する。

デブロックフィルタ部２１１は、復号画像信号重畳部２０８により生成された復号画像に対してデブロックフィルタを施し、デブロックフィルタを施した画像を復号画像メモリ２１０に格納する。デブロックフィルタ部２１１の詳細な構成と動作は、後述する。

予測画像生成部２０９は、第２符号化ビット列復号部２０６で復号される予測モードや動きベクトル等の符号化情報、更に符号化情報格納メモリ２０４から符号化情報を基にして、復号画像メモリ２１０から供給される復号画像信号から予測画像信号を生成し、復号画像信号重畳部２０８に供給する。

次に、動画像符号化装置１００の中で太点線に囲まれた諸部１２０、特に予測量子化パラメータ導出部１１４と、動画像復号装置２００の中で太点線に囲まれた諸部２２０、特に予測量子化パラメータ導出部２０５とで共通に実施される予測量子化パラメータを導出する方法の詳細について説明する。

まず、本実施の形態の動画像符号化装置１００の中で太点線で囲まれた諸部１２０の各部の動作について説明する。諸部１２０では、画像メモリ１０１から供給される所定画素サイズ単位の画素ブロックを量子化符号化ブロックとし、その量子化符号化ブロックを量子化する為の量子化パラメータを決定する。量子化パラメータは主に符号量制御と適応量子化のアルゴリズムによって符号化側で決定され、量子化パラメータ予測処理を行い復号側に伝送される。最初にアクティビティ算出部１０９における適応量子化の手法について説明する。

アクティビティ算出部１０９では、一般に人間の視覚特性はエッジの少ない低周波成分に敏感である為、視覚的に劣化の目立ちやすい平坦部ではより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分でより粗く量子化するように、所定量子化符号化ブロック単位に画像の複雑さや滑らかさを表現するアクティビティを算出する。ただし、アクティビティを算出は符号化装置側のみの機能であり復号装置側には含まれないため、アクティビティ算出単位は量子化符号化ブロック単位であるとは限らず、複雑度を考慮して符号化側で自由に決定できる。

アクティビティの一例として、ＭＰＥＧ−２ ＴｅｓｔＭｏｄｅｌ５（ＴＭ５）に記載される符号化ブロック内の画素の分散値による算出が挙げられる。分散値はブロック内の画像を構成する画素の平均からの散らばりの度合いを示す値であり、ブロック内に画像が平坦である（輝度変化が小さい）程小さく、複雑な絵柄である（輝度変化が大きい）もの程値が大きくなるので、ブロックのアクティビティとして利用する。ブロック内の画素値をｐ（ｘ，ｙ）で表すと、ブロックのアクティビティａｃｔは次式で算出される。

ここで、ＢＬＫは量子化符号化ブロックの画素総数であり、ｐ＿ｍｅａｎはブロック内の画素の平均値である。

また、以上のような分散に限らず、量子化符号化ブロック内の画素に対して、水平方向及び垂直方向で隣接する画素との差分絶対値をとり、ブロック内で総和をとっても良い。この場合でも、画像が平坦である場合は小さく、エッジが多い複雑な絵柄部分では大きい値となり、アクティビティとして利用可能である。次式により算出される。

こうして算出されたアクティビティａｃｔは量子化パラメータ算出部１１０に供給される。

次に、符号量制御について説明する。本実施の形態の動画像符号化装置１００では、特に符号量制御を実現する部を設けていないが、符号量制御では発生符号量に基づき符号化ブロックの量子化パラメータを決定する為、量子化パラメータ算出部１１０の中にその機能を包含することとして説明する。

符号量制御はピクチャやスライス等の所定単位の発生符号量を目標符号量付近に合わせることを目的としており、符号化済ブロックの発生符号量が目標符号量よりも多いと判断した場合には以降に量子化パラメータを符号化する量子化符号化ブロックに相対的に粗い量子化を適用し、符号化済ブロックの発生符号量が目標符号量よりも少ないと判断した場合には以降に符号化するブロックに相対的に細かい量子化を適用するものである。

具体的な符号量制御のアルゴリズムについて、図３を用いて説明する。

まず、ピクチャ毎に目標符号量（Ｔ）を決定する。一般的にはＩピクチャ＞Ｐピクチャ＞参照Ｂピクチャ＞非参照ＢピクチャとなるようにＴを決定する。例えば、動画像の目標ビットレートが５Ｍｂｐｓであり、１秒間にＩピクチャが１枚、Ｐピクチャが３枚、参照Ｂピクチャが１１枚、非参照Ｂピクチャが１５枚ある場合において、ピクチャタイプ別の目標符号量をＴｉ、Ｔｐ、Ｔｂｒ、Ｔｂとすると、Ｔｉ：Ｔｐ：Ｔｂｒ：Ｔｂ＝４：３：２：１の比率となるように目標符号量を制御したい場合、Ｔｉ＝４００ｋｂｉｔ、Ｔｐ＝３００ｋｂｉｔ、Ｔｂｒ＝２００ｋｂｉｔ、Ｔｂ＝１００ｋｂｉｔとなる。但し、ピクチャタイプ別の割当符号量は本発明の本質には影響しない。

次に、ピクチャ内の符号量制御について説明する。量子化パラメータを決定する単位であるブロックの数をＮ、発生符号量をＢ、目標符号量との差分ビットをＤとすると、

となる。ここで、ｊは量子化符号化ブロックの符号化処理順カウント番号である。Ｄ（０）は目標符号量差分の初期値である。

符号量制御による量子化パラメータｂＱＰは以下のように決定される。

ここで、ｒは目標符号量差分を量子化パラメータに変換する比例係数である。この比例係数ｒは使用可能な量子化パラメータに応じて決定される。

量子化パラメータ算出部１１０は、量子化符号化ブロック毎にアクティビティ算出部１０９で算出されたアクティビティａｃｔを使って、符号量制御にて算出された符号化ブロックの量子化パラメータを変化させる。以下では、量子化符号化ブロック毎に算出するので、符号量制御による量子化パラメータの符号化処理順カウント番号を削除し、ｂＱＰで表すものとする。

量子化パラメータ算出部１１０は、直前に符号化したピクチャ内の平均アクティビティをａｖｇ＿ａｃｔとして記録しておき、符号化ブロックの正規化アクティビティＮａｃｔを次式により算出する。

ここで、上式の係数"２"は量子化パラメータのダイナミックレンジを表す値であり、０．５〜２．０の範囲をとる正規化アクティビティＮａｃｔが算出される。ただし、量子化パラメータの係数は２に限らず、画像の特性等に応じて他の値にしても良い。

尚、ａｖｇ＿ａｃｔは、符号化過程の前に、予めピクチャ内の全てのブロックに対してアクティビティを算出し、その平均値をａｖｇ＿ａｃｔとしてもよい。更に、ａｖｃ＿ａｃｔは符号化情報格納メモリ１１３に格納しておいてもよく、必要に応じて量子化パラメータ算出部１１０が符号化情報格納メモリ１１３からａｖｇ＿ａｃｔを取得してもよい。

算出された正規化アクティビティＮａｃｔを基準となる量子化パラメータｂＱＰと次式の如く乗算を行い、符号化ブロックの量子化パラメータＱＰを得る。

こうして算出された符号化ブロックの量子化パラメータは、符号化情報格納メモリ１１３及び差分量子化パラメータ生成部１１１に供給される。

符号化情報格納メモリ１１３は、量子化パラメータ算出部１１０にて算出された量子化パラメータや既に符号化が終了した過去の量子化符号化ブロックの量子化パラメータが格納されるだけでなく、符号化ブロックの動きベクトルや予測モード等の符号化情報も格納され、必要に応じて各部が符号化情報を取得する。

予測量子化パラメータ導出部１１４は、符号化情報格納メモリ１１３から既符号化済みの量子化パラメータを用いて、符号化ブロックの量子化パラメータを効率良く符号化、伝送する為の予測量子化パラメータを導出する。

量子化パラメータを効率良く符号化、伝送する為には、量子化パラメータのまま符号化するよりも、既符号化済みの量子化符号化ブロックの量子化パラメータから予測された予測量子化パラメータとの差分（差分量子化パラメータ）をとって、その差分量子化パラメータを符号化、伝送する方が効率が良い。符号量制御の観点から見れば、符号化処理順で直前の符号化済みブロックの量子化パラメータを予測量子化パラメータとすると伝送する差分量子化パラメータの値が小さくなり、符号量は小さくなる。一方、適応量子化の観点から見れば、量子化符号化ブロックと近接する量子化符号化ブロックとは似た絵柄となることが多いので、量子化符号化ブロックに近接する量子化符号化ブロックのアクティビティは符号化ブロックのアクティビティと近い値となり、近接する量子化符号化ブロックの量子化パラメータを予測量子化パラメータとすると伝送する差分量子化パラメータの値が小さくなり、符号量は小さくなる。その為、ＡＶＣでは、図４で示されるように、量子化パラメータを伝送する単位がマクロブロック（１６×１６画素群）で固定されており、ラスタスキャン順に符号化ブロックの直前に符号化をした左隣に隣接するブロックの量子化パラメータを予測量子化パラメータとし、符号化ブロックの量子化パラメータと予測量子化パラメータとの差分をとり、差分量子化パラメータを符号化、伝送する方法が採用されている。つまり、ＡＶＣでは符号量制御を想定した量子化パラメータの予測に最適化されている。但し、ＡＶＣは後述する階層ツリー符号化を行わないので、画像の左端以外は、直前のブロックが左ブロックである為、隣接ブロックの量子化パラメータを予測量子化パラメータとして使用することになり、適応量子化を想定した予測にもほぼ最適化されていると言える。その為、ＡＶＣのように、量子化パラメータを伝送する単位が固定され、階層ツリー符号化を行わないような構成の場合には、量子化パラメータの予測は直前の符号化済みブロックが最適だと言える。

しかしながら、階層ツリー符号化を行う場合、ＡＶＣと同様に直前のブロックの量子化パラメータを予測量子化パラメータとして使用すると、符号量制御には最適化されるが、適応量子化を用いて量子化パラメータを伝送する場合、最適な予測値とはならず、差分量子化パラメータの符号量が増大してしまうという課題が生じる。

ここで、階層ツリー符号化について説明する。ここで言う階層ツリー符号化とは、ツリーブロック単位（ここでは６４×６４ブロックとする）でそれぞれ符号化単位を表すｄｅｐｔｈを決定し、決定されたｄｅｐｔｈで符号化ブロック単位の量子化符号化を行う。これにより、画像の精細度に依存した最適なｄｅｐｔｈを決定して量子化符号化を行うことができ、符号化効率を大幅に向上する。

図５に階層ツリー符号化構造の符号化処理順序を示す。図５の上図に示されるように、画面内を所定の同一サイズの正方の矩形の単位にて均等分割する。この単位をツリーブロックと呼び、画像内での符号化／復号ブロックを特定するためのアドレス管理の基本単位とする。ツリーブロックは画像内のテクスチャ等に応じて、符号化処理を最適にすべく、必要に応じてツリーブロック内を階層的に４分割して、ブロックサイズの小さいブロックにすることが出来る。このように小さなブロックに分割して構成される階層的なブロック構造をツリーブロック構造と呼び、この分割されたブロックを符号化ブロック（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼び、符号化及び復号を行う際の処理の基本単位とする。図５の下図はツリーブロックを４分割してできた各ＣＵのうち、左下を除く３つのＣＵさらに４分割した例である。本実施例においては、ＣＵと量子化符号化ブロックを同一の単位と設定し、つまり、ＣＵ単位で量子化パラメータを設定するものとする。ツリーブロックは最大サイズの符号化ブロックでもある。ただし、量子化符号化ブロックの単位をＣＵと同一でなく、独立した所定単位を設定することも可能である。つまり、量子化符号化ブロックは、ＣＵの大きさに依存せず、１６×１６ブロック単位固定であるとすることも可能である。量子化符号化ブロックの単位をＣＵと同一にしない場合の例について後述する。

このような階層ツリー符号化では、符号化順序は図４のAVCのようなラスタスキャン順（左〜右）と異なる為、量子化パラメータが直前の符号化済みブロックと左の隣接ブロックとで等しくならない場合が多々ある。例えば階層ツリー符号化の一例として、図６で示されるように、符号化対象とするツリーブロックの中の左上の量子化符号化ブロック（図６中の斜線部の矩形）は、左に隣接するツリーブロックの中で分割されたブロックのうち、最後に符号化された右下の符号化済みブロック（図６中の灰色部の矩形）の量子化パラメータを予測に用いる。また、図７に示されるように、符号化対象とするツリーブロックの中の左下の量子化符号化ブロック（図７中の斜線部の矩形）は、同じツリーブロックの中で分割され、直前に量子化符号化されたブロック（図７中の灰色部の矩形）の量子化パラメータを予測に用いることになる。その為、直前の符号化済みブロックから量子化パラメータを予測するだけでは、符号量制御に最適化された予測は行うことが出来ても、分割によってブロック間の距離を隔てる為に、適応量子化に適した予測を行うことが出来ないので、差分量子化パラメータの符号量が増大し、符号化効率を低減させてしまう。

また、一意に左隣の量子化符号化ブロックの量子化パラメータを予測量子化パラメータとすると、図８のようにツリーブロック内の左上の量子化符号化ブロックの予測量子化パラメータは、１つ前のツリーブロックの量子化符号化ブロックが多く分割されているほど、符号化順で離れた量子化パラメータとなっている。そのため、符号化順で近い量子化符号化ブロックからの量子化パラメータ予測が効率の良い符号量制御の観点では、符号化効率が低下してしまう。

つまり、空間的に近接する量子化符号化ブロックから量子化パラメータを予測する場合、量子化符号化ブロックよりも遠い過去の時点で算出された量子化パラメータを用いる場合があるため、図１９に示されるように、量子化符号化ブロックの処理順ｊに対して、空間的に隣接する量子化符号化ブロックの処理順ｉは、量子化符号化ブロックとして空間的に隣接していても、符号量制御の観点から見れば、図９に示すように、符号化処理順ではｉ＜＜ｊとなるので、隣接する量子化符号化ブロックの量子化パラメータは相関性が高いとは言えない。また、空間的に近接する量子化符号化ブロックの中から、符号化処理順が近い量子化符号化ブロックからのみ量子化パラメータ予測を行う場合、空間的に隣接する量子化符号化ブロックがツリーブロック外であるかどうかを判定し、ツリーブロック外である場合には、符号化処理順が遠い量子化符号化ブロックであると判断し、ツリーブロック内の量子化パラメータのみ予測に用いことで、符号量制御の観点で不適な量子化パラメータの導出を回避することができる。しかし、量子化パラメータの予測を行う単位で、空間的に隣接する量子化符号化ブロックがツリーブロック外であるかどうかを判定する処理が必要になることや、ツリーブロック内であっても符号化処理順が近くない量子化符号化ブロックが存在するなど、符号量制御の観点で最適な処理であるとは言い難い。

そこで、本発明の実施の形態に係る予測量子化パラメータ導出部１１４は、直前の複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを導出することで、符号量制御の観点での予測効率の高い符号化順で近い量子化パラメータを用いつつ、適応量子化の観点での予測効率の高い空間的に近接する量子化符号化ブロックからの量子化パラメータの予測を可能と方法を実現する。また、空間的に近接する量子化パラメータを取得するための量子化パラメータの保存を最小限に抑制することで、少ないメモリ量での量子化パラメータの予測を実現する。予測量子化パラメータ導出部１１４の詳細は後述する。

差分量子化パラメータ生成部１１１は、量子化パラメータ算出部１１０にて算出された量子化符号化ブロックの量子化パラメータに対して、予測量子化パラメータ導出部１１４にて導出された予測量子化パラメータと減算を行い、差分量子化パラメータを算出する。予測量子化パラメータは復号時にも復号済みの量子化符号化ブロックから符号化時と同様に導出されるので、差分符号化パラメータを符号化対象とすることで、符号化と復号で矛盾が生じず、量子化パラメータの符号量を削減することが可能となる。算出された差分量子化パラメータは第１の符号化ビット列生成部１１２に供給される。

第１の符号化ビット列生成部１１２は、差分量子化パラメータ生成部１１１によって算出された差分量子化パラメータを規定のシンタックス規則に従ってエントロピー符号化して第１の符号化ビット列を生成する。図１０に差分量子化パラメータのエントロピー符号化に使用される符号化変換テーブルの一例を示す。まず、最も出現しやすい差分量子化パラメータが０であることを１ビット目で表現し、続いて２ビット目では正負のフラグ、３ビット目では差分量子化パラメータの絶対値が１であるかどうか、４ビット目では差分量子化パラメータの絶対値が２であるかどうか…と続く。このような差分量子化パラメータの符号化では、差分量子化パラメータの絶対値が小さい程短い符号長を与えつつ、ビット長で差分量子化パラメータの絶対値がわかるようになっている。そのため、複雑でない構成で且つ差分量子化パラメータの発生符号量を抑制することができる。また、図１０は差分量子化パラメータの絶対値に比例してビット長が長くなる符号化テーブルであるため、小さい差分量子化パラメータの伝送時に発生符号量が非常に小さくなり、大きな差分量子化パラメータの伝送時には発生符号量が比較的大きくなる傾向を持つ。図１０のような符号化テーブルを用いた差分量子化パラメータの符号化を行う場合、差分量子化パラメータが０になる確率を向上させるだけでなく、値の大きな差分量子化パラメータができるだけ発生させないような予測量子化パラメータの導出が重要となる。第１の符号化ビット列生成部１１２は、差分量子化パラメータに対応する符号ビット列を図１０のテーブルから抽出し、その符号ビット列を符号化ビット列多重化部１１５に供給する。

上述した本実施例の動画像符号化装置１００に対応する動画像復号装置２００の中で太点線で囲まれた諸部２２０の各部の動作について説明する。

諸部２２０では、最初に第１符号化ビット列復号部２０２にて復号された差分量子化パラメータが量子化パラメータ生成部２０３に供給される。また、差分量子化パラメータ以外の符号化情報が必要に応じて符号化情報格納メモリ２０４に格納される。

量子化パラメータ生成部２０３では、第１符号化ビット列復号部２０２から供給される差分量子化パラメータと予測量子化パラメータ導出部２０５にて導出される量子化パラメータとを加算して、復号ブロックの量子化パラメータを算出し、逆量子化・逆直交変換部２０７及び符号化情報格納メモリ２０４に供給する。

符号化情報格納メモリ２０４は、復号が終了した量子化符号化ブロックの量子化パラメータが格納される。更に、第１符号化ビット列復号部２０２にて復号されたブロック単位の符号化情報だけでなく、ピクチャやスライス単位で生成される符号化情報も必要に応じて格納される。

予測量子化パラメータ導出部２０５は、既復号済みのブロックの量子化パラメータを用いて、予測量子化パラメータを導出し、量子化パラメータ生成部２０３に供給する。量子化パラメータ生成部２０３で算出された量子化パラメータは符号化情報格納メモリ２０４に格納され、以降に復号する量子化符号化ブロックの予測量子化パラメータの導出時に使用される。こうして得られる復号済みの量子化パラメータは、動画像符号化装置１００の予測量子化パラメータ導出部１１４が符号化情報格納メモリ１１３から取得する量子化パラメータと同一である。予測量子化パラメータ導出部２０５は動画像符号化装置１００の予測量子化パラメータ導出部１１４と同等の機能を有しているので、符号化情報格納メモリ２０４から供給される量子化パラメータが同じであれば、符号化時と同一の予測量子化パラメータが導出される。

こうして符号化側で導出された予測量子化パラメータが、復号側でも矛盾無く導出されることになる。

以下、予測量子化パラメータ導出部１１４及び２０５で共通に実施される予測量子化パラメータを導出する方法の詳細について説明する。

予測量子化パラメータ導出部１１４の詳細な動作について説明する。図１１に示されるように、符号化はツリーブロック単位に画面の左上から右下に向かってラスタスキャン順に行われる。今、符号化対象ツリーブロックを図１１中の斜線矩形で表すと、符号化済みのツリーブロックは図１１中の灰色部分で表される。ツリーブロック内部では符号化条件に応じて、階層ツリー符号化がなされることから、符号化ブロックはツリーブロック以下のサイズに分割にされるので、符号化対象ツリーブロック内部の符号化ブロックと上のツリーブロック内部の符号化済みブロックとは隣接しているものの、符号化処理順では大きく離れていることになる。その為、符号量制御により算出される量子化パラメータは、符号化処理順で算出されるので、符号化ブロックの量子化パラメータと上のツリーブロック内部の符号化済みブロックの量子化パラメータが近い値になるとは言えない。そこで、直前の複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを符号化する。

図１２〜図１５は、階層ツリー符号化により分割されたツリーブロック内部のそれぞれ、左上、右上、左下、右下における量子化符号化ブロックの予測元を示す図である。

図１２のツリーブロック内部の左上の量子化符号化ブロックでは、１つ前のツリーブロック内の２つの量子化符号化から、それぞれ符号化順で１つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ１、及び符号化順で２つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ２が導出される。

図１３のツリーブロック内部の右の量子化符号化ブロックでは、１つ前のツリーブロック内の量子化符号化から１つ、同一ツリーブロック内の左側の量子化符号化ブロックから、それぞれ符号化順で１つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ１、及び符号化順で２つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ２が導出される。

図１４のツリーブロック内部の左下の量子化符号化ブロックでは、同一ツリーブロック内の上側の量子化符号化ブロック及び右上の量子化符号化ブロックから、それぞれ符号化順で１つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ１、及び符号化順で２つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ２が導出される。

図１５のツリーブロック内部の右下の量子化符号化ブロックでは、同一ツリーブロック内の左側の量子化符号化ブロック及び上側の量子化符号化ブロックから、それぞれ符号化順で１つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ１、及び符号化順で２つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ２が導出される。

予測量子化パラメータは、ｐｒｅｖＱＰ１及びｐｒｅｖＱＰ２の平均値によって決定する。

図１２、図１３の例の場合には、空間的に離れた量子化符号化ブロックが量子化パラメータの予測元となるが、予測量子化パラメータの平均値をとるため、ｐｒｅｖＱＰ１が突発で信頼性の低い量子化パラメータになった場合でも、誤差が平均化され、量子化パラメータの予測効率が向上する。空間的に離れた量子化符号化ブロックを用いても複数の予測量子化パラメータの平均値を用いることは、図１０の差分量子化パラメータの符号化テーブルを用いた場合、値の大きな差分量子化パラメータができるだけ発生させないような予測量子化パラメータの導出が重要となるため、誤差の平均化の効果が特に顕著になる。

図１４、図１５の例の場合には、空間的に近接した量子化符号化ブロックが量子化パラメータの予測元となるため、量子化パラメータの予測効率の向上が特に顕著である。つまり、符号化順的にも空間的にも近い量子化符号化ブロックからの量子化パラメータの予測が可能となり、符号量制御と適応量子化の双方に適した量子化パラメータの予測が行えるためである。

このように、直前の複数の量子化符号化ブロックの量子化パラメータを用いて予測量子化パラメータを導出することで、符号量制御の観点での予測効率の高い符号化順で近い量子化パラメータを用いつつ、適応量子化の観点での予測効率の高い空間的に近接する量子化符号化ブロックからの量子化パラメータの予測を可能にすることで、差分量子化パラメータの符号量が抑制され、符号化効率が向上する。

図１６は予測量子化パラメータ導出のフローチャートである。まず、符号化・復号順で直前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰを取得する（Ｓ１０００）。次に、１つ前の量子化符号化ブロックの量子化パラメータの値が格納されているｐｒｅｖＱＰ１を２つ前の量子化符号化ブロックの量子化パラメータの値を格納するｐｒｅｖＱＰ２に代入する（Ｓ１００１）。次に、Ｓ１００で取得した直前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰを１つ前の量子化符号化ブロックの量子化パラメータの値を格納するｐｒｅｖＱＰ１に代入する（Ｓ１００２）。最後に、ｐｒｅｖＱＰ１とｐｒｅｖＱＰ２の平均値を演算し、予測量子化パラメータとする（Ｓ１００３）。

なお、ピクチャやスライスの先頭では、ｐｒｅｖＱＰ１及びｐｒｅｖＱＰ２はスライスヘッダ等に記述されているスライスＱＰで初期化する。

図１７は予測量子化パラメータの演算処理の例を示す図である。実際の量子化パラメータの予測処理では、量子化符号化ブロックが切り替わる時に、ｐｒｅｖＱＰ１の値をｐｒｅｖＱＰ２のバッファにコピーして、ｐｒｅｖＱＰ１を保存するバッファに直前の量子化符号化ブロックの量子化パラメータをロードする。平均値演算は常に、ｐｒｅｖＱＰ１バッファ及びｐｒｅｖＱＰ２バッファに対して施される。これにより、量子化パラメータの保存を最小限に抑制することで、少ないメモリ量での量子化パラメータの予測を実現できる。また、空間的に隣接する量子化符号化ブロックのアドレス計算及び空間的に隣接する量子化符号化ブロックがツリーブロック内であるかどうか等の条件判断を行わずに、符号化順・復号化順で直前の量子化パラメータ群を用いて、空間的に近接した量子化符号化ブロックから量子化パラメータの予測を行うことができるため、処理量が少なく符号量制御及び適応量子化の双方に適した量子化パラメータの予測を行うことができる。

また、符号化順で３つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ３や４つ前の量子化符号化ブロックの量子化パラメータｐｒｅｖＱＰ４を用いて、平均値を量子化パラメータとしてももちろん良い。予測元の量子化パラメータを増やした場合、適応量子化に適した量子化パラメータの予測が可能となる。

以下、第１の符号化ビット列生成部１１２において実施される差分量子化パラメータの符号化についての詳細を説明する。図２０に残差信号無フラグ及び差分量子化パラメータに関する符号化のフローチャートを示す。まず、符号化ブロックが画面内符号化ブロックであるかどうかを判定する（Ｓ２０００）。画面内符号化ブロックでなかった場合（Ｓ２０００：ＮＯ）、つまり画面間符号化ブロックである場合は、直交変換・量子化部１０３で生成した残差信号を取得する（Ｓ２００１）。取得した残差信号がすべて存在するかどうか判定する（Ｓ２００２）。輝度及び各色差の残差信号が０である場合（Ｓ２００２：ＮＯ）、残差信号無フラグを１に設定する（Ｓ２００３）。一方、符号化ブロック内の輝度及び各色差の残差信号の内、少なくとも１つが０でない残差信号を持つ場合（Ｓ２００２：ＹＥＳ）、残差信号無フラグを０に設定する（Ｓ２００４）。Ｓ２００３、Ｓ２００４で設定した残差信号無フラグを符号化ビットストリーム内に符号化する（Ｓ２００５）。

ここで、残差信号無フラグが１である場合は、符号化ブロック内の残差信号がすべて０であることを意味するため、輝度及び各色差信号について個別に残差信号の有無及び各残差信号値は伝送しない。一方、残差信号無フラグが０である場合は、輝度及び各色差信号について個別に残差信号の有無を示すフラグを伝送し、残差信号がある要素については各残差信号値を伝送する。

図２０のフローチャートに戻り、符号化ブロックが、画面内符号化ブロックである場合（Ｓ２０００：ＹＥＳ）、残差信号の有無に関係なく残差信号無フラグを０に設定する（Ｓ２００６）。つまり、画面内符号化ブロックにおいては、常に輝度及び各色差信号について個別に残差信号の有無を伝送する。画面内符号化ブロックにおいて、残差信号の有無に関係なく残差信号無フラグを０に設定する理由は、画面内符号化ブロックにて行われる画面内予測は空間的に隣接する画素からの予測になるため、画面間予測と異なり残差信号がすべて０になる確率は極めて低く、輝度及び各色差信号の残差信号をそれぞれ個別に０と送る場合と比較して、残差信号無フラグを伝送する付加情報のコストが大きいためである。

続いて、残差信号無フラグが１であるか０であるかどうかを判定する（Ｓ２００７）。残差信号無フラグが０である場合には（Ｓ２００７：ＮＯ）、差分量子化パラメータをビットストリーム内に符号化する（Ｓ２００８）。残差信号無フラグが１である場合には（Ｓ２００７：ＹＥＳ）、差分量子化パラメータを符号化せずに終了する。

図２７に残差信号無フラグ及び差分量子化パラメータのシンタックスを示す。ｎｏ＿ｒｅｓｉｄｕａｌ＿ｄａｔａ＿ｆｌａｇは残差信号無フラグであり、ｃｕ＿ｑｐ＿ｄｅｌｔａは差分量子化パラメータである。また、ｃｂｆ＿ｌｕｍａ， ｃｂｆ＿ｃｂ， ｃｂｆ＿ｃｒはそれぞれ輝度、色差の残差信号の有無を表すフラグである。前述したように、符号化ブロックが画面間符号化ブロックである場合はｎｏ＿ｒｅｓｉｄｕａｌ＿ｄａｔａ＿ｆｌａｇを伝送し、符号化ブロックが画面内符号化ブロックである場合はｎｏ＿ｒｅｓｉｄｕａｌ＿ｄａｔａ＿ｆｌａｇを伝送せずに０とみなす。そして、ｎｏ＿ｒｅｓｉｄｕａｌ＿ｄａｔａ＿ｆｌａｇが０である場合にｃｕ＿ｑｐ＿ｄｅｌｔａを伝送する。

残差信号無フラグが０である場合のみ差分量子化パラメータを伝送する理由は、すべての残差信号が０である場合には、残差信号の逆量子化において量子化パラメータを使用する必要がないためである。ただし、本実施の形態では画面内符号化ブロックの場合に残差信号無フラグを常に０とみなしているため、すべての残差信号が存在しない場合においても差分量子化パラメータを伝送する。すべての残差信号が存在しない場合にも差分量子化パラメータを伝送する理由は、デブロックフィルタで量子化パラメータを使用することにある。後述するデブロックフィルタ処理では量子化パラメータに基づいてデブロックフィルタのフィルタ強度を決定する。そのため、符号化側で実際に残差信号の量子化で用いた量子化パラメータを伝送することで、逆量子化部では不要であるもののデブロックフィルタ部では有用である。

仮に、画面内符号化ブロックにおいて、残差信号が存在する場合にのみ差分量子化パラメータを伝送する場合、画面内符号化ブロックでは残差信号無フラグを伝送しないため、復号側では残差信号が存在するかどうかの条件判断を輝度及び各色差信号の残差成分の有無を復号した後、各残差成分の内少なくとも１つ残差信号が存在するかどうかを判断して差分量子化パラメータの復号を判断しなければならず、処理が複雑になる。また、復号側の差分量子化パラメータ復号に関する処理量を削減するため、仮に、画面内符号化ブロックにおいて残差信号無フラグを伝送した場合、画面内符号化ブロックでは残差信号がすべて０になる確率は極めて低く、輝度及び各色差信号の残差信号をそれぞれ個別に０と送る場合と比較して、残差信号無フラグを伝送する付加情報のコストが大きくなる。

本実施の形態のように、画面間符号化ブロックでのみ残差信号無フラグを伝送し、画面内符号化ブロックでは常に残差信号無フラグを０とみなして、残差信号無フラグが１の場合に差分量子化パラメータを伝送することで、少ない処理量で効率的に有効な差分量子化パラメータを伝送することができる。

図２４はデブロックフィルタで用いられる量子化パラメータを説明する図である。図２４の左下の量子化符号化ブロックにおいて、符号化側で量子化パラメータ３２を用いて残差信号を量子化した結果、残差信号がすべて０になった場合、差分量子化パラメータを伝送しない場合、デブロックフィルタ処理では量子化パラメータとして予測量子化パラメータである量子化パラメータ３０でデブロックフィルタ処理が施される。これは、実際には図１の符号化側の直交変換・量子化部１０３で使用した量子化パラメータとデブロックフィルタ処理で使用される量子化パラメータの値に差異が発生すること意味し、当然、量子化パラメータの差異が大きければ大きいほどデブロックフィルタ処理に悪影響を与える。

また、後述するように、画面内符号化は画面間符号化と比較してデブロックフィルタの強度を強く設定するため、符号化側で実際に残差信号の量子化で用いた量子化パラメータを用いてデブロックフィルタ処理を行うことで、よりデブロックフィルタの処理精度を向上させるとができる。また、画面内符号化では残差信号がすべて存在しない確率は極めて低く、残差信号がすべて存在しない（逆量子化で用いない）にも関わらず差分量子化パラメータを伝送することによる付加情報符号量の増加は非常に少ない。

図２２は符号化ブロックの予測モード（画面内符号化・画面間符号化）と残差成分の存在確率及びデブロック強度の関係を示す図である。前述したとおり、画面内符号化ブロックにおいて残差成分が存在するかどうかに関わらず差分量子化パラメータを伝送することによる影響が出る画面内符号化ブロックで残差成分無である確率は極めて低く、デブロックフィルタ強度は強い。そのため、差分量子化パラメータ伝送の追加コストが少なく、重要な量子化パラメータを伝送することによりデブロックフィルタの精度を向上させることができる。

以下、第１符号化ビット列復号部２０２において実施される差分量子化パラメータの復号についての詳細を説明する。図２１に残差信号無フラグ及び差分量子化パラメータに関する復号のフローチャートを示す。図２１の処理は図２０の符号化側の処理に対応した復号側の処理である。まず、符号化ブロックが画面内符号化ブロックであるかどうかを判定する（Ｓ２１００）。画面内符号化ブロックでなかった場合（Ｓ２１００：ＮＯ）、つまり画面間符号化ブロックである場合は、残差信号無フラグを復号する（Ｓ２１０１）。画面内符号化ブロックである場合（Ｓ２１００：ＹＥＳ）、残差信号無フラグを０に設定する（Ｓ２１０２）。次に、残差信号無フラグが１であるかどうか判定し（Ｓ２１０３）、残差信号無フラグが１である場合には（Ｓ２１０３：ＹＥＳ）、差分量子化パラメータを復号せずに終了する。一方、残差信号無フラグが０である場合（Ｓ２１０３：ＮＯ）、差分量子化パラメータを復号する（Ｓ２１０４）。

このように、画面内予測ブロックでは常に差分量子化パラメータを伝送し、画面間予測ブロックでは残差信号が存在する場合にのみ差分量子化パラメータを伝送することで、逆量子化で使用するための差分量子化パラメータの伝送に加えて、デブロックフィルタの強度が強いモードでの量子化パラメータを伝送できるため、デブロックフィルタの精度を向上させることができる。また、画面内符号化ブロックにおいて残差成分が存在するかどうかに関わらず差分量子化パラメータを伝送することによる影響が出る画面内符号化ブロックで残差成分無である確率は極めて低いため、デブロックフィルタ用に伝送する差分量子化パラメータの符号量の増加は小さく、符号化効率を維持できる。

以下、図１の動画像符号化装置内のデブロックフィルタ部１１６及び図２の動画像復号装置のデブロックフィルタ部２１１についての詳細を説明する。

図２３はデブロックフィルタの強度設定のフローチャートである。まず、ブロック境界を挟む符号化ブロックが画面内符号化ブロックであるかどうか判定する（Ｓ２３００）。ブロック境界を挟む符号化ブロックが共に画面内符号化ブロックでなかった場合（Ｓ２３００：ＮＯ）、つまりブロック境界を挟む符号化ブロックが共に画面間符号化ブロックである場合は、ブロック境界を挟む符号化ブロックに値が０でない残差信号が存在するかどうかを判定する（Ｓ２３０１）。ブロック境界を挟む符号化ブロックが共に値が０でない残差信号が存在しない場合には（Ｓ２３０１：ＮＯ）、量子化誤差が小さいとみなしデブロックフィルタの強度を"弱"に設定する（Ｓ２３０２）。残差信号が存在する場合には（Ｓ２３０１：ＹＥＳ）、量子化誤差が大きいとみなしデブロックフィルタの強度を"中"に設定する（Ｓ２３０２）。一方、画面内符号化ブロックである場合（Ｓ２３００：ＹＥＳ）、デブロックフィルタの強度を"強"に設定する（Ｓ２３０３）。

図２５はデブロックフィルタで用いる量子化パラメータを示す図である。図中の右下の８×８ブロックがデブロックフィルタ対象のブロックである。デブロックフィルタ対象のブロックの量子化パラメータをＱＰｃとし、デブロックフィルタ対象ブロックの上に隣接する８×８ブロックの量子化パラメータをＱＰａ、左に隣接する８×８ブロックの量子化パラメータをＱＰｂとする。

Ｖｅｒｔｉｃａｌ ｅｄｇｅ（垂直方向エッジ）のデブロックフィルタ処理に用いる量子化パラメータは以下のようにＱＰｃとＱＰｂの平均値を用いる。

Ｈｏｒｉｚｏｎｔａｌ ｅｄｇｅ（水平方向エッジ）のデブロックフィルタ処理に用いる量子化パラメータは以下のようにＱＰｃとＱＰａの平均値を用いる。

算出した水平方向エッジに対する量子化パラメータ（ＶｅｒｔｉｃａｌＥｄｇｅＱＰ）及び垂直方向エッジに対する量子化パラメータ（ＨｏｒｉａｏｎｔａｌＥｄｇｅＱＰ）は、各エッジのデブロックフィルタ処理の有無及び適用する画素範囲等に用いられ、算出した量子化パラメータが大きいほどデブロックフィルタ処理を適用する画素範囲が広くなり、算出した量子化パラメータが小さいほどデブロックフィルタ処理を適用する画素範囲が狭くなる（又はデブロックフィルタ処理が施されなくなる）。図２６は量子化パラメータとデブロックフィルタ処理画素範囲のテーブルの一例を示す図である。例えば量子化パラメータが１０である場合、デブロックフィルタ処理画素範囲は１であることを示す。図２５はＨｏｒｉｚｏｎｔａｌＥｄｇｅにおいてデブロックフィルタ処理画素範囲が１の場合の例である。

このように、画面内符号化において、符号化側で実際に残差信号の量子化で用いた量子化パラメータの値に応じてデブロックフィルタ処理を行うことができるので、よりデブロックフィルタの処理精度を向上させることができる。

（実施の形態２）
実施の形態２では、実施の形態１と同様の構成を取り、原画像を劣化なしに伝送するロスレス符号化に対応する。ＡＶＣのように、整数精度直交変換を用いた場合、最小の量子化パラメータを用いて直交変換・量子化・逆量子化・逆直交変換を行う場合にも、原画像を劣化なしに伝送することができずロッシー符号化となる。また、デブロックフィルタや他の復元フィルタを参照画像のループフィルタとして用いた場合にも、ロッシー符号化となってしまう場合がある。

そこで、実施の形態２では、ロスレス符号化を実現するために、スライスヘッダ等のハイレベルシンタックスに、最小量子化パラメータを伝送した場合に、直交変換・量子化・逆量子化・逆直交変換及びデブロックフィルタ等のループフィルタを行わないこととするロスレス符号化フラグを具備する。

図２８に実施の形態２のフローチャートを示す。まず、予測画像信号を生成する（Ｓ２４００）。Ｓ２４００はロスレス符号化モードであろうがロッシー符号化モードであるかに関わらず共通の処理である。ロスレス符号化モードであるかどうか判定する（Ｓ２４０１）。ロスレス符号化モードである場合（Ｓ２４０１：ＹＥＳ）、量子化パラメータの値が規定されている最小値であるかどうか判定する（Ｓ２４０２）。量子化パラメータが最小量子化パラメータである場合（Ｓ２４０２：ＹＥＳ）、残差信号を直交変換・量子化・逆量子化・逆直交変換及びデブロックフィルタ処理を施さず、予測画像信号に残差信号を加算する（Ｓ２４０３）だけで復号信号を構成する。一方、ロスレス符号化モードでない場合（Ｓ２４０１：ＮＯ）及び量子化パラメータが最小量子化パラメータでない場合（Ｓ２４０２：ＮＯ）、残差信号を量子化・逆量子化し（Ｓ２４０４）、予測画像信号に残差信号を加算し（Ｓ２４０５）、復号信号に対してデブロックフィルタを施す（Ｓ２４０６）。

このように、量子化パラメータの値が規定されている最小値であるかに応じてロスレス符号化とロッシー符号化を切り替えることで、符号化ブロック毎のロスレス・ロッシー符号化の切り替えを行うことができる。

量子化パラメータの値に応じて、ロスレス・ロッシー符号化を切り替える場合、符号化側では差分量子化パラメータを伝送して、量子化パラメータを制御する必要がある。つまり、差分量子化パラメータを伝送しないと、予測量子化パラメータがそのまま量子化パラメータとなってしまうため、所望のロスレス・ロッシー符号化モードを指定することができない。そこで、本実施の形態では画面内符号化時に必ず差分量子化パラメータを伝送するため、画面内符号化を選択すれば必ず所望のロスレス・ロッシー符号化モードを指定できる。これにより、ロスレス符号化するために、符号化側で強制的に残差信号を発生させて量子化パラメータを伝送する等の処理が不要になり、少ない演算量で符号化ブロック単位でのロスレス・ロッシー符号化の切り替えに対応できる。

尚、上述の説明では、量子化符号化ブロックと符号化ブロックを同一単位として量子化パラメータの予測を行ったが、量子化パラメータを符号化、伝送する単位である量子化符号化ブロックを符号化ブロックと異なる単位として量子化パラメータの予測を行うことにしてもよい。

例えば、量子化符号化ブロックの単位を固定とし、量子化符号化ブロックサイズｎをビットストリーム内に符号化して伝送してもよい。そのサイズはツリーブロックのブロックの辺の長さに１／２^ｎ倍（ｎは０以上の整数）を乗じた値で表される。即ち、ツリーブロックのブロックの辺の長さをｎビット右にシフトした値が量子化符号化ブロックの辺の長さとなる。この値はツリーブロック構造と同じようにブロックサイズが決定されるので、ツリーブロックとの親和性が高い。また、ツリーブロック内を均等サイズで分割されるので、符号化情報格納メモリ１１３及び２０４に記憶される量子化パラメータの管理や読み出しを簡便化することが出来る。

図１８はツリーブロック内部をツリーブロック構造で分割した一例を示す。ツリーブロックのブロックサイズは６４×６４とし、ツリーブロック内部を階層的に４分割し、１回目の分割で３２×３２ブロック（図１８中の点線矩形）、２回目の分割で１６×１６ブロック（図１８中の斜線矩形）、３回目の分割で８×８ブロック（図１８中の白抜き矩形）の符号化ブロックに分割される。ここで、量子化符号化ブロックを１６×１６の矩形ブロックとすると、量子化符号化ブロックは図１８の太点線で表され、量子化符号化ブロック単位に量子化パラメータの予測を行う。

符号化対象の符号化ブロックが量子化符号化ブロックブロックサイズよりも大きい場合（３２×３２ブロック）、例えば図１８の点描矩形で表される符号化ブロックの内部は量子化符号化ブロックで４つに分割される。この場合、量子化符号化ブロックにより４分割されているものの、この符号化ブロックに必要な量子化パラメータは１つであるので、符号化ブロックのサイズが量子化符号化ブロックのサイズより大きい場合は、符号化ブロックの量子化パラメータの予測後の差分量子化パラメータを符号化、伝送し、４つに分割された量子化符号化ブロックそれぞれに対応する符号化情報格納メモリ１１３及び２０４のメモリ領域に同じ量子化パラメータを記憶する。メモリ内部で量子化パラメータが重複することになるが、量子化パラメータの予測での周囲の符号化済みブロックの量子化パラメータのアクセスしやすくなる。

符号化対象の符号化ブロックが量子化符号化ブロックのブロックサイズと同じ場合（１６×１６ブロック）、上述した符号化ブロック単位での量子化パラメータの予測の場合と同じである。

符号化対象の符号化ブロックが量子化符号化ブロックのブロックサイズより小さい場合（８×８ブロック）、例えば図１８の白抜き矩形で表される符号化ブロックであり、量子化符号化ブロックの中に４つの符号化ブロックが収納されるので、量子化符号化ブロックの中の符号化ブロックは個々で量子化パラメータを備えるのではなく、量子化符号化ブロック内で１つの量子化パラメータを備え、その量子化パラメータで個々の符号化ブロックを符号化することとする。

尚、量子化符号化ブロックのブロックサイズは、ビットストリームのヘッダー情報にブロックサイズを直接記述しても良いし、ツリーブロックサイズの１／２^ｎ倍（ｎは０以上の整数）にするかを表すビットシフト量を記述しても良い。また、特にビットストリームに記述せずに、符号化と復号で暗黙に量子化グループのサイズを決めておいても良い。

以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。

動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。

動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。

以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００ 動画像符号化装置、 １０１ 画像メモリ、 １０２ 残差信号生成部、 １０３ 直交変換・量子化部、 １０４ 第２の符号化ビット列生成部、 １０５ 逆量子化・逆直交変換部、 １０６ 復号画像信号重畳部、 １０７ 復号画像メモリ、 １０８ 予測画像生成部、 １０９ アクティビティ算出部、 １１０ 量子化パラメータ算出部、 １１１ 差分量子化パラメータ生成部、 １１２ 第１の符号化ビット列生成部、 １１３ 符号化情報格納メモリ、 １１４ 予測量子化パラメータ導出部、 １１５ 符号化ビット列多重化部、 １１６ デブロックフィルタ部、 ２００ 動画像復号装置、 ２０１ ビット列分離部、 ２０２ 第１符号化ビット列復号部、 ２０３ 量子化パラメータ生成部、 ２０４ 符号化情報格納メモリ、 ２０５ 予測量子化パラメータ導出部、 ２０６ 第２符号化ビット列復号部、 ２０７ 逆量子化・逆直交変換部、 ２０８ 復号画像信号重畳部、 ２０９ 予測画像生成部、 ２１０ 復号画像メモリ、 ２１１ デブロックフィルタ部。

Claims (7)

1. 動画像の各ピクチャを分割したブロックの予測残差信号及び差分量子化パラメータを符号化する動画像符号化装置であって、
   符号化ブロックが画面間予測符号化されている場合に、予測残差信号があるなら、量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを符号化し、予測残差信号がないなら、前記差分量子化パラメータを符号化しない第１の符号化部と、
   前記符号化ブロックが画面内予測符号化されている場合に、予測残差信号の有無に拘らず、前記差分量子化パラメータを符号化する第２の符号化部とを備えることを特徴とする動画像符号化装置。
2. 動画像の各ピクチャを分割したブロックの予測残差信号及び差分量子化パラメータを符号化する動画像符号化装置であって、
   符号化ブロックが画面間予測符号化されている場合、予測残差信号の有無を示すフラグを符号化する第１の符号化部と、
   前記符号化ブロックが画面内予測符号化されている場合、前記予測残差信号の有無を示すフラグを予測残差信号があることを示す値に設定するフラグ設定部と、
   前記予測残差信号の有無を示すフラグが、予測残差信号があることを示す値である場合に、量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを符号化する第２の符号化部とを備えることを特徴とする動画像符号化装置。
3. 前記予測量子化パラメータと前記差分量子化パラメータとの加算により導出される前記量子化パラメータに基づいて、前記符号化ブロックの局部復号画像データに対してデブロックフィルタ処理を施すデブロックフィルタ部をさらに備えることを特徴とする請求項１または２に記載の動画像符号化装置。
4. 動画像の各ピクチャを分割したブロックの予測残差信号及び差分量子化パラメータを符号化する動画像符号化方法であって、
   符号化ブロックが画面間予測符号化されている場合に、予測残差信号があるなら、量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを符号化し、予測残差信号がないなら、前記差分量子化パラメータを符号化しない第１の符号化ステップと、
   前記符号化ブロックが画面内予測符号化されている場合に、予測残差信号の有無に拘らず、前記差分量子化パラメータを符号化する第２の符号化ステップとを備えることを特徴とする動画像符号化方法。
5. 動画像の各ピクチャを分割したブロックの予測残差信号及び差分量子化パラメータを符号化する動画像符号化方法であって、
   符号化ブロックが画面間予測符号化されている場合、予測残差信号の有無を示すフラグを符号化する第１の符号化ステップと、
   前記符号化ブロックが画面内予測符号化されている場合、前記予測残差信号の有無を示すフラグを予測残差信号があることを示す値に設定するフラグ設定ステップと、
   前記予測残差信号の有無を示すフラグが、予測残差信号があることを示す値である場合に、量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを符号化する第２の符号化ステップとを備えることを特徴とする動画像符号化方法。
6. 動画像の各ピクチャを分割したブロックの予測残差信号及び差分量子化パラメータを符号化する動画像符号化プログラムであって、
   符号化ブロックが画面間予測符号化されている場合に、予測残差信号があるなら、量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを符号化し、予測残差信号がないなら、前記差分量子化パラメータを符号化しない第１の符号化ステップと、
   前記符号化ブロックが画面内予測符号化されている場合に、予測残差信号の有無に拘らず、前記差分量子化パラメータを符号化する第２の符号化ステップとをコンピュータに実行させることを特徴とする動画像符号化プログラム。
7. 動画像の各ピクチャを分割したブロックの予測残差信号及び差分量子化パラメータを符号化する動画像符号化プログラムであって、
   符号化ブロックが画面間予測符号化されている場合、予測残差信号の有無を示すフラグを符号化する第１の符号化ステップと、
   前記符号化ブロックが画面内予測符号化されている場合、前記予測残差信号の有無を示すフラグを予測残差信号があることを示す値に設定するフラグ設定ステップと、
   前記予測残差信号の有無を示すフラグが、予測残差信号があることを示す値である場合に、量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを符号化する第２の符号化ステップとをコンピュータに実行させることを特徴とする動画像符号化プログラム。

Images