JP2018057009A - 画像処理装置および方法、並びに、プログラム - Google Patents

Abstract

【課題】量子化パラメータに対する符号化効率を向上する画像処理装置を提供する。
【解決手段】画像符号化装置の量子化パラメータ符号化部であって、符号化処理の対象となるカレントコーディングユニットの周辺に位置する複数の周辺コーディングユニットに設定された複数の量子化パラメータを用いて、前記カレントコーディングユニットに対する予測量子化パラメータを生成する予測量子化パラメータ生成部と、前記カレントコーディングユニットに設定された量子化パラメータと、予測量子化パラメータ生成部により設定された予測量子化パラメータとの差分値を示す差分量子化パラメータを生成する差分量子化パラメータ生成部とを備える。
【選択図】図６

Description

本開示は、画像処理装置および方法、並びに、プログラムに関し、特に、量子化パラメータに対する符号化効率を向上させることができるようにした画像処理装置および方法、並びに、プログラムに関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

特に、MPEG2（ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission） 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。

更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L （ITU-T（International Telecommunication Union Telecommunication Standardization Sector） Q6/16 VCEG（Video Coding Expert Group））という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化・復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。

標準化のスケジュールとしては、２００３年３月にはH.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）という名の元に国際標準となった。

更に、その拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG2で規定されていた８×８DCTや量子化マトリクスをも含んだFRExt（Fidelity Range Extension）の標準化が２００５年２月に完了し、これにより、AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc等の幅広いアプリケーションに用いられる運びとなった。

しかしながら、昨今、ハイビジョン画像の４倍の、４０９６×２０４８画素程度の画像を圧縮したい、或いは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEGにおいて、符号化効率の改善に関する検討が継続され行なわれている。

ところで、マクロブロックサイズを１６画素×１６画素とするのは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；４０００画素×２０００画素）といった大きな画枠に対しては、最適ではない。そこで、マクロブロックサイズを、図４に示されるように、６４×６４画素、３２画素×３２画素といった大きさにすることが提案されている（例えば、非特許文献１参照）。

すなわち、非特許文献１においては、階層構造を採用することにより、１６×１６画素ブロック以下に関しては、現在のAVCにおけるマクロブロックと互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。

非特許文献１は、インタースライスに対して拡張されたマクロブロックを適用する提案であるが、これとは別に、拡張されたマクロブロックを、イントラスライスに適用することも提案されている（例えば、非特許文献２参照）。

さらに、拡張マクロブロックを、Coding Unitという概念によって定義することも提案されている（例えば非特許文献３参照）。

Largest Coding Unit及びSmallest Coding Unitの大きさは、画像圧縮情報中、シーケンスパラメータセットにおいて指定される。

Peisong Chenn,Yan Ye,Marta Karczewicz,"Video Coding Using Extended Block Sizes", COM16-C123-E, Qualcomm Inc Sung-Chang Lim, Hahyun Lee, Jinho Lee, Jongho Kim, Haechul Choi, Seyoon Jeong, Jin Soo Choi, "Intra coding using extended block size", VCEG-AL28, 2009年7月 Thomas Wiegand, Woo-Jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivan, "Working Draft 1 of High-Efficiency Video Coding ", JCTVC-C403, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG113rd Meeting: Guangzhou, CN, 7-15 October, 2010

ところで、量子化パラメータQPは、直前のブロックの符号化、復号化に用いられた量子化パラメータとの差分を符号化するが、特に、適応量子化のように、画面内で量子化パラメータを動的に変化させる場合、画像圧縮情報における情報量を増大させる恐れがあった。

本開示は、このような状況に鑑みてなされたものであり、量子化パラメータに対する符号化効率を向上させることができるようにすることを目的とする。

本開示の一側面は、ビットストリームを復号する画像処理装置において、シーケンス単位で固定サイズの最大コーディングユニットを４分木構造に従って再帰的に分割することによって得られる可変サイズのコーディングユニットを処理単位として、カレントコーディングユニットに設定されたカレント量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを含むビットストリームを復号して、量子化データを生成する復号部と、前記カレントコーディングユニットに隣接していない周辺に位置する周辺コーディングユニットに設定された量子化パラメータを、予測量子化パラメータとして設定する予測量子化パラメータ設定部と、前記差分量子化パラメータに前記予測量子化パラメータ設定部により設定された前記予測量子化パラメータを加算したパラメータを、前記カレント量子化パラメータとして設定する量子化パラメータ設定部と、前記量子化パラメータ設定部により設定された前記カレント量子化パラメータを用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部とを備える画像処理装置である。

前記カレント最大コーディングユニット内における前記カレントコーディングユニットの位置に基づいて、前記カレントコーディングユニットに隣接する隣接コーディングユニットがアベイラブルな状態であるかを判定する判定部をさらに備え、前記予測量子化パラメータ設定部は、前記判定部により全ての前記隣接コーディングユニットがアベイラブルな状態でないと判定された場合に、前記周辺コーディングユニットに設定された量子化パラメータを、前記予測量子化パラメータとして設定するように構成されるようにすることができる。

前記予測量子化パラメータ設定部は、前記カレントコーディングユニットに対して復号処理順において直前のコーディングユニットに設定された量子化パラメータを、前記予測量子化パラメータとして設定することができる。

前記判定部は、前記カレントコーディングユニットが前記カレント最大コーディングユニット内において先頭に位置する場合に、全ての前記隣接コーディングユニットがアベイラブルな状態でないと判定することができる。

前記予測量子化パラメータ設定部は、前記判定部により、前記カレントコーディングユニットが前記カレント最大コーディングユニット内において先頭に位置すると判定された場合に、復号処理順において直前の最大コーディングユニット内において最後に位置するコーディングユニットに設定された量子化パラメータを、前記予測量子化パラメータとして設定することができる。

前記予測量子化パラメータ設定部は、前記判定部によりアベイラブルな状態であると判定された前記隣接コーディングユニットに設定された量子化パラメータの平均値を、前記予測量子化パラメータとして設定することができる。

前記隣接コーディングユニットは、前記カレントコーディングユニットの左に隣接する左隣接コーディングユニットと、前記カレントコーディングユニットの上に隣接する上隣接コーディングユニットとを含むようにすることができる。

本開示の一側面は、また、ビットストリームを復号する画像処理装置の画像処理方法であって、シーケンス単位で固定サイズの最大コーディングユニットを４分木構造に従って再帰的に分割することによって得られる可変サイズのコーディングユニットを処理単位として、カレントコーディングユニットに設定されたカレント量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを含むビットストリームを復号して、量子化データを生成し、前記カレントコーディングユニットに隣接していない周辺に位置する周辺コーディングユニットに設定された量子化パラメータを、予測量子化パラメータとして設定し、前記差分量子化パラメータに、設定された前記予測量子化パラメータを加算したパラメータを、前記カレント量子化パラメータとして設定し、設定された前記カレント量子化パラメータを用いて、生成された量子化データを逆量子化する画像処理方法である。

前記カレント最大コーディングユニット内における前記カレントコーディングユニットの位置に基づいて、前記カレントコーディングユニットに隣接する隣接コーディングユニットがアベイラブルな状態であるかを判定し、全ての前記隣接コーディングユニットがアベイラブルな状態でないと判定された場合に、前記周辺コーディングユニットに設定された量子化パラメータを、前記予測量子化パラメータとして設定することができる。

前記カレントコーディングユニットに対して復号処理順において直前のコーディングユニットに設定された量子化パラメータを、前記予測量子化パラメータとして設定することができる。

前記カレントコーディングユニットが前記カレント最大コーディングユニット内において先頭に位置する場合に、全ての前記隣接コーディングユニットがアベイラブルな状態でないと判定することができる。

前記カレントコーディングユニットが前記カレント最大コーディングユニット内において先頭に位置すると判定された場合に、復号処理順において直前の最大コーディングユニット内において最後に位置するコーディングユニットに設定された量子化パラメータを、前記予測量子化パラメータとして設定することができる。

アベイラブルな状態であると判定された前記隣接コーディングユニットに設定された量子化パラメータの平均値を、前記予測量子化パラメータとして設定することができる。

前記隣接コーディングユニットは、前記カレントコーディングユニットの左に隣接する左隣接コーディングユニットと、前記カレントコーディングユニットの上に隣接する上隣接コーディングユニットとを含むことができる。

本開示の一側面は、さらに、ビットストリームを復号するコンピュータを、シーケンス単位で固定サイズの最大コーディングユニットを４分木構造に従って再帰的に分割することによって得られる可変サイズのコーディングユニットを処理単位として、カレントコーディングユニットに設定されたカレント量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを含むビットストリームを復号して、量子化データを生成する復号部と、前記カレントコーディングユニットに隣接していない周辺に位置する周辺コーディングユニットに設定された量子化パラメータを、予測量子化パラメータとして設定する予測量子化パラメータ設定部と、前記差分量子化パラメータに前記予測量子化パラメータ設定部により設定された前記予測量子化パラメータを加算したパラメータを、前記カレント量子化パラメータとして設定する量子化パラメータ設定部と、前記量子化パラメータ設定部により設定された前記カレント量子化パラメータを用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部として機能させるプログラムである。

本開示の一側面においては、シーケンス単位で固定サイズの最大コーディングユニットを４分木構造に従って再帰的に分割することによって得られる可変サイズのコーディングユニットを処理単位として、カレントコーディングユニットに設定されたカレント量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを含むビットストリームが復号されて、量子化データが生成され、そのカレントコーディングユニットに隣接していない周辺に位置する周辺コーディングユニットに設定された量子化パラメータが、予測量子化パラメータとして設定され、差分量子化パラメータに、設定された予測量子化パラメータを加算したパラメータが、カレント量子化パラメータとして設定され、設定されたカレント量子化パラメータが用いられて、生成された量子化データが逆量子化される。

本開示によれば、画像を処理することができる。特に、量子化パラメータに対する符号化効率を向上させることができる。

画像符号化装置の主な構成例を示すブロック図である。 マクロブロックの例を示す図である。 マクロブロックの他の例を示す図である。 コーディングユニットの構成例を説明する図である。 量子化パラメータの予測について説明する図である。 量子化部、レート制御部、および量子化パラメータ符号化部の主な構成例を示す図である。 符号化処理の流れの例を説明するフローチャートである。 量子化処理の流れの例を説明するフローチャートである。 予測量子化パラメータ生成処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 逆量子化部および量子化パラメータ復号部の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 逆量子化処理の流れの例を説明するフローチャートである。 量子化パラメータ符号化部の他の構成例を示す図である。 予測量子化パラメータ生成処理の流れの、他の例を説明するフローチャートである。 量子化パラメータ復号部の他の構成例を示す図である。 量子化パラメータ符号化部の、さらに他の構成例を示す図である。 予測量子化パラメータ生成処理の流れの、さらに他の例を説明するフローチャートである。 量子化パラメータ復号部の、さらに他の構成例を示す図である。 量子化パラメータ符号化部の、さらに他の構成例を示す図である。 種別データの例を説明する図である。 種別データ設定処理の流れの例を説明するフローチャートである。 予測量子化パラメータ生成処理の流れの、さらに他の例を説明するフローチャートである。 量子化パラメータ復号部の、さらに他の構成例を示す図である。 種別データの他の例を説明する図である。 種別データ設定処理の流れの、他の例を説明するフローチャートである。 LCU単位で予測を行う場合の例を示す図である。 多視点画像符号化方式の例を示す図である。 本技術を適用した多視点画像符号化装置の主な構成例を示す図である。 本技術を適用した多視点画像復号装置の主な構成例を示す図である。 階層画像符号化方式の例を示す図である。 本技術を適用した階層画像符号化装置の主な構成例を示す図である。 本技術を適用した階層画像復号装置の主な構成例を示す図である。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（演算方法選択）
４．第４の実施の形態（加重平均）
５．第５の実施の形態（種別データ設定）
６．第６の実施の形態（LCU単位の予測）
７．第７の実施の形態（多視点画像符号化・多視点画像復号装置）
８．第８の実施の形態（階層画像符号化・階層画像復号装置）
９．第９の実施の形態（応用例）

＜１．第１の実施の形態＞
［画像符号化装置］
図１は、画像符号化装置の主な構成例を示すブロック図である。

図１に示される画像符号化装置１００は、H．264及びMPEG（Moving Picture Experts Group）4 Part10（AVC（Advanced Video Coding））符号化方式のように、予測処理を用いて画像データを符号化する。

図１に示されるように画像符号化装置１００は、A/D変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１００は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、ループフィルタ１１１、フレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測・補償部１１５、予測画像選択部１１６、およびレート制御部１１７を有する。

画像符号化装置１００は、さらに、量子化パラメータ符号化部１２１および量子化パラメータ復号部１２２を有する。

A/D変換部１０１は、入力された画像データをA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１０２に供給し、記憶させる。画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部１０３に供給する。また、画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、イントラ予測部１１４および動き予測・補償部１１５にも供給する。

演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、予測画像選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。

例えば、インター符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、動き予測・補償部１１５から供給される予測画像を減算する。

直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部１０４は、その変換係数を量子化部１０５に供給する。

量子化部１０５は、直交変換部１０４から供給される変換係数を量子化する。量子化部１０５は、レート制御部１１７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。なお、この量子化の方法は任意である。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。

可逆符号化部１０６は、量子化部１０５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１１７の制御の下で量子化されているので、この符号量は、レート制御部１１７が設定した目標値となる（若しくは目標値に近似する）。

また、可逆符号化部１０６は、イントラ予測のモードを示す情報などをイントラ予測部１１４から取得し、インター予測のモードを示す情報や動きベクトル情報などを動き予測・補償部１１５から取得する。さらに、可逆符号化部１０６は、ループフィルタ１１１において使用されたフィルタ係数等を取得する。

可逆符号化部１０６は、これらの各種情報を任意の符号化方式で符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。

可逆符号化部１０６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。

蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持する。蓄積バッファ１０７は、所定のタイミングにおいて、保持している符号化データを、ビットストリームとして例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。

また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。この逆量子化の方法は、量子化部１０５による量子化処理に対応する方法であればどのような方法であってもよい。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。

逆直交変換部１０９は、逆量子化部１０８から供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。この逆直交変換の方法は、直交変換部１０４による直交変換処理に対応する方法であればどのようなものであってもよい。逆直交変換された出力（復元された差分情報）は、演算部１１０に供給される。

演算部１１０は、逆直交変換部１０９から供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、ループフィルタ１１１またはフレームメモリ１１２に供給される。

ループフィルタ１１１は、デブロックフィルタや適応ループフィルタ等を含み、演算部１１０から供給される復号画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１１１は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ１１１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。

なお、ループフィルタ１１１が、復号画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１１１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１０６に供給し、それを符号化させるようにすることもできる。

ループフィルタ１１１は、フィルタ処理結果（フィルタ処理後の復号画像）をフレームメモリ１１２に供給する。なお、上述したように、演算部１１０から出力される復号画像は、ループフィルタ１１１を介さずにフレームメモリ１１２に供給することができる。つまり、ループフィルタ１１１によるフィルタ処理は省略することができる。

フレームメモリ１１２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部１１３に供給する。

選択部１１３は、フレームメモリ１１２から供給される参照画像の供給先を選択する。例えば、インター予測の場合、選択部１１３は、フレームメモリ１１２から供給される参照画像を動き予測・補償部１１５に供給する。

イントラ予測部１１４は、選択部１１３を介してフレームメモリ１１２から供給される参照画像である処理対象ピクチャ内の画素値を用いて、基本的にプレディクションユニット（PU）を処理単位として予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１４は、予め用意された複数のモード（イントラ予測モード）でこのイントラ予測を行う。

イントラ予測部１１４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１０２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１６に供給する。

また、上述したように、イントラ予測部１１４は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部１０６に供給し、符号化させる。

動き予測・補償部１１５は、画面並べ替えバッファ１０２から供給される入力画像と、選択部１１３を介してフレームメモリ１１２から供給される参照画像とを用いて、基本的にPUを処理単位として、動き予測（インター予測）を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部１１５は、予め用意された複数のモード（インター予測モード）でこのようなインター予測を行う。

動き予測・補償部１１５は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部１１５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１６に供給する。

また、動き予測・補償部１１５は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部１０６に供給し、符号化させる。

予測画像選択部１１６は、演算部１０３や演算部１１０に供給する予測画像の供給元を選択する。例えば、インター符号化の場合、予測画像選択部１１６は、予測画像の供給元として動き予測・補償部１１５を選択し、その動き予測・補償部１１５から供給される予測画像を演算部１０３や演算部１１０に供給する。

レート制御部１１７は、蓄積バッファ１０７に蓄積された符号化データの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。

量子化パラメータ符号化部１２１は、処理対象であるカレント領域（注目領域とも称する）の量子化パラメータと、そのカレント領域の周辺の周辺領域の量子化パラメータとを量子化部１０５から取得し、それらの差分を求め、その差分を量子化部１０５に戻し、可逆符号化部１０６に符号化させて伝送させる。また、量子化パラメータ符号化部１２１は、その差分を、逆量子化部１０８を介して量子化パラメータ復号部１２２にも供給する。

量子化パラメータ復号部１２２は、量子化パラメータ符号化部１２１から供給された、カレント領域と周辺領域の量子化パラメータの差分と、過去に再構築した周辺領域の量子化パラメータとを用いて、カレント領域の量子化パラメータを再構築し、それを逆量子化部１０８に供給する。逆量子化部１０８は、その量子化パラメータを用いて逆量子化を行う。

［マクロブロック］
ところで、AVC符号化方式においては、１つのマクロブロックを、図２に示されるように、複数の動き補償ブロックに分割し、それぞれに対して異なる動き情報を持たせることが可能である。

すなわち、１６×１６画素からなるマクロブロックを、１６×１６、１６×８、８×１６、８×８のいずれかのパーティションに分割することが可能である。

更に、８×８パーティションを、８×８、８×４、４×８、４×４のいずれかのサブパーティションに分割することが可能である。このようにマクロブロックが複数に分割された各領域をサブマクロブロックと称する。

ところで、マクロブロックサイズを１６画素×１６画素とするのは、次世代符号化方式の対象となるような、UHDといった大きな画枠に対しては、最適ではない。そこで、非特許文献１などにおいては、マクロブロックサイズを、図３に示されるように、６４×６４画素、３２画素×３２画素といった大きさにすることが提案されている。

すなわち、非特許文献１においては、図３のような、階層構造を採用することにより、１６×１６画素ブロック以下に関しては、現在のAVCにおけるマクロブロックと互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。

非特許文献１は、インタースライスに対して拡張されたマクロブロック（拡張部分領域）を適用する提案であるが、非特許文献２においては、拡張されたマクロブロック（拡張部分領域）を、イントラスライスに適用することが提案されている。以下において、このように拡張されたマクロブロックを拡張マクロブロックとも称する。

［コーディングユニット］
ところで、マクロブロックサイズを１６画素×１６画素とするのは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；４０００画素×２０００画素）といった大きな画枠に対しては、最適ではない。

そこで、AVCにおいては、図２に示されるように、マクロブロックとサブマクロブロックによる階層構造が規定されているが、例えば、HEVC（High Efficiency Video Coding）においては、図４に示されるように、コーディングユニット（CU（Coding Unit））が規定されている。

CUは、Coding Tree Block（CTB）とも呼ばれ、AVCにおけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。

例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（（SCU（Smallest Coding Unit））が規定される。

それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。図４の例では、LCUの大きさが１２８であり、最大階層深度が５となる。２Ｎ×２Ｎの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのCUに分割される。

更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。現在、HEVCにおいては、４×４及び８×８に加え、１６×１６及び３２×３２直交変換を用いることが可能である。

以上のHEVCのように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、AVCにおけるマクロブロックはLCUに相当すると考えることができる。ただし、CUは図４に示されるように階層構造を有するので、その最上位階層のLCUのサイズは、例えば128×128画素のように、AVCのマクロブロックより大きく設定されることが一般的である。

マクロブロックの代わりに、このようなCU、PU、およびTU等を用いる符号化方式にも、本開示を適用することができる。すなわち、量子化処理を行う処理単位は任意の領域であってもよい。つまり、以下において、量子化処理の処理対象であるカレント領域（当該領域や注目領域とも称する）や、そのカレント領域の周辺に位置する領域である周辺領域には、このようなマクロブロックやサブマクロブロックだけでなく、LCU、CU、SCU、PU、およびTU等、あらゆるデータ単位が含まれる。

ところで、量子化パラメータQPは、直前のブロックの符号化に用いられた量子化パラメータとの差分を符号化するが、特に、適応量子化のように、画面内で量子化パラメータを動的に変化させる場合、画像圧縮情報における情報量を増大させる恐れがある。

そこで量子化パラメータ符号化部１２１は、処理対象であるカレント領域（例えば、カレントコーディングユニット）の量子化パラメータを、例えば図５に示されるような周辺領域（例えば、周辺コーディングユニット）の量子化パラメータによって予測し、カレント領域の量子化パラメータの実際の値と予測値との差分値を求める。この差分値が、符号化されて復号側に伝送される。このようにすることにより、画像符号化装置１００は、量子化パラメータの符号量を低減させることができ、符号化効率を向上させることができる。

［量子化部、レート制御部、および量子化パラメータ符号化部］
次に、画像符号化装置１００の各部について説明する。図６は、量子化部１０５、レート制御部１１７、および量子化パラメータ符号化部１２１の主な構成例を示すブロック図である。

図６に示されるように、レート制御部１１７は、アクティビティ算出部１３１を有する。また、量子化部１０５は、注目領域量子化パラメータ生成部１４１、量子化処理部１４２、周辺領域量子化パラメータバッファ１４３、および差分量子化パラメータバッファ１４４を有する。

さらに、量子化パラメータ符号化部１２１は、予測量子化パラメータ生成部１５１および差分量子化パラメータ生成部１５２を有する。

アクティビティ算出部１３１は、画面並べ替えバッファ１０２から入力画像情報を取得し、そのアクティビティを、例えばMPEG2 TestModel（"TestModel5"，ISO／IEC，JTC／SC29／WG11／N0400，1993）で定められている符号量制御方式で算出し、それを注目領域量子化パラメータ生成部１４１に供給する。

注目領域量子化パラメータ生成部１４１は、供給されたアクティビティに基づいて、カレント領域（注目領域）に対する量子化パラメータ（注目領域量子化パラメータ）を算出する。注目領域量子化パラメータ生成部１４１は、算出した注目領域量子化パラメータを、量子化処理部１４２に供給する。

量子化処理部１４２は、その注目領域量子化パラメータを用いて、直交変換部１０４から供給される直交変換係数を量子化し、量子化された直交変換係数を可逆符号化部１０６に供給し、符号化して復号側に伝送させる。

なお、量子化処理部１４２は、量子化された直交変換係数を逆量子化部１０８にも供給する。

また、注目領域量子化パラメータ生成部１４１は、算出した注目領域量子化パラメータを、周辺領域量子化パラメータバッファ１４３にも供給する。

周辺領域量子化パラメータバッファ１４３は、供給された注目領域量子化パラメータを記憶する。周辺領域量子化パラメータバッファ１４３は、そのカレント領域より後に処理される他の領域をカレント領域とする処理において、記憶している注目領域量子化パラメータを、周辺領域の量子化パラメータ（周辺領域量子化パラメータ）として、予測量子化パラメータ生成部１５１に供給する。

予測量子化パラメータ生成部１５１は、カレント領域の周辺領域を複数選択し、各周辺領域の量子化パラメータを、周辺領域量子化パラメータバッファ１４３から周辺領域量子化パラメータとして読み出す。予測量子化パラメータ生成部１５１は、それらを用いてカレント領域の量子化パラメータの予測値（予測量子化パラメータ）を生成する。例えば、予測量子化パラメータ生成部１５１は、複数の周辺領域量子化パラメータを用いてメジアン演算を行い、その中央値を予測量子化パラメータとする。予測量子化パラメータ生成部１５１は、このように生成した予測量子化パラメータを差分量子化パラメータ生成部１５２に供給する。

さらに、注目領域量子化パラメータ生成部１４１は、算出した注目領域量子化パラメータを、差分量子化パラメータ生成部１５２にも供給する。

差分量子化パラメータ生成部１５２は、注目領域量子化パラメータ生成部１４１から取得した注目領域量子化パラメータと、予測量子化パラメータ生成部１５１から取得した予測量子化パラメータとの差分（差分量子化パラメータ）を生成する。差分量子化パラメータ生成部１５２は、生成した差分量子化パラメータを、差分量子化パラメータバッファ１４４に供給する。

差分量子化パラメータバッファ１４４は、供給された差分量子化パラメータを記憶し、所定のタイミングにおいて、若しくは、所定のイベント発生に応じて、その差分量子化パラメータを可逆符号化部１０６に供給し、符号化して復号側に伝送させる。

また、差分量子化パラメータバッファ１４４は、差分量子化パラメータを逆量子化部１０８にも供給する。

逆量子化部１０８は、この差分量子化パラメータを量子化パラメータ復号部１２２に復号させて注目領域量子化パラメータを生成させ、その注目領域量子化パラメータを用いて、量子化処理部１４２から取得した、量子化された直交変換係数の逆量子化を行う。

なお、この逆量子化部１０８および量子化パラメータ復号部１２２の詳細は、画像復号装置の説明において後述する。なお、注目領域量子化パラメータ生成部１４１が、注目領域量子化パラメータを逆量子化部１０８に供給し、逆量子化部１０８がその注目領域量子化パラメータを用いて、量子化された直交変換係数の逆量子化を行うようにしてもよい。その場合、量子化パラメータ復号部１２２を省略することができる。

このように、各部が処理を行うことにより、画像符号化装置１００は、量子化パラメータに対する符号化効率を向上させることができる。

［量子化パラメータの符号化］
次に、量子化パラメータの符号化についてより具体的に説明する。

一般的に、処理対象であるカレント領域（注目領域）のテクスチャは、その周辺に位置するいずれかの周辺領域のテクスチャと相関があると考えられる。この事を利用して、量子化パラメータに必要とされる情報を削減することが可能である。

カレント領域および周辺領域の例を図５に示す。図５において、各四角は、量子化処理単位の領域を示し、QP_currの四角は、カレント領域を示す。QP_currは、そのカレント領域の量子化パラメータを示す。

同様に、QP_aの四角は、カレント領域の左に隣接する周辺領域Ａを示し、QP_aは、その周辺領域Ａの量子化パラメータを示す。QP_bの四角は、カレント領域の上に隣接する周辺領域Ｂを示し、QP_bは、その周辺領域Ｂの量子化パラメータを示す。QP_cの四角は、カレント領域の左上に隣接する周辺領域Ｃを示し、QP_cは、その周辺領域Ｃの量子化パラメータを示す。QP_dの四角は、カレント領域の左下に隣接する周辺領域Ｄを示し、QP_dは、その周辺領域Ｄの量子化パラメータを示す。QP_eの四角は、カレント領域の右上に隣接する周辺領域Ｅを示し、QP_eは、その周辺領域Ｅの量子化パラメータを示す。さらに、QP_a'の四角は、周辺領域Ａの左に隣接する周辺領域Ａ’を示し、QP_a'は、その周辺領域Ａ’の量子化パラメータを示す。

なお、量子化部１０５がカレント領域の量子化パラメータQP_currを算出する時点において、周辺領域の量子化パラメータQP_a，QP_b，QP_c，QP_d，QP_e、およびQP_a'は、全て算出済みであるものとする。

カレント領域の量子化パラメータQP_currは、カレント領域近傍の周辺領域の量子化パラメータであるQP_a,QP_b、およびQP_cのいずれかと相関が高いと考えられる。そこで、量子化パラメータ符号化部１２１は、まず、これらの量子化パラメータQP_a,QP_b、およびQP_cから、カレント領域の量子化パラメータQP_currの予測値PredQPを、例えば以下の式（１）のように生成する。

PredQP = Med (QP_a,QP_b,QP_c) ・・・（１）

次に、量子化パラメータ符号化部１２１は、以下の式（２）に示されるように、量子化パラメータQP_currから予測値PredQPを減算し、差分量子化パラメータdQPを求める。

dQP = QP_curr - PredQP ・・・（２）

この差分量子化パラメータdQPは、復号側に伝送される。つまり、画像符号化装置１００は、量子化パラメータQP_currではなく、予測値PredQPを減算した差分量子化パラメータdQPを伝送させることにより、量子化パラメータの符号量を低減させることができる。

なお、予測値PredQPを算出するのに用いる量子化パラメータは、算出済みのものであれば、周辺領域Ａ乃至周辺領域Ｃ以外の領域であってもよい。例えば、量子化パラメータQP_dやQP_eを用いて予測値PredQPを求めるようにしてもよい。また、カレント領域に隣接していない周辺領域の量子化パラメータQP_a'を用いて予測値PredQPを求めるようにしてもよい。さらに、上述した以外の周辺領域の量子化パラメータを用いて予測値PredQPを求めるようにしてもよい。例えば、上述したようなカレント領域の空間的に周辺に位置する領域（空間的な周辺領域）の量子化パラメータ以外にも、参照フレームのCo-Located領域のように、カレント領域の時間的に周辺に位置する領域（時間的な周辺領域）の量子化パラメータを用いて予測値PredQPを求めるようにしてもよい。さらに、空間的な周辺領域の量子化パラメータと時間的な周辺領域の量子化パラメータとを併用して予測値PredQPを求めるようにしてもよい。

なお、予測値PredQPの算出に、例えば量子化パラメータQP_aに代えて、量子化パラメータQP_a'を用いることにより、カレント領域に隣接する周辺領域の符号化処理（若しくは復号処理）を待たずに、カレント領域の量子化パラメータの予測値PredQPの算出処理を開始することが可能になり、高速な処理の実現が可能となる。時間的な周辺領域の量子化パラメータを用いる場合も同様である。

また、予測値PredQPの演算方法は任意であり、上述したメジアン（Median）以外であってもよい。たとえば、全部若しくは一部の周辺領域の量子化パラメータの平均値を予測値PredQPとするようにしてもよい。

一般的には、カレント領域のテクスチャは、いずれかの周辺領域のテクスチャとの相関性が非常に高くなることが多く、複数の周辺領域のテクスチャの平均と相関性が高くなることは少ない。

例えば、カレント領域付近に互いにテクスチャの異なる２つの物体の画像が存在する場合、カレント領域の画像はそのどちらかの物体の画像となる可能性が高い。その場合、カレント領域のテクスチャは、一方の物体の画像が存在する周辺領域のテクスチャとの相関性が高くなり、他方の物体の画像が存在する周辺領域のテクスチャとの相関性は低くなる。このような場合に、カレント領域のテクスチャが、一方の物体の画像が存在する周辺領域のテクスチャと、他方の物体の画像が存在する周辺領域のテクスチャとの平均との相関性が高くなることは少ない。

したがって、一般的には、メジアン（Median）の方が、予測値PredQPの予測精度は向上しやすい。

ただし、例えば、グラデーションのようにテクスチャが徐々に変化するような画像の場合であれば、カレント領域のテクスチャと、カレント領域を挟むように位置する２つの周辺領域のテクスチャの平均との相関性が高くなる可能性は高い。このような場合であれば、平均の方が予測値PredQPの予測精度は向上しやすい。

なお、演算処理は、平均の方が容易であり、その負荷は小さい。

このような各演算の特徴の違いを考慮し、最適な演算方法を採用するのが望ましい。なお、複数の演算方法を用意し、適応的に選択することができるようにしてもよい。

さらに、量子化パラメータ符号化部１２１が、上述したような差分量子化パラメータdQPを伝送させるか否かを示すフラグ情報（flag）を生成し、そのフラグ情報を復号側に伝送させるようにしてもよい。

この場合、例えば、量子化パラメータ符号化部１２１は、そのフラグ情報を、スライスヘッダ等、ビットストリームの所定の位置に格納し、ビットストリームとして復号側に伝送させる。復号側においては、そのフラグ情報を参照し、例えば、flag=1であるなら、差分量子化パラメータdQPが伝送されたと判定し、上述したような演算によって予測値PredQPを求め、上述したような演算によってカレント領域の量子化パラメータQP_currを求めるようにする。また、flag=0であるならAVCで用いられているような、従来方法によるdQPの符号化・復号処理を行うようにする。

このようにフラグ情報を伝送させることにより、復号側が、複数の方法に対応することができるようになる。したがって、符号化側は、複数の方法の中から最も適切な方法を選択し、適用することができる。これにより、画像符号化装置１００は、量子化パラメータに対する符号量をより低減させることができる。

なお、フレームを複数のスライスに分割し、各スライスを互いに独立して処理する場合、量子化パラメータ符号化部１２１が、各スライスの処理の独立性を維持し、不要な遅延が発生しないように、カレント領域が含まれるカレントスライス（注目スライス）に属する周辺領域のみを用いて予測値PredQPを算出するようにしてもよい。その場合、カレントスライスの外に位置する周辺領域を使用せずに、その分、予測値PredQPの算出に用いる量子化パラメータの数を減らすようにしてもよい。また、カレントスライス内の処理済みの他の周辺領域の量子化パラメータを、カレントスライスの外に位置する周辺領域の量子化パラメータの代わりに用いるようにしてもよい。

MPEG2やAVCでは、差分量子化パラメータdQPは、カレント領域の量子化パラメータと、直前の符号化処理若しくは復号処理に用いられた量子化パラメータとの差分、すなわち、図５の例では、QP_aとQP_currとの差分として符号化処理がなされていた。しかしながら、カレント領域と周辺領域Ａとの相関が必ずしも高いとは限らない。したがって、このような固定的な処理を行うことで、予測精度が低減する恐れがあった。

これに対して、量子化パラメータ符号化部１２１は、複数の周辺領域の量子化パラメータを用いて予測を行うことにより、最も相関性が高いと考えられる量子化パラメータを用いて差分量子化パラメータdQPを算出することができる。つまり、MPEG2やAVCにおいて提案されているのに比して、より高い圧縮率を実現することが可能である。

また、以上に説明した方法は、画像圧縮情報におけるdQPに関するシンタックスを変更する必要がなく、符号化及び復号の方法を変更するだけで実現することができる。したがって、既存の符号化装置や復号化装置に対しても、わずかな変更で、容易に適用することが可能である。

［符号化処理の流れ］
次に、以上のような画像符号化装置１００により実行される各処理の流れについて説明する。最初に、図７のフローチャートを参照して、符号化処理の流れの例を説明する。

ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

ステップＳ１０３において、イントラ予測部１１４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ１０４において、動き予測・補償部１１５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。

ステップＳ１０５において、予測画像選択部１１６は、イントラ予測部１１４および動き予測・補償部１１５から出力された各コスト関数値に基づいて、最適なモードを決定する。つまり、予測画像選択部１１６は、イントラ予測部１１４により生成された予測画像と、動き予測・補償部１１５により生成された予測画像のいずれか一方を選択する。

ステップＳ１０６において、演算部１０３は、ステップＳ１０２の処理により並び替えられた画像と、ステップＳ１０５の処理により選択された予測画像との差分を演算する。差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

ステップＳ１０７において、直交変換部１０４は、ステップＳ１０６の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。

ステップＳ１０８において、量子化部１０５は、ステップＳ１０７の処理により得られた直交変換係数を量子化する。

ステップＳ１０８の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０９において、逆量子化部１０８は、ステップＳ１０８の処理により生成された量子化された直交変換係数（量子化係数とも称する）を量子化部１０５の特性に対応する特性で逆量子化する。ステップＳ１１０において、逆直交変換部１０９は、ステップＳ１０７の処理により得られた直交変換係数を、直交変換部１０４の特性に対応する特性で逆直交変換する。

ステップＳ１１１において、演算部１１０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１０３への入力に対応する画像）を生成する。ステップＳ１１２においてループフィルタ１１１は、ステップＳ１１１の処理により得られた局部的な復号画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。

ステップＳ１１３において、フレームメモリ１１２は、ステップＳ１１２の処理によりループフィルタ処理が施された復号画像を記憶する。なお、フレームメモリ１１２にはループフィルタ１１１によりフィルタ処理されていない画像も演算部１１０から供給され、記憶される。

ステップＳ１１４において、可逆符号化部１０６は、ステップＳ１０８の処理により量子化された変換係数を符号化する。すなわち、差分画像に対して、可変長符号化や算術符号化等の可逆符号化が行われる。

なお、可逆符号化部１０６は、ステップＳ１０８において算出された量子化パラメータを符号化し、符号化データに付加する。また、可逆符号化部１０６は、ステップＳ１０５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１０６は、イントラ予測部１１４から供給される最適イントラ予測モード情報、または、動き予測・補償部１１５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。

ステップＳ１１５において蓄積バッファ１０７は、ステップＳ１１４の処理により得られた符号化データを蓄積する。蓄積バッファ１０７に蓄積された符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。

ステップＳ１１６においてレート制御部１１７は、ステップＳ１１５の処理により蓄積バッファ１０７に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。

ステップＳ１１６の処理が終了すると、符号化処理が終了される。

［量子化処理の流れ］
次に、図８のフローチャートを参照して、図７のステップＳ１０８において実行される量子化処理の流れの例を説明する。

量子化処理が開始されると、アクティビティ算出部１３１は、ステップＳ１３１において、カレント領域のアクティビティを算出する。

ステップＳ１３２において、注目領域量子化パラメータ生成部１４１は、ステップＳ１３１において算出されたアクティビティに基づいて、注目領域量子化パラメータを生成する。

ステップＳ１３３において、周辺領域量子化パラメータバッファ１４３は、ステップＳ１３２において生成された注目領域量子化パラメータを記憶する。

ステップＳ１３４において、量子化処理部１４２は、ステップＳ１３２において生成された注目領域量子化パラメータを用いて、カレント領域の直交変換係数を量子化する。

ステップＳ１３５において、予測量子化パラメータ生成部１５１は、予測量子化パラメータを生成する。

ステップＳ１３６において、差分量子化パラメータ生成部１５２は、ステップＳ１３２において生成された注目領域量子化パラメータと、ステップＳ１３５において生成された予測量子化パラメータとの差分である差分量子化パラメータを生成する。

差分量子化パラメータを生成すると、差分量子化パラメータ生成部１５２は、量子化処理を終了し、処理を図７に戻す。

［予測量子化パラメータ生成処理の流れ］
次に、図９のフローチャートを参照して、図８のステップＳ１３５において実行される、予測量子化パラメータ生成処理の流れの例を説明する。

ステップＳ１５１において、予測量子化パラメータ生成部１５１は、予測量子化パラメータの候補を得る周辺領域を複数選択する。

ステップＳ１５２において、予測量子化パラメータ生成部１５１は、選択した各周辺領域の周辺領域量子化パラメータを、周辺領域量子化パラメータバッファ１４３から読み出す。

ステップＳ１５３において、予測量子化パラメータ生成部１５１は、ステップＳ１５２において取得した複数の周辺領域量子化パラメータに対して、例えばメジアン予測を行い、その中央値を予測量子化パラメータとする。

ステップＳ１５３の処理が終了すると、予測量子化パラメータ生成部１５１は、予測量子化パラメータ生成処理を終了し、処理を図８に戻す。

以上のように、各処理を行うことにより、画像符号化装置１００は、注目領域量子化パラメータの代わりに差分量子化パラメータを伝送させることができるので、量子化パラメータに対する符号化効率を向上させることができる。

＜２．第２の実施の形態＞
［画像復号装置］
図１０は、画像復号装置の主な構成例を示すブロック図である。図１０に示される画像復号装置２００は、画像符号化装置１００が生成した符号化データを、その符号化方法に対応する復号方法で復号する。なお、画像復号装置２００は、画像符号化装置１００と同様に、任意の領域毎に量子化処理を行うものとする。

図１０に示されるように画像復号装置２００は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、ループフィルタ２０６、画面並べ替えバッファ２０７、およびD/A変換部２０８を有する。また、画像復号装置２００は、フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３を有する。

さらに、画像復号装置２００は、量子化パラメータ復号部２２１を有する。

蓄積バッファ２０１は伝送されてきた符号化データを蓄積し、所定のタイミングにおいてその符号化データを可逆復号部２０２に供給する。可逆復号部２０２は、蓄積バッファ２０１より供給された、図１の可逆符号化部１０６により符号化された情報を、可逆符号化部１０６の符号化方式に対応する方式で復号する。可逆復号部２０２は、復号して得られた差分画像の量子化された係数データを、逆量子化部２０３に供給する。

また、可逆復号部２０２は、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部２１１および動き予測・補償部２１２の内、選択されたと判定したモードの方に供給する。つまり、例えば、画像符号化装置１００において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報が動き予測・補償部２１２に供給される。

逆量子化部２０３は、可逆復号部２０２により復号されて得られた量子化された係数データを、図１の量子化部１０５の量子化方式に対応する方式で逆量子化し、得られた係数データを逆直交変換部２０４に供給する。

逆直交変換部２０４は、図１の直交変換部１０４の直交変換方式に対応する方式で逆量子化部２０３から供給される係数データを逆直交変換する。逆直交変換部２０４は、この逆直交変換処理により、画像符号化装置１００において直交変換される前の残差データに対応する復号残差データを得る。

逆直交変換されて得られた復号残差データは、演算部２０５に供給される。また、演算部２０５には、選択部２１３を介して、イントラ予測部２１１若しくは動き予測・補償部２１２から予測画像が供給される。

演算部２０５は、その復号残差データと予測画像とを加算し、画像符号化装置１００の演算部１０３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２０５は、その復号画像データをループフィルタ２０６に供給する。

ループフィルタ２０６は、供給された復号画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施し、それを画面並べ替えバッファ２０７に供給する。

ループフィルタ２０６は、デブロックフィルタや適応ループフィルタ等を含み、演算部２０５から供給される復号画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ２０６は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ２０６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。

なお、ループフィルタ２０６が、復号画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ２０６が、図１の画像符号化装置１００から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。

ループフィルタ２０６は、フィルタ処理結果（フィルタ処理後の復号画像）を画面並べ替えバッファ２０７およびフレームメモリ２０９に供給する。なお、演算部２０５から出力される復号画像は、ループフィルタ２０６を介さずに画面並べ替えバッファ２０７やフレームメモリ２０９に供給することができる。つまり、ループフィルタ２０６によるフィルタ処理は省略することができる。

画面並べ替えバッファ２０７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０８は、画面並べ替えバッファ２０７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。

フレームメモリ２０９は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、イントラ予測部２１１や動き予測・補償部２１２等の外部の要求に基づいて、記憶している復号画像を参照画像として、選択部２１０に供給する。

選択部２１０は、フレームメモリ２０９から供給される参照画像の供給先を選択する。選択部２１０は、イントラ符号化された画像を復号する場合、フレームメモリ２０９から供給される参照画像をイントラ予測部２１１に供給する。また、選択部２１０は、インター符号化された画像を復号する場合、フレームメモリ２０９から供給される参照画像を動き予測・補償部２１２に供給する。

イントラ予測部２１１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部２０２から適宜供給される。イントラ予測部２１１は、図１のイントラ予測部１１４において用いられたイントラ予測モードで、フレームメモリ２０９から取得した参照画像を用いてイントラ予測を行い、予測画像を生成する。イントラ予測部２１１は、生成した予測画像を選択部２１３に供給する。

動き予測・補償部２１２は、ヘッダ情報を復号して得られた情報（最適予測モード情報、差分情報、および予測動きベクトル情報のコードナンバ等）を可逆復号部２０２から取得する。

動き予測・補償部２１２は、図１の動き予測・補償部１１５において用いられたインター予測モードで、フレームメモリ２０９から取得した参照画像を用いてインター予測を行い、予測画像を生成する。

量子化パラメータ復号部２２１は、画像符号化装置１００から供給される差分量子化パラメータに、周辺領域量子化パラメータ（過去に再構築した注目領域量子化パラメータ）を用いて生成したカレント領域の予測量子化パラメータを加算し、注目領域量子化パラメータを再構築する。量子化パラメータ復号部２２１は、その注目領域量子化パラメータを逆量子化部２０３に供給する。

逆量子化部２０３は、この量子化パラメータ復号部２２１から供給される注目領域量子化パラメータを用いて、可逆復号部２０２から供給される、量子化された直交変換係数の逆量子化を行う。

このようにすることにより、逆量子化部２０３は、量子化部１０５の量子化処理に対応する方法で逆量子化を行うことができる。つまり、画像復号装置２００は、量子化パラメータに対する符号化効率の向上を実現させることができる。

［逆量子化部および量子化パラメータ復号部］
図１１は、逆量子化部２０３および量子化パラメータ復号部２２１の主な構成例を示すブロック図である。

図１１に示されるように、逆量子化部２０３は、差分量子化パラメータバッファ２３１、量子化直交変換係数バッファ２３２、周辺領域量子化パラメータバッファ２３３、および逆量子化処理部２３４を有する。

また、量子化パラメータ復号部２２１は、予測量子化パラメータ生成部２４１および注目領域量子化パラメータ再構築部２４２を有する。

差分量子化パラメータバッファ２３１は、可逆復号部２０２から供給される、画像符号化装置１００から伝送された差分量子化パラメータを記憶する。差分量子化パラメータバッファ２３１は、所定のタイミングにおいて、若しくは、注目領域量子化パラメータ再構築部２４２等からの要求のような所定のイベント発生に基づいて、記憶している差分量子化パラメータを、注目領域量子化パラメータ再構築部２４２に供給する。

予測量子化パラメータ生成部２４１は、周辺領域量子化パラメータバッファ２３３に記憶されている周辺領域量子化パラメータを複数取得し、それらを用いて、カレント領域の予測量子化パラメータを生成する。

なお、この予測量子化パラメータの算出方法は、量子化パラメータ符号化部１２１（予測量子化パラメータ生成部１５１）による算出方法と同一である。例えば、予測量子化パラメータ生成部１５１が、メジアンにより、複数の周辺領域量子化パラメータから予測量子化パラメータを算出した場合、予測量子化パラメータ生成部２４１も、メジアンにより、複数の周辺領域量子化パラメータから予測量子化パラメータを算出する。また、予測量子化パラメータ生成部１５１が、複数の周辺領域量子化パラメータの平均を予測量子化パラメータとした場合、予測量子化パラメータ生成部２４１も、複数の周辺領域量子化パラメータの平均を予測量子化パラメータとする。

この算出方法は予め定められていても良いが、フラグ情報等を画像符号化装置１００から伝送することにより、予測量子化パラメータ生成部２４１が、画像符号化装置１００が選択した算出方法を把握し、それに対応する方法を選択することができるようにしてもよい。

予測量子化パラメータ生成部２４１は、生成した予測量子化パラメータを、注目領域量子化パラメータ再構築部２４２に供給する。

注目領域量子化パラメータ再構築部２４２は、差分量子化パラメータバッファ２３１から取得した差分量子化パラメータに、予測量子化パラメータ生成部２４１から取得した予測量子化パラメータを加算することにより、注目領域量子化パラメータを再構築する。

注目領域量子化パラメータ再構築部２４２は、再構築した注目領域量子化パラメータを周辺領域量子化パラメータバッファ２３３に供給する。

周辺領域量子化パラメータバッファ２３３は、注目領域量子化パラメータ再構築部２４２から供給された注目領域量子化パラメータを記憶する。周辺領域量子化パラメータバッファ２３３は、記憶している注目領域量子化パラメータを、そのカレント領域より後に処理される他の領域をカレント領域とする処理において、周辺領域量子化パラメータとして、予測量子化パラメータ生成部２４１に供給する。

また、注目領域量子化パラメータ再構築部２４２は、再構築した注目領域量子化パラメータを逆量子化処理部２３４にも供給する。

量子化直交変換係数バッファ２３２は、可逆復号部２０２から供給される、画像符号化装置１００から伝送された、量子化された直交変換係数を記憶する。量子化直交変換係数バッファ２３２は、所定のタイミングにおいて、若しくは、逆量子化処理部２３４等からの要求のような所定のイベント発生に基づいて、記憶している、量子化された直交変換係数を、逆量子化処理部２３４に供給する。

逆量子化処理部２３４は、注目領域量子化パラメータ再構築部２４２から取得した注目領域量子化パラメータを用いて、量子化直交変換係数バッファ２３２から取得した、量子化された直交変換係数に対して逆量子化を行う。逆量子化処理部２３４は、逆量子化して得られた直交変換係数を、逆直交変換部２０４に供給する。

このように各部が処理を行うことにより、量子化パラメータ復号部２２１は、画像符号化装置１００における量子化処理において使用された注目領域量子化パラメータを正しく再構築することができ、逆量子化部２０３は、画像符号化装置１００の量子化部１０５による量子化処理に対応する方法で逆量子化を行うことができる。つまり、画像復号装置２００は、量子化パラメータに対する符号化効率の向上を実現させることができる。

なお、図１に示される画像符号化装置１００の逆量子化部１０８および量子化パラメータ復号部１２２も、この逆量子化部２０３および量子化パラメータ復号部２２１と同様の構成を有し、同様の処理を行う。

［復号処理の流れ］
次に、以上のような画像復号装置２００により実行される各処理の流れについて説明する。最初に、図１２のフローチャートを参照して、復号処理の流れの例を説明する。

復号処理が開始されると、ステップＳ２０１において、蓄積バッファ２０１は、伝送されてきたビットストリームを蓄積する。ステップＳ２０２において、可逆復号部２０２は、蓄積バッファ２０１から供給されるビットストリームを復号する。すなわち、図１の可逆符号化部１０６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。また、差分動き情報や差分量子化パラメータなど、ビットストリームに含められた差分画像情報以外の各種情報も復号される。

ステップＳ２０３において、逆量子化部２０３および量子化パラメータ復号部２２１は、ステップＳ２０２の処理により得られた、量子化された直交変換係数を逆量子化する。

ステップＳ２０４において逆直交変換部２０４は、ステップＳ２０３において逆量子化された直交変換係数を逆直交変換する。

ステップＳ２０５において、イントラ予測部２１１若しくは動き予測・補償部２１２は、供給された情報を用いて予測処理を行う。

ステップＳ２０６において、選択部２１３は、ステップＳ２０５において生成された予測画像を選択する。

ステップＳ２０７において、演算部２０５は、ステップＳ２０４において逆直交変換されて得られた差分画像情報に、ステップＳ２０６において選択された予測画像を加算する。これにより復号画像が得られる。

ステップＳ２０８において、ループフィルタ２０６は、ステップＳ２０７において得られた復号画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。

ステップＳ２０９において、画面並べ替えバッファ２０７は、ステップＳ２０８においてフィルタ処理された画像の並べ替えを行う。すなわち画像符号化装置１００の画面並べ替えバッファ１０２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ２１０において、D/A変換部２０８は、ステップＳ２０９においてフレームの順序が並べ替えられた画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。

ステップＳ２１１において、フレームメモリ２０９は、ステップＳ２０８においてフィルタ処理された画像を記憶する。この画像は、ステップＳ２０５において、参照画像として、予測画像の生成に使用される。

ステップＳ２１１の処理が終了すると、復号処理が終了される。

［逆量子化処理の流れ］
次に、図１３のフローチャートを参照して、図１２のステップＳ２０３において実行される逆量子化処理の流れの例を説明する。

逆量子化処理が開始されると、ステップＳ２３１において、差分量子化パラメータバッファ２３１は、画像符号化装置１００において生成された差分量子化パラメータを取得する。

ステップＳ２３２において、予測量子化パラメータ生成部２４１は、カレント領域の予測量子化パラメータを生成する。この処理は、符号化側の場合と同様に行われる。すなわち、図９のフローチャートを参照して説明した各処理が実行される。

ステップＳ２３３において、注目領域量子化パラメータ再構築部２４２は、ステップＳ２３１において取得された差分量子化パラメータに、ステップＳ２３２において生成された予測量子化パラメータを加算することにより、注目領域量子化パラメータを再構築する。

ステップＳ２３４において、周辺領域量子化パラメータバッファ２３３は、ステップＳ２３３において生成された注目領域量子化パラメータを記憶する。この注目領域量子化パラメータは、カレント領域より後に処理される他の領域をカレント領域とする逆量子化処理において、周辺領域量子化パラメータとして利用される。

ステップＳ２３５において、量子化直交変換係数バッファ２３２は、量子化された直交変換係数を取得する。

ステップＳ２３６において、逆量子化処理部２３４は、ステップＳ２３５において再構築された注目領域量子化パラメータを用いて、ステップＳ２３５において取得された、量子化された直交変換係数を逆量子化する。

逆量子化が終了すると、逆量子化処理部２３４は、逆量子化処理を終了し、処理を図１２に戻す。

以上のように、各種処理を行うことにより、画像復号装置２００は、量子化パラメータに対する符号化効率の向上を実現させることができる。

＜３．第３の実施の形態＞
［予測量子化パラメータの算出方法の制御］
なお、予測量子化パラメータの算出方法は、上述した例に限らない。例えば、各周辺領域の量子化パラメータを周辺領域量子化パラメータとして利用可能であるか否かを確認するようにしてもよい。

例えば、図５の例において、カレント領域の予測量子化パラメータを生成するに当たって、周辺領域Ａ乃至Ｃの量子化パラメータを利用しようとしたとする。その際、カレント領域の位置によっては、周辺領域Ａ乃至Ｃのいずれかが、例えば、画枠の外に位置したり、カレントスライス以外に位置したりするなどして、その量子化パラメータを利用することができない（unavailableな状態である）場合が考えられる。

そこで、量子化パラメータ符号化部１２１が、予測量子化パラメータの生成に当たって、各周辺領域の利用可否（available（アベイラブル）な状態であるかunavailableな状態であるか）を判定し、利用可（availableな状態）である周辺領域のみを用いて予測量子化パラメータを生成するようにしてもよい。さらに、その判定結果（各周辺領域の利用可否の状況）に応じて、予測量子化パラメータを生成するための演算方法を決定するようにしてもよい。

［量子化パラメータ符号化部］
図１４は、その場合の、量子化パラメータ符号化部１２１の主な構成例を示すブロック図である。図１４に示されるように、この場合の量子化パラメータ符号化部１２１は、第１の実施の形態の場合（図６）の構成に加え、周辺領域利用可否判定部３０１および演算制御部３０２を有する。

周辺領域利用可否判定部３０１は、予測量子化パラメータ生成部１５１が予測量子化パラメータを生成する際に、そのカレント領域の各周辺領域が利用可能であるか否かを判定する。なお、利用可否の理由は任意である。周辺領域利用可否判定部３０１は、その判定結果を演算制御部３０２に供給する。

演算制御部３０２は、周辺領域利用可否判定部３０１から供給される判定結果に従って、予測量子化パラメータ生成の演算方法を決定し、決定した演算方法を示す情報と、周辺領域利用可否判定部３０１から供給される判定結果とを予測量子化パラメータ生成部１５１に供給する。

予測量子化パラメータ生成部１５１は、周辺領域利用可否判定部３０１により利用可（availableな状態）であると判定された周辺領域の量子化パラメータを、周辺領域量子化パラメータバッファ１４３から、周辺領域量子化パラメータとして取得する。予測量子化パラメータ生成部１５１は、その周辺領域量子化パラメータを用いて、演算制御部３０２により決定された演算方法で予測量子化パラメータを生成する。

より具体的な例を説明する。例えば、図５において、周辺領域Ａ乃至Ｃを、周辺領域量子化パラメータを得る領域の候補とする。また、予測量子化パラメータ生成部１５１が、上述したメジアン演算と平均演算を行うことができるとする。

例えば、周辺領域利用可否判定部３０１が、周辺領域Ａ乃至Ｃの全てが利用可（availableな状態）であると判定した場合、演算制御部３０２は、予測量子化パラメータを生成する演算方法としてメジアン演算を選択する。したがって、この場合、予測量子化パラメータ生成部１５１は、周辺領域量子化パラメータQP_a，QP_b、およびQP_cを周辺領域量子化パラメータバッファ１４３から読み出し、それらを用いて上述した式（１）のようにメジアン演算を行う。

また、例えば、周辺領域利用可否判定部３０１が、周辺領域Ａ乃至Ｃのうち２つが利用可（availableな状態）であると判定した場合、演算制御部３０２は、予測量子化パラメータを生成する演算方法として平均演算を選択する。

したがって、例えば、領域Ａが利用不可（unavailableな状態）である場合、予測量子化パラメータ生成部１５１は、周辺領域量子化パラメータQP_bおよびQP_cを周辺領域量子化パラメータバッファ１４３から読み出し、それらを用いて以下の式（３）のように平均演算（Avr()）を行う。

PredQP = Avr (QP_b,QP_c) ・・・（３）

なお、領域Ｂが利用不可（unavailableな状態）である場合、予測量子化パラメータ生成部１５１は、周辺領域量子化パラメータQP_aおよびQP_cを周辺領域量子化パラメータバッファ１４３から読み出し、それらを用いて以下の式（４）のように平均演算（Avr()）を行う。

PredQP = Avr (QP_a,QP_c) ・・・（４）

また、領域Ｃが利用不可（unavailableな状態）である場合、予測量子化パラメータ生成部１５１は、周辺領域量子化パラメータQP_aおよびQP_bを周辺領域量子化パラメータバッファ１４３から読み出し、それらを用いて以下の式（５）のように平均演算（Avr()）を行う。

PredQP = Avr (QP_a,QP_b) ・・・（５）

また、例えば、周辺領域利用可否判定部３０１が、周辺領域Ａ乃至Ｃのうち１つが利用可（availableな状態）であると判定した場合、演算制御部３０２は、その周辺領域の量子化パラメータを予測量子化パラメータとする通常予測を選択する。

この場合、予測量子化パラメータ生成部１５１は、周辺領域量子化パラメータQP_a，QP_b、およびQP_cのうち、利用可と判定された周辺領域の量子化パラメータを周辺領域量子化パラメータバッファ１４３から読み出し、以下の式（６）乃至式（８）のように、それを予測量子化パラメータとする。

領域Ａが利用可（availableな状態）である場合：
PredQP = QP_a ・・・（６）
領域Ｂが利用可（availableな状態）である場合：
PredQP = QP_b ・・・（７）
領域Ｂが利用可（availableな状態）である場合：
PredQP = QP_c ・・・（８）

［予測量子化パラメータ生成処理の流れ］
図１５のフローチャートを参照して、この場合の予測量子化パラメータ生成処理の流れの例を説明する。なお、ここでは、図５の周辺領域Ａ乃至Ｃを、周辺領域量子化パラメータを得る領域の候補とする。また、予測量子化パラメータ生成部１５１が、上述したメジアン演算と平均演算を行うことができるものとする。

予測量子化パラメータ生成処理が開始されると、ステップＳ３０１において、周辺領域利用可否判定部３０１は、予測量子化パラメータ生成部１５１が予測量子化を生成するカレント領域について、各周辺領域の利用可否を判定する。つまり、周辺領域利用可否判定部３０１は、周辺領域Ａ乃至Ｃのそれぞれについて、利用可であるか否かを判定する。

ステップＳ３０２において、演算制御部３０２は、カレント領域に対して、利用可能な周辺領域が存在するか否かを判定する。周辺領域Ａ乃至Ｃの全ての周辺領域が利用不可（unavailableな状態）であると判定された場合、演算制御部３０２は、予測量子化パラメータを生成しない（または、値が０若しくは初期値の予測量子化パラメータを生成する）ように予測量子化パラメータ生成処理を終了させ、処理を図８に戻す。

ステップＳ３０２において、利用可能な周辺領域が存在すると判定された場合、演算制御部３０２は、処理をステップＳ３０３に進める。ステップＳ３０３において、演算制御部３０２は、全ての周辺領域が利用可能（availableな状態）であるか否かを判定する。周辺領域Ａ乃至Ｃが全て利用可能であると判定された場合、演算制御部３０２は、予測量子化パラメータ生成の演算方法としてメジアン演算を選択し、処理をステップＳ３０４に進める。

メジアン演算が選択されると、ステップＳ３０４において、予測量子化パラメータ生成部１５１は、周辺領域Ａ乃至Ｃの量子化パラメータQP_a,QP_b、およびQP_cを、周辺領域量子化パラメータとして取得する。

ステップＳ３０５において、予測量子化パラメータ生成部１５１は、ステップＳ３０４において取得された全ての周辺領域量子化パラメータを用いたメジアン演算によって予測量子化パラメータを生成する。すなわち、予測量子化パラメータ生成部１５１は、領域量子化パラメータQP_a,QP_b、およびQP_cの中央値を予測量子化パラメータとする。ステップＳ３０５の処理が終了すると、予測量子化パラメータ生成部１５１は、予測量子化パラメータ生成処理を終了し、処理を図８に戻す。

また、ステップＳ３０３において、一部の周辺領域のみが利用可であり、メジアン演算の実行が困難であると判定された場合、演算制御部３０２は、処理をステップＳ３０６に進める。ステップＳ３０６において、演算制御部３０２は、３つの周辺領域のうち、２つの周辺領域が利用可能であるか否かを判定する。２つの周辺領域が可能であると判定された場合、演算制御部３０２は、予測量子化パラメータ生成の演算方法として平均演算を選択し、処理をステップＳ３０７に進める。

平均演算が選択されると、ステップＳ３０７において、予測量子化パラメータ生成部１５１は、周辺領域Ａ乃至Ｃのうち、利用可（availableな状態）の領域の量子化パラメータ（すなわち、量子化パラメータQP_a,QP_b、およびQP_cのうちいずれか２つ）を、周辺領域量子化パラメータとして取得する。

ステップＳ３０８において、予測量子化パラメータ生成部１５１は、ステップＳ３０７において取得された周辺領域量子化パラメータを用いた平均演算によって予測量子化パラメータを生成する。すなわち、予測量子化パラメータ生成部１５１は、領域量子化パラメータQP_a,QP_b、およびQP_cのうち、いずれか２つの平均値を予測量子化パラメータとする。ステップＳ３０８の処理が終了すると、予測量子化パラメータ生成部１５１は、予測量子化パラメータ生成処理を終了し、処理を図８に戻す。

また、ステップＳ３０６において、１つの周辺領域が可能であると判定された場合、演算制御部３０２は、予測量子化パラメータ生成の方法として通常予測を選択し、処理をステップＳ３０９に進める。

通常予測が選択されると、ステップＳ３０９において、予測量子化パラメータ生成部１５１は、周辺領域Ａ乃至Ｃのうち、利用可（availableな状態）の領域の量子化パラメータ（すなわち、量子化パラメータQP_a,QP_b、およびQP_cのうちいずれか１つ）を、周辺領域量子化パラメータとして取得する。

ステップＳ３１０において、予測量子化パラメータ生成部１５１は、ステップＳ３０９において取得された周辺領域量子化パラメータを予測量子化パラメータとする。すなわち、予測量子化パラメータ生成部１５１は、領域量子化パラメータQP_a,QP_b、およびQP_cのうち、いずれか１つを予測量子化パラメータとする。ステップＳ３１０の処理が終了すると、予測量子化パラメータ生成部１５１は、予測量子化パラメータ生成処理を終了し、処理を図８に戻す。

以上のように、周辺領域の利用可否を判定するので、量子化パラメータ符号化部１２１は、利用可の周辺領域の周辺領域量子化パラメータのみを用いて予測量子化パラメータをより確実に生成することができる。なお、この周辺領域の利用可否の判定条件は任意であるので、量子化パラメータ符号化部１２１は、所望の周辺領域の周辺領域量子化パラメータのみを用いて所望の予測量子化パラメータをより確実に生成することができる。

また、以上のように、予測量子化パラメータの算出方法を、利用可である周辺領域の数に応じて決定するので、量子化パラメータ符号化部１２１は、より適切な演算方法を適用し、予測量子化パラメータをより確実に生成することができる。

なお、以上においては、カレント領域に対する周辺領域として図５の例の周辺領域Ａ乃至Ｃを用いて説明したが、周辺領域はこれらの領域以外の領域を含むようにしてもよい。また、周辺領域とする領域数も任意である。例えば、カレント領域と周辺領域の大小関係に応じて決定されるようにしてもよい。

また、以上においては、メジアン演算が選択される条件が、全ての周辺領域が利用可であることと説明したが、これに限らず、メジアン演算を実行可能な数の周辺領域が利用かであることとしてもよい。例えば、周辺領域を５つとする場合、３つ以上の周辺領域が利用可であることを、メジアン演算が選択される条件としてもよい。さらに、メジアン演算が適用されない場合、演算制御部３０２が、必ず平均演算を選択するようにしてもよい。

［量子化パラメータ復号部］
図１６は、この場合の量子化パラメータ復号部２２１の主な構成例を示すブロック図である。図１６に示される量子化パラメータ復号部２２１は、図１４に示されるような構成を有し、上述したような方法で予測量子化パラメータを生成する量子化パラメータ符号化部１２１に対応し、この量子化パラメータ符号化部１２１が生成した差分量子化パラメータから注目領域量子化パラメータを正しく生成する。つまり、図１６に示される量子化パラメータ復号部２２１は、図１４に示される量子化パラメータ符号化部１２１と同様の方法で、予測量子化パラメータを生成する。

図１６に示されるように、この場合の量子化パラメータ復号部２２１は、第２の実施の形態の場合（図９）の構成に加え、周辺領域利用可否判定部３１１および演算制御部３１２を有する。

周辺領域利用可否判定部３１１は、周辺領域利用可否判定部３０１と同様の方法で、予測量子化パラメータ生成部２４１が予測量子化パラメータを生成する際に、そのカレント領域の各周辺領域が利用可能であるか否かを判定する。周辺領域利用可否判定部３１１は、その判定結果を演算制御部３１２に供給する。

演算制御部３１２は、演算制御部３０２と同様の方法で、周辺領域利用可否判定部３０１から供給される判定結果に従って、予測量子化パラメータ生成の演算方法を決定し、決定した演算方法を示す情報と、周辺領域利用可否判定部３０１から供給される判定結果とを予測量子化パラメータ生成部２４１に供給する。

予測量子化パラメータ生成部２４１は、予測量子化パラメータ生成部１５１と同様の方法で、周辺領域利用可否判定部３１１により利用可（availableな状態）であると判定された周辺領域の量子化パラメータを、周辺領域量子化パラメータバッファ２３３から、周辺領域量子化パラメータとして取得し、その周辺領域量子化パラメータを用いて、演算制御部３１２により決定された演算方法で予測量子化パラメータを生成する。

すなわち、量子化パラメータ復号部２２１は、予測量子化パラメータ生成処理において、図１５のフローチャートを参照して説明した各処理と同様の処理を行う。

このように各部が処理を行うことにより、量子化パラメータ復号部２２１は、この場合も、画像符号化装置１００における量子化処理において使用された注目領域量子化パラメータを正しく再構築することができる。

＜４．第４の実施の形態＞
［加重平均］
予測量子化パラメータの算出方法は、上述した各演算方法以外のものであってもよい。例えば、各周辺領域量子化パラメータに重み付けを行ってから加算する加重平均演算を適用するようにしてもよい。その際、どのような指標に基づいて重み付けを行うようにしてもよいが、例えば、周辺領域の大きさで重み付けを行うようにしてもよい。

［量子化パラメータ符号化部］
図１７は、その場合の量子化パラメータ符号化部１２１の主な構成例を示すブロック図である。図１７に示されるように、この場合、量子化パラメータ符号化部１２１は、第１の実施の形態（図６）の場合の構成に加え、周辺領域サイズ判定部３２１を有する。

周辺領域サイズ判定部３２１は、予測量子化パラメータ生成部１５１が予測量子化パラメータを生成するカレント領域に対して、その周辺領域のそれぞれの大きさを判定する。周辺領域サイズ判定部３２１は、その判定結果を、予測量子化パラメータ生成部１５１に通知する。

予測量子化パラメータ生成部１５１は、その判定結果に従って、すなわち、各周辺領域の大きさに基づいて、各周辺領域量子化パラメータを重み付けし、その平均を求める。つまり、予測量子化パラメータ生成部１５１は、各周辺領域量子化パラメータの加重平均を算出し、それを予測量子化パラメータとする。

なお、各周辺領域量子化パラメータの重みの付け方は任意である。例えば、サイズがより大きな周辺領域の量子化パラメータほど、その重みを大きくする（加重を上げる）ようにしてもよい。すなわち、予測量子化パラメータは、以下の式（９）のように算出される。

PredQP＝（ｘ×QP_a＋y×QP_b＋z×QP_c）/（x＋y＋z） ・・・（９）

このようにすることにより、量子化パラメータ符号化部１２１は、予測量子化パラメータに、周辺領域の量子化パラメータをより正確に反映させることができ、予測量子化パラメータの予測精度を向上させることができる。

また、例えば、カレント領域のサイズにより近いサイズの周辺領域の量子化パラメータほど、その重みを大きくする（加重を上げる）ようにしてもよい。すなわち、カレント領域と同じ大きさの周辺領域の量子化パラメータの加重を最も上げるようにしてもよい。なお、カレント領域と同じ大きさの周辺領域の量子化パラメータのみ、加重を上げるようにしてもよい。

領域のサイズは、画像の特徴に依存する傾向があり、同じような画像は、同じようなサイズの領域に分割されやすい。従って、位置と大きさが近い領域同士は、似たような画像である可能性が高く、量子化パラメータも類似する可能性が高い。したがって、予測量子化パラメータ生成部１５１が、カレント領域のサイズにより近いサイズの周辺領域の量子化パラメータほど、その重みを大きくする（加重を上げる）ことにより、予測量子化パラメータの予測精度の向上を期待することができる。

予測量子化パラメータ生成部１５１は、その予測量子化パラメータを差分量子化パラメータ生成部１５２に供給する。

［予測量子化パラメータ生成処理の流れ］
図１８のフローチャートを参照して、この場合の予測量子化パラメータ生成処理の流れの例を説明する。

予測量子化パラメータ生成処理が開始されると、ステップＳ３３１において、周辺領域サイズ判定部３２１は、周辺領域のサイズを判定する。

ステップＳ３３２において、予測量子化パラメータ生成部１５１は、ステップＳ３３１において判定された各周辺領域のサイズに応じて、各周辺領域量子化パラメータに付加する重みを決定する。

ステップＳ３３３において、予測量子化パラメータ生成部１５１は、周辺領域量子化パラメータを取得する。ステップＳ３３４において、予測量子化パラメータ生成部１５１は、周辺領域量子化パラメータを用いて加重平均を行い、予測量子化パラメータを生成する。

ステップＳ３３４の処理が終了すると、予測量子化パラメータ生成部１５１は、予測量子化パラメータ生成処理を終了し、処理を図８に戻す。

以上のように、周辺領域のサイズに応じた加重平均を行うことにより、量子化パラメータ符号化部１２１は、周辺領域の量子化パラメータをより正確に反映させた予測量子化パラメータを生成することができる。したがって、量子化パラメータ符号化部１２１は、予測量子化パラメータの予測精度を向上させることができる。これにより、画像符号化装置１００は、符号化効率を向上させることができる。

［量子化パラメータ復号部］
図１９は、この場合の量子化パラメータ復号部２２１の主な構成例を示すブロック図である。図１９に示される量子化パラメータ復号部２２１は、図１７に示されるような構成を有し、上述したように加重平均演算により予測量子化パラメータを生成する量子化パラメータ符号化部１２１に対応し、この量子化パラメータ符号化部１２１が生成した差分量子化パラメータから注目領域量子化パラメータを正しく生成する。つまり、図１９に示される量子化パラメータ復号部２２１は、図１７に示される量子化パラメータ符号化部１２１と同様の方法で、予測量子化パラメータを生成する。

図１９に示されるように、この場合の量子化パラメータ復号部２２１は、第２の実施の形態（図９）の場合の構成に加え、周辺領域サイズ判定部３３１を有する。

周辺領域サイズ判定部３３１は、周辺領域サイズ判定部３２１と同様の方法で、予測量子化パラメータ生成部２４１が予測量子化パラメータを生成するカレント領域に対して、その周辺領域のそれぞれの大きさを判定する。周辺領域サイズ判定部３３１は、その判定結果を、予測量子化パラメータ生成部２４１に通知する。

予測量子化パラメータ生成部２４１は、予測量子化パラメータ生成部１５１と同様の方法で、予測量子化パラメータを生成する。つまり、予測量子化パラメータ生成部２４１は、各周辺領域の大きさに基づいて、各周辺領域量子化パラメータの加重平均を算出し、それを予測量子化パラメータとする。

すなわち、量子化パラメータ復号部２２１は、予測量子化パラメータ生成処理において、図１８のフローチャートを参照して説明した各処理と同様の処理を行う。

このように各部が処理を行うことにより、量子化パラメータ復号部２２１は、この場合も、画像符号化装置１００における量子化処理において使用された注目領域量子化パラメータを正しく再構築することができる。

＜５．第５の実施の形態＞
［種別データ設定］
なお、予測量子化パラメータを算出するための上述したような各種演算の使用可否設定をユーザ等が行うことができるようにしてもよい。また、その設定を種別データとして、復号側に伝送することができるようにしてもよい。

［量子化パラメータ符号化部等］
図２０は、この場合の量子化パラメータ符号化部１２１等の主な構成例を示すブロック図である。図２０に示されるように、この場合の画像符号化装置１００は、第１の実施の形態（図１）の場合の構成に加え、さらに種別データ設定部３５１を有する。

種別データ設定部３５１は、例えばユーザ指示や外部の処理の指示等に基づいて、予測量子化パラメータを算出するための各種演算の使用可否設定を行い、その設定を含む種別データを生成する。種別データ設定部３５１は、生成した種別データを量子化パラメータ符号化部１２１に供給する。また、種別データ設定部３５１は、生成した種別データを可逆符号化部１０６にも供給し、符号化させ、例えば、シーケンスパラメータセットやピクチャパラメータセットに含めるなどして復号側に伝送させる。

量子化パラメータ符号化部１２１は、この場合、図２０に示されるように、第１の実施の形態（図６）の場合の構成に加え、さらに種別データバッファ３６１および演算制御部３６２を有する。

種別データバッファ３６１は、種別データ設定部３５１から供給される種別データを取得し、記憶する。種別データバッファ３６１は、所定のタイミングにおいて、若しくは、外部からの要求に基づいて、記憶している種別データを読み出し、演算制御部３６２に供給する。

演算制御部３６２は、予測量子化パラメータ生成部１５１が予測量子化パラメータを生成するカレント領域に対応する種別データを種別データバッファ３６１から読み出す。演算制御部３６２は、その種別データ等に従って予測量子化パラメータを算出する演算方法を決定し、その演算方法を予測量子化パラメータ生成部１５１に通知する。

予測量子化パラメータ生成部１５１は、演算制御部３６２に指定された方法で、予測量子化パラメータ生成の演算を行う。

［種別データ］
次に、種別データの詳細について説明する。種別データの例を図２１に示す。図２１に示されるように、種別データには、例えば、PredQP_median_enable、PredQP_average_enable、およびPredQP_waverage_enableの３つのフラグが含まれる。種別データは、ピクチャ、スライス、LCU、CU等任意のデータ単位毎に設定される。

PredQP_median_enableは、このフラグが設定されたデータ単位において、予測量子化パラメータ生成の演算にメジアン演算が適用されるか否かを示すフラグ情報である。このフラグの値が「０」の場合、メジアン演算の使用が禁止されており、演算制御部３６２は、予測量子化パラメータ生成の演算にメジアン演算を選択することができない。また、このフラグの値が「１」の場合、メジアン演算の使用が禁止されておらず、演算制御部３６２は、予測量子化パラメータ生成の演算にメジアン演算を選択することができる。

PredQP_average_enableは、このフラグが設定されたデータ単位において、予測量子化パラメータ生成の演算に平均演算が適用されるか否かを示すフラグ情報である。このフラグの値が「０」の場合、平均演算の使用が禁止されており、演算制御部３６２は、予測量子化パラメータ生成の演算に平均演算を選択することができない。また、このフラグの値が「１」の場合、平均演算の使用が禁止されておらず、演算制御部３６２は、予測量子化パラメータ生成の演算に平均演算を選択することができる。

PredQP_waverage_enableは、このフラグが設定されたデータ単位において、予測量子化パラメータ生成の演算に加重平均演算が適用されるか否かを示すフラグ情報である。このフラグの値が「０」の場合、加重平均演算の使用が禁止されており、演算制御部３６２は、予測量子化パラメータ生成の演算に加重平均演算を選択することができない。また、このフラグの値が「１」の場合、加重平均演算の使用が禁止されておらず、演算制御部３６２は、予測量子化パラメータ生成の演算に加重平均演算を選択することができる。

［種別データ設定処理の流れ］
次に、このような種別データを設定する種別データ設定処理の流れの例を、図２２のフローチャートを参照して説明する。なお、以下においては、説明の便宜上、LCU毎に種別データを設定するものとして説明を行う。

種別データ設定処理が開始されると、種別データ設定部３５１は、ステップＳ３５１において、LCU毎にPredQP_median_enableを設定する。ステップＳ３５２において、種別データ設定部３５１は、LCU毎にPredQP_average_enableを設定する。ステップＳ３５３において、種別データ設定部３５１は、LCU毎にPredQP_waverage_enableを設定する。

ステップＳ３５４において、種別データ設定部３５１は、ステップＳ３５１乃至ステップＳ３５３において生成された各種フラグを含む種別データを可逆符号化部１０６に供給し、符号化させ、例えばシーケンスパラメータセット（SPS）やピクチャパラメータセット（PPS）等に含めて、復号側に伝送させる。

ステップＳ３５４の処理が終了すると、種別データ設定部３５１は、種別データ設定処理を終了する。

［予測量子化パラメータ生成処理の流れ］
次に、図２３のフローチャートを参照して、この場合の予測量子化パラメータ生成処理の流れの例を説明する。予測量子化パラメータ生成処理が開始されると、種別データバッファ３６１は、ステップＳ３７１において、カレント領域の種別データを取得する。ステップＳ３７２において、演算制御部３６２は、ステップＳ３７１において取得された種別データに基づいて予測量子化パラメータ生成の演算方法を決定する。

ステップＳ３７３において、予測量子化パラメータ生成部１５１は、予測量子化パラメータの候補を得る周辺領域を複数選択する。ステップＳ３７４において、予測量子化パラメータ生成部１５１は、選択した各周辺領域の周辺領域量子化パラメータを取得する。ステップＳ３７５において、予測量子化パラメータ生成部１５１は、周辺領域量子化パラメータを用いて予測量子化パラメータを生成する。

ステップＳ３７５の処理が終了すると、予測量子化パラメータ生成部１５１は、予測量子化パラメータ生成処理を終了し、処理を図８に戻す。

以上のように、予測量子化パラメータ生成部１５１は、種別データに応じて予測量子化パラメータを生成する。これにより、予測量子化パラメータ生成部１５１は、より適切な演算方法を選択することができる。

［量子化パラメータ復号部等］
図２４は、この場合の量子化パラメータ復号部２２１等の主な構成例を示すブロック図である。図２４に示される量子化パラメータ復号部２２１は、図２０に示されるような構成を有し、上述したような方法で予測量子化パラメータを生成する量子化パラメータ符号化部１２１に対応し、この量子化パラメータ符号化部１２１が生成した差分量子化パラメータから注目領域量子化パラメータを正しく生成する。つまり、図２４に示される量子化パラメータ復号部２２１は、図２０に示される量子化パラメータ符号化部１２１と同様の方法で、予測量子化パラメータを生成する。

図２４に示されるように、この場合の量子化パラメータ復号部２２１は、種別データバッファ３８１および演算制御部３８２を有する。

種別データバッファ３８１は、可逆復号部２０２において抽出された、復号側から伝送された種別データを取得し、記憶する。種別データバッファ３８１は、所定のタイミングにおいて、若しくは、外部からの要求に従って、記憶している種別データバッファ３８１を演算制御部３８２に供給する。

演算制御部３８２は、演算制御部３６２と同様の方法で、予測量子化パラメータ生成部２４１が予測量子化パラメータを生成するカレント領域に対応する種別データを種別データバッファ３８１から読み出す。演算制御部３８２は、その種別データ等に従って予測量子化パラメータを算出する演算方法を決定し、その演算方法を予測量子化パラメータ生成部２４１に通知する。

予測量子化パラメータ生成部２４１は、演算制御部３８２に指定された方法で、予測量子化パラメータ生成の演算を行う。

すなわち、量子化パラメータ復号部２２１は、予測量子化パラメータ生成処理において、図２３のフローチャートを参照して説明した各処理と同様の処理を行う。

このようにすることにより、量子化パラメータ復号部２２１は、この場合も、画像符号化装置１００における量子化処理において使用された注目領域量子化パラメータを正しく再構築することができる。

［種別データ］
なお、種別データが対応する演算方法は、任意であり、上述した以外であってもよい。また、種別データが、上述した演算方法の一部または全部に対応していなくてもよい。さらに、種別データに含まれるフラグは任意であり、上述したフラグ以外のものが種別データに含まれるようにしてもよい。例えば、図２５に示されるPredQP_type_flagが含まれていても良い。

PredQP_type_flagは、このフラグが設定されたデータ単位において、予測量子化パラメータ生成の演算に利用可能な演算方法を示すフラグ情報である。例えば、このフラグの値が「００」の場合、全ての演算方法の使用が禁止されており、予測量子化パラメータ生成部１５１は、予測演算を実行することができない。また、このフラグの値が「０１」の場合、メジアン演算の使用が禁止されておらず、演算制御部３６２は、予測量子化パラメータ生成の演算にメジアン演算を選択することができる。

さらに、このフラグの値が「１０」の場合、平均演算の使用が禁止されておらず、演算制御部３６２は、予測量子化パラメータ生成の演算に平均演算を選択することができる。また、このフラグの値が「１１」の場合、メジアン演算および平均演算の両方の使用が禁止されておらず、演算制御部３６２は、メジアン演算および平均演算の両方から選択することができる。

なお、どの値がどの演算の使用を許可または禁止するようにしてもよい。また、PredQP_type_flagが制御する演算方法の種類および数は、上述した以外であってもよい。さらに、PredQP_type_flagのビット長は３ビット以上であっても良い。

［種別データ設定処理の流れ］
このようなPredQP_type_flagを種別データとする場合、量子化パラメータ符号化部１２１等の構成は、図２０を参照して上述した場合と同様である。また、予測量子化パラメータ生成処理の流れは、図２３のフローチャートを参照して上述した場合と同様である。

このようなPredQP_type_flagを種別データとする場合の種別データ設定処理の流れの例を、図２６のフローチャートを参照して説明する。

種別データ設定処理が開始されると、種別データ設定部３５１は、ステップＳ３９１において、LCU毎にPredQP_type_flagを設定する。この設定は、種別データバッファ３６１に供給され保持される。ステップＳ３９２において、種別データ設定部３５１は、ステップＳ３９１の処理により設定された種別データを可逆符号化部１０６に供給し、符号化させ、復号側に伝送させる。

以上のように、予測量子化パラメータ生成部１５１は、種別データに応じて予測量子化パラメータを生成する。これにより、予測量子化パラメータ生成部１５１は、より適切な演算方法を選択することができる。

なお、PredQP_type_flagも、ピクチャ、スライス、LCU、CU等任意のデータ単位毎に設定することができる。

なお、種別データにより制御される予測演算の数や種類を可変としてもよい。その場合、その種別データにより制御される予測演算の数や種類を示す情報も、復号側に伝送すればよい。

なお、本技術は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本技術は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。

＜６．第６の実施の形態＞
［LCU単位の予測］
ところで、処理をLCU（最大コーディングユニット）単位（LCUベース）で行うようにすると、処理がLCU内で閉じるので、レートコントロールが容易になる。ただし、その場合、量子化パラメータ（差分量子化パラメータ・予測量子化パラメータ）を算出する際に用いるバッファもLCU単位でコントロールされることになり、LCU単位でデータがリセットされる（捨てられる）。

処理をLCU単位（LCUベース）で行う場合、量子化パラメータの予測は、例えばCUやTU等、LCUより小さい単位で行われることになる。例えば、量子化パラメータの予測がCU毎に行われるとすると、カレントCUが、LCU内において符号化順（復号順）で最初の位置（ラスタスキャンの場合、左上端）のCUである場合、予測の際に参照される周辺CUは、カレントLCUの外（他のLCU内）に位置する。

そのため、バッファのリセットにより量子化パラメータが破棄され、利用不可（unavailableな状態（アベイラブルでない状態））である可能性が高い。

そこで、処理をLCU単位（LCUベース）で行い、量子化パラメータの予測を、LCUより小さい単位の領域（例えばCU）毎に行う場合、カレント領域（例えばCurrent CU）の周辺領域がカレントLCUの外に位置するときは、直前に（１つ前に）処理された領域（例えばPrevious CU）の量子化パラメータを参照するようにしてもよい。つまり、直前に差分量子化パラメータが算出された領域の量子化パラメータが、予測量子化パラメータとされる（若しくは予測量子化パラメータの算出に利用される）ようにしてもよい。

図２７を参照して、より具体的に説明する。処理がLCU単位（LCUベース）で行われ、量子化パラメータの予測がCU毎に行われるものとする。また、LCU内において各CUは、ラスタスキャン順に行われるものとする。そして、カレントCU（Current CU）が、カレントLCU（Current LCU）の左上端に位置する（すなわち、カレントLCU内で最初に符号化処理されるCU）ものとする。そして、直前に処理されたCU（Previous CU）が、カレントLCUの左に隣接するLCU（直前に処理されたLCU（Previous LCU））の右下端に位置する（すなわち、Previous LCU内で最後に符号化処理されるCU）ものとする。

カレントCU（Current CU）の量子化パラメータの予測において参照する周辺CUがCU（A）、CU（B）、およびCU（C）であるとすると、これらのCUは、全てカレントLCU外に位置する。したがって、これらのCUは全て利用不可（unavailableな状態（アベイラブルでない状態））と判定され、その代わりに、直前に処理されたCU（Previous CU）の量子化パラメータQP_prevが予測量子化パラメータPredQPとされる。つまり、以下の式（１０）のように、カレントCUの量子化パラメータQP_currと予測量子化パラメータPredQPとの差分量子化パラメータｄQPが算出される。

dQP = QP_curr - PredQP
= QP_curr - QP_prev
・・・（１０）

例えば、第３の実施の形態において、量子化パラメータ符号化部１２１の周辺領域利用可否判定部３０１（図１４）が、カレント領域（例えば、図２７のCurrent CU）の位置等から、周辺領域（例えば、図２７のCU（A）乃至CU（C））が利用可能か（アベイラブルな状態か）を判定する。図２７の例のように、周辺領域が全て利用不可である（Current LCUの外に位置し、アベイラブルでない状態）と判定された場合、演算制御部３０２は、１つ前に処理された領域(例えば、図２７のPrevious CU)を参照先として指定する。予測量子化パラメータ生成部１５１は、その１つ前に処理された領域(例えば、図２７のPrevious CU)の量子化パラメータを予測量子化パラメータとする。差分量子化パラメータ生成部１５２は、その予測量子化パラメータと、カレント領域（例えば、図２７のCurrent CU）の量子化パラメータとの差分である差分量子化パラメータを生成する。

このようにすることにより、画像符号化装置１００は、処理をLCU単位（LCUベース）で行うようにし、レートコントロールを容易にすることができるとともに、予測量子化パラメータをより確実に生成することができる。

なお、このような方法は、符号化の際に行われる予測量子化パラメータ生成だけでなく、復号の際に行われる予測量子化パラメータ生成にも適用することができる。例えば、図１６に示される量子化パラメータ復号部２２１も、図１４に示される量子化パラメータ符号化部１２１と同様の方法で、予測量子化パラメータを生成することができる。

この場合、例えば、量子化パラメータ復号部２２１の周辺領域利用可否判定部３１１（図１６）が、カレント領域（例えば、図２７のCurrent CU）の位置等から、周辺領域（例えば、図２７のCU（A）乃至CU（C））が利用可能か（アベイラブルな状態か）を判定する。図２７の例のように、周辺領域が全て利用不可である（Current LCUの外に位置し、アベイラブルでない状態）と判定された場合、演算制御部３１２は、１つ前に処理された領域(例えば、図２７のPrevious CU)を参照先として指定する。予測量子化パラメータ生成部２４１は、その１つ前に処理された領域(例えば、図２７のPrevious CU)の量子化パラメータを予測量子化パラメータとする。注目領域差分量子化パラメータ再構築部２４２は、その予測量子化パラメータと、カレント領域（例えば、図２７のCurrent CU）の差分量子化パラメータとを加算し、注目領域量子化パラメータを再構築する。逆量子化処理部２３４は、この注目領域量子化パラメータを用いて直交変換係数の逆量子化処理を行う。

このようにすることにより、画像復号装置２００は、処理をLCU単位（LCUベース）で行うようにし、レートコントロールを容易にすることができるとともに、予測量子化パラメータをより確実に生成することができる。

＜７．第７の実施の形態＞
［多視画像点符号化・多視点画像復号への適用］
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図２８は、多視点画像符号化方式の一例を示す。

図２８に示されるように、多視点画像は、複数の視点の画像を含み、その複数の視点のうちの所定の１つの視点の画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の画像は、ノンベースビューの画像として扱われる。

図２８のような多視点画像符号化を行う場合、各ビュー（同一ビュー）において、量子化パラメータの差分をとることもできる。
(1)base view：
dQP(base view)＝QP_curr(base view)−PredQP(base view)
(2)non-base view：
dQP(non-base view)＝QP_curr(non-base view)−PredQP(non-base view)

また、各ビュー(異なるビュー)において、量子化パラメータの差分をとることもできる。
(3)base view/ non-base view：
dQP(inter view)＝QP_curr(base view)−QP_curr(non-base view)
(4)non-base view / non-base view ：
dQP(inter view)＝QP_curr(non-base view i)−QP_curr(non-base view j)

また、カレント領域の量子化パラメータQP_currの予測値PredQPを、異なるビューの領域の量子化パラメータを用いて、例えば、メジアン、平均、若しくは加重平均等の任意の演算により生成するようにしてもよい。
(5)base view：
(5-1) PredQP(base view)＝Med (QP_a(non-base view),QP_b(non-base view),QP_c(non-base view))
(5-2) PredQP(base view)＝Avr (QP_a(non-base view),QP_b(non-base view),QP_c(non-base view))
(5-3) PredQP(base view)＝（ｘ×QP_a(non-base view)＋y×QP_b(non-base view)＋z×QP_c(non-base view)）/（x＋y＋z）
(6)non-base view：
(6-1) PredQP(non-base view i)＝Med (QP_a(non-base view j),QP_b(non-base view j),QP_c(non-base view j))
(6-2) PredQP(non-base view i)＝Avr (QP_a(non-base view j),QP_b(non-base view j),QP_c(non-base view j))
(6-3) PredQP(non-base view i)＝（ｘ×QP_a(non-base view j)＋y×QP_b(non-base view j)＋z×QP_c(non-base view j)）/（x＋y＋z）

もちろん、これらの場合も、第３の実施の形態において説明したように、予測量子化パラメータの算出に用いる周辺領域が利用可能であるか否かを確認するようにしても良い。そして、利用可能な領域のみを用いて予測値PredQPを算出するようにしてもよい。また、利用可能な領域によって、予測値PredQPの算出方法を決定するようにしてもよい。例えば、第３の実施の形態において説明したように、メジアンや平均等の演算方法の中から、予測に用いる演算を、利用可能な領域の数に応じて選択するようにしてもよい。

また、これらの場合も、第４の実施の形態において説明したように、カレント領域と異なるビューの複数の周辺領域の量子化パラメータの加重平均演算によって、予測値PredQPを算出するようにしてもよい。この場合、重み付けは、周辺領域の大きさによって行っても良いし、カレント領域のサイズとの類似度によって行っても良い。

さらに、これらの場合も、第５の実施の形態において説明したように、例えばユーザ指示や外部の処理の指示等に基づいて、予測量子化パラメータを算出するための各種演算の使用可否設定を行うようにしてもよい。また、その設定を含む種別データを復号側に伝送するようにしてもよい。この種別データは、各演算方法毎の、適用されるか否かを示すフラグを含むようにしてもよいし、利用可能な演算方法を示すフラグを含むようにしてもよい。

なお、この種別データに含まれるフラグは、ベースビュー画像と、ノンベースビュー画像とのそれぞれについて、個別に設定されるようにしてもよいし、ベースビュー画像およびノンベースビュー画像の両方に対する共通の情報として設定されるようにしてもよい。

以上のような量子化パラメータの予測は、第２乃至第５の実施の形態において説明したように、画像復号装置においても同様に行われる。

上記の各dQPに対して、値が0でないdQPが存在するか否かを識別するフラグをセットすることもできる。

［多視点画像符号化装置］
図２９は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図２９に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。

符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。

この多視点画像符号化装置６００の符号化部６０１および符号化部６０２に対して、画像符号化装置１００（図１）を適用することができる。この場合、多視点画像符号化装置６００は、符号化部６０１が設定する量子化パラメータと符号化部６０２が設定する量子化パラメータとの差分値を設定して、伝送させる。

［多視点画像復号装置］
図３０は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図３０に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。

逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。

この多視点画像復号装置６１０の復号部６１２および復号部６１３に対して、画像復号装置２００（図１０）を適用することができる。この場合、多視点画像復号装置６１０は、符号化部６０１が設定する量子化パラメータと符号化部６０２が設定する量子化パラメータとの差分値から量子化パラメータ設定して、逆量子化を行う。

＜８．第８の実施の形態＞
［階層画像点符号化・階層画像復号への適用］
上述した一連の処理は、階層画像符号化・階層画像復号に適用することができる。図３１は、多視点画像符号化方式の一例を示す。

図３１に示されるように、階層画像は、複数の階層(解像度)の画像を含み、その複数の解像度のうちの所定の１つの階層の画像が、ベースレイヤの画像に指定されている。ベースレイヤの画像以外の各階層の画像は、ノンベースレイヤの画像として扱われる。

図３１のような階層画像符号化(空間スケーラビリティ)を行う場合、各レイヤ(同一レイヤ)において、量子化パラメータの差分をとることもできる。
(1)base layer：
dQP(base layer)＝QP_curr(base layer)−PredQP(base layer)
(2)non-base layer：
dQP(non-base layer)＝QP_curr(non-base layer)−PredQP(non-base layer)

また、各レイヤ(異なるレイヤ)において、量子化パラメータの差分をとることもできる。
(3)base layer/ non-base layer：
dQP(inter layer)＝QP_curr(base layer)−QP_curr(non-base layer)
(4)non-base layer / non-base layer ：
dQP(inter layer)＝QP_curr(non-base layer i)−QP_curr(non-base layer j)

また、カレント領域の量子化パラメータQPcurrの予測値PredQPを、異なるレイヤの領域の量子化パラメータを用いて、例えば、メジアン、平均、若しくは加重平均等の任意の演算により生成するようにしてもよい。
(5)base layer：
(5-1) PredQP(base layer)＝Med (QP_a(non-base layer),QP_b(non-base layer),QP_c(non-base layer))
(5-2) PredQP(base layer)＝Avr (QP_a(non-base layer),QP_b(non-base layer),QP_c(non-base layer))
(5-3) PredQP(base layer)＝（ｘ×QP_a(non-base layer)＋y×QP_b(non-base layer)＋z×QP_c(non-base layer)）/（x＋y＋z）
(6)non-base layer：
(6-1) PredQP(non-base layer i)＝Med (QP_a(non-base layer j),QP_b(non-base layer j),QP_c(non-base layer j))
(6-2) PredQP(non-base layer i)＝Avr (QP_a(non-base layer j),QP_b(non-base layer j),QP_c(non-base layer j))
(6-3) PredQP(non-base layer i)＝（ｘ×QP_a(non-base layer j)＋y×QP_b(non-base layer j)＋z×QP_c(non-base layer j)）/（x＋y＋z）

もちろん、これらの場合も、第３の実施の形態において説明したように、予測量子化パラメータの算出に用いる周辺領域が利用可能であるか否かを確認するようにしても良い。そして、利用可能な領域のみを用いて予測値PredQPを算出するようにしてもよい。また、利用可能な領域によって、予測値PredQPの算出方法を決定するようにしてもよい。例えば、第３の実施の形態において説明したように、メジアンや平均等の演算方法の中から、予測に用いる演算を、利用可能な領域の数に応じて選択するようにしてもよい。

また、これらの場合も、第４の実施の形態において説明したように、カレント領域と異なるレイヤの複数の周辺領域の量子化パラメータの加重平均演算によって、予測値PredQPを算出するようにしてもよい。この場合、重み付けは、周辺領域の大きさによって行っても良いし、カレント領域のサイズとの類似度によって行っても良い。

さらに、これらの場合も、第５の実施の形態において説明したように、例えばユーザ指示や外部の処理の指示等に基づいて、予測量子化パラメータを算出するための各種演算の使用可否設定を行うようにしてもよい。また、その設定を含む種別データを復号側に伝送するようにしてもよい。この種別データは、各演算方法毎の、適用されるか否かを示すフラグを含むようにしてもよいし、利用可能な演算方法を示すフラグを含むようにしてもよい。

なお、この種別データに含まれるフラグは、ベースレイヤ画像と、ノンベースレイヤ画像とのそれぞれについて、個別に設定されるようにしてもよいし、ベースレイヤ画像およびノンベースレイヤ画像の両方に対する共通の情報として設定されるようにしてもよい。

以上のような量子化パラメータの予測は、第２乃至第５の実施の形態において説明したように、画像復号装置においても同様に行われる。

上述した手法と同様に、上記の各dQPに対して、値が0でないdQPが存在するか否かを識別するフラグをセットすることもできる。

［階層画像符号化装置］
図３２は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図３２に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。

符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。

この階層画像符号化装置６２０の符号化部６２１および符号化部６２２に対して、画像符号化装置１００（図１）を適用することができる。この場合、階層画像符号化装置６２０は、符号化部６２１が設定する量子化パラメータと符号化部６２２が設定する量子化パラメータとの差分値を設定して、伝送させる。

［階層画像復号装置］
図３３は、上述した階層画像復号を行う階層画像復号装置を示す図である。図３３に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。

逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。

この階層画像復号装置６３０の復号部６３２および復号部６３３に対して、画像復号装置２００（図１０）を適用することができる。この場合、階層画像復号装置６３０は、符号化部６２１が設定する量子化パラメータと符号化部６２２が設定する量子化パラメータとの差分値から量子化パラメータ設定して、逆量子化を行う。

＜９．第９の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のコンピュータなどが含まれる。

図３４において、コンピュータ８００のCPU（Central Processing Unit）８０１は、ROM（Read Only Memory）８０２に記憶されているプログラム、または記憶部８１３からRAM（Random Access Memory）８０３にロードされたプログラムに従って各種の処理を実行する。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU８０１、ROM８０２、およびRAM８０３は、バス８０４を介して相互に接続されている。このバス８０４にはまた、入出力インタフェース８１０も接続されている。

入出力インタフェース８１０には、キーボード、マウスなどよりなる入力部８１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部８１２、ハードディスクなどより構成される記憶部８１３、モデムなどより構成される通信部８１４が接続されている。通信部８１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース８１０にはまた、必要に応じてドライブ８１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部８１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図３４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア８２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM８０２や、記憶部８１３に含まれるハードディスクなどで構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

［第１の応用例：テレビジョン装置］
図３５は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られたビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されているビットストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。

デマルチプレクサ９０３は、ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されているビットストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。

制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、量子化パラメータに対する符号化効率を向上させることができる。

［第２の応用例：携帯電話機］
図３６は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、ビットストリームを記憶再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、量子化パラメータに対する符号化効率を向上させることができる。

［第３の応用例：記録再生装置］
図３７は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られたビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送部としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、ビットストリームをセレクタ９４６へ出力する。

HDD９４４は、映像及び音声などのコンテンツデータが圧縮されたビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力されるビットストリームを選択し、選択したビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力されるビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。

制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、量子化パラメータに対する符号化効率を向上させることができる。

［第４の応用例：撮像装置］
図３８は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送部としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、量子化パラメータに対する符号化効率を向上させることができる。

なお、本明細書では、差分量子化パラメータ等の各種情報が、ビットストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、ビットストリームに多重化されることなく、ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１） 符号化処理の対象となるカレントコーディングユニットの周辺に位置する複数の周辺コーディングユニットに設定された複数の量子化パラメータを用いて、前記カレントコーディングユニットに対する予測量子化パラメータを設定する予測量子化パラメータ設定部と、
前記カレントコーディングユニットに設定された量子化パラメータと、前記予測量子化パラメータ設定部により設定された前記予測量子化パラメータとの差分値を示す差分量子化パラメータを設定する差分量子化パラメータ設定部と、
前記画像データを量子化した量子化データを符号化して、ビットストリームを生成する符号化部と、
前記差分量子化パラメータ設定部により設定された前記差分量子化パラメータと前記符号化部により生成された前記ビットストリームとを伝送する伝送部と
を備える画像処装置。
（２） 前記予測量子化パラメータ設定部は、前記複数の周辺コーディングユニットに設定された複数の量子化パラメータに予測演算を適用して、前記予測量子化パラメータを設定する
前記（１）に記載の画像処理装置。
（３） 前記予測量子化パラメータ設定部は、前記複数の周辺コーディングユニットに設定された複数の量子化パラメータにメジアン演算を適用して、前記予測量子化パラメータを、前記複数の周辺コーディングユニットに設定された複数の量子化パラメータの中央値として設定する
前記（２）に記載の画像処理装置。
（４） 前記予測量子化パラメータ設定部は、前記複数の周辺コーディングユニットが全てアベイラブルな状態である場合に、前記複数の周辺コーディングユニットに設定された複数の量子化パラメータにメジアン演算を適用する
前記（３）に記載の画像処理装置。
（５） 前記予測量子化パラメータ設定部は、前記複数の周辺コーディングユニットに設定された複数の量子化パラメータに平均演算を適用して、前記予測量子化パラメータを、前記複数の周辺コーディングユニットに設定された複数の量子化パラメータの平均値として設定する
前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記予測量子化パラメータ設定部は、前記判定部により前記周辺コーディングユニットの一部がアベイラブルな状態である場合に、前記複数の周辺コーディングユニットに設定された複数の量子化パラメータに平均演算を適用する
前記（５）に記載の画像処理装置。
（７） 前記予測量子化パラメータ設定部は、前記選択部により選択された複数の周辺コーディングユニットに設定された複数の量子化パラメータに加重平均演算を適用して、前記予測量子化パラメータを、前記複数の周辺コーディングユニットに設定された複数の量子化パラメータの加重平均値として設定する
前記（５）または（６）に記載の画像処理装置。
（８） 前記予測量子化パラメータ設定部は、前記カレントコーディングユニットのサイズと同じサイズの周辺コーディングユニットに対して重みを大きくするように、前記加重平均演算を設定する
前記（７）に記載の画像処理装置。
（９） 前記予測量子化パラメータ設定部は、周辺コーディングユニットのサイズが大きいほど重みを大きくするように、前記加重平均演算を設定する
前記（７）に記載の画像処理装置。
（１０） 前記複数の周辺コーディングユニットは、符号化済のコーディングユニットを対象として、前記カレントコーディングユニットの左に隣接するコーディングユニットと、前記カレントコーディングユニットの上に隣接するコーディングユニットと、前記カレントコーディングユニットの左上に隣接するコーディングユニットとを含む
前記（２）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記複数の周辺コーディングユニットは、さらに、前記カレントコーディングユニットの右上に隣接するコーディングユニットと、前記カレントコーディングユニットの左下に隣接するコーディングユニットとを含む
前記（１０）に記載の画像処理装置。
（１２） 前記周辺コーディングユニットがアベイラブルな状態であるかを判定する判定部を更に備え、
前記予測量子化パラメータ設定部は、前記判定部によりアベイラブルと判定されたコーディングユニットの数に応じて、前記予測演算の方法を変更する
前記（２）乃至（１１）のいずれかに記載の画像処理装置。
（１３） カレント最大コーディングユニット内に位置する周辺コーディングユニットを、前記予測量子化パラメータを設定する際にアベイラブルな状態であるかを判定する判定部をさらに備え、
前記予測量子化パラメータ設定部は、前記判定部によりアベイラブルな状態と判定されたコーディングユニットの量子化パラメータのみを用いて、前記予測量子化パラメータを設定する
前記（１）乃至（１２）に記載の画像処理装置。
（１４） 前記予測量子化パラメータ設定部は、前記カレントコーディングユニットがカレント最大コーディングユニットの先頭に位置する場合、直前の最大コーディングユニットの最後に位置するコーディングユニットの量子化パラメータを、前記予測量子化パラメータとして設定する
前記（１３）に記載の画像処理装置。
（１５） 前記予測演算の種別を示す種別データを設定する設定部を更に備え、
前記伝送部は、前記設定部により設定された種別データを伝送する
前記（２）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記設定部は、スライス又は最上位層のコーディングユニットである最大コーディングユニット毎に、前記種別データを設定する
前記（１５）に記載の画像処理装置。
（１７） 前記伝送部は、前記設定部により設定された種別データを、前記符号化部により生成されたビットストリームのパラメータセットとして伝送する
前記（１６）に記載の画像処理装置。
（１８） 画像処理装置の画像処理方法であって、
予測量子化パラメータ設定部が、符号化処理の対象となるカレントコーディングユニットの周辺に位置する複数の周辺コーディングユニットに設定された複数の量子化パラメータを用いて、前記カレントコーディングユニットに対する予測量子化パラメータを設定し、
差分量子化パラメータ設定部が、前記カレントコーディングユニットに設定された量子化パラメータと、設定された前記予測量子化パラメータとの差分値を示す差分量子化パラメータを設定し、
符号化部が、前記画像データを量子化した量子化データを符号化して、ビットストリームを生成し、
伝送部が、設定された前記差分量子化パラメータと、生成された前記ビットストリームとを伝送する
画像処理方法。
（１９） 復号処理の対象となるカレントコーディングユニットに設定された量子化パラメータとカレントコーディングユニットの周辺に位置する複数の周辺コーディングユニットに設定された複数の量子化パラメータから予測されて得られる予測量子化パラメータとの差分値を示す差分量子化パラメータと、画像データを符号化したビットストリームとを受け取る受け取り部と、
前記受け取り部により受け取られた前記差分量子化パラメータを用いて、前記カレントコーディングユニットの量子化パラメータを設定する量子化パラメータ設定部と、
前記量子化パラメータ設定部により設定された量子化パラメータを用いて、前記受け取り部により受け取られたビットストリームを逆量子化して画像データを生成する復号部と
を備える画像処理装置。
（２０） 画像処理装置の画像処理方法であって、
受け取り部が、復号処理の対象となるカレントコーディングユニットに設定された量子化パラメータとカレントコーディングユニットの周辺に位置する複数の周辺コーディングユニットに設定された複数の量子化パラメータから予測されて得られる予測量子化パラメータとの差分値を示す差分量子化パラメータと、画像データを符号化したビットストリームとを受け取り、
量子化パラメータ設定部が、受け取られた前記差分量子化パラメータを用いて、前記カレントコーディングユニットの量子化パラメータを設定し、
復号部が、設定された量子化パラメータを用いて、受け取られたビットストリームを逆量子化して画像データを生成する
画像処理方法。
（２１） 符号化処理の対象となるカレントコーディングユニットの周辺に位置する複数の周辺コーディングユニットが、予測量子化パラメータを設定する際にアベイラブルな状態であるかを判定する判定部と、
前記判定部によりアベイラブルな状態と判定されたコーディングユニットの量子化パラメータのみを用いて、前記カレントコーディングユニットに対する予測量子化パラメータを設定する予測量子化パラメータ設定部と、
前記カレントコーディングユニットに設定された量子化パラメータと、前記予測量子化パラメータ設定部により設定された前記予測量子化パラメータとの差分値を示す差分量子化パラメータを設定する差分量子化パラメータ設定部と、
前記画像データを量子化した量子化データを符号化して、ビットストリームを生成する符号化部と、
前記差分量子化パラメータ設定部により設定された前記差分量子化パラメータと前記符号化部により生成された前記ビットストリームとを伝送する伝送部と
を備える画像処装置。
（２２） 前記予測量子化パラメータ設定部は、前記カレントコーディングユニットがカレント最大コーディングユニットの先頭に位置する場合に、直前の最大コーディングユニットの最後に位置するコーディングユニットの量子化パラメータを、前記予測量子化パラメータとして設定する
前記（２１）に記載の画像処理装置。
（２３） 画像処理装置の画像処理方法であって、
判定部が、符号化処理の対象となるカレントコーディングユニットの周辺に位置する複数の周辺コーディングユニットを、予測量子化パラメータを設定する際にアベイラブルな状態であるかを判定し、
予測量子化パラメータ設定部が、アベイラブルな状態と判定されたコーディングユニットの量子化パラメータのみを用いて、前記カレントコーディングユニットに対する予測量子化パラメータを設定し、
差分量子化パラメータ設定部が、前記カレントコーディングユニットに設定された量子化パラメータと、設定された前記予測量子化パラメータとの差分値を示す差分量子化パラメータを設定し、
符号化部が、前記画像データを量子化した量子化データを符号化して、ビットストリームを生成し、
伝送部が、設定された前記差分量子化パラメータと、生成された前記ビットストリームとを伝送する
画像処理方法。
（２４） 復号処理の対象となるカレントコーディングユニットに設定された量子化パラメータと、前記量子化パラメータの予測値である予測量子化パラメータとの差分値を示す差分量子化パラメータと、画像データを符号化したビットストリームとを受け取る受け取り部と、
前記カレントコーディングユニットの周辺に位置する複数の周辺コーディングユニットが、予測量子化パラメータを設定する際にアベイラブルな状態であるかを判定する判定部と、
前記判定部によりアベイラブルな状態と判定されたコーディングユニットの量子化パラメータのみを用いて、前記カレントコーディングユニットに対する予測量子化パラメータを設定する予測量子化パラメータ設定部と、
前記カレントコーディングユニットに設定された量子化パラメータと、前記受け取り部により受け取られた前記差分量子化パラメータとを加算して、前記カレントコーディングユニットの量子化パラメータを生成する量子化パラメータ生成部と、
前記受け取り部により受け取られた前記ビットストリームを復号する復号部と、
前記量子化パラメータ生成部により生成された前記量子化パラメータを用いて、前記復号部により前記ビットストリームが復号されて得られた量子化係数を逆量子化する逆量子化部と
を備える画像処理装置。
（２５） 画像処理装置の画像処理方法であって、
受け取り部が、復号処理の対象となるカレントコーディングユニットに設定された量子化パラメータと、前記量子化パラメータの予測値である予測量子化パラメータとの差分値を示す差分量子化パラメータと、画像データを符号化したビットストリームとを受け取り、
判定部が、前記カレントコーディングユニットの周辺に位置する複数の周辺コーディングユニットが、予測量子化パラメータを設定する際にアベイラブルな状態であるかを判定し、
予測量子化パラメータ設定部が、アベイラブルな状態と判定されたコーディングユニットの量子化パラメータのみを用いて、前記カレントコーディングユニットに対する予測量子化パラメータを設定し、
前記量子化パラメータ生成部が、前記カレントコーディングユニットに設定された量子化パラメータと、受け取られた前記差分量子化パラメータとを加算して、前記カレントコーディングユニットの量子化パラメータを生成し、
復号部が、受け取られた前記ビットストリームを復号し、
逆量子化部が、生成された前記量子化パラメータを用いて、前記ビットストリームが復号されて得られた量子化係数を逆量子化する
画像処理方法。

１００ 画像符号化装置， １０５ 量子化部， １０８ 逆量子化部， １２１ 量子化パラメータ符号化部， １２２ 量子化パラメータ復号部， １３１ アクティビティ算出部， １４１ 注目領域量子化パラメータ生成部， １４２ 量子化処理部， １４３ 周辺領域量子化パラメータバッファ， １４４ 差分量子化パラメータバッファ， １５１ 予測量子化パラメータ生成部， １５２ 差分量子化パラメータ生成部， ２００ 画像復号装置， ２０３ 逆量子化部， ２２１ 量子化パラメータ復号部， ２３１ 差分量子化パラメータバッファ， ２３２ 量子化直交変換係数バッファ， ２３３ 周辺領域量子化パラメータバッファ， ２３４ 逆量子化処理部， ２４１ 予測量子化パラメータ生成部， ２４２ 注目領域量子化パラメータ再構築部， ３０１ 周辺領域利用可否判定部， ３０２ 演算制御部， ３１１ 周辺領域利用可否判定部， ３１２ 演算制御部， ３２１ 周辺領域サイズ判定部， ３３１ 周辺領域サイズ判定部， ３５１ 種別データ設定部， ３６１ 種別データバッファ， ３６２ 演算制御部， ３８１ 種別データバッファ， ３８２ 演算制御部

本開示の一側面は、ビットストリームを復号する画像処理装置において、シーケンス単位で固定サイズの最大コーディングユニットを４分木構造に従って再帰的に分割することによって得られる可変サイズのコーディングユニットを処理単位として、カレントコーディングユニットに設定されたカレント量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを含むビットストリームを復号して、量子化データを生成する復号部と、前記カレントコーディングユニットの周辺に位置する周辺コーディングユニットに設定された量子化パラメータを用いて、前記周辺コーディングユニットがアベイラブルな状態であるかに応じた方法で、予測量子化パラメータを設定する予測量子化パラメータ設定部と、前記予測量子化パラメータ設定部により設定された前記予測量子化パラメータを前記差分量子化パラメータに加算したパラメータを、前記カレント量子化パラメータとして設定する量子化パラメータ設定部と、前記量子化パラメータ設定部により設定された前記カレント量子化パラメータを用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部とを備える画像処理装置である。

前記予測量子化パラメータ設定部は、アベイラブルな周辺コーディングユニットに設定された量子化パラメータのみを用いて前記予測量子化パラメータを設定することができる。

前記予測量子化パラメータ設定部は、アベイラブルな周辺コーディングユニットの数に応じた方法により前記予測量子化パラメータを設定することができる。

前記予測量子化パラメータ設定部は、前記周辺コーディングユニットに設定された量子化パラメータの平均演算により前記予測量子化パラメータを設定することができる。

前記予測量子化パラメータ設定部は、２つの周辺コーディングユニットがアベイラブルな場合、前記２つの周辺コーディングユニットに設定された量子化パラメータの平均演算により前記予測量子化パラメータを設定することができる。

前記予測量子化パラメータ設定部は、１つの周辺コーディングユニットがアベイラブルな場合、前記１つの周辺コーディングユニットに設定された量子化パラメータを前記予測量子化パラメータとして設定することができる。

前記予測量子化パラメータ設定部は、前記カレントコーディングユニットに隣接していないコーディングユニットを含む複数の周辺コーディングユニットに設定された量子化パラメータを用いて、前記周辺コーディングユニットがアベイラブルな状態であるかに応じた方法で、前記予測量子化パラメータを設定することができる。

本開示の一側面は、また、ビットストリームを復号する画像処理装置の画像処理方法であって、シーケンス単位で固定サイズの最大コーディングユニットを４分木構造に従って再帰的に分割することによって得られる可変サイズのコーディングユニットを処理単位として、カレントコーディングユニットに設定されたカレント量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを含むビットストリームを復号して、量子化データを生成し、前記カレントコーディングユニットの周辺に位置する周辺コーディングユニットに設定された量子化パラメータを用いて、前記周辺コーディングユニットがアベイラブルな状態であるかに応じた方法で、予測量子化パラメータを設定し、設定された前記予測量子化パラメータを前記差分量子化パラメータに加算したパラメータを、前記カレント量子化パラメータとして設定し、設定された前記カレント量子化パラメータを用いて、生成された量子化データを逆量子化する画像処理方法である。

本開示の一側面は、さらに、ビットストリームを復号するコンピュータを、シーケンス単位で固定サイズの最大コーディングユニットを４分木構造に従って再帰的に分割することによって得られる可変サイズのコーディングユニットを処理単位として、カレントコーディングユニットに設定されたカレント量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを含むビットストリームを復号して、量子化データを生成する復号部と、前記カレントコーディングユニットの周辺に位置する周辺コーディングユニットに設定された量子化パラメータを用いて、前記周辺コーディングユニットがアベイラブルな状態であるかに応じた方法で、予測量子化パラメータを設定する予測量子化パラメータ設定部と、前記予測量子化パラメータ設定部により設定された前記予測量子化パラメータを前記差分量子化パラメータに加算したパラメータを、前記カレント量子化パラメータとして設定する量子化パラメータ設定部と、前記量子化パラメータ設定部により設定された前記カレント量子化パラメータを用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部として機能させるプログラムである。

本開示の一側面においては、シーケンス単位で固定サイズの最大コーディングユニットを４分木構造に従って再帰的に分割することによって得られる可変サイズのコーディングユニットを処理単位として、カレントコーディングユニットに設定されたカレント量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを含むビットストリームが復号されて、量子化データが生成され、そのカレントコーディングユニットの周辺に位置する周辺コーディングユニットに設定された量子化パラメータを用いて、その周辺コーディングユニットがアベイラブルな状態であるかに応じた方法で、予測量子化パラメータが設定され、その設定された予測量子化パラメータを差分量子化パラメータに加算したパラメータが、カレント量子化パラメータとして設定され、設定されたカレント量子化パラメータが用いられて、生成された量子化データが逆量子化される。

Claims (15)

1. ビットストリームを復号する画像処理装置において、
   シーケンス単位で固定サイズの最大コーディングユニットを４分木構造に従って再帰的に分割することによって得られる可変サイズのコーディングユニットを処理単位として、カレントコーディングユニットに設定されたカレント量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを含むビットストリームを復号して、量子化データを生成する復号部と、
   前記カレントコーディングユニットに隣接していない周辺に位置する周辺コーディングユニットに設定された量子化パラメータを、予測量子化パラメータとして設定する予測量子化パラメータ設定部と、
   前記差分量子化パラメータに前記予測量子化パラメータ設定部により設定された前記予測量子化パラメータを加算したパラメータを、前記カレント量子化パラメータとして設定する量子化パラメータ設定部と、
   前記量子化パラメータ設定部により設定された前記カレント量子化パラメータを用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部と
   を備える画像処理装置。
2. 前記カレント最大コーディングユニット内における前記カレントコーディングユニットの位置に基づいて、前記カレントコーディングユニットに隣接する隣接コーディングユニットがアベイラブルな状態であるかを判定する判定部をさらに備え、
   前記予測量子化パラメータ設定部は、前記判定部により全ての前記隣接コーディングユニットがアベイラブルな状態でないと判定された場合に、前記周辺コーディングユニットに設定された量子化パラメータを、前記予測量子化パラメータとして設定するように構成される
   請求項１に記載の画像処理装置。
3. 前記予測量子化パラメータ設定部は、前記カレントコーディングユニットに対して復号処理順において直前のコーディングユニットに設定された量子化パラメータを、前記予測量子化パラメータとして設定する
   請求項２に記載の画像処理装置。
4. 前記判定部は、前記カレントコーディングユニットが前記カレント最大コーディングユニット内において先頭に位置する場合に、全ての前記隣接コーディングユニットがアベイラブルな状態でないと判定する
   請求項２に記載の画像処理装置。
5. 前記予測量子化パラメータ設定部は、前記判定部により、前記カレントコーディングユニットが前記カレント最大コーディングユニット内において先頭に位置すると判定された場合に、復号処理順において直前の最大コーディングユニット内において最後に位置するコーディングユニットに設定された量子化パラメータを、前記予測量子化パラメータとして設定する
   請求項４に記載の画像処理装置。
6. 前記予測量子化パラメータ設定部は、前記判定部によりアベイラブルな状態であると判定された前記隣接コーディングユニットに設定された量子化パラメータの平均値を、前記予測量子化パラメータとして設定する
   請求項２に記載の画像処理装置。
7. 前記隣接コーディングユニットは、前記カレントコーディングユニットの左に隣接する左隣接コーディングユニットと、前記カレントコーディングユニットの上に隣接する上隣接コーディングユニットとを含む
   請求項６に記載の画像処理装置。
8. ビットストリームを復号する画像処理装置の画像処理方法であって、
   シーケンス単位で固定サイズの最大コーディングユニットを４分木構造に従って再帰的に分割することによって得られる可変サイズのコーディングユニットを処理単位として、カレントコーディングユニットに設定されたカレント量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを含むビットストリームを復号して、量子化データを生成し、
   前記カレントコーディングユニットに隣接していない周辺に位置する周辺コーディングユニットに設定された量子化パラメータを、予測量子化パラメータとして設定し、
   前記差分量子化パラメータに、設定された前記予測量子化パラメータを加算したパラメータを、前記カレント量子化パラメータとして設定し、
   設定された前記カレント量子化パラメータを用いて、生成された量子化データを逆量子化する
   画像処理方法。
9. 前記カレント最大コーディングユニット内における前記カレントコーディングユニットの位置に基づいて、前記カレントコーディングユニットに隣接する隣接コーディングユニットがアベイラブルな状態であるかを判定し、
   全ての前記隣接コーディングユニットがアベイラブルな状態でないと判定された場合に、前記周辺コーディングユニットに設定された量子化パラメータを、前記予測量子化パラメータとして設定する
   請求項８に記載の画像処理方法。
10. 前記カレントコーディングユニットに対して復号処理順において直前のコーディングユニットに設定された量子化パラメータを、前記予測量子化パラメータとして設定する
    請求項９に記載の画像処理方法。
11. 前記カレントコーディングユニットが前記カレント最大コーディングユニット内において先頭に位置する場合に、全ての前記隣接コーディングユニットがアベイラブルな状態でないと判定する
    請求項９に記載の画像処理方法。
12. 前記カレントコーディングユニットが前記カレント最大コーディングユニット内において先頭に位置すると判定された場合に、復号処理順において直前の最大コーディングユニット内において最後に位置するコーディングユニットに設定された量子化パラメータを、前記予測量子化パラメータとして設定する
    請求項１１に記載の画像処理方法。
13. アベイラブルな状態であると判定された前記隣接コーディングユニットに設定された量子化パラメータの平均値を、前記予測量子化パラメータとして設定する
    請求項９に記載の画像処理方法。
14. 前記隣接コーディングユニットは、前記カレントコーディングユニットの左に隣接する左隣接コーディングユニットと、前記カレントコーディングユニットの上に隣接する上隣接コーディングユニットとを含む
    請求項１３に記載の画像処理方法。
15. ビットストリームを復号するコンピュータを、
    シーケンス単位で固定サイズの最大コーディングユニットを４分木構造に従って再帰的に分割することによって得られる可変サイズのコーディングユニットを処理単位として、カレントコーディングユニットに設定されたカレント量子化パラメータと予測量子化パラメータとの差分である差分量子化パラメータを含むビットストリームを復号して、量子化データを生成する復号部と、
    前記カレントコーディングユニットに隣接していない周辺に位置する周辺コーディングユニットに設定された量子化パラメータを、予測量子化パラメータとして設定する予測量子化パラメータ設定部と、
    前記差分量子化パラメータに前記予測量子化パラメータ設定部により設定された前記予測量子化パラメータを加算したパラメータを、前記カレント量子化パラメータとして設定する量子化パラメータ設定部と、
    前記量子化パラメータ設定部により設定された前記カレント量子化パラメータを用いて、前記復号部により生成された量子化データを逆量子化する逆量子化部と
    して機能させるプログラム。

Images