JP2020057826A

JP2020057826A - 動画像符号化装置及び動画像復号装置

Info

Publication number: JP2020057826A
Application number: JP2017017372A
Authority: JP
Inventors: 友子青野; Tomoko Aono; 知宏猪飼; Tomohiro Igai; 貴也山本; Takaya Yamamoto
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2017-02-02
Filing date: 2017-02-02
Publication date: 2020-04-09

Abstract

【課題】動画像の画質を向上させ、かつ、符号化効率を向上させる動画像符号化装置及び動画像復号装置を提供する。【解決手段】符号化ユニット毎に符号化する動画像符号化装置の量子化パラメータの導出において、ベース量子化パラメータを算出し、画面のアクティビティに関連する第２の符号化パラメータを参照して、ベース量子化パラメータと符号化ユニットの差分情報を導出し、ベース量子化パラメータと差分情報を加算して符号化ユニットの量子化パラメータを導出し、この量子化パラメータを用いて符号化ユニットを量子化し、ベース量子化パラメータに関する情報を符号化し、符号化ユニットの量子化パラメータを符号化しないことで、量子化パラメータの符号量を削減する。【選択図】図２５

Description

本発明は、予測画像生成装置、画像復号装置、及び画像符号化装置に関する。

動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する画像符号化装置、及び、当該符号化データを復号することによって復号画像を生成する画像復号装置が用いられている。

具体的な動画像符号化方式としては、例えば、H.264/AVCやHEVC（High-Efficiency Video Coding）にて提案されている方式などが挙げられる。

このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び、符号化単位
を分割することより得られるブロックである予測ユニット（PU）、変換ユニット（TU）からなる階層構造により管理され、CUごとに符号化／復号される。

また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、及び、画面内予測（イントラ予測）が挙げられる。

また、動画像符号化方式においては、符号量と画質を制御するために、１）ピクチャ毎に、あるいは２）ピクチャを分割した領域（CU、PU,TU等）毎に量子化パラメータを変更
する量子化パラメータ制御が行われる。２）のピクチャ内量子化パラメータ制御の目的は、主に発生符号量の制御と主観画質の向上である。一般的に、画像の変化量（アクティビティ）、発生符号量、主観画質には密接な関わりがあり、例えば、画像の変化の大きな領域（エッジ、複雑なテクスチャ等）は発生符号量が大きく、主観的に符号化歪が目立ちにくい。逆に、画像の変化の小さな領域（平坦部、グラデーション等）は発生符号量が小さく、符号化歪が目立ちやすい。このような画像の性質を利用して、画像符号化装置では適切な量子化パラメータを設定して符号化データを生成し、画像復号装置に伝送する。

また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられる。

さらに、近年では、スライスを構成する符号化ツリーユニット（CTU:Coding Tree Unit）から符号化ユニット（CU:Coding Unit）への分割方式として、４分木（quad tree）分
割するQT分割に加えて、２分木（binary tree）分割するBT分割が導入されている。このBT分割には、水平分割と垂直分割とが含まれる。

"Algorithm Description of Joint Exploration Test Model 4", JVET-D1001, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 15-21 October 2016 ITU-T H.265(04/2015) SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video High efficiency video coding

非特許文献２において、量子化パラメータQPの局所的な制御（例えばCU、PU、TU単位でのQPの更新）は主に画質の制御を目的としており、前述のように、画像のテクスチャ（アクティビティ、複雑度）と密接な関わりがある。非特許文献１に記載されたQTBT分割の導入により、選択可能なCUのサイズや形状が増加し、図７に示すように、画像のテクスチャに合わせた適応的な分割ができるようになっている。QTBT分割により、MPEG-2やH.264の
ような固定ブロックサイズ方式や、四分木（正方形）分割のみのHEVCに比べ、均質な性質を持つ領域を１つのCUとして選択しやすくなっている。

しかしながら、非特許文献１、非特許文献２では、画像符号化装置で導出したQP値そのもの、あるいは差分値を明示的に符号化しており、QTBT分割のようなアクティビティに関わる情報を用いたQPの導出（制御）は実施されていない。また、QTBT分割以外のアクティビティに関わる符号化パラメータを用いたQPの導出（制御）も実施されていない。ここでは、分割情報、予測パラメータ、量子化パラメータ、量子化変換係数等、符号化・復号処理に使用する情報を総称して第１の符号化パラメータ、第１の符号化パラメータの中で分割情報、量子化変換係数の個数のようなアクティビティに関わる情報、および予測パラメータのような予測画像生成に関わる情報を第２の符号化パラメータと呼ぶ。つまり前記を言い換えると、第２の符号化パラメータを用いたQPの導出は実施されていない、ということである。さらにQPを符号化すると符号量が発生するため、頻繁にQPを変更すると符号化効率の低下を招くので、QPの変更回数は制限されることが多い。

そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的は、動画像の画質を向上させ、かつ符号化効率を向上させることができる画像復号装置及び画像符号化装置を提供することにある。

本発明の一態様に係る画像復号装置は、画像を、分割ツリー（分割情報）を用いて分割した符号化ユニット毎に復号する。具体的には、符号化データを可変長復号して画像の分割情報、予測パラメータ、量子化変換係数等の第１の符号化パラメータを復号し、量子化変換係数を逆量子化および逆直交変換して予測誤差を算出し、分割情報と予測パラメータを用いて予測画像を作成し、予測誤差と予測画像を加算して復号画像を作成する時に、量子化変換係数の逆量子化に用いる量子化パラメータの復号において、符号化データから量子化パラメータのシンタックスを復号して量子化パラメータ（ベース量子化パラメータ）を算出し、画像のアクティビティに関連する第２の符号化パラメータを参照して、ベース量子化パラメータと各符号化ユニットの差分情報を導出し、ベース量子化パラメータと差分情報を加算して各符号化ユニットの量子化パラメータを算出し、この算出した量子化パラメータを用いて量子化変換係数を逆量子化する。

本発明の一態様に係る画像復号装置は、画像を、分割ツリーを用いて分割した符号化ユニット毎に符号化する。具体的には、画像の分割ツリー（分割情報）、予測パラメータ等を決定し、入力画像と予測画像の予測誤差を算出し、予測誤差を直交変換および量子化して量子化変換係数を算出し、第１の符号化パラメータを可変長符号化し、量子化変換係数を逆量子化および逆直交変換して予測誤差を算出し、予測誤差と予測画像を加算して復号画像を作成する時に、量子化手段および逆量子化手段で用いる量子化パラメータの導出において、スライス単位の量子化パラメータ（ベース量子化パラメータ）を算出し、画像のアクティビティに関連する第２の符号化パラメータを参照して、ベース量子化パラメータと各符号化ユニットの差分情報を導出し、ベース量子化パラメータと差分情報を加算して
各符号化ユニットの量子化パラメータを算出し、これらの算出した量子化パラメータを用いて変換係数を量子化、あるいは量子化変換係数を逆量子化し、ベース量子化パラメータに関連する情報は符号化し、符号化ユニットの量子化パラメータは符号化しない。

本発明の一態様によれば、動画像の画質を向上させ、かつ符号化効率を向上させることができる。

本発明の一実施形態に係る画像伝送システムの構成を示す概略図である。本発明の一実施形態に係る符号化ストリームのデータの階層構造を示す図である。 PU分割モードのパターンを示す図である。（ａ）〜（ｈ）は、それぞれ、PU分割モードが、2Nx2N、2NxN、2NxnU、2NxnD、Nx2N、nLx2N、nRx2N、及び、NxNの場合のパーティション形状について示している。参照ピクチャ及び参照ピクチャリストの一例を示す概念図である。本発明の一実施形態に係る画像復号装置の構成を示すブロック図である。本発明の一実施形態に係る画像符号化装置の構成を示すブロック図である。画像のQTBT分割パターンの一例である。本発明の一実施形態に係る画像符号化装置を搭載した送信装置、及び、画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、画像符号化装置を搭載した送信装置を示しており、（ｂ）は、画像復号装置を搭載した受信装置を示している。本発明の一実施形態に係る画像符号化装置を搭載した記録装置、及び、画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、画像符号化装置を搭載した記録装置を示しており、（ｂ）は、画像復号装置を搭載した再生装置を示している。本発明のエントロピー復号部を説明するブロック図である。本発明のエントロピー符号化部を説明するブロック図である。本発明のCUサイズと差分量子化パラメータの対応関係を説明する図である。本発明の符号化パラメータ決定部のブロック図である。 CTUが64x64の時のQTBT分割パターンを示す図である。 CTUが128x128の時のQTBT分割パターンを示す図である。本発明のCTUの分割パターンと量子化パラメータを示す図である。本発明のQTBT分割ツリーと差分量子化パラメータの関係を示す図である。本発明の符号化パラメータ決定部のQTBT分割パターン導出をを説明するフローチャートである。本発明のCT情報符号化の動作を示すフローチャートである。本発明の量子化パラメータの算出および符号化の動作を示すフローチャートである。本発明のCT情報復号の動作を示すフローチャートである。本発明の量子化パラメータの算出および復号の動作を示すフローチャートである。 CUに含まれる量子化変換係数の個数をCUサイズ毎に示した図である。 CUの単位面積あたりに含まれる量子化変換係数の個数をCUサイズ毎に示した図である。本発明の一実施形態に係る量子化パラメータの制御方法の動作を説明するフローチャートである。本発明のCTUのQTBT分割パターンと先頭CUを示す図である。本発明の量子化パラメータの算出および符号化の動作を示す別のフローチャートである。本発明の量子化パラメータの算出および復号の動作を示す別のフローチャートである。本発明の第２の符号化パラメータと量子化パラメータの対応関係を説明する図である。本発明の量子化パラメータの算出および符号化の動作を示す別のフローチャートである。本発明の量子化パラメータの算出および復号の動作を示す別のフローチャートである。本発明の対象CUと隣接CUを示す図である。本発明の量子化変換係数の個数と量子化パラメータの対応関係を示す図である。本発明の第２の符号化パラメータと量子化パラメータの対応関係を示す図である。本発明の第２の符号化パラメータと量子化パラメータの対応表の符号化・復号の動作を示すフローチャートである。

（実施形態１）
以下、図面を参照しながら本発明の実施形態について説明する。

図１は、本実施形態に係る画像伝送システム１の構成を示す概略図である。

画像伝送システム１は、符号化対象画像を符号化した符号を伝送し、伝送された符号を復号し画像を表示するシステムである。画像伝送システム１は、画像符号化装置１１、ネットワーク２１、画像復号装置３１及び画像表示装置４１を含んで構成される。

画像符号化装置１１には、単一レイヤもしくは複数レイヤの画像を示す画像Ｔが入力される。レイヤとは、ある時間を構成するピクチャが１つ以上ある場合に、複数のピクチャを区別するために用いられる概念である。たとえば、同一ピクチャを、画質や解像度の異なる複数のレイヤで符号化するとスケーラブル符号化になり、異なる視点のピクチャを複数のレイヤで符号化するとビュースケーラブル符号化となる。複数のレイヤのピクチャ間で予測（インターレイヤ予測、インタービュー予測）を行う場合には、符号化効率が大きく向上する。また予測を行わない場合（サイマルキャスト）の場合にも、符号化データをまとめることができる。

ネットワーク２１は、画像符号化装置１１が生成した符号化ストリームＴｅを画像復号装置３１に伝送する。ネットワーク２１は、インターネット（internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）また
はこれらの組み合わせである。ネットワーク２１は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク２１は、DVD（Digital Versatile Disc）、BD（Blu-ray Disc:登録商標）等の符号化ストリームTeを記録した記憶媒体で代替されても良い。

画像復号装置３１は、ネットワーク２１が伝送した符号化ストリームTeのそれぞれを復号し、それぞれ復号した１または複数の復号画像Tdを生成する。

画像表示装置４１は、画像復号装置３１が生成した１または複数の復号画像Tdの全部または一部を表示する。画像表示装置４１は、例えば、液晶ディスプレイ、有機ＥＬ（Elec
tro-luminescence）ディスプレイ等の表示デバイスを備える。また、空間スケーラブル符号化、ＳＮＲスケーラブル符号化では、画像復号装置３１、画像表示装置４１が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示し、より低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。

＜演算子＞
本明細書で用いる演算子を以下に記載する。

>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR
、|=は別の条件との和演算（OR）である。

x ? y : zは、xが真（0以外）の場合にy、xが偽（0）の場合にzをとる３項演算子であ
る。

Clip3(a, b, c) は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返し、c>bの場合にはbを返し、その他の場合にはcを返す関数である（ただし、a<=b）。

＜符号化ストリームTeの構造＞
本実施形態に係る画像符号化装置１１及び画像復号装置３１の詳細な説明に先立って、画像符号化装置１１によって生成され、画像復号装置３１によって復号される符号化ストリームTeのデータ構造について説明する。

図２は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリームTeは、例示的に、シーケンス、及びシーケンスを構成する複数のピクチャを含む。図２の（ａ）〜（ｆ）は、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス、
ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライ
スデータを規定する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニット（Coding Unit；CU）を示
す図である。

（符号化ビデオシーケンス）
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために画像復号装
置３１が参照するデータの集合が規定されている。シーケンスSEQは、図２の（ａ）に示
すように、ビデオパラメータセット（Video Parameter Set）、シーケンスパラメータセ
ットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤIDを示す。図２では、#0と#1すなわちレイヤ０とレイヤ１の符号化データが存在する例を示すが、レイヤの種類及びレイヤの数はこれによらない。

ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複
数の動画像に共通する符号化パラメータの集合及び動画像に含まれる複数のレイヤ及び個々のレイヤに関連する符号化パラメータの集合が規定されている。

シーケンスパラメータセットSPSでは、対象シーケンスを復号するために画像復号装置
３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れか
を選択する。

ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために
画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用
を示すフラグ（weighted_pred_flag）が含まれる。なお、PPSは複数存在してもよい。そ
の場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。

（符号化ピクチャ）
符号化ピクチャでは、処理対象のピクチャPICTを復号するために画像復号装置３１が参照するデータの集合が規定されている。ピクチャPICTは、図２の（ｂ）に示すように、スライスS0〜S_NS-1を含んでいる（ＮＳはピクチャPICTに含まれるスライスの総数）。

なお、以下、スライスS0〜S_NS-1のそれぞれを区別する必要が無い場合、符号の添え字
を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。

（符号化スライス）
符号化スライスでは、処理対象のスライスSを復号するために画像復号装置３１が参照
するデータの集合が規定されている。スライスSは、図２の（ｃ）に示すように、スライ
スヘッダSH、及び、スライスデータSDATAを含んでいる。

スライスヘッダSHには、対象スライスの復号方法を決定するために画像復号装置３１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダSHに含まれる符号化パラメータの一例である。

スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるIスライス、（２）符号化の際に単方向予測、または、イン
トラ予測を用いるPスライス、（３）符号化の際に単方向予測、双方向予測、または、イ
ントラ予測を用いるBスライスなどが挙げられる。なお、インター予測は、単予測、双予
測に限定されず、より多くの参照ピクチャを用いて予測画像を生成してもよい。以下、P,
Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライスを指す。

なお、スライスヘッダSHには、上記符号化ビデオシーケンスに含まれる、ピクチャパラメータセットPPSへの参照（pic_parameter_set_id）を含んでいても良い。

（符号化スライスデータ）
符号化スライスデータでは、処理対象のスライスデータSDATAを復号するために画像復
号装置３１が参照するデータの集合が規定されている。スライスデータSDATAは、図２の
（ｄ）に示すように、符号化ツリーユニット（CTU:Coding Tree Unit）を含んでいる。CTUは、スライスを構成する固定サイズ（例えば64x64）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。

（符号化ツリーユニット）
図２の（ｅ）に示すように、処理対象の符号化ツリーユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割（QT分割）または２分木分割（BT分割）により符号化処理の基本的な単位である符号化ユニット（CU:Coding Unit）に分割される。再帰的な４分木分割または２分木分割により得られる木構造を符号化ツリー（CT:Coding Tree）、木構造のノードのことを符号化ノード（CN:Coding Node）と称する。４分木及び２分木の中間ノードは、符号化ノードであり、符号化ツリーユニット自身も最上位の符号化ノードとして規定される。

CTは、CT情報として、QT分割を行うか否かを示すQT分割フラグ（cu_split_flag）、及
びBT分割の分割方法を示すBT分割モード（split_bt_mode）を含む。cu_split_flag及び／又はsplit_bt_modeは符号化ノードCNごとに伝送される。cu_split_flagが１の場合には、符号化ノードCNは４つの符号化ノードCNに分割される。cu_split_flagが０の場合、split_bt_modeが１の場合には、符号化ノードCNは２つの符号化ノードCNに水平分割される。split_bt_modeが２の場合には、符号化ノードCNは２つの符号化ノードCNに垂直分割される
。split_bt_modeが０の場合には、符号化ノードCNは分割されず、１つの符号化ユニットCUをノードとして持つ。符号化ユニットCUは符号化ノードの末端ノード（リーフノード）
であり、これ以上分割されない。

また、符号化ツリーユニットCTUのサイズが64x64画素の場合には、符号化ユニットのサイズは、64x64画素、64x32画素、32x64画素、32x32画素、64x16画素、16x64画素、32x16
画素、16x32画素、16x16画素、64x8画素、8x64画素、32x8画素、8x32画素、16x8画素、8x16画素、8x8画素、64x4画素、4x64画素、32x4画素、4x32画素、16x4画素、4x16画素、8x4画素、4x8画素、及び、4x4画素の何れかをとり得る。

（符号化ユニット）
図２の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、予測ツリー、変換ツリー、CUヘッダCUHから構成される。CUヘッダでは予測モード、分割方法（PU分割モード）等が規定される。

予測ツリーでは、符号化ユニットを１または複数に分割した各予測ユニット（PU）の予測パラメータ（参照ピクチャインデックス、動きベクトル等）が規定される。別の表現でいえば、予測ユニットは、符号化ユニットを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ユニットを含む。なお、以下では、予測ユニットをさらに分割した予測単位を「サブブロック」と呼ぶ。サブブロックは、複数の画素によって構成されている。予測ユニットとサブブロックのサイズが等しい場合には、予測ユニット中のサブブロックは１つである。予測ユニットがサブブロックのサイズよりも大きい場合には、予測ユニットは、サブブロックに分割される。たとえば予測ユニットが8x8、サブブロックが4x4の場合には、予測ユニットは水平に２分割、垂直に２分割からなる、４つのサブブロックに分割される。

予測処理は、この予測ユニット（サブブロック）ごとに行ってもよい。

予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。

イントラ予測の場合、分割方法は、2Nx2N（符号化ユニットと同一サイズ）と、NxNとがある。

また、インター予測の場合、分割方法は、符号化データのPU分割モード（part_mode）
により符号化され、2Nx2N（符号化ユニットと同一サイズ）、2NxN、2NxnU、2NxnD、Nx2N
、nLx2N、nRx2N、及び、NxNなどがある。なお、2NxN、Nx2Nは1:1の対称分割を示し、
2NxnU、2NxnD及びnLx2N、nRx2Nは、1:3、3:1の非対称分割を示す。CUに含まれるPUを順にPU0、PU1、PU2、PU3と表現する。

図３の（ａ）〜（ｈ）に、それぞれのPU分割モードにおけるパーティションの形状（PU分割の境界の位置）を具体的に図示している。図３の（ａ）は、2Nx2Nのパーティション
を示し、（ｂ）、（ｃ）、（ｄ）は、それぞれ、2NxN、2NxnU、及び、2NxnDのパーティション（横長パーティション）を示す。（ｅ）、（ｆ）、（ｇ）は、それぞれ、Nx2N、nLx2N、nRx2Nである場合のパーティション（縦長パーティション）を示し、（ｈ）は、NxNの
パーティションを示す。なお、横長パーティションと縦長パーティションを総称して長方形パーティション、2Nx2N、NxNを総称して正方形パーティションと呼ぶ。

また、変換ツリーにおいては、符号化ユニットが１または複数の変換ユニットに分割され、各変換ユニットの位置とサイズとが規定される。別の表現でいえば、変換ユニットは、符号化ユニットを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ユニットを含む。

変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ユニットとして割り付けるものと、上述したCUの分割と同様、再帰的な４分木分割によるものがある。

変換処理は、この変換ユニットごとに行われる。

（予測パラメータ）
予測ユニット（PU：Prediction Unit）の予測画像は、PUに付随する予測パラメータに
よって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、動きベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0リスト、L1リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、フラグが０以外（たとえば１）をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。

符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、PU分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。

（参照ピクチャリスト）
参照ピクチャリストは、参照ピクチャメモリ３０６に記憶された参照ピクチャからなるリストである。図４は、参照ピクチャ及び参照ピクチャリストの一例を示す概念図である。図４の（ａ）において、矩形はピクチャ、矢印はピクチャの参照関係、横軸は時間、矩形中のI、P、Bは各々イントラピクチャ、単予測ピクチャ、双予測ピクチャ、矩形中の数
字は復号順を示す。図に示すように、ピクチャの復号順は、I0、P1、B2、B3、B4であり、表示順は、I0、B3、B2、B4、P1である。図４の（ｂ）に、参照ピクチャリストの例を示す。参照ピクチャリストは、参照ピクチャの候補を表すリストであり、１つのピクチャ（スライス）が１つ以上の参照ピクチャリストを有してもよい。図の例では、対象ピクチャB3は、L0リストRefPicList0及びL1リストRefPicList1の２つの参照ピクチャリストを持つ。対象ピクチャがB3の場合の参照ピクチャは、I0、P1、B2であり、参照ピクチャはこれらのピクチャを要素として持つ。個々の予測ユニットでは、参照ピクチャリストRefPicListX
中のどのピクチャを実際に参照するかを参照ピクチャインデックスrefIdxLXで指定する。
図では、refIdxL0及びrefIdxL1により参照ピクチャP1とB2が参照される例を示す。

（マージ予測とAMVP予測）
予測パラメータの復号（符号化）方法には、マージ予測（merge）モードとAMVP（Adaptive Motion Vector Prediction、適応動きベクトル予測）モードがある、マージフラグmerge_flagは、これらを識別するためのフラグである。マージモードは、予測リスト利用フラグpredFlagLX（またはインター予測識別子inter_pred_idc）、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めずに、既に処理した近傍PUの予測パラメータから導出する用いるモードである。AMVPモードは、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めるモードである。なお、動きベクトルmvLXは、予測ベクトルmvpLXを識別する予測ベクトル
インデックスmvp_LX_idxと差分ベクトルmvdLXとして符号化される。

インター予測識別子inter_pred_idcは、参照ピクチャの種類及び数を示す値であり、PRED_L0、PRED_L1、PRED_BIの何れかの値をとる。PRED_L0、PRED_L1は、各々L0リスト、L1
リストの参照ピクチャリストで管理された参照ピクチャを用いることを示し、１枚の参照ピクチャを用いること（単予測）を示す。PRED_BIは２枚の参照ピクチャを用いること（
双予測BiPred）を示し、L0リストとL1リストで管理された参照ピクチャを用いる。予測ベクトルインデックスmvp_LX_idxは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストで管理された参照ピクチャを示すインデックスである。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、LXをL0、L1に置き換えることでL0リストに対するパラメータとL1リストに対するパラメータを区別する。

マージインデックスmerge_idxは、処理が完了したPUから導出される予測パラメータ候
補（マージ候補）のうち、いずれかの予測パラメータを復号対象PUの予測パラメータとして用いるかを示すインデックスである。

（動きベクトル）
動きベクトルmvLXは、異なる２つのピクチャ上のブロック間のずれ量を示す。動きベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベ
クトルmvdLXと呼ぶ。

（インター予測識別子inter_pred_idcと予測リスト利用フラグpredFlagLX）
インター予測識別子inter_pred_idcと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のとおりであり、相互に変換可能である。

inter_pred_idc = （predFlagL1<<１） + predFlagL0
predFlagL0 = inter_pred_idc & １
predFlagL1 = inter_pred_idc >> １
なお、インター予測パラメータは、予測リスト利用フラグを用いても良いし、インター予測識別子を用いてもよい。また、予測リスト利用フラグを用いた判定は、インター予測識別子を用いた判定に置き替えてもよい。逆に、インター予測識別子を用いた判定は、予測リスト利用フラグを用いた判定に置き替えてもよい。

（双予測biPredの判定）
双予測BiPredであるかのフラグbiPredは、２つの予測リスト利用フラグがともに１であるかによって導出できる。たとえば以下の式で導出できる。

biPred = (predFlagL0 == 1 && predFlagL1 == 1)
フラグbiPredは、インター予測識別子が２つの予測リスト（参照ピクチャ）を使うことを示す値であるか否かによっても導出できる。たとえば以下の式で導出できる。

biPred = (inter_pred_idc == PRED_BI) ? 1 : 0
上記式は、以下の式でも表現できる。

biPred = (inter_pred_idc == PRED_BI)
なお、PRED_BIはたとえば3の値を用いることができる。

（イントラ予測モード）
輝度イントラ予測モードIntraPredModeYは67モードであり、プレーナ予測（0）、DC予
測（1）、方向予測（2〜66）が対応する。色差イントラ予測モードIntraPredModeCは上記の67モードにCCLM（Colour Component Linear Mode）を加えた68モードである。CCLMは、対象色成分における対象画素の画素値を、対象色成分よりも前に符号化された別の色成分の画素値を参照した線形予測によって導出するモードである。なお、色成分には輝度Y、
色差Cb、色差Crが含まれる。輝度と色差で異なるイントラ予測モードを割り当ててもよく、CUあるいはPU単位で予測モードを符号化、復号する。

（画像復号装置の構成）
次に、本実施形態に係る画像復号装置３１の構成について説明する。図５は、本実施形態に係る画像復号装置３１の構成を示す概略図である。画像復号装置３１は、エントロピー復号部３０１、予測パラメータ復号部（予測画像復号装置）３０２、ループフィルタ３０５、参照ピクチャメモリ３０６、予測パラメータメモリ３０７、予測画像生成部（予測画像生成装置）３０８、逆量子化・逆DCT部３１１、及び加算部３１２を含んで構成され
る。

また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０を含んで構成される。

エントロピー復号部３０１は、外部から入力された符号化ストリームTeに対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。分離された符号には、予測画像を生成するための予測パラメータ及び、差分画像を生成するための残差情報などがある。

エントロピー復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、予測モードpredMode、PU分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスref_Idx_lX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXである。どの符号を復号するかの制御は、予測パラメータ復号部３
０２の指示に基づいて行われる。エントロピー復号部３０１は、量子化係数を逆量子化・逆DCT部３１１に出力する。この量子化係数は、符号化処理において、残差信号に対してDCT（Discrete Cosine Transform、離散コサイン変換）を行い量子化して得られる係数で
ある。

エントロピー復号部301の詳細なブロック図を図10に示す。エントロピー復号部301は、ヘッダ復号部1001、CT情報復号部1002、CU復号部1003、復号モジュール1004からなる。

（復号モジュール）
以下、各モジュールの概略動作を説明する。復号モジュール1004は、符号化データから
シンタックス値を復号する復号処理を行う。復号モジュール1004は、ヘッダ復号部1001、CT情報復号部1002、CU復号部1003から供給される符号化データ及びシンタックス種別に基づいて、固定長符号化方式、あるいはCABAC等のエントロピー符号化方式により符号化さ
れているシンタックス値を復号し、復号したシンタックス値を供給元に返す。

（ヘッダ復号部）
ヘッダ復号部1001は、復号モジュール1004を用いて、画像符号化装置１１から入力された符号化データのVPS、SPS、PPS、スライスヘッダを復号する。

（CT情報復号部）
CT情報復号部1002は、復号モジュール1004を用いて、画像符号化装置１１から入力された符号化データから、符号化ツリーユニット及び符号化ツリーの復号処理を行う。CT情報復号部1002は、復号モジュール1004を用いて、CTUに含まれるCTU情報として、ツリーユニットヘッダCTUHを復号する。次に、CT情報復号部1002は、CT情報として、対象CTをQT分割するか否かを示すQT分割フラグ、及び対象CTをBT分割するか否か、BT分割する場合はBT分割方法を示すBT分割モードを復号し、QT分割フラグ及びBT分割モードがさらなる分割を通知しなくなるまで対象CTを再帰的に分割し復号する。最後に、CTU情報として、さらに、
ツリーユニットフッタCTUFを復号する。

ツリーユニットヘッダCTUH及びツリーユニットフッタCTUFには、対象符号化ツリーユニットの復号方法を決定するために画像復号装置３１が参照する符号化パラメータが含まれる。また、CT情報には、QT分割フラグ及びBT分割モードの他、対象CT及び下位の符号化ノードで適用されるパラメータを含んでいてもよい。

（CU復号部）
CU復号部1003は、最下位の符号化ノードCN（すなわちCU）のPUI情報（マージフラグ（merge_flag）、マージインデックス（merge_idx）、予測動きベクトルインデックス（mvp_idx）、参照画像インデックス（ref_idx_lX）、インター予測識別子（inter_pred_flag）、及び差分ベクトル（mvdLX）等）、量子化予測残差（residual_coding）、及びTTI情報
（TU分割フラグSP_TU（split_transform_flag）、CU残差フラグCBP_TU（cbf_cb、cbf_cr
、cbf_luma）等）を、復号モジュール1004を用いて復号する。

インター予測パラメータ復号部３０３は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してインター予測パラメータを復号する。

インター予測パラメータ復号部３０３は、復号したインター予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。

イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してイントラ予測パラメータを復号する。イントラ予測パラメータとは、CUを１つのピクチャ内で予測する処理で用いるパラメータ、例えば、イントラ予測モードIntraPredModeである。
イントラ予測パラメータ復号部３０４は、復号したイントラ予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。

ループフィルタ３０５は、加算部３１２が生成したCUの復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット（SAO）、適応ループフィルタ（ALF）等のフィルタを施す。

参照ピクチャメモリ３０６は、加算部３１２が生成したCUの復号画像を、復号対象のピクチャ及びCU毎に予め定めた位置に記憶する。

予測パラメータメモリ３０７は、予測パラメータを、復号対象のピクチャ及び予測ユニット（もしくはサブブロック、固定サイズブロック、ピクセル）毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ３０７は、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及びエントロピー復号部３０１が分離した予測モードpredModeを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX（インター予測識別子inter_pred_idc）、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXがある。

予測画像生成部３０８には、エントロピー復号部３０１から入力された予測モードpredModeが入力され、また予測パラメータ復号部３０２から予測パラメータが入力される。また、予測画像生成部３０８は、参照ピクチャメモリ３０６から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードpredModeが示す予測モードで、入力された予測パラメータと読み出した参照ピクチャを用いてPUの予測画像を生成する。

ここで、予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャを用いてインター予測によりPUの予測画像を生成する。

インター予測画像生成部３０９は、予測リスト利用フラグpredFlagLXが１である参照ピクチャリスト（L0リスト、もしくはL1リスト）に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャから、復号対象PUを基準として動きベクトルmvLXが示す位置にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックをもとに予測を行ってPUの予測画像を生成する。インター予測画像生成部３０９は、生成したPUの予測画像を加算部３１２に出力する。

予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に復号されたPUのうち、復号対象PUから予め定めた範囲にある隣接PUを参照ピクチャメモリ３０６から読み出す。予め定めた範囲とは、復号対象PUがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接PUのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。

イントラ予測画像生成部３１０は、読み出した隣接PUについてイントラ予測モードIntraPredModeが示す予測モードで予測を行ってPUの予測画像を生成する。イントラ予測画像
生成部３１０は、生成したPUの予測画像を加算部３１２に出力する。

イントラ予測パラメータ復号部３０４において、輝度と色差で異なるイントラ予測モードを導出する場合、イントラ予測画像生成部３１０は、輝度予測モードIntraPredModeYに応じて、プレーナ予測（０）、DC予測（１）、方向予測（２〜６６）の何れかによって輝度のPUの予測画像を生成し、色差予測モードIntraPredModeCに応じて、プレーナ予測（０）、DC予測（１）、方向予測（２〜６６）、LMモード（６７）の何れかによって色差のPUの予測画像を生成する。

逆量子化・逆DCT部３１１は、エントロピー復号部３０１から入力された量子化係数を
逆量子化してDCT係数を求める。逆量子化・逆DCT部３１１は、求めたDCT係数について逆DCT（Inverse Discrete Cosine Transform、逆離散コサイン変換）を行い、残差信号を算
出する。逆量子化・逆DCT部３１１は、算出した残差信号を加算部３１２に出力する。

加算部３１２は、インター予測画像生成部３０９またはイントラ予測画像生成部３１０から入力されたPUの予測画像と逆量子化・逆DCT部３１１から入力された残差信号を画素
毎に加算して、PUの復号画像を生成する。加算部３１２は、生成したPUの復号画像を参照ピクチャメモリ３０６に記憶し、生成したPUの復号画像をピクチャ毎に統合した復号画像Tdを外部に出力する。

（画像符号化装置の構成）
次に、本実施形態に係る画像符号化装置１１の構成について説明する。図６は、本実施形態に係る画像符号化装置１１の構成を示すブロック図である。画像符号化装置１１は、予測画像生成部１０１、減算部１０２、DCT・量子化部１０３、エントロピー符号化部１
０４、逆量子化・逆DCT部１０５、加算部１０６、ループフィルタ１０７、予測パラメー
タメモリ（予測パラメータ記憶部、フレームメモリ）１０８、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）１０９、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。

予測画像生成部１０１は画像Ｔの各ピクチャについて、そのピクチャを分割した領域である符号化ユニットCU毎に予測ユニットPUの予測画像Ｐを生成する。ここで、予測画像生成部１０１は、予測パラメータ符号化部１１１から入力された予測パラメータに基づいて参照ピクチャメモリ１０９から復号済のブロックを読み出す。予測パラメータ符号化部１１１から入力された予測パラメータとは、例えばインター予測の場合、動きベクトルである。予測画像生成部１０１は、対象PUを起点として動きベクトルが示す参照画像上の位置にあるブロックを読み出す。またイントラ予測の場合、予測パラメータとは例えばイントラ予測モードである。イントラ予測モードで使用する隣接PUの画素値を参照ピクチャメモリ１０９から読み出し、PUの予測画像Pを生成する。予測画像生成部１０１は、読み出し
た参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いてPUの予測画像Ｐを生成する。予測画像生成部１０１は、生成したPUの予測画像Ｐを減算部１０２に出力する。

なお、予測画像生成部１０１は、既に説明した予測画像生成部３０８と同じ動作であるためここでの説明を省略する。

予測画像生成部１０１は、予測パラメータ符号化部から入力されたパラメータを用いて、参照ピクチャメモリから読み出した参照ブロックの画素値をもとにPUの予測画像Pを生
成する。予測画像生成部１０１で生成した予測画像は減算部１０２、加算部１０６に出力される。

減算部１０２は、予測画像生成部１０１から入力されたPUの予測画像Ｐの信号値を、画像Ｔの対応するPUの画素値から減算して、残差信号を生成する。減算部１０２は、生成した残差信号をDCT・量子化部１０３に出力する。

DCT・量子化部１０３は、減算部１０２から入力された残差信号についてDCTを行い、DCT係数を算出する。DCT・量子化部１０３は、算出したDCT係数を量子化して量子化係数を
求める。DCT・量子化部１０３は、求めた量子化係数をエントロピー符号化部１０４及び
逆量子化・逆DCT部１０５に出力する。

エントロピー符号化部１０４には、DCT・量子化部１０３から量子化係数が入力され、
予測パラメータ符号化部１１１から予測パラメータが入力される。入力される予測パラメータには、例えば、参照ピクチャインデックスref_Idx_lX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、予測モードpred_mode_flag、及びマージインデックスmerge_idx等の符号がある。

エントロピー符号化部１０４は、入力された分割情報、予測パラメータ、量子化変換係数等をエントロピー符号化して符号化ストリームTeを生成し、生成した符号化ストリームTeを外部に出力する。

エントロピー符号化部104の詳細なブロック図を図11に示す。エントロピー符号化部104は、ヘッダ符号化部1101、CT情報符号化部1102、CU符号化部1103、符号化モジュール1104からなる。エントロピー符号化部104は、予測パラメータ符号化部111から供給されるヘッダ情報、予測パラメータ及びDCT・量子化部103から供給される量子化変換係数を符号化し、符号化データを出力する。

（ヘッダ符号化部）
ヘッダ符号化部1101は、符号化モジュール1104を用いてVPS、SPS、PPS、スライスヘッ
ダを符号化する。

（CT情報符号化部）
CT情報符号化部1102は、符号化モジュール1104を用いてCTUおよびCTの符号化処理を行
う。CT情報符号化部1102は、符号化モジュール1104を用いて、CTUに含まれるCTU情報として、ツリーユニットヘッダCTUHを符号化する。次に、CT情報符号化部1102は、CT情報として、対象CTをQT分割するか否かを示すQT分割フラグ、及び対象CTをBT分割するか否か、およびBT分割する場合は分割方法を示すBT分割モードを符号化し、QT分割フラグ及びBT分割モードがさらなる分割を通知しなくなるまで対象CTを再帰的に分割し符号化する。最後に、CTU情報として、さらに、ツリーユニットフッタCTUFを符号化する。

（CU符号化部）
CU符号化部1103は、最下位の符号化ノードCN（すなわちCU）のPUI情報（マージフラグ
（merge_flag）、マージインデックス（merge_idx）、予測動きベクトルインデックス（mvp_idx）、参照画像インデックス（ref_idx_lX）、インター予測識別子（inter_pred_flag）、及び差分ベクトル（mvdLX）等）、量子化予測残差（residual_coding）、及びTTI情報（TU分割フラグSP_TU（split_transform_flag）、CU残差フラグCBP_TU（cbf_cb、cbf_cr、cbf_luma）等）を、符号化モジュール1104を用いて符号化する。

（符号化モジュール）
符号化モジュール1104は、各種予測パラメータ、量子化変換係数等を固定長符号化方式、あるいはエントロピー符号化する符号化処理を行う。符号化モジュール1104は、より具体的には、ヘッダ符号化部1101、CTU情報符号化部1102、CU符号化部1103を固定長符号化
、あるいはCABAC等のエントロピー符号化方式により符号化し、符号化データを出力する
。

逆量子化・逆DCT部１０５は、DCT・量子化部１０３から入力された量子化係数を逆量子化してDCT係数を求める。逆量子化・逆DCT部１０５は、求めたDCT係数について逆DCTを行い、残差信号を算出する。逆量子化・逆DCT部１０５は、算出した残差信号を加算部１０
６に出力する。

加算部１０６は、予測画像生成部１０１から入力されたPUの予測画像Ｐの信号値と逆量子化・逆DCT部１０５から入力された残差信号の信号値を画素毎に加算して、復号画像を
生成する。加算部１０６は、生成した復号画像を参照ピクチャメモリ１０９に記憶する。

ループフィルタ１０７は加算部１０６が生成した復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット（SAO）、適応ループフィルタ（ALF）を施す。

予測パラメータメモリ１０８は、符号化パラメータ決定部１１０が生成した予測パラメータを、符号化対象のピクチャ及びCU毎に予め定めた位置に記憶する。

参照ピクチャメモリ１０９は、ループフィルタ１０７が生成した復号画像を、符号化対象のピクチャ及びCU毎に予め定めた位置に記憶する。

符号化パラメータ決定部１１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述したQTBT分割パラメータや予測パラメータやこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部１０１は、これらの符号化パラメータのセットの各々を用いてPUの予測画像Ｐを生成する。

符号化パラメータ決定部１１０は、複数のセットの各々について情報量の大きさと符号化誤差を示すRDコスト値を算出する。RDコスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームTeの情報量である。二乗誤差は、減算部１０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部１１０は、算出したRDコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部１０４は、選択した符号化パラメータのセットを符号化ストリームTeとして外部に出力し、選択されなかった符号化パラメータのセットを出力しない。符号化パラメータ決定部１１０は決定した符号化パラメータを予測パラメータメモリ１０８に記憶する。

予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０から入力されたパラメータから、符号化するための形式を導出し、エントロピー符号化部１０４に出力する。符号化するための形式の導出とは、例えば動きベクトルと予測ベクトルから差分ベクトルを導出することである。また予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０から入力されたパラメータから予測画像を生成するために必要なパラメータを導出し、予測画像生成部１０１に出力する。予測画像を生成するために必要なパラメータとは、例えばサブブロック単位の動きベクトルである。

インター予測パラメータ符号化部１１２は、符号化パラメータ決定部１１０から入力された予測パラメータに基づいて、差分ベクトルのようなインター予測パラメータを導出する。インター予測パラメータ符号化部１１２は、予測画像生成部１０１に出力する予測画像の生成に必要なパラメータを導出する構成として、インター予測パラメータ復号部３０３（図５等、参照）がインター予測パラメータを導出する構成と一部同一の構成を含む。また、イントラ予測パラメータ符号化部１１３は、予測画像生成部１０１に出力する予測
画像の生成に必要な予測パラメータを導出する構成として、イントラ予測パラメータ復号部３０４（図５等参照）がイントラ予測パラメータを導出する構成と、一部同一の構成を含む。

イントラ予測パラメータ符号化部１１３は、符号化パラメータ決定部１１０から入力されたイントラ予測モードIntraPredModeから、符号化するための形式（例えばMPM_idx、rem_intra_luma_pred_mode等）を導出する。

（量子化パラメータ）
実施形態１の画像符号化装置、画像復号装置では、ブロック単位（例えばCU単位）の量子化パラメータcuQPを符号化データとしては符号化せず、分割情報や予測パラメータなどを参照してcuQPを導出する。ここで、分割情報、予測パラメータ、量子化変換係数等、符号化・復号処理に使用する情報を総称して第１の符号化パラメータと呼ぶ。この第１の符号化パラメータの中から、分割情報、量子化変換係数の個数のようなアクティビティに関わる情報、および予測パラメータを第２の符号化パラメータと呼ぶ。ここでは第２の符号化パラメータとしてCUサイズを用いる例を説明する。

本願ではピクチャ単位、スライス単位（第１の単位）、ブロック単位（CU単位、第２の単位）で各々量子化パラメータを算出するが、ピクチャ単位およびスライス単位の量子化パラメータpicQPおよびsliceQP(=ベースQP/baseQP)は、各々PPSおよびスライスヘッダで
符号化データから量子化パラメータのシンタックスを符号化し、画像復号装置側で符号化された情報を復号し、逆量子化に用いる。一方、CU単位の量子化パラメータcuQPは、ベースQP(sliceQP)と、例えば図12(1)に示すCUのサイズに応じて一意に決定されたcuQPの差分値dcuQPを用いて表現する。図12(1)に示すように、CUサイズ毎に定まる量子化パラメータ差分値dcuQPは画像符号化装置、画像復号装置であらかじめ定められた同じ値を用いる。
従って、画像復号装置では、ベースQP（sliceQP）との差分値dcuQPを符号化しなくても、ベースQPとCUサイズからcuQPを算出することができる。

dcuQP = DQPTBL[x]
cuQP = ベースQP(sliceQP) + dcuQP
ここでxは対象CUのサイズ（図12(1)ではCUの面積）に対応するインデックスであり、以下の式で導出できる。

x = clip3(0, 5, (log2CtbWidth + log2CtbHeight) - (log2CbWidth + log2CbHeight) - 3)
ここで、log2CbWidth, log2CbHeightはCUの幅CbWidthと高さCbHeightの2の対数値、log2CtbWidth、log2CtbHeightはCTUの幅と高さの２の対数値。なお、ｘは、CTUサイズによらずに決定してもよい。例えば以下の式から導出する。

x = clip3(0, 5, (log2CtbWidth + log2CtbHeight - 4)
DQPTBLは、例えば以下のテーブルである。

DQPTBL[] = {-6, -3, 0, 1, 2, 4}
図12(1)ではCUサイズがCTU幅*CTU高さの1/16〜CTU幅*CTU高さの1/4-1の範囲であればx=1で、DQPTBL[x]=-3である。

図12(1)ではCUサイズが大きい場合はQPを小さく（dcuQPを負の値に）、CUサイズが小さい場合はQPを大きく（dcuQPを正の値に）することで視覚的に良好な画質を実現する。

ピクチャ単位およびスライス単位の量子化パラメータの算出について、図13のブロック
図を用いて説明する。図13は図６の符号化パラメータ決定部110の詳細なブロック図であ
る。図13の符号量算出部134は、図６のエントロピー符号化部104から入力された各CUで発生した符号量を用いて、１ピクチャあるいは１スライス分の符号量を算出する。量子化パラメータ算出部135は、符号量算出部134で算出された符号量を用いて、ピクチャ単位あるいはスライス単位の量子化パラメータpicQPあるいはsliceQPを算出する。

CU単位の量子化パラメータの算出について、同じく図13のブロック図を用いて説明する。実施形態１では、QTBT分割パターンの導出時にcuQPを導出する。QTBT分割パターン制御部131では、CTUのサイズに合わせてCUの取りうるQTBT分割の全パターンと、図12(1)に示
すようなCUサイズに対応するcuQPをセットする。例えばCTUが64x64の場合、分割パターンの種類はQT分割が64x64、32x32、16x16、8x8、4x4であり、BT分割が32x32、16x16、8x8、4x4と64x32,32x64,64x16,16x64,64x8,32x16,16x32,8x64,64x4,32x8,8x32、4x64、32x4、16x8、8x16、4x32、16x4、4x16、8x4、4x8である。図14にCTUが64x64の場合、図15にCTUが128x128の場合のCUの全分割パターンを示す。QTBT分割パターン制御部131では、CTUのサ
イズに合わせて、CTUが64x64の場合は図14、CTUが128x128の場合は図15に記載の全分割パターンと、その時のCUサイズから、図12(1)のDQPTBL[]を参照して求めたdcuQPを用いてcuQPを算出し、セットする。そして図13の予測画像生成部101、減算部102、DCT・量子化部103、エントロピー符号化部104、逆量子化・逆DCT部105、加算部106、ループフィルタ107
、参照ピクチャメモリ109に対し、符号化処理を指示し、各分割パターン毎のRDコストを
コスト格納部132に格納する。ここで101〜109の各ブロックは図６の101〜109と同じであ
るが、実際に符号化データの出力処理は行わず、符号量だけを算出する。101〜109の処理は図６と同じであり、説明を省略する。コスト格納部132は、分割パターン毎に算出した
符号量Rと、入力画像とループフィルタ後の再生画像の差から求めたSAD、SSD、SSTDなど
の誤差Dから導出したRDコストを格納する。ここでRDコスト=D+λ・R。λはQPに応じて定
まるパラメータ。QTBT分割パターン決定部133は、組み合わせの中からRDコストが最適と
なる分割パターン（各分割階層におけるQT分割フラグ、BT分割モード）を決定する。ここで決定されたQTBT分割パターンとcuQPを用いて、図６の画像符号化装置は実際の符号化処理を実施する。

図16(1)は符号化パラメータ決定部110で求めたCTUの分割パターンの一例である。分割
したCU毎にサイズに応じたcuQP（QP000〜QP3）を設定する。図12(1)のDQPTBL[]を参照し
た場合、各CUのdcuQPは図16(2)に示す値となり、各cuQPは下式で算出される。

dcuQP = DQPTBL[x]
cuQP = ベースQP（sliceQP） + dcuQP
ここでxはCUサイズ（面積）に対応するインデックスである。例えばQP000はCUサイズがCTU/8*CTU/2なので、図12(1)の例ではx=1となり、dcuQPは-3である。QP231はCUサイズがCTU/4*CTU/8なので、図12(1)の例ではx=2となり、dcuQPは0である。

図17は、図16のQTBT分割ツリー図に図12(1)のdcuQPを追記した図である。CUのサイズに応じてスライス単位の量子化パラメータsliceQPとCUの量子化パラメータcuQPの差分値dcuQPが自動的に決定される。

図18は符号化パラメータ決定部110のQTBT分割パターン導出処理を説明するフローチャ
ートである。

S1801では、QTBT分割パターン制御部131は、CTUサイズをもとにCUとして分割可能な全QTBT分割パターンを抽出する。抽出した全QTBT分割パターンに対し、１つづつ後述のS1802〜S1806の処理の実施を指示する。この時、各QTBT分割パターンのCUサイズに応じて、図12(1)に示すDQPTBL[]を参照してdcuQPを導出し、sliceQPに加算することでcuQPを算出する
。このcuQPをS1802、S1803で使用する量子化パラメータとする。なお、本実施形態では各QTBT分割パターンのCUサイズに応じて、図12(1)に示すDQPTBL[]を参照してdcuQPを導出する例を説明するが、後述するようにdcuQPを導出するための指標はCUサイズに限らず、後
述の第２の符号化パラメータであってもよい。

S1802では、DCT・量子化部103はQTBT分割パターン制御部131から指定されたQTBT分割パターン毎に、入力画像と予測画像生成部101で生成された予測画像との誤差画像に対し、
変換および量子化を施し、量子化変換係数をエントロピー符号化部104と逆量子化・逆DCT部105に出力する。この時の量子化パラメータは、QTBT分割パターン制御部131で導出したcuQPを用いる。

S1803では、逆量子化・逆DCT部105はDCT・量子化部103から出力された量子化変換係数
に対し、逆量子化および逆変換を施し誤差画像を生成する。この誤差画像に予測画像生成部101で生成された予測画像と加算し、復号画像を作成する。この復号画像をループフィ
ルタ107に出力する。この時の量子化パラメータは、QTBT分割パターン制御部131で導出したcuQPを用いる。

S1804では、ループフィルタ107は、逆量子化・逆DCT部105から出力された復号画像にループフィルタを施し、再生画像を作成する。

S1805では、エントロピー符号化部104は、ヘッダ情報、DCT・量子化部103で生成された量子化変換係数、および図示しない予測パラメータ符号化部111で導出した各種予測パラ
メータをエントロピー符号化し、符号化データの符号量をコスト格納部132に出力する。
ただし、通常の画像符号化装置の動作と異なり、エントロピー符号化部104は符号化デー
タを出力しない。

S1806では、コスト格納部132は、エントロピー符号化部104から出力された各CUの分割
パターン、符号量R、入力画像とループフィルタ107の出力画像の誤差Dとを紐づけて格納
する。

S1807では、QTBT分割パターン制御部131はCTUの全分割パターンを処理したかどうかを
チェックする。全分割パターンを処理していない場合、S1808に進み、全分割パターンを
処理した場合、S1809に進む。

S1808では、QTBT分割パターン制御部131はCTU内の次の分割パターンと、それに対応す
るcuQPをセットし、S1802以降の処理を繰り返す。

S1809では、QTBT分割パターン決定部133はCTUの全QTBT分割パターンに対応する符号量
と比較結果を各々コスト格納部132から読み出す。そして最適なコスト（符号量対比較結
果）に対応するQTBT分割パターンを決定し、出力する。

（CT情報符号化の処理）
CT情報符号化部1102によるCT情報符号化の動作について、図19を参照して詳細に説明する。図19は、本発明の一実施形態に係るCT情報符号化部1102の動作を説明するフローチャートである。

CT情報符号化部1102によるCT情報符号化S1900では、QT情報符号化と、BT情報符号化と
を行う。以下では、CT情報符号化部1102によるQT情報符号化とBT情報符号化とを順に説明する。

まず、CT情報符号化部1102は、CT情報（QT分割フラグ）を符号化し、再帰的に符号化ツリーCT（coding_quadtree）を符号化する。具体的には、CT情報符号化部1102は、左上座
標(x0, y0)、サイズCbSize、符号化ツリーの階層を示すQT深度cqtDepthの符号化ツリーであるQT情報を符号化する。

（S1901）CT情報符号化部1102は、QT分割フラグの符号化が必要か否かを判定する。具
体的には、CT情報符号化部1102は、対数CBサイズlog2CbSizeが所定の最小CBサイズの対数値MinCbLog2SizeYより大きいか否かを判定する。対数CBサイズlog2CbSizeがMinCbLog2SizeYより大きい場合には、QT分割フラグの符号化が必要と判定し、S1902に遷移する。それ
以外の場合には、S1903に遷移する。ここで対数CBサイズlog2CbSizeは、CUサイズの２の
対数。

（S1902）CT情報符号化部1102は、対数CBサイズlog2CbSizeがMinCbLog2SizeYより大き
いと判定された場合には、シンタックス要素であるQT分割フラグ(split_cu_flag)を符号
化する。

（S1903）CT情報符号化部1102は、QT分割フラグsplit_cu_flagが０以外（＝１）である場合には、後述のS1904を実施し、一階層下に移行してS1901以降の処理を繰り返す。それ以外の場合（QT分割フラグsplit_cu_flagが０の場合）には、S1905に遷移する。

（S1904）CT情報符号化部1102は、QT分割を行う。具体的には、CT情報符号化部1102は
、CT階層cqtDepth+1の位置(x0, y0)、(x1, y0)、(x0, y1)、(x1, y1)で、対数CBサイズlog2CbSize-1の４つの符号化ノードCN(CU)を符号化する。

ここで、x0, y0は、対象符号化ツリーの左上座標、x1, y1は、以下の式のように、(x0,y0)に、対数CBサイズ（1 <<log2CbSize）の1/2を加えて導出される。

x1 = x0 + ( 1<<( log2CbSize - 1 ) )
y1 = y0 + ( 1<<( log2CbSize - 1 ) )
なお、<<は左シフトを示す。1<<Nは2のN乗と同値である（以下同様）。同様に>>は右シフトを示す。

そして、CT情報符号化部1102は、符号化ツリーの階層を示すCT階層cqtDepthに１を加算し、符号化ユニットサイズの対数値である対数CBサイズlog2CbSizeを１だけ減算（CBサイズを1/2）して更新する。

cqtDepth = cqtDepth + １
log2CbSize = log2CbSize - １
CT情報符号化部1102は、下位の符号化ツリーCTにおいても、更新された左上座標、対数CBサイズ、CT階層を用いて、S1901から開始されるQT情報符号化を継続する。

（S1905）CT情報符号化部1102は、CT情報（BT分割モード）を符号化し、再帰的に符号
化ツリーCT（coding_binarytree）、具体的には、左上座標(x0, y0)、幅CbWidth、高さCbHeight、QT深度cqtDepth、BTツリーの階層を示すBT深度cbtDepthの符号化ツリーを符号化する。

（S1906）CT情報符号化部1102は、BT分割モード（分割情報）の符号化が必要か否かを
判定する。具体的には、CT情報符号化部1102は、符号化ツリーの高さ（1<<log2CbHeight
）がminBTSizeよりも大きい、または符号化ツリーの幅（1<<log2CbWidth）がminBTSizeよりも大きい、且つ、符号化ツリーの幅（1<<log2CbWidth）がmaxBTSize以下、且つ、符号
化ツリーの高さ（1<<log2CbHeight）がmaxBTSize以下、且つ、cbtDepthがmaxBTDepthよりも小さいか否かを判定する（以下では、所定条件と称す）。ここでlog2CbHeight、log2CbWidthは各々CbHeight、CbWidthの対数値であり、minBTSizeは最小BTサイズ（二分木のリ
ーフノードの最小サイズ）、maxBTSizeは最大BTサイズ（二分木のルートノードの最大サ
イズ）、maxBTDepthは最大BT深度（二分木の深度の最大値）である。

上記の所定条件を満たす場合には、BT分割モードの符号化が必要と判定し、S1907に遷
移する。それ以外の場合には、S1910に遷移する。

（S1907）CT情報符号化部1102は、上記の所定条件を満たす場合には、シンタックス要
素であるBT分割モードsplit_bt_mode[x0][y0]を符号化する。

（S1908）CT情報符号化部1102は、BT分割モードsplit_bt_mode[x0][y0]が０以外（＝１または２）である場合には、後述のS1909を実施し、一階層下に移行してS1906以降の処理を繰り返す。それ以外の場合（BT分割モードsplit_bt_mode[x0][y0]が０の場合）には、CT情報符号化部1102は、対象符号化ツリーを分割せず、S1910に遷移する。

（S1909）CT情報符号化部1102は、BT分割を行う。具体的には、CT情報符号化部1102は
、BT分割モードsplit_bt_mode[x0][y0]が１の場合は、CT階層cbtDepth+1の位置(x0, y0)
、(x0, y1)で、幅及び高さの対数値がそれぞれlog2CbWidth及びlog2CbHeight-1の２つの
符号化ノードCNを符号化する。

一方、BT分割モードsplit_bt_mode[x0][y0]が２の場合は、CT情報符号化部1102は、CT
階層cbtDepth+1の位置(x0, y0)、(x1, y0)で、幅及び高さの対数値がそれぞれlog2CbWidth-1及びlog2CbHeightの２つの符号化ノードCNを符号化する。

ここで、x0, y0は、対象符号化ツリーの左上座標、x1, y1は、以下の式のように、(x0,y0)に、（1 <<log2CbWidth）の1/2及び（1 <<log2CbHeight）の1/2をそれぞれ加えて導出される。

x1 = x0 + ( 1<<( log2CbWidth - 1 ) )
y1 = y0 + ( 1<<( log2CbHeight -1 ) )
なお、<<は左シフトを示す。1<<Nは2のN乗と同値である（以下同様）。同様に>>は右シフトを示す。

そして、CT情報符号化部1102は、符号化ツリーの階層を示すCT階層cbtDepthに１を加算し、log2CbWidthまたはlog2CbHeightを１だけ減算して更新する。

cbtDepth = cbtDepth + １
log2CbWidth = log2CbWidth - １あるいは
log2CbHeight = log2CbHeight - １
CT情報符号化部1102は、下位の符号化ツリーCTにおいても、更新された左上座標、CTの幅及び高さの対数値、BT階層を用いて、S1906から開始されるBT情報符号化を継続する。

（S1910）CT情報符号化部1102は、上記のQTBT分割で導出されたCUのサイズから、図12(1)のDQPTBL[]を参照して対象CUのcuQPとsliceQPの差分値dcuQPを導出する。

なお、以上で説明したCT情報符号化は、QTツリーとBTツリーとが別レイヤである場合を想定した符号化方法である。この方法では、BT分割後にはQT分割を行うことができないが、BT分割後にはQT分割フラグの有無の判定が不要となる。しかし、本実施形態はこれに限
定されず、QTツリーとBTツリーとが同一レイヤである場合を想定した符号化方法を採用してもよい。この場合は、QT分割及びBT分割のいずれも選択できる、すなわちBT分割後にもQT分割を行うことができるが、毎度QT分割フラグの有無の判定が必要となる。

図20に量子化パラメータ算出および符号化に関する動作のフローチャートを示す。

S2001では、図11のヘッダ符号化部1101はピクチャ単位の量子化パラメータpicQP-26をpic_init_qp_minus26として符号化する。

S2002では、ヘッダ符号化部1101はスライス単位の量子化パラメータsliceQPとpicQPの
差分値dsliceQPを下式で算出する。

dsliceQP = sliceQP - picQP
S2003では、ヘッダ符号化部1101はdsliceQPを符号化する。

S2004では、ヘッダ符号化部1101は図6の符号化パラメータ決定部110から出力される、
図12(1)のDQPTBL[]、CUサイズに対応するインデックスxを参照して求めたCU単位の差分値dcuQPと、ベースQP(sliceQP)から、CU単位の量子化パラメータcuQPを下式で算出し、出力する。

dcuQP = DQPTBL[x]
cuQP = ベースQP(sliceQP) + dcuQP
ここでdcuQPはsliceQPとの差分値であり、各CUではsliceQPにdcuQPを加算することでcuQPを求める。なお、実施形態１ではCUサイズをもとにDQPTBL[]からCU単位の差分値を導出したが、CUサイズ以外に後述する第２の符号化パラメータであってもよい。

なお、ベースQPは、スライス単位で算出される値に限定されず、ブロック単位で、符号化データから量子化パラメータのシンタックスを復号して算出されるQPでも構わない。但し、ベースQPを復号するブロック（第１の単位、例えばスライス）のサイズは、差分QPを算出する単位（第１の単位、例えばCU）のよりも大きいことが好ましい。

（CT情報復号の処理）
CT情報復号部1002によるCT情報復号の動作について、図21を参照して詳細に説明する。図21は、本発明の一実施形態に係るCT情報復号部1002の動作を説明するフローチャートである。

CT情報復号部1002によるCT情報復号S2100では、QT情報復号とBT情報復号とを行う。以
下では、CT情報復号部1002によるQT情報復号とBT情報復号とについて順に説明する。

まず、CT情報復号部1002は、符号化データからCT情報（QT分割フラグ）を復号し、再帰的に符号化ツリーCT（coding_quadtree）を復号する。具体的には、CT情報復号部1002
は、左上座標(x0, y0)、サイズCbSize、符号化ツリーの階層を示すQT深度cqtDepthの符号化ツリーであるQT情報を復号する。

（S2101）CT情報復号部1002は、復号したCB情報にQT分割フラグがあるか否かを判定す
る。具体的には、CT情報復号部1002は、対数CBサイズlog2CbSizeが所定の最小CBサイズの対数値MinCbLog2SizeYより大きいか否かを判定する。対数CBサイズlog2CbSizeがMinCbLog2SizeYより大きい場合には、QT分割フラグがあると判定し、S2102に遷移する。それ以外
の場合には、S2103に遷移する。

（S2102）CT情報復号部1002は、対数CBサイズlog2CbSizeがMinCbLog2SizeYより大きい
と判定された場合には、シンタックス要素であるQT分割フラグ(split_cu_flag)を復号す
る。

（S2103）CT情報復号部1002は、それ以外の場合（対数CBサイズlog2CbSizeがMinCbLog2SizeY以下）、つまり、符号化データにQT分割フラグsplit_cu_flagが現れない場合には、符号化データからのQT分割フラグsplit_cu_flagの復号を省略し、QT分割フラグsplit_cu_flagを０として導出する。

（S2104）CT情報復号部1002は、QT分割フラグsplit_cu_flagが０以外（＝１）である場合には、後述のS2105を実施し、一階層下に移行してS2101以降の処理を繰り返す。それ以外の場合（QT分割フラグsplit_cu_flagが０の場合）には、S2106に遷移する。

（S2105）CT情報復号部1002は、QT分割を行う。具体的には、CT情報復号部1002は、CT
階層cqtDepth+1の位置(x0, y0)、(x1, y0)、(x0, y1)、(x1, y1)で、対数CBサイズlog2CbSize-1の４つの符号化ノードCN(CU)を復号する。

そして、CT情報復号部1002は、符号化ツリーの階層を示すCT階層cqtDepthに１を加算し、符号化ユニットサイズの対数値である対数CBサイズlog2CbSizeを１だけ減算（CBサイズを1/2）して更新する。

cqtDepth = cqtDepth + １
log2CbSize = log2CbSize - １
CT情報復号部1002は、下位の符号化ツリーCTにおいても、更新された左上座標、対数CBサイズ、CT階層を用いて、S2101から開始されるQT情報復号を継続する。

（S2106）CT情報復号部1002は、符号化データからCT情報（BT分割モード）を復号し、
再帰的に符号化ツリーCT（coding_binarytree）、つまり、左上座標(x0, y0)、幅CbWidth、高さCbHeight、QT深度cqtDepth、BTツリーの階層を示すBT深度cbtDepthの対象符号化ツリーを復号する。

（S2107）CT情報復号部1002は、復号したCT情報にBT分割モード（分割情報）があるか
否かを判定する。具体的には、CT情報復号部1002は、符号化ツリーの高さ（1<<log2CbHeight）がminBTSizeよりも大きい、または符号化ツリーの幅（1<<log2CbWidth）がminBTSizeよりも大きい、且つ、符号化ツリーの幅（1<<log2CbWidth）がmaxBTSize以下、且つ、符号化ツリーの高さ（1<<log2CbHeight）がmaxBTSize以下、且つ、cbtDepthがmaxBTDepthよりも小さいか否かを判定する（以下では、所定条件と称す）。ここでlog2CbHeight、log2CbWidthは各々CbHeight、CbWidthの対数値であり、minBTSizeは最小BTサイズ（二分木の
リーフノードの最小サイズ）、maxBTSizeは最大BTサイズ（二分木のルートノードの最大
サイズ）、maxBTDepthは最大BT深度（二分木の深度の最大値）である。

上記の所定条件を満たす場合には、BT分割モードがあると判定し、S1108に遷移する。
それ以外の場合には、S1109に遷移する。

（S2108）CT情報復号部1002は、上記の所定条件を満たす場合には、シンタックス要素
であるBT分割モードsplit_bt_mode[x0][y0]を復号する。

（S2109）CT情報復号部1002は、それ以外の場合（上記の所定条件を満たさない場合）
、つまり、符号化データにBT分割モードsplit_bt_mode[x0][y0]が現れない場合には、符
号化データからのBT分割モードsplit_bt_mode[x0][y0]の復号を省略し、BT分割モードsplit_bt_mode[x0][y0]を０として導出する。

（S2110）CT情報復号部1002は、BT分割モードsplit_bt_mode[x0][y0]が０以外（＝１または２）である場合には、後述のS2111を実施し、一階層下に移行してS2107以降の処理を繰り返す。それ以外の場合（BT分割モードsplit_bt_mode[x0][y0]が０の場合）には、CT
情報復号部1002は、対象符号化ツリーを分割せず、S2112に遷移する。

（S2111）CT情報復号部1002は、BT分割を行う。具体的には、CT情報復号部1002は、BT
分割モードsplit_bt_mode[x0][y0]が１の場合は、CT階層cbtDepth+1の位置(x0, y0)、(x0, y1)で、幅及び高さの対数値がそれぞれlog2CbWidth及びlog2CbHeight-1の２つの符号化ノードCNを復号する。

一方、BT分割モードsplit_bt_mode[x0][y0]が２の場合は、CT情報復号部1002は、CT階
層cbtDepth+1の位置(x0, y0)、(x1, y0)で、幅及び高さの対数値がそれぞれlog2CbWidth - 1及びlog2CbHeightの２つの符号化ノードCNを復号する。

x1 = x0 + ( 1<<( log2CbWidth - 1 ) )
y1 = y0 + ( 1<<( log2CbHeight - 1 ) )
なお、<<は左シフトを示す。1<<Nは2のN乗と同値である（以下同様）。同様に>>は右シフトを示す。

そして、CT情報復号部1002は、符号化ツリーの階層を示すCT階層cbtDepthに１を加算し、log2CbWidthまたはlog2CbHeightを１だけ減算して更新する。

cbtDepth = cbtDepth + １
log2CbWidth = log2CbWidth - １あるいは
log2CbHeight = log2CbHeight - １
CT情報復号部1002は、下位の符号化ツリーCTにおいても、更新された左上座標、CTの幅及び高さの対数値、BT階層を用いて、S2107から開始されるBT情報復号を継続する。

（S2112）CT情報復号部1002は、上記のQTBT分割で導出されたCUのサイズから、図12(1)のDQPTBL[]を参照して対象CUのcuQPとsliceQPの差分値dcuQPを導出する。

なお、以上で説明したCT情報復号は、QTツリーとBTツリーとが別レイヤである場合を想定した復号方法である。この方法では、BT分割後にはQT分割を行うことができないが、BT分割後にはQT分割フラグの有無の判定が不要となる。しかし、本実施形態はこれに限定されず、QTツリーとBTツリーとが同一レイヤである場合を想定した復号方法を採用してもよい。この場合は、QT分割及びBT分割のいずれも選択できる、すなわちBT分割後にもQT分割
を行うことができるが、毎度QT分割フラグの有無の判定が必要となる。

図22に量子化パラメータ復号および算出に関する動作のフローチャートを示す。

S2201では、図10のヘッダ復号部1001はpic_init_qp_minus26を復号して、ピクチャ単位の量子化パラメータpicQPを算出する。

S2202では、ヘッダ復号部1001はpicQPとスライス単位の量子化パラメータの差分値dsliceQPを復号する。

S2203では、ヘッダ復号部1001はsliceQPを下式で算出する。

sliceQP = picQP + dsliceQP
S2204では、ヘッダ復号部1001は、図12(1)のDQPTBL[]とCUサイズに対応するインデックスxを参照して求めたCU単位の差分値dcuQPと、sliceQPから、CU単位の量子化パラメータcuQPを下式で算出し、出力する。

dcuQP = DQPTBL[x]
cuQP = ベースQP(sliceQP) + dcuQP
ここでdcuQPはsliceQPと現CUの量子化パラメータcuQPとの差分値であり、各CUではsliceQPにdcuQPを加算することでcuQPを求める。なお、実施形態１ではCUサイズをもとにDQPTBL[]からCU単位の差分値を導出したが、CUサイズ以外に後述する第２の符号化パラメータであってもよい。

以上で説明したように、本願の実施形態１では第２の符号化パラメータ、特に物体の形状に合わせた可変サイズ・可変形状のQTBT分割パターンを利用して、CU単位で差分量子化パラメータを設定し、CUサイズが大きい場合はsliceQPに対し負の差分値をもつことでQP
を小さく、CUサイズが小さい場合はsliceQPに対し正の差分値をもつことでQPを大きく設
定することができる。これにより、CUサイズが大きい平坦なテクスチャ、滑らかなグラデーションの領域では量子化パターンを小さくし、擬似輪郭を防ぐことで主観的に良好な画質を実現できる。また、CUサイズが小さい複雑なテクスチャの領域ではノイズが目立ちにくいため、量子化パターンを大きくしても主観的に劣化が目立ちにくい。

また、CU単位の量子化パラメータに関する情報を符号化しないので、頻繁に量子化パラメータを変更しても符号量の増加が無いため、CUに合わせて適切に量子化制御ができる。

（追記事項）
図12(1)に示すCUサイズ（面積）とDQPTBL[]の関係を説明する。

図23は、解像度がHD(1920x1080)の５種類の動画像において、cuQPをピクチャ全体で22
、27、32、37に固定した時の、CU１つあたりの量子化変換係数の個数をCUサイズ別に示した図である。ここで、CUサイズ4096以上はCU幅xCU高さが128x128、128x64、128x32、64x128、64x64、32x128であり、CUサイズ1024〜4095はCU幅xCU高さが、128x16、128x8、64x32、64x16、32x64、32x32、16x128、16x64、8x128であり、CUサイズ512〜1023はCU幅xCU高
さが128x4、64x8、32x16、16x32、8x64、4x128であり、CUサイズ256〜511はCU幅xCU高さ
が、64x4、32x8、16x16、8x32、4x64であり、CUサイズ128〜255はCU幅xCU高さが32x4、16x8、8x16、4x32であり、CUサイズ0〜127はCU幅xCU高さが16x4、8x8、8x4、4x8、4x4であ
る。図23(1)はIピクチャ、(2)はBピクチャの場合のCU１つあたりの量子化変換係数の個数である。

また図24は図23のcuQP=22において、各CUサイズの単位面積当たりの量子化変換係数の
個数を示した図である。図24(1)はIピクチャ、(2)はBピクチャの場合のCUにおいて、単位面積あたりの量子化変換係数の個数である。

図23、図24から、CUサイズが大きい場合、単位面積当たりの変数の個数は少なく、CUサイズが小さくなるにつれて単位面積当たりの変数の個数は多くなる。つまりsliceQPを基
準にして、サイズの大きなCUに対しcuQPを小さく設定（負の差分値を設定）し、サイズの小さなCUに対しcuQPを大きく設定（正の差分値を設定）すると、適切な差分値を使用すれば、１スライスの符号量はCU毎に量子化パラメータを設定しない（１スライスを通して同じ量子化パラメータを使用）場合の量子化変換係数の符号量とほぼ同程度の符号量になる。

図12(1)の差分値dcuQPは一例であり、i) DQPTBL[x]=0となるインデックスxに対応するCUサイズより、現CUのサイズが大きい場合にdcuQPを負の値とし、小さい場合にdcuQPを正
の値とする、ii)２種類のサイズ（sizeAとsizeB）をもつCU（CUAとCUB）があり、sizeAがsizeBより小さい場合、CUAの量子化パラメータの差分値dcuQPAはCUBの量子化パラメータ
の差分値dcuQPB以上に設定する、という制約を満たす範囲内で、図12(1)以外の対応表を
設定してもよい。なお符号量の目安として、dcuQPが6増加すると、量子化変換係数の符号量は約2〜2.5倍になる。

（変形例１）
実施形態１の変形例１は、実施形態１で説明したcuQPを第２の符号化パラメータを用いて自動制御する方法と、従来のdcuQPを符号化データとして符号化する方法をフラグで切
り替える方法である。フラグはSPS、PPS、スライスヘッダのいずれかに挿入する。例えばPPSでフラグを通知した場合、切替単位はピクチャ単位である。また、フラグの挿入位置
に関わらず、切替処理に関係する動作は同じである。

図25は切替動作を示すフローチャートである。画像符号化装置の場合、ヘッダ符号化部1101が、画像復号装置の場合、ヘッダ復号部1001が、図25に示す処理を実行する。S1801
では、量子化パラメータを符号化して通知するか、量子化パラメータを符号化せず第２の符号化パラメータを参照して導出するかを示すフラグを符号化、または復号する。S1802
ではフラグが１か否かをチェックする。フラグが１の場合S1803に進み、フラグが０の場
合S1804に進む。S1803では、CU単位に量子化パラメータを符号化し、符号化された量子化パラメータを用いてCU毎の符号化あるいは復号処理を実施する。S1804ではあらかじめ定
められた第２の符号化パラメータ（実施形態１ではCUサイズ）を用いて、CU毎にsliceQP
との差分値dcuQPを導出し、cuQPを算出して、CU毎の符号化処理、復号処理を行う。

（実施形態２）
実施形態２では、CTUの先頭CUの量子化パラメータは従来と同様、符号化データとして
ブロックの量子化パラメータcuQPに関連する情報を符号化・復号し、CTUの２つ目以降のCUの量子化パラメータは、先頭CUの量子化パラメータと分割情報や予測パラメータなどの
第２の符号化パラメータから導出した差分値を加算してcuQPを算出する。

図26はピクチャを固定サイズのCTUに分割し、さらにCTUを可変サイズのCUに分割する一例である。図中、破線で囲んだブロックがCTUであり、図26には８個のCTUが記載されている。CTUを分割した１つ１つのブロックがCUであり、その中で、太線で囲んだブロックがCTU内の最初のCU（先頭CU）である。この先頭CUでは量子化パラメータを明示的に符号化し、それ以外のCUでは、実施形態１に記載したようにCUサイズ等の第２の符号化パラメータを参照して、各CUの差分量子化パラメータを導出する。ただし実施形態１と異なり、実施形態２の差分はsliceQPとの差分ではなく、同じCTUの先頭CUの量子化パラメータとの差分
である。以降では先頭CUの量子化パラメータをcuQPf、それ以外のCUの量子化パラメータ
をcuQPcと記載する。実施形態２では、ベースQPはcuQPfとなる。

図27は、実施形態２の量子化パラメータ算出および符号化に関する動作のフローチャートである。

S2001〜S2003は図20のS2001〜S2003と同じ処理であり、説明を省略する。

S2704では、ヘッダ符号化部1101は先頭CUのQP予測値predQPとCTUの先頭CUの量子化パラメータcuQPfの差分値を下式で算出する。

dcuQPf = cuQPf - predQP
なお、予測値predQPとして例えばスライス単位（第１の単位）で定まるsliceQPを用い
てもよい。他の方法として、予測値predQPを先頭CUに隣接するブロックの量子化パラメータから導出してもよい。

predQP = (QPabove + QPleft + 1) >> 1
ここで、QPabove、QPleftは各々先頭CUの上に隣接するブロックのQP、左に隣接するブ
ロックのQPである。

S2705では、ヘッダ符号化部1101はベースQPを定めるdcuQPfを符号化する。

S2706では、図6の符号化パラメータ決定部110から出力される、図12(1)のDQPTBL[]、CUサイズに対応するインデックスxを参照して求めたCU単位の差分値dcuQPcと、cuQPfから、先頭以外のCUの量子化パラメータcuQPcを下式で算出し、出力する。

dcuQPc = DQPTBL[x]
cuQPc = ベースQP(cuQPf) + dcuQPc
ここでdcuQPcは現CUと同じCTUの先頭CUの量子化パラメータcuQPfとの差分値であり、先頭CU以外の各CUではcuQPfにdcuQPcを加算することで現CUの量子化パラメータcuQPcを求める。なお、実施形態２では第２の符号化パラメータの一つであるCUサイズをもとにDQPTBL[]からCU単位の差分値を導出したが、後述するように、CUサイズ以外の第２の符号化パラメータであってもよい。

図28は実施形態２の量子化パラメータ復号および算出に関する動作のフローチャートである。

S2201〜S2203は図22のS2201〜S2203と同じ処理であり、説明を省略する。

S2804では、ヘッダ復号部1001はCTUの先頭CUで符号化データに含まれる量子化パラメータのシンタックスからdcuQPfを復号する。

S2805では、ヘッダ復号部1001は先頭CUのcuQPfを下式で算出する。

cuQPf = predQP + dcuQPf
predQPはすでに説明したように、sliceQPを用いてもよいし、先頭CUに隣接するブロッ
クのQPから導出してもよい。

S2806では、ヘッダ復号部1001は、図12(1)のDQPTBL[]、CUサイズに対応するインデックスxを参照して求めたCU単位の差分値dcuQPcと、cuQPfから、先頭CU以外のCUの量子化パラ
メータcuQPcを下式で算出し、出力する。

dcuQPc = DQPTBL[x]
cuQPc = ベースQP(cuQPf) + dcuQPc
ここでdcuQPcはcuQPfとの差分値であり、現CUと同じCTUの先頭CUのQPにdcuQPcを加算することで現CUのcuQPcを求める。なお、実施形態１ではCUサイズをもとにDQPTBL[]からCU単
位の差分値を導出したが、CUサイズ以外に後述する第２の符号化パラメータであってもよい。

なお、実施形態２では量子化パラメータを通知する単位をCTUと定義したが、通知単位
は必ずしもCTUに限定されず、所定のサイズ、例えば16x16単位や32x32単位（CTUの倍数）としてもよい。この場合、CTUサイズが所定のサイズ未満の場合、複数のCTUで１回、量子化パラメータが符号化・復号される。

実施形態２では、CTUの先頭CUの量子化パラメータは従来と同様、cuQPに関連する情報
を符号化・復号するため、符号量の制御がしやすく、CTUの２つ目以降のCUの量子化パラ
メータは、先頭CUの量子化パラメータと第２の符号化パラメータから導出した差分値を加算して量子化パラメータを算出するため、量子化パラメータの符号量が低減される効果がある。また、CTUの２つ目以降のCUの量子化パラメータは、実施形態１と同じく発生符号
量なしで各CUのテクスチャの特徴に応じた画質制御ができるという効果がある。

（変形例２）
実施形態２の変形例２では、CTUの先頭CU以外のCUの量子化パラメータcuQPcと、先頭CUの量子化パラメータcuQPfの差分値を符号化データに符号化する。ただし、差分値の絶対
値は符号化するが、差分値の符号（正または負）はCUサイズ等の第２の符号化パラメータを参照して導出し、符号化しない。実施形態２では、図18に示す符号化パラメータ決定部110のフローチャートのS1801とS1808において、QTBT分割パターンと、図12(1)を参照したそれに対応する量子化パラメータを抽出する。これらを用いて符号化処理を試行し、各QTBT分割パターンのRDコストを計算し、最適なQTBT分割パターンを決定した。変形例２では、同図のS1801とS1808において、QTBT分割パターンに対応する量子化パラメータの範囲を拡大して符号化処理を試行する。ただしベースとなるcuQPfに対し、以下の制約を設ける
。
i)図29(1)に示すように、試行するCUのサイズがCTU幅*CTU高さ/64より大きければ、ベー
スとなるcuQPfに対して差分値が負になる量子化パラメータ値のみを処理の対象とする。
ii) そうではなく、試行するCUのサイズがCTU幅*CTU高さ/64であれば、ベースとなるcuQPfと同じ量子化パラメータ値のみを処理の対象とする。
iii)そうでなければ（試行するCUのサイズがCTU幅＊CTU高さ/64未満であれば）、ベース
となるcuQPfに対して差分値が正になる量子化パラメータ値のみを処理の対象とする。
QTBT分割パターン決定部133は、上記で選択された量子化パラメータと対応するQTBT分割
パターンの組み合わせの中から最適な組み合わせを決定する。

具体的には、画像符号化装置のヘッダ符号化部1101は各CUの量子化パラメータcuQPcと
先頭CUのcuQPfとの差分値dcuQPcを算出し、符号化すべきシンタックス（差分値の絶対値cu_qp_delta_abs）を下式で算出する。

dcuQPc = cuQPc - cuQPf
cu_qp_delta_abs = abs(dcuQPc)
変形例２では、図29(1)に示すように、CUサイズによって現CUのとりうる量子化パラメー
タは制限されており、差分値の符号（正か負か）dcuQPc_signは符号化しない。

画像復号装置のヘッダ復号部1001は、受信したcu_qp_delta_absと図29(1)を用いて、以下のようにdcuQPcを求める。

dcuQPc_sign=1 CUサイズ > CTU幅*CTU高さ/64
dcuQPc_sign=0 上記以外
dcuQPc = cu_qp_delta_abs * (1-2*dcuQP_sign)
なお、dcuQPc_signが１、０は各々、符号が負、正に対応する。上記では、CUサイズが
所定のサイズより大きい場合に、dcuQPc_sign=1、すなわち、QP差分値dcuQPcの符号を負
に設定することにより、QPを小さくする処理が行われる。

以上の動作を図30（画像符号化装置）、図31（画像復号装置）のフローチャートを用いて説明する。

まず画像符号化装置であるが、図30のS2001〜S2704は図27のS2001〜S2704と同じであり、説明を省略する。

S3005では、ヘッダ符号化部1101は、CTUの先頭以外のCUの量子化パラメータcuQPcと先
頭CUの量子化パラメータcuQPfとの差分値dcuQPcを算出する。

dcuQPc = cuQPc - cuQPf
S3006では、ヘッダ符号化部1101はdcuQPfとdcuQPcの絶対値を符号化する。また図29(1)を用いてdcuQPcの符号dcuQPc_signを導出する。

dcuQPc_sign = SIGNTBL[x]
ここでxはCUサイズに対応するインデックスである。SIGNTBL[]は、図29(1)に示す以下の
テーブルである。

SIGNTBL = {1, 1, 1, 0, 0, 0}
次に画像復号装置であるが、図31のS2201〜S2203は図28のS2201〜S2203と同じであり、説明を省略する。

S3104では、ヘッダ復号部1001は、先頭CUのdcuQPfとそれ以外のCUのabs(dcuQPc)を復号する。

S3105では、ヘッダ復号部1001は、先頭CUのcuQPfを算出する。

cuQPf = sliceQP + dcuQPf
S3106では、ヘッダ復号部1001は図29(1)を用いてdcuQPcの符号dcuQPc_signを導出する
。

dcuQPc_sign = SIGNTBL[x]
ここでxはCUサイズに対応するインデックスである。

S3107では、ヘッダ復号部1001は、先頭CU以外のCUの量子化パラメータcuQPcを算出する。

cuQPc = cuQPf + dcuQPc * (1 - 2 * dcuQPc_sign)
なお、上記では実施形態２に記載したCTUの先頭CU以外のCUの量子化パラメータcuQPcと、先頭CUの量子化パラメータcuQPfの差分値に対して変形例２を施したが、実施形態１に
記載したスライス単位のsliceQPと、CUの量子化パラメータcuQPの差分値に対して変形例
２を施してもよい。

以上説明したように、変形例２では、CTUの先頭CU以外のCUの量子化パラメータcuQPcと、先頭CUの量子化パラメータcuQPfの差分値を符号化する。ただし、差分値の絶対値は符
号化するが、差分値の符号（正または負）はCUサイズ等の第２の符号化パラメータを参照して導出し、符号化しない。そのため、正または負を表す符号量を削減しつつ、最適な量子化パラメータの差分絶対値を使用して符号化・復号処理ができるため、より主観的に良好な画質を実現することができる。

（実施形態３）
本願の実施形態３では、実施形態１および実施形態２で第２の符号化パラメータとして使用したCUサイズ（面積）以外の第２の符号化パラメータを用いた量子化パラメータの導出について説明する。

実施形態１および実施形態２では第２の符号化パラメータとしてCUサイズ（面積：CU幅*CU高さ）を用い、各々CTU幅およびCTU高さに対する比で表現した。CUサイズとしては、
これ以外に、CU幅とCU高さの和を用いる方法（図12(2)）、四分木や二分木の階層（QTDepth、BTDepth）を用いる方法（図12(3)）、CUサイズをCTUとの比ではなく、CUサイズその
ものを用いる方法（図29(2)、(3)）がある。図12(2)ではCU幅とCU高さをCU辺と総称する
。CU辺1がCU幅でCU辺2がCU高さである場合と、その逆の場合がある。CUサイズを面積ではなく、和で表現することで、演算を簡単にできるメリットがある。またCUサイズをCTUに
依存しない数値で表現することにより、符号量の多い小サイズのCUにおいて、量子化パラメータがCTUサイズの影響を過度に受けるデメリットを回避することができる。

また、実施形態２の変形例２の対応表も図29(4)に示すように、CTU幅およびCTU高さに
対する比ではなく、数値で表すこともできる。さらに変形例２の対応表も、CUサイズ（面積）とdcuQP_signの対応関係以外に、CU幅とCU高さの和や四分木や二分木の階層とdcuQP_signの対応関係で表すこともできる。

（量子化変換係数の構成）
また、分割情報（CUサイズ）以外の第２の符号化パラメータとして、隣接CUの０以外の量子化変換係数（非０量子化変換係数）の個数を利用することもできる。複雑なテクスチャは量子化変換係数の個数が多く、平坦なテクスチャやグラデーションは量子化変換係数の個数が少ないことから、量子化変換係数の個数はアクティビティに関連する第２の符号化パラメータの１つである。

図32に示すように、本構成の画像符号化装置および画像符号化装置は、現CUの上側の隣接CU（CUA）と左側の隣接CU（CUL）の非０量子化変換係数の個数NA,NLの和（量子化変換
係数の和と記す）によって、ベースとなる量子化パラメータ（実施形態１ではsliceQP、
実施形態２ではcuQPf）に対する差分値dcuQPを制御する。例えば、図33(1)に示す表を用
いて、各CUの差分量dcuQPを導出し、cuQPを導出してもよい。
ここで
cuQP = predQP + dcuQP
もしくは
cuQP = cuQPf + dcuQP
図33(1)に、Iピクチャ（スライス）の場合の非０量子化変換係数の和と量子化パラメータの差分値dcuQPの対応関係を示す。図33(1)は非０量子化変換係数の和に応じて、差分量子化パラメータを対応づける例である。

さらに、実施形態２の変形例２のように、差分量子化パラメータの絶対値のみを符号化
データに符号化し、符号を非０量子化変換係数から導出してもよい。

図33(2)は、Iピクチャ（スライス）において、非０量子化変換係数の和に応じて差分量子化パラメータが正か負かを制約し、実施形態２の変形例２のように、差分量子化パラメータの大きさ自体は明示的に符号化するための対応表である。なお、図33(3)、(4)はPあ
るいはBピクチャ（スライス）の場合の対応表である。なお、各CUのサイズは同じではな
いため、図33で用いる変換係数の和は正規化する必要がある。例えば正規化後のCUのサイズを32x32とした時に、CUAが16x8でNA=2、CULが64x32でNL=4の場合、各CUを32x32に正規
化すると各々の非０変換係数の個数はCUAが16、CULが2となる。図33(1)のNA、NLは正規化後の変換係数の個数を用い、前記の場合は変換係数の和は18である。これに対応するインデックスは0であり、DQPTBL[0]=-6であるので、dcuQP=-6となる。このようにアクティビ
ティに関連する隣接CUの量子化変換係数の個数を利用することにより、主観的に良好な画質を実現できる。

（動きベクトルの構成）
さらに、上記以外にも利用できる第２の符号化パラメータとして、隣接CUの動きベクトルがある。動きベクトルが大きい場合、動きは速く、ディテールのはっきりしないボケた画像が多く、動きベクトルが小さい場合、動きは遅く、ディテールのはっきりした画像が多い。従ってCUの動きベクトルが小さい場合は、後続のピクチャから参照画像として参照される確率が高い。従って隣接CUの動きベクトルが小さいCUは量子化パラメータを小さく、隣接CUの動きベクトルが大きいCUは量子化パラメータを大きくする。

図32に示す、現CUの上側の隣接CU（CUA）と左側の隣接CU（CUL）の動きベクトルをMVA
、MVLとする。

本構成の画像符号化装置および画像符号化装置は、隣接ブロックの動きベクトルの大きさに応じて、ベースとなる量子化パラメータ（実施形態１ではsliceQP、実施形態２ではcuQPf）に対する差分値dcuQPを決定し、cuQPを導出する。ここで
cuQP = predQP + dcuQP
もしくは
cuQP = cuQPf + dcuQP
動きベクトルの大きさと量子化パラメータの差分値dcuQPの対応関係を図34(1)に示す。図34(1)は動きベクトルの大きさ（水平・垂直成分の絶対値和）に、差分値を対応づける例
である。図34(2)は動きベクトルの大きさ（水平・垂直成分の絶対値和）に対し、差分値
が正か負かを制約し、実施形態２の変形例２のように、符号（正または負）は符号化せず、差分値の大きさ自体は明示的に符号化するための対応表である。このように後続のピクチャからの参照可能性に関連する隣接CUの動きベクトルの大きさを利用することにより、主観的に良好な画質を実現できる。

（イントラ予測モードの構成）
さらに、上記以外にも利用できる第２の符号化パラメータとして、イントラ予測モードがある。一般に、垂直方向および水平方向のオブジェクトは途切れずに続くことが多い。従ってあるCUのイントラ予測モードが垂直方向または水平方向であれば、後続のCUのイントラ予測モードが垂直方向または水平方向である可能性が高い。従ってあるCUのCU境界の復号画素は、後続のCUの参照画素として使用される可能性が高い。そこで、現CUのイントラ予測モードが垂直方向または水平方向であれば、量子化パラメータを小さく、それ以外の方向であれば量子化パラメータを大きくする。イントラ予測モードと量子化パラメータの差分値dcuQPの対応関係を図34(3)に示す。図34(3)はイントラ予測モードに、差分値を
対応づける例である。

本構成の画像符号化装置および画像符号化装置は、イントラ予測モードに応じて、ベースとなる量子化パラメータ（ベースQP、実施形態１ではsliceQP、実施形態２ではcuQPf）に対する差分値dcuQPを決定し制御、cuQPを導出するする。ここで
cuQP = predQP + dcuQP
もしくは
cuQP = cuQPf + dcuQP
また、変形例として現CUのイントラ予測モードが垂直方向または水平方向であり、その隣接CUのイントラ予測モードは現CUのイントラ予測モードと異なる場合に、量子化パラメータを小さく、それ以外の方向であれば量子化パラメータを大きくしてもよい。この場合、現CUはオブジェクトの開始位置に当たると推定され、後続のCUで参照される可能性が高いと考えられるからである。

図32に示す、現CUの上側の隣接CU（CUA）と左側の隣接CU（CUL）のイントラ予測モードをIPredA、IPredL、現CUのイントラ予測モードをIPredCとする。垂直方向のイントラ予測モードをVer、垂直方向のイントラ予測モードをHorとする。また、イントラ予測モードと量子化パラメータの差分値dcuQPの対応関係を図34(4)に示す。図34(4)はイントラ予測モ
ードに、差分値を対応づける例である。

さらに、現CUの上に隣接するイントラ予測モードIPredAが垂直方向Verではなく、現CU
のイントラ予測モードIPredCが垂直モードVerである場合に、現CUのQP差分値dcuQPを負の値に設定し、量子化パラメータを小さく設定してもよい。上記の場合には、現CUは、比較的長く続く垂直線を構成する最初のブロックである可能性が高く、このような垂直線は現CUの下の後続のブロックで参照される可能性が高いことから量子化パラメータを小さくして高い画質とすることが適当である。

同様の形態として、現CUの左に隣接するイントラ予測モードIPredLが水平方向Horでは
なく、現CUのイントラ予測モードIPredCが水平モードHorである場合に、現CUのQP差分値dcuQPを負の値に設定し、量子化パラメータを小さく設定してもよい。

本構成の画像符号化装置および画像符号化装置は、イントラ予測モードに応じて、ベースとなる量子化パラメータ（ベースQP、実施形態１ではsliceQP、実施形態２ではcuQPf）に対する差分値dcuQPを決定し制御、cuQPを導出するする。ここで
cuQP = predQP + dcuQP
もしくは
cuQP = cuQPf + dcuQP
このように後続のピクチャからの参照可能性に関連する隣接CUのイントラ予測モードを利用することにより、主観的に良好な画質を実現できる。

（変形例３）
変形例３では、実施形態１〜３で記載した第２の符号化パラメータと差分量子化パラメータの対応関係をヘッダで通知する技術を説明する。

各実施形態で説明した差分量子化パラメータと対応づける第２の符号化パラメータ（CUサイズ、変換係数の個数、動きベクトルの大きさ等）は、画像符号化装置と画像復号装置の間であらかじめ定められた共通の対応表を用いる以外にも、SPS、PPS、スライスヘッダ等の各種ヘッダで通知することができる。

図35は対応表の通知方法を示すフローチャートである。図12、図29、図33、図34は対応表の一例である。画像符号化装置の場合、ヘッダ符号化部1101が、画像復号装置の場合、ヘッダ復号部1001が、フローチャートの各処理を実行する。S3501では、第２の符号化パ
ラメータと差分量子化パラメータの対応表を通知するか否かを示すフラグを符号化、または復号する。S3502ではフラグが１か否かをチェックする。フラグが１の場合S3503に進み、フラグが０の場合処理を終了する。S3503では、フラグに続いて対応表を符号化あるい
は復号する。以降の符号化あるいは復号処理では通知された新しい符号表を用いる。フラグが０の場合はこれまで使用してきた対応表を継続して使用する。

また、別の通知方法として、例えばSPSで量子化パラメータの最大値と最小値を通知し
、具体的な対応表をPPSやスライスヘッダで通知することもできる。

以上のように、実施形態３では画質と関連付けられる第２の符号化パラメータと差分量子化パラメータの対応表を説明した。各対応表の特性を利用して、あるいは画像の性質に応じて対応表を切り替えることで、主観的により良好な画質を実現できる。

本発明の一態様に係る画像復号装置は、画像を、分割ツリー（分割情報）を用いて分割した符号化ユニット（ブロック）毎に復号する画像復号装置であるが、符号化データを可変長復号して画像の分割情報、予測パラメータ、および量子化変換係数等の第１の符号化パラメータを復号し、量子化変換係数を逆量子化および逆直交変換して予測誤差を算出し、分割情報と予測パラメータを用いて予測画像を作成し、
予測誤差と予測画像を加算して復号画像を作成する時に、量子化変換係数の逆量子化に用いる量子化パラメータの復号において、スライスヘッダで復号した情報からスライス単位の量子化パラメータ（ベース量子化パラメータ）を算出し、画像のアクティビティに関連する第２の符号化パラメータを参照して、ベース量子化パラメータと各符号化ユニットの差分情報を導出し、ベース量子化パラメータと差分情報を加算して各符号化ユニットの量子化パラメータを算出し、この量子化パラメータを用いて逆量子化することを特徴とする。

本発明の一態様に係る画像符号化装置は、画像を、分割ツリーを用いて分割した符号化ユニット（ブロック）毎に符号化する画像符号化装置であるが、画像の分割ツリー（分割情報）、予測パラメータ等を決定し、分割情報に基づいて入力画像の予測画像を作成し、入力画像と予測画像の予測誤差を算出し、予測誤差を直交変換および量子化して量子化変換係数を算出し、分割情報、予測パラメータ、および量子化変換係数等の第１の符号化パラメータを可変長符号化し、量子化変換係数を逆量子化および逆直交変換して予測誤差を算出し、予測誤差と予測画像を加算して復号画像を作成する時に、量子化および逆量子化で用いる量子化パラメータの導出において、スライス単位の量子化パラメータ（ベース量子化パラメータ）を算出し、画像のアクティビティに関連する第２の符号化パラメータを参照して、ベース量子化パラメータと各符号化ユニットの差分情報を導出し、ベース量子化パラメータと差分情報を加算して各符号化ユニットの量子化パラメータを算出し、この量子化パラメータを用いて量子化し、ベース量子化パラメータに関連する情報を符号化し、符号化ユニットの量子化パラメータは符号化しないことを特徴とする。

本発明の一態様に係る画像復号装置は、画像を、分割ツリーを用いて分割した符号化ユニット（ブロック）毎に復号する画像復号装置であるが、符号化データを可変長復号して画像の分割情報、予測パラメータ、および量子化変換係数等の第１の符号化パラメータを復号し、量子化変換係数を逆量子化および逆直交変換して予測誤差を算出し、分割情報と予測パラメータを用いて予測画像を作成し、予測誤差と予測画像を加算して復号画像を作成する時に、量子化変換係数の逆量子化に用いる量子化パラメータの復号において、符号化ユニットのルートである符号化ツリーユニットの最初の符号化ユニットで復号した情報から、符号化ツリーユニットの先頭の符号化ユニットの量子化パラメータ（ベース量子化パラメータ）を算出し、画像のアクティビティに関連する第２の符号化パラメータを参照して、ベース量子化パラメータと符号化ツリーユニットの２つ目以降の各符号化ユニット
（後続ユニット）の差分情報を導出し、ベース量子化パラメータと差分情報を加算して各後続ユニットの量子化パラメータを算出し、この量子化パラメータを用いて逆量子化することを特徴とする。

本発明の一態様に係る画像符号化装置は、画像を、分割ツリーを用いて分割した符号化ユニット（ブロック）毎に符号化する画像符号化装置であるが、画像の分割ツリー（分割情報）、予測パラメータ等を決定し、分割情報に基づいて入力画像の予測画像を作成し、入力画像と予測画像の予測誤差を算出し、予測誤差を直交変換および量子化して量子化変換係数を算出し、分割情報、予測パラメータ、および量子化変換係数等の第１の符号化パラメータを可変長符号化し、量子化変換係数を逆量子化および逆直交変換して予測誤差を算出し、予測誤差と予測画像を加算して復号画像を作成する時に、量子化および逆量子化で用いる量子化パラメータの導出において、符号化ユニットのルートである符号化ツリーユニットの最初の符号化ユニットの量子化パラメータ（ベース量子化パラメータ）を算出し、画像のアクティビティに関連する第２の符号化パラメータを参照して、ベース量子化パラメータと符号化ツリーユニットの２つ目以降の各符号化ユニット（後続ユニット）の差分情報を導出し、ベース量子化パラメータと差分情報を加算して各後続ユニットの量子化パラメータを算出し、この量子化パラメータを用いて量子化し、ベース量子化パラメータに関連する情報を符号化し、後続ユニットの量子化パラメータは符号化しないことを特徴とする。

本発明の一態様に係る画像復号装置は、画像を、分割ツリーを用いて分割した符号化ユニット（ブロック）毎に復号する画像復号装置であるが、符号化データを可変長復号して画像の分割情報、予測パラメータ、および量子化変換係数等の第１の符号化パラメータを復号し、量子化変換係数を逆量子化および逆直交変換して予測誤差を算出し、分割情報と予測パラメータを用いて予測画像を作成し、予測誤差と予測画像を加算して復号画像を作成する時に、量子化変換係数の逆量子化に用いる量子化パラメータの復号において、符号化ユニットのルートである符号化ツリーユニットの最初の符号化ユニットで復号した情報から、符号化ツリーユニットの先頭の符号化ユニットの量子化パラメータ（ベース量子化パラメータ）を算出し、後続ユニットで復号した情報から、ベース量子化パラメータと後続ユニットの量子化パラメータとの差分情報の絶対値を復号し、画像のアクティビティに関連する第２の符号化パラメータを参照して、差分情報の絶対値の符号（正または負を示す情報）を導出し、差分情報を算出し、ベース量子化パラメータと差分情報を加算して各後続ユニットの量子化パラメータを算出し、この量子化パラメータを用いて逆量子化することを特徴とする。

本発明の一態様に係る画像符号化装置は、画像を、分割ツリーを用いて分割した符号化ユニット（ブロック）毎に符号化する画像符号化装置であるが、画像の分割ツリー（分割情報）、予測パラメータ等を決定し、分割情報に基づいて入力画像の予測画像を作成し、入力画像と予測画像の予測誤差を算出し、予測誤差を直交変換および量子化して量子化変換係数を算出し、分割情報、予測パラメータ、および量子化変換係数等の第１の符号化パラメータを可変長符号化し、量子化変換係数を逆量子化および逆直交変換して予測誤差を算出し、予測誤差と予測画像を加算して復号画像を作成する時に、量子化および逆量子化で用いる量子化パラメータの導出において、符号化ユニットのルートである符号化ツリーユニットの最初の符号化ユニットの量子化パラメータ（ベース量子化パラメータ）を算出し、画像のアクティビティに関連する第２の符号化パラメータを参照して、ベース量子化パラメータと符号化ツリーユニットの２つ目以降の各符号化ユニット（後続ユニット）の差分情報を導出し、ベース量子化パラメータと差分情報を加算して各後続ユニットの量子化パラメータを算出し、この量子化パラメータを用いて量子化し、画像のアクティビティに関連する第２の符号化パラメータを参照して、差分情報の絶対値の符号（符号正または負を示す情報）を導出し、ベース量子化パラメータと、後続ユニットとの差分情報の絶対
値に関連する情報を符号化し、符号は符号化しないことを特徴とする。

本発明の一態様に係る画像符号化・復号装置は、ベース量子化パラメータと各符号化ユニットの差分情報の導出において、第２の符号化パラメータと差分情報の対応関係をヘッダ情報として符号化・復号する。

本発明の一態様に係る画像符号化・復号装置において、上記第２の符号化パラメータは、画像の分割情報であることを特徴とする。

本発明の一態様に係る画像符号化・復号装置において、上記第２の符号化パラメータは、符号化・復号対象の符号化ユニットに隣接する符号化ユニットの量子化変換係数の個数である。

本発明の一態様に係る画像符号化・復号装置において、上記第２の符号化パラメータは、符号化・復号対象の符号化ユニットに隣接する符号化ユニットの動きベクトルである。

（ソフトウェアによる実現例）
なお、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、例えば、エントロピー復号部３０１、予測パラメータ復号部３０２、ループフィルタ３０５、予測画像生成部３０８、逆量子化・逆DCT部３１１、加算部３１２、予測画像生成部１０
１、減算部１０２、DCT・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆DCT部１０５、ループフィルタ１０７、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１１、画像復号装置３１のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュー
タシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、または全部を、LSI（Large Scale Integration）等の集積回路として実現しても良い。画像符号化装置１１、画像復号装置３１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

（応用例）
上述した画像符号化装置１１及び画像復号装置３１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（CG
及びGUIを含む）であってもよい。

まず、上述した画像符号化装置１１及び画像復号装置３１を、動画像の送信及び受信に利用できることを、図８を参照して説明する。

図８の（ａ）は、画像符号化装置１１を搭載した送信装置PROD_Aの構成を示したブロック図である。図８の（ａ）に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した画像符号化装置１１は、この
符号化部PROD_A1として利用される。

送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像
するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部Ａ７を更に備えていて
もよい。図８の（ａ）においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよい
し、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部（
不図示）を介在させるとよい。

図８の（ｂ）は、画像復号装置３１を搭載した受信装置PROD_Bの構成を示したブロック図である。図８の（ｂ）に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した画像復号装置３１は、この復号部PROD_B3として利用される。

受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示す
るディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図８の（ｂ）においては、
これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであって
もよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から
取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機な
ど）は、変調信号を無線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。

また、インターネットを用いたVOD（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置PROD_A／受信装置PROD_Bの一例である（通常、ＬＡＮにおいては伝送媒体として無線または有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。

次に、上述した画像符号化装置１１及び画像復号装置３１を、動画像の記録及び再生に利用できることを、図９を参照して説明する。

図９の（ａ）は、上述した画像符号化装置１１を搭載した記録装置PROD_Cの構成を示したブロック図である。図９の（ａ）に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した画像符号化
装置１１は、この符号化部PROD_C1として利用される。

なお、記録媒体PROD_Mは、（１）HDD（Hard Disk Drive）やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSB（Universal Serial Bus）フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、（３）DVD（Digital Versatile Disc）やBD（Blu-ray Disc:登録商標）などのように、記録装置PROD_Cに内蔵されたドライブ装置
（不図示）に装填されるものであってもよい。

また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像
を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部PROD_C6を更に備えていてもよい。図９の（ａ）においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。

なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし
、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子PROD_C4または受信部PROD_C5が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラPROD_C3が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部PROD_C5または画像
処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラPROD_C3
または受信部PROD_C5が動画像の主な供給源となる）なども、このような記録装置PROD_C
の一例である。

図９の（ｂ）は、上述した画像復号装置３１を搭載した再生装置PROD_Dの構成を示したブロックである。図９の（ｂ）に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した画
像復号装置３１は、この復号部PROD_D2として利用される。

なお、記録媒体PROD_Mは、（１）HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSBフラッシュメモリなどのよ
うに、再生装置PROD_Dに接続されるタイプのものであってもよいし、（３）DVDやBDなど
のように、再生装置PROD_Dに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を
表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図９の（ｂ）においては、こ
れら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。

なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし
、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動
画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイPROD_D3が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称
され、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）、デスクトップ型PC（この場合、出力端子PROD_D4または送信部PROD_D5が動画像の主な供給先となる）、ラップトップ型またはタブレット型PC（この場合、ディスプレイPROD_D3または送
信部PROD_D5が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）なども、このような再生装置PROD_Dの一例である。

（ハードウェア的実現及びソフトウェア的実現）
また、上述した画像復号装置３１及び画像符号化装置１１の各ブロックは、集積回路（ICチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、CPU（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記
プログラムを格納したROM（Read Only Memory）、上記プログラムを展開するRAM（Random
Access Memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはCPUやMPU）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやCD-ROM（Compact Disc Read-Only Memory）／MOディスク（Magneto-Optical disc）／MD（Mini Disc）／DVD（Digital Versatile Disc）／CD-R（CD Recordable）／ブルーレイディスク（Blu-ray Disc：登録商標）等の光ディスクを含むディスク類、ICカード（メモリカードを含む）／光カード等のカード類、マスクROM／EPROM（Erasable Programmable Read-Only Memory）／EEPROM（Electrically Erasable and Programmable Read-Only Memory：登録商標）／フラッシ
ュROM等の半導体メモリ類、あるいはPLD（Programmable logic device）やFPGA（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN（Local Area Network）、ISDN（Integrated Services Digital Network）、VAN（Value-Added Network）、CATV（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE（Institute of Electrical and Electronic Engineers）1394、USB、電力線搬送、ケーブルＴＶ回線、電話線、ADSL（Asymmetric Digital Subscriber Line）回線等の有線でも、IrDA（Infrared Data Association）やリモコンのような赤外線、BlueTooth（登録商標）、IEEE802.11無線、HDR（High Data Rate）、NFC（Near Field Communication）、DLNA（Digital Living Network Alliance：登録商標）、携帯電話網、衛星回線、地上デジタル放送網等の無線でも利用可能である。なお、本発明の実施形態は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明の実施形態は、画像データが符号化された符号化データを復号する画像復号装置、及び、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。

１０ CT情報復号部
１１画像符号化装置
２０ CU復号部
３１画像復号装置
４１画像表示装置

Claims

画像を、分割ツリーを用いて分割した符号化ユニット（ブロック）毎に復号する画像復号装置であって、
符号化データを可変長復号して画像の分割情報、予測パラメータ、および量子化変換係数等の第１の符号化パラメータを復号する手段と、
前記量子化変換係数を逆量子化および逆直交変換して予測誤差を算出する手段と、
前記分割情報と前記予測パラメータを用いて予測画像を作成する手段と
前記予測誤差と前記予測画像を加算して復号画像を作成する手段とを備え、
前記可変長復号手段は、量子化変換係数の逆量子化に用いる量子化パラメータの復号において、
符号化データから量子化パラメータのシンタックスを復号して量子化パラメータ（ベース量子化パラメータ）を算出し、
画像のアクティビティに関連する第２の符号化パラメータを参照して、前記ベース量子化パラメータと各符号化ユニットの差分情報を導出し、
前記ベース量子化パラメータと前記差分情報を加算して各符号化ユニットの量子化パラメータを算出し、
前記逆量子化手段は前記符号化ユニットの量子化パラメータを用いて逆量子化することを特徴とする画像復号装置。
画像を、分割ツリーを用いて分割した符号化ユニット（ブロック）毎に符号化する画像符号化装置であって、
画像の分割ツリー（分割情報）、予測パラメータ等を決定する手段と、
前記分割情報に基づいて入力画像の予測画像を作成する手段と、
前記入力画像と前記予測画像の予測誤差を算出する手段と、
前記予測誤差を直交変換および量子化して量子化変換係数を算出する手段と、
前記分割情報、予測パラメータ、および量子化変換係数等の第１の符号化パラメータを可変長符号化する手段と、
前記量子化変換係数を逆量子化および逆直交変換して予測誤差を算出する手段と、
前記予測誤差と前記予測画像を加算して復号画像を作成する手段とを備え、
符号化パラメータ決定手段は、前記量子化手段および逆量子化手段で用いる量子化パラメータの導出において、
量子化パラメータ（ベース量子化パラメータ）を算出し、
画像のアクティビティに関連する第２の符号化パラメータを参照して、前記ベース量子化パラメータと各符号化ユニットの差分情報を導出し、
前記ベース量子化パラメータと前記差分情報を加算して各符号化ユニットの量子化パラメータを算出し、
前記量子化手段は前記ベース量子化パラメータおよび符号化ユニットの量子化パラメータを用いて量子化し、
前記可変長符号化手段は、前記ベース量子化パラメータに関連する情報を符号化し、符号化ユニットの量子化パラメータは符号化しないことを特徴とする画像符号化装置。
前記ベース量子化パラメータと各符号化ユニットの差分情報の導出において、前記第２の符号化パラメータと前記差分情報の対応関係をヘッダ情報として符号化・復号する請求項１および２に記載の画像符号化装置および画像復号装置。
前記第２の符号化パラメータは、画像の分割情報であることを特徴とする請求項１〜３に記載の画像符号化装置および画像復号装置。
前記第２の符号化パラメータは、符号化・復号対象の符号化ユニットに隣接する符号化
ユニットの量子化変換係数の個数であることを特徴とする請求項１〜３に記載の画像符号化装置および画像復号装置。
前記第２の符号化パラメータは、符号化・復号対象の符号化ユニットに隣接する符号化ユニットの動きベクトルであることを特徴とする請求項１〜３に記載の画像符号化装置および画像復号装置。
画像を、分割ツリーを用いて分割した符号化ユニット（ブロック）毎に復号する画像復号装置であって、
符号化データを可変長復号して画像の分割情報、予測パラメータ、および量子化変換係数等の第１の符号化パラメータを復号する手段と、
前記量子化変換係数を逆量子化および逆直交変換して予測誤差を算出する手段と、
前記分割情報と前記予測パラメータを用いて予測画像を作成する手段と
前記予測誤差と前記予測画像を加算して復号画像を作成する手段とを備え、
前記可変長復号手段は、量子化変換係数の逆量子化に用いる量子化パラメータの復号において、
前記符号化ユニットのルートである符号化ツリーユニットの最初の符号化ユニットで復号した情報から、符号化ツリーユニットの先頭の符号化ユニットの量子化パラメータ（ベース量子化パラメータ）を算出し、
画像のアクティビティに関連する第２の符号化パラメータを参照して、前記ベース量子化パラメータと符号化ツリーユニットの２つ目以降の各符号化ユニット（後続ユニット）の差分情報を導出し、
前記ベース量子化パラメータと前記差分情報を加算して各後続ユニットの量子化パラメータを算出し、
前記逆量子化手段は前記ベース量子化パラメータおよび後続ユニットの量子化パラメータを用いて逆量子化することを特徴とする画像復号装置。
画像を、分割ツリーを用いて分割した符号化ユニット（ブロック）毎に符号化する画像符号化装置であって、
画像の分割ツリー（分割情報）、予測パラメータ等を決定する手段と、
前記分割情報に基づいて入力画像の予測画像を作成する手段と、
前記入力画像と前記予測画像の予測誤差を算出する手段と、
前記予測誤差を直交変換および量子化して量子化変換係数を算出する手段と、
前記分割情報、予測パラメータ、および量子化変換係数等の第１の符号化パラメータを可変長符号化する手段と、
前記量子化変換係数を逆量子化および逆直交変換して予測誤差を算出する手段と、
前記予測誤差と前記予測画像を加算して復号画像を作成する手段とを備え、
符号化パラメータ決定手段は、前記量子化手段および逆量子化手段で用いる量子化パラメータの導出において、
前記符号化ユニットのルートである符号化ツリーユニットの最初の符号化ユニットの量子化パラメータ（ベース量子化パラメータ）を算出し、
画像のアクティビティに関連する第２の符号化パラメータを参照して、前記ベース量子化パラメータと符号化ツリーユニットの２つ目以降の各符号化ユニット（後続ユニット）の差分情報を導出し、
前記ベース量子化パラメータと前記差分情報を加算して各後続ユニットの量子化パラメータを算出し、
前記量子化手段は前記ベース量子化パラメータおよび後続ユニットの量子化パラメータを用いて量子化し、
前記可変長符号化手段は、前記ベース量子化パラメータに関連する情報を符号化し、後続ユニットの量子化パラメータは符号化しないことを特徴とする画像符号化装置。