JP2022013969A

JP2022013969A - 動画像符号化装置および動画像復号装置

Info

Publication number: JP2022013969A
Application number: JP2018215873A
Authority: JP
Inventors: 瑛一佐々木; Eiichi Sasaki; 健中條; Takeshi Nakajo; 将伸八杉; Masanobu Yasugi; 知宏猪飼; Tomohiro Igai; 友子青野; Tomoko Aono
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2018-11-16
Filing date: 2018-11-16
Publication date: 2022-01-19
Also published as: WO2020100833A1

Abstract

【課題】HEVCでは、タイル、ウェーブフロント並列処理、スライスに対応しているが、一つの領域に対して、これらのツールを排他的に利用することにより処理の簡略化、効率化を図る。【解決手段】ピクチャを１つ以上の矩形領域に分割した１つ以上のセグメントから構成されるタイルグループの符号化データを復号する動画像復号装置であって、対象タイルグループ内のセグメントが矩形のタイル、CTU行、スライスの何れであるかを示す対象タイルグループ内のタイル数、WPP有効フラグ、スライス有効フラグをタイルグループヘッダから復号するヘッダ復号部を備える。ヘッダ復号部は、１つのタイルグループ内で、タイル数が２つ以上、WPP有効フラグが１、スライス有効フラグが１のいずれかのみを復号する。【選択図】図１５

Description

本発明の実施形態は、動画像復号装置、および動画像符号化装置に関する。

動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。

具体的な動画像符号化方式としては、例えば、H.264/AVCやHEVC（High-Efficiency Video Coding）などが挙げられる。

このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び、符号化単位を分割することより得られる変換ユニット（TU：Transform Unit）からなる階層構造により管理され、CU毎に符号化／復号される。

また、このような動画像符号化方式においては、通常、入力画像を通知することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測誤差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。

また、画面を複数の単位に分割して伝送する方法としては、スライス、CTU行（ウェーブフロント並列、以下セグメント）、タイルに分割する方法が知られている。

また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられ、今後、複数のタイルを一つにまとめたサブストリームであるタイルグループに対応予定である。非特許文献２には、タイルグループの技術が開示されており、タイルグループの具体的なシンタックス例は非特許文献３に開示されている。

" Versatile Video Coding (Draft 3)", JVET-L1001, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2018-11-08 "Tile groups for VVC", JVET-L0415, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2018-09-25 "Spec text for the agreed starting point on slicing and tiling", JVET-L0686, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2018-10-12

HEVCでは、ピクチャを矩形に分割するタイルと、CTU行に分割するウェーブフロント並列処理（Wavefront Parallel Processing, WPP）と、連続するCTUの集合に分割するスライスに対応しているが、一つの領域に対して、タイルやウェーブフロント、スライスの利用が排他的ではないために、処理が複雑になる、という課題がある。また、非特許文献２や３のような、タイルグループに対応していないので、タイルやウェーブフロント並列化を用いる場合には、符号化データの開始位置を示すエントリポイントをピクチャ単位で符号化することしかできず、画面を分割したグループ単位で符号化することができないという課題がある。

非特許文献２、非特許文献３に記載のタイルでは、タイルをグループ単位で通知することが可能であるが、高効率で高い並列度を実現するウェーブフロント並列処理や、矩形以外の任意の位置でセグメントの区切り位置を実現するスライスに対応していないという課題がある。また、タイルグループ単位でセグメントの種別を切り替えることができない。

また、非特許文献２、非特許文献３に記載のタイルはピクチャ単位でタイルを分割方法を規定するため、ピクチャグループ単位でタイルの幅や高さを変更することができない。

そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的は、タイルやウェーブフロント、スライスをタイルグループ内で排他的に利用することによって、符号化処理や復号処理を簡略化、効率化することである。また、ピクチャグループ単位でタイルの幅や高さを変更することである。

本発明の一態様に係る動画像復号装置は、ピクチャを１つ以上の矩形領域に分割したタイルグループであって、１つ以上のセグメントから構成されるタイルグループの符号化データを復号する動画像復号装置であって、対象タイルグループ内のセグメントが矩形のタイル、１CTU高さのCTU行、CTU単位のスライスの何れであるかを示す対象タイルグループ内のタイル数、WPP有効フラグ、スライス有効フラグをタイルグループヘッダから復号するヘッダ復号部を備え、上記ヘッダ復号部は、１つのタイルグループ内で、タイル数が２つ以上、WPP有効フラグが１、スライス有効フラグが１のいずれかのみを復号することを特徴とする。

本実施形態に係る画像伝送システムの構成を示す概略図である。本実施形態に係る動画像符号化装置を搭載した送信装置、および、動画像復号装置を搭載した受信装置の構成について示した図である。(a)は動画像符号化装置を搭載した送信装置を示しており、(b)は動画像復号装置を搭載した受信装置を示している。本実施形態に係る動画像符号化装置を搭載した記録装置、および、動画像復号装置を搭載した再生装置の構成について示した図である。(a)は動画像符号化装置を搭載した記録装置を示しており、(b)は動画像復号装置を搭載した再生装置を示している。符号化ストリームのデータの階層構造を示す図である。ピクチャの分割例を示す図である。タイルグループを説明する図である。本実施形態のタイルグループの符号化もしくは復号を説明するフローチャートである。本実施形態のタイルグループを説明する図である。動画像復号装置の構成を示す概略図である。動画像復号装置の概略的動作を説明するフローチャートである。タイル情報等に関するシンタックス表である。本実施形態のタイルグループのシンタックス構成を示す図である。本実施形態のタイルグループを説明する図である。本実施形態のピクチャパラメータセットのシンタックス構成を示す図である。タイルグループ（セグメントグループ）単位で、異なる種類のセグメントを利用する例である。タイルセグメントとCTU行セグメントの排他構成を説明する図である。タイルとウェーブフロントの排他構成におけるヘッダ復号部の動作を説明する図である。本実施形態のタイルグループのシンタックス構成を示す図である。本実施形態のタイルグループのシンタックス構成を示す図である。タイルセグメントとスライスセグメントの排他構成を説明する図である。本実施形態のタイルグループのシンタックス構成を示す図である。タイルセグメントとCTU行セグメントとスライスセグメントの排他構成を説明する図である。本実施形態のタイルグループのシンタックス構成を示す図である。動画像符号化装置の構成を示すブロック図である。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。

図1は、本実施形態に係る画像伝送システム１の構成を示す概略図である。

画像伝送システム１は、符号化対象画像を符号化した符号化ストリームを伝送し、伝送された符号化ストリームを復号し画像を表示するシステムである。画像伝送システム１は、動画像符号化装置（画像符号化装置）11、ネットワーク21、動画像復号装置（画像復号装置）31、及び動画像表示装置（画像表示装置）41を含んで構成される。

動画像符号化装置11には画像Tが入力される。

ネットワーク21は、動画像符号化装置11が生成した符号化ストリームTeを動画像復号装置31に伝送する。ネットワーク21は、インターネット（Internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）またはこれらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク21は、DVD（Digital Versatile Disc:登録商標）、BD（Blue-ray Disc:登録商標）等の符号化ストリームTeを記録した記憶媒体で代替されても良い。

動画像復号装置31は、ネットワーク21が伝送した符号化ストリームTeのそれぞれを復号し、復号した１または複数の復号画像Tdを生成する。

動画像表示装置41は、動画像復号装置31が生成した１または複数の復号画像Tdの全部または一部を表示する。動画像表示装置41は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。ディスプレイの形態としては、据え置き、モバイル、HMD等が挙げられる。また、動画像復号装置31が高い処理能力を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。

＜演算子＞
本明細書で用いる演算子を以下に記載する。

>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR、|=はOR代入演算子であり、||は論理和を示す。

x?y:zは、xが真（0以外）の場合にy、xが偽（0）の場合にzをとる３項演算子である。

Clip3(a,b,c)は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返し、c>bの場合にはbを返し、その他の場合にはcを返す関数である（ただし、a<=b）。

abs(a)はaの絶対値を返す関数である。

Int(a)はaの整数値を返す関数である。

floor(a)はa以下の最大の整数を返す関数である。

ceil(a)はa以上の最小の整数を返す関数である。

a/dはdによるaの除算（小数点以下切り捨て）を表す。

＜符号化ストリームTeの構造＞
本実施形態に係る動画像符号化装置11および動画像復号装置31の詳細な説明に先立って、動画像符号化装置11によって生成され、動画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。

図4は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図4(a)～(f)は、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、タイルグループを規定する符号化タイルグループ、タイルを規定するセグメント（例えば符号化タイル、CTU行、スライス）、セグメントに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図である。

（符号化ビデオシーケンス）
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために動画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図4(a)に示すように、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。

シーケンスパラメータセットSPSでは、対象シーケンスを復号するために動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅、高さ、形状に関する情報や、復号ツールのオンオフに関する情報が規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れかを選択する。

ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャを構成するタイルの個数、幅、高さに関する情報が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。

（符号化ピクチャ）
符号化ピクチャでは、処理対象のピクチャPICTを復号するために動画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図4(b)に示すように、タイルグループ0～タイルグループNTG-1を含む（NTGはピクチャPICTに含まれるタイルの総数）。

（セグメント、タイルグループ）
セグメントとは、ピクチャを分割して送信するための単位であり、符号化データ上では、バイトアラインされたビット列として符号化、復号される。

タイル、CTU行、スライスは、各々、ピクチャを分割して送信するためのセグメントである。

セグメントグループ（タイルグループ）とは、CTUの集合であるセグメントのグループであり、セグメントグループと呼んでも良い。なお、各セグメントは、以下の特性を備える単位であり、並列に復号することができる。
・画面上ではCTUの集合に対応する
・符号化データ上ではバイト単位でアラインされる
・セグメント先頭でCABAC初期化を行う
・同じピクチャ内のセグメント間では予測を制限することができる（他のセグメントの参照が制限可能である）
予測の制限とは、例えば、セグメントがタイルの場合、対象タイルと異なるタイルの画像を用いたイントラ予測を行わない制限を行う。セグメントがスライスの場合も同様に、対象スライスと異なるスライスの画像を用いたイントラ予測を行わない制限を行う。
セグメントがWPPの場合には、対象CTU行と異なるCTU行の画像を用いたイントラ予測を一部許可する。具体的には、WPPでは、対象CTU行の上側のCTU行については参照可能とする。但し、対象CTU行の上側のCTU行においても、対象CTUの水平座標を超えるCTUについては参照することができない。また、フラグにより参照をオンオフしてもよい。

タイルグループ（セグメントグループ）では、セグメントに共通なヘッダを、セグメントで１回のみ符号化することによって、符号化効率的を向上させる効果を奏する。

図5はピクチャを４つのタイルグループTileGr0～TileGr3に分割した図である。タイルグループはさらに１つ以上のセグメントに分割することができる。TileGrの後の番号（図では0～3）は、タイルグループの識別子であり、ピクチャの左上から右下にラスタスキャン順に設定される。タイルグループ識別子はタイルグループ毎に異なる値であり、スキャン順に単調増加する値である。

図6(a)はセグメントがタイルである場合において、タイルアドレスを説明する図である。図のタイルTileの後の番号はピクチャ内のタイルのアドレス（TileAddrInPic）である。TileAddrInPicはピクチャの左上から右下にラスタスキャン順に設定される。図のタイルグル―プTileGr0はタイルTile0、Tile1、Tile4、Tile5を含む。TileGr1はTile2、Tile3、Tile6、Tile7を含む。TileGr2はTile8、Tile9を含む。TileGr3はTile10、Tile11を含む。タイルアドレスとしてTileAddrInPicを使う場合は、タイルグループ内でタイルアドレスは連続しない。

図6(b)はセグメントがタイルである場合において、タイルアドレスを説明する別の図である。図のタイルTileの後の番号はタイルグループ内のタイルのアドレス（TileAddrInTG）である。TileAddrInTGはタイルグループの左上から右下にラスタスキャン順に設定される。図のタイルグル―プTileGr0はタイルTile0、Tile1、Tile2、Tile3を含む。TileGr1はTile4、Tile5、Tile6、Tile7を含む。TileGr2はTile8、Tile9を含む。TileGr3はTile10、Tile11を含む。タイルアドレスとしてTileAddrInTGを使う場合は、タイルグループ内でタ
イルアドレスは連続する。

（符号化タイルグループ）
符号化タイルグループでは、処理対象のタイルグループを復号するために動画像復号装置31が参照するデータの集合が規定されている。タイルグループは、図4(c)に示すように、タイルグループヘッダ、および、タイルグループデータを含んでいる。さらに、タイルグループデータの後にバイトアライン用のトレイリングデータ（rbsp_tile_group_trailing_bits）を含んでもよい。

図7は、本実施形態のタイルグループの符号化もしくは復号を説明するフローチャートである。各ステップを実行する構成部材は図9、図24に記載されており、後述する。

S2001：ヘッダ符号化部1110及びヘッダ復号部3020は、タイルグループヘッダを符号化もしくは復号する。

S2002：CT情報符号化部1111及びCT情報復号部3021は、タイルグループデータを符号化もしくは復号する。

S2003：ヘッダ符号化部1110及びヘッダ復号部3020は、トレイリングデータを符号化もしくは復号する。トレイリングデータは、バイトアライン用のビット列を含んでいてもよい。またバイトアライメントの後にさらに区切りを示すビット列を含んでいてもよい。

タイルグループヘッダには、対象タイルグループの復号方法を決定するための符号化パラメータ群や、タイルグループのタイルに共通するパラメータが含まれる。タイルグループデータは、タイルグループに含まれる１つ以上のセグメントの符号化データから構成される。セグメントはCTUから構成される。セグメントがタイルである場合、タイルグループデータは１つ以上の符号化タイルから構成される。

（タイルグループヘッダ）
タイルグループヘッダは、タイルグループタイプ指定情報（tile_group_type）を含んでもよい。

タイルグループタイプ指定情報により指定可能なタイルグループタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩタイルグループ、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰタイルグループ、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢタイルグループなどが挙げられる。なお、インター予測は、単予測、双予測に限定されず、より多くの参照ピクチャを用いて予測画像を生成してもよい。以下、P、Bタイルグループと呼ぶ場合には、インター予測を用いることができるブロックを含むタイルグループを指す。

なお、タイルグループヘッダは、ピクチャパラメータセットPPSへの参照（pic_parameter_set_id）を含んでいても良い。

（符号化タイル）
符号化タイルでは、処理対象のタイルを復号するために動画像復号装置31が参照するデータの集合が規定されている。タイルは図4(d)に示すようにCTUを含む。CTUはタイルを構成する固定サイズ（例えば128x128）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。

（タイル、ＷＰＰ、スライス）
図8(a)は、タイルグループTileGr0を複数のタイルTile0～Tile3（太い実線の矩形）に分割する例である。タイルは１つ以上のCTUから構成される矩形のセグメントである。各CTUのアドレス（タイルスキャン順のCTUアドレスctbAddrTs）は各タイルの左上から右下にラスタスキャン順に設定される。

図8(b)はタイルグループを複数のCTU行に分割する例である。図に示すように、CTU行は１行（高さがCTU高さ、幅がセグメント幅）のCTUの集合から構成されるセグメントである。後述するように、CTU行のセグメントはWPPで用いられる。

図8(c)はタイルグループを連続するCTUの集合に分割する例である。図に示すように、スライスは、符号化、復号順のCTUの集合から構成されるセグメントである。

（符号化ツリーユニット）
図4(e)には、処理対象のCTUを復号するために動画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な４分木分割（QT（Quad Tree）分割）、２分木分割（BT（Binary Tree）分割）あるいは３分木分割（TT（Ternary Tree）分割）により符号化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割（MT（Multi Tree）分割）と呼ぶ。再帰的な４分木分割により得られる木構造のノードのことを符号化ノード（Coding Node）と称する。４分木、２分木、及び３分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。

（符号化ユニット）
図4(f)に示すように、処理対象の符号化ユニットを復号するために動画像復号装置31が参照するデータの集合が規定されている。具体的には、CUはCUヘッダ、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。

（動画像復号装置の構成）
本実施形態に係る動画像復号装置31（図9）の構成について説明する。

動画像復号装置31は、パラメータ復号部（予測画像復号装置）302、ループフィルタ305、参照ピクチャメモリ306、予測パラメータメモリ307、予測画像生成部（予測画像生成装置）308、逆量子化・逆変換部311、及び加算部312を含んで構成される。なお、後述の動画像符号化装置11に合わせ、動画像復号装置31にループフィルタ305が含まれない構成もある。パラメータ復号部302は、さらに、エントロピー復号部301、ヘッダ復号部3020、CT情報復号部3021、及びCU復号部3022を備えており、CU復号部3022はさらにTU復号部3024を備えている。

（復号モジュール）
以下、各モジュールの概略動作を説明する。パラメータ復号部302はヘッダ情報、分割情報、予測情報、量子化変換係数等のパラメータの復号処理を行う。

エントロピー復号部301は、バイナリデータからシンタックス要素を復号する。エントロピー復号部301は、より具体的には、供給元から供給されるシンタックス要素に基づいて、CABAC等のエントロピー符号化方式による符号化データから、シンタックス要素を復号して供給元に返す。以下に示す例では、シンタックス要素の供給元は、CT情報復号部3021、CU復号部3022である。

（基本フロー）
図10は、動画像復号装置31の概略的動作を説明するフローチャートである。

（S1100：パラメータセット情報復号）ヘッダ復号部3020は、符号化データからSPS、PPSなどのパラメータセット情報とタイル情報を復号する。

タイルの分割数やサイズに関する情報をタイル情報と呼ぶ。タイルの幅ColWidth、高さRowHeightは、ピクチャの幅PicWidthInCtbsYと高さPicHeightInCtbsY、ピクチャ内の水平、垂直方向のタイル数NumTileColumns、NumTileRowsを用いて導出する。ColWidth、RowHeight、PicWidthInCtbsY、PicHeightInCtbsYの単位はCTUである。ヘッダ復号部3020はピクチャの画素単位の幅pic_width_in_luma_samples、高さpic_height_in_luma_samples、CTUサイズの対数値から2を引いた値log2_ctu_size_minus2を用いて下式で導出する。pic_width_in_luma_samples、pic_height_in_luma_samples、log2_ctu_size_minus2は図11(a)のsequence_parameter_set_rbsp()（SPSと称す）で通知（シグナル）される。以下、ある情報を「通知」するとは、ある情報を符号化データ（ビットストリーム）に含めることを意味し、動画像符号化装置では当該情報を符号化し、動画像復号装置では当該情報を復号する。

ctuWidth = ctuHeight = 1<<(log2_ctu_size_minus2+2)
PicWidthInCtbsY = Ceil(pic_width_in_luma_samples/ctuWidth)
PicHeightInCtbsY = Ceil(pic_height_in_luma_samples/ctuHeight)
ここでの除算(/)は小数精度とする。

ピクチャ内の水平、垂直方向のタイル数NumTileColumns、NumTileRowsは図11(b)のPPS（pic_parameter_set_rbsp()）で通知される。例えば、タイル情報はsingle_tile_in_pic_flag、num_tile_columns_minus1、num_tile_rows_minus1、uniform_tile_spacing_flag、tile_column_width_minus1[i]、tile_row_height_minus1[i]であってもよい。ここで、single_tile_in_pic_flagはピクチャに複数のタイルがあるか否かを示すフラグで、１であればピクチャ内のタイルは１つであり、ピクチャはタイルに相当する。０であればピクチャに複数のタイルが含まれる。num_tile_columns_minus1、num_tile_rows_minus1は各々ピクチャ内の水平、垂直方向のタイル数NumTileColumns、NumTileRowsから各々1を引いた値である。uniform_spacing_flagはピクチャが可能な限り均等にタイル分割されるか否かを示すフラグである。

ヘッダ復号部3020は、ピクチャ内の水平、垂直方向のタイル数NumTileColumns、NumTileRows、および、ピクチャ内のタイルの総数NumTilesInPicを以下で導出する。

NumTileColumns = num_tile_columns_minus1+1
NumTileRows = num_tile_rows_minus1+1
NumTilesInPic = NumTileColumns*NumTileRows
ヘッダ復号部3020は、下式でタイルサイズを導出してもよい。

for(m=0;m<NumTileColumns;m++)
ColWidth[m] = (m+1)*PicWidthInCtbsY/NumTileColumns-m*PicWidthInCtbsY/NumTileColumns
for(n=0;n<NumTileRows;n++)
RowHeight[n] = (n+1)*PicHeightInCtbsY/NumTileRows-n*PicHeightInCtbsY/NumTileRows
uniform_spacing_flagの値が0の場合、ピクチャの各タイルの幅、高さは個別に設定される。動画像符号化装置では各タイルの幅ColWidth[m]、高さRowHeight[n]をタイル毎に
符号化する。動画像復号装置のヘッダ復号部3020はタイル毎にColWidth[m]、 RowHeight[n]を下記のように復号する。

ColWidth[m] = tile_column_width_minus1[m]+1 (0<=m<NumTileColumns-1)
RowHeight[n] = tile_row_height_minus1[m]+1 (0<=n<NumTileRows-1)
ColWidth[NumTileColumns-1] = PicWidthInCtbsY-sum_m(ColWidth[m])
RowHeight[NumTileRows-1] = PicHeightInCtbsY-sum_n(RowHeight[n])
ここで、sum_m(ColWidth[m])は、ColWidth[m](0<=m<NumTileColumns-1)の総和、sum_n(RowHeight[n])はRowHeight[m](0<=NumTileRows<N-1)の総和を表す。

（S1200：タイルグループ情報復号）ヘッダ復号部3020は、符号化データからタイルグループヘッダ（タイルグループ情報）を復号する。

図12(a)は符号化タイルグループのタイルグループヘッダを示すシンタックスである。タイルグループヘッダでは、tile_group_pic_parameter_set_id、tile_group_address、num_tiles_in_tile_group_minus1、tile_group_type、および、entry_point()が通知される。tile_group_pic_parameter_set_idは当該タイルグループが含まれるピクチャのピクチャパラメータセット識別子pps_pic_parameter_set_idを示す。tile_group_addressはタイルグループ内の最初のタイルのタイルアドレスを示し、0～NumTilesInPic-1の範囲の値である。同じピクチャに含まれるタイルグループのtile_group_addressは互いに異なる値である。num_tiles_in_tile_group_minus1+1はタイルグループ内のタイルの個数を示す。tile_group_typeはタイルグループの符号化タイプ（Iタイルグループ、Pタイルグループ、Bタイルグループ）を示す。entry_point()はエントリポイントのシンタックスであり、図12(b)に一例を示す。

パラメータ復号部302は、まずtile_group_pic_parameter_set_idを復号する。次に、タイルグループ内のタイルの個数NumTilesInPic が１より大きい場合に、tile_group_addressとnum_tiles_in_tile_group_minus1を復号する。そうでない（NumTilesInPic==1）場合は、tile_group_addressとnum_tiles_in_tile_group_minus1に各々０をセットする。次にtile_group_typeを復号する。

パラメータ復号部302は、タイルグループに複数のタイルが含まれる場合（num_tiles_in_tile_group_minus1>0）、offset_len_minus1とNumEntryPoint個のエントリポイントentry_point_offset_minus1[i]を復号する。セグメントがタイルの場合、NumEntryPointはnum_tiles_in_tile_group_minus1に設定される。タイルグループ内のタイルが１個の場合（num_tiles_in_tile_group_minus1=0）、パラメータ復号部302はエントリポイントを復号しない。

エントリポイントは符号化データ中のセグメントの先頭アドレス（例えば、対象セグメントが属するタイルグループヘッダの符号化データ上の開始点もしくは先行するセグメントの開始点をゼロ点とした、バイト単位のオフセット位置）であり、セグメントがタイルの場合は各タイルの先頭アドレスである。entry_point_offset_minus1[i]+1は、符号化データ中のi+1番目のエントリポイントとi番目のエントリポイントとの差分値であってもよい。0番目のエントリポイントはタイルグループヘッダの先頭アドレス（タイルグループヘッダ開始点の位置、すなわちゼロ点）であり、通知されない。offset_len_minus1+1はentry_point_offset_minus1[i]を表すビット数である。

対象セグメントが属するタイルグループヘッダの符号化データ上の開始点をゼロ点としたバイト単位のオフセット位置をfirstByte[k]、セグメント終端のバイト単位のオフセット位置をlastByte[k]と表現すると、entry_point_offset_minus1[i]から以下のように導
出できる。

firstByte[k] = Σ(entry_point_offset_minus1[n-1]+1)
Σはn=1からkまでの和を表す。

lastByte[k] = firstByte[k]+entry_point_offset_minus1[k]
以下、動画像復号装置31は、対象ピクチャに含まれる各CTUについて、S1300からS5000の処理を繰り返すことにより各CTUの復号画像を導出する。

（S1300：CTU情報復号）CT情報復号部3021は、符号化データからCTUを復号する。CT（Coding Tree）情報は符号化ツリーの分割情報を含む。

図12(c)は符号化タイルグループのタイルグループデータのシンタックスの一例である。タイルグループデータでは、タイルグループのCTUデータcoding_tree_unit()が符号化もしくは復号され、セグメント最後で固定値のセグメント終端ビットend_of_tile_one_bitが符号化もしくは復号される。

CT情報復号部3021は、セグメントがタイルの場合に、タイル終端（タイル右下）のCTUで、固定値のend_of_tile_one_bitを復号し、バイトアラインのためのビット列byte_alignment()を復号する。なお、byte_alignment()の復号は、iがnum_tiles_in_tile_group_minus1より小さい場合に限定しても良い。つまり、タイルグループ中の最後のセグメント（i==num_tiles_in_tile_group_minus1）では、その後にバイトアライメント用のトレイリングデータを復号するため、byte_alignment()の復号を省略できる。

CT情報復号部3021は、tileIdxにtile_group_addressをセットする。tileIdxはタイルの識別子、tile_group_addressはタイルグループ内の最初のタイルのタイルアドレスである。tileIdxを用いてタイルグループの各タイルを識別するため、CT情報復号部3021はタイルを処理する毎にtileIdxを１インクリメントする。

CT情報復号部3021は、tileIdxとFirstCtbAddrTs[]を用いて、タイル内のタイルスキャン順のCTUアドレスctbAddrTsを下式で導出する。タイルスキャンとは、タイル内で、タイルの左上から右下に順に処理を進めるスキャン方法である。

ctbAddrTs = FirstCtbAddrTs[tileIdx]
FirstCtbAddrTs[]はtileIdxをタイルの最初のCTUアドレスに変換するテーブルであり、下記のように導出される。

for (ctbAddrTs=0,tileIdx=0,tileStartFlag=1; ctbAddrTs<PicSizeInCtbsY; ctbAddrTs++) {
if (tileStartFlag) {
FirstCtbAddrTs[tileIdx] = ctbAddrTs
tileStartFlag = 0
}
tileEndFlag = (ctbAddrTs==PicSizeInCtbsY-1) || (TileId[ctbAddrTs+1]!=TileId[ctbAddrTs])
if(tileEndFlag) {
tileIdx++
tileStartFlag = 1
}
}
ここでTileId[]はタイルスキャン順のCTUアドレスをタイル識別子に変換するテーブルである。一例を以下に示す。

for (j=0,tileIdx=0; j<=num_tile_rows_minus1; j++)
for (i=0; i<=num_tile_columns_minus1; i++,tileIdx++)
for (y=RowBd[j]; y<RowBd[j+1]; y++)
for (x=ColBd[i]; x<ColBd[i+1]; x++)
TileId[CtbAddrRsToTs[y*PicWidthInCtbsY+x]] = TileIdx
ここでRowBD[]とColBD[]は各タイル行の垂直方向の最大座標と各タイル列の水平方向の最大座標を格納するテーブルであり、CTU単位で表現される。一例を以下に示す。

For (RowBd[0]=0,j=0; j<=num_tile_rows_minus1; j++)
RowBd[j+1] = RowBd[j]+RowHeight[j]
For (ColBd[0]=0,i=0; i<=num_tile_columns_minus1; i++)
ColBd[i+1] = ColBd[i]+ColWidth[i]
また、CtbAddrRsToTs[]はピクチャ内のラスタスキャン順のCTUアドレスをタイルスキャン順のCTUアドレスに変換するテーブルである。一例を以下に示す。

for (ctbAddrRs=0; ctbAddrRs<PicSizeInCtbsY; ctbAddrRs++) {
tbX = ctbAddrRs%PicWidthInCtbsY
tbY = ctbAddrRs/PicWidthInCtbsY
for(i=0; i<=num_tile_columns_minus1; i++)
if(tbX>=ColBd[i]) tileX = i
for(j=0; j<=num_tile_rows_minus1; j++)
if(tbY>=RowBd[j]) tileY = j
CtbAddrRsToTs[ctbAddrRs] = 0
for(i=0; i<tileX; i++)
CtbAddrRsToTs[ctbAddrRs] += RowHeight[tileY]*ColWidth[i]
for(j=0; j<tileY; j++)
CtbAddrRsToTs[ctbAddrRs] += PicWidthInCtbsY*RowHeight[j]
CtbAddrRsToTs[ctbAddrRs] += (tbY-RowBd[tileY])*ColWidth[tileX]+tbX-ColBd[tileX]
}
CT情報復号部3021は、ctbAddrTsとCtbAddrTsToRs[]を用いて、ラスタスキャン順のCTUアドレスctbAddrRsを下式で導出する。

ctbAddrRs = CtbAddrTsToRs[ctbAddrTs]
CtbAddrTsToRs[]はタイルスキャン順のCTUアドレスをラスタスキャン順のCTUアドレスに変換するテーブルであり、下記のように導出される。

for (ctbAddrRs=0; ctbAddrRs<PicSizeInCtbsY; ctbAddrRs++)
CtbAddrTsToRs[CtbAddrRsToTs[ctbAddrRs]] = ctbAddrRs
CT情報復号部3021はタイル内の各CTUをタイルスキャン順に復号し、全てのCTUの復号終了後、end_of_tile_one_bitを復号する。

（S1400：CT情報復号）CT情報復号部3021は、符号化データからCTを復号する。

（S1500：CU復号）CU復号部3022はS1510、S1520を実施して、符号化データからCUを復号する。

（S1510：CU情報復号）CU復号部3022は、符号化データからCU情報、予測情報、TU分割フラグsplit_transform_flag、CU残差フラグcbf_cb、cbf_cr、cbf_luma等を復号する。

（S1520：TU情報復号）TU復号部3024は、TUに予測誤差が含まれている場合に、符号化データからQP更新情報（量子化補正値）と量子化予測誤差（residual_coding）を復号する。なお、QP更新情報は、量子化パラメータQPの予測値である量子化パラメータ予測値qPpredからの差分値である。

（S2000：予測画像生成）予測画像生成部308は、対象CUに含まれる各ブロックについて、予測情報に基づいて予測画像を生成する。

（S3000：逆量子化・逆変換）逆量子化・逆変換部311は、対象CUに含まれる各TUについて、逆量子化・逆変換処理を実行する。

（S4000：復号画像生成）加算器312は、予測画像生成部308より供給される予測画像と、逆量子化・逆変換部311より供給される予測誤差とを加算することによって、対象CUの復号画像を生成する。

（S5000：ループフィルタ）ループフィルタ305は、復号画像にデブロッキングフィルタ、SAO、ALFなどのループフィルタをかけ、復号画像を生成する。

（変形例１）タイルグループ毎にタイルサイズを変更する例
上述の例では、ピクチャ単位（PPS）でタイルの幅と高さを規定したが、変形例１ではピクチャを分割するタイルグループ毎にフレキシブルにタイルサイズを設定する例を説明する。

図13はピクチャを４つのタイルグループTileGr0～TileGr3に分割し、さらにタイルグループをタイルに分割する例である。図6のタイル分割とは異なり、タイルグループ毎に異なるタイルの幅と高さを設定することが特徴である。図のTileの後の番号はタイルグループ内のタイルのアドレス（TileAddrInTG）である。図のタイルグル―プTileGr0はタイルTile0、Tile1、Tile2、Tile3を含む。TileGr1はTile4、Tile5を含む。TileGr2はTile6、Tile7、Tile8を含む。TileGr3はTile9を含む。

図14に変形例１のシンタックスの一例を示す。図に示すように、シンタックスは例えば、single_tile_group_in_pic_flag、num_tile_group_columns_minus1、num_tile_rows_group_minus1、tile_group_column_width_minus1[i]、tile_group_row_height_minus1[i]であってもよい。

ここで、single_tile_group_in_pic_flagはピクチャに複数のタイルグループがあるか否かを示すフラグで、１であればピクチャ内のタイルグループは１つであり、ピクチャはタイルグループに相当する。０であればピクチャに複数のタイルグループが含まれる。num_tile_group_columns_minus1、num_tile_group_rows_minus1は各々ピクチャ内の水平、垂直方向のタイルグループ数NumTileGrColumns、NumTileGrRowsから各々1を引いた値である。

次にタイルグループ毎にタイルのシンタックスが通知される。例えば、j番目のタイルグループ内の各タイルに対し、single_tile_in_pic_flag[j]、num_tile_columns_minus1[j]、num_tile_rows_minus1[j]、uniform_tile_spacing_flag[j]、tile_column_width_minus1[j][i]、tile_row_height_minus1[j][i]が通知される。各シンタックスの意味は図11(b)のシンタックスと同じである。

ヘッダ復号部3020はj番目のタイルグループの幅と高さ（CTU単位）を以下で導出する。

TileGrWidthInCtbsY[j] = Ceil((tile_group_column_width_minus1[j]+1)/ctuWidth)
TileGrHeightInCtbsY[j] = Ceil((tile_group_height_in_luma_samples[j]+1)/ctuHeight)
ヘッダ復号部3020は、ピクチャ内の水平、垂直方向のタイルグループ数NumTileGrColumns、NumTileGrRows、および、ピクチャ内のタイルグループの総数NumTileGrsInPicを以下で導出する。

NumTileGrColumns = num_tile_group_columns_minus1+1
NumTileGrRows = num_tile_group_rows_minus1+1
NumTilesGrsInPic = NumTileGrColumns*NumTileGrRows
ヘッダ復号部3020は、j番目のタイルグループ内の水平、垂直方向のタイル数NumTileColumns[j]、NumTileRows[j]、および、タイルグループ内のタイルの総数NumTilesInPic[j]を以下で導出する。

NumTileColumns[j] = num_tile_columns_minus1[j]+1
NumTileRows[j] = num_tile_rows_minus1[j]+1
NumTilesInPic[j] = NumTileColumns[j]*NumTileRows[j]
ヘッダ復号部3020はj番目のタイルグループの各タイルの幅ColWidth[j][m]、高さRowHeight[j][n]を下記のように復号する。

ColWidth[j][m] = tile_column_width_minus1[j][m]+1 (0<=m<NumTileColumns[j]-1)
RowHeight[j][n] = tile_row_height_minus1[j][m]+1 (0<=n<NumTileRows[j]-1)
ColWidth[j][NumTileColumns[j]-1] = TileGrWidthInCtbsY[j]-sum_m(ColWidth[j][m])
RowHeight[j][NumTileRows[j]-1] = TileGrHeightInCtbsY[j]-sum_n(RowHeight[j][n])
ここで、sum_m(ColWidth[j][m])は、ColWidth[j][m] (0<=m<NumTileColumns[j]-1)の総和、sum_n(RowHeight[j][n])はRowHeight[j][m] (0<=NumTileRows[j]<N-1)の総和を表す。

変形例１では、タイルグループヘッダ、タイルグループデータのシンタックスは図12(a)および図12(c)と同じであるが、タイルスキャン順のCTUアドレスをタイル識別子に変換するテーブルTileId[]の導出方法が異なる。変形例１におけるこのテーブルの導出方法を以下に示す。

for (k=0; k<NumTileGrRows; k++)
for (l=0; l<NumTileGrColumns; l++)
for (j=0,tileIdx=0; j<=num_tile_rows_minus1[k]; j++)
for(i=0; i<=num_tile_columns_minus1[l]; i++,tileIdx++)
for(y=RowBd[k][j]; y<RowBd[k][j+1]; y++)
for(x=ColBd[l][i]; x<ColBd[l][i+1]; x++)
TileId[CtbAddrRsToTs[y*PicWidthInCtbsY+x]] = TileIdx
それ以外のヘッダ復号部3020の処理は、上述のPPSでタイルの幅と高さを規定する例と同じである。

以上のように、タイルグループ毎にタイルの幅と高さを示すシンタックスを符号化もしくは復号することで、タイルグループ毎に異なるサイズのタイルを用いることができ、よ
りフレキシブルなタイル分割が可能になる。

（ウェーブフロント並列処理）
ウェーブフロント並列処理（WPP：Wavefront Pararrel Processing）は、CTU行をセグメントとして用いることにより、符号化効率の低下を抑えながら多数のセグメントの並列符号化もしくは並列復号を実現できる。以下、CTU行をセグメントとして用いる場合には、WPPを用いることとする。

（セグメントグループ内の排他構成）
図15は、タイルグループ（セグメントグループ）単位で、異なる種類のセグメントを利用する例を示す。この例では、TileGr0、TileGr1では、セグメントとしてタイルを用い、TileGr2ではセグメントとしてCTU行を用い、TileGr3ではセグメントとしてスライスを用いる例を示す。

以降の実施形態では、１つのセグメントグループ内（タイルグループ内）では、セグメントの種別を１つに制限し、タイル、CTU行、スライスを排他的に処理することを特徴とする。すなわち、１つのタイルグループ内（セグメントグループ）では、タイルセグメント（複数のタイルセグメント）、CTU行セグメント、スライスセグメントのいずれか１つのみを有効にすることができる。例えば、１つのタイルグループ内では、タイルとCTU行の何れか一方のみを有効にすることができる。上記でタイルを有効にするとは、タイルグループが2つ以上のタイルから構成されている場合（タイルグループを2つ上のタイルに分割する）を意味する。

（変形例２）セグメントがタイルとCTU行をとりうる場合の処理
変形例２ではセグメントはタイル、CTU行（CTU row）のいずれかであり、タイルグループ単位でタイルとCTUのいずれか一方を使用する場合を説明する。

図16は、タイルセグメントとCTU行セグメントの排他構成を説明する図である。

entropy_coding_sync_enabled_flagは、CTU行をセグメントとするか（WPPを実施するか）否かを示すフラグ（WPP有効フラグ）である。なお、CTU行をセグメントとする場合には、CABACの同期処理を行う。すなわち、CABACにおいて、1つ上のCTU行の2番目のCTUが終了した時点のCABAC状態を用いて、CTU行の先頭CTUのCABAC初期化を行う。図に示すように、num_tiles_in_tile_group_minus1が０より大きい場合に、つまりタイルが複数の場合にはentropy_coding_sync_enabled_flagは０のみをとる。この場合、複数タイルのみが有効になる。num_tiles_in_tile_group_minus1が０の場合、つまりタイルが１つの場合には、entropy_coding_sync_enabled_flagは１をとりうる。この場合、複数CTU行（ウェーブフロント）のみが有効になる。最後にnum_tiles_in_tile_group_minus1が０、かつ、entropy_coding_sync_enabled_flagは０の場合は、タイルグループ内のタイルが１個の場合である。後述するように、この場合はスライスをさらに有効としても良い。

上記、構成によって、１つのタイルグループ（セグメントグループ内）で、タイルとウェーブフロントのエントリポイントを共通化できるという効果を奏する。

また、あるタイルグループではタイル（複数タイル）を有効にし、別のタイルグループではウェーブフロントを有効にすることができる効果を奏する。

変形例２では、タイルとウェーブフロントの排他構成を実現するため、タイルグループ内のタイルの個数が１（タイルグループとタイルが同じ、つまり対象タイルグループでは複数タイルを有効にしない）の場合はentropy_coding_sync_enabled_flagフラグを通知す
ることによって、セグメントとしてCTU行を利用可能とし、そうでない（タイルグループが複数のタイルを含む）場合はセグメントとしてタイルを利用する。従って、図5のようにピクチャを４つのタイルグループに分割する場合、各タイルグループは図8(a)に示すように複数のタイルに分割される場合と、図8(b)に示すように複数のCTU行に分割される場合と、タイルグループが１つのタイルで構成される場合（タイルグループ内のタイルが１つの場合、かつ、CTU行で分割されない場合）がある。

タイルグループに含まれる、複数のタイルもしくは複数のCTU行を並列で符号化もしくは復号するために、タイルもしくはCTU行の先頭アドレス（エントリポイント）はタイルグループヘッダで符号化もしくは復号する。

図17を用いて、タイルとウェーブフロントの排他構成を備える構成のヘッダ符号化部1110及びヘッダ復号部3020の動作を説明する図である。図18(a)に本実施形態の符号化および復号するタイルグループヘッダのシンタックス構成を示す。

図のフローチャート及びシンタックス構成に示すように、ヘッダ符号化部1110もしくはヘッダ復号部3020は、num_tiles_in_tile_group_minus1が０（S3001でYES）の場合、すなわちタイルグループ内にタイルが１つの場合、entropy_coding_sync_enabled_flagを符号化もしくは復号する（S3002）。そうでない場合、entropy_coding_sync_enabled_flagを０（WPPオフ）にセットする。

if (num_tiles_in_tile_group_minus1 == 0)
entropy_coding_sync_enabled_flag
図18(b)は、エントリポイントのシンタックス構成を示す図である。図中TileGrHeightInCtbsYはタイルグループのCTU単位の高さであり、num_tiles_in_tile_group_minus1はタイルグループのタイル数から１を引いた値である。

ヘッダ符号化部1110もしくはヘッダ復号部3020は、エントリポイントの数NumEntryPointを導出する。タイルグループに含まれるセグメントがWPPを使用する場合（entropy_coding_sync_enabled_flag=1の場合）、タイルグループに含まれるCTU行の数-1（ここではTileGrHeightInCtbsY-1）をNumEntryPointにセットする。

NumEntryPoint = TileGrHeightInCtbsY-1
それ以外、タイルグループに含まれるタイル数-1（ここではnum_tiles_in_tile_group_minus1）をNumEntryPointにセットする。

NumEntryPoint＝num_tiles_in_tile_group_minus1
ヘッダ符号化部1110もしくはヘッダ復号部3020は、NumEntryPointが０より大きい場合にエントリポイントの情報（offset_len_minus1とNumEntryPoint個のentry_point_offset_minus1）を符号化もしくは復号する。

図18(c)は、タイルグループデータのシンタックス構成を示す図である。coding_tree_unit()はCTU行に含まれるCTUの符号化データである。end_of_subset_one_bitはセグメントの終端を示すフラグである。

CT情報符号化部1111もしくはCT情報復号部3021は、タイルグループ内のタイルを処理するループ処理（ループ変数i）において、さらにタイル内のCTUに関するループ処理（ループ変数j）において、対象CTU coding_tree_unit()を符号化もしくは復号する。

CT情報符号化部1111もしくはCT情報復号部3021は、ctbAddrTsとFirstCtbAddrTs[]を用
いてctbAddrInTileを下式で導出する。ctbAddrInTileはタイル内での現CTUのアドレス、ctbAddrTsは現CTUのタイルスキャン順のアドレス、FirstCtbAddrTs[]はタイルグループの最初のCTUのアドレスである。

ctbAddrInTile = ctbAddrTs-FirstCtbAddrTs[tile_group_address]
CT情報符号化部1111もしくはCT情報復号部3021は、WPPがオンの場合、CTU行の復号終了後にend_of_subset_one_bitを符号化もしくは復号する。end_of_subset_one_bitはCTU行の最後に挿入するビットである。CTU行の最後か否かは下式で判定する。

entropy_coding_sync_enabled_flag && (CtbAddrInTile+1)%TileWidthInCtbsY==0
つまり、CT情報復号部3021は、(entropy_coding_sync_enabled_flag && (CtbAddrInTile+1)%TileWidthInCtbsY==0)の場合、すなわち、entropy_coding_sync_enabled_flagが１の場合にCTU行右端で、CTU復号後に固定値のend_of_subset_one_bitを復号する。また、対象CTU coding_tree_unit()を符号化もしくは復号する前に、対象CTUがCTU行の先頭（左端）である場合に、セグメント（ここではCTU行）の最後を示すビット列を復号することでも同じ処理ができる。

CT情報符号化部1111もしくはCT情報復号部3021は、j==NumCtusInTile[tileIdx]-1の場合、すなわち、タイルグループ内の最後のCTUで、固定値のend_of_subset_one_bitを符号化もしくは復号する。

さらに、CT情報符号化部1111もしくはCT情報復号部3021は、タイルグループの最後のセグメント以外（直後にトレイリングデータを符号化する場合以外）では、end_of_subset_one_bitの後にバイトアライメントのビット列を復号する。なお、j<NumCtusInTile[tileIdx]-1は、セグメント内の最後のCTU以外であり、i<num_tiles_in_tile_group_minus1は最後のセグメント以外であり、両者の和集合によって、タイルグループの最後のセグメント以外のCTUを判定できる。

以上のように、タイルグループ単位でタイルとCTU行のいずれか一方を使用することで、１つのタイルグループの中で並列処理機能をもつ複数の処理を排他的に実行することができるので、符号化効率がよい。また、タイルとCTU行に関しエントリポイントを共通に用いることができ、タイルグループ毎にエントリポイントがタイルの先頭アドレスとCTU行の先頭アドレスとのいずれを指しているのかが既知であるので、処理が簡単である。

図19は、本実施形態の符号化および復号するタイルグループヘッダのシンタックス構成の別の例である。図に示すように、entropy_coding_sync_enabled_flagを先に符号化、復号し、entropy_coding_sync_enabled_flagが０、すなわちWPPがオフの場合に、num_tiles_in_tile_group_minus1を通知してもよい。この場合、ヘッダ符号化部1110及びヘッダ復号部3020はentropy_coding_sync_enabled_flagを符号化もしくは復号し、NumTilesInPicが１より大きく、かつ、entropy_coding_sync_enabled_flagが０の場合にnum_tiles_in_tile_group_minus1を符号化もしくは復号する。そうでない（NumTilesInPicが１以下、あるいは、entropy_coding_sync_enabled_flagが１）場合、ヘッダ符号化部1110及びヘッダ復号部3020はnum_tiles_in_tile_group_minus1に０をセットする。

（変形例３）セグメントがタイルとスライスをとりうる場合の処理
変形例３ではタイルグループ内のセグメントとして、タイル、スライスのいずれか一方を排他的に使用する場合を説明する。

図20は、タイルセグメントとスライスセグメントの排他構成を説明する図である。

slice_enabled_flagは、スライスをセグメントとするか（スライスを使用するか）否かを示すフラグである。なお、スライス先頭でCABACを初期化する。図に示すように、num_tiles_in_tile_group_minus1が０より大きい場合に、つまりタイルが複数の場合にはslice_enabled_flagは０のみをとる。この場合、複数タイルのみが有効になる。num_tiles_in_tile_group_minus1が０の場合、つまりタイルが１つの場合には、slice_enabled_flagは１をとりうる。この場合、スライスのみが有効になる。最後にnum_tiles_in_tile_group_minus1が０、かつ、entropy_coding_sync_enabled_flagは０の場合には、タイルグループ内のタイルが１個の場合である。この場合は、WPPを有効としても良い。

変形例３では、タイルグループ内のタイルの個数が１（タイルグループとタイルが同じ）の場合はセグメントとしてスライスを利用可能とし、そうでない（タイルグループが複数のタイルを含む）場合はセグメントにタイルを利用する。例えば、図5のようにピクチャを４つのタイルグループに分割した場合、各タイルグループは図8(a)に示すように複数のタイルに分割する場合と、図8(c)に示すように複数のスライスに分割する場合がある。また、１つのタイルに分割する場合があってもよい。つまり、タイルグループ内のタイルが１つの場合、かつ、CTU行で分割されない場合は、タイルグループは１つのタイルを含む。

スライスでは、CTUの符号化データの最後に、セグメントの最後であるか否かを示すスライス終端フラグend_of_slice_segment_flagを通知することにより、CTU単位の任意の位置でセグメントを終了することができる。このようなCTU単位で大きさを可変にできるセグメントをスライスセグメントと呼ぶ。例えば指定したビット量以内でセグメントの区切りを設けたい場合にスライスが利用される。さらに、スライスの並列復号を目的として、スライスの先頭にマーカ（ユニークコード、start code）を挿入する構成としてもよい。マーカを用いることで、動画像復号装置は各スライスのビットストリーム上での先頭位置を検索し位置を同定することができる。なお、スライスの先頭にマーカを挿入する構成においては、スライスを挿入する度（つまり、end_of_slice_segment_flagが1である場合に）、タイルグループを終了する構成にしてもよい。この構成では、タイルグループに１つのスライスを含むため、タイルグループヘッダがスライスの先頭に常に付加されマーカの役割を果たす。

マーカによってスライス先頭を符号化もしくは復号する場合、スライスの前にユニークなコード、例えば"0x00000100"（32bit）を挿入し、動画像復号装置はあらかじめ符号化データを復号することによって、符号化データ中のスライス先頭を探索してもよい。

タイル、スライスを並列処理するために、タイルの先頭アドレス（エントリポイント）はタイルグループヘッダで通知してもよい。図21(a)にタイルグループヘッダの一例を示す。図21ではslice_enabled_flagを通知する。slice_enabled_flagはスライス分割するか否かを示すフラグである。

ヘッダ符号化部1110及びヘッダ復号部3020は、num_tiles_in_tile_group_minus1が０の場合、すなわちタイルグループ内にタイルが１つの場合、slice_enabled_flagとnum_slices_in_tile_minus1を符号化もしくは復号する。そうでない場合、slice_enabled_flagを０（スライスオフ）にセットする。

なお、num_slices_in_tile_minus1をタイルグループヘッダで通知しない構成であってもよい。

タイル数num_tiles_in_tile_group_minus1、スライス有効フラグslice_enabled_flagの符号化、復号順は上記に限定されない。以下のように処理してもよい。

（スライス、タイル）
スライス有効フラグslice_enabled_flag、タイル数num_tiles_in_tile_group_minus1、の順に通知する場合、以下の処理を行う。ヘッダ符号化部1110及びヘッダ復号部3020は、タイルグループヘッダでslice_enabled_flagを符号化もしくは復号する。slice_enabled_flagが０の場合にnum_tiles_in_tile_group_minus1を符号化もしくは復号する。num_tiles_in_tile_group_minus1、slice_enabled_flagを復号しない場合には各々０に設定する。

ヘッダ符号化部1110及びヘッダ復号部3020は、NumEntryPointを導出する。NumEntryPointはエントリポイントの数であり、タイルを使用する場合はnum_tiles_in_tile_group_minus1をセットする。ヘッダ符号化部1110及びヘッダ復号部3020は、NumEntryPointが０より大きい場合にエントリポイントの情報（offset_len_minus1とNumEntryPoint個のentry_point_offset_minus1）を符号化もしくは復号する
CT情報復号部3021はスライスがオンの場合、１CTUの復号終了後にend_of_slice_segment_flagを復号する。end_of_slice_segment_flagはCTU行の最後に挿入するビットである。

図21(c)は符号化タイルグループのタイルグループデータのシンタックスの一例である。図は１CTUの復号終了後にend_of_slice_segment_flagを符号化もしくは復号する構成を示す。end_of_slice_segment_flagはスライスの最後か否かを示すフラグであり、１であればスライスの最後、そうでなければスライスの最後ではない。

以上のように、タイルグループ単位でタイルとスライスのいずれか一方を使用することで、１つのタイルグループの中で並列処理機能をもつ複数の処理を排他的に実行することができ、効率がよい。

（変形例４）スライスでエントリポイントを用いる場合の処理
以下の例では、スライスの先頭アドレスをエントリポイントとして符号化もしくは復号することによりビットストリーム上でのスライスの先頭位置を指定する構成を示す。

タイル、スライスを並列処理するために、タイルとスライスの先頭アドレス（エントリポイント）はタイルグループヘッダで通知する。図21(a)に示すタイルグループヘッダの一例において、slice_enabled_flagの後にnum_slices_in_tile_minus1を通知してもよい。num_slices_in_tile_minus1はタイル内のスライスの個数から１を引いた値である。

また、エントリポイントのシンタックスを図21(b)に示す。図21(c)は、NumEntryPointの導出にslice_enabled_flagとnum_slices_in_tile_minus1を用いる構成を示す。

ヘッダ復号部3020は、num_tiles_in_tile_group_minus1が０の場合、すなわちタイルグループ内にタイルが１つの場合、slice_enabled_flagとnum_slices_in_tile_minus1を復号する。そうでない場合、slice_enabled_flagを０（スライスオフ）にセットする。

ヘッダ復号部3020は、NumEntryPointを導出する。NumEntryPointはエントリポイントの数であり、スライスを使用する場合はnum_slices_in_tile_minus1をセットし、タイルを使用する場合はnum_tiles_in_tile_group_minus1をセットする。ヘッダ復号部3020は、NumEntryPointが０より大きい場合にエントリポイントの情報（offset_len_minus1とNumEntryPoint個のentry_point_offset_minus1）を復号する
上記以外の処理は変形例２と同じである。

次に、タイルグループデータについて説明する。

図21(c)は符号化タイルグループのタイルグループデータのシンタックスの一例である。図21(c)は１CTUの復号終了後にend_of_slice_segment_flagを符号化もしくは復号する構成を示す。end_of_slice_segment_flagはスライスの最後か否かを示すフラグ（ビット）であり、１であればスライスの最後、そうでなければスライスの最後ではない。

CT情報復号部3021はスライスがオンの場合、１CTUの復号終了後にend_of_slice_segment_flagを復号する。

以上のように、タイルグループ単位でタイルとスライスのいずれか一方を使用することで、１つのタイルグループの中で並列処理機能をもつ複数の処理を排他的に実行することができ、効率がよい。また、タイルとスライスに関しエントリポイントを共通に用いることができ、タイルグループ毎にエントリポイントがタイルの先頭アドレスとスライスの先頭アドレスとのいずれを指しているのかが既知であるので、処理が簡単である。あるいはエントリポイントを使わずスライスの先頭を一意なマーカで通知してもよい。

（変形例５）タイル、CTU行、スライスを用いたセグメント
変形例５では、タイル、CTU行、スライスを排他的に設定する例を説明する。図22は、タイルセグメントとCTU行セグメントとスライスセグメントの排他構成を説明する図である。図に示すように、変形例５では、タイルグループ内に、複数のタイルセグメントがある場合、CTU行セグメントがある場合、スライスセグメントがある場合、および、タイルグループ内に単一のセグメント（ここではタイルと呼ぶ）がある場合のいずれかをとる。

より具体的ににはタイルグループ内に複数のタイルが含まれる時はタイルを用い、タイルグループが１つのタイルからなる時はCTU行あるいはスライスを用いる構成でもよい。タイルグループが１つのタイルからなり、CTU行もスライスも用いられない場合、タイルグループは１つのタイルとして設定する。

（タイル数、WPP有効フラグ、スライス有効フラグの順に通知する構成）
図23(a)はタイルグループヘッダの一例である。図では、タイルの個数が１の場合にentropy_coding_sync_enabled_flagを通知し、entropy_coding_sync_enabled_flagが０（WPPオフ）の場合はslice_enabled_flagを符号化もしくは復号する。

ヘッダ符号化部1110及びヘッダ復号部3020は、num_tiles_in_tile_group_minus1が０の場合にentropy_coding_sync_enabled_flagを符号化もしくは復号する。次にentropy_coding_sync_enabled_flagが０の場合にslice_enabled_flagを符号化もしくは復号する。num_tiles_in_tile_group_minus1が０でない場合はentropy_coding_sync_enabled_flagとslice_enabled_flagを０に設定する。num_tiles_in_tile_group_minus1が０、かつ、entropy_coding_sync_enabled_flagが０以外の場合、slice_enabled_flagを０に設定する。

これら以外の処理はセグメントがタイルのみの例と同じである。

図23(b)は符号化タイルグループのタイルグループデータのシンタックスの一例である。図に示すように本実施形態では、セグメントがタイルの場合及びCTU行（ウェーブフロント）の場合には、セグメントの最後に必ず１であるend_of_subset_one_bitを符号化もしくは復号し、セグメントがスライスの場合には、CTUがセグメントの終端であるか否かを示す０と１をとりうるend_of_slice_segment_flagを符号化もしくは復号する。end_of_subset_one_bitを符号化もしくは復号する方法は図18(c)で既に説明したとおりであるので説明を省略する。また、end_of_slice_segment_flagを符号化もしくは復号する方法は、図21(c)で既に説明したとおりであるので説明を省略する。

以上のように、タイルグループ単位でタイル、CTU行、スライスを排他的に使用することでセグメントの符号化復号処理を簡略化することができる。またセグメントの開始点および終端が明確になる効果を奏する。例えば、スライス先頭かつタイルの先頭かつCTU行の先頭でもある、というような混乱がなくなる。

タイル数num_tiles_in_tile_group_minus1、WPP有効フラグentropy_coding_sync_enabled_flag、スライス有効フラグslice_enabled_flagの符号化、復号順は上記に限定されない。以下のように処理してもよい。

（タイル、スライス、WPP）
num_tiles_in_tile_group_minus1、slice_enabled_flag、entropy_coding_sync_enabled_flagの順に通知する場合、以下の処理を行う。ヘッダ符号化部1110及びヘッダ復号部3020は、num_tiles_in_tile_group_minus1を符号化もしくは復号する。num_tiles_in_tile_group_minus1が０の場合にslice_enabled_flagを符号化もしくは復号する。次にslice_enabled_flagが０の場合にentropy_coding_sync_enabled_flagを符号化もしくは復号する。num_tiles_in_tile_group_minus1、entropy_coding_sync_enabled_flag、slice_enabled_flagを復号しない場合には各々０に設定する。

（WPP、タイル、スライス）
entropy_coding_sync_enabled_flag、num_tiles_in_tile_group_minus1、slice_enabled_flagの順に通知する場合、以下の処理を行う。ヘッダ符号化部1110及びヘッダ復号部3020は、タイルグループヘッダでentropy_coding_sync_enabled_flagを符号化もしくは復号する。entropy_coding_sync_enabled_flagが０の場合にnum_tiles_in_tile_group_minus1を符号化もしくは復号する。次にnum_tiles_in_tile_group_minus1が０の場合にslice_enabled_flagを符号化もしくは復号する。num_tiles_in_tile_group_minus1、entropy_coding_sync_enabled_flag、slice_enabled_flagを復号しない場合には各々０に設定する。

（WPP、スライス、タイル）
entropy_coding_sync_enabled_flag、slice_enabled_flag、num_tiles_in_tile_group_minus1の順に通知する場合、以下の処理を行う。ヘッダ符号化部1110及びヘッダ復号部3020は、タイルグループヘッダでentropy_coding_sync_enabled_flagを符号化もしくは復号する。entropy_coding_sync_enabled_flagが０の場合にslice_enabled_flagを符号化もしくは復号する。次にslice_enabled_flagが０の場合にnum_tiles_in_tile_group_minus1を符号化もしくは復号する。num_tiles_in_tile_group_minus1、entropy_coding_sync_enabled_flag、slice_enabled_flagを復号しない場合には各々０に設定する。

（スライス、タイル、WPP）
slice_enabled_flag、num_tiles_in_tile_group_minus1、entropy_coding_sync_enabled_flagの順に通知する場合、以下の処理を行う。ヘッダ符号化部1110及びヘッダ復号部3020は、タイルグループヘッダでslice_enabled_flagを符号化もしくは復号する。slice_enabled_flagが０の場合にnum_tiles_in_tile_group_minus1を符号化もしくは復号する。次にnum_tiles_in_tile_group_minus1が０の場合にentropy_coding_sync_enabled_flagを符号化もしくは復号する。num_tiles_in_tile_group_minus1、entropy_coding_sync_enabled_flag、slice_enabled_flagを復号しない場合には各々０に設定する。

（スライス、WPP、タイル）
slice_enabled_flag、entropy_coding_sync_enabled_flag、num_tiles_in_tile_group_minus1の順に通知する場合、以下の処理を行う。ヘッダ符号化部1110及びヘッダ復号部3020は、タイルグループヘッダでslice_enabled_flagを符号化もしくは復号する。slice_enabled_flagが０の場合にentropy_coding_sync_enabled_flagを符号化もしくは復号する。
次にentropy_coding_sync_enabled_flagが０の場合にnum_tiles_in_tile_group_minus1を符号化もしくは復号する。num_tiles_in_tile_group_minus1、entropy_coding_sync_enabled_flag、slice_enabled_flagを復号しない場合には各々０に設定する。

エントロピー復号部301は、インター予測パラメータをインター予測パラメータ復号部303に出力する。また、イントラ予測パラメータをイントラ予測パラメータ復号部304に出力する。また、量子化変換係数を逆量子化・逆変換部311に出力する。

エントロピー復号部301は、CABAC初期化部3011、CABAC復号部3012、初期化テーブル3013、空間予測格納部3015（空間予測テーブル3016を含む）を備える。空間予測格納部3015は、内部の空間予測テーブル3016にCABAC状態を格納する。格納されたCABAC状態は、対象ピクチャの後続のセグメントなど、対象セグメント以外のセグメントの復号時に参照されCABAC状態の初期化に利用される。CABAC復号部3012は、内部に備えたCABAC状態に応じて、符号化データ（ビットストリーム）からシンタックスを復号する。

エントロピー復号部301は、セグメント先頭でCABAC初期化部3011を用いてCABAC状態を初期化する。CABAC状態とは、例えば、コンテキスト単位の確率の状態を示すStateIdx、０と１のどちらが高確率かを示すMpsVal、係数StatCoeffなどである。コンテキストはシンタックスを構成するバイナリ列（０と１からなる列）の要素ごとに定められている。CABAC(Context-adaptive binary arithmetic coding)とは、コンテキストごとに０か１に符号化される確率を推定し、その確率に基づいてバイナリを符号化することで効率的に符号化できる。このとき、確率StateIdxの初期値（及び高い確率のバイナリMps）を設定する必要があり、これをCABAC初期化と呼ぶ。TableStateIdx、TableMpsVal、TableStatCoeffは、StateIdx、MpsVal、StatCoeffから構成されるテーブルである。

上記CABAC初期化部3011は、セグメントがタイルの場合には、矩形のタイルの左上CTUを復号開始時点（タイルの境界時点）として、初期化テーブルを用いてCABAC状態の初期化を行う。セグメントがCTU行の場合（entropy_coding_sync_enabled_flagが１、WPPの場合）には、CTU行の左端で、空間予測格納部3015に格納されたCABAC状態を用いて初期化する。WPPの場合には、各CTU行の2つ目のCTUのCABAC状態を空間予測格納部3015に格納し、後続のセグメントで利用する。セグメントがスライスの場合（slice_enabled_flagが１）には、初期化テーブルを用いてCABAC状態の初期化を行ってもよい。ここでタイル境界の判定は、隣接するCTUのタイルの識別子が異なるかどうか（TileId[CtbAddrTs]!=TileId[CtbAddrTs-1]）を用いてもよい。ここで、CTU行の左端の判定は、（CtbAddrInTile%TileWidthInCtbsY==0）でもよい。また、スライス先頭の判定は、CTUアドレスCtbAddrRsが、スライス先頭のCTUアドレスと一致するか(CtbAddrRs==slice_segment_address)でもよい。

ループフィルタ305は、符号化ループ内に設けたフィルタで、ブロック歪やリンギング歪を除去し、画質を改善するフィルタである。ループフィルタ305は、加算部312が生成したCUの復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット（SAO）、適応ループフィルタ（ALF）等のフィルタを施す。

参照ピクチャメモリ306は、加算部312が生成したCUの復号画像を、対象ピクチャ及び対象CU毎に予め定めた位置に記憶する。

予測パラメータメモリ307は、復号対象のCTUあるいはCU毎に予め定めた位置に予測パラメータを記憶する。具体的には、予測パラメータメモリ307は、パラメータ復号部302が復号したパラメータ及びエントロピー復号部301が分離した予測モードpredMode等を記憶する。

予測画像生成部308には、予測モードpredMode、予測パラメータ等が入力される。また、予測画像生成部308は、参照ピクチャメモリ306から参照ピクチャを読み出す。予測画像生成部308は、予測モードpredModeが示す予測モードで、予測パラメータと読み出した参照ピクチャ（参照ピクチャブロック）を用いてブロックもしくはサブブロックの予測画像を生成する。ここで、参照ピクチャブロックとは、参照ピクチャ上の画素の集合（通常矩形であるのでブロックと呼ぶ）であり、予測画像を生成するために参照する領域である。

逆量子化・逆変換部311は、エントロピー復号部301から入力された量子化変換係数を逆量子化して変換係数を求める。この量子化変換係数は、符号化処理において、予測誤差に対してDCT（Discrete Cosine Transform、離散コサイン変換）等の周波数変換を行い量子化して得られる係数である。逆量子化・逆変換部311は、求めた変換係数について逆DCT等の逆周波数変換を行い、予測誤差を算出する。逆量子化・逆変換部311は予測誤差を加算部312に出力する。

加算部312は、予測画像生成部308から入力されたブロックの予測画像と逆量子化・逆変換部311から入力された予測誤差を画素毎に加算して、ブロックの復号画像を生成する。加算部312はブロックの復号画像を参照ピクチャメモリ306に記憶し、また、ループフィルタ305に出力する。

（動画像符号化装置の構成）
次に、本実施形態に係る動画像符号化装置11の構成について説明する。図24は、本実施形態に係る動画像符号化装置11の構成を示すブロック図である。動画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ109、符号化パラメータ決定部110、パラメータ符号化部111、エントロピー符号化部104を含んで構成される。

予測画像生成部101は画像Ｔの各ピクチャを分割した領域であるCU毎に予測画像を生成する。予測画像生成部101は既に説明した予測画像生成部308と同じ動作である。

減算部102は、予測画像生成部101から入力されたブロックの予測画像の画素値を、画像Ｔの画素値から減算して予測誤差を生成する。減算部102は予測誤差を変換・量子化部103に出力する。

変換・量子化部103は、減算部102から入力された予測誤差に対し、周波数変換によって変換係数を算出し、量子化によって量子化変換係数を導出する。変換・量子化部103は、量子化変換係数をエントロピー符号化部104及び逆量子化・逆変換部105に出力する。

逆量子化・逆変換部105は、動画像復号装置31における逆量子化・逆変換部311（図9）と同じである。算出した予測誤差は加算部106に出力される。

パラメータ符号化部111は、ヘッダ符号化部1110、CT情報符号化部1111、CU符号化部1112（予測モード符号化部）、エントロピー符号化部104、および図示しないインター予測パラメータ符号化部112とイントラ予測パラメータ符号化部113を備えている。CU符号化部1112はさらにTU符号化部1114を備えている。

以下、各モジュールの概略動作を説明する。パラメータ符号化部111はヘッダ情報、分割情報、予測情報、量子化変換係数等のパラメータの符号化処理を行う。

CT情報符号化部1111は、QT、MT（BT、TT）分割情報等を符号化する。

CU符号化部1112はCU情報、予測情報、TU分割フラグ、CU残差フラグ等を符号化する。

TU符号化部1114は、TUに予測誤差が含まれている場合に、QP更新情報（量子化補正値）と量子化予測誤差（residual_coding）を符号化する。

エントロピー符号化部104は、供給元から供給されるシンタックス要素をバイナリデータに変換し、CABAC等のエントロピー符号化方式により符号化データを生成し、出力する。図24に示す例では、シンタックス要素の供給元は、CT情報符号化部1111、CU符号化部1112である。

加算部106は、予測画像生成部101から入力されたブロックの予測画像の画素値と逆量子化・逆変換部105から入力された予測誤差を画素毎に加算して復号画像を生成する。加算部106は生成した復号画像を参照ピクチャメモリ109に記憶する。

ループフィルタ107は加算部106が生成した復号画像に対し、デブロッキングフィルタ、SAO、ALFを施す。なお、ループフィルタ107は、必ずしも上記３種類のフィルタを含まなくてもよい。

予測パラメータメモリ108は、符号化パラメータ決定部110が生成した予測パラメータを、対象ピクチャ及びCU毎に予め定めた位置に記憶する。

参照ピクチャメモリ109は、ループフィルタ107が生成した復号画像を対象ピクチャ及びCU毎に予め定めた位置に記憶する。

符号化パラメータ決定部110は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述したQT、BTあるいはTT分割情報、予測パラメータ、あるいはこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部101は、これらの符号化パラメータを用いて予測画像を生成する。

符号化パラメータ決定部110は、複数のセットの各々について情報量の大きさと符号化誤差を示すRDコスト値を算出し、コスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部104は、選択した符号化パラメータのセットを符号化ストリームTeとして出力する。符号化パラメータ決定部110は決定した符号化パラメータを予測パラメータメモリ108に記憶する。

なお、上述した実施形態における動画像符号化装置11、動画像復号装置31の一部、例えば、エントロピー復号部301、パラメータ復号部302、ループフィルタ305、予測画像生成部308、逆量子化・逆変換部311、加算部312、予測画像生成部101、減算部102、変換・量子化部103、エントロピー符号化部104、逆量子化・逆変換部105、ループフィルタ107、符号化パラメータ決定部110、パラメータ符号化部111をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、動画像符号化装置11、動画像復号装置31のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントと
なるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した実施形態における動画像符号化装置11、動画像復号装置31の一部、または全部を、LSI（Large Scale Integration）等の集積回路として実現しても良い。動画像符号化装置11、動画像復号装置31の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

本発明の一態様に係る動画像復号装置において、上記ヘッダ復号部は、対象タイルグループのタイル数が１の場合にWPP有効フラグを復号し、上記対象タイルグループのタイル数が２以上の場合に、WPP有効フラグを復号せずに０を設定し、CT情報復号部は、WPP有効フラグが１の場合に、CTU行右端のCTUを復号後に固定値のセグメント終端ビットを復号することを特徴とする。

本発明の一態様に係る動画像復号装置において、上記ヘッダ復号部は、対象タイルグループのWPP有効フラグが０の場合にタイル数を復号し、上記対象タイルグループのWPP有効フラグが１の場合にタイル数を復号せずにタイル数を１に設定し、CT情報復号部は、WPP有効フラグが１の場合に、CTU行右端のCTUを復号後に固定値のセグメント終端ビットを復号することを特徴とする。

本発明の一態様に係る動画像復号装置において、上記ヘッダ復号部は、対象タイルグループのタイル数が１の場合にスライス有効フラグを復号し、上記対象タイルグループのタイル数が２以上の場合に、スライス有効フラグを復号せずに０を設定し、CT情報復号部は、スライス有効フラグが１の場合に、CTU復号後にスライス終端フラグを復号することを特徴とする。

本発明の一態様に係る動画像復号装置において、上記ヘッダ復号部は、対象タイルグループのスライス有効フラグが０の場合にタイル数を復号し、上記対象タイルグループのスライス終端フラグが１の場合にタイル数を復号せずに１を設定し、CT情報復号部は、スライス有効フラグが１の場合に、CTU復号後にスライス終端フラグを復号することを特徴とする。

本発明の一態様に係る動画像復号装置において、上記ヘッダ復号部は、対象タイルグループのタイル数が１の場合にWPP有効フラグを復号し、上記対象タイルグループのタイル数が２以上の場合に、WPP有効フラグを復号せずに０を設定し、さらに上記WPP有効フラグが０の場合に、スライス有効フラグを復号し、WPP有効フラグが１の場合に、スライス終端フラグを復号せずに０を設定し、CT情報復号部は、スライス有効フラグが１の場合に、CTU復号後にスライス終端フラグを復号することを特徴とする。

本発明の一態様に係る動画像復号装置において、上記ヘッダ復号部は、対象タイルグループのWPP有効フラグが０の場合にタイル数を復号し、上記対象タイルグループのWPP有効フラグが１の場合にタイル数を復号せずに１を設定し、さらに上記タイル数が１の場合にスライス有効フラグを復号し、タイル数が２以上の場合に、スライス有効フラグを復号せずに０を設定し、CT情報復号部は、スライス有効フラグが１の場合に、CTU復号後にスライス終了フラグを復号することを特徴とする。

〔応用例〕
上述した動画像符号化装置11及び動画像復号装置31は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（CGおよびGUIを含む）であってもよい。

まず、上述した動画像符号化装置11及び動画像復号装置31を、動画像の送信及び受信に利用できることを、図2を参照して説明する。

図2(a)は、動画像符号化装置11を搭載した送信装置PROD_Aの構成を示したブロック図である。図2(a)に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した動画像符号化装置11は、この符号化部PROD_A1として利用される。

送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図2(a)においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。

図2(b)は、動画像復号装置31を搭載した受信装置PROD_Bの構成を示したブロック図である。図2(b)に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した動画像復号装置31は、この復号部PROD_B3として利用される。

受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示す
るディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図2(b)においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。

また、インターネットを用いたVOD（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置PROD_A／受信装置PROD_Bの一例である（通常、ＬＡＮにおいては伝送媒体として無線または有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。

次に、上述した動画像符号化装置11及び動画像復号装置31を、動画像の記録及び再生に利用できることを、図3を参照して説明する。

図3(a)は、上述した動画像符号化装置11を搭載した記録装置PROD_Cの構成を示したブロック図である。図3(a)に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した動画像符号化装置11は、この符号化部PROD_C1として利用される。

なお、記録媒体PROD_Mは、（１）HDD（Hard Disk Drive）やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSB（Universal Serial Bus）フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、（３）DVD（Digital Versatile Disc:登録商標）やBD（Blu-ray Disc:登録商標）などのように、記録装置PROD_Cに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部PROD_C6を更に備えていてもよい。図3(a)においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。

なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子PROD_C4または受信部PROD_C5が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラPROD_C3が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部PROD_C5または画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラPROD_C3または受信部PROD_C5が動画像の主な供給源となる）なども、このような記録装置PROD_Cの一例である。

図3(B)は、上述した動画像復号装置31を搭載した再生装置PROD_Dの構成を示したブロックである。図3(b)に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した動画像復号装置31は、この復号部PROD_D2として利用される。

なお、記録媒体PROD_Mは、（１）HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、（３）DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図3(b)においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。

なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイPROD_D3が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）、デスクトップ型PC（この場合、出力端子PROD_D4または送信部PROD_D5が動画像の主な供給先となる）、ラップトップ型またはタブレット型PC（この場合、ディスプレイPROD_D3または送
信部PROD_D5が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）なども、このような再生装置PROD_Dの一例である。

（ハードウェア的実現およびソフトウェア的実現）
また、上述した動画像復号装置31および動画像符号化装置11の各ブロックは、集積回路（ICチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、CPU（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM（Read Only Memory）、上記プログラムを展開するRAM（Random
Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはCPUやMPU）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやCD-ROM（Compact Disc Read-Only Memory）／MOディスク（Magneto-Optical disc）／MD（Mini Disc）／DVD（Digital Versatile Disc）／CD-R（CD Recordable）／ブルーレイディスク（Blu-ray Disc：登録商標）等の光ディスクを含むディスク類、ICカード（メモリカードを含む）／光カード等のカード類、マスクROM／EPROM（Erasable Programmable Read-Only Memory）／EEPROM（Electrically Erasable and Programmable Read-Only Memory：登録商標）／フラッシュROM等の半導体メモリ類、あるいはPLD（Programmable logic device）やFPGA（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN（Local Area Network）、ISDN（Integrated Services Digital Network）、VAN（Value-Added Network）、CATV（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE（Institute of Electrical and Electronic Engineers）1394、USB、電力線搬送、ケーブルＴＶ回線、電話線、ADSL（Asymmetric Digital Subscriber Line）回線等の有線でも、IrDA（Infrared Data Association）やリモコンのような赤外線、BlueTooth（登録商標）、IEEE802.11無線、HDR（High Data Rate）、NFC（Near Field Communication）、DLNA（Digital Living Network Alliance：登録商標）、携帯電話網、衛星回線、地上デジタル放送網等の無線でも利用可能である。なお、本発明の実施形態は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明の実施形態は、画像データが符号化された符号化データを復号する動画像復号装置、および、画像データが符号化された符号化データを生成する動画像符号化装置に好適に適用することができる。また、動画像符号化装置によって生成され、動画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。

１１動画像符号化装置
３１動画像復号装置
１０１、３０８予測画像生成部
１０４エントロビー符号化部（符号化部）
１０７、３０５ループフィルタ
１１１パラメータ符号化部
３０１エントロピー復号部
３０２パラメータ復号部（分割部）
３０２０ヘッダ復号部
３０２１ CT情報復号部
３０２２ CU復号部
１０４エントロピー符号化部
１１１０ヘッダ符号化部
１１１１ CT情報符号化部
１１１２ CU符号化部

Claims

ピクチャを１つ以上の矩形領域に分割したタイルグループであって、１つ以上のセグメントから構成されるタイルグループの符号化データを復号する動画像復号装置において、
対象タイルグループ内のセグメントが矩形のタイル、１CTU高さのCTU行、CTU単位のスライスの何れかあるかを示す対象タイルグループ内のタイル数、WPP有効フラグ、スライス有効フラグをタイルグループヘッダから復号するヘッダ復号部を備え、
上記ヘッダ復号部は、１つのタイルグループ内で、タイル数が２つ以上、WPP有効フラグが１、スライス有効フラグが１のいずれかのみを復号することを特徴とする動画像復号装置。
上記ヘッダ復号部は、対象タイルグループのタイル数が１の場合にWPP有効フラグを復号し、上記対象タイルグループのタイル数が２以上の場合に、WPP有効フラグを復号せずに０を設定し、
CT情報復号部は、WPP有効フラグが１の場合に、CTU行右端のCTUを復号後に固定値のセグメント終端ビットを復号することを特徴とする請求項１に記載の動画像復号装置。
上記ヘッダ復号部は、対象タイルグループのWPP有効フラグが０の場合にタイル数を復号し、上記対象タイルグループのWPP有効フラグが１の場合にタイル数を復号せずに１を設定し、
CT情報復号部は、WPP有効フラグが１の場合に、CTU行右端のCTUを復号後に固定値のセグメント終端ビットを復号することを特徴とする請求項１に記載の動画像復号装置。
上記ヘッダ復号部は、対象タイルグループのタイル数が１の場合にスライス有効フラグを復号し、上記対象タイルグループのタイル数が２以上の場合に、スライス有効フラグを復号せずに０を設定し、
CT情報復号部は、スライス有効フラグが１の場合に、CTU復号後にスライス終端フラグを復号することを特徴とする請求項１に記載の動画像復号装置。
上記ヘッダ復号部は、対象タイルグループのスライス有効フラグが０の場合にタイル数を復号し、上記対象タイルグループのスライス終端フラグが１の場合にタイル数を復号せずに１を設定し、
CT情報復号部は、スライス有効フラグが１の場合に、CTU復号後にスライス終端フラグを復号することを特徴とする請求項１に記載の動画像復号装置。
上記ヘッダ復号部は、対象タイルグループのタイル数が１の場合にWPP有効フラグを復号し、上記対象タイルグループのタイル数が２以上の場合に、WPP有効フラグを復号せずに０を設定し、
さらに上記WPP有効フラグが０の場合に、スライス有効フラグを復号し、WPP有効フラグが１の場合に、スライス終端フラグを復号せずに０を設定し、
CT情報復号部は、スライス有効フラグが１の場合に、CTU復号後にスライス終端フラグを復号することを特徴とする請求項１に記載の動画像復号装置。
上記ヘッダ復号部は、対象タイルグループのWPP有効フラグが０の場合にタイル数を復号し、上記対象タイルグループのWPP有効フラグが１の場合にタイル数を復号せずに１を設定し、
さらに上記タイル数が１の場合にスライス有効フラグを復号し、タイル数が２以上の場合に、スライス有効フラグを復号せずに０を設定し、
CT情報復号部は、スライス有効フラグが１の場合に、CTU復号後にスライス終了フラグを復号することを特徴とする請求項１に記載の動画像復号装置。
ピクチャを１つ以上の矩形領域に分割したタイルグループであって、１つ以上のセグメントから構成されるタイルグループの符号化データを復号する動画像符号化装置において、
対象タイルグループ内のセグメントが矩形のタイル、１CTU高さのCTU行、CTU単位のスライスの何れかあるかを示す対象タイルグループ内のタイル数、WPP有効フラグ、スライス有効フラグをタイルグループヘッダから復号するヘッダ符号化部を備え、
上記ヘッダ復号部は、１つのタイルグループ内で、タイル数が２つ以上、WPP有効フラグが１、スライス有効フラグが１のいずれかのみを復号することを特徴とする動符号化復号装置。