JP2020182177A

JP2020182177A - 画像復号装置、および画像符号化装置

Info

Publication number: JP2020182177A
Application number: JP2019085770A
Authority: JP
Inventors: 知宏猪飼; Tomohiro Igai; 将伸八杉; Masanobu Yasugi; 友子青野; Tomoko Aono
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2019-04-26
Filing date: 2019-04-26
Publication date: 2020-11-05

Abstract

【課題】ＷＰＰ処理に基づく遅延を抑制する画像復号装置及び画像符号化装置を提供する。【解決手段】画像復号装置３１は、対象ＣＴＵが含まれる第１のＣＴＵラインの１つ上の第２のＣＴＵラインにおける対象ＣＴＵと同一位置に対し所定の定数だけ進んだ位置までの復号済データを用いて、対象ＣＴＵの予測画像を生成する予測画像生成部３０８と、第２のＣＴＵラインにおける対象ＣＴＵと同一位置に対し所定の定数だけ進んだ位置までのＣＴＵの情報を用いて、対象ＣＴＵを復号する復号部３０１とを備える。【選択図】図３

Description

本発明の実施形態は、画像復号装置、および画像符号化装置に関する。

動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。

具体的な動画像符号化方式としては、例えば、H.264/AVCやHEVC（High-Efficiency Video Coding）にて提案されている方式などが挙げられる。

このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得
られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び
、符号化単位を分割することより得られるブロックである予測ユニット（PU）、変換ユニット（TU）からなる階層構造により管理され、CUごとに符号化／復号される。

また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。

また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられる。

また、上述のHEVCには、各CTUラインの符号化・復号処理をそれぞれ２CTU分だけシフトさせて実行するWPP（Wavefront Parallel Processing）と呼ばれる処理がある。

"Versatile Video Coding (Draft 5)", JVET-N1001, Joint Video-Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 19-27 March 2019

上述のWPPでは、各CTUラインを順次、２CTU分だけシフトして符号化・復号処理を行う
ので、CTUラインが増えれば増えるほど処理が遅延するという課題がある。またCTUサイズが大きくなればなるほど、遅延量も大きくなるという課題もある。

上記課題を解決するために、本発明の一態様に係る画像復号装置は、ピクチャを複数のCTUラインに分け、各CTUラインを上から順次、復号する画像復号装置において、予測画像を生成する場合、対象CTUが含まれる第１のCTUラインの１つ上のCTUライン（第２のCTUライン）における対象CTUと同一位置に対し所定の定数だけ進んだ位置までのCTUの復号済データを用いて、対象CTUの予測画像を生成する予測画像生成部と、上記第２のCTUラインにおける対象CTUと同一位置に対し所定の定数だけ進んだ位置までのCTUの情報を用いて、対象CTUを復号する復号部と、を備えていることを特徴としている。

本発明の一態様によれば、WPP処理に基づく遅延を抑制することができるという効果を
奏する。

本実施形態に係る符号化ストリームのデータの階層構造を示す図である。本実施形態に係る画像符号化装置の構成を示すブロック図である。本実施形態に係る画像復号装置の構成を示す概略図である。（ａ）〜（ｃ）は、WPPの概要を説明するための図である。（ａ）〜（ｃ）は、WPPの課題を説明するための図である。（ａ）、（ｂ）は、本実施形態に係るイントラ予測に利用可能な範囲を説明するための図である。本実施形態に係る処理において、利用可能なCABAC状態の位置を説明するための図である。（ａ）〜（ｃ）は、本実施形態に係る処理例を示す図である。（ａ）、（ｂ）は、本実施形態に係る処理例を説明するための図である。本実施形態に係るCTU内のスキャン順を説明するための前の図である。 HEVCにおけるブロック分割のシンタックス例を示すである。本実施形態におけるブロック分割のシンタックス例を示す図である。２分木分割のシンタックス例を示す図である。（ａ）、（ｂ）は、CTUの幅に基づいて参照するCTUの位置を決定する処理を説明するための図である。（ａ）、（ｂ）は、CTUが縦長の形状を有しているか否かに基づいて、参照するCTUの位置を決定する処理を説明するための図である。復号済ピクチャにおけるCABACの状態を用いて対象ピクチャを初期化する処理を説明するための図である。本実施形態において、復号済ピクチャにおけるCABACの状態を用いて対象ピクチャを初期化する処理を説明するための図である。本実施形態に係る画像符号化装置を搭載した送信装置、および、画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、画像符号化装置を搭載した送信装置を示しており、（ｂ）は、画像復号装置を搭載した受信装置を示している。本実施形態に係る画像符号化装置を搭載した記録装置、および、画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、画像符号化装置を搭載した記録装置を示しており、（ｂ）は、画像復号装置を搭載した再生装置を示している。本実施形態に係る画像伝送システムの構成を示す概略図である。本願の変形例を説明するための図である。本願の変形例を説明するための図である。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。

図２０は、本実施形態に係る画像伝送システム１の構成を示す概略図である。

画像伝送システム１は、符号化対象画像を符号化した符号を伝送し、伝送された符号を
復号し画像を表示するシステムである。画像伝送システム１は、画像符号化装置（動画像符号化装置）１１、ネットワーク２１、画像復号装置（動画像復号装置）３１及び画像表示装置４１を含んで構成される。

画像符号化装置１１には、単一レイヤもしくは複数レイヤの画像を示す画像Ｔが入力される。レイヤとは、ある時間を構成するピクチャが１つ以上ある場合に、複数のピクチャを区別するために用いられる概念である。たとえば、同一ピクチャを、画質や解像度の異なる複数のレイヤで符号化するとスケーラブル符号化になり、異なる視点のピクチャを複数のレイヤで符号化するとビュースケーラブル符号化となる。複数のレイヤのピクチャ間で予測（インターレイヤ予測、インタービュー予測）を行う場合には、符号化効率が大きく向上する。また予測を行わない場合（サイマルキャスト）の場合にも、符号化データをまとめることができる。

ネットワーク２１は、画像符号化装置１１が生成した符号化ストリームＴｅを画像復号装置３１に伝送する。ネットワーク２１は、インターネット（internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）またはこれらの組み合わせである。ネットワーク２１は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク２１は、DVD（Digital Versatile Disc）、BD（Blue-ray Disc）等の符号化ストリームTeを記録した記憶媒体で代替されても良い。

画像復号装置３１は、ネットワーク２１が伝送した符号化ストリームTeのそれぞれを復号し、それぞれ復号した１または複数の復号画像Tdを生成する。

画像表示装置４１は、画像復号装置３１が生成した１または複数の復号画像Tdの全部または一部を表示する。画像表示装置４１は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。また、空間スケーラブル符号化、ＳＮＲスケーラブル符号化では、画像復号装置３１、画像表示装置４１が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示し、より低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。

＜演算子＞
本明細書で用いる演算子を以下に記載する。

>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR
、|=はOR代入演算子である。

x ? y : zは、xが真（0以外）の場合にy、xが偽（0）の場合にzをとる３項演算子であ
る。

Clip3(a, b, c) は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返し、c>bの場合にはbを返し、その他の場合にはcを返す関数である（ただし、a<=b）。

＜符号化ストリームTeの構造＞
本実施形態に係る画像符号化装置１１および画像復号装置３１の詳細な説明に先立って、画像符号化装置１１によって生成され、画像復号装置３１によって復号される符号化ストリームTeのデータ構造について説明する。

図１は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリ
ームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図１の（ａ）〜（ｆ）は、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス
、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スラ
イスデータを規定する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニット（Coding Unit；CU）を
示す図である。

（符号化ビデオシーケンス）
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために画像復号装
置３１が参照するデータの集合が規定されている。シーケンスSEQは、図１の（ａ）に示
すように、ビデオパラメータセット（Video Parameter Set）、シーケンスパラメータセ
ットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤIDを示す。図１では、#0と#1すなわちレイヤ０とレイヤ１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。

ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複
数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。

シーケンスパラメータセットSPSでは、対象シーケンスを復号するために画像復号装置
３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れか
を選択する。

ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために
画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。

（符号化ピクチャ）
符号化ピクチャでは、処理対象のピクチャPICTを復号するために画像復号装置３１が参照するデータの集合が規定されている。ピクチャPICTは、図１の（ｂ）に示すように、スライスS0〜S_NS-1を含んでいる（ＮＳはピクチャPICTに含まれるスライスの総数）。

なお、以下、スライスS0〜S_NS-1のそれぞれを区別する必要が無い場合、符号の添え字
を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。

（符号化スライス）
符号化スライスでは、処理対象のスライスSを復号するために画像復号装置３１が参照
するデータの集合が規定されている。スライスSは、図１の（ｃ）に示すように、スライ
スヘッダSH、および、スライスデータSDATAを含んでいる。

スライスヘッダSHには、対象スライスの復号方法を決定するために画像復号装置３１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダSHに含まれる符号化パラメータの一例である。

スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。

なお、スライスヘッダSHには、上記符号化ビデオシーケンスに含まれる、ピクチャパラメータセットPPSへの参照（pic_parameter_set_id）を含んでいても良い。

（符号化スライスデータ）
符号化スライスデータでは、処理対象のスライスデータSDATAを復号するために画像復
号装置３１が参照するデータの集合が規定されている。スライスデータSDATAは、図１の
（ｄ）に示すように、符号化ツリーユニット（CTU:Coding Tree Unit）を含んでいる。CTUは、スライスを構成する固定サイズ（例えば64x64）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。

（符号化ツリーユニット）
図１の（ｅ）に示すように、処理対象の符号化ツリーユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のノードのことを符号化ノード（CN:Coding Node）と称する。４分木の中間ノードは、符号化ノードであり、符号化ツリーユニット自身も最上位の符号化ノードとして規定される。CTUは、分
割フラグ（cu_split_flag）を含み、cu_split_flagが１の場合には、４つの符号化ノードCNに分割される。cu_split_flagが０の場合には、符号化ノードCNは分割されず、１つの
符号化ユニット（CU:Coding Unit）をノードとして持つ。符号化ユニットCUは符号化ノードの末端ノードであり、これ以上分割されない。符号化ユニットCUは、符号化処理の基本的な単位となる。

また、符号化ツリーユニットCTUのサイズが64x64画素の場合には、符号化ユニットのサイズは、64x64画素、32x32画素、16x16画素、および、8x8画素の何れかをとり得る。

（符号化ユニット）
図１の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、予測ツリー、変換ツリー、CUヘッダCUHから構成される。CUヘッダでは予測モード、分割方法（PU分割モード）等が規定される。

予測ツリーでは、符号化ユニットを１または複数に分割した各予測ユニット（PU）の予測情報（参照ピクチャインデックス、動きベクトル等）が規定される。別の表現でいえば、予測ユニットは、符号化ユニットを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ユニットを含む。なお、以下では、予測ユニットをさらに分割した予測単位を「サブブロック」と呼ぶ。サブブロックは、複数の画素によって構成されている。予測ユニットとサブブロックのサイズが等しい場合には、予測ユニット中のサブブロックは１つである。予測ユニットがサブブロックのサイズよりも大きい場合には、予測ユニットは、サブブロックに分割される。たとえば予測ユニットが8x8、サブブロックが4x4の場合には、予測ユニットは水平に２分割、垂直に２分割からなる、４つのサブブロックに分割される。

予測処理は、この予測ユニット（サブブロック）ごとに行ってもよい。

予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター
予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。

イントラ予測の場合、分割方法は、2Nx2N（符号化ユニットと同一サイズ）と、NxNとがある。

また、インター予測の場合、分割方法は、符号化データのPU分割モード（part_mode）
により符号化され、2Nx2N（符号化ユニットと同一サイズ）、2NxN、2NxnU、2NxnD、Nx2N
、nLx2N、nRx2N、および、NxNなどがある。なお、2NxN、Nx2Nは1:1の対称分割を示し、2NxnU、2NxnDおよびnLx2N、nRx2Nは、1:3、3:1の非対称分割を示す。CUに含まれるPUを順にPU0、PU1、PU2、PU3と表現する。

また、変換ツリーにおいては、符号化ユニットが１または複数の変換ユニットに分割され、各変換ユニットの位置とサイズとが規定される。別の表現でいえば、変換ユニットは、符号化ユニットを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ユニットを含む。

変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ユニットとして割り付けるものと、上述したCUの分割と同様、再帰的な４分木分割によるものがある。

変換処理は、この変換ユニットごとに行われる。

（参照ピクチャリスト）
参照ピクチャリストは、参照ピクチャメモリ３０６に記憶された参照ピクチャからなるリストである。

（画像復号装置の構成）
次に、本実施形態に係る画像復号装置３１の構成について説明する。図３は、本実施形態に係る画像復号装置３１の構成を示す概略図である。画像復号装置３１は、エントロピー復号部３０１、予測パラメータ復号部（予測画像復号装置）３０２、ループフィルタ３０５、参照ピクチャメモリ３０６、予測パラメータメモリ３０７、予測画像生成部（予測画像生成装置）３０８、逆量子化・逆変換部３１１、及び加算部３１２を含んで構成される。

また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０を含んで構成される。

エントロピー復号部３０１は、外部から入力された符号化ストリームTeに対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための残差情報などがある。

エントロピー復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、予測モードpredMode、PU分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXである。どの符号を復号するかの制御は、予測パラメータ復号部３０２の指示に基づいて行われる。エントロピー復号部３０１は、量子化係数を逆量子化・逆変換部３１１に出力する。この量子化係数は、符号化処理において、残差信号に対してDCT（Discrete Cosine Transform、離散コサイン変換）、DST（Discrete Sine Transform、離散サイン変換）、KLT（Karyhnen Loeve Transform、カルーネンレーベ変換）等の周波数変換を行い量子化して得られる係数である。

インター予測パラメータ復号部３０３は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してインター予測パラメータを復号する。

インター予測パラメータ復号部３０３は、復号したインター予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。

イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してイントラ予測パラメータを復号する。イントラ予測パラメータとは、CUを１つのピクチャ内で予測する処理で用いるパラメータ、例えば、イントラ予測モードIntraPredModeである。
イントラ予測パラメータ復号部３０４は、復号したイントラ予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。

イントラ予測パラメータ復号部３０４は、輝度と色差で異なるイントラ予測モードを導出しても良い。この場合、イントラ予測パラメータ復号部３０４は、輝度の予測パラメータとして輝度予測モードIntraPredModeY、色差の予測パラメータとして、色差予測モードIntraPredModeCを復号する。輝度予測モードIntraPredModeYは、３５モードであり、プレーナ予測（０）、DC予測（１）、方向予測（２〜３４）が対応する。色差予測モードIntraPredModeCは、プレーナ予測（０）、DC予測（１）、方向予測（２〜３４）、LMモード（３５）の何れかを用いるものである。イントラ予測パラメータ復号部３０４は、IntraPredModeCは輝度モードと同じモードであるか否かを示すフラグを復号し、フラグが輝度モードと同じモードであることを示せば、IntraPredModeCにIntraPredModeYを割り当て、フラグが輝度モードと異なるモードであることを示せば、IntraPredModeCとして、プレーナ予測（０）、DC予測（１）、方向予測（２〜３４）、LMモード（３５）を復号しても良い。

ループフィルタ３０５は、加算部３１２が生成したCUの復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット（SAO）、適応ループフィルタ（ALF）等のフィルタを施す。

参照ピクチャメモリ３０６は、加算部３１２が生成したCUの復号画像を、復号対象のピクチャ及びCU毎に予め定めた位置に記憶する。

予測パラメータメモリ３０７は、予測パラメータを、復号対象のピクチャ及び予測ユニット（もしくはサブブロック、固定サイズブロック、ピクセル）毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ３０７は、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及びエントロピー復号部３０１が分離した予測モードpredModeを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX（インター予測識別子inter_pred_idc）、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXがある。

予測画像生成部３０８には、エントロピー復号部３０１から入力された予測モードpredModeが入力され、また予測パラメータ復号部３０２から予測パラメータが入力される。また、予測画像生成部３０８は、参照ピクチャメモリ３０６から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードpredModeが示す予測モードで、入力された予測パラメータと読み出した参照ピクチャ（参照ピクチャブロック）を用いてPUもしくはサブブロックの予測画像を生成する。

ここで、予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャ（参照ピクチャブロック）を用いてインター予測によりPUもしくはサブブロックの予測画像を生成する。

インター予測画像生成部３０９は、予測リスト利用フラグpredFlagLXが１である参照ピクチャリスト（L0リスト、もしくはL1リスト）に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャから、復号対象PUを基準として動きベクトルmvLXが示す位置にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックをもとに予測を行ってPUの予測画像を生成する。インター予測画像生成部３０９は、生成したPUの予測画像を加算部３１２に出力する。ここで、参照ピクチャブロックとは、参照ピクチャ上の画素の集合（通常矩形であるのでブロックと呼ぶ）であり、PUもしくはサブブロックの予測画像を生成するために参照する領域である。

予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に復号されたPUのうち、復号対象PUから予め定めた範囲にある隣接PUを参照ピクチャメモリ３０６から読み出す。予め定めた範囲とは、復号対象PUがいわゆるラスタスキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接PUのうちのいずれかであり、イントラ予測モードによって異なる。ラスタスキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。

イントラ予測画像生成部３１０は、読み出した隣接PUに基づいてイントラ予測モードIntraPredModeが示す予測モードで予測を行ってPUの予測画像を生成する。イントラ予測画像生成部３１０は、生成したPUの予測画像を加算部３１２に出力する。

イントラ予測パラメータ復号部３０４において、輝度と色差で異なるイントラ予測モードを導出する場合、イントラ予測画像生成部３１０は、輝度予測モードIntraPredModeYに応じて、プレーナ予測（０）、DC予測（１）、方向予測（２〜３４）の何れかによって輝度のPUの予測画像を生成し、色差予測モードIntraPredModeCに応じて、プレーナ予測（０）、DC予測（１）、方向予測（２〜３４）、LMモード（３５）の何れかによって色差のPUの予測画像を生成する。

逆量子化・逆変換部３１１は、エントロピー復号部３０１から入力された量子化係数を逆量子化して変換係数を求める。逆量子化・逆変換部３１１は、求めた変換係数について逆DCT、逆DST、逆KLT等の逆周波数変換を行い、残差信号を算出する。逆量子化・逆変換
部３１１は、算出した残差信号を加算部３１２に出力する。

加算部３１２は、インター予測画像生成部３０９またはイントラ予測画像生成部３１０から入力されたPUの予測画像と逆量子化・逆変換部３１１から入力された残差信号を画素毎に加算して、PUの復号画像を生成する。加算部３１２は、生成したPUの復号画像を参照ピクチャメモリ３０６に記憶し、生成したPUの復号画像をピクチャ毎に統合した復号画像
Tdを外部に出力する。

（画像符号化装置の構成）
次に、本実施形態に係る画像符号化装置１１の構成について説明する。図２は、本実施形態に係る画像符号化装置１１の構成を示すブロック図である。画像符号化装置１１は、予測画像生成部１０１、減算部１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆変換部１０５、加算部１０６、ループフィルタ１０７、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）１０８、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）１０９、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。

予測画像生成部１０１は画像Ｔの各ピクチャについて、そのピクチャを分割した領域である符号化ユニットCU毎に予測ユニットPUの予測画像Ｐを生成する。ここで、予測画像生成部１０１は、予測パラメータ符号化部１１１から入力された予測パラメータに基づいて参照ピクチャメモリ１０９から復号済のブロックを読み出す。予測パラメータ符号化部１１１から入力された予測パラメータとは、例えばインター予測の場合、動きベクトルである。予測画像生成部１０１は、対象PUを起点として動きベクトルが示す参照画像上の位置にあるブロックを読み出す。またイントラ予測の場合、予測パラメータとは例えばイントラ予測モードである。イントラ予測モードで使用する隣接PUの画素値を参照ピクチャメモリ１０９から読み出し、PUの予測画像Pを生成する。予測画像生成部１０１は、読み出した参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いてPUの予測画像Ｐを生成する。予測画像生成部１０１は、生成したPUの予測画像Ｐを減算部１０２に出力する。

なお、予測画像生成部１０１は、既に説明した予測画像生成部３０８と同じ動作である。

予測画像生成部１０１は、予測パラメータ符号化部から入力されたパラメータを用いて、参照ピクチャメモリから読み出した参照ブロックの画素値をもとにPUの予測画像Pを生成する。予測画像生成部１０１で生成した予測画像は減算部１０２、加算部１０６に出力される。

減算部１０２は、予測画像生成部１０１から入力されたPUの予測画像Ｐの信号値を、画像Ｔの対応するPUの画素値から減算して、残差信号を生成する。減算部１０２は、生成した残差信号を変換・量子化部１０３に出力する。

変換・量子化部１０３は、減算部１０２から入力された残差信号について周波数変換を行い、変換係数を算出する。変換・量子化部１０３は、算出した変換係数を量子化して量子化係数を求める。変換・量子化部１０３は、求めた量子化係数をエントロピー符号化部１０４及び逆量子化・逆変換部１０５に出力する。

エントロピー符号化部１０４には、変換・量子化部１０３から量子化係数が入力され、予測パラメータ符号化部１１１から符号化パラメータが入力される。入力される符号化パラメータには、例えば、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、予測モードpredMode、及びマージインデックスmerge_idx等の符号がある。

エントロピー符号化部１０４は、入力された量子化係数と符号化パラメータをエントロ
ピー符号化して符号化ストリームTeを生成し、生成した符号化ストリームTeを外部に出力する。

逆量子化・逆変換部１０５は、変換・量子化部１０３から入力された量子化係数を逆量子化して変換係数を求める。逆量子化・逆変換部１０５は、求めた変換係数について逆周波数変換を行い、残差信号を算出する。逆量子化・逆変換部１０５は、算出した残差信号を加算部１０６に出力する。

加算部１０６は、予測画像生成部１０１から入力されたPUの予測画像Ｐの信号値と逆量子化・逆変換部１０５から入力された残差信号の信号値を画素毎に加算して、復号画像を生成する。加算部１０６は、生成した復号画像を参照ピクチャメモリ１０９に記憶する。

ループフィルタ１０７は加算部１０６が生成した復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット（SAO）、適応ループフィルタ（ALF）を施す。

予測パラメータメモリ１０８は、符号化パラメータ決定部１１０が生成した予測パラメータを、符号化対象のピクチャ及びCU毎に予め定めた位置に記憶する。

参照ピクチャメモリ１０９は、ループフィルタ１０７が生成した復号画像を、符号化対象のピクチャ及びCU毎に予め定めた位置に記憶する。

符号化パラメータ決定部１１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述した予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。予測画像生成部１０１は、これらの符号化パラメータのセットの各々を用いてPUの予測画像Ｐを生成する。

符号化パラメータ決定部１１０は、複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームTeの情報量である。二乗誤差は、減算部１０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部１１０は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部１０４は、選択した符号化パラメータのセットを符号化ストリームTeとして外部に出力し、選択されなかった符号化パラメータのセットを出力しない。符号化パラメータ決定部１１０は決定した符号化パラメータを予測パラメータメモリ１０８に記憶する。

予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０から入力されたパラメータから、符号化するための形式を導出し、エントロピー符号化部１０４に出力する。符号化するための形式の導出とは、例えば動きベクトルと予測ベクトルから差分ベクトルを導出することである。また予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０から入力されたパラメータから予測画像を生成するために必要なパラメータを導出し、予測画像生成部１０１に出力する。予測画像を生成するために必要なパラメータとは、例えばサブブロック単位の動きベクトルである。

インター予測パラメータ符号化部１１２は、符号化パラメータ決定部１１０から入力された予測パラメータに基づいて、差分ベクトルのようなインター予測パラメータを導出する。インター予測パラメータ符号化部１１２は、予測画像生成部１０１に出力する予測画像の生成に必要なパラメータを導出する構成として、インター予測パラメータ復号部３０３（図３等、参照）がインター予測パラメータを導出する構成と一部同一の構成を含む。

イントラ予測パラメータ符号化部１１３は、符号化パラメータ決定部１１０から入力されたイントラ予測モードIntraPredModeから、符号化するための形式（例えばMPM_idx、rem_intra_luma_pred_mode等）を導出する。

なお、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、例えば、エントロピー復号部３０１、予測パラメータ復号部３０２、ループフィルタ３０５、予測画像生成部３０８、逆量子化・逆変換部３１１、加算部３１２、予測画像生成部１０１、減算部１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆変換部１０５、ループフィルタ１０７、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１１、画像復号装置３１のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、または全部を、LSI（Large Scale Integration）等の集積回路として実現しても良い。画像符号化装置１１、画像復号装置３１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

〔WPP〕
本実施形態に係る画像復号装置３１、および画像符号化装置１１は、WPP（Wavefront Parallel Processing）による復号処理、符号化処理を行う。まず、図４を参照してWPPの
概要について説明する。図４の（ａ）〜（ｃ）は、WPPの概要を説明するための図である
。WPPは、CTUラインごとに並列処理する技術であり、CTUラインの符号化・復号処理を、
順次、数CTU時間分遅れて実行させるものである。これにより、対象CTUにおける符号化・復号処理において、対象CTUが含まれるCTUラインの１つ上のCTUラインにおけるCABACの発生確率を用いることができる。また、対象CTUが含まれるCTUラインの１つ上のCTUライン
における画像や予測パラメータを参照することができる。そのため、スライスなどに比べ、エントロピー符号化、イントラ予測、インター予測の性能が高い。以下、画像復号装置３１、および画像符号化装置１１は、WPPを行うか否かを示すフラグentropy_coding_sync_enabled_flagを復号もしくは符号化する。

図４の（ａ）に示すように、WPPでは、CTUラインごとに、例えば２CTU時間分遅らせて
処理（M=1）を行うことができる。また、対象CTUの処理においては、例えば、当該対象CTUの右上、上、左上、左のCTUの情報を用いることができる。

また、各CTUラインのCABAC符号化（復号）を独立にするために、CTUラインの先頭でCABACを初期化（リセット）する。WPPでは、図４の（ｂ）に示すように、entropy_coding_sync_enabled_flagが１の場合には、各CTUラインの先頭にて、１つ上のCTUラインの左からM+1番目（例えば、２番目）のCTU処理後のコンテキストをコピーしてCABAC状態を初期化する。ここで左端のCTUを１番目のCTUと呼ぶ。

また、イントラ予測およびインター予測を行う場合、対象CTUが含まれるCTUラインの上のCTUラインを参照領域とすることができる。WPPでは、図４の（ｃ）に示すように、イントラ予測を行う場合の参照領域も、対象CTUが含まれるCTUラインの１つ上のCTUラインに
おける、対象CTUから１CTU分進んだ位置までのCTUを用いることができる。参照可能な範
囲は、イントラ予測に限定されず、インター予測の場合も同じである。

〔WPPの課題〕
次に、図５を参照して、HEVCにおけるWPPの課題について説明する。図５の（ａ）〜（
ｃ）は、WPPの課題を説明するための図である。HEVCのWPPでは、CTUラインの符号化・復
号処理を順次、２CTU分遅らせて実行させる。遅延量が２CTU固定であり大きいという課題がある。また、CTU幅が２倍になれば遅延量は２倍になってしまう。例えば、図５の（ａ
）に示すCTUの幅Waが図５の（ｂ）に示すCTUの幅Wbの２倍である場合、図５の（ａ）に示す例における１CTUラインごとの遅延量は、図５の（ｂ）に示す例の２倍となる。よって
、CTUの幅が大きくなればなるほど、遅延量が大きくなってしまうという課題がある。な
お、CTUの幅が同じであれば、高さが異なっていても（図５の（ｂ）と（ｃ））、遅延量
は同じである。上記の課題を含め、HEVCのWPPには以下の課題がある。

（課題１）遅延量Mが１（2CTU分）であり、（特にCTUサイズが大きい場合に）大きいという課題がある。

（課題２）遅延量MがCTUの幅に依存して大きくなるという課題がある。

（課題３）遅延量Mが固定であるため、遅延量を小さくして、並列度を上げることがで
きない。また、遅延量Mを大きくして、エントロピー符号化、イントラ予測、インター予
測の性能を上げることができない。

（課題４）HEVCでは、CABACの遅延量の範囲で予測の遅延量（範囲）が決定されている
。すなわち、予測の遅延量がWPPの動作の有無(entropy_coding_sync_enabled_flag)に依
存しない課題がある。そのため、イントラ予測やインター予測で例えば上のCTUラインの
画素や予測パラメータを参照する処理において、WPPがオンの場合には、実際には参照で
きない課題がある。

（課題５）CABACの遅延量だけが固定的に規定され、予測の遅延量が既定されていない
。すなわち、CABACの遅延量と予測の遅延量を異なる値にすることができない課題がある
。そのため、例えば、CABAC処理が予測処理の前に行われる画像復号装置において、CABAC処理を先に開始して、予測処理を後に行う構成（CABACの遅延量を予測の遅延量よりも小
さくする構成）ができない。予測処理がCABAC処理の前に行われる画像符号化装置におい
て、予測処理を先に開始して、CABAC処理を後に行う構成（CABACの遅延量を予測の遅延量よりも小さくする構成）ができない。以下、予測の遅延量MとCABACの遅延量Mを区別する
場合には、予測の遅延量をMp, CABACの遅延量をMcと記載する。

〔基本構成〕
上述したように、HEVCのWPPでは、対象CTUの１つ上のCTUラインにおける対象CTUから１つ進んだ位置までのCTUの情報を用いて復号していた。そして、この処理には上述の課題
があった。

そこで、本実施形態に係る、予測画像生成部３０８およびエントロピー復号部３０１は、WPPのようにCTUラインごとに時間をずらして並列して処理する場合に、以下の処理により予測画像の生成、予測パラメータの導出、またはエントロピー復号を行う。なお、予測画像の生成の主体は予測画像生成部３０８であり、予測パラメータの導出の主体は、インター予測パラメータ復号部３０３およびイントラ予測パラメータ復号部３０４であり、エントロピー復号の主体はエントロピー復号部３０１である。

〔イントラ予測およびインター予測の遅延量削減〕
予測画像生成部３０８は、イントラ予測により予測画像を生成する場合、対象ブロックを含むCTU（対象CTU）の１つ上のCTUラインにおける対象CTUと同一位置にあるCTUまでの
画素値のみを用いてイントラ予測を行い、予測画像を生成してもよい。この場合、対象CTUの１つ上のCTUラインにおける対象CTUから１つ進んだ（１つ先の）CTUまでの画素値を用いる場合と比較して、イントラ予測を早く始めることができる。対象CTUの１つ上のCTUラインにおける対象CTUと同一位置にあるCTUから１つ進んだCTUの復号処理が完了するのを待たなくてもよいためである。

予測画像生成部３０８と同様に、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４は、インター予測およびイントラ予測により予測パラメータを導出する場合、対象CTUの１つ上のCTUラインにおける対象CTUと同一位置にあるCTUまでの位置の予測パラメータを用いて、対象ブロックの予測パラメータを導出しても良い。例えば、空間マージ候補の導出における左上ブロック、上ブロックや右上ブロックの動き情報の参照や、推定イントラ予測モード（MostProbableMode, MPM）導出における左上ブロッ
ク、上ブロックや右上ブロックのイントラ予測モードの参照において、同一位置にあるCTUまでの予測パラメータのみを用いて導出してもよい。すなわち、遅延Ｍを１に設定しても良い。

〔イントラ予測制限およびインター予測制限の詳細〕
より詳細には、予測画像生成部３０８および予測パラメータ復号部３０２は、以下の対応により上述した処理を行ってもよい。HEVCでは、(xCurr, yCurr)で示される対象領域において、(xNbY, yNbY)で示される隣接領域が利用可能か否かを示すavailableNを導出する処理が規定されている。ここで、(xCurr, yCurr)は、対象ピクチャにおける左上を原点としたときの、対象ブロックの左上の座標である。(xNbY, yNbY)は、隣接ブロックに含まれる座標である。そして、(xNbY, yNbY)が利用不可能の場合には、availableNをFALSEとし
ている。以下ではyNbY=yCurr-hCTU（hCTUはCTUの高さ）にセットする。つまり、隣接領域は対象領域の１つ上のCTU行に位置する。なお、HEVCでは、(xNbY, yNbY)が利用不可能で
ある条件は、以下の通り表現されている。
xNbY is less than 0
yNbY is less than 0
xNbY is greater than or equal to pic_width_in_luma_samples
yNbY is greater than or equal to pic_height_in_luma_samples
そして、本実施形態に係る予測画像生成部３０８および予測パラメータ復号部３０２は、availableNを導出する処理において、availableN = FALSEとなる条件に、遅延量をＭ（以下の式ではMp、Mp=M）として、「entropy_coding_sync_enabled_flag が１、かつ、xNbYのCTU位置が現CTU位置から見て処理のサイズwCTU*(Mp+1)以上先の場合」（wCTUはCTU幅）という条件を加えて処理する。よって、本実施形態では、以下の何れかの条件が満たされる場合、availableNをFALSEとする。
xNbY is less than 0
yNbY is less than 0
xNbY is greater than or equal to pic_width_in_luma_samples
yNbY is greater than or equal to pic_height_in_luma_samples
entropy_coding_sync_enabled_flag is 1 and CTU addr of xNbY is greater than or equal to CTU addr of xCurr + wCTU * (Mp+1)
ここで、対象位置(xCurr, yCurr)、参照位置(xNbY, yNbY)のCTU幅wCTUを単位とするCTU位置はctuSizeBitで右シフトすることで導出することが可能であることから、availableNがFALSEとなる場合を以下の式を用いて導出してもよい。
entropy_coding_sync_enabled_flag is 1 and (xNbY >> ctuSizeBit) is greater than or equal to (xCurr >> ctuSizeBit) + Mp+1
ここで、ctuSizeBit = log2(wCTU)。
あるいは、以下の式を用いて導出してもよい。
entropy_coding_sync_enabled_flag is 1 and (xNbY / wCTU) is greater than or equal
to (xCurr / wCTU) + Mp+1
なお、availableNをWPPに関するフラグとして導出しても良い。このときは、以下で導
出できる。

availableN = entropy_coding_sync_enabled_flag == 0 or (xNbY >> ctuSizeBit) is less than or equal to (xCurr >> ctuSizeBit) + Mp
以下でも同等である。

availableN = entropy_coding_sync_enabled_flag == 0 or (xNbY / wCTU) is less than or equal to (xCurr / wCTU) + Mp
また、本実施形態では、M(Mp)を適宜、設定することにより、参照可能なCTUの範囲を任意の位置に設定することができる。Mを1未満とすることで課題１を解決することができる。例えば、M=0であれば、図６の（ａ）に示すように、イントラ予測およびインター予測に用いることができる参照CTUは、対象CTUの１つ上のCTUラインにおける同じ位置のCTUとなる。また、M=0.5であれば、図６の（ｂ）に示すように、イントラ予測に用いることができる参照CTUは、対象CTUの１つ上のCTUラインにおける同じ位置のCTUから0.5CTU分だけ進んだ領域までとなる。なお、参照領域がCTUの内部にある場合は、当該CTUにおけるブロックスキャン順を変更することにより対応できる。ブロックスキャン順を変更する処理については後述する。

なお、位置(xCurr, yCurr)を含むCTUである対象CTUの座標(xCTU, yCTU)を以下で導出でしてもよい。

xCTU = xCurr / wCTU * wCTU = (xCurr >> ctuSizeBit) << ctuSizeBit
yCTU = yCurr / hCTU * hCTU = (xCurr >> log2(hCTU)) << log2(hCTU)
この場合、本実施形態の予測画像生成部３０８は、対象CTU（xCTU, yCTU）において、
１つ上のCTUラインにおけるxCTU+wCTU*(Mp+1)-1までの画像をイントラ予測に用いてもよ
い。また、インター予測パラメータ復号部３０３およびイントラ予測パラメータ復号部３０４もxCTU+wCTU*(Mp+1)-1までの予測ブロックの予測パラメータを、対象ブロックの予測パラメータの導出に用いても良い。

このように、entropy_coding_sync_enabled_flagと対象位置(xCurr, yCurr)、参照位置
(xNb, yNb)に依存して、イントラ予測及びインター予測の画素や予測パラメータの参照
可能性availableNを導出することによって、イントラ予測及びインター予測の画素や予測パラメータの参照範囲が大きくなっても動作を保証することができ、課題４を解決する効果がある。

〔エントロピー復号部の遅延量削減〕
エントロピー復号部３０１は、CABAC復号において、対象CTUの１つ上のCTUラインにお
ける同一位置のCTUの復号処理が完了した時点のCABAC状態を用いて、対象CTUのCABAC初期化を行ってもよい。これにより、対象CTUの１つ上のCTUラインにおける対象CTUと同一位
置にあるCTUから１つ進んだCTUの復号処理が完了した時点のCABAC状態を用いる場合と比
較して、CABAC処理を早く開始することができる。対象CTUの１つ上のCTUラインにおける
対象CTUと同一位置にあるCTUから１つ進んだCTUの復号処理が完了するのを待たなくても
よいためである。

より詳細には、エントロピー復号部３０１は、以下の対応により上述した処理を行う。HEVCでは、entropy_coding_sync_enabled_flagが１の場合に、CTUラインにおける2個目のCTU（CtbAddrInRs % PicWidthInCtbsY is equal to 1）のCABAC状態をストレージ（メモリ）に保持し、次のCTUラインの1個目のCTU（CtbAddrInRs % PicWidthInCtbsY is equal to 0）ではストレージに保持したCABAC状態を用いて、初期化を行っている。ここで、CtbAddrInRsはピクチャ内でCTUをラスタスキャン順に走査した時のCTUアドレスであり、PicWidthInCtbsYはピクチャの水平方向のCTUの個数である。画面単位のブロック左上位置(xCurr, yCurr)との関係は以下になるので、画素単位のブロック左上位置を用いて判定してもよい。以下は同様である。

(CtbAddrInRs % PicWidthInCtbsY) = (xCurr % wCTU) = (xCurr >> ctuSizeBit)
〔エントロピー復号部の詳細〕
本実施形態に係るエントロピー復号部３０１は、entropy_coding_sync_enabled_flag＝１の場合（WPPオン）、CTUラインにおけるMc+1個目のCTU（CtbAddrInRs % PicWidthInCtbsY is equal to Mc）のCABAC状態をストレージに保持する。そして、次のCTUラインにおける1個目のCTUのときに（CtbAddrInRs % PicWidthInCtbsY is equal to 0）ストレージに保持したCABAC状態を用いて、初期化を行う。

また、本実施形態では、Mcを適宜、設定することにより、CABAC状態を格納するCTUの位置を任意の位置に設定することができる。Mcを1未満とすることで課題１を解決すること
ができる。

例えば、Mc=0とすれば、図７に示すように、CABAC復号において、対象CTUの１つ上のCTUラインにおける同一位置のCTUの復号処理が完了した時点のCABAC状態を用いて、対象CTUのCABAC初期化を行うことができる。なお、HEVCの通り、対象CTUの１つ上のCTUラインにおける対象CTUと同一位置にあるCTUから１つ進んだCTUの復号処理が完了した時点のCABAC状態を用いる場合は、Mc=1とすればよい。

なお、画像符号化装置１１における予測画像生成部１０１は、上述した予測画像生成部３０８と同様の処理を行う。また、画像符号化装置１１におけるエントロピー符号化部１０４は、CABACの状態の初期化において、上述したエントロピー復号部３０１におけるCABACの状態の初期化と同様の処理を行う。

以上のように本実施形態に係る画像復号装置３１は、ピクチャを複数のCTUラインに分
け、各CTUラインを上から順次、復号する画像復号装置３１において、イントラ予測によ
り予測画像を生成する場合、対象CTUが含まれる上記CTUライン（第１のCTUライン）の１
つ上の上記CTUライン（第２のCTUライン）における対象CTUと同一位置までの復号済デー
タを用いて、対象CTUの復号に用いる予測画像を生成する予測画像生成部３０８と、上記
第２のCTUラインにおける対象CTUと同一位置のCABACの状態を用いて、対象CTUの復号を行うエントロピー復号部３０１と、を備えている。

〔処理例１〕
次に、図８の（ａ）を参照して、処理例１について説明する。本処理例では、対象CTU
における処理において、予測画像生成部３０８がイントラ予測を用いて予測画像を生成する場合に参照する参照CTUを、対象CTUの１つ上のCTUラインにおける同一位置までのCTUとする。また、エントロピー復号部３０１は、CTUラインの１つ目のCTUにおけるCABAC状態
の初期化を、１つ上のCTUラインにおける同一位置におけるCTUのCABAC状態を用いて行う
。

すなわち、処理例１では、予測画像生成部３０８は、上述した処理においてMp=0として処理を行い、エントロピー復号部３０１は、上述した処理においてMc=0として処理を行う。

換言すれば、予測画像生成部３０８は、対象CTU（xCTU, yCTU）において、１つ上のCTUラインにおけるxCTU+wCTU*1-1までの画像をイントラ予測に用いる。インター予測パラメ
ータ復号部３０３およびイントラ予測パラメータ復号部３０４においてもxCTU+wCTU*1-1
までのブロックを参照してもよい。また、エントロピー復号部３０１は、１つ上のCTUラ
インにおける１つ目のCTUにおける処理が完了した時点におけるCABAC状態を用いて、処理対象のCTUラインにおけるCABAC初期化を行う。

以上のように、本処理例に係る画像復号装置３１の予測画像生成部３０８は、イントラ予測により予測画像を生成する場合、対象CTUが含まれる上記CTUライン（第１のCTUライ
ン）の１つ上の上記CTUライン（第２のCTUライン）における対象CTUと同一位置までの復
号済データを用いて、対象CTUの復号に用いる予測画像の生成を行い、エントロピー復号
部３０１は、上記第２のCTUラインにおける対象CTUと同一位置のCABACの状態を用いて、
対象CTUの復号を行う。なお、インター予測パラメータ復号部３０３およびイントラ予測
パラメータ復号部３０４においても対象CTUと同一位置までの復号済データを用いて、予
測パラメータを導出してもよい。

〔処理例２〕
次に、図８の（ｂ）を参照して、処理例２について説明する。本処理例では、対象CTU
における処理において、予測画像生成部３０８がイントラ予測を用いて予測画像を生成する場合に参照する参照CTUを、対象CTUの１つ上のCTUラインにおける同一位置のCTUから１つ進んだCTUまでとする。また、エントロピー復号部３０１は、CTUラインの１つ目のCTU
におけるCABAC状態の初期化を、１つ上のCTUラインにおける同一位置におけるCTUのCABAC状態を用いて行う。

すなわち、処理例２では、予測画像生成部３０８は、上述した処理においてMp=1として処理を行い、エントロピー復号部３０１は、上述した処理においてMc=0として処理を行う。

換言すれば、予測画像生成部３０８は、対象CTU（xCTU, yCTU）において、１つ上のCTUラインにおけるxCTU+wCTU*2-1までの画像をイントラ予測に用いる。インター予測パラメ
ータ復号部３０３およびイントラ予測パラメータ復号部３０４においてもxCTU+wCTU*2-1
までのブロックを参照してもよい。また、エントロピー復号部３０１は、１つ上のCTUラ
インにおける１つ目のCTUにおける処理が完了した時点におけるCABAC状態を用いて、処理対象のCTUラインにおけるCABAC初期化を行う。

以上のように処理例に係る画像復号装置３１の予測画像生成部３０８は、イントラ予測により予測画像を生成する場合、対象CTUが含まれる上記CTUライン（第１のCTUライン）
の１つ上の上記CTUライン（第２のCTUライン）における対象CTUと同一位置よりも１CTU分進んだ位置までの復号済データを用いて、対象CTUの復号に用いる予測画像の生成を行い
、エントロピー復号部３０１は、上記第２のCTUラインにおける対象CTUと同一位置のCABACの状態を用いて、対象CTUの復号を行う。なお、インター予測パラメータ復号部３０３およびイントラ予測パラメータ復号部３０４においても対象CTUと同一位置よりも１CTU分進んだ位置までの復号済データを用いて、予測パラメータを導出してもよい。

このように、CABACの遅延量Mpと予測の遅延量Mcを異なる値(Mc<Mp)に設定することにより、課題５が解決し、CABAC処理が予測処理の前に行われる画像復号装置において、CABAC処理を先に開始して、予測処理を後に行う構成（CABACの遅延量を予測の遅延量よりも小
さくする構成）が実現できる。

逆に、予測画像生成部３０８は、上述した処理においてMp=0として処理を行い、エントロピー復号部３０１は、上述した処理においてMc=1として処理を行ってもよい。CABACの
遅延量Mpと予測の遅延量Mcを異なる値(Mc>Mp)に設定することにより、予測処理がCABAC処理の前に行われる画像符号化装置において、予測処理を先に開始して、CABAC処理を後に
行う構成（CABACの遅延量を予測の遅延量よりも小さくする構成）を実現できる。

〔処理例３〕
次に、図８の（ｃ）を参照して、処理例３について説明する。本処理例では、対象CTU
における処理において、予測画像生成部３０８がイントラ予測を用いて予測画像を生成する場合に参照する参照CTUを、対象CTUの１つ上のCTUラインにおける同一位置のCTUから0.
5CTU分進んだ領域(Mp=0.5)とする。また、エントロピー復号部３０１は、CTUラインの１つ目のCTUにおけるCABAC状態の初期化を、１つ上のCTUラインにおける同一位置におけるCTUのCABAC状態を用いて行う(Mc=0)。

すなわち、処理例３では、予測画像生成部３０８は、上述した処理においてMp=0.5として処理を行い、エントロピー復号部３０１は、上述した処理においてMc=0として処理を行う。

換言すれば、予測画像生成部３０８は、対象CTU（xCTU, yCTU）において、１つ上のCTUラインにおけるxCTU+wCTU*1.5-1までの画像をイントラ予測に用いる。インター予測パラ
メータ復号部３０３およびイントラ予測パラメータ復号部３０４においてもxCTU+wCTU*1.
5-1までのブロックを参照する。また、エントロピー復号部３０１は、１つ上のCTUライ
ンにおける１つ目のCTUにおける処理が完了した時点におけるCABAC状態を用いて、処理対象のCTUラインにおけるCABAC初期化を行う。

以上のように、本処理例に係る画像復号装置３１の予測画像生成部３０８は、イントラ予測により予測画像を生成する場合、対象CTUが含まれる上記CTUライン（第１のCTUライ
ン）の１つ上の上記CTUライン（第２のCTUライン）における対象CTUと同一位置よりも０
．５CTU分進んだ位置までの復号済データを用いて、対象CTUの復号に用いる予測画像の生成を行い、エントロピー復号部３０１は、上記第２のCTUラインにおける対象CTUと同一位置のCABACの状態を用いて、対象CTUの復号を行う。なお、インター予測パラメータ復号部３０３およびイントラ予測パラメータ復号部３０４においても対象CTUと同一位置よりも
０．５CTU分進んだ位置までの復号済データを用いて、予測パラメータを導出してもよい
。

また、処理例１〜３に示すように、本実施形態では、予測画像生成部３０８がイントラ予測により予測画像を生成するときに利用可能とする領域と、エントロピー復号部３０１がCABAC初期化を行うために用いるCTUの領域とは必ずしも一致してなくてもよい。

〔処理例４〕
本処理例は、上述したWPPによる処理について、対象CTUの１つ上のCTUラインにおける
対象CTUと同じ位置から１つ進んだ位置までのCTUの情報を用いる処理（図９の（ａ））と、処理例１で説明した処理とを選択可能とするものである。なお、処理例１で説明した処理とは、対象CTUの１つ上のCTUラインにおける対象CTUと同じ位置のCTUの情報を用いる処理である（図９の（ｂ））。

本処理例では、画像符号化装置１１は、対象CTUにおける処理において、対象CTUの１つ上のCTUラインにおける対象CTUと同じ位置から１つ進んだ位置までのCTUの情報を用いる
処理(M=1)と処理例１における処理(M=0)との何れを用いて処理したかを示す情報を、SPS
、PPSあるいはスライスヘッダで符号化し、画像復号装置３１に送信する。また、画像復
号装置３１は、対象CTUについて、受信した符号化データから、対象CTUの１つ上のCTUラ
インにおける対象CTUと同じ位置から１つ進んだ位置までのCTUの情報を用いる処理と処理例１における処理との何れを用いて処理したかを示す情報を復号する。そして、当該情報に基づいて、対象CTUの１つ上のCTUラインにおける対象CTUと同じ位置から１つ進んだ位
置までのCTUの情報を用いる処理を行うか、処理例１における処理を行う。

上記情報は、何れを用いたかを示すフラグであってもよいし、利用可能な位置を示す情報、例えば、上述したMpおよびMcの値であってもよい。

以上のように、本処理例に係る画像復号装置３１は、ピクチャを複数のCTUラインに分
け、各CTUラインを上から順次、復号する画像復号装置３１において、各CTUラインの先頭CTU（対象CTU）におけるWPPによる復号処理を、対象CTUの１つ上のCTUライン（第２のCTUライン）における対象CTUと同じ位置から１つ進んだ位置までのCTUの情報（CABACの状態
）を用いて行うか、または、上記第２のCTUラインにおける対象CTUと同一位置のCTUの情
報（CABACの状態）を用いて行うかを示す情報を復号するエントロピー復号部３０１を備
えている。

なお、遅延量M(Mp, Mc)は、0と1に限定されない。例えば、Mp=Mc=0, 1, 3, 7を切り替
えても良い。つまり、Mを切り替えるシンタックスもしくはM自体を表すシンタックスを符号化データに含めて符号化しても良い。これにより、遅延量を小さくして並列度を上げることができない、また、遅延量Mを大きくして符号化性能を上げることができないという
課題３を解決することができる。

（第２の実施形態）
本実施形態では、予測画像生成部３０８は、WPPを行う場合に、CTU内のブロックスキャン順を変更する。CTU内のブロックスキャンはHEVCではラスタスキャン順に行うが、図１
０に示すように本実施形態では、縦方向にスキャンする。すなわち、例えば、CTUが４つ
のブロックに分割される場合、ラスタスキャン順であれば、左上、右上、左下、右下の順でスキャンを行うが、本実施形態では、左上、左下、右上、右下の順（図１０の０→３の順）でスキャンを行う。これにより、１つ下のCTUラインと境界を共有するブロックがス
キャンされる順序（復号順序、符号化順序）を、ラスタスキャン順よりも早めることができる。

例えば、上述した実施形態１の処理例３の場合に、イントラ予測およびインター予測の遅延を抑制することができる。実施形態１の処理例３では、予測画像生成部３０８がイン
トラ予測、インター予測を用いて予測画像を生成する場合に参照する参照CTUを、対象CTUの１つ上のCTUラインにおける同一位置のCTUから0.5CTU分進んだ領域としており、本実施形態ではブロックのスキャン順を変更することにより、当該領域を通常のラスタスキャンの場合よりも早く処理することができるためである。

本実施形態では、WPPの場合（entropy_coding_sync_enabled_flag = 1）、スキャン順
を変更するか否かを示すフラグ（alt_cu_scan_order_flag）を符号化データに含め、当該フラグが１の場合に、スキャン順を変更する。alt_cu_scan_order_flagはSPSあるいはPPSあるいはスライスヘッダで通知してもよい。

図１１にHEVCにおけるブロック分割のシンタック例を示す。また、図１２に、本実施形態におけるブロック分割を行う場合のシンタック例を示す。図１２に示すように、本実施形態では、alt_cu_scan_order_flag=1の場合、スキャン順をラスタスキャン順から、縦方向のスキャン順に変更している（図１２のSYN1411）点がHEVCと異なる。

また、図１３に、２分木分割（binary_tree）のシンタックス例を示す。２分木分割に
ついては、本実施形態による処理とHEVCによる処理とで同じである。

以上のように、本実施形態に係る画像復号装置３１は、ピクチャを複数のCTUラインに
分け、各CTUラインを上から順次、復号する画像復号装置３１において、WPPによる処理を行う場合、CTU内の処理順序を、左上から右下まで縦方向に進む順序とするものである。

（第３の実施形態）
本実施形態では、実施形態１で説明したWPPによる処理において、エントロピー復号部
３０１は、CTUの幅に基づいて、対象CTU（各CTUラインの先頭CTU）の１つ上のCTUライン
における対象CTUと同じ位置から１つ進んだ位置までのCTUのCABACの状態を用いて復号処
理を行うか、対象CTUの１つ上のCTUラインにおける対象CTUと同じ位置のCTUのCABACの状
態を用いて復号処理を行うかを決定するものである。これにより、課題２を解決することができる。

上述したように、WPPではCTUの幅が大きくなるほど遅延が大きくなる。そこで、本実施形態では、CTUの幅が所定の値（Th）よりも大きいか否かにより、対象ブロックの初期化
に何れの位置のCTUのCABACの状態を用いるかを決定する。

具体的に、図１４を参照して説明する。図１４の（ａ）はCTUの幅Wd1が所定の幅Th以下の場合を示し、図１４の（ｂ）はCTUの幅Wd2が所定の幅Thよりも大きい場合を示す。図１４の（ａ）に示すように、CTUの幅Wd1が所定の幅Th以下の場合（Wd1≦Th）、エントロピー復号部３０１は、対象CTU（CTUラインの先頭CTU）の１つ上のCTUラインにおける対象CTUと同じ位置から１つ進んだ位置のCTUのCABACの状態を用いて復号処理を行う。また、図１４の（ｂ）に示すように、CTUの幅Wd2が所定の幅Thより大きい場合（Wd2＞Th）、エントロピー復号部３０１は、対象CTU（CTUラインの先頭CTU）の１つ上のCTUラインにおける対象CTUと同じ位置のCTUのCABACの状態を用いて復号処理を行う。

なお、CTUの幅が所定の値よりも大きいか否かではなく、CTUそのものが縦長かそれ以外かにより、対象CTU（CTUラインの先頭CTU）の１つ上のCTUラインにおける対象CTUと同じ
位置から１つ進んだ位置までのCTUのCABACの状態を用いて復号処理を行うか、対象CTUの
１つ上のCTUラインにおける対象CTUと同じ位置のCTUのCABACの状態を用いて復号処理を行うかを決定してもよい。CTUが縦長の場合は、CTUサイズに対し幅が狭いと言え、それ以外の場合と比較して遅延が小さいと考えられるためである。

具体的に、図１５を参照して説明する。図１５の（ａ）はCTUが縦長の場合を示し、図
１５の（ｂ）はCTUが縦長でない場合を示す。図１５の（ａ）に示すように、CTUの幅Wd3
が高さHd3よりも小さい場合（Wd3＜Hd3）、エントロピー復号部３０１は、対象CTU（先頭CTU）の１つ上のCTUラインにおける対象CTUと同じ位置から１つ進んだ位置のCTUのCABAC
の状態を用いて復号処理を行う。また、図１５の（ｂ）に示すように、CTUの幅Wd4が高さHd4以上の場合（Wd4≧Hd4）、エントロピー復号部３０１は、対象CTU（先頭CTU）の１つ
上のCTUラインにおける対象CTUと同じ位置のCTUのCABACの状態を用いて復号処理を行う。

以上のように、本実施形態に係る画像復号装置３１は、ピクチャを複数のCTUラインに
分け、各CTUラインを上から順次、復号する画像復号装置３１において、対象CTUにおける復号処理を、対象CTUが含まれる上記CTUラインの１つ上の上記CTUラインにおける対象CTUと同一位置よりも１CTU分進んだ位置のCTUの情報を用いて行うか、または、対象CTUが含
まれる上記CTUラインの１つ上の上記CTUラインにおける対象CTUと同一位置のCTUの情報を用いて行うかを、上記CTUの大きさに基づいて決定するエントロピー復号部３０１を備え
ている。

（変形例）
CTUの幅に依存して、遅延（予測の遅延量Mp、CABACの遅延量Mc）を設定する方法を説明したが、CTUの幅に依存せずに固定的に遅延量を設定してもよい。このようにすることに
より、CTUの幅が大きくなるほど遅延が大きくなる問題を回避することができる。またCTUの幅に依存しないため処理を簡単にすることができる。

本実施形態に係る予測画像生成部３０８および予測パラメータ復号部３０２は、availableNを導出する処理において、availableN = FALSEとなる条件に、遅延量を固定サイズたとえばWPPDelaySize画素として、「entropy_coding_sync_enabled_flag が１、かつ、xNbYのCTU位置が現CTU位置から見て処理の固定サイズWPPDelaySize以上先の場合」という条件を加えて処理する。よって、本実施形態では、以下の何れかの条件が満たされる場合、availableNをFALSEとする。
xNbY is less than 0
yNbY is less than 0
xNbY is greater than or equal to pic_width_in_luma_samples
yNbY is greater than or equal to pic_height_in_luma_samples
entropy_coding_sync_enabled_flag is 1 and CTU addr of xNbY is greater than or equal to CTU addr of xCurr + WPPDelaySize
なお、
entropy_coding_sync_enabled_flag is 1 and CTU addr of xNbY is greater than or equal to CTU addr of xCurr + WPPDelaySize
は、以下の式でも同じである。
entropy_coding_sync_enabled_flag is 1 and CTU addr of xNbY is greater than CTU addr of xCurr + WPPDelaySize minus 1
ここでWPPDelaySize=64あるいは128であってもよい。

すなわち、予測画像生成部が呼び出す利用可能性判定部は、参照画素の左上座標を含むCTUアドレスが、対象CTUの左上座標アドレスに所定の定数を加算した値以上である場合に、参照画素の利用可能性を利用不可能に設定する。
また、予測画像生成部が呼び出す利用可能性判定部は、参照画素の左上座標を含むCTU
のX座標(xNbY)が、上記対象CTUの左上座標(xCurr)のX座標に所定の定数を加算した値以上の場合に、参照画素の利用可能性を利用不可能に設定してもよい。

ここで、対象位置(xCurr, yCurr)、参照位置(xNbY, yNbY)のCTU幅wCTUを単位とするCTU
位置はctuSizeBitで右シフトすることで導出することが可能であることから、availableNを以下の式を満たすにFALSEになるように導出してもよい。
entropy_coding_sync_enabled_flag is 1 and (xNbY >> ctuSizeBit) is greater than or equal to (xCurr + WPPDelaySize) >> ctuSizeBit
ここで、ctuSizeBit = log2(wCTU)。

あるいは、以下の式を満たす場合にFALSEになるように導出してもよい。
entropy_coding_sync_enabled_flag is 1 and (xNbY / wCTU) is greater than or equal
to (xCurr + WPPDelaySize) / wCTU)
また式を変形することにより、「以上」の判定を、「より大きい」の判定に置き換えてもよい。
entropy_coding_sync_enabled_flag is 1 and (xNbY / wCTU) is greater than (xCurr +
WPPDelaySize2) / wCTU)
ここでWPPDelaySize2 = WPPDelaySize - wCTUとしてもよいし、WPPDelaySize2は固定値0
、64などであってもよい。

なお、availableNをWPPに関する利用可能性フラグとして導出しても良い。このときは
、以下で導出できる。
availableN = (xNbY >> ctuSizeBit) is less than (xCurr + WPPDelaySize) >> ctuSizeBit

すなわち、予測画像生成部が呼び出す利用可能性判定部は、参照画素の左上座標を含むCTUアドレスが、対象CTUの左上座標アドレスに所定の定数を加算した値未満である場合に、参照画素の利用可能性を利用可能に設定する。
また、予測画像生成部が呼び出す利用可能性判定部は、参照画素の左上座標を含むCTU
のX座標(xNbY)が、上記対象CTUの左上座標(xCurr)のX座標に所定の定数を加算した値未満の場合に、参照画素の利用可能性を利用可能に設定してもよい。

以下でも同等である。
availableN = (xNbY / wCTU) is less than (xCurr + WPPDelaySize) / wCTU
また式を変形することにより、「未満」の判定を、「以下」の判定に置き換えてもよい。
availableN = (xNbY >> ctuSizeBit) is less than or equal to (xCurr + WPPDelaySize2) >> ctuSizeBit
または、
availableN = (xNbY / wCTU) is less than or equal to (xCurr + WPPDelaySize2) / wCTU
ここでWPPDelaySize2 = WPPDelaySize - wCTUとしてもよいし、WPPDelaySize2は固定値0
、64などであってもよい。

本実施形態のエントロピー復号部３０１は、以下の対応により上述した処理を行う。entropy_coding_sync_enabled_flag=１の場合に、CTUラインにおけるCTUのX座標（CtbAddrInRs % PicWidthInCtbsY）は、WPPDelaySize / wCTU個目のCTU（CtbAddrInRs % PicWidthInCtbsY is equal to (WPPDelaySize / wCTU) - 1）のCABAC状態をストレージ（メモリ）に保持（格納）し、次のCTUラインの先頭のCTU（CtbAddrInRs % PicWidthInCtbsY is equal to 0）で、ストレージに保持したCABAC状態を用いて初期化を行っている。ここで、CtbAddrInRsはピクチャ内でCTUをラスタスキャン順に走査した時のCTUアドレスであり、PicWidthInCtbsYはピクチャの水平方向のCTUの個数である。なお、CTUラインのX座標の計算は、ピクチャ内に限定されず、ピクチャを分割したセグメントをCTUラインで処理する場合でもよい。例えば、ピクチャを分割したセグメントの名称は、タイルグループ、タイル、サブタイル、ブリック、スライスなどがありえる。例えば、タイルの場合、CTU単位のタイルの幅TileWidthInCtbYとタイル内のCTUアドレスCtbAddrInTileを用いて上記の処理は以下に読み替えても良い。
格納：CtbAddrInTile % TileWidthInCtbsY is equal to (WPPDelaySize / wCTU) - 1
初期化：CtbAddrInTile % TileWidthInCtbsY is equal to 0
またタイルグループ幅TileGroupWidthInCtbsYを用いてもよい。
格納：CtbAddrInTile % TileGroupWidthInCtbsY is equal to (WPPDelaySize / wCTU) - 1
初期化：CtbAddrInTile % TileGroupWidthInCtbsY is equal to 0

さらに、例えば、スライスの場合、CTU単位のスライスの幅SliceWidthInCtbYとスライ
ス内のCTUアドレスCtbAddrInSliceを用いて、上記の処理を以下に読み替えても良い。
格納：CtbAddrInSlice % SliceWidthInCtbsY is equal to (WPPDelaySize / wCTU) - 1
初期化：CtbAddrInSlice % SliceWidthInCtbsY is equal to 0

なお、既に説明したように、上記までの処理の(WPPDelaySize / wCTU)は全て(xCurr + WPPDelaySize) >> ctuSizeBitと記載しても良い。

このように、WPPにおける予測処理の制限と、WPPにおけるCABAC状態ストアとCABAC状態初期化を、固定値の閾値の遅延を用いて処理することにより、CTUの幅に関わらずほぼ一
定の遅延を実現することができる。

なお、CABAC状態ストアとCABAC状態初期化のみを上記遅延量に設定し、WPPにおける予
測処理の制限は特に行わない構成も可能である。この場合には、復号側は、予測処理の遅延量は大きくなるが、CABAC復号は先に始めることができる。

異なるサイズのCTUとその遅延の例を図21に示す。CTUの幅と遅延を乗じた値は一定であり、下式の関係を満たす。

wCTU1:wCTU2 = M2+1:M1+1
ここで、M1はwCUT1の幅をもつCTUの遅延量、M2はwCTU2の幅をもつCTUの遅延量である。(a)はCTUの幅wCTU=128、(b)はwCTU=64、(c)はwCTU=32、(d)はwCTU=16の例である。そして、(a)では遅延M=0、(b)ではM=1、(c)ではM=3、(d)ではM=7に設定されている。つまり、(a)では、対象CTUラインの１つ上のCTUラインの1番目（M+1番目）のCTUの処理終了後に、1番目のCTUの予測情報、CABACの初期化情報、あるいは画素値を用いて、対象CTUラインの先頭CTUの復号を開始する。同様に、(b)では、対象CTUラインの１つ上のCTUラインの2番目（M+1番目）のCTUの処理終了後に、2番目のCTUの予測情報、CABACの初期化情報、あるいは画素値を用いて、対象CTUラインの先頭CTUの復号を開始する。同様に、(c)では、対象CTUラインの１つ上のCTUラインの4番目（M+1番目）のCTUの処理終了後に、4番目のCTUの予測情報、CABACの初期化情報、あるいは画素値を用いて、対象CTUラインの先頭CTUの復号を開始する。同様に、(d)では、対象CTUラインの１つ上のCTUラインの8番目（M+1番目）のCTUの処理終了後に、8番目のCTUの予測情報、CABACの初期化情報、あるいは画素値を用いて、対象CTUラインの先頭CTUの復号を開始する。

このように、CTUの幅をもとに遅延を設定することにより、CTUの幅に関わらずほぼ一定の遅延を実現することができる。

次に、異なるサイズのCTUとその遅延の別の例を図22に示す。所定の閾値wCTUTH以下で
は、CTUの幅と遅延を乗じた値は一定であり、下式の関係を満たす。

wCTU1:wCTU2 = M2+1:M1+1（max(wCTU1,wCTU2)<=wCTUTH）
ここで、M1はwCUT1の幅をもつCTUの遅延量、M2はwCTU2の幅をもつCTUの遅延量である。図22のwCTUは図21と同じである。wCTUTH=64とすると、(a)では遅延M=0、(b)ではM=0、(c)ではM=1、(d)ではM=3に設定される。つまり、(a)、(b)では、対象CTUラインの１つ上のCTU
ラインの1番目（M+1番目）のCTUの処理終了後に、1番目のCTUの予測情報、CABACの初期化情報、あるいは画素値を用いて、対象CTUラインの先頭CTUの復号を開始する。同様に、(c)では、対象CTUラインの１つ上のCTUラインの2番目（M+1番目）のCTUの処理終了後に、2番目のCTUの予測情報、CABACの初期化情報、あるいは画素値を用いて、対象CTUラインの
先頭CTUの復号を開始する。同様に、(d)では、対象CTUラインの１つ上のCTUラインの4番
目（M+1番目）のCTUの処理終了後に、4番目のCTUの予測情報、CABACの初期化情報、ある
いは画素値を用いて、対象CTUラインの先頭CTUの復号を開始する。

このように、CTUの幅が所定の閾値以下の場合に、CTUの幅をもとに遅延を設定することにより、遅延が大きくなりすぎず、かつ、ほぼ一定の遅延を実現することができる。

なお、上記では予測の遅延MpとCABACの遅延McをともにMとしたが、MpとMcを異なる値に設定してもよい。

（第４の実施形態）
本実施形態では、図１６に示すように、上述したWPPによる処理において、エントロピ
ー復号部３０１は、CTUラインの先頭のCTUにおいてCABACを初期化するにあたり、対象ピ
クチャ（ピクチャＱ）よりも以前に復号されたピクチャ（ピクチャＰ）において、同じ位置にあるCTUラインの最後のCTUにおけるCABACの状態を参照して、対象CTUを初期化してもよい。これにより、WPPによる処理を行う場合であっても、復号済ピクチャにおけるCABACの状態を用いて初期化することができる。なお、復号済ピクチャとは、対象ピクチャよりも前に復号されていればよく、表示順で対象ピクチャよりも前のピクチャである必要はない。

また、本実施形態では、図１７に示すように、上述したWPPによる処理において、エン
トロピー復号部３０１は、対象ピクチャ（ピクチャＱ）の復号済ピクチャ（ピクチャＰ）の同一CTUラインの最後のCTUにおけるCABACの状態と、対象ピクチャ上の対象CTUの１つ上のCTUラインの先頭から２つ目のCTUのCABACの状態とを切り替えて、当該CABACの初期化を行い、復号処理を開始するものである。これにより、WPPによる処理を行う場合であって
も、復号済ピクチャにおけるCABACの状態と、対象ピクチャ上の対象CTUの１つ上のCTUラ
インのCABACの状態を切り替えて初期化することができる。なお、復号済ピクチャとは、
対象ピクチャよりも前に復号されていればよく、表示順で対象ピクチャよりも前のピクチャである必要はない。

また、本実施形態では、予測画像生成部３０８は、イントラ予測、インター予測により予測画像を生成する場合、対象CTU（CTUラインの先頭CTU）の１つ上のCTUラインにおける対象CTUと同一位置から１つ進んだ位置にあるCTUまでの画素値および予測パラメータを用いてイントラ予測、インター予測を行う。例えば、処理１〜３の方法を用いて、M=0、0.5、1のいずれかをセットして予測処理を実施してもよい。

以上のように、本実施形態に係る画像復号装置３１は、ピクチャを複数のCTUラインに
分け、各CTUラインを上から順次、復号する画像復号装置３１において、イントラ予測、
インター予測により予測画像を生成する場合、対象CTUが含まれる上記CTUライン（第１のCTUライン）の１つ上の上記CTUライン（第２のCTUライン）における対象CTUと同一位置から１つ進んだ位置までの画素を用いて、対象CTUの復号に用いる予測画像を生成する予測
画像生成部３０８と、上記第１のCTUラインの先頭CTUのCABACの初期化を、対象CTUを含む
対象ピクチャより前に復号されたピクチャにおけるCABACの状態を用いて行うエントロピ
ー復号部３０１、あるいは、上記CTUラインにおける先頭CTUのCABACの初期化を、対象CTUを含む対象ピクチャより前に復号されたピクチャにおけるCABACの状態と、対象CTUが含まれる上記CTUラインの１つ上の上記CTUラインにおける対象CTUと同一位置のCTUのCABACの
状態とを切り替えて行うエントロピー復号部３０１と、を備えている。

（第５の実施形態）
本実施形態では、上述した第４の実施形態で説明した、復号済ピクチャのCABACの状態
を用いて初期化を行うか、対象CTUの１つ上のCTUラインにおける同じ位置、または同じ位置から１つ進んだ位置のCTUのCABACの状態を用いるかを選択する。

具体的には、復号済ピクチャのCABACの状態を用いて初期化を行うか、対象CTUの１つ上のCTUラインにおける同じ位置、または同じ位置から１つ進んだ位置のCTUのCABACの状態
を用いるかを示すフラグwpp_cabac_init_prev_pic_flagをSPS、PPS、スライスヘッダ等の符号化データに含め、エントロピー復号部３０１は、当該フラグで指定された状態を用いてCABACの初期化を行う。例えば、wpp_cabac_init_prev_pic_flag=0の場合、対象ピクチ
ャの１つ上のCTUラインのCABACの状態を用いて初期化を行い、wpp_cabac_init_prev_pic_flag=1の場合、前のピクチャのCABACの状態を用いて初期化を行う。

以上のように、本実施形態に係る画像復号装置３１は、ピクチャを複数のCTUラインに
分け、各CTUラインを上から順次、復号する画像復号装置において、対象CTUのCABACの初
期化を、対象CTUを含む対象ピクチャより前に復号された前ピクチャにおけるCABACの状態を用いて行うか、または、対象CTUラインの１つ上の上記CTUラインにおけるCTUのCABACの状態を用いて行うかを示す情報を復号するエントロピー復号部３０１を備えている。

〔応用例〕
上述した画像符号化装置１１及び画像復号装置３１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（CGおよびGUIを含む）であってもよい。

まず、上述した画像符号化装置１１及び画像復号装置３１を、動画像の送信及び受信に利用できることを、図１８を参照して説明する。

図１８の（ａ）は、画像符号化装置１１を搭載した送信装置PROD_Aの構成を示したブロック図である。図１８の（ａ）に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した画像符号化装置１１は、この符号化部PROD_A1として利用される。

送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像
するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部Ａ７を更に備えていて
もよい。図１８の（ａ）においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよい
し、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒
体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部（
不図示）を介在させるとよい。

図１８の（ｂ）は、画像復号装置３１を搭載した受信装置PROD_Bの構成を示したブロック図である。図１８の（ｂ）に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した画像復号装置３１は、この復号部PROD_B3として利用される。

受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示す
るディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図１８の（ｂ）においては
、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであって
もよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から
取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。

また、インターネットを用いたVOD（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置PROD_A／受信装置PROD_Bの一例である（通常、ＬＡＮにおいては伝送媒体として無線または有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。

次に、上述した画像符号化装置１１及び画像復号装置３１を、動画像の記録及び再生に利用できることを、図１９を参照して説明する。

図１９の（ａ）は、上述した画像符号化装置１１を搭載した記録装置PROD_Cの構成を示したブロック図である。図１９の（ａ）に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した画像符
号化装置１１は、この符号化部PROD_C1として利用される。

なお、記録媒体PROD_Mは、（１）HDD（Hard Disk Drive）やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSB（Universal Serial Bus）フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、（３）DVD（Digital Versatile Disc）やBD（Blu-ray Disc:登録商標）などのように、記録装置PROD_Cに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像
を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部PROD_C6を更に備えていてもよい。図１９の（ａ）においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。

なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし
、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子PROD_C4または受信部PROD_C5が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラPROD_C3が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部PROD_C5または画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラPROD_C3または受信部PROD_C5が動画像の主な供給源となる）なども、このような記録装置PROD_Cの一例である。

図１９の（ｂ）は、上述した画像復号装置３１を搭載した再生装置PROD_Dの構成を示したブロックである。図１９の（ｂ）に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述し
た画像復号装置３１は、この復号部PROD_D2として利用される。

なお、記録媒体PROD_Mは、（１）HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSBフラッシュメモリなどのよ
うに、再生装置PROD_Dに接続されるタイプのものであってもよいし、（３）DVDやBDなど
のように、再生装置PROD_Dに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を
表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図１９の（ｂ）においては、
これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。

なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし
、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動
画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイPROD_D3が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）、デスクトップ型PC（この場合、出力端子PROD_D4または送信部PROD_D5が動画像の主な供給先となる）、ラップトップ型またはタブレット型PC（この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）なども、このような再生装置PROD_Dの一例である。

（ハードウェア的実現およびソフトウェア的実現）
また、上述した画像復号装置３１および画像符号化装置１１の各ブロックは、集積回路（ICチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、CPU
（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記
プログラムを格納したROM（Read Only Memory）、上記プログラムを展開するRAM（Random
Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはCPUやMPU）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやCD-ROM（Compact Disc Read-Only Memory）／MOディスク（Magneto-Optical disc）／MD（Mini Disc）／DVD（Digital Versatile Disc）／CD-R（CD Recordable）／ブルーレイディスク（Blu-ray Disc：登録商標）等の光ディスクを含むディスク類、ICカード（メモリカードを含む）／光カード等のカード類、マスクROM／EPROM（Erasable Programmable Read-Only Memory）／EEPROM（Electrically Erasable and Programmable Read-Only Memory：登録商標）／フラッシュROM等の半導体メモリ類、あるいはPLD（Programmable logic device）やFPGA（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN（Local Area Network）、ISDN（Integrated Services Digital Network）、VAN（Value-Added Network）、CATV（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE（Institute of Electrical and Electronic Engineers）1394、USB、電力線搬送、ケーブルＴＶ回線、電話線、ADSL（Asymmetric Digital Subscriber Line）回線等の有線でも、IrDA（Infrared Data Association）やリモコンのような赤外線、BlueTooth（登録商標）、IEEE802.11無線、HDR（High Data Rate）、NFC（Near Field Communication）、DLNA（Digital Living Network Alliance：登録商標）、携帯電話網、衛星回線、地上デジタル放送網等の無線でも利用可能である。なお、本発明の実施形態は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１１画像符号化装置
３１画像復号装置
１０１、３０８予測画像生成部
１０４エントロピー符号化部（符号化部）
３０１エントロピー復号部（復号部）

Claims

ピクチャを複数のCTUラインに分け、各CTUラインを上から順次、復号する画像復号装置において、
予測画像を生成する場合、対象CTUが含まれる第１のCTUラインの１つ上のCTUライン（
第２のCTUライン）における対象CTUと同一位置に対し所定の定数だけ進んだ位置までのCTUの復号済データを用いて、対象CTUの予測画像を生成する予測画像生成部と、
上記第２のCTUラインにおける対象CTUと同一位置に対し所定の定数だけ進んだ位置までのCTUの情報を用いて、対象CTUを復号する復号部と、を備えていることを特徴とする画像復号装置。
ピクチャを複数のCTUラインに分け、各CTUラインを上から順次、符号化する画像符号化装置において、
予測画像を生成する場合、対象CTUが含まれる第１のCTUラインの１つ上のCTUライン（
第２のCTUライン）における対象CTUと同一位置に対し所定の定数だけ進んだ位置までのデータを用いて、対象CTUの予測画像を生成する予測画像生成部と、
上記第２のCTUラインにおける対象CTUと同一位置に対し所定の定数だけ進んだ位置までのデータを用いて、対象CTUを符号化する符号化部と、を備えていることを特徴とする画
像符号化装置。