JP2015019140A - 画像復号装置、画像符号化装置 - Google Patents
画像復号装置、画像符号化装置 Download PDFInfo
- Publication number
- JP2015019140A JP2015019140A JP2013143424A JP2013143424A JP2015019140A JP 2015019140 A JP2015019140 A JP 2015019140A JP 2013143424 A JP2013143424 A JP 2013143424A JP 2013143424 A JP2013143424 A JP 2013143424A JP 2015019140 A JP2015019140 A JP 2015019140A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- unit
- merge
- flag
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】残差予測に置いては、残差予測フラグの復号に、上の隣接ブロックの残差予測フラグが必要なため、残差予測フラグを保存するためのラインメモリが必要になる。
【解決手段】残差予測を用いるかを示すフラグである残差予測フラグを復号する際に、左の隣接ブロックの残差予測フラグに依存して導出することにより、上の隣接ブロックの残差予測フラグに依存する場合に比べ、ラインメモリを削減することが出来る。
【選択図】図５
【解決手段】残差予測を用いるかを示すフラグである残差予測フラグを復号する際に、左の隣接ブロックの残差予測フラグに依存して導出することにより、上の隣接ブロックの残差予測フラグに依存する場合に比べ、ラインメモリを削減することが出来る。
【選択図】図５
Description
本発明は、画像復号装置、画像符号化装置に関する。
複数視点の画像符号化技術には、複数の視点の画像を符号化する際に画像間の視差を予測することによって情報量を低減する視差予測符号化や、その符号化方法に対応した復号方法が提案されている。視点画像間の視差を表すベクトルを変位ベクトルと呼ぶ。変位ベクトルは、水平方向の要素（ｘ成分）と垂直方向の要素（ｙ成分）を有する２次元のベクトルであり、１つの画像を分割した領域であるブロック毎に算出される。また、複数視点の画像を取得するには、それぞれの視点に配置されたカメラを用いることが一般的である。複数視点の符号化では、各視点画像は、複数のレイヤにおいてそれぞれ異なるレイヤとして符号化される。複数のレイヤから構成される動画像の符号化方法は、一般に、スケーラブル符号化又は階層符号化と呼ばれる。スケーラブル符号化では、レイヤ間で予測を行うことで、高い符号化効率を実現する。レイヤ間で予測を行わずに基準となるレイヤは、ベースレイヤ、それ以外のレイヤは拡張レイヤと呼ばれる。レイヤが視点画像から構成される場合のスケーラブル符号化を、ビュースケーラブル符号化と呼ぶ。このとき、ベースレイヤはベースビュー、拡張レイヤは非ベースビューとも呼ばれる。さらに、ビュースケーラブルに加え、レイヤがテクスチャレイヤ（画像レイヤ）とデプスレイヤ（距離画像レイヤ）から構成される場合のスケーラブル符号化は、３次元スケーラブル符号化と呼ばれる。
また、スケーラブル符号化には、ビュースケーラブル符号化の他、空間的スケーラブル符号化（ベースレイヤとして解像度の低いピクチャ、拡張レイヤが解像度の高いピクチャを処理）、ＳＮＲスケーラブル符号化（ベースレイヤとして画質の低いピクチャ、拡張レイヤとして解像度の高いピクチャを処理）等がある。スケーラブル符号化では、例えばベースレイヤのピクチャを、拡張レイヤのピクチャの符号化において、参照ピクチャとして用いることがある。
また、非特許文献１では、通常の動き補償予測でえられる予測対象ブロックに予測された残差を足し合わせることにより、より精度の高い予測画像を得る残差予測と呼ばれる技術が知られている。
3 CE4: Advanced residual prediction for multiview coding, JCT3V-D0177, JCT-3V 4th Meeting: Incheon, KR, 20-26 Apr. 2013
しかしながら、非特許文献１の残差予測においては、残差予測を行うか否かを示すフラグを復号する場合に、対象ブロックの上に隣接するブロックで残差予測を用いたか否かを用いてコンテキストを導出する。そのため、対象ブロックの上に隣接するブロックの残差予測の状態を保存するためのラインメモリが必要になるという課題がある。
また、非特許文献１の残差予測においては、符号化データから復号する残差予測の重みは、値として０、１または２を取り得る。残差予測の重みの候補数が多いため、残差予測の重みを選択する計算量が大きくなるという課題がある。
本発明は上記の点に鑑みてなされたものであり、残差予測の実装複雑度および計算量を低減させる画像復号装置、画像復号方法、画像復号プログラム、画像符号化装置、画像符号化方法、画像符号化プログラム、画像表示システム及び画像伝送システムを提供する。
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、画像復号装置であって、動き補償画像に残差予測を適用する残差予測部と、残差予測を適用するか否かを示す残差予測フラグを復号する残差予測フラグ復号部と、コンテキストに応じて符号化データからシンタックス要素を復号するエントロピー復号部を備え、前記残差予測フラグ復号部は、対象ブロックの左に隣接するブロックの前記残差予測フラグの値に基づいて、前記対象ブロックの前記残差予測フラグを導出する場合のコンテキストを導出することを特徴とする。
（２）また、本発明の他の態様は、画像復号装置であって、動き補償画像に残差予測を適用する残差予測部と、残差予測を適用するか否かを示す残差予測フラグを復号する残差予測フラグ復号部を備え、前記残差予測フラグ復号部は、マージフラグmerge_flagが１の場合にのみ、残差予測フラグを符号化データから復号し、マージフラグmerge_flagが１ではない場合（AMVPモードの場合）には、残差予測フラグを復号せずに、残差予測を用いないことを示す０を導出することを特徴とする。
（３）また、本発明の他の態様は、画像復号装置であって、動き補償画像に残差予測を適用する残差予測部と、残差予測を適用するか否かを示す残差予測フラグを復号する残差予測フラグ復号部を備え、前記残差予測フラグ復号部は、ＡＭＶＰモードの場合、もしくは、マージモードであり、かつ、merge_idxが所定の値（ここでは３）未満の場合のみ、残差予測フラグを符号化データから復号し、マージフラグmerge_flagが１かつmerge_idxが所定の値より大きい場合には、残差予測フラグを復号せずに、残差予測を用いないことを示す０を導出することを特徴とする。
（４）また、本発明の他の態様は、画像復号装置であって、動き補償画像に残差予測を適用する残差予測部と、残差予測を適用するか否かを示す残差予測フラグを復号する残差予測フラグ復号部を備え、残差予測フラグ復号部は、マージモードであり、かつ、merge_idxが所定の値（ここでは３）未満の場合のみ、残差予測フラグを符号化データから復号し、マージモードではない（AMVPモード）場合、もしくは、マージフラグmerge_flagが１かつmerge_idxが所定の値より大きい場合には、残差予測フラグを復号せずに、残差予測を用いないことを示す０を導出することを特徴とする。
本発明によれば、残差予測の実装複雑度および計算量を低減させる。
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る画像伝送システム１の構成を示す概略図である。
画像伝送システム１は、複数のレイヤ画像を符号化した符号を伝送し、伝送された符号を復号した画像を表示するシステムである。画像伝送システム１は、画像符号化装置１１、ネットワーク２１、画像復号装置３１及び画像表示装置４１を含んで構成される。
画像符号化装置１１には、複数のレイヤ画像（テクスチャ画像ともいう）を示す信号Ｔが入力される。レイヤ画像とは、ある解像度及びある視点で視認もしくは撮影される画像である。複数のレイヤ画像を用いて３次元画像を符号化するビュースケーラブル符号化を行う場合、複数のレイヤ画像のそれぞれは、視点画像と呼ばれる。ここで、視点は撮影装置の位置又は観測点に相当する。例えば、複数の視点画像は、被写体に向かって左右の撮影装置のそれぞれが撮影した画像である。画像符号化装置１１は、この信号のそれぞれを符号化して符号化ストリームＴｅ（符号化データ）を生成する。符号化ストリームＴｅの詳細については、後述する。視点画像とは、ある視点において観測される２次元画像（平面画像）である。視点画像は、例えば２次元平面内に配置された画素毎の輝度値、又は色信号値で示される。以下では、１枚の視点画像又は、その視点画像を示す信号をピクチャ（ｐｉｃｔｕｒｅ）と呼ぶ。また、複数のレイヤ画像を用いて空間スケーラブル符号化を行う場合、その複数のレイヤ画像は、解像度の低いベースレイヤ画像と、解像度の高い拡張レイヤ画像からなる。複数のレイヤ画像を用いてＳＮＲスケーラブル符号化を行う場合、その複数のレイヤ画像は、画質の低いベースレイヤ画像と、画質の高い拡張レイヤ画像からなる。なお、ビュースケーラブル符号化、空間スケーラブル符号化、ＳＮＲスケーラブル符号化を任意に組み合わせて行っても良い。本実施形態では、複数のレイヤ画像として、少なくともベースレイヤ画像と、ベースレイヤ画像以外の画像（拡張レイヤ画像）を含む画像の符号化および復号を扱う。複数のレイヤのうち、画像もしくは符号化パラメータにおいて参照関係（依存関係）にある２つのレイヤについて、参照される側の画像を、第１レイヤ画像、参照する側の画像を第２レイヤ画像と呼ぶ。例えば、ベースレイヤを参照して符号化される（ベースレイヤ以外の）エンハンスレイヤ画像がある場合、ベースレイヤ画像を第１レイヤ画像、エンハンスレイヤ画像を第２レイヤ画像として扱う。なお、エンハンスレイヤ画像の例としては、ベースビュー以外の視点の画像、デプスの画像などがある。
ネットワーク２１は、画像符号化装置１１が生成した符号化ストリームＴｅを画像復号装置３１に伝送する。ネットワーク２１は、インターネット（internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）又はこれらの組み合わせである。ネットワーク２１は、必ずしも双方向の通信網に限らず、地上波ディジタル放送、衛星放送等の放送波を伝送する一方向又は双方向の通信網であっても良い。また、ネットワーク２１は、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blue-ray Disc）等の符号化ストリームＴｅを記録した記憶媒体で代替されても良い。
画像復号装置３１は、ネットワーク２１が伝送した符号化ストリームＴｅのそれぞれを復号し、それぞれ復号した複数の復号レイヤ画像Ｔｄ（復号視点画像Ｔｄ）を生成する。
画像表示装置４１は、画像復号装置３１が生成した複数の復号レイヤ画像Ｔｄの全部又は一部を表示する。例えば、ビュースケーラブル符号化においては、全部の場合、３次元画像（立体画像）や自由視点画像が表示され、一部の場合、２次元画像が表示される。画像表示装置４１は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。また、空間スケーラブル符号化、ＳＮＲスケーラブル符号化では、画像復号装置３１、画像表示装置４１が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示し、より低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。
＜符号化ストリームＴｅの構造＞
本実施形態に係る画像符号化装置１１および画像復号装置３１の詳細な説明に先立って、画像符号化装置１１によって生成され、画像復号装置３１によって復号される符号化ストリームＴｅのデータ構造について説明する。
本実施形態に係る画像符号化装置１１および画像復号装置３１の詳細な説明に先立って、画像符号化装置１１によって生成され、画像復号装置３１によって復号される符号化ストリームＴｅのデータ構造について説明する。
図２は、符号化ストリームＴｅにおけるデータの階層構造を示す図である。符号化ストリームＴｅは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図２の（ａ）〜（ｆ）は、それぞれ、シーケンスＳＥＱを既定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、符号化ツリーに含まれる符号化単位（Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ）を規定する符号化ユニットレイヤを示す図である。
（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図２の（ａ）に示すように、ビデオパラメータセット（Video Parameter Set）シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤＩＤを示す。図２では、＃０と＃１すなわちレイヤ０とレイヤ１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図２の（ａ）に示すように、ビデオパラメータセット（Video Parameter Set）シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤＩＤを示す。図２では、＃０と＃１すなわちレイヤ０とレイヤ１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。
ビデオパラメータセットＶＰＳは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。
ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図２の（ｂ）に示すように、スライスＳ０〜ＳＮＳ−１を含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図２の（ｂ）に示すように、スライスＳ０〜ＳＮＳ−１を含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
なお、以下、スライスＳ０〜ＳＮＳ−１のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化ストリームＴｅに含まれるデータであって、添え字を付している他のデータについても同様である。
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスＳは、図２の（ｃ）に示すように、スライスヘッダＳＨ、および、スライスデータＳＤＡＴＡを含んでいる。
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスＳは、図２の（ｃ）に示すように、スライスヘッダＳＨ、および、スライスデータＳＤＡＴＡを含んでいる。
スライスヘッダＳＨには、対象スライスの復号方法を決定するために画像復号装置３１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（ｓｌｉｃｅ＿ｔｙｐｅ）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。
なお、スライスヘッダＳＨには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットＰＰＳへの参照（pic_parameter_set_id）を含んでいても良い。
（スライスデータレイヤ）
スライスデータレイヤでは、処理対象のスライスデータＳＤＡＴＡを復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスデータＳＤＡＴＡは、図２の（ｄ）に示すように、符号化ツリーブロック（CTB:Coded Tree Block）を含んでいる。ＣＴＢは、スライスを構成する固定サイズ（例えば６４×６４）のブロックであり、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。
スライスデータレイヤでは、処理対象のスライスデータＳＤＡＴＡを復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスデータＳＤＡＴＡは、図２の（ｄ）に示すように、符号化ツリーブロック（CTB:Coded Tree Block）を含んでいる。ＣＴＢは、スライスを構成する固定サイズ（例えば６４×６４）のブロックであり、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。
（符号化ツリーレイヤ）
符号化ツリーレイヤは、図２の（ｅ）に示すように、処理対象の符号化ツリーブロックを復号するために画像復号装置３１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のノードのことを符号化ツリー（coding tree）と称する。４分木の中間ノードは、符号化ツリーユニット（CTU:Coded Tree Unit）であり、符号化ツリーブロック自身も最上位のＣＴＵとして規定される。ＣＴＵは、分割フラグ（splif_flag）を含み、splif_flagが１の場合には、４つの符号化ツリーユニットＣＴＵに分割される。splif_flagが０の場合には、符号化ツリーユニットＣＴＵは４つの符号化ユニット（CU:Coded Unit）に分割される。符号化ユニットＣＵは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットＣＵは、符号化処理の基本的な単位となる。
符号化ツリーレイヤは、図２の（ｅ）に示すように、処理対象の符号化ツリーブロックを復号するために画像復号装置３１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のノードのことを符号化ツリー（coding tree）と称する。４分木の中間ノードは、符号化ツリーユニット（CTU:Coded Tree Unit）であり、符号化ツリーブロック自身も最上位のＣＴＵとして規定される。ＣＴＵは、分割フラグ（splif_flag）を含み、splif_flagが１の場合には、４つの符号化ツリーユニットＣＴＵに分割される。splif_flagが０の場合には、符号化ツリーユニットＣＴＵは４つの符号化ユニット（CU:Coded Unit）に分割される。符号化ユニットＣＵは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットＣＵは、符号化処理の基本的な単位となる。
また、符号化ツリーブロックＣＴＢのサイズ６４×６４画素の場合には、符号化ユニットのサイズは、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。
（符号化ユニットレイヤ）
符号化ユニットレイヤは、図２の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、ＣＵヘッダＣＵＨ、予測ツリー、変換ツリー、ＣＵヘッダＣＵＦから構成される。ＣＵヘッダＣＵＨでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかなどが規定される。符号化ユニットは、予測ツリー（prediction tree;PT）および変換ツリー（transform tree;TT）のルートとなる。ＣＵヘッダＣＵＦは、予測ツリーと変換ツリーの間、もしくは、変換ツリーの後に含まれる。
符号化ユニットレイヤは、図２の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、ＣＵヘッダＣＵＨ、予測ツリー、変換ツリー、ＣＵヘッダＣＵＦから構成される。ＣＵヘッダＣＵＨでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかなどが規定される。符号化ユニットは、予測ツリー（prediction tree;PT）および変換ツリー（transform tree;TT）のルートとなる。ＣＵヘッダＣＵＦは、予測ツリーと変換ツリーの間、もしくは、変換ツリーの後に含まれる。
予測ツリーは、符号化ユニットが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ユニットを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit;PU、予測ユニット）とも称する。
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）と、Ｎ×Ｎとがある。
また、インター予測の場合、分割方法は、符号化データのpart_modeにより符号化され、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎなどがある。なお、２Ｎ×ｎＵは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×０．５Ｎと２Ｎ×１．５Ｎの２領域に分割することを示す。２Ｎ×ｎＤは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×１．５Ｎと２Ｎ×０．５Ｎの２領域に分割することを示す。ｎＬ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に０．５Ｎ×２Ｎと１．５Ｎ×２Ｎの２領域に分割することを示す。ｎＲ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に１．５Ｎ×２Ｎと０．５Ｎ×１．５Ｎの２領域に分割することを示す。分割数は１、２、４のいずれかであるため、ＣＵに含まれるＰＵは１個から４個である。これらのＰＵを順にＰＵ０、ＰＵ１、ＰＵ２、ＰＵ３と表現する。
また、変換ツリーにおいては、符号化ユニットが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ユニットを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit;TU）とも称する。
（予測パラメータ）
予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルｍｖＬ０、ｍｖＬ１から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々Ｌ０リスト、Ｌ１リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、１をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。２つの参照ピクチャリストが用いられる場合、つまり、predFlagL0＝１， predFlagL1＝１の場合が、双予測に対応し、１つの参照ピクチャリストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。なお、予測リスト利用フラグの情報は、後述のインター予測フラグinter_pred_idcで表現することもできる。通常、後述の予測画像生成部、予測パラメータメモリでは、予測リスト利用フラグが用いれ、符号化データから、どの参照ピクチャリストが用いられるか否かの情報を復号する場合にはインター予測フラグinter_pred_idcが用いられる。
予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルｍｖＬ０、ｍｖＬ１から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々Ｌ０リスト、Ｌ１リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、１をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。２つの参照ピクチャリストが用いられる場合、つまり、predFlagL0＝１， predFlagL1＝１の場合が、双予測に対応し、１つの参照ピクチャリストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。なお、予測リスト利用フラグの情報は、後述のインター予測フラグinter_pred_idcで表現することもできる。通常、後述の予測画像生成部、予測パラメータメモリでは、予測リスト利用フラグが用いれ、符号化データから、どの参照ピクチャリストが用いられるか否かの情報を復号する場合にはインター予測フラグinter_pred_idcが用いられる。
符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。
（参照ピクチャリストの一例）
次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、参照ピクチャメモリ３０６（図５）に記憶された参照ピクチャからなる列である。図３は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリスト６０１において、左右に一列に配列された５個の長方形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号、Ｐ１、Ｐ２、Ｑ０、Ｐ３、Ｐ４は、それぞれの参照ピクチャを示す符号である。Ｐ１等のＰとは、視点Ｐを示し、そしてＱ０のＱとは、視点Ｐとは異なる視点Ｑを示す。Ｐ及びＱの添字は、ピクチャ順序番号ＰＯＣを示す。refIdxLXの真下の下向きの矢印は、参照ピクチャインデックスrefIdxLXが、参照ピクチャメモリ３０６において参照ピクチャＱ０を参照するインデックスであることを示す。
次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、参照ピクチャメモリ３０６（図５）に記憶された参照ピクチャからなる列である。図３は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリスト６０１において、左右に一列に配列された５個の長方形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号、Ｐ１、Ｐ２、Ｑ０、Ｐ３、Ｐ４は、それぞれの参照ピクチャを示す符号である。Ｐ１等のＰとは、視点Ｐを示し、そしてＱ０のＱとは、視点Ｐとは異なる視点Ｑを示す。Ｐ及びＱの添字は、ピクチャ順序番号ＰＯＣを示す。refIdxLXの真下の下向きの矢印は、参照ピクチャインデックスrefIdxLXが、参照ピクチャメモリ３０６において参照ピクチャＱ０を参照するインデックスであることを示す。
（参照ピクチャの例）
次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図４は、参照ピクチャの例を示す概念図である。図４において、横軸は表示時刻を示し、縦軸は視点を示す。図４に示されている、縦２行、横３列（計６個）の長方形は、それぞれピクチャを示す。６個の長方形のうち、下行の左から２列目の長方形は復号対象のピクチャ（対象ピクチャ）を示し、残りの５個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから上向きの矢印で示される参照ピクチャＱ０は対象ピクチャと同表示時刻であって視点が異なるピクチャである。対象ピクチャを基準とする変位予測においては、参照ピクチャＱ０が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャＰ１は、対象ピクチャと同じ視点であって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャＰ２は、対象ピクチャと同じ視点であって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャＰ１又はＰ２が用いられる。
次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図４は、参照ピクチャの例を示す概念図である。図４において、横軸は表示時刻を示し、縦軸は視点を示す。図４に示されている、縦２行、横３列（計６個）の長方形は、それぞれピクチャを示す。６個の長方形のうち、下行の左から２列目の長方形は復号対象のピクチャ（対象ピクチャ）を示し、残りの５個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから上向きの矢印で示される参照ピクチャＱ０は対象ピクチャと同表示時刻であって視点が異なるピクチャである。対象ピクチャを基準とする変位予測においては、参照ピクチャＱ０が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャＰ１は、対象ピクチャと同じ視点であって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャＰ２は、対象ピクチャと同じ視点であって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャＰ１又はＰ２が用いられる。
（インター予測フラグと予測リスト利用フラグ）
インター予測フラグと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のように相互に変換可能である。そのため、インター予測パラメータとしては、予測リスト利用フラグを用いても良いし、インター予測フラグを用いてもよい。また、以下、予測リスト利用フラグを用いた判定は、インター予測フラグに置き替えても可能である。逆に、インター予測フラグを用いた判定は、予測リスト利用フラグに置き替えても可能である。
インター予測フラグと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のように相互に変換可能である。そのため、インター予測パラメータとしては、予測リスト利用フラグを用いても良いし、インター予測フラグを用いてもよい。また、以下、予測リスト利用フラグを用いた判定は、インター予測フラグに置き替えても可能である。逆に、インター予測フラグを用いた判定は、予測リスト利用フラグに置き替えても可能である。
インター予測フラグ ＝ （predFlagL1＜＜１） ＋ predFlagL0
predFlagL0 ＝インター予測フラグ ＆ １
predFlagL1 ＝インター予測フラグ ＞＞ １
ここで、＞＞は右シフト、＜＜は左シフトである。
predFlagL0 ＝インター予測フラグ ＆ １
predFlagL1 ＝インター予測フラグ ＞＞ １
ここで、＞＞は右シフト、＜＜は左シフトである。
（マージ予測とAMVP予測）
予測パラメータの復号（符号化）方法には、マージ予測（ｍｅｒｇｅ）モードとAMVP（Adaptive Motion Vector Prediction、適応動きベクトル予測）モードがある、マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードでも、AMVPモードでも、既に処理済みのブロックの予測パラメータを用いて、対象ＰＵの予測パラメータが導出される。マージ予測モードは、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idcinter_pred_idc）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めずに、既に導出した予測パラメータをそのまま用いるモードであり、AMVPモードは、インター予測フラグinter_pred_idcinter_pred_idc、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めるモードである。なおベクトルmvLXは、予測ベクトルを示す予測ベクトルインデックスmvp_LX_idxと差分ベクトル（mvdLX）として符号化される。
予測パラメータの復号（符号化）方法には、マージ予測（ｍｅｒｇｅ）モードとAMVP（Adaptive Motion Vector Prediction、適応動きベクトル予測）モードがある、マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードでも、AMVPモードでも、既に処理済みのブロックの予測パラメータを用いて、対象ＰＵの予測パラメータが導出される。マージ予測モードは、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idcinter_pred_idc）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めずに、既に導出した予測パラメータをそのまま用いるモードであり、AMVPモードは、インター予測フラグinter_pred_idcinter_pred_idc、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めるモードである。なおベクトルmvLXは、予測ベクトルを示す予測ベクトルインデックスmvp_LX_idxと差分ベクトル（mvdLX）として符号化される。
インター予測フラグinter_pred_idcは、参照ピクチャの種類および数を示すデータであり、Ｐｒｅｄ＿Ｌ０、Ｐｒｅｄ＿Ｌ１、Ｐｒｅｄ＿Ｂｉの何れかの値をとる。Ｐｒｅｄ＿Ｌ０、Ｐｒｅｄ＿Ｌ１は、各々Ｌ０リスト、Ｌ１リストと呼ばれる参照ピクチャリストに記憶された参照ピクチャが用いられることを示し、共に１枚の参照ピクチャを用いること（単予測）を示す。Ｌ０リスト、Ｌ１リストを用いた予測を各々Ｌ０予測、Ｌ１予測と呼ぶ。Ｐｒｅｄ＿Ｂｉは２枚の参照ピクチャを用いること（双予測）を示し、Ｌ０リストとＬ１リストに記憶された参照ピクチャの２つを用いることを示す。予測ベクトルインデックスmvp_LX_idxは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストに記憶された参照ピクチャを示すインデックスである。なお、ＬＸは、Ｌ０予測とＬ１予測を区別しない場合に用いられる記述方法であり、ＬＸをＬ０、Ｌ１に置き換えることでＬ０リストに対するパラメータとＬ１リストに対するパラメータを区別するする。例えば、refIdxL0はＬ０予測に用いる参照ピクチャインデックス、refIdxL1はＬ１予測に用いる参照ピクチャインデックス、refIdx（refIdxLX）は、refIdxL0とrefIdxL1を区別しない場合に用いられる表記である。
マージインデックスmerge_idxは、処理が完了したブロックから導出される予測パラメータ候補（マージ候補）のうち、いずれかの予測パラメータを復号対象ブロックの予測パラメータとして用いるかを示すインデックスである。
（動きベクトルと変位ベクトル）
ベクトルmvLXには、動きベクトルと変位ベクトル（disparity vector、視差ベクトル）がある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、異なる表示時刻（例えば、隣接する離散時刻）における同一のレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、異なる視点のピクチャである場合、もしくは、異なる解像度のピクチャである場合などがある。特に、異なる視点のピクチャに対応する変位ベクトルを視差ベクトルと呼ぶ。以下の説明では、動きベクトルと変位ベクトルを区別しない場合には、単にベクトルmvLXと呼ぶ。ベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。ベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか、変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて行われる。
ベクトルmvLXには、動きベクトルと変位ベクトル（disparity vector、視差ベクトル）がある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、異なる表示時刻（例えば、隣接する離散時刻）における同一のレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、異なる視点のピクチャである場合、もしくは、異なる解像度のピクチャである場合などがある。特に、異なる視点のピクチャに対応する変位ベクトルを視差ベクトルと呼ぶ。以下の説明では、動きベクトルと変位ベクトルを区別しない場合には、単にベクトルmvLXと呼ぶ。ベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。ベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか、変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて行われる。
（画像復号装置の構成）
次に、本実施形態に係る画像復号装置３１の構成について説明する。図５は、本実施形態に係る画像復号装置３１の構成を示す概略図である。画像復号装置３１は、エントロピー復号部３０１、予測パラメータ復号部３０２、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）３０６、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）３０７、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１、及び加算部３１２、残差格納部３１３（残差記録部）を含んで構成される。
次に、本実施形態に係る画像復号装置３１の構成について説明する。図５は、本実施形態に係る画像復号装置３１の構成を示す概略図である。画像復号装置３１は、エントロピー復号部３０１、予測パラメータ復号部３０２、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）３０６、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）３０７、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１、及び加算部３１２、残差格納部３１３（残差記録部）を含んで構成される。
また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０を含んで構成される。
エントロピー復号部３０１は、外部から入力された符号化ストリームＴｅに対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための残差情報などがある。
エントロピー復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、予測モードPredMode、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idcinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックmvp_LX_idx、差分ベクトルmvdLXである。どの符号を復号するか否かの制御は、予測パラメータ復号部３０２の指示に基づいて行われる。エントロピー復号部３０１は、量子化係数を逆量子化・逆ＤＣＴ部３１１に出力する。この量子化係数は、符号化処理において、残差信号に対してＤＣＴ（Discrete Cosine Transform、離散コサイン変換）を行い量子化して得られる係数である。
インター予測パラメータ復号部３０３は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してインター予測パラメータを復号する。
インター予測パラメータ復号部３０３は、復号したインター予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。インター予測パラメータ復号部３０３の詳細については後述する。
イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してイントラ予測パラメータを復号する。イントラ予測パラメータとは、ピクチャブロックを１つのピクチャ内で予測する処理で用いるパラメータ、例えば、イントラ予測モードＩｎｔｒａPredModeである。イントラ予測パラメータ復号部３０４は、復号したイントラ予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。
イントラ予測パラメータ復号部３０４は、輝度と色差で異なるイントラ予測モードを導出しても良い。この場合、イントラ予測パラメータ復号部３０４は、輝度の予測パラメータとして輝度予測モードIntraPredModeY、色差の予測パラメータとして、色差予測モードIntraPredModeCを復号する。輝度予測モードIntraPredModeYは、３５モードであり、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２〜３４）が対応する。色差予測モードIntraPredModeCは、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２、３、４）、ＬＭモード（５）の何れかを用いるもの。
参照ピクチャメモリ３０６は、加算部３１２が生成した参照ピクチャのブロック（参照ピクチャブロック）を、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
予測パラメータメモリ３０７は、予測パラメータを、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ３０７は、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及びエントロピー復号部３０１が分離した予測モードpredModeを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idcinter_pred_idc）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXがある。
予測画像生成部３０８には、エントロピー復号部３０１から入力された予測モードpredModeが入力され、また予測パラメータ復号部３０２から予測パラメータが入力される。また、予測画像生成部３０８は、参照ピクチャメモリ３０６から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードpredModeが示す予測モードで、入力された予測パラメータと読み出した参照ピクチャを用いて予測ピクチャブロックＰ（予測画像）を生成する。
ここで、予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャを用いてインター予測により予測ピクチャブロックＰを生成する。予測ピクチャブロックＰは予測単位ＰＵに対応する。ＰＵは、上述したように予測処理を行う単位となる複数の画素からなるピクチャの一部分、つまり１度に予測処理が行われる復号対象ブロックに相当する。
インター予測画像生成部３０９は、予測リスト利用フラグpredFlagLXが１である参照ピクチャリスト（Ｌ０リスト、もしくはＬ１リスト）に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャから、復号対象ブロックを基準としてベクトルmvLXが示す位置にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックについて予測を行って予測ピクチャブロックＰを生成する。インター予測画像生成部３０９は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に復号されたブロックのうち復号対象ブロックから予め定めた範囲にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。予め定めた範囲とは、復号対象ブロックがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接ブロックのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。
イントラ予測画像生成部３１０は、読み出した参照ピクチャブロックについてイントラ予測モードIntraPredModeが示す予測モードで予測を行って予測ピクチャブロックを生成する。イントラ予測画像生成部３１０は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
イントラ予測パラメータ復号部３０４において、輝度と色差で異なるイントラ予測モードを導出する場合、イントラ予測画像生成部３１０は、輝度予測モードIntraPredModeYに応じて、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２〜３４）の何れかによって輝度の予測ピクチャブロックを生成し、色差予測モードIntraPredModeCに応じて、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２、３、４）、ＬＭモード（５）の何れかによって色差の予測ピクチャブロックを生成する。
逆量子化・逆ＤＣＴ部３１１は、エントロピー復号部３０１から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部３１１は、求めたＤＣＴ係数について逆ＤＣＴ（Inverse Discrete Cosine Transform、逆離散コサイン変換）を行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部３１１は、算出した復号残差信号を加算部３１２および残差格納部３１３に出力する。
加算部３１２は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０から入力された予測ピクチャブロックＰと逆量子化・逆ＤＣＴ部３１１から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部３１２は、生成した参照ピクチャブロックを参照ピクチャメモリ３０６に記憶し、生成した参照ピクチャブロックをピクチャ毎に統合した復号レイヤ画像Ｔｄを外部に出力する。
（インター予測パラメータ復号部の構成）
次に、インター予測パラメータ復号部３０３の構成について説明する。
（インター予測パラメータ復号部の構成）
次に、インター予測パラメータ復号部３０３の構成について説明する。
図６は、本実施形態に係るインター予測パラメータ復号部３０３の構成を示す概略図である。インター予測パラメータ復号部３０３は、インター予測パラメータ復号制御部３０３１、AMVP予測パラメータ導出部３０３２、加算部３０３５及びマージ予測パラメータ導出部３０３６を含んで構成される。
インター予測パラメータ復号制御部３０３１は、インター予測に関連する符号（シンタックス要素の復号をエントロピー復号部３０１に指示し、符号化データに含まれる符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idcinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを抽出する。
インター予測パラメータ復号制御部３０３１は、まず、符号化データからマージフラグを抽出する。インター予測パラメータ復号制御部３０３１が、あるシンタックス要素を抽出すると表現する場合は、あるシンタックス要素の復号をエントロピー復号部３０１に指示し、該当のシンタックス要素を符号化データから読み出すことを意味する。ここで、マージフラグが示す値が１、すなわち、マージ予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、マージ予測に係る予測パラメータとして、マージインデックスmerge_idxを抽出する。インター予測パラメータ復号制御部３０３１は、抽出したマージインデックスmerge_idxをマージ予測パラメータ導出部３０３６に出力する。
マージフラグmerge_flagが０、すなわち、AMVP予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、エントロピー復号部３０１を用いて符号化データからAMVP予測パラメータを抽出する。AMVP予測パラメータとして、例えば、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。インター予測パラメータ復号制御部３０３１は、抽出したインター予測フラグinter_pred_idcinter_pred_idcから導出した予測リスト利用フラグpredFlagLXと、参照ピクチャインデックスrefIdxLXをAMVP予測パラメータ導出部３０３２及び予測画像生成部３０８（図５）に出力し、また予測パラメータメモリ３０７（図５）に記憶する。インター予測パラメータ復号制御部３０３１は、抽出したベクトルインデックスmvp_LX_idxをAMVP予測パラメータ導出部３０３２に出力する。インター予測パラメータ復号制御部３０３１は、抽出した差分ベクトルmvdLXを加算部３０３５に出力する。
図７は、本実施形態に係るマージ予測パラメータ導出部３０３６の構成を示す概略図である。マージ予測パラメータ導出部３０３６は、マージ候補導出部３０３６１とマージ候補選択部３０３６２を備える。マージ候補導出部３０３６１は、マージ候補格納部３０３６１１と、拡張マージ候補導出部３０３６１２と基本マージ候補導出部３０３６１３を含んで構成される。
マージ候補格納部３０３６１１は、拡張マージ候補導出部３０３６１２及び基本マージ候補導出部３０３６１３から入力されたマージ候補を格納する。なお、マージ候補は、予測リスト利用フラグpredFlagLX、ベクトルmvLX、参照ピクチャインデックスrefIdxLXを含んで構成されている。マージ候補格納部３０３６１１において、格納されたマージ候補には、所定の規則に従ってインデックスが割り当てられる。例えば、拡張マージ候補導出部３０３６１２から入力されたマージ候補には、インデックスとして「０」を割り当てる。
拡張マージ候補導出部３０３６１２は、変位ベクトル取得部３０３６１２２と、レイヤ間マージ候補導出部３０３６１２１と変位マージ候補導出部３０３６１２３、図示しないＢＶＳＰマージ候補導出部３０３６１２４を含んで構成される。
変位ベクトル取得部３０３６１２２は、まず、復号対象ブロックに隣接する複数の候補ブロック（例えば、左、上、右上に隣接するブロック）から順に変位ベクトルを取得する。具体的には、候補ブロックの一つを選択し、選択した候補ブロックのベクトルが変位ベクトルであるか動きベクトルであるかを、候補ブロックの参照ピクチャインデックスrefIdxLXを用いてリファレンスレイヤ判定部３０３１１１（後述）を用いて判定し変位ベクトルが有る場合には、それを変位ベクトルとする。候補ブロックに変位ベクトルがない場合には、次の候補ブロックを順に走査する。隣接するブロックに変位ベクトルがない場合、変位ベクトル取得部３０３６１２２は、時間的に別の表示順の参照ピクチャに含まれるブロックの対象ブロックに対応する位置のブロックの変位ベクトルの取得を試みる。変位ベクトルが取得できなかった場合には、変位ベクトル取得部３０３６１２２は、変位ベクトルとしてゼロベクトルを設定する。変位ベクトル取得部３０３６１２２は、変位ベクトルをレイヤ間マージ候補導出部３０３６１２１及び変位マージ候補導出部に出力する。
レイヤ間マージ候補導出部３０３６１２１は、変位ベクトル取得部３０３６１２２から変位ベクトルを入力される。レイヤ間マージ候補導出部３０３６１２１は、別レイヤ（例えばベースレイヤ、ベースビュー）の復号対象ピクチャと同一ＰＯＣを持つピクチャ内から、変位ベクトル取得部３０３６１２２から入力された変位ベクトルだけが示すブロックを選択し、該ブロックが有する動きベクトルである予測パラメータを予測パラメータメモリ３０７から読み出す。より具体的には、レイヤ間マージ候補導出部３０３６１２１が読みだす予測パラメータは、対象ブロックの中心点を起点にしたときに、起点の座標に変位ベクトルを加算した座標を含むブロックの予測パラメータである。
参照ブロックの座標（ｘＲｅｆ、ｙＲｅｆ）は、対象ブロックの座標が（ｘＰ、ｙＰ）、変位ベクトルが（mvDisp［０］、mvDisp［１］）、対象ブロックの幅と高さがｎＰＳＷ、ｎＰＳＨの場合に以下の式により導出する。
参照ブロックの座標（ｘＲｅｆ、ｙＲｅｆ）は、対象ブロックの座標が（ｘＰ、ｙＰ）、変位ベクトルが（mvDisp［０］、mvDisp［１］）、対象ブロックの幅と高さがｎＰＳＷ、ｎＰＳＨの場合に以下の式により導出する。
xRef = Clip3( 0, PicWidthInSamplesL - 1, xP + ( ( nPSW - 1 ) >> 1 ) + ( ( mvDisp[0] + 2 ) >> 2 ) )
yRef = Clip3( 0, PicHeightInSamplesL - 1, yP + ( ( nPSH - 1 ) >> 1 ) + ( ( mvDisp[1] + 2 ) >> 2 ))
なお、レイヤ間マージ候補導出部３０３６１２１は、予測パラメータが動きベクトルか否かを、インター予測パラメータ復号制御部３０３１に含まれる後述するリファレンスレイヤ判定部３０３１１１の判定方法において偽（変位ベクトルではない）と判定した方法により判定する。レイヤ間マージ候補導出部３０３６１２１は、読みだした予測パラメータをマージ候補としてマージ候補格納部３０３６１１に出力する。また、レイヤ間マージ候補導出部３０３６１２１は、予測パラメータを導出出来なかった際には、その旨を変位マージ候補導出部に出力する。本マージ候補は、動き予測のインターレイヤ候補（インタービュー候補）でありレイヤ間マージ候補（動き予測）とも記載する。
yRef = Clip3( 0, PicHeightInSamplesL - 1, yP + ( ( nPSH - 1 ) >> 1 ) + ( ( mvDisp[1] + 2 ) >> 2 ))
なお、レイヤ間マージ候補導出部３０３６１２１は、予測パラメータが動きベクトルか否かを、インター予測パラメータ復号制御部３０３１に含まれる後述するリファレンスレイヤ判定部３０３１１１の判定方法において偽（変位ベクトルではない）と判定した方法により判定する。レイヤ間マージ候補導出部３０３６１２１は、読みだした予測パラメータをマージ候補としてマージ候補格納部３０３６１１に出力する。また、レイヤ間マージ候補導出部３０３６１２１は、予測パラメータを導出出来なかった際には、その旨を変位マージ候補導出部に出力する。本マージ候補は、動き予測のインターレイヤ候補（インタービュー候補）でありレイヤ間マージ候補（動き予測）とも記載する。
変位マージ候補導出部３０３６１２３は、変位ベクトル取得部３０３６１２２から変位ベクトルを入力される。変位マージ候補導出部３０３６１２３は、入力された変位ベクトルと、変位ベクトルが指す先のレイヤ画像の参照ピクチャインデックスrefIdxLX（例えば、復号対象ピクチャと同一ＰＯＣを持つベースレイヤ画像のインデックス）をマージ候補としてマージ候補格納部３０３６１１に出力する。本マージ候補は、変位予測のインターレイヤ候補（インタービュー候補）でありレイヤ間マージ候補（変位予測）とも記載する。
ＢＶＳＰマージ候補導出部３０３６１２４は、ブロック視点合成予測（Block View Synthesis Prediction）マージ候補を導出する。ＢＶＳＰマージ候補は、別の視点画像から予測画像を生成する変位マージ候補の一種であるが、ＰＵ内をさらに小さいブロックに分割して、予測画像生成処理を行うマージ候補である。
基本マージ候補導出部３０３６１３は、空間マージ候補導出部３０３６１３１と時間マージ候補導出部３０３６１３２と結合マージ候補導出部３０３６１３３とゼロマージ候補導出部３０３６１３４を含んで構成される。
空間マージ候補導出部３０３６１３１は、所定の規則に従って、予測パラメータメモリ３０７が記憶している予測パラメータ（予測リスト利用フラグpredFlagLX、ベクトルmvLX、参照ピクチャインデックスrefIdxLX）を読み出し、読み出した予測パラメータをマージ候補として導出する。読み出される予測パラメータは、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）のそれぞれに係る予測パラメータである。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
時間マージ候補導出部３０３６１３２は、復号対象ブロックの右下の座標を含む参照画像中のブロックの予測パラメータを予測パラメータメモリ３０７から読みだしマージ候補とする。参照画像の指定方法は、例えば、スライスヘッダに置いて指定された参照ピクチャインデックスrefIdxLXでも良いし、復号対象ブロックに隣接するブロックの参照ピクチャインデックスrefIdxLXのうち最小のものを用いて指定しても良い。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
結合マージ候補導出部３０３６１３３は、既に導出されマージ候補格納部３０３６１１に格納された２つの異なる導出済マージ候補のベクトルと参照ピクチャインデックスを、それぞれＬ０、Ｌ１のベクトルとして組み合わせることで結合マージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
ゼロマージ候補導出部３０３６１３４は、参照ピクチャインデックスrefIdxLXが０であり、ベクトルmvLXのＸ成分、Ｙ成分が共に０であるマージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
図２２は、マージ候補導出部３０３６１が導出するマージ候補の例を示すものである。２つのマージ候補が同じ予測パラメータである場合に順番を詰める処理を除くと、マージインデックス順に、レイヤ間マージ候補、空間マージ候補（左下）、空間マージ候補（右上）、空間マージ候補（右上）、変位マージ候補、ＢＶＳＰマージ候補、空間マージ候補（左下）、空間マージ候補（左上）、時間マージ候補の順になる。また、それ以降に、結合マージ候補、ゼロマージ候補があるが、図２２では省略している。
マージ候補選択部３０３６２は、マージ候補格納部３０３６１１に格納されているマージ候補のうち、インター予測パラメータ復号制御部３０３１から入力されたマージインデックスmerge_idxに対応するインデックスが割り当てられたマージ候補を、対象ＰＵのインター予測パラメータとして選択する。マージ候補選択部３０３６２は選択したマージ候補を予測パラメータメモリ３０７（図５）に記憶するとともに、予測画像生成部３０８（図５）に出力する。
図８は、本実施形態に係るAMVP予測パラメータ導出部３０３２の構成を示す概略図である。AMVP予測パラメータ導出部３０３２は、ベクトル候補導出部３０３３と予測ベクトル選択部３０３４を備える。ベクトル候補導出部３０３３は、参照ピクチャインデックスrefIdxに基づいて予測パラメータメモリ３０７（図５）が記憶するベクトル（動きベクトル又は変位ベクトル）をベクトル候補mvpLXとして読み出す。読み出されるベクトルは、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）のそれぞれに係るベクトルである。
予測ベクトル選択部３０３４は、ベクトル候補導出部３０３３が読み出したベクトル候補のうち、インター予測パラメータ復号制御部３０３１から入力されたベクトルインデックスmvp_LX_idxが示すベクトル候補を予測ベクトルmvpLXとして選択する。予測ベクトル選択部３０３４は、選択した予測ベクトルmvpLXを加算部３０３５に出力する。
図９は、ベクトル候補の一例を示す概念図である。図９に示す予測ベクトルリスト６０２は、ベクトル候補導出部３０３３において導出される複数のベクトル候補からなるリストである。予測ベクトルリスト６０２において、左右に一列に配列された５個の長方形は、それぞれ予測ベクトルを示す領域を示す。左端から２番目のmvp_LX_idxの真下の下向きの矢印とその下のmvpLXは、ベクトルインデックスmvp_LX_idxが、予測パラメータメモリ３０７においてベクトルmvpLXを参照するインデックスであることを示す。
候補ベクトルは、復号処理が完了したブロックであって、復号対象ブロックから予め定めた範囲のブロック（例えば、隣接ブロック）を参照し、参照したブロックに係るベクトルに基づいて生成される。なお、隣接ブロックには、対象ブロックに空間的に隣接するブロック、例えば、左ブロック、上ブロックの他、対象ブロックに時間的に隣接するブロック、例えば、対象ブロックと同じ位置で、表示時刻が異なるブロックから得られたブロックを含む。
加算部３０３５は、予測ベクトル選択部３０３４から入力された予測ベクトルmvpLXとインター予測パラメータ復号制御部から入力された差分ベクトルmvdLXを加算してベクトルmvLXを算出する。加算部３０３５は、算出したベクトルmvLXを予測画像生成部３０８（図５）に出力する。
図１４は、第１の実施形態のインター予測パラメータ復号制御部３０３１の構成を示すブロック図である。図１４に示すように、インター予測パラメータ復号制御部３０３１は、残差予測フラグ復号部３０３１１、及び図示しない、分割モード復号部、マージフラグ復号部３０３１２、マージインデックス復号部３０３１３、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル候補インデックス復号部、ベクトル差分復号部を含んで構成される。分割モード復号部、マージフラグ復号部、マージインデックス復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル候補インデックス復号部、ベクトル差分復号部は各々、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを復号する。
残差予測フラグ復号部３０３１１は、残差予測フラグコンテキスト導出部３０３１１３、残差予測フラグ格納部３０３１１２を含んで構成される。
図１５は、第１の実施形態の残差予測フラグコンテキスト導出部３０３１１３のコンテキスト導出方法を示す図である。図１５に示すように、残差予測フラグコンテキスト導出部３０３１１３は、対象ブロックの左に隣接するブロックの残差予測フラグiv_res_pred_weight_idx[ xL ][ yL ]を用いて、コンテキストインデックスctxIdxを
condL = iv_res_pred_weight_idx[ xL ][ yL ]
ctxIdx = ( condL && availableL )
の式から導出する。
condL = iv_res_pred_weight_idx[ xL ][ yL ]
ctxIdx = ( condL && availableL )
の式から導出する。
ここで、condLは、対象ブロックの左に隣接するブロックの動き補償パラメータから得られる値であり、ここでは、iv_res_pred_weight_idx[ xL ][ yL ]である。iv_res_pred_weight_idx[ xL ][ yL ]は残差予測フラグ格納部３０３１１２に格納された値を用いる。xL、yLは、それぞれ左に隣接するブロックのＸ座標とＹ座標、availableLは、左に隣接するブロックの利用可能性を示す。左に隣接するブロックが画面外に位置する、もしくは、対象ブロックの属するスライスとは異なるスライスに属する場合、availableLは０となる。それ以外の場合には、availableLは１となる。
導出されたコンテキストインデックスctxIdxは、エントロピー復号部３０１に入力される。エントロピー復号部３０１では、入力されたコンテキストインデックスに従って、残差予測フラグiv_res_pred_weight_idxが復号される。
残差予測フラグiv_res_pred_weight_idxは、残差予測フラグ格納部３０３１１２に記録されると共に、インター予測画像生成部３０９に入力される。
上記構成の残差予測フラグ復号部３０３１１によれば、残差予測における重み係数を示す残差予測フラグiv_res_pred_weight_idxを、左の隣接ブロックの残差予測フラグに依存して導出するため、上の隣接ブロックの残差予測フラグに依存する場合に比べ、ラインメモリを削減する効果を奏する。
変位ベクトル取得部は、対象ＰＵに隣接するブロックが変位ベクトルを持つ場合には、その変位ベクトルを予測パラメータメモリ３０７から抽出し、予測パラメータメモリ３０７を参照し、対象ＰＵに隣接するブロックの予測フラグpredFlagLX、参照ピクチャインデックスrefIdxLXとベクトルmvLXを読み出す。変位ベクトル取得部は、内部にリファレンスレイヤ判定部３０３１１１を備える。変位ベクトル取得部は、対象ＰＵに隣接するブロックの予測パラメータを順に読み出し、リファレンスレイヤ判定部３０３１１１を用いて、隣接ブロックの参照ピクチャインデックスから隣接ブロックが変位ベクトルを備えるか否かを判定する。隣接ブロックが変位ベクトルを備える場合には、その変位ベクトルを出力する。隣接ブロックの予測パラメータに変位ベクトルが無い場合にはゼロベクトルを変位ベクトルとして出力する。
（リファレンスレイヤ判定部３０３１１１）
リファレンスレイヤ判定部３０３１１１は、入力された参照ピクチャインデックスrefIdxLXに基づいて、参照ピクチャインデックスrefIdxLXが指す参照ピクチャと、対象ピクチャの関係を示すリファレンスレイヤ情報reference_layer_infoを定める。リファレンスレイヤ情報reference_layer_infoは、参照ピクチャへのベクトルmvLXが変位ベクトルであるか動きベクトルであるかを示す情報である。
リファレンスレイヤ判定部３０３１１１は、入力された参照ピクチャインデックスrefIdxLXに基づいて、参照ピクチャインデックスrefIdxLXが指す参照ピクチャと、対象ピクチャの関係を示すリファレンスレイヤ情報reference_layer_infoを定める。リファレンスレイヤ情報reference_layer_infoは、参照ピクチャへのベクトルmvLXが変位ベクトルであるか動きベクトルであるかを示す情報である。
対象ピクチャのレイヤと参照ピクチャのレイヤが同じレイヤである場合の予測を、同一レイヤ予測と呼び、この場合に得られるベクトルは動きベクトルである。対象ピクチャのレイヤと、参照ピクチャのレイヤが異なるレイヤである場合の予測をレイヤ間予測と呼び、この場合に得られるベクトルは変位ベクトルである。
（インター予測画像生成部３０９）
図１０は、本実施形態に係るインター予測画像生成部３０９の構成を示す概略図である。インター予測画像生成部３０９は、動き変位補償部３０９１、残差予測部３０９２、照度補償部３０９３、重み予測部３０９４を含んで構成される。
図１０は、本実施形態に係るインター予測画像生成部３０９の構成を示す概略図である。インター予測画像生成部３０９は、動き変位補償部３０９１、残差予測部３０９２、照度補償部３０９３、重み予測部３０９４を含んで構成される。
（動き変位補償）
動き変位補償部３０９１は、インター予測パラメータ復号部３０３から入力された、予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXに基づいて、参照ピクチャメモリ３０６から、参照ピクチャインデックスrefIdxLXで指定された参照ピクチャの対象ブロックの位置を起点として、ベクトルmvLXだけずれた位置にあるブロックを読み出すことによって動き変位補償画像を生成する。ここで、ベクトルmvLXが整数ベクトルでない場合には、動き補償フィルタ（もしくは変位補償フィルタ）と呼ばれる小数位置の画素を生成するためのフィルタを施して、動き変位補償画像を生成する。一般に、ベクトルmvLXが動きベクトルの場合、上記処理を動き補償と呼び、変位ベクトルの場合は変位補償と呼ぶ。ここでは総称して動き変位補償と表現する。以下、Ｌ０予測の動き変位補償画像をpredSamplesL0、Ｌ１予測の動き変位補償画像をpredSamplesL1と呼ぶ。両者を区別しない場合predSamplesLXと呼ぶ。以下、動き変位補償部３０９１で得られた動き変位補償画像predSamplesLXに、さらに残差予測および照度補償が行われる例を説明するが、これらの出力画像もまた、動き変位補償画像predSamplesLXと呼ぶ。なお、以下の残差予測および照度補償において、入力画像と出力画像を区別する場合には、入力画像をpredSamplesLX、出力画像をpredSamplesLX´と表現する。
動き変位補償部３０９１は、インター予測パラメータ復号部３０３から入力された、予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXに基づいて、参照ピクチャメモリ３０６から、参照ピクチャインデックスrefIdxLXで指定された参照ピクチャの対象ブロックの位置を起点として、ベクトルmvLXだけずれた位置にあるブロックを読み出すことによって動き変位補償画像を生成する。ここで、ベクトルmvLXが整数ベクトルでない場合には、動き補償フィルタ（もしくは変位補償フィルタ）と呼ばれる小数位置の画素を生成するためのフィルタを施して、動き変位補償画像を生成する。一般に、ベクトルmvLXが動きベクトルの場合、上記処理を動き補償と呼び、変位ベクトルの場合は変位補償と呼ぶ。ここでは総称して動き変位補償と表現する。以下、Ｌ０予測の動き変位補償画像をpredSamplesL0、Ｌ１予測の動き変位補償画像をpredSamplesL1と呼ぶ。両者を区別しない場合predSamplesLXと呼ぶ。以下、動き変位補償部３０９１で得られた動き変位補償画像predSamplesLXに、さらに残差予測および照度補償が行われる例を説明するが、これらの出力画像もまた、動き変位補償画像predSamplesLXと呼ぶ。なお、以下の残差予測および照度補償において、入力画像と出力画像を区別する場合には、入力画像をpredSamplesLX、出力画像をpredSamplesLX´と表現する。
（残差予測）
残差予測部３０９２は、残差予測実施フラグresPredFlagが１の場合に、入力された動き変位補償画像predSamplesLXに対して、残差予測を行う。残差予測実施フラグresPredFlagが０の場合には、入力された動き変位補償画像predSamplesLXをそのまま出力する。refResSamples残差予測は、予測画像生成の対象とする対象レイヤ（第２のレイヤ画像）とは異なる参照レイヤ（第１のレイヤ画像）の残差を、対象レイヤの予測した画像である動き変位補償画像predSamplesLXに加えることにより行われる。すなわち、参照レイヤと同様の残差が対象レイヤにも生じると仮定して、既に導出された参照レイヤの残差を対象レイヤの残差の推定値として用いる。ベースレイヤ（ベースビュー）では同じレイヤの画像のみが参照画像となる。従って、参照レイヤ（第１のレイヤ画像）がベースレイヤ（ベースビュー）である場合には、参照レイヤの予測画像は動き補償による予測画像であることから、対象レイヤ（第２のレイヤ画像）による予測においても、動き補償による予測画像である場合に、残差予測は有効である。すなわち、残差予測は対象ブロックが動き補償の場合に有効であるという特性を持つ。
残差予測部３０９２は、残差予測実施フラグresPredFlagが１の場合に、入力された動き変位補償画像predSamplesLXに対して、残差予測を行う。残差予測実施フラグresPredFlagが０の場合には、入力された動き変位補償画像predSamplesLXをそのまま出力する。refResSamples残差予測は、予測画像生成の対象とする対象レイヤ（第２のレイヤ画像）とは異なる参照レイヤ（第１のレイヤ画像）の残差を、対象レイヤの予測した画像である動き変位補償画像predSamplesLXに加えることにより行われる。すなわち、参照レイヤと同様の残差が対象レイヤにも生じると仮定して、既に導出された参照レイヤの残差を対象レイヤの残差の推定値として用いる。ベースレイヤ（ベースビュー）では同じレイヤの画像のみが参照画像となる。従って、参照レイヤ（第１のレイヤ画像）がベースレイヤ（ベースビュー）である場合には、参照レイヤの予測画像は動き補償による予測画像であることから、対象レイヤ（第２のレイヤ画像）による予測においても、動き補償による予測画像である場合に、残差予測は有効である。すなわち、残差予測は対象ブロックが動き補償の場合に有効であるという特性を持つ。
図１１は残差予測部３０９２の構成を示すブロック図である。残差予測部３０９２は、残差予測実施フラグ導出部３０９２１と、参照画像取得部３０９２２と、残差合成部３０９２３から構成される。
残差予測実施フラグ導出部３０９２１は、残差予測フラグiv_res_pred_weight_idxが０ではなく、かつ、対象ブロックが動き補償である場合に、残差予測実施フラグresPredFlagに残差予測を実行することを示す１を設定する。一方、残差予測フラグiv_res_pred_weight_idxが０である、又は、対象ブロックが動き補償でない場合（視差補償である場合）に、残差予測実施フラグresPredFlagに０を設定する。
参照画像取得部３０９２２は、残差予測実施フラグresPredFlagが１の場合には、インター予測パラメータ復号部３０３から入力された動きベクトルmvLXと残差予測変位ベクトルmvDisp、及び参照ピクチャメモリ３０６に格納された対応ブロックcurrIvSamplesLXと対応ブロックの参照ブロックrefIvSamplesLXを読み出す。
図１２は、対応ブロックcurrIvSamplesLXを説明するための図である。図１２に示すように、対象レイヤ上の対象ブロックに対応する対応ブロックは、参照レイヤ上の画像の対象ブロックの位置を起点として、参照レイヤと対象レイヤの位置関係を示すベクトルである変位ベクトルmvDispだけずれた位置になるブロックに位置する。
具体的には、参照画像取得部３０９２２は、対象ブロックの画素の座標（ｘ，ｙ）を、対象ブロックの変位ベクトルmvDispだけずらした位置の画素を導出する。変位ベクトルmvDispが１／４ペルの小数精度であることを考慮し、参照画像取得部３０９２２は、対象ブロックの画素の座標が（ｘＰ、ｙＰ）である場合に対応する整数精度の画素Ｒ０のＸ座標xIntとＹ座標yInt、及び変位ベクトルmvDispのＸ成分の小数部分xFracとＹ成分の小数部分yFracを
xInt = xPb + ( mvLX[ 0 ] >> 2 )
yInt = yPb + ( mvLX[ 1 ] >> 2 )
xFrac = mvLX[ 0 ] & 3
yFrac = mvLX[ 1 ] & 3
の式により導出する。ここで、Ｘ & 3は、Ｘの下位２ビットのみを取り出す数式である。
xInt = xPb + ( mvLX[ 0 ] >> 2 )
yInt = yPb + ( mvLX[ 1 ] >> 2 )
xFrac = mvLX[ 0 ] & 3
yFrac = mvLX[ 1 ] & 3
の式により導出する。ここで、Ｘ & 3は、Ｘの下位２ビットのみを取り出す数式である。
次に、参照画像取得部３０９２２は、変位ベクトルmvDispが１／４ペルの小数精度であることを考慮し、補間画素predPartLX[ x ][ y ]を生成する。まず、整数画素Ａ(xA,yB)、Ｂ(xB,yB)、Ｃ(xC,yC)及びＤ(xD,yD)の座標を
xA = Clip3( 0, picWidthInSamples - 1, xInt )
xB = Clip3( 0, picWidthInSamples - 1, xInt + 1 )
xC = Clip3( 0, picWidthInSamples - 1, xInt )
xD = Clip3( 0, picWidthInSamples - 1, xInt + 1 )
yA = Clip3( 0, picHeightInSamples - 1, yInt )
yB = Clip3( 0, picHeightInSamples - 1, yInt )
yC = Clip3( 0, picHeightInSamples - 1, yInt + 1 )
yD = Clip3( 0, picHeightInSamples - 1, yInt + 1 )
の式により導出する。ここで、整数画素Ａは画素Ｒ０に対応した画素であり、整数画素Ｂ，Ｃ，Ｄはそれぞれ整数画素Ａの右、下、右下に隣接する整数精度の画素であり、Clip3(x, y, z）は、ｚをｘ以上、ｙ以下に制限（クリップ）する関数である。参照画像取得部３０９２２は、各整数画素Ａ、Ｂ、Ｃ、及びＤに対応する参照画素refPicLX[ xA ][ yA ]、refPicLX[ xB ][ yB ]、refPicLX[ xC ][ yC ]、及びrefPicLX[ xD ][ yD ]を参照ピクチャメモリ３０６から読み出す。
xA = Clip3( 0, picWidthInSamples - 1, xInt )
xB = Clip3( 0, picWidthInSamples - 1, xInt + 1 )
xC = Clip3( 0, picWidthInSamples - 1, xInt )
xD = Clip3( 0, picWidthInSamples - 1, xInt + 1 )
yA = Clip3( 0, picHeightInSamples - 1, yInt )
yB = Clip3( 0, picHeightInSamples - 1, yInt )
yC = Clip3( 0, picHeightInSamples - 1, yInt + 1 )
yD = Clip3( 0, picHeightInSamples - 1, yInt + 1 )
の式により導出する。ここで、整数画素Ａは画素Ｒ０に対応した画素であり、整数画素Ｂ，Ｃ，Ｄはそれぞれ整数画素Ａの右、下、右下に隣接する整数精度の画素であり、Clip3(x, y, z）は、ｚをｘ以上、ｙ以下に制限（クリップ）する関数である。参照画像取得部３０９２２は、各整数画素Ａ、Ｂ、Ｃ、及びＤに対応する参照画素refPicLX[ xA ][ yA ]、refPicLX[ xB ][ yB ]、refPicLX[ xC ][ yC ]、及びrefPicLX[ xD ][ yD ]を参照ピクチャメモリ３０６から読み出す。
そして、参照画像取得部３０９２２は、参照画素refPicLX[ xA ][ yA ]、refPicLX[ xB ][ yB ]、refPicLX[ xC ][ yC ]、refPicLX[ xD ][ yD ]と変位ベクトルmvDispのＸ成分の小数部分xFracとＹ成分の小数部分yFracを用いて、画素Ｒ０から変位ベクトルmvDispの小数部分だけずらした位置の画素である補間画素predPartLX[ x ][ y ]を導出する。具体的には、
predPartLX[ x ][ y ] = (refPicLX[ xA ][ yA ] * ( 8 - xFrac ) * ( 8 - yFrac ) + refPicLX[ xB ][ yB ] * ( 8 - yFrac ) * xFrac
+ refPicLX[ xC ][ yC ] * ( 8 - xFrac ) * yFrac
+ refPicLX[ xD ][ yD ] * xFrac * yFrac ) >> 6
の式により導出する。
predPartLX[ x ][ y ] = (refPicLX[ xA ][ yA ] * ( 8 - xFrac ) * ( 8 - yFrac ) + refPicLX[ xB ][ yB ] * ( 8 - yFrac ) * xFrac
+ refPicLX[ xC ][ yC ] * ( 8 - xFrac ) * yFrac
+ refPicLX[ xD ][ yD ] * xFrac * yFrac ) >> 6
の式により導出する。
参照画像取得部３０９２２は、上記の補間画素導出処理を、対象ブロック内の各画素に対して行い、補間画素の集合を補間ブロックpredPartLXとする。参照画像取得部３０９２２は、導出した補間ブロックpredPartLXを、対応ブロックcurrIvSamplesLXとして、残差合成部３０９２３に出力する。
図１３は、参照ブロックrefIvSamplesLXを説明するための図である。図１３に示すように、参照レイヤ上の対応ブロックに対応する参照ブロックは、参照レイヤ上の参照画像の対応ブロックの位置を起点として、対象ブロックの動きベクトルmvLXだけずれた位置になるブロックに位置する。
参照画像取得部３０９２２は、対応ブロックcurrIvSamplesLXを導出した処理と、変位ベクトルmvDispをベクトル（mvDisp[ 0 ] + mvLX [ 0 ]、mvDisp[ 1 ] + mvLX [ 1 ]）に置き換えている点を除いて、同様の処理を行うことで、対応ブロックrefIvSamplesLXを導出する。参照画像取得部３０９２２は、対応ブロックrefIvSamplesLXを残差合成部３０９２３に出力する。
残差合成部３０９２３は、残差予測実施フラグresPredFlagが１の場合には、動き変位補償画像predSamplesLX、対応ブロックcurrIvSamplesLX、参照ブロックrefIvSamplesLX及び残差予測フラグiv_res_pred_weight_idxから、補正動き変位補償画像predSamplesLX´を導出する。補正動き変位補償画像predSamplesLX´は、
predSamplesLX´ = predSamplesLX +
((currIvSamplesLX - refIvSamplesLX) >> (iv_res_pred_weight_idx - 1))
の式を用いて求める。残差合成部３０９２３は、残差予測実施フラグresPredFlagが０の場合には、動き変位補償画像predSamplesLXをそのまま出力する。
predSamplesLX´ = predSamplesLX +
((currIvSamplesLX - refIvSamplesLX) >> (iv_res_pred_weight_idx - 1))
の式を用いて求める。残差合成部３０９２３は、残差予測実施フラグresPredFlagが０の場合には、動き変位補償画像predSamplesLXをそのまま出力する。
（照度補償）
照度補償部３０９３は、照度補償フラグic_enable_flagが１の場合に、入力された動き変位補償画像predSamplesLXに対して、照度補償を行う。照度補償フラグic_enable_flagが０の場合には、入力された動き変位補償画像predSamplesLXをそのまま出力する。照度補償部３０９３に入力される動き変位補償画像predSamplesLXは、残差予測がオフの場合には、動き変位補償部３０９１の出力画像であり、残差予測がオンの場合には、残差予測部３０９２の出力画像である。
照度補償部３０９３は、照度補償フラグic_enable_flagが１の場合に、入力された動き変位補償画像predSamplesLXに対して、照度補償を行う。照度補償フラグic_enable_flagが０の場合には、入力された動き変位補償画像predSamplesLXをそのまま出力する。照度補償部３０９３に入力される動き変位補償画像predSamplesLXは、残差予測がオフの場合には、動き変位補償部３０９１の出力画像であり、残差予測がオンの場合には、残差予測部３０９２の出力画像である。
（画像符号化装置の構成）
次に、本実施形態に係る画像符号化装置１１の構成について説明する。図２３は、本実施形態に係る画像符号化装置１１の構成を示すブロック図である。画像符号化装置１１は、予測画像生成部１０１、減算部１０２、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、加算部１０６、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）１０８、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）１０９、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、残差格納部３１３（残差記録部）を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。
次に、本実施形態に係る画像符号化装置１１の構成について説明する。図２３は、本実施形態に係る画像符号化装置１１の構成を示すブロック図である。画像符号化装置１１は、予測画像生成部１０１、減算部１０２、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、加算部１０６、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）１０８、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）１０９、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、残差格納部３１３（残差記録部）を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。
予測画像生成部１０１は、外部から入力されたレイヤ画像Ｔの視点毎の各ピクチャについて、そのピクチャを分割した領域であるブロック毎に予測ピクチャブロックＰを生成する。ここで、予測画像生成部１０１は、予測パラメータ符号化部１１１から入力された予測パラメータに基づいて参照ピクチャメモリ１０９から参照ピクチャブロックを読み出す。予測パラメータ符号化部１１１から入力された予測パラメータとは、例えば、動きベクトル又は変位ベクトルである。予測画像生成部１０１は、符号化対象ブロックを起点として予測された動きベクトル又は変位ベクトルが示す位置にあるブロックの参照ピクチャブロックを読み出す。予測画像生成部１０１は、読み出した参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いて予測ピクチャブロックＰを生成する。予測画像生成部１０１は、生成した予測ピクチャブロックＰを減算部１０２に出力する。なお、予測画像生成部１０１は、既に説明した予測画像生成部３０８と同じ動作であるため予測ピクチャブロックＰの生成の詳細は省略する。
予測画像生成部１０１は、予測方式を選択するために、例えば、レイヤ画像に含まれるブロックの画素毎の信号値と予測ピクチャブロックＰの対応する画素毎の信号値との差分に基づく誤差値を最小にする予測方式を選択する。予測方式を選択する方法は、これには限られない。
符号化対象のピクチャがベースビューピクチャである場合には、複数の予測方式とは、イントラ予測、動き予測及びマージ予測である。動き予測とは、上述のインター予測のうち、表示時刻間の予測である。マージ予測とは、既に符号化されたブロックであって、符号化対象ブロックから予め定めた範囲内にあるブロックと同一の参照ピクチャブロック及び予測パラメータを用いる予測である。符号化対象のピクチャがノンベースビューピクチャである場合には、複数の予測方式とは、イントラ予測、動き予測、マージ予測、及び変位予測である。変位予測（視差予測）とは、上述のインター予測のうち、別レイヤ画像（別視点画像）間の予測である。さらに、動き予測、マージ予測、及び変位予測である。変位予測（視差予測）に対して、追加予測（残差予測および照度補償）を行う場合と行わない場合の予測がある。
予測画像生成部１０１は、イントラ予測を選択した場合、予測ピクチャブロックＰを生成する際に用いたイントラ予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
予測画像生成部１０１は、動き予測を選択した場合、予測ピクチャブロックＰを生成する際に用いた動きベクトルmvLXを予測パラメータメモリ１０８に記憶し、インター予測パラメータ符号化部１１２に出力する。動きベクトルmvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。動きベクトルmvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ピクチャ順序番号ＰＯＣ）を含み、予測パラメータを表すものであっても良い。また、予測画像生成部１０１は、インター予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
予測画像生成部１０１は、変位予測を選択した場合、予測ピクチャブロックＰを生成する際に用いた変位ベクトルを予測パラメータメモリ１０８に記憶し、インター予測パラメータ符号化部１１２に出力する。変位ベクトルdvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。変位ベクトルdvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ビューＩＤview_id）を含み、予測パラメータを表すものであっても良い。また、予測画像生成部１０１は、インター予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
予測画像生成部１０１は、マージ予測を選択した場合、選択した参照ピクチャブロックを示すマージインデックスmerge_idxをインター予測パラメータ符号化部１１２に出力する。また、予測画像生成部１０１は、マージ予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
上記の、動き予測、変位予測、マージ予測において、予測画像生成部１０１は、残差予測実施フラグresPredFlagが残差予測を行うことを示す場合には、既に説明したように予測画像生成部１０１に含まれる残差予測部３０９２において残差予測を行う
減算部１０２は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値を、外部から入力されたレイヤ画像Ｔの対応するブロックの信号値から画素毎に減算して、残差信号を生成する。減算部１０２は、生成した残差信号をＤＣＴ・量子化部１０３と符号化パラメータ決定部１１０に出力する。
減算部１０２は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値を、外部から入力されたレイヤ画像Ｔの対応するブロックの信号値から画素毎に減算して、残差信号を生成する。減算部１０２は、生成した残差信号をＤＣＴ・量子化部１０３と符号化パラメータ決定部１１０に出力する。
ＤＣＴ・量子化部１０３は、減算部１０２から入力された残差信号についてＤＣＴを行い、ＤＣＴ係数を算出する。ＤＣＴ・量子化部１０３は、算出したＤＣＴ係数を量子化して量子化係数を求める。ＤＣＴ・量子化部１０３は、求めた量子化係数をエントロピー符号化部１０４及び逆量子化・逆ＤＣＴ部１０５に出力する。
エントロピー符号化部１０４には、ＤＣＴ・量子化部１０３から量子化係数が入力され、符号化パラメータ決定部１１０から符号化パラメータが入力される。入力される符号化パラメータには、例えば、参照ピクチャインデックスrefIdxLX、ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、予測モードpredMode、及びマージインデックスmerge_idx等の符号がある。
エントロピー符号化部１０４は、入力された量子化係数と符号化パラメータをエントロピー符号化して符号化ストリームＴｅを生成し、生成した符号化ストリームＴｅを外部に出力する。
逆量子化・逆ＤＣＴ部１０５は、ＤＣＴ・量子化部１０３から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部１０５は、求めたＤＣＴ係数について逆ＤＣＴを行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部１０５は、算出した復号残差信号を加算部１０６に出力する。
加算部１０６は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値と逆量子化・逆ＤＣＴ部１０５から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部１０６は、生成した参照ピクチャブロックを参照ピクチャメモリ１０９に記憶する。
予測パラメータメモリ１０８は、予測パラメータ符号化部１１１が生成した予測パラメータを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
参照ピクチャメモリ１０９は、加算部１０６が生成した参照ピクチャブロックを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
符号化パラメータ決定部１１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述した予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。予測画像生成部１０１は、これらの符号化パラメータのセットの各々を用いて予測ピクチャブロックＰを生成する。
符号化パラメータ決定部１１０は、複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームＴｅの情報量である。二乗誤差は、減算部１０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部１１０は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部１０４は、選択した符号化パラメータのセットを符号化ストリームＴｅとして外部に出力し、選択されなかった符号化パラメータのセットを出力しない。
予測パラメータ符号化部１１１は、予測画像生成部１０１から入力されたパラメータに基づいて予測ピクチャを生成する際に用いる予測パラメータを導出し、導出した予測パラメータを符号化して符号化パラメータのセットを生成する。予測パラメータ符号化部１１１は、生成した符号化パラメータのセットをエントロピー符号化部１０４に出力する。
予測パラメータ符号化部１１１は、生成した符号化パラメータのセットのうち符号化パラメータ決定部１１０が選択したものに対応する予測パラメータを予測パラメータメモリ１０８に記憶する。
予測パラメータ符号化部１１１は、予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合、インター予測パラメータ符号化部１１２を動作させる。予測パラメータ符号化部１１１は、予測モードpredModeがイントラ予測モードを示す場合、イントラ予測パラメータ符号化部１１３を動作させる。
インター予測パラメータ符号化部１１２は、符号化パラメータ決定部１１０から入力された予測パラメータに基づいてインター予測パラメータを導出する。インター予測パラメータ符号化部１１２は、インター予測パラメータを導出する構成として、インター予測パラメータ復号部３０３（図５等、参照）がインター予測パラメータを導出する構成と同一の構成を含む。インター予測パラメータ符号化部１１２の構成については、後述する。
イントラ予測パラメータ符号化部１１３は、符号化パラメータ決定部１１０から入力された予測モードpredModeが示すイントラ予測モードIntraPredModeをインター予測パラメータのセットとして定める。
（インター予測パラメータ符号化部の構成）
次に、インター予測パラメータ符号化部１１２の構成について説明する。インター予測パラメータ符号化部１１２は、インター予測パラメータ復号部３０３に対応する手段である。
次に、インター予測パラメータ符号化部１１２の構成について説明する。インター予測パラメータ符号化部１１２は、インター予測パラメータ復号部３０３に対応する手段である。
図２４は、本実施形態に係るインター予測パラメータ符号化部１１２の構成を示す概略図である。
インター予測パラメータ符号化部１１２は、インター予測パラメータ符号化制御部１０３１、マージ予測パラメータ導出部１１２１、AMVP予測パラメータ導出部１１２２、減算部１１２３、及び予測パラメータ統合部１１２６を含んで構成される。
マージ予測パラメータ導出部１１２１は、上述のマージ予測パラメータ導出部３０３６（図７参照）と同様な構成を有する。
インター予測パラメータ符号化制御部１０３１は、インター予測に関連する符号（シンタックス要素の復号をエントロピー符号化部１０４に指示し、符号化データに含まれる符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idcinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを符号化する。
インター予測パラメータ符号化制御部１０３１は、追加予測フラグ符号化部１０３１１、マージインデックス符号化部１０３１２、ベクトル候補インデックス符号化部１０３１３、分割モード符号化部、マージフラグ符号化部、インター予測フラグ符号化部、参照ピクチャインデックス符号化部、ベクトル差分符号化部を含んで構成される。分割モード符号化部、マージフラグ符号化部、マージインデックス符号化部、インター予測フラグ符号化部、参照ピクチャインデックス符号化部、ベクトル候補インデックス符号化部１０３１３、ベクトル差分符号化部は各々、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idcinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを符号化する。
追加予測フラグ符号化部１０３１１は、追加予測が行われるか否かを示すために、照度補償フラグic_enable_flag、残差予測フラグiv_res_pred_weight_flsgを符号化する。
マージ予測パラメータ導出部１１２１には、予測画像生成部１０１から入力された予測モードpredModeがマージ予測モードを示す場合、符号化パラメータ決定部１１０からマージインデックスmerge_idxが入力される。マージインデックスmerge_idxは、予測パラメータ統合部１１２６に出力される。マージ予測パラメータ導出部１１２１は、マージ候補のうちマージインデックスmerge_idxが示す参照ブロックの参照ピクチャインデックスrefIdxLX、ベクトルmvLXを予測パラメータメモリ１０８から読み出す。マージ候補とは、符号化対象となる符号化対象ブロックから予め定めた範囲にある参照ブロック（例えば、符号化対象ブロックの左下端、左上端、右上端に接する参照ブロックのうち）であって、符号化処理が完了した参照ブロックである。
AMVP予測パラメータ導出部１１２２は、上述のAMVP予測パラメータ導出部３０３２（図８参照）と同様な構成を有する。
AMVP予測パラメータ導出部１１２２には、予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合、符号化パラメータ決定部１１０からベクトルmvLXが入力される。AMVP予測パラメータ導出部１１２２は、入力されたベクトルmvLXに基づいて予測ベクトルmvpLXを導出する。AMVP予測パラメータ導出部１１２２は、導出した予測ベクトルmvpLXを減算部１１２３に出力する。なお、参照ピクチャインデックスrefIdx及びベクトルインデックスmvp_LX_idxは、予測パラメータ統合部１１２６に出力される。
減算部１１２３は、符号化パラメータ決定部１１０から入力されたベクトルmvLXからAMVP予測パラメータ導出部１１２２から入力された予測ベクトルmvpLXを減算して差分ベクトルmvdLXを生成する。差分ベクトルmvdLXは予測パラメータ統合部１１２６に出力する。
予測画像生成部１０１から入力された予測モードpredModeがマージ予測モードを示す場合には、予測パラメータ統合部１１２６は、符号化パラメータ決定部１１０から入力されたマージインデックスmerge_idxをエントロピー符号化部１０４に出力する。
予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合には、予測パラメータ統合部１１２６は、次の処理を行う。
予測パラメータ統合部１１２６は、符号化パラメータ決定部１１０から入力された参照ピクチャインデックスrefIdxLX及びベクトルインデックスmvp_LX_idx、減算部１１２３から入力された差分ベクトルmvdLXを統合する。予測パラメータ統合部１１２６は、統合した符号をエントロピー符号化部１０４に出力する。
（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について説明する。第２の実施形態は、動き補償パラメータ、特にマージモードフラグmerge_flagおよびマージモードインデックスmerge_idxに応じて、残差予測フラグiv_res_pred_weight_idxを符号化・復号するか否かを切り替える。
以下、図面を参照しながら本発明の第２の実施形態について説明する。第２の実施形態は、動き補償パラメータ、特にマージモードフラグmerge_flagおよびマージモードインデックスmerge_idxに応じて、残差予測フラグiv_res_pred_weight_idxを符号化・復号するか否かを切り替える。
第２の実施形態の構成は、以下の３構成を順に説明する
画像符号化装置１１Ｂ１、画像復号装置３１Ｂ１
画像符号化装置１１Ｂ２、画像復号装置３１Ｂ２
画像符号化装置１１Ｂ３、画像復号装置３１Ｂ３
（画像符号化装置１１Ｂ１、画像復号装置３１Ｂ１）
以下、第２の実施形態の１構成である画像符号化装置１１Ｂ１と画像復号装置３１Ｂ１を説明する。
画像符号化装置１１Ｂ１、画像復号装置３１Ｂ１
画像符号化装置１１Ｂ２、画像復号装置３１Ｂ２
画像符号化装置１１Ｂ３、画像復号装置３１Ｂ３
（画像符号化装置１１Ｂ１、画像復号装置３１Ｂ１）
以下、第２の実施形態の１構成である画像符号化装置１１Ｂ１と画像復号装置３１Ｂ１を説明する。
画像符号化装置１１Ｂ１は、、残差予測フラグ復号手段として、第１の実施形態で説明した追加予測フラグ符号化部１０３１１の変わりに、追加予測フラグ符号化部１０３１１Ｂ１を用いる。
画像復号装置３１Ｂ１は、残差予測フラグ復号手段として、第１の実施形態で説明した残差予測フラグ復号部３０３１１の変わりに、残差予測フラグ復号部３０３１１Ｂ１を用いる。残差予測フラグ復号部３０３１１Ｂ１を含むインター予測パラメータ復号制御部を、インター予測パラメータ復号制御部３０３１Ｂ１とする。
本実施形態における追加予測フラグ符号化部１０３１１Ｂ１は、追加予測フラグ符号化部１０３１１とは、符号化モードがマージモードでない場合に、残差予測フラグiv_res_pred_weight_flsgを符号化しない点のみが異なる。
図１６は、第２の実施形態のインター予測パラメータ復号制御部３０３１Ｂ１の構成を示すブロック図である。図１６に示すように、インター予測パラメータ復号制御部３０３１Ｂ１は、残差予測フラグ復号部３０３１１Ｂ１、マージフラグ復号部３０３１２、及び図示しない、マージインデックス復号部３０３１３、分割モード復号部、インター予測フラグ復号部、ベクトル候補インデックス復号部、参照ピクチャインデックス復号部、ベクトル差分復号部を含んで構成される。
残差予測フラグ復号部３０３１１Ｂ１は、残差フラグ判定部３０３１１３Ｂ１を含んで構成される。
図１７は、残差予測フラグ復号部３０３１１Ｂ１が復号対象とする符号化データの構成を示す例である。図１７に示すように、符号化データは、マージモードの場合、即ち、Ｓ１００１に示すように、対象ブロックがスキップモードで符号化されたか否かを示すスキップフラグskip_flagが１、もしくは、Ｓ１００２に示すように、マージフラグmerge_flagが１の場合にのみ残差予測フラグiv_res_pred_weight_idxを含む。
残差予測フラグ復号部３０３１１Ｂ１は、スキップフラグskip_flagが１、もしくは、マージフラグmerge_flagが１の場合にのみ、残差予測フラグiv_res_pred_weight_idxを符号化データから復号し、インター予測画像生成部３０９に出力する。それ以外の場合（ＡＭＶＰモードの場合）には、残差予測フラグiv_res_pred_weight_idxを復号せずに、残差予測を用いないことを示す０を設定した残差予測フラグiv_res_pred_weight_idxをインター予測画像生成部３０９に出力する。
上記構成の残差予測フラグ復号部３０３１１Ｂ１によれば、残差予測を用いる予測パラメータ候補の数が減少するため、残差予測フラグを導出するための計算量を削減する効果を奏する。また、追加予測フラグ符号化部１０３１１Ｂ１は、ＡＭＶＰモードの場合、即ち、対象ブロックが視差補償である可能性がある場合には、残差予測フラグを符号化しないため、効果の小さいＡＭＶＰモードにおいて、無駄な符号が発生しないという効果を奏する。また、ＡＭＶＰモードでは残差予測を行わないため残差予測の計算量を削減する効果も奏する。
（画像符号化装置１１Ｂ２、画像復号装置３１Ｂ２）
以下、第２の実施形態の１構成である画像符号化装置１１Ｂ２と画像復号装置３１Ｂ２を説明する。
以下、第２の実施形態の１構成である画像符号化装置１１Ｂ２と画像復号装置３１Ｂ２を説明する。
画像符号化装置１１Ｂ２は、は、残差予測フラグ復号手段として、第１の実施形態で説明した追加予測フラグ符号化部１０３１１の変わりに、追加予測フラグ符号化部１０３１１Ｂ２を用いる。
画像復号装置３１Ｂ２は、残差予測フラグ復号手段として、第１の実施形態で説明した残差予測フラグ復号部３０３１１の変わりに、残差予測フラグ復号部３０３１１Ｂ１を用いる。残差予測フラグ復号部３０３１１Ｂ２を含むインター予測パラメータ復号制御部を、インター予測パラメータ復号制御部３０３１Ｂ２とする。 本変形例における追加予測フラグ符号化部１０３１１Ｂ２は、追加予測フラグ符号化部１０３１１とは、マージモードであり、かつ、マージインデックスmerge_idxが所定の値（ここでは３）未満の場合（merge_flag == 1 && merge_idx < 3）、もしくはＡＭＶＰモードの場合（merge_flag == 0）にのみ、残差予測フラグiv_res_pred_weight_flsgを符号化する点のみが異なる。
図１８は、本変形例のインター予測パラメータ復号制御部３０３１Ｂ２の構成を示すブロック図である。図１８に示すように、インター予測パラメータ復号制御部３０３１Ｂ２は、残差予測フラグ復号部３０３１１Ｂ２、マージフラグ復号部３０３１２、マージインデックス復号部３０３１３、及び図示しない、分割モード復号部、インター予測フラグ復号部、ベクトル候補インデックス復号部、参照ピクチャインデックス復号部、ベクトル差分復号部を含んで構成される。
残差予測フラグ復号部３０３１１Ｂ２は、残差フラグ判定部３０３１１３Ｂ２を含んで構成される。
図１９は、残差予測フラグ復号部３０３１１Ｂ２が復号対象とする符号化データの構成を示す例である。図１９に示すように、符号化データは、マージモードでありかつマージインデックスmerge_idxが所定の値（ここでは３）未満の場合（merge_flag == 1 && merge_idx < 3）、もしくはＡＭＶＰモードの場合（merge_flag == 0）にのみ、残差予測フラグiv_res_pred_weight_idxを含む。
なお、図２２に示すように、マージインデックスmerge_idx＝４、５のマージ候補は、変位マージ候補およびＢＶＳＰマージ候補である。変位マージ候補およびＢＶＳＰマージ候補は、動き補償以外の予測（視差予測）であるから、残差予測実施フラグresPredFlagは０であり、実行されない。そのため、マージインデックスmerge_idx＝４、５に対して、残差予測フラグiv_res_pred_weight_idxを符号化することは無駄である（残差予測フラグiv_res_pred_weight_idxがどのような値であっても、残差予測は実施されない）。本実施形態では、マージインデックスmerge_idxが所定の値以上の場合に、残差予測フラグiv_res_pred_weight_idxを符号化しないことにより、このような無駄をなくすことができる。なお、図２２では変位マージ候補およびＢＶＳＰマージ候補は、マージインデックスmerge_idx＝４、５として導出されるが、実際には、それ以前の空間マージ候補が同じ予測パラメータを有することによって、番号が詰められていることが多い。そのため、所定の値として３を用いることも好適である。
残差予測フラグ復号部３０３１１Ｂ２は、ＡＭＶＰモードの場合、もしくは、マージモードであり、かつ、マージインデックスmerge_idxが所定の値（ここでは３）未満の場合のみ、残差予測フラグiv_res_pred_weight_idxを符号化データから復号し、インター予測画像生成部３０９に出力する。一方、マージフラグmerge_flagが１かつマージインデックスmerge_idxが所定の値より大きい場合には、残差予測フラグiv_res_pred_weight_idxを復号せずに、残差予測フラグiv_res_pred_weight_idxに残差予測を用いないことを示す０を設定し、インター予測画像生成部３０９に出力する。
上記構成の残差予測フラグ復号部３０３１１Ｂ２によれば、残差予測を用いる予測パラメータ候補の数が減少するため、残差予測フラグを導出するための計算量を削減する効果を奏する。
（画像符号化装置１１Ｂ３、画像復号装置３１Ｂ３）
以下、第２の実施形態の１構成である画像符号化装置１１Ｂ３と画像復号装置３１Ｂ３を説明する。
以下、第２の実施形態の１構成である画像符号化装置１１Ｂ３と画像復号装置３１Ｂ３を説明する。
画像符号化装置１１Ｂ３は、残差予測フラグ復号手段として、第１の実施形態で説明した追加予測フラグ符号化部１０３１１の変わりに、追加予測フラグ符号化部１０３１１Ｂ３を用いる。
画像復号装置３１Ｂ３は、残差予測フラグ復号手段として、第１の実施形態で説明した残差予測フラグ復号部３０３１１の変わりに、残差予測フラグ復号部３０３１１Ｂ１を用いる。残差予測フラグ復号部３０３１１Ｂ３を含むインター予測パラメータ復号制御部を、インター予測パラメータ復号制御部３０３１Ｂ３とする。 本変形例における追加予測フラグ符号化部１０３１１Ｂ３は、追加予測フラグ符号化部１０３１１とは、マージモードであり、かつ、マージインデックスmerge_idxが所定の値（ここでは３）未満の場合（merge_flag == 1 && merge_idx < 3）にのみ、残差予測フラグiv_res_pred_weight_flsgを符号化する点のみが異なる。
以下、本変形例のインター予測パラメータ復号制御部３０３１Ｂ３を説明する。インター予測パラメータ復号制御部３０３１Ｂ３の構成は、図１８に示すインター予測パラメータ復号制御部３０３１Ｂ２と、残差予測フラグ復号部３０３１１Ｂ２に代えて残差予測フラグ復号部３０３１１Ｂ３を、残差フラグ判定部３０３１１３Ｂ２に代えて残差フラグ判定部３０３１１３Ｂ３を有する点を除いて、同様の構成である。
図２０は、残差予測フラグ復号部３０３１１Ｂ３が復号対象とする符号化データの構成を示す例である。図２０に示すようにマージモードであり、かつ、merge_idxが所定の値（ここでは３）未満の場合のみ、残差予測フラグiv_res_pred_weight_idxを含む。
残差予測フラグ復号部３０３１１Ｂ３は、マージモードであり、かつ、merge_idxが所定の値（ここでは３）未満の場合のみ、残差予測フラグiv_res_pred_weight_idxを符号化データから復号し、インター予測画像生成部３０９に出力する。一方、マージモードではない（ＡＭＶＰモード）場合、もしくは、マージフラグmerge_flagが１かつmerge_idxが所定の値より大きい場合には、残差予測フラグiv_res_pred_weight_idxを復号せずに、残差予測フラグiv_res_pred_weight_idxに残差予測を用いないことを示す０を設定し、インター予測画像生成部３０９に出力する。
上記構成の残差予測フラグ復号部３０３１１Ｂ３によれば、残差予測を用いる予測パラメータ候補の数が減少するため、残差予測フラグを導出するための計算量を削減する効果を奏する。
図２１は、残差予測フラグ復号部３０３１１Ｂ３を用いて残差予測フラグiv_res_pred_weight_idxを復号する場合における、マージモードである場合の、マージインデックスmerge_idxと、残差予測の重み数を示すものである。merge_idxが所定の値（ここでは３）未満の場合のみ、残差予測をオンとし（ここでは２選択）、merge_idxが所定の値（ここでは３）以上の場合には、残差予測の重み数は１、即ち、残差予測の重みは０となり、残差予測をオフとすることが分かる。
第２の実施形態の別の形態（インター予測パラメータ復号制御部３０３１Ｂ２）において、図２２を用いて説明したように、特に、マージインデックスmerge_idxが所定の値（ここでは３）以上の場合には、動き予測となることが少ないため、動き予測の場合にのみ適用される残差予測フラグを復号しても、実際にはフラグが使用されないことがある。本実施形態ではこのような無駄を防ぐことができる。
上記構成の残差予測フラグ復号部３０３１１Ｂ３を含む画像復号装置によれば、このような無駄なフラグを復号する場合を減らす効果を奏する。
なお、上述した実施形態における画像符号化装置１１、１１Ｂ１、１１Ｂ２、１１Ｂ３、画像復号装置３１、３１Ｂ１、３１Ｂ２、３１Ｂ３の一部、例えば、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部１０１、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１１−１１ｈ、画像復号装置３１−３１ｈのいずれかに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像符号化装置１１、画像復号装置３１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
１…画像伝送システム
１１、１１Ｂ１、１１Ｂ２、１１Ｂ３…画像符号化装置
１０１…予測画像生成部
１０２…減算部
１０３…ＤＣＴ・量子化部
１０３１…インター予測パラメータ符号化制御部
１０３１１、１０３１１Ｂ１、１０３１１Ｂ２、１０３１１Ｂ３…追加予測フラグ符号化部
１０４…エントロピー符号化部
１０５…逆量子化・逆ＤＣＴ部
１０６…加算部
１０８…予測パラメータメモリ（フレームメモリ）
１０９…参照ピクチャメモリ（フレームメモリ）
１１０…符号化パラメータ決定部
１１１…予測パラメータ符号化部
１１２…インター予測パラメータ符号化部
１１２１…マージ予測パラメータ導出部
１１２２…AMVP予測パラメータ導出部
１１２３…減算部
１１２６…予測パラメータ統合部
１１３…イントラ予測パラメータ符号化部
２１…ネットワーク
３１、３１Ｂ１、３１Ｂ２、３１Ｂ３…画像復号装置
３０１…エントロピー復号部
３０２…予測パラメータ復号部
３０３…インター予測パラメータ復号部
３０３１、３０３１Ｂ１、３０３１Ｂ２、３０３１Ｂ３…インター予測パラメータ復号制御部
３０３１１、３０３１１Ｂ１、３０３１１Ｂ２、３０３１１Ｂ３…残差予測フラグ復号部
３０３１１１…リファレンスレイヤ判定部
３０３１１２…残差予測フラグ格納部
３０３１１３…残差予測フラグコンテキスト導出部
３０３１１３Ｂ１、３０３１１３Ｂ２、３０３１１３Ｂ３…残差予測フラグ判定部
３０３１２…マージフラグ復号部
３０３１３…マージインデックス復号部
３０３２…AMVP予測パラメータ導出部
３０３５…加算部
３０３６…マージ予測パラメータ導出部
３０３６１…マージ候補導出部
３０３６１１…マージ候補格納部
３０３６１２…拡張マージ候補導出部
３０３６１２１…レイヤ間マージ候補導出部
３０３６１２２…変位ベクトル取得部
３０３６１２３…変位マージ候補導出部
３０３６１３…基本マージ候補導出部
３０３６１３１…空間マージ候補導出部
３０３６１３２…時間マージ候補導出部
３０３６１３３…結合マージ候補導出部
３０３６１３４…ゼロマージ候補導出部
３０３６２…マージ候補選択部
３０４…イントラ予測パラメータ復号部
３０６…参照ピクチャメモリ（フレームメモリ）
３０７…予測パラメータメモリ（フレームメモリ）
３０８…予測画像生成部
３０９…インター予測画像生成部
３０９１…変位補償部
３０９２…残差予測部
３０９２１…残差予測実施フラグ導出部
３０９２２…参照画像取得部
３０９２３…残差合成部
３０９３…照度補償部
３０９４…重み予測部
３１０…イントラ予測画像生成部
３１１…逆量子化・逆ＤＣＴ部
３１２…加算部
３１３…残差格納部
４１…画像表示装置
１１、１１Ｂ１、１１Ｂ２、１１Ｂ３…画像符号化装置
１０１…予測画像生成部
１０２…減算部
１０３…ＤＣＴ・量子化部
１０３１…インター予測パラメータ符号化制御部
１０３１１、１０３１１Ｂ１、１０３１１Ｂ２、１０３１１Ｂ３…追加予測フラグ符号化部
１０４…エントロピー符号化部
１０５…逆量子化・逆ＤＣＴ部
１０６…加算部
１０８…予測パラメータメモリ（フレームメモリ）
１０９…参照ピクチャメモリ（フレームメモリ）
１１０…符号化パラメータ決定部
１１１…予測パラメータ符号化部
１１２…インター予測パラメータ符号化部
１１２１…マージ予測パラメータ導出部
１１２２…AMVP予測パラメータ導出部
１１２３…減算部
１１２６…予測パラメータ統合部
１１３…イントラ予測パラメータ符号化部
２１…ネットワーク
３１、３１Ｂ１、３１Ｂ２、３１Ｂ３…画像復号装置
３０１…エントロピー復号部
３０２…予測パラメータ復号部
３０３…インター予測パラメータ復号部
３０３１、３０３１Ｂ１、３０３１Ｂ２、３０３１Ｂ３…インター予測パラメータ復号制御部
３０３１１、３０３１１Ｂ１、３０３１１Ｂ２、３０３１１Ｂ３…残差予測フラグ復号部
３０３１１１…リファレンスレイヤ判定部
３０３１１２…残差予測フラグ格納部
３０３１１３…残差予測フラグコンテキスト導出部
３０３１１３Ｂ１、３０３１１３Ｂ２、３０３１１３Ｂ３…残差予測フラグ判定部
３０３１２…マージフラグ復号部
３０３１３…マージインデックス復号部
３０３２…AMVP予測パラメータ導出部
３０３５…加算部
３０３６…マージ予測パラメータ導出部
３０３６１…マージ候補導出部
３０３６１１…マージ候補格納部
３０３６１２…拡張マージ候補導出部
３０３６１２１…レイヤ間マージ候補導出部
３０３６１２２…変位ベクトル取得部
３０３６１２３…変位マージ候補導出部
３０３６１３…基本マージ候補導出部
３０３６１３１…空間マージ候補導出部
３０３６１３２…時間マージ候補導出部
３０３６１３３…結合マージ候補導出部
３０３６１３４…ゼロマージ候補導出部
３０３６２…マージ候補選択部
３０４…イントラ予測パラメータ復号部
３０６…参照ピクチャメモリ（フレームメモリ）
３０７…予測パラメータメモリ（フレームメモリ）
３０８…予測画像生成部
３０９…インター予測画像生成部
３０９１…変位補償部
３０９２…残差予測部
３０９２１…残差予測実施フラグ導出部
３０９２２…参照画像取得部
３０９２３…残差合成部
３０９３…照度補償部
３０９４…重み予測部
３１０…イントラ予測画像生成部
３１１…逆量子化・逆ＤＣＴ部
３１２…加算部
３１３…残差格納部
４１…画像表示装置
Claims (5)
- 動き補償画像に残差予測を適用する残差予測部と、
残差予測を適用するか否かを示す残差予測フラグを復号する残差予測フラグ復号部と
コンテキストに応じて符号化データからシンタックス要素を復号するエントロピー復号部を備え、
前記残差予測フラグ復号部は、対象ブロックの左に隣接するブロックの前記残差予測フラグの値に基づいて、前記対象ブロックの前記残差予測フラグを導出する場合のコンテキストを導出することを特徴とする画像復号装置。 - 動き補償画像に残差予測を適用する残差予測部と、
残差予測を適用するか否かを示す残差予測フラグを復号する残差予測フラグ復号部を備え、
前記残差予測フラグ復号部は、予測モード又はマージインデックスに基づいて、残差予測フラグを符号化データから復号するか否かを判定することを特徴とする画像復号装置。 - 前記残差予測フラグ復号部は、
マージモードの場合にのみ、残差予測フラグを符号化データから復号し、マージモードではない場合（AMVPモードの場合）には、残差予測フラグを復号せずに、残差予測を用いないことを示す０を導出すること
を特徴とする請求項２に記載の画像復号装置。 - 前記残差予測フラグ復号部は、ＡＭＶＰモードの場合、もしくは、マージモードであり、かつ、マージインデックスが所定の値（ここでは３）未満の場合のみ、残差予測フラグを符号化データから復号し、マージモードでありかつマージインデックスが所定の値より大きい場合には、残差予測フラグを復号せずに、残差予測を用いないことを示す０を導出すること
を特徴とする請求項２に記載の画像復号装置。 - 前記残差予測フラグ復号部は、マージモードであり、かつ、マージインデックスが所定の値（ここでは３）未満の場合のみ、残差予測フラグを符号化データから復号し、マージモードではない（AMVPモード）場合、もしくは、マージモードでありかつマージインデックスが所定の値より大きい場合には、残差予測フラグを復号せずに、残差予測を用いないことを示す０を導出すること
を特徴とする請求項２に記載の画像復号装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013143424A JP6118199B2 (ja) | 2013-07-09 | 2013-07-09 | 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体。 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013143424A JP6118199B2 (ja) | 2013-07-09 | 2013-07-09 | 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体。 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2015019140A true JP2015019140A (ja) | 2015-01-29 |
| JP2015019140A5 JP2015019140A5 (ja) | 2016-10-13 |
| JP6118199B2 JP6118199B2 (ja) | 2017-04-19 |
Family
ID=52439794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013143424A Active JP6118199B2 (ja) | 2013-07-09 | 2013-07-09 | 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体。 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6118199B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016537858A (ja) * | 2013-10-18 | 2016-12-01 | エルジー エレクトロニクス インコーポレイティド | マルチビュービデオをデコードするビデオデコード方法及び装置 |
| US10104389B2 (en) | 2015-10-05 | 2018-10-16 | Fujitsu Limited | Apparatus, method and non-transitory medium storing program for encoding moving picture |
| CN113615171A (zh) * | 2019-03-08 | 2021-11-05 | 夏普株式会社 | Lic部、图像解码装置以及图像编码装置 |
| CN114586357A (zh) * | 2019-08-31 | 2022-06-03 | Lg电子株式会社 | 视频编码系统中使用简化的残差数据编码的视频解码方法及其设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012167097A1 (en) * | 2011-06-03 | 2012-12-06 | Qualcomm Incorporated | Memory efficient context modeling |
| WO2013001770A1 (ja) * | 2011-06-30 | 2013-01-03 | パナソニック株式会社 | 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置 |
-
2013
- 2013-07-09 JP JP2013143424A patent/JP6118199B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012167097A1 (en) * | 2011-06-03 | 2012-12-06 | Qualcomm Incorporated | Memory efficient context modeling |
| WO2013001770A1 (ja) * | 2011-06-30 | 2013-01-03 | パナソニック株式会社 | 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置 |
Non-Patent Citations (2)
| Title |
|---|
| BENJAMIN BROSS FRAUNHOFER HHI: "High efficiency video coding (HEVC) text specification draft 8[online]", JCTVC-J JCTVC-J1003_D7, JPN6017001651, pages 159 - 174, ISSN: 0003506638 * |
| GERHARD TECH FRAUNHOFER HHI: "3D-HEVC Test Model 4[online]", JCT3V-D JCT3V-D1005-SPEC-V4, JPN6017001650, pages 16 - 17, ISSN: 0003506637 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016537858A (ja) * | 2013-10-18 | 2016-12-01 | エルジー エレクトロニクス インコーポレイティド | マルチビュービデオをデコードするビデオデコード方法及び装置 |
| US10321157B2 (en) | 2013-10-18 | 2019-06-11 | Lg Electronics Inc. | Video decoding method and apparatus for decoding multi-view video |
| US10104389B2 (en) | 2015-10-05 | 2018-10-16 | Fujitsu Limited | Apparatus, method and non-transitory medium storing program for encoding moving picture |
| CN113615171A (zh) * | 2019-03-08 | 2021-11-05 | 夏普株式会社 | Lic部、图像解码装置以及图像编码装置 |
| CN114586357A (zh) * | 2019-08-31 | 2022-06-03 | Lg电子株式会社 | 视频编码系统中使用简化的残差数据编码的视频解码方法及其设备 |
| CN114586357B (zh) * | 2019-08-31 | 2024-03-29 | Lg电子株式会社 | 视频编码系统中使用简化的残差数据编码的视频解码方法及其设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6118199B2 (ja) | 2017-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6469588B2 (ja) | 残差予測装置、画像復号装置、画像符号化装置、残差予測方法、画像復号方法、および画像符号化方法 | |
| JP6441236B2 (ja) | 画像復号装置及び画像符号化装置 | |
| JP6360053B2 (ja) | 照度補償装置、画像復号装置、画像符号化装置 | |
| WO2016125685A1 (ja) | 画像復号装置、画像符号化装置および予測ベクトル導出装置 | |
| JP6225241B2 (ja) | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 | |
| WO2015056719A1 (ja) | 画像復号装置、画像符号化装置 | |
| WO2015194669A1 (ja) | 画像復号装置、画像符号化装置および予測画像生成装置 | |
| JPWO2014103529A1 (ja) | 画像復号装置、およびデータ構造 | |
| US10034017B2 (en) | Method and apparatus for image decoding and encoding | |
| WO2015056620A1 (ja) | 画像復号装置、画像符号化装置 | |
| JP6118199B2 (ja) | 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体。 | |
| WO2014103600A1 (ja) | 符号化データ構造、および画像復号装置 | |
| WO2015141696A1 (ja) | 画像復号装置、画像符号化装置および予測装置 | |
| JP2016066864A (ja) | 画像復号装置、画像符号化装置およびマージモードパラメータ導出装置 | |
| JP2017135432A (ja) | 視点合成予測装置、画像復号装置及び画像符号化装置 | |
| WO2016056587A1 (ja) | 変位配列導出装置、変位ベクトル導出装置、デフォルト参照ビューインデックス導出装置及びデプスルックアップテーブル導出装置 | |
| WO2015190510A1 (ja) | 視点合成予測装置、画像復号装置及び画像符号化装置 | |
| JP6401707B2 (ja) | 画像復号装置、画像復号方法、および記録媒体 | |
| JP2015080053A (ja) | 画像復号装置、及び画像符号化装置 | |
| JP2014204327A (ja) | 画像復号装置および画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150423 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160824 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20161104 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170324 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6118199 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |