JP2020043500A

JP2020043500A - 動画像符号化装置及び動画像復号装置

Info

Publication number: JP2020043500A
Application number: JP2018170147A
Authority: JP
Inventors: 知宏猪飼; Tomohiro Igai; 天洋周; Tianyang Zhou; 友子青野; Tomoko Aono
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2018-09-12
Filing date: 2018-09-12
Publication date: 2020-03-19

Abstract

【課題】ブロック単位で動きパラメータを導出し、予測画像を生成するインター予測方式において、対象ブロックの空間近傍ブロック、および、時間方向の隣接ブロック（コロケートブロック）の動きベクトル、および、参照ピクチャを用いてスケーリング処理によって対象ブロックのマージ候補を導出するマージ予測において、符号化効率を向上させつつ、処理量の増加、および、メモリバンド幅の増加を抑える仕組みを提供する。【解決手段】対象ブロックの時空間マージ候補を導出するマージ候補導出装置において、２つの空間近傍ブロックと１つの時間近傍ブロックの動きベクトルから導出される動きベクトルの平均もしくは加重平均で導出される動きベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段とを備える。【選択図】図17

Description

本発明の実施形態は、予測画像生成装置、動画像復号装置、および動画像符号化装置に関する。

動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。

具体的な動画像符号化方式としては、例えば、H.264/AVCやHEVC（High-Efficiency Video Coding）にて提案されている方式などが挙げられる。

このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び、符号化単位を分割することより得られる変換ユニット（TU：Transform Unit）からなる階層構造により管理され、CU毎に符号化／復号される。

また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測誤差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。

また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられる。

"Algorithm Description of Joint Exploration Test Model 7", JVET-G1001, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2017-08-19

近年、符号化効率を向上させるために、インター予測ではブロックを複数のサブブロックに分割し、サブブロック単位で動きパラメータを導出し、予測画像を生成するサブブロック予測が導入されている。しかしながら、小サイズ単位での予測画像生成処理は、処理負荷が大きく、参照画像を転送するためのメモリバンド幅も大きくなる。

そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的は、符号化効率を向上させつつ、処理量及びメモリバンド幅の増加を抑える仕組みを提供することである。また、本発明は、対象ブロックに直接隣接しない位置（長距離ポジション）の複数の動きベクトルを利用することで、より予測精度の高いマージ候補を提供することである。

本発明の一態様に係るマージ候補導出装置は、対象ブロックの空間近傍ブロックおよび時間近傍ブロックの動きベクトルをもとに、対象ブロックの時空間マージ候補を導出するマージ候補導出装置であって、対象ブロックの空間近傍ブロックである第１近傍ブロックの動きベクトルから導出される動きベクトルと、空間近傍ブロックである第２近傍ブロックの動きベクトルから導出される動きベクトルと、時間近傍ブロックである第３近傍ブロックの動きベクトルから導出される動きベクトルとの平均もしくは加重平均で導出される動きベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段とを備え、前記マージ候補導出装置は、空間近傍ブロックである第１近傍ブロックおよび第２近傍ブロックの動きベクトルがいずれも利用可能でない場合、上記、時空間マージ候補の導出処理を利用可能としないことを特徴とする。

本発明の一態様によれば、動画像符号化・復号処理において、符号化効率を向上させつつ、処理量及びメモリバンド幅の増加を抑えることができる。

符号化ストリームのデータの階層構造を示す図である。 CTUの分割例を示す図である。参照ピクチャおよび参照ピクチャリストの一例を示す概念図である。動画像復号装置の構成を示す概略図である。インター予測パラメータ復号部の構成を示す概略図である。マージ予測パラメータ導出部、および、AMVP予測パラメータ導出部の構成を示す概略図である。対象ブロックのサブブロックの動きベクトルspMvLX[xi][yi]を示す図である。 (a)はバイラテラルマッチング（Bilateral matching）について説明するための図である。(b)はテンプレートマッチング（Template matching）について説明するための図である。インター予測画像生成部の構成を示す概略図である。動画像符号化装置の構成を示すブロック図である。インター予測パラメータ符号化部の構成を示す概略図である。マージ候補リストとマージ候補の位置を説明する図である。 STMVPで参照する対象ブロックの空間隣接ブロックを示す図である。 STMVPに関するマージ候補導出処理の動作を示すフローチャートである。サーチする隣接ブロック数と隣接ブロック位置を示す図である。サーチする隣接ブロック数と隣接ブロック位置を示す別の図である。 STMVPで参照する対象ブロックの空間近傍ブロックを示す図である。 STMVPで参照する対象ブロックの空間近傍ブロックを示す別の図である。 ATMVPで参照する空間隣接ブロック（LM、AM、L、A、AR、BL、AL）の位置、およびマージ候補リストの一例を示す図である。 ATMVPの動きベクトル導出処理を説明する図である。 ATMVPに関するマージ候補導出処理の動作を示すフローチャートである。本実施形態に係る動画像符号化装置を搭載した送信装置、および、動画像復号装置を搭載した受信装置の構成について示した図である。(a)は動画像符号化装置を搭載した送信装置を示しており、(b)は動画像復号装置を搭載した受信装置を示している。本実施形態に係る動画像符号化装置を搭載した記録装置、および、動画像復号装置を搭載した再生装置の構成について示した図である。(a)は動画像符号化装置を搭載した記録装置を示しており、(b)は動画像復号装置を搭載した再生装置を示している。本実施形態に係る画像伝送システムの構成を示す概略図である。 STMVPに関するマージ候補導出処理の動作を示すフローチャートである。 STMVP部、MSMVP部で参照する対象ブロックの空間近傍ブロックを示す図である。 STMVP部、MSMVP部で参照する対象ブロックの空間近傍ブロックを示す図である。本実施形態に係る長距離ポジションクリップを説明する図である。マージ予測パラメータ導出部の構成を示す別の概略図である。マージ候補リストを説明する一例である。 STMVP部、MSMVP部で参照する対象ブロックの空間近傍ブロックを示す一例である。 STMVP部、MSMVP部で参照する対象ブロックの空間近傍ブロックを示す一例である。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。

図24は、本実施形態に係る画像伝送システム１の構成を示す概略図である。

画像伝送システム１は、符号化対象画像を符号化した符号化ストリームを伝送し、伝送された符号化ストリームを復号し画像を表示するシステムである。画像伝送システム１は、動画像符号化装置（画像符号化装置）11、ネットワーク21、動画像復号装置（画像復号装置）31、及び動画像表示装置（画像表示装置）41を含んで構成される。

動画像符号化装置11には画像Tが入力される。

ネットワーク21は、動画像符号化装置11が生成した符号化ストリームTeを動画像復号装置31に伝送する。ネットワーク21は、インターネット（Internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）またはこれらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク21は、DVD（Digital Versatile Disc:登録商標）、BD（Blue-ray Disc:登録商標）等の符号化ストリームTeを記録した記憶媒体で代替されても良い。

動画像復号装置31は、ネットワーク21が伝送した符号化ストリームTeのそれぞれを復号し、復号した１または複数の復号画像Tdを生成する。

動画像表示装置41は、動画像復号装置31が生成した１または複数の復号画像Tdの全部または一部を表示する。動画像表示装置41は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。ディスプレイの形態としては、据え置き、モバイル、HMD等が挙げられる。また、動画像復号装置31が高い処理能力を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。

＜演算子＞
本明細書で用いる演算子を以下に記載する。

>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR、|=はOR代入演算子であり、||は論理和を示す。

x?y:zは、xが真（0以外）の場合にy、xが偽（0）の場合にzをとる３項演算子である。

Clip3(a,b,c) は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返し、c>bの場合にはbを返し、その他の場合にはcを返す関数である（ただし、a<=b）。

abs(a)はaの絶対値を返す関数である。

sgn(a)はaの符号を返す関数である。

Int(a)はaの整数値を返す関数である。

floor(a)はa以下の最大の整数を返す関数である。

ceil(a)はa以上の最大の整数を返す関数である。

a/dはdによるaの除算（小数点以下切り捨て）を表す。

＜符号化ストリームTeの構造＞
本実施形態に係る動画像符号化装置11および動画像復号装置31の詳細な説明に先立って、動画像符号化装置11によって生成され、動画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。

図1は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図1の(a)〜(f)は、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図である。

（符号化ビデオシーケンス）
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために動画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図1(a)に示すように、ビデオパラメータセット（Video Parameter Set）、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。

ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。

シーケンスパラメータセットSPSでは、対象シーケンスを復号するために動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れかを選択する。

ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。

（符号化ピクチャ）
符号化ピクチャでは、処理対象のピクチャPICTを復号するために動画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図1(b)に示すように、スライス0〜スライスNS-1を含む（NSはピクチャPICTに含まれるスライスの総数）。

なお、以下、スライス0〜スライスNS-1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。

（符号化スライス）
符号化スライスでは、処理対象のスライスSを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスは、図1(c)に示すように、スライスヘッダ、および、スライスデータを含んでいる。

スライスヘッダには、対象スライスの復号方法を決定するために動画像復号装置31が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダに含まれる符号化パラメータの一例である。

スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。なお、インター予測は、単予測、双予測に限定されず、より多くの参照ピクチャを用いて予測画像を生成してもよい。以下、P、Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライスを指す。

なお、スライスヘッダは、ピクチャパラメータセットPPSへの参照（pic_parameter_set_id）を含んでいても良い。

（符号化スライスデータ）
符号化スライスデータでは、処理対象のスライスデータを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図1(d)に示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ（例えば64x64）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。

（符号化ツリーユニット）
図1(e)には、処理対象のCTUを復号するために動画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な４分木分割（QT（Quad Tree）分割）、２分木分割（BT（Binary Tree）分割）あるいは３分木分割（TT（Ternary Tree）分割）により符号化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割（MT（Multi Tree）分割）と呼ぶ。再帰的な４分木分割により得られる木構造のノードのことを符号化ノード（Coding Node）と称する。４分木、２分木、及び３分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。

CTは、CT情報として、QT分割を行うか否かを示すQT分割フラグ（cu_split_flag）、MT分割の分割方法を示すMT分割モード（split_mt_mode）、MT分割の分割方向を示すMT分割方向（split_mt_dir）、MT分割の分割タイプを示すMT分割タイプ（split_mt_type）を含む。cu_split_flag、split_mt_flag、split_mt_dir、split_mt_type は符号化ノード毎に伝送される。

cu_split_flagが１の場合、符号化ノードは４つの符号化ノードに分割される（図2(b)）。cu_split_flagが０の時、split_mt_flagが０の場合に符号化ノードは分割されず１つのCUをノードとして持つ（図2(a)）。CUは符号化ノードの末端ノードであり、これ以上分割されない。CUは、符号化処理の基本的な単位となる。

split_mt_flagが１の場合に符号化ノードは以下のようにMT分割される。split_mt_typeが０の時、split_mt_dirが１の場合に符号化ノードは２つの符号化ノードに水平分割され（図2(d)）、split_mt_dirが０の場合に符号化ノードは２つの符号化ノードに垂直分割される（図2(c)）。また、split_mt_typeが１の時、split_mt_dirが１の場合に符号化ノードは３つの符号化ノードに水平分割され（図2(f)）、split_mt_dirが０の場合に符号化ノードは３つの符号化ノードに垂直分割される（図2(e)）。

また、CTUのサイズが64x64画素の場合には、CUのサイズは、64x64画素、64x32画素、32x64画素、32x32画素、64x16画素、16x64画素、32x16画素、16x32画素、16x16画素、64x8画素、8x64画素、32x8画素、8x32画素、16x8画素、8x16画素、8x8画素、64x4画素、4x64画素、32x4画素、4x32画素、16x4画素、4x16画素、8x4画素、4x8画素、及び、4x4画素の何れかをとり得る。

（符号化ユニット）
図1(f)に示すように、処理対象の符号化ユニットを復号するために動画像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。

予測処理は、CU単位で行われる場合と、CUをさらに分割したサブCU単位で行われる場合がある。CUとサブCUのサイズが等しい場合には、CU中のサブCUは１つである。CUがサブCUのサイズよりも大きい場合、CUは、サブCUに分割される。たとえばCUが8x8、サブCUが4x4の場合、CUは水平２分割、垂直２分割からなる、４つのサブCUに分割される。

予測の種類（予測モード）は、イントラ予測と、インター予測の２つがある。イントラ予測は、同一ピクチャ内の予測であり、インター予測は、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。

変換・量子化処理はCU単位で行われるが、量子化変換係数は4x4等のサブブロック単位でエントロピー符号化してもよい。

（予測パラメータ）
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測とインター予測の予測パラメータがある。

以下、インター予測の予測パラメータについて説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、動きベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0リスト、L1リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、フラグが０以外（たとえば１）をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。

インター予測パラメータを導出するためのシンタックス要素には、例えば、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。

（参照ピクチャリスト）
参照ピクチャリストは、参照ピクチャメモリ306に記憶された参照ピクチャからなるリストである。図3は、参照ピクチャおよび参照ピクチャリストの一例を示す概念図である。図3(a)において、矩形はピクチャ、矢印はピクチャの参照関係、横軸は時間、矩形中のI、P、Bは各々イントラピクチャ、単予測ピクチャ、双予測ピクチャ、矩形中の数字は復号順を示す。図に示すように、ピクチャの復号順は、I0、P1、B2、B3、B4であり、表示順は、I0、B3、B2、B4、P1である。図3(b)に、ピクチャB3（対象ピクチャ）の参照ピクチャリストの例を示す。参照ピクチャリストは、参照ピクチャの候補を表すリストであり、１つのピクチャ（スライス）が１つ以上の参照ピクチャリストを有してもよい。図の例では、対象ピクチャB3は、L0リストRefPicList0およびL1リストRefPicList1の２つの参照ピクチャリストを持つ。個々のCUでは、参照ピクチャリストRefPicListX（X=0または1）中のどのピクチャを実際に参照するかを参照ピクチャインデックスrefIdxLXで指定する。図は、refIdxL0=2、refIdxL1=0の例である。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、以降では、LXをL0、L1に置き換えることでL0リストに対するパラメータとL1リストに対するパラメータを区別する。

（マージ予測とAMVP予測）
予測パラメータの復号（符号化）方法には、マージ予測（merge）モードとAMVP（Adaptive Motion Vector Prediction、適応動きベクトル予測）モードがあり、マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードは、予測リスト利用フラグpredFlagLX（またはインター予測識別子inter_pred_idc）、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めずに、既に処理した近傍ブロックの予測パラメータから導出する用いるモードである。AMVPモードは、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めるモードである。なお、動きベクトルmvLXは、予測ベクトルmvpLXを識別する予測ベクトルインデックスmvp_LX_idxと差分ベクトルmvdLXとして符号化される。

インター予測識別子inter_pred_idcは、参照ピクチャの種類および数を示す値であり、PRED_L0、PRED_L1、PRED_BIの何れかの値をとる。PRED_L0、PRED_L1は、各々L0リスト、L1リストで管理された１枚の参照ピクチャを用いる単予測を示す。PRED_BIはL0リストとL1リストで管理された２枚の参照ピクチャを用いる双予測BiPredを示す。

マージインデックスmerge_idxは、処理が完了したブロックから導出される予測パラメータ候補（マージ候補）のうち、いずれの予測パラメータを対象ブロックの予測パラメータとして用いるかを示すインデックスである。

（動きベクトル）
動きベクトルmvLXは、異なる２つのピクチャ上のブロック間のシフト量を示す。動きベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。

（動画像復号装置の構成）
本実施形態に係る動画像復号装置31（図4）の構成について説明する。

動画像復号装置31は、エントロピー復号部301、パラメータ復号部（予測画像復号装置）302、ループフィルタ305、参照ピクチャメモリ306、予測パラメータメモリ307、予測画像生成部（予測画像生成装置）308、逆量子化・逆変換部311、及び加算部312を含んで構成される。なお、後述の動画像符号化装置11に合わせ、動画像復号装置31にループフィルタ305が含まれない構成もある。

また、パラメータ復号部302は、図示しないインター予測パラメータ復号部303及びイントラ予測パラメータ復号部304を含んで構成される。予測画像生成部308は、インター予測画像生成部309及びイントラ予測画像生成部310を含んで構成される。

また、以降では処理の単位としてCTU、CUを使用した例を記載するが、この例に限らず、サブCU単位で処理をしてもよい。あるいはCTU、CU、をブロック、サブCUをサブブロックと読み替え、ブロックあるいはサブブロック単位の処理としてもよい。

エントロピー復号部301は、外部から入力された符号化ストリームTeに対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。エントロピー符号化には、シンタックス要素の種類や周囲の状況に応じて適応的に選択したコンテキスト（確率モデル）を用いてシンタックス要素を可変長符号化する方式と、あらかじめ定められた表、あるいは計算式を用いてシンタックス要素を可変長符号化する方式がある。前者のCABAC（Context Adaptive Binary Arithmetic Coding）は、符号化あるいは復号したピクチャ（スライス）毎に更新した確率モデルをメモリに格納する。そして、Pピクチャ、あるいはBピクチャのコンテキストの初期状態として、メモリに格納された確率モデルの中から、同じスライスタイプ、同じスライスレベルの量子化パラメータを使用したピクチャの確率モデルを設定する。この初期状態を符号化、復号処理に使用する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための予測誤差などがある。

エントロピー復号部301は、分離した符号の一部をパラメータ復号部302に出力する。分離した符号の一部とは、例えば、予測モードpredMode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX等である。どの符号を復号するかの制御は、パラメータ復号部302の指示に基づいて行われる。エントロピー復号部301は、量子化変換係数を逆量子化・逆変換部311に出力する。

（動きベクトルスケーリング）
動きベクトルのスケーリングの導出方法を説明する。動きベクトルMv（参照動きベクトル）、Mvをもつブロックを含むピクチャPicMv、Mvの参照ピクチャPicMvRef、スケーリング後の動きベクトルsMv、sMvをもつブロックを含むピクチャCurPic、sMvが参照する参照ピクチャCurPicRefとすると、sMvの導出関数MvScale(Mv,PicMv,PicMvRef,CurPic,CurPicRef)は下式で表される。

sMv = MvScale(Mv,PicMv,PicMvRef,CurPic,CurPicRef)
= Clip3(-R1,R1-1,sign(distScaleFactor*Mv)*((abs(distScaleFactor*Mv)+round1-1)>>shift1))
distScaleFactor = Clip3(-R2,R2-1,(tb*tx+round2)>>shift2)
tx = (16384+abs(td)>>1)/td
td = DiffPicOrderCnt(PicMv,PicMvRef)
tb = DiffPicOrderCnt(CurPic,CurPicRef)
ここで、round1、round2、shift1、shift2は、逆数を用いて除算を行うためのラウンド値及びシフト値で、例えば、round1=1<<(shift1-1)、round2=1<<(shift2-1)、shift1=8、sh
ift2=6などである。DiffPicOrderCnt(Pic1,Pic2)はPic1とPic2の時間情報（例えばPOC）の差を返す関数である。R1、R2は処理を限られた精度で行うために値域を制限するもので例えば、R1=32768、R2=4096などである。

また、スケーリング関数MvScale(Mv,PicMv,PicMvRef,CurPic,CurPicRef)は以下の式でもよい。

MvScale(Mv,PicMv,PicMvRef,CurPic,CurPicRef) =
Mv*DiffPicOrderCnt(CurPic,CurPicRef)/DiffPicOrderCnt(PicMv,PicMvRef)
すなわち、CurPicとCurPicRefの時間情報の差と、PicMvとPicMvRefの時間情報の差との比に応じてMvをスケーリングしてもよい。

（インター予測パラメータ復号部の構成）
インター予測パラメータ復号部303は、エントロピー復号部301から入力された符号に基づいて、予測パラメータメモリ307に記憶された予測パラメータを参照してインター予測パラメータを復号する。また、インター予測パラメータ復号部303は、復号したインター予測パラメータを予測画像生成部308に出力し、予測パラメータメモリ307に記憶する。

図5(a)は、本実施形態に係るインター予測パラメータ復号部303の構成を示す概略図である。インター予測パラメータ復号部303は、パラメータ復号制御部3031、AMVP予測パラメータ導出部3032、加算部3038、マージ予測パラメータ導出部3036およびサブブロック予測パラメータ導出部3037を含んで構成される。AMVP予測パラメータ導出部3032、マージ予測パラメータ導出部3036、サブブロック予測パラメータ導出部3037を総称して動きベクトル導出部（動きベクトル導出装置）と称してもよい。

パラメータ復号制御部3031は、インター予測に関連するシンタックス要素の復号をエントロピー復号部301に指示し、符号化データに含まれるシンタックス要素、例えば、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを抽出する。

パラメータ復号制御部3031は、まず、マージフラグmerge_flagを抽出する。パラメータ復号制御部3031が、あるシンタックス要素を抽出すると表現する場合は、あるシンタックス要素の復号をエントロピー復号部301に指示し、該当のシンタックス要素を符号化データから読み出すことを意味する。

マージフラグmerge_flagが０、すなわち、AMVP予測モードを示す場合、パラメータ復号制御部3031は、エントロピー復号部301を用いて符号化データからAMVP予測パラメータを抽出する。AMVP予測パラメータとして、例えば、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。AMVP予測パラメータ導出部3032は予測ベクトルインデックスmvp_LX_idxから予測ベクトルmvpLXを導出する。パラメータ復号制御部3031は差分ベクトルmvdLXを加算部3038に出力する。加算部3038では予測ベクトルmvpLXと差分ベクトルmvdLXを加算し、動きベクトルを導出する。

マージフラグmerge_flagが１、すなわち、マージ予測モードを示す場合、パラメータ復号制御部3031は、マージ予測に係る予測パラメータとして、マージインデックスmerge_idxを抽出する。パラメータ復号制御部3031は、抽出したマージインデックスmerge_idxをマージ予測パラメータ導出部3036に出力する。

図6(a)は、本実施形態に係るマージ予測パラメータ導出部3036の構成を示す概略図である。マージ予測パラメータ導出部3036は、マージ候補導出部30361、マージ候補選択部30362、マージ候補格納部30363を備える。マージ候補導出部30361は、空間マージ候補導出部30364、時間マージ候補導出部30365、STMVP部30366、ATMVP部30367を含む。また、マージ予測パラメータ導出部3036は、STMVP部30366に追加してさらにMSMVP部30368を含んでも良いし（図29(a)）、STMVP部30366の代わりにMSMVP部30368を含んでも良い（図29(b)）。マージ候補格納部30363は、マージ候補導出部30361から入力されたマージ候補を、図12に示すマージ候補リストmergeCandList[]に格納する。またリストに格納するマージ候補は、マージ候補を示すラベル（例えば、空間マージ候補のA1, B1, B0, A0, B2、時間マージ候補のCol、時空間マージ候補のSTMVP、マルチ空間マージ候補のMSMVP）であってもよい。merge_idxに基づいて選択されたマージ候補のラベルBに基づいて、ラベルに対応するインター予測パラメータ（動きベクトルmvLXN）を参照しても良い。マージ予測パラメータ導出部3036が、STMVP部30366に追加してMSMVP部30368を含む場合、マージ候補リストmergeCandList[]には時空間マージ候補（STMVP）の後にマルチ空間マージ候補（MSMVP）を追加する（図30(a)）。また、マージ予測パラメータ導出部3036が、STMVP部30366の代わりにMSMVP部30368を含む場合、マージ候補リストmergeCandList[]には時空間マージ候補（STMVP）の代わりにマルチ空間マージ候補（MSMVP）が含まれる（図30(b)）。なお、マージ候補は、予測リスト利用フラグpredFlagLX、動きベクトルmvLX、参照ピクチャインデックスrefIdxLXを含んで構成される。マージ候補格納部30363において格納されたマージ候補には、所定の規則に従ってインデックスが割り当てられる。

マージ候補導出部30361は、復号済の隣接ブロックの動きベクトルと参照ピクチャインデックスrefIdxLXをそのまま用いてマージ候補を導出する。

（空間マージ候補導出処理）
空間マージ候補導出処理として、空間マージ候補導出部30364は、所定の規則に従って、予測パラメータメモリ307が記憶している予測パラメータ（予測リスト利用フラグpredFlagLX、動きベクトルmvLX、参照ピクチャインデックスrefIdxLX）を読み出し、マージ候補に設定し、マージ候補リストmergeCandList[]に格納する。参照ピクチャの指定方法は、例えば、対象ブロックから予め定めた範囲内にある隣接ブロック（例えば、図12(b)に示す、対象ブロックの左端L、左下端BL、左上端AL、上端A、右上端ARにそれぞれ接するブロックの全部または一部）の予測パラメータである。各々のマージ候補をL,BL,AL,A,ARと呼ぶ。

（時間マージ候補導出処理）
時間マージ導出処理として、時間マージ候補導出部30365は、図12(c)に示す、対象ブロックの右下位置、あるいは、中央位置を含むコロケートピクチャ中のブロックC[0]およびC[1]の予測パラメータを、予測パラメータメモリ307から読み出してマージ候補とし、マージ候補リストmergeCandList[]に格納する。一般にブロックC[0]を優先してマージ候補リストmergeCandList[]に加え、ブロックC[0]が動きベクトルを持たない（例えばイントラ予測ブロック）場合や、ブロックC[0]がピクチャ外に位置する場合は、ブロックC[1]の動きベクトルをマージ候補リストに加える。動きの異なる可能性が高いコロケートブロックの動きベクトルを予測候補として加えることで、予測ベクトルの選択肢が増え、符号化効率が高まる。対象ブロックの右下位置はC[0]に限らず、図12(d)、(e)、(f)に示す対象ブロック内の右下位置C[2]、対象ブロック外の右下位置C[3]、対象ブロック外の右下位置C[4]であってもよい。コロケートピクチャの指定方法は、例えば、スライスヘッダにおいて指定されたコロケートピクチャインデックスcollocated_ref_idxでも良いし、隣接ブロックの参照ピクチャインデックスrefIdxLXのうち最小のものを用いて指定しても良い。

例えば時間マージ候補導出部30365は、ブロックC[1]の位置（xColCtr,yColCtr）とブロ
ックC[0]の位置（xColCBr、yColCBr）を、以下の式で導出してもよい。

xColCtr = xPb+(bW>>1)
yColCtr = yPb+(bH>>1)
xColCBr = xPb+bW
yColCBr = yPb+bH
ここで、(xPb,yPb)は対象ブロックの左上座標、(bW,bH)は対象ブロックの幅と高さである。ブロックC[0]が利用可能であればブロックC[0]の動きベクトルを利用してマージ候補COLを導出する。ブロックC[0]が利用可能でなければブロックC[1]を使用して時間マージ候補TMVPを導出する。

（STMVP：Spatial-Temporal Motion Vector Prediction）
STMVPは、対象ピクチャCurPicにおいて、図13(a)に示す対象ブロックCurBLKの空間隣接ブロック（A[]、L[]）、および、図12(c)に示す対象ブロックのコロケートブロック（C[]）の動きベクトルをもとに、対象ブロックのマージ候補を導出する。図12(c)の右下位置は、C[0]ではなく、図12(d)〜(f)に示す右下位置c[2]、c[3]、c[4]であってもよい。対象ブロックの左上座標を(xPb,yPb)とすると、図13(a)に示すように、A[i]は座標(xPb+bW/N*i,yPb-1)を含むブロックであり、左上座標を(xNb[i],yNb[i])と表す。L[j]は座標(xPb-1,yPb+bH/M*j)を含むブロックであり、左上座標を(xNb[j],yNb[j])と表す。N、Mは対象ブロックの幅、高さを分割する個数である。STMVPは下記の手順で処理する。

ステップ１）上側隣接ブロックの動きベクトル導出
STMVP部30366は、対象ブロックの上側隣接ブロックA[]を以下の順番SearchOrderA[]にサーチし、利用可能な（available）ブロックを取得する。以降、「利用可能なブロック」は、例えば、ブロックの位置が対象ピクチャ（スライス）に含まれており、かつ、ブロックが動きベクトルを有する、を意味する。

SearchOrderA[] = {N/2,N-1,0}
ここで上記のサーチ順序に示すように、対象ブロックの上側隣接ブロックにおいて、中央に位置する隣接ブロックA[N/2]からサーチを開始し、A[N/2]、A[N-1]、A[0]の順にサーチしてもよい。また、後述のように非隣接ブロックから隣接ブロックの順にサーチしてもよい。

利用可能な上側隣接ブロックが見つかった場合、最初に見つかった隣接ブロックの動きベクトルと参照ピクチャを、STMVPの上側ベクトルmvA（スケール後はsmvA）と参照ピクチャRefAとし、カウントcntを１インクリメントする。利用可能な隣接ブロックがない場合、カウントcnt=0、mvA=0とする。以上は、一例として下記の擬似コードで表現できる。

mvA = 0; cnt = 0;
for (i=0; i<NumSearchA; i++) {
blkA = SearchOrderA[i];
if (availableFlag[blkA]==1) {
mvA = mvLX[xNb[blkA]][yNb[blkA]];
refIdxA = refIdxLX[xNb[blkA]][yNb[blkA]];
RefA = RefPicListX[refIdxA];
cnt++;
break;
}
}
ここで、availableFlag[blk]はブロックblkの利用可能性を表すフラグで、１は利用可能
、０は利用不可を表す。NumSearchAは最大サーチ数であり２、３などを用いる。

ステップ２）左側隣接ブロックの動きベクトル導出
STMVP部30366は、対象ブロックの左側隣接ブロックL[]を以下の順番SearchOrderL[]にサーチし、利用可能なブロックを取得する。

SearchOrderL[] = {M/2,M-1,0}
上記のサーチ順序の場合、対象ブロックの左側隣接ブロックにおいて、中央に位置する隣接ブロックL[M/2]からサーチを開始し、L[M/2]、L[M-1]、L[0]の順にサーチする。上側および左側隣接ブロックの具体的なサーチ順序については、詳細を後述する。また、後述のように非隣接ブロックから隣接ブロックの順にサーチしてもよい。

利用可能な左側隣接ブロックが見つかった場合、最初に見つかった隣接ブロックの動きベクトルと参照ピクチャを、STMVPの左側ベクトルmvL（スケール後はsmvL）と参照ピクチャRefLとし、カウントcntを１インクリメントする。利用可能な隣接ブロックがない場合、カウントcntは更新せず、mvL=0とする。以上は、一例として下記の擬似コードで表現できる。以降でも、最初に見つかった利用可能なブロックは下記のように表現してもよい。

mvL = 0;
for (j=0; j<NumSearchL; j++) {
blkL = SearchOrderL[j];
if (availableFlag[blkL]==1) {
mvL = mvLX[xNb[blkL]][yNb[blkL]];
refIdxL = refIdxLX[xNb[blkL]][yNb[blkL]];
RefL = RefPicListX[refIdxL];
cnt++;
break;
}
}
NumSearchLは最大サーチ数であり２、３などを用いる。

ステップ３）コロケートブロックの動きベクトル導出
STMVP部30366は、コロケートピクチャ上で、対象ブロックと同じ位置のブロックに対し、右下位置を含むブロックC[0]（あるいはC[2]〜C[4]のいずれか）、中央位置を含むブロックC[1]の順番に、動きベクトルが利用可能か否かをチェックする。コロケートピクチャはRefPicListX[collocated_ref_idx]であり、collocated_ref_idxはスライスヘッダで通知されるコロケートピクチャの参照ピクチャインデックスである。利用可能なブロックが見つかった場合、そのブロックが有する動きベクトルと参照ピクチャを、STMVPの時間方向ベクトルmvCと参照ピクチャRefCとし、カウントを１インクリメントする。利用可能なブロックがない場合、カウントcntは更新せず、mvC=0とする。STMVPの参照ピクチャはRefPicListX[refIdxLX]である。

STMVP部30366は、対象ブロックからシフトベクトルIMVだけシフトした位置のコロケートブロックColBLKの動き情報を用いてもよい。シフトベクトルは、隣接ブロックの動きベクトルをスケーリングして導出する。シフトベクトルの導出方法として、後述のATMVP部30367と同一の方法を用いても良い。この場合、ATMVP部30367は、対象ブロックを分割して得られる各サブブロックのベクトルIMVだけシフトしたコロケートブロックを求める。そしてSTMVP部30366は、コロケートブロックの動きベクトルをmvC、参照ピクチャをrefCに設定する。この構成では、STMVP部30366とATMVP部30367で同一のシフトベクトルIMVを用いる。すなわち同一（もしくは同じ領域にある）のコロケートブロックを用いることによ
り、アクセスを容易にする効果を奏する。

ステップ４）利用可能性判定
STMVP部30366は、cnt=0（利用可能な動きベクトルが１つもない）の場合、STMVPをオフにし、処理を終了する。つまり、上側隣接ブロック、左側隣接ブロック、コロケートブロックの中に利用可能な動きベクトルがなかった場合、STMVPの利用可能性フラグAvailSTMVPを0に設定しオフにする。逆に、上側隣接ブロック、左側隣接ブロック、コロケートブロックの中に利用可能な動きベクトルがある場合、処理を継続して、STMVPマージ候補を導出し、STMVPの利用可能性フラグAvailSTMVPを1に設定する。３つの動きベクトルが利用可能ではない場合、STMVPマージ候補としてゼロベクトルを追加する構成を用いると処理が複雑になる。後続のゼロマージ候補と同じ動きベクトル（冗長なマージ候補）がマージ候補リストに追加される場合、merge_idxの符号量オーバーヘッドの分、符号化効率が低下する。本処理は、複雑度や符号化効率低下を低減させる効果を有する。

また、利用可能性判定の別の例として、空間隣接ブロック（上側隣接ブロック、左側隣接ブロック）に利用可能な動きベクトルがなかった場合、時間隣接ブロック（コロケートブロック）の動きベクトルの利用可能性判定に関わらず、STMVPの利用可能性フラグAvailSTMVPを0に設定しオフにしてもよい。逆に、上側隣接ブロック、左側隣接ブロックの中に利用可能な動きベクトルがある場合、処理を継続して、コロケートブロックの動きベクトルを参照し、STMVPマージ候補を導出する。そして、STMVPの利用可能性フラグAvailSTMVPを1に設定する。

この構成では、空間隣接ブロック（上側隣接ブロック、左側隣接ブロック）のチェックの後、時間隣接ブロック（コロケートブロック）の動きベクトルの利用可能性判定を行わないので、処理量削減の効果が得られる。また、時間隣接ブロック（コロケートブロック）の動きベクトルを利用する場合、後続の時間マージ候補と同じ動きベクトルがマージ候補リストに追加される。この場合、同じ動きベクトルのマージ候補は冗長なマージ候補であり、merge_idxの符号量オーバーヘッドの分、符号化効率が低下する。本処理は、符号化効率低下を低減させる効果を有する。

ステップ５）動きベクトルのスケーリング
STMVP部30366は、ctnが0でない場合、対象ピクチャCurPicと、対象ブロックCurBLKの参照ピクチャRefPicListX[refIdxLX]との時間情報を用いて、ステップ１〜ステップ３で取得した利用可能な動きベクトルをスケーリングする。refIdxLX=0としてもよい。スケーリング後の動きベクトルをsmvA、smvL、smvCとする。

smvA = MvScale(mvA,CurPic,RefA,CurPic,RefPicListX[refIdxLX]))
smvL = MvScale(mvL,CurPic,RefL,CurPic,RefPicListX[refIdxLX]))
smvC = MvScale(mvC,RefPicListX[collocated_ref_idx],RefC,CurPic,RefPicListX[refIdxLX]))
ステップ６）平均値導出
STMVP部30366は、空間動きベクトルsmvA、smvLと時間動きベクトルsmvCの平均を算出し、STMVPの動きベクトルstMvLXとしてセットする。

stMvLX = (smvA +smvL+smvC)/cnt
cnt=1の場合、例えば、smvAが利用可能な場合、以下を用いる。sum(smv)=smvA+smvB+smvC。

stMvLX = smvA = sum(smv)
整数演算のために例えば、以下のように導出しても良い。cnt=2の場合、例えば、smvA
、smvCが利用可能な場合、以下の式で平均を導出してもよい。

stMvLX = (smvA+smvC)>>1 = sum(smv)>>1
cnt=3の場合、以下の式で平均（加重平均）を導出してもよい。

stMvLX = (5*smvA+5*smvL+6*smvC)>>4
また以下のように、時間ベクトルsmvC（コロケートブロックから導出されるベクトル）よりも、空間ベクトルsmvA, smvLの重みを大きくした式を用いても良い。

stMvLX = (3*smvA+3*smvL+2*smvC)>>2
また、以下の式のように、３つの動きベクトルの和に所定の定数を乗じて右シフトすることにより、平均を導出しても良い。

stMvLX = ((1<<shift)/3) *(smvA+smvL+smvC+round)>>shift
ここでround = 0, (1<<shift))/6), (1<<shift)/3), (1<<shift)/2)など。

例えばshift=7の場合には、
stMvLX = 43*(smvA+smvL+smvC)>>7
勿論、平均に用いる定数、シフト数shiftは7に限定されず、例えば、以下のいずれかでもよい。

stMvLX = 21*(smvA+smvL+smvC)>>6
stMvLX = 43*(smvA+smvL+smvC)>>7
stMvLX = 86*(smvA+smvL+smvC)>>8
stMvLX = 171*(smvA+smvL+smvC)>>9
stMvLX = 342*(smvA+smvL+smvC)>>10
stMvLX = 683*(smvA+smvL+smvC)>>11
stMvLX = 1365*(smvA+smvL+smvC)>>12
また、符号に応じて処理を変更してもよい。

absMvLX[0] = abs(smvA[0] + smvL[0] + smvC[0])
absMvLX[1] = abs(smvA[1] + smvL[1] + smvC[1])
sgnMvLX[0] = sgn(smvA[0] + smvL[0] + smvC[0])
sgnMvLX[1] = sgn(smvA[1] + smvL[1] + smvC[1])
stMvLX[0] = (1 - 2 * sgnMvLX[0])((43*absMvLX[0] + round) >> 7)
stMvLX[1] = (1 - 2 * sgnMvLX[1])((43*absMvLX[1] + round) >> 7)
ステップ７）例外処理
参照ピクチャRefPicListX[refIdxLX]において、対象ブロックをstMvLXだけシフトした位置のブロックがピクチャ内か否かをチェックする。シフトした位置のブロックの一部あるいは全部がピクチャ内にない場合、以下の処理１(処理1A〜処理1C)のいずれかを施す。

[処理1A] ピクチャ境界パディング
動き補償部3091は、対象ブロックの参照位置を、ピクチャ境界パディング（ピクチャ外パディング）によって、ピクチャの上下左右の境界画素の位置にクリッピングする。例えば、ピクチャの左上座標を基準とした対象ブロックの左上座標を(xPb,yPb)、対象ブロックの幅と高さをbW、bH、対象ピクチャの幅と高さをwPict、hPict、動きベクトルの画素精度を表すパラメータをMVBIT（画素精度は1/2^MVBIT）とすると、ブロックの参照画素(xRef,yRef)は
下式で導出される。

xRef+i = Clip3(0,wPict-1,xPb+(stMvLX[0]>>log2(MVBIT))+i)
yRef+j = Clip3(0,hPict-1,yPb+(stMvLX[1]>>log2(MVBIT))+j)
[処理1B] ピクチャ境界動きベクトル制限
STMVP部30366もしくは動き補償部3091は、動きベクトルstMvLXがピクチャ外を参照しないように動きベクトルstMvLXをクリッピングする。

mvLX[0] = Clip3 (vxmin, vxmax, mvLX[0])
mvLX[1] = Clip3 (vymin, vymax, mvLX[1])
ここでvxmin、vxmax、vxmin、vxmaxは下式で設定される。

vxmin = -(xPb<<log2(MVBIT))
vxmax = (wPict-1-xPb)<<log2(MVBIT)
vymin = -(yPb<<log2(MVBIT))
vymax = (hPict-1-yPb)<<log2(MVBIT)
[処理1C] ピクチャ境界STMVPオフ
STMVP部30366は、動きベクトルstMvLXの指すブロックがピクチャ内にない場合、STMVPをオフにし、処理を終了する。

なお、処理1は、動画像符号化装置11と動画像復号装置31で同じ処理を選択する必要がある。

ステップ８）マージ候補リスト格納
STMVP部30366は、マージ候補リストにSTMVPを格納する。なお、STMVP部30366は、STMVPの動きベクトルと既に導出されたマージ候補の動き情報（動きベクトル、参照ピクチャ）が同一であるか否かによって、プルーニング処理を行っても良い。ここで、プルーニング処理とは導出されたマージ候補間で、同一の動き情報が存在する場合には、そのマージ候補の一方を削除することである。同一のマージ候補が複数、マージ候補リストに格納されることを防ぐ効果がある。具体的には、STMVPマージ候補のインデックスがkである場合に、STMVPマージ候補の動き情報と既に導出されたマージ候補リスト中のmergeCandList[i]（ただしi = 0..k-1）の動き情報（動きベクトルと参照ピクチャ）が同一であるかをチェックする。同一ではない場合のみ、マージ候補リストmergeCandList[]にSTMVPの動き情報を格納する。マージ候補リストに格納するマージ候補の順番の例を図12(a)に示す。このリストの中から、パラメータ復号制御部3031で導出されたmerge_idxを用いて、対象ブロックのマージ候補mergeCandList[merge_idx]が選択される。

マージ候補としてSTMVPが選択された場合、対象ブロックから動きベクトルstMvLXだけシフトした参照ピクチャRefPicListX[refIdxLX]上の画像を読み出し、予測画像とする。

（STMVP部30366のフローチャート）
以上、ステップ１〜ステップ８で説明したSTMVPに関するマージ候補導出処理を図14のフローチャートで説明する。

STMVP部30366は、対象ブロックの上側、左側、時間方向の隣接ブロックA[]、L[]、C[]をサーチする（S2601）。

STMVP部30366は、所定のスキャン順序で利用可能な隣接ブロックの有無を判定し、利用可能な隣接ブロックがあればS2603に進み、利用可能な隣接ブロックが１個もなければS2608に進む（S2602）。

あるいは、空間隣接ブロック（上側隣接ブロック、左側隣接ブロック）に利用可能な動
きベクトルがなかった場合、S2608に進んでもよい。

STMVP部30366は、対象ピクチャと隣接ブロックの参照ピクチャ間の時間的な距離（あるいはコロケートピクチャとその参照ピクチャ間の時間的な距離）と、対象ピクチャと参照ピクチャ間の時間的な距離に応じて、利用可能な隣接ブロックの動きベクトルをスケーリングする（S2603）。

STMVP部30366は、スケーリングした動きベクトルの平均値を算出し、STMVPの動きベクトルMvLXとしてセットする（S2604）。

STMVP部30366は、参照ピクチャ上で、対象ブロックを動きベクトルstMvLXだけシフトしたブロックがピクチャ内にあるか否かを判定し、ピクチャ内にあればS2607に進み、一部分でもピクチャ内になければS2606に進む（S2605）。

STMVP部30366は、動きベクトルstMvLXだけシフトしたブロックがピクチャ外にある場合、動きベクトルstMvLXをクリッピングする（S2606）。

STMVP部30366は、図12(a)に示すマージ候補リストmergeCandList[]にSTMVPの動きベクトルを格納する（S2607）。

STMVP部30366は、利用可能な動きベクトルがない場合、マージ候補リストmergeCandList[]にSTMVPの動きベクトルを格納せず、処理を終了する（S2608）。

なお、S2607の処理は対象ブロックの動きベクトルのクリッピング処理以外に、ステップ７で説明したように、ピクチャ境界のパディング処理であってもよい。

以上の処理により、STMVPに関するマージ候補を導出する。

（隣接ブロックのサーチ順序）
以下では、対象ブロックの上側あるいは左側の複数の隣接ブロックから、STMVP部30366が、STMVPの動きベクトルを導出するために必要な動きベクトルmvA、mvLを導出する方法を説明する。図13(a)は、対象ブロックの上側あるいは左側の複数の隣接ブロックを示す一例であり、(N+1)個の上側隣接ブロックA[]と(M+1)個の左側隣接ブロックL[]の配置が示されている。対象ブロックの左上座標を(xPb,yPb)とすると、上側隣接ブロックA[]と左側隣接ブロックL[]は下記座標を含むブロックであり、上側隣接ブロックA[]と左側隣接ブロックL[]の動きベクトルと参照ピクチャは、下記座標を含むブロックの動きベクトルと参照ピクチャである。ここでbW、bHは対象ブロックの幅と高さである。

A[i] : (xPb+bW/N*i,yPb-1)
L[j] : (xPb-1,yPb+bH/M*j)
このブロックA[i]、L[j]の左上座標を各々(xNb[i],yNb[i])、(xNb[j],yNb[j])と表す。

以下ではN=M=4の場合（図13(b)）であって、サーチする隣接ブロック数を上側、左側各々最大４個に設定した場合（図15(a)）を説明するが、N、Mが4以外の場合や、NとMが異なる場合、サーチする隣接ブロック数が4以外の場合であっても同様の説明が成り立つ。

まず、STMVP部30366は、対象ブロックの上側隣接ブロックA[]を以下の順番SearchOrderA[]にサーチし、利用可能なブロックを取得する。

SearchOrderA[] = {2,1,3,0}
SearchOrderA[]に記載されたA[2]、A[1]、A[3]、A[0]の順番に隣接ブロックをサーチし、最初に見つかった利用可能なブロックをマージ候補導出で参照する隣接ブロックに設定する。そして、この隣接ブロックの動きベクトルと参照ピクチャをmvAとRefAに設定する。

同様に、STMVP部30366は、対象ブロックの左側隣接ブロックL[]を以下の順番SearchOrderL[]にサーチし、利用可能なブロックを取得する。

SearchOrderL[] = {2,1,3,0}
SearchOrderL[]に記載されたL[2]、L[1]、L[3]、L[0]の順番に隣接ブロックをサーチし、最初に見つかった利用可能なブロックをマージ候補導出で参照する隣接ブロックに設定する。そして、この隣接ブロックの動きベクトルと参照ピクチャをmvLとRefLに設定する。

上記の例では、最初にサーチする隣接ブロックを上側隣接ブロック、および、左側隣接ブロックの各々中央に位置するブロックA[N/2]=(xPb+bW/2,yPb-1)、L[M/2]=(xPb-1,yPb+bH/2)に設定する。これは、ブロックサイズが大きくなった場合、中央に位置する隣接ブロックが対象ブロックにより近い性質をもつと考えられることから、中央ブロックA[N/2]とL[M/2]を最初にサーチすることにより、マージ候補導出に適切な動きベクトルと参照ピクチャを選択しやすくするという効果を有する。

（変形例１：固定数の隣接ブロックのサーチ順序）
本願のSTMVP部30366の変形例１では、対象ブロックの上側隣接ブロックA[]、左側隣接ブロックL[]のサーチ順序SearchOrderA[]、SearchOrderL[]のバリエーションを説明する。サーチする隣接ブロックの個数を固定的に設定し、サーチ順序以外は（隣接ブロックのサーチ順序）の説明と同じである。

（構成１）探索ブロック数を各々２つに設定する（図15(b)）。STMVP部30366は上側隣接ブロックとして、SearchOrderA[]に記載されたA[2]、A[0]の順番に隣接ブロックをサーチする。上側隣接ブロックのサーチ順序は以下で表される。

SearchOrderA[]={2,0}
同様に左側隣接ブロックのサーチ順序は以下で表される。

SearchOrderL[]={2,0}
ここでA[2]:(xPb+bW/2,yPb-1)、A[0]:(xPb,yPb-1)、L[2]:(xPb-1,yPb+bH/2)、L[0]:(xPb-1,yPb)
そして、STMVP部30366は、最初に見つかった利用可能なブロックを、各々マージ候補導出で参照する隣接ブロックに設定する。そして、この上側、左側隣接ブロックの動きベクトルと参照ピクチャをmvA、mvBとRefA、RefBに設定する。

（構成２）探索ブロック数を各々３つに設定する。STMVP部30366は、上側隣接ブロックとして、SearchOrderA[]に記載されたA[2]、A[0]、A[3]の順番に隣接ブロックをサーチする。上側隣接ブロックのサーチ順序は以下で表される（図15(c)）。

SearchOrderA[]={2,0,3}
同様に左側隣接ブロックのサーチ順序は以下で表される。

SearchOrderL[]={2,0,3}
あるいは（図15(d)）
SearchOrderA[]={2,0,1}
SearchOrderL[]={2,0,1}
あるいは（図15(e)）
SearchOrderA[]={2,0,4}
SearchOrderL[]={2,0,4}
そして、STMVP部30366は最初に見つかった利用可能なブロックを、各々マージ候補を導出するために参照する隣接ブロックに設定する。そして、この上側、左側隣接ブロックの動きベクトルと参照ピクチャをmvA、mvBとRefA、RefBに設定する。

なお、サーチ順序は上記に限定しないが、サーチの先頭が上側および左側隣接ブロックの各々中央位置のブロックであり、探索するブロックの中に左上位置のブロック(A[0]、L[0])が含まれる。探索するブロックの中に左上位置のブロック(A[0]、L[0])が含まれない場合、符号化効率が低下することをシミュレーション結果から確認しているためである。

（構成３）探索ブロック数を各々４つに設定する。（隣接ブロックのサーチ順序）で説明したスキャン順序以外に、以下のスキャン順序で隣接ブロックをサーチしてもよい。STMVP部30366は、上側隣接ブロックとして、SearchOrderA[]に記載されたA[2]、A[0]、A[4]、A[1]の順番に隣接ブロックをサーチする。上側隣接ブロックのサーチ順序は以下で表される。

SearchOrderA[]={2,0,4,1}（図16(a)）
同様に左側隣接ブロックのサーチ順序は以下で表される。

SearchOrderL[]={2,0,4,1}
あるいはサーチ順序は以下であってもよい。（図16(b)）
SearchOrderA[]={2,0,1,3}
SearchOrderL[]={2,0,1,3}
そして、STMVP部30366は最初に見つかった利用可能なブロックを、各々マージ候補導出で参照する隣接ブロックに設定する。そして、この上側、左側隣接ブロックの動きベクトルと参照ピクチャをmvA、mvBとRefA、RefBに設定する。

（変形例２：可変数の隣接ブロックのサーチ順序）
本願のSTMVP部30366の変形例２では、対象ブロックの上側隣接ブロックA[]、左側隣接ブロックL[]のサーチ順序SearchOrderA[]、SearchOrderL[]の別のバリエーションを説明する。サーチする隣接ブロックの個数をブロックサイズに合わせて変更するが、サーチ順序以外は（隣接ブロックのサーチ順序）の説明と同じである。

（構成４）ブロックサイズと所定の閾値との比較により、探索ブロック数を設定する。例えば、STMVP部30366は、ブロックサイズ（ブロックの幅あるいは高さ）bsizeがbsize1以下の場合は探索ブロック数NumSearchBLKを１、bsize1より大きくbsize2以下の場合は探索ブロック数NumSearchBLKを２、bsize2より大きい場合は探索ブロック数NumSearchBLKを３に設定する。

if (bsize<=bsize1) NumSearchBLK=1
else if (bsize<=bsize2) NumSearchBLK=2
else NumSearchBLK=3
例えば、図16(c)〜(e)は、探索数に応じた隣接ブロックA[]、L[]の位置を示す例であり
、bsize1=4、bsize2=8に設定している。図16(c)に示すように、4x8ブロックにおける上側隣接ブロックの探索数が１、左側隣接ブロックの探索数が２、図16(d)に示すように、16x16ブロックにおける上側および左側の隣接ブロックの探索数が３、図16(e)に示すように、64x32ブロックにおける上側および左側の隣接ブロックの探索数が３である。このように、対象ブロックの幅と高さが異なるサイズであっても、STMVP部30366は、サイズに合わせて上側および左側隣接ブロックの探索数を設定することができる。

（構成５）ブロックサイズから探索ブロック数を導出する。例えば、STMVP部30366は、最小CUサイズをminCU、ブロックサイズをbsize（ブロックの幅あるいは高さ）、探索ブロック数の上限をmaxNumBLKとすると、探索ブロック数NumSearchBLKは下式で表される。

NumSearchBLK = min(floor(bsize/minCU),maxNumBLK)
例えば、minCU=4、maxNumBLK=3とすると、上式は以下のように表現できる。

NumSearchBLK = min(floor(bsize/4),3)
つまり、探索ブロック数の上限までは、ブロックサイズが大きくなるにつれて探索ブロック数は増える。

本願のSTMVP部30366の変形例１および変形例２では、探索ブロック数を変更することで、無駄な探索や少なすぎる探索を回避して、適切な回数の探索を実施することができる。

このように、STMVP部30366は、STMVPマージ候補として、対象ブロックの空間方向および時間方向隣接ブロックの動きベクトルを参照し、平均（加重平均）をもちいて、ブロック単位で対象ブロックのマージ候補を導出する。従って、隣接ブロックに存在しない新たな動きベクトルをマージ候補に追加することができる。これにより、対象ブロックのマージ候補の選択肢を増やし、符号化効率を向上させることができる。また、新たなマージ候補はサブブロック単位の動きベクトルではなく、ブロック単位の動きベクトルである場合には、後段の予測画像生成部308では、予測画像生成に必要な処理量を小さく、参照ピクチャメモリ306から転送される参照ピクチャに必要なメモリバンド幅も小さく抑えることができる。さらに、本願のSTMVPは利用可能性を判定する時に、複数の隣接ブロックの中で中央に位置するブロックを先行してスキャンしてもよい。これにより、対象ブロックに近い特徴を持つ中央の隣接ブロックを優先してマージ候補に設定することができるため、符号化効率を向上させることができる。

（変形例３：対象ブロックに隣接しない参照ブロックの利用）
本願のSTMVP部30366の変形例３では、STMVP部30366は、STMVPとして、STMVPの動きベクトルを導出するために、対象ブロックに隣接するブロックに加え、直接隣接しない近傍ブロックを参照する。すなわち、STMVP部30366は、対象ブロック周囲の2つ以上の直接隣接しない近傍ブロックの動きベクトルを参照して、予測ベクトル（マージ候補）を導出する。以降では、「（直接）隣接する」とは、対象ブロックと１辺の一部を共有することを意味する。つまり、（直接）隣接ブロックは下記のいずれかを満たす。

0<=xNb[i]<xPb+bW
0<=yNb[j]<yPb+bH
また、非隣接ブロックは下記のいずれかを満たす。

xNb[i]>=xPb+bW
yNb[j]>=yPb+bH
ここで、対象ブロックの左上座標を(xPb,yPb)、対象ブロックの幅と高さをbW、bHとする。非隣接ブロックの位置を長距離ポジション（long distance position）と呼ぶ。また遠
距離ポジション(Far position)と呼んでも良い。なお、対象ブロックの上側の長距離ポジションや対象ブロックの左側の長距離ポジションではなく、今後、処理が進む方向（スキャン方向）、つまり、対象ブロックの右側の長距離ポジションや対象ブロックの下側の長距離ポジションを用いてもよい。このような位置を、右側長距離ポジション（xNb[i]>=xPb+bWを満たす）、下側長距離ポジション（yNb[j]>=yPb+bHを満たす）とも呼ぶ。また、隣接ブロックの位置を短距離ポジション（short distance position）と呼ぶ。

以下の説明では、対象ブロック近傍の隣接ブロック（短距離ポジションのブロック）と非隣接ブロック（長距離ポジションのブロック）を含めて、対象ブロックの近傍ブロックと呼ぶ。

さらに図面を用いて後述するように、STMVP部30366は、以下のようにブロックサイズ(bW,bH)の2倍以上の長距離ポジション（長長距離ポジション、long long distance position）を探索してもよい。

xNb>xPb+2*bW-1
yNb>yPb+2*bH-1
例えば、(xNb,yNb)=(xPb+5*bW/2,yPb-1)、(xPb-1,yPb+5*bH/2)や(xNb,yNb)=(xPb+3*bW,yPb-1)、(xPb-1,yPb+3*bH)などがある。

なお、長距離ポジションとして、(xPb+wLng,yPb-1)及び(xPb-1,yPb+hLng)、隣接ポジション（短距離ポジション）として(xPb+wSht,yPb-1)及び(xPb-1,yPb+hSht)を用いてもよい。

図26、図27、図31は、本実施形態のSTMVP部30366とMSMVP部30368が参照する空間位置の例を説明する図である。MSMVP部30368は後述する。上側近傍ブロックとして、ALng:(xNb,yNb)=(xPb+wLng,yPb-1)とASht:(xNb,yNb)=(xPb+wSht,yPb-1)をこの順で参照し、左側近傍ブロックとして、LLng:(xNb,yNb)=(xPb-1,yPb+hLng)とLSht:(xNb,yNb)=(xPb-1,yPb+hSht)をこの順で参照する。図26は、wLng=5*bW/2、wSht=bW-1、hLng=5*bH/2、hSht=bH-1を用いる。また、wLng=2*bW、wSht=bW-1、hLng=2*bH、hSht=bH-1を用いてもよい。あるいはwLng=bW+OffsetW、wSht=bW-1、hLng=bH+OffsetH、hSht=bH-1を用いてもよい。ここで、OffsetW、OffsetHはブロックサイズに依存しない定数であり、例えば32、64等をセットする。すなわち、対象ブロックの右上位置（xP+bW,yPb-1）に対して所定の定数OffsetWを加えた位置、対象ブロックの左下位置（xP-1,yPb+bH-1）に対して所定の定数OffsetHを加えた位置をSTMVPのマージ候補の導出において参照することを特徴とする。図27は、wLng=5*bW/2、wSht=0、hLng=5*bH/2、hSht=0を用いる。図31は、wLng=bW、wSht=bW-1、hLng=bH、wSht=bH-1を用いる。すなわち、対象ブロックの右上位置（xP+bW,yPb-1）と、対象ブロックの左下位置（xP-1,yPb+bH）をSTMVPのマージ候補の導出において参照することを特徴とする。なお、wLng、wSht、hLng、hShtの値は上記に限定されない。

以下、対象ブロックに直接隣接しないブロックを利用する場合における、STMVP部30366の参照位置を、図を用いて説明する。なお、STMVP部30366の参照位置は図に例示した位置に限定されず、他の非隣接ブロックを利用することができる。

図17は、STMVP部30366がサーチする対象ブロックCurBLKの近傍ブロック（上側近傍ブロックA[]、左側近傍ブロックL[]）の例を示す図である。qbW=bW/4、qbH=bH/4とすると、図17(a)に示すように、A[i]は座標(xPb+qbW*i,yPb-1)を含むブロックであり、左上座標を(xNb[i],yNb[i])と表す。L[j]は座標(xPb-1,yPb+qbH*j)を含むブロックであり、左上座標を(xNb[j],yNb[j])と表す。0<=i<4あるいは0<=j<4の場合、xNb<xPb+BW、あるいは、yNb<yPb+BHであり、近傍ブロックは対象ブロックに隣接するブロックである。i>=4あるいはj>=4
の場合、xNb>=xPb+BW、あるいは、yNb>=yPb+BHであり、近傍ブロックは対象ブロックに隣接しないブロックである。

変形例３では、最初にサーチする近傍ブロックを非隣接ブロックに設定する。そして、サーチするブロックの中に隣接ブロックを必ず含める。

（図17(b)の場合）
図17(b)はサーチするブロックの個数を２個に設定した場合のSTMVP部30366におけるサーチ順序を示す。

SearchOrderA[]={10,2}
SearchOrderL[]={10,2}
このサーチ順序では、上側近傍ブロックはA[10]、A[2]の順にサーチし、左側近傍ブロックはL[10]、L[2]の順にサーチする。A[10]は(xPb+qbW*10,yPb-1)=(xPb+5*bW/2,yPb-1)を含むブロック、L[2]は(xPb-1,yPb+qbH*10)=(xPb-1,yPb+5*bH/2)を含むブロックであり、非隣接ブロックである。A[2]は(xPb+qbW*2,yPb-1)を含むブロック、L[0]は(xPb-1,yPb+qbH*2)を含むブロックであり、隣接ブロックである。

（図17(c)の場合）
図17(c)はサーチするブロックの個数を２個に設定した場合のSTMVP部30366の別のサーチ順序を示す。

SearchOrderA[]={10,0}
SearchOrderL[]={10,0}
このサーチ順序では、上側近傍ブロックはA[10]、A[0]の順にサーチし、左側近傍ブロックはL[10]、L[0]の順にサーチする。A[10]は(xPb+qbW*10,yPb-1)を含むブロック、L[10]は(xPb-1,yPb+qbH*10)を含むブロックであり、非隣接ブロックである。A[0]は(xPb,yPb-1)を含むブロック、L[0]は(xPb-1,yPb)を含むブロックであり、隣接ブロックである。

このようにSTMVP部30366が２つの近傍ブロックをサーチする場合、非隣接ブロック((xPb+qbW*i,yPb-1)または(xPb-1,yPb+qbH*j))、ここでi,j>=4、隣接ブロック((xPb+qbW*i,yPb-1)または(xPb-1,yPb+bH/2))、ここで0<=i,j<4、の順にサーチする。

（図18(a)、(b)の場合）
図17の非隣接ブロックは、対象ブロックの上ラインを水平に延長した直線（y=yPb）あるいは、対象ブロックの左コラムを垂直方向に延長した直線(x=xPb)に隣接していた。つまり、上側非隣接ブロックはy座標に(yPb-1)を含むブロックであり、左側非隣接ブロックはx座標に(xPb-1)を含むブロックである。これに対し、図18(a)、(b)に示すように、非隣接ブロックを対象ブロックから離れた位置に設定してもよい。つまり、上側非隣接ブロックはy座標に(yPb-1)を含まないブロックであり、左側非隣接ブロックはx座標に(xPb-1)を含まないブロックである。上側非隣接ブロックは図18(a)に示す斜線領域、つまり{-qbW*8<=x<=qbW*8,-qbH*8<=y<=-qbH*4}で囲まれた領域内に位置する。また、左側非隣接ブロックは図18(b)に示す斜線領域、つまり{-qbW*8<=x<=-qbW*4,-qbH*8<=y<=qbH*8}で囲まれた領域内に位置する。STMVP部30366は、この非隣接ブロックをサーチの先頭に、隣接ブロック((xPb+qbW*i,yPb-1)あるいは(xPb-1,yPb+qbH*j))、ただし0<=i,j<4、を２番目にサーチする。例えば図18(a)、(b)に示す例では以下のサーチ順序である。

SearchOrderA[]={(xPb+qbW*4,yPb-qbH*4),(xPb,yPb-1)}
SearchOrderL[]={(xPb-qbW*6,yPb+qbH*2),(xPb-1,yPb)}
あるいは、サーチするブロックの個数を３個に設定してもよい。

（図18(c)の場合）
SearchOrderA[]={8,2,10}
SearchOrderL[]={8,2,10}
このサーチ順序では、STMVP部30366は、上側近傍ブロックとしてA[8]、A[2]、A[10]の順にサーチし、左側近傍ブロックとしてL[8]、L[2]、L[10]の順にサーチする。A[8]とA[10]は(xPb+qbW*8,yPb-1)=(xPb+2*bW,yPb-1)と(xPb+qbW*10,yPb-1)=(xPb+5*bW/2,yPb-1)を各々含むブロック、L[8]とL[10]は(xPb-1,yPb+qbH*8)=(xPb-1,yPb+2*bH-1)と(xPb-1,yPb+qbH*10)=(xPb-1,yPb+5*bH/2-1)を各々含むブロックであり、非隣接ブロックである。A[2]は(xPb+qbW*2,yPb-1)を含むブロック、L[2]は(xPb-1,yPb+qbH*2)を含むブロックであり、隣接ブロックである。

このように３つの近傍ブロックをサーチする場合、非隣接ブロック((xPb+qbW*i,yPb-1)または(xPb-1,yPb+qbH*j))、ここでi,j>=4、を最初にサーチし、隣接ブロック((xPb+qbW*2,yPb-1)または(xPb-1,yPb+qbH*2))、ここで0<=i,j<4、をサーチの中に含める。

（図18(d)の場合）
図18(d)はサーチするブロックの個数を３個に設定した場合のSTMVP部30366の別のサーチ順序を示す。

SearchOrderA[]={4,8,2}
SearchOrderL[]={4,8,2}
このサーチ順序では、上側近傍ブロックはA[4]、A[8]、A[2]の順にサーチし、左側近傍ブロックはL[4]、L[8]、L[2]の順にサーチする。A[4]とA[8]、L[4]とL[8]は非隣接ブロックであり、A[2]、L[2]は隣接ブロックである。

このように３つの近傍ブロックをサーチする場合、STMVP部30366は非隣接ブロック((xPb+qbW*i,yPb-1)または(xPb-1,yPb+qbH*j))、ここでi,j>=4、を最初にサーチし、隣接ブロック((xPb+qbW*i,yPb-1)または(xPb-1,yPb+qbH*j))、ここで0<=i,j<4、をサーチの中に含める。

なお、サーチするブロック数が４以上の場合や、サーチするブロック数が上側および左側近傍ブロックで異なる場合でも、近傍ブロックをサーチする場合、非隣接ブロック((xPb+N*bW,yPb-1)または(xPb-1,yPb+M*bH))を最初にサーチし、隣接ブロック((xPb+bW/2,yPb-1)または(xPb-1,yPb+bH/2))をサーチの中に含める。

図32はサーチするブロックの個数を１個に設定した場合の、本実施形態のSTMVP部30366とMSMVP部30368が参照する空間位置の例を説明する図である。上側近傍ブロックとして、ALng:(xNb,yNb)=(xPb+wLng,yPb-1)、左側近傍ブロックとして、LLng:(xNb,yNb)=(xPb-1,yPb+hLng)を参照する。ここで、wLng=bW+OffsetW、hLng=bH+OffsetHを用いるが、これに限定されない。なお、OffsetW、OffsetHはブロックサイズに依存しない定数であり、例えば32、64等をセットする。このように、サーチするブロックを１個に設定する場合、非隣接ブロックをサーチブロックに設定する。すなわち、対象ブロックの右上位置（xP+bW,yPb-1）に対して所定の定数OffsetWを加えた位置、対象ブロックの左下位置（xP-1,yPb+bH）に対して所定の定数OffsetHを加えた位置をSTMVPのマージ候補の導出において参照することを特徴とする。

以上のように、ブロックサイズを超える位置にサーチの先頭ブロックを設定することで、隣接ブロックから作成されたマージ候補リストに含まれない異なる動きベクトルを、マージ候補リストに追加することができる。従って、対象ブロックのマージ候補の選択肢を
増やし、符号化効率を向上させることができる。

（長距離ポジションのクリップ）
図28は、長距離ポジションのクリップを説明する図である。そのCTUの右側（右上）の動き情報を内部メモリ（ラインメモリ）に確保する必要があるので、長距離ブロックの位置がCTUの位置からみて大きく右側にある場合にはラインメモリサイズが大きくなる。したがって、STMVP部30366（もしくはMSMVP部30368）は、長距離ポジションの参照において、CTUサイズを大きく超えて右側にある位置を避けることが好適である。以下そのような構成例を説明する。

STMVP部30366（もしくはMSMVP部30368）の導出において、長距離ブロックの位置（隣接ブロックの位置）の最大値を、対象ブロックを含むCTU左上座標からの相対座標に応じてクリップしても良い。例えば、近傍ブロックの位置のX座標（xPb+xNb[i]）が、CTU座標のX座標にCTU幅のM倍の範囲である最大値xCTU+wCTU*M-1を超える場合に、参照位置xRefを最大値に設定する。なお、長距離ブロックの位置に限定されず、全ての近傍ブロックにおいて上記クリップ処理を行ってもよい。

xRef = xPb+xNb[i]
if (xPb+xNb[i]>xCTU+wCTU*M-1)
xRef = xCTU+wCTU*M-1
ここでwCTUはCTUサイズ、Mは例えば２である。

上記は以下の処理でも実現できる。

xRef = xPb+xNb[i]
xRef = clip3(0,xCTU+wCTU*M-1,xRef)
また、STMVP部30366はwCTUサイズとしてCTUサイズの最大値、例えば128や256を用いても良い。たとえばwCTU=128、M=2の場合、
xRef = clip3(0,xCTU+127,xRef)
STMVP部30366（もしくはMSMVP部30368）は、このクリップ済みの位置、例えば(xRef, yPb-1)を用いてSTMVP（もしくはMSMVP）の上側ベクトルmvA（スケール後はsmvA）を導出する。

上記動作はSTMVP部30366に限定されずMSMVP部30368においても適用できる。以上の構成によれば、上側近傍ブロックの動き情報の参照に置いて、長距離ブロックの位置（近傍ブロックの位置）のX座標をCTU座標に基づいて制限することにより、ラインメモリサイズを低減できる。

（STMVP部30366の動きベクトル導出処理）
STMVP部30366において、上側および左側近傍ブロックの動きベクトルは下記の手順で導出する。以下ではサーチするブロック数が２の例を説明するが、その他の値に設定した場合も同様である。

ステップ１）上側近傍ブロックの動きベクトル導出
STMVP部30366は、対象ブロックの上側近傍ブロックA[]を、例えば、以下の順番SearchOrderA[]にサーチし、利用可能なブロックを取得する。

SearchOrderA[] = {10,2}（図17(c)）
上記のサーチ順序の場合、対象ブロックの上側近傍ブロックにおいて、(xPb+qBW*10,yPb-1)を含む近傍ブロックを最初にサーチし、次に(xPb+qBW*2,yPb-1)を含む隣接ブロックを
サーチする。最初に見つかった利用可能なブロックの動きベクトルと参照ピクチャを、STMVPの上側ベクトルmvAと参照ピクチャRefAとし、カウントcnt=1とする。利用可能なブロックがない場合、カウントcnt=0、mvA=0とする。以上は、一例として下記の擬似コードで表現できる。

mvA = 0; cnt = 0;
for (i=0; i<=N; i++) { // N=2
mvLX = mvLXA[i]; refIdxLX = refIdxLXA[i]; RefPicListX = RefPictXA[i];
blkA = SearchOrderA[i];
if (availableFlag[blkA]==1) {
mvA = mvLX[xNb[blkA]][yNb[blkA]];
refIdxA = refIdxLX[xNb[blkA]][yNb[blkA]];
RefA = RefPicListX[refIdxA];
cnt++;
break;
}
}
ステップ２）左側近傍ブロックの動きベクトル導出
STMVP部30366は、対象ブロックの左側近傍ブロックL[]を、例えば、以下の順番SearchOrderL[]にサーチし、利用可能なブロックを取得する。

SearchOrderL[] = {10,2}（図17(c)）
上記のサーチ順序の場合、対象ブロックの左側近傍ブロックにおいて、(xPb-1,yPb+qBW*10)を含む近傍ブロックを最初にサーチし、次に(xPb-1,yPb+qBW*2)を含む隣接ブロックをサーチする。最初に見つかった利用可能なブロックの動きベクトルと参照ピクチャを、STMVPの左側ベクトルmvLと参照ピクチャRefLとし、カウントcnt=1を１インクリメントする。利用可能なブロックがない場合、カウントcntは更新せず、mvB=0とする。以上は、一例として下記の擬似コードで表現できる。

mvL = 0;
for (j=0; j<=M; j++) { // M=2
mvLX = mvLX[j]; refIdxLX = refIdxLXL[j]; RefPicListX = RefPictXL[j];
blkL = SearchOrderL[j];
if (availableFlag[blkL]==1) {
mvL = mvLX[xNb[blkL]][yNb[blkL]];
refIdxL = refIdxLX[xNb[blkL]][yNb[blkL]];
RefL = RefPicListX[refIdxL];
cnt++;
break;
}
}
ステップ３〜ステップ８は上記と同じ処理であり、説明を省略する。

STMVP部30366は、サーチの先頭ブロックを、対象ブロック左上から見てブロックサイズを超える位置（非隣接ブロック、長距離ブロック）に設定し、複数の動きベクトルから導出することで、隣接ブロックから作成されたマージ候補リストに含まれない異なる動きベクトルを、マージ候補リストに追加することができる。また、サーチする近傍ブロックの中に、上側隣接ブロックおよび左側隣接ブロックの中央に位置するブロックを含めることによって、対象ブロックと同じ特徴をもつ可能性の高い動きベクトルも参照することができる。従って、ブロックサイズを超える位置の動きベクトルを参照することにより対象ブ
ロックのマージ候補の選択肢を増やし、隣接ブロックが対象ブロックと同じ性質を持つ時は隣接ブロックの動きベクトルを参照することによって、符号化効率を向上させることができる。

（マルチ空間マージ候補 Multi Spatial Motion Vector Prediction）
マルチ空間マージ候補（Multi Spatial Motion Vector Prediction、MSMVP）は、対象ブロック周囲の2つ以上の動きベクトルを参照して、予測ベクトル（マージ候補）を導出する。特に、ここでは、長距離マルチ空間マージ候補として、対象ブロックに直接隣接しない２つ以上の近傍ブロックを参照して、動きベクトルを導出する。

以降では、「直接隣接する」とは、対象ブロックと１辺の一部を共有することを意味する。ここで、直接隣接しない長距離隣接ブロック(xNb,yNb)は下記のいずれかを満たす。

xNb >= xPb+bW
yNb >= yPb+bH
つまり、対象ブロックからの距離が大きく、さらにX座標(xNb)もしくは、Y座標(yNb)が対象ブロックの範囲(xPb..xPb+bW-1,yPb..yPb+bH-1)を正の方向で超える場合である。上記は、対象ブロックの右端のX座標xPb+bW-1、下端のY座標yPb+bH-1を超えるという意味で、以下で表現しても良い。

xNb > xPb+bW-1
yNb > yPb+bH-1
符号化ユニットCUの処理は、X方向、Y方向に進むため、対象ブロックサイズを超える位置の上記長距離ブロックを参照する場合には、一種の先読み効果があり、後続の動きベクトルとの整合性を高めることができる。さらに、マルチ空間マージ候補は、このような２個以上の長距離ブロックの動きベクトルを平均することで、安定性を高めることが特徴である。この意味でマルチ空間マージ候補を長距離マルチ空間マージ候補(long distance multi spatial merge candidate)と呼んでも良い。さらに複数の長長距離ポジションの動き情報を用いる場合には、長長距離マルチ空間マージ候補(long long distance multi spatial merge candidate)と呼んでも良い。

さらに、MSMVP部30368は、以下のようにブロックサイズ(bW,bH)の2倍以上の長距離ポジション（長長距離ポジション）を探索することにより、さらなる先読み効果を得ることができる。

xNb > xPb+2*bW-1
yNb > yPb+2*bH-1
例えば、(xNb,yNb)=(xPb+5*bW/2,yPb-1)、(xPb-1,yPb+5*bH/2)や(xNb,yNb)=(xPb+3*bW,yPb-1)、(xPb-1,yPb+3*bH)である。

なお、図28を用いて、上述したようにMSMVP部30368においても長距離ポジションのクリップを行ってもよい。

（MSMVP部の構成例１）
MSMVP部は、第１長距離ブロック(xPb+wLng,yPb-1)の動きベクトルmvLX_Nb1(=mvA)、第２長距離ブロック(xPb-1,yPb+hLng)の動きベクトルmvLX_Nb2(=mvL)の平均値もしくは加重平均値を導出する。導出された動きベクトルをマージ候補msMvLXとする。ここでwLng>=bW、hLng>=bHであってもよい。またwLng>=2*bW、hLng>=2*bHであってもよい。

msMvLX[0] = (MvLX_Nb1[0]+MvLX_Nb2[0]+round)>>1 （式MSMVP-1）
msMvLX[1] = (MvLX_Nb1[1]+MvLX_Nb2[1]+round)>>1
ここでラウンド用オフセットroundは0でも1でもよい。

また以下のように加重平均でもよい。

msMvLX[0] = (W*MvLX_Nb2[0]+(8-W)*MvLX_Nb2[0]+round)>>3 （式MSMVP-2）
msMvLX[1] = (W*MvLX_Nb2[1]+(8-W)*MvLX_Nb2[1]+round)>>3
ここで、Wは重みを示す値であり、0以上7以下である。

（MSMVP部の構成例２）
MSMVP部は、長距離ブロックが画面外やイントラブロックで利用可能ではない場合（AvailableNb1がFalseの場合）には、長距離ブロック以外の点（短距離ポジション）の動き情報を利用しても良い。隣接ポジション（短距離ポジション）として(xPb+wSht,yPb-1)及び(xPb-1,yPb+hSht)を用いてもよい。MSMVP部30368は、第１近傍ブロックの候補位置を順にサーチする。そして第１近傍ブロックの候補位置の中で、最初に見つかった利用可能な候補位置の動きベクトルをmvLX_Nb1(=mvA)、第２近傍ブロックの候補位置の中で、最初に見つかった利用可能な候補位置の動きベクトルをmvLX_Nb2(=mvL)とする。マージ候補msMvLXの導出方法は、（式STMVP-1）、（式STMVP-2）のいずれを用いてもよい。
なお、上側ブロックの候補位置(xNb[i],yNb[i])は、例えば以下であり、先頭には、長距離ブロックを設定する。

(xPb+wLng,yPb-1)
(xPb+wSht,yPb-1)
とする。ここでwLng>=bWである。例えばwLng=bW、2*bW、5*bW/2、3*bWなど。ここでwSht<=bW-1であり、例えば、wSht=0、bW/2、bW-1などを用いてもよい。
左側ブロックの候補位置(xNb[i],yNb[i])は例えば以下であり、先頭には、長距離ブロックを設定する。

(xPb-1,yPb+hLng)
(xPb-1,yPb+hSht-1)
とする。ここでhLng>=bHである。例えばhLng=bH、2*bH、5*bH/2、3*bHなど。ここでwSht<=bW-1であり、例えば、hSht=0、bH/2、bH-1など。

（MSMVP部30368の構成例３）
MSMVP部30368は、さらに、上記長距離ブロック（近傍ブロック）で見つかった動きベクトルをスケーリングして得られる動きベクトルを利用しても良い。例えば、MSMVP部30368は、対象ピクチャと近傍ブロックの参照ピクチャ間の時間的な距離（あるいはコロケートピクチャとその参照ピクチャ間の時間的な距離）と、対象ピクチャと参照ピクチャ間の時間的な距離に応じて、利用可能な近傍ブロックの動きベクトルをスケーリングする。

（MSMVP部30368のフローチャート）
以上、構成例１、構成例２、構成例３をまとめたマルチ空間マージ候補（MSMVP）に関するマージ候補導出処理を図25のフローチャートで説明する。

MSMVP部30368は、対象ブロックの上側、左側方向の近傍ブロックA[]、L[]をサーチする（S2601）。

MSMVP部30368は、所定のスキャン順序で利用可能な近傍ブロックの有無を判定し、利用可能な近傍ブロックがあればS2603に進み、利用可能な近傍ブロックが１個もなければS2608に進む（S2602）。

より具体的には、MSMVP部30368は、利用可能な上側近傍ブロックが見つかった場合、最初に見つかった近傍ブロックの動きベクトルと参照ピクチャを、MSMVPの上側ベクトルmvAと参照ピクチャRefAとし、カウントcntを１インクリメントする。利用可能な近傍ブロックがない場合、カウントcnt=0、mvA=0とする。次に、MSMVP部30368は、利用可能な左側近傍ブロックが見つかった場合、最初に見つかった近傍ブロックの動きベクトルと参照ピクチャを、MSMVPの左側ベクトルmvLと参照ピクチャRefLとし、カウントcntを１インクリメントする。上側近傍ブロック、左側近傍ブロック共に利用可能な近傍ブロックがない場合、カウントcntは更新せず、mvL=0とする。

MSMVP部30368は、対象ピクチャと近傍ブロックの参照ピクチャ間の時間的な距離（あるいはコロケートピクチャとその参照ピクチャ間の時間的な距離）と、対象ピクチャと参照ピクチャ間の時間的な距離に応じて、利用可能な近傍ブロックの動きベクトルをスケーリングする（S2603）。

MSMVP部30368は、ctnが0でない場合、対象ピクチャCurPicと、対象ブロックCurBLKの参照ピクチャRefPicListX[refIdxLX]との時間情報を用いて、ステップ１〜ステップ３で取得した利用可能な動きベクトルをスケーリングする。refIdxLX=0としてもよい。スケーリング後の動きベクトルをsmvA、smvLとする。

smvA = MvScale(mvA,CurPic,RefA,CurPic,RefPicListX[refIdxLX]))
smvL = MvScale(mvL,CurPic,RefL,CurPic,RefPicListX[refIdxLX]))
ステップ６）平均値導出
MSMVP部30368は、スケーリングした２つ以上の空間動きベクトルから代表値を算出し、MSMVPの動きベクトルMvLXとしてセットする（S2604）。
cnt=1の場合、例えば、smvAが利用可能な場合、以下を用いる。sum(smv)=smvA。

msMvLX = smvA = sum(smv)
cnt=2の場合、例えば、smvA、smvLが利用可能な場合、以下の式で導出してもよい。

msMvLX = (smvA+smvL)>>1 = sum(smv)>>1
ベクトルの成分ごとに書き下せば以下のようになる。

msMvLX[0] = (smvA[0]+smvL[0]+round)>>1 （式STMVP-1）
msMvLX[1] = (smvA[1]+smvL[1]+round)>>1
ここでround=0または1である。また、動きベクトルが正か負かに分けて処理を行っても良い。すなわち、
absMvLX[0] = abs(smvA[0]+smvL[0])
absMvLX[1] = abs(smvA[1]+smvL[1])
sgnMvLX[0] = sgn(smvA[0]+smvL[0])
sgnMvLX[1] = sgn(smvA[1]+smvL[1])
msMvLX[0] = (1-2*sgnMvLX[0])*((absMvLX[0]+round)>>1)
msMvLX[1] = (1-2*sgnMvLX[1])*((absMvLX[1]+round)>>1)
ここでabs(x)はxの絶対値を取得する関数、sgn(x)はxの符号を取得する関数でsgn(x)=(x>=0)?1:-1。

MSMVP部30368は、図12(a)に示すマージ候補リストmergeCandList[]にMSMVPの動きベクトルmsMvLX[]を格納する（S2607）。

MSMVP部30368は、さらに、MSMVPの動きベクトルと既に導出されたマージ候補の動き情
報（動きベクトル、参照ピクチャ）が同一であるか否かによって、プルーニング処理を行っても良い。具体的には、MSMVPマージ候補のインデックスがkである場合に、MSMVPマージ候補の動き情報と既に導出されたマージ候補リスト中のmergeCandList[i]（ただしi = 0..k-1）の動き情報（動きベクトルと参照ピクチャ）が同一であるかをチェックする。同一ではない場合のみ、マージ候補リストmergeCandList[]にMSMVPの動きベクトルを格納する。

MSMVP部30368は、利用可能な動きベクトルがない場合、マージ候補リストmergeCandList[]にMSMVPの動きベクトルを格納せず、処理を終了する（S2608）。

ここで、上側隣接ブロック、左側隣接ブロック、コロケートブロックの中に利用可能な動きベクトルがなかった場合、MSMVPの利用可能性フラグAvailMSMVPを0に設定しオフにする。逆に、上側隣接ブロック、左側隣接ブロック、コロケートブロックの中に利用可能な動きベクトルがある場合、処理を継続して、MSMVPマージ候補を導出し、MSMVPの利用可能性フラグAvailSTMVPを1に設定する。

以上の処理により、対象ブロックの空間近傍ブロックの動きベクトルをもとに、対象ブロックのマージ候補を導出するマージ候補導出装置において、対象ブロックの第１近傍ブロックの動きベクトルから導出される動きベクトルと、第２近傍ブロックから導出される動きベクトルの平均もしくは加重平均で導出される動きベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納してもよい。

（ATMVP：Adaptive Temporal Motion Vector Prediction）
本願のATMVPは、ATMVP部30367において、図19(a)に示す対象ピクチャCurPicの対象ブロックCurBLKの空間隣接ブロック（LM、AM、L、A、AR、BL、AL）の動きベクトルをもとに、対象ブロック毎にマージ候補を導出する。図12(a)のマージ候補リストmergeCandList[]に含まれる空間隣接ブロック（L、A、AR、BL、AL）に加え、上側および左側空間隣接ブロックの中央に位置するブロック(LM、AM)もサーチする。隣接ブロックLM、AM、L、A、AR、BL、ALは各々、座標(xPb-1,yPb+bH/2)、(xPb+bW/2,yPb-1)、(xPb-1,yPb+bH-1)、(xPb+bW-1,yPb-1)、(xPb+bW,yPb-1)、(xPb-1,yPb+bH)、(xPb-1,yPb-1)を含むブロックであり、左上座標を(xNb[LM],yNb[LM])、(xNb[AM],yNb[AM])、(xNb[L],yNb[L])、(xNb[A],yNb[A])、(xNb[AR],yNb[AR])、(xNb[BL],yNb[BL])、(xNb[AR],yNb[AR])で表現する。ATMVPは下記の手順で処理する。

ステップ１）初期ベクトル導出
ATMVP部30367は、空間隣接ブロックLM、AM、L、A、AR、BL、ALの順に、利用可能な（available）最初の隣接ブロックを取得する。利用可能な隣接ブロックが見つかった場合、そのブロックの動きベクトルと参照ピクチャをATMVPの初期ベクトルIMVと初期参照ピクチャIRefとして、ステップ２に移行する。全ての隣接ブロックが利用可能でない（non available）場合、ATMVPをオフとし、処理を終了する。「ATMVPがオフ」の意味は、マージ候補リストにATMVPによる動きベクトルを格納しないということである。

SearchOrderATMVP[] = {LM,AM,L,A,AR,BL,AL}
for (i=0; i<numATMVP-1; i++) {
Blk = SearchOrderATMVP[i];
if (availableFlag[Blk]==1) {
IMV = mvLX[xNb[Blk]][yNb[Blk]];
IrefIdx = refIdxLX[xNb[Blk]][yNb[Blk]];
IRef = RefPicListX[IrefIdx];
break;
}
}
ここでnumATMVPはATMVPで参照される隣接ブロック数である。

本構成では、対象ブロックの左側あるいは上側の隣接ブロックのうち、各々中央に位置するブロックLMあるいはAMをサーチ候補として設定し、さらに、これらをサーチ順序の先頭に設定してもよい。ブロックサイズが大きい場合、中央に位置する隣接ブロックが対象ブロックにより近い性質をもつと考えられることから、LMとAMを最初にサーチすることにより、マージ候補導出に適切な動きベクトルと参照ピクチャを選択しやすくするという効果を有する。

なお、本実施例では、対象ブロックの左側あるいは上側の隣接ブロックのうち、各々中央に位置するブロックLMあるいはAMをATMVPの初期ベクトルを導出するために参照するものの、マージ候補リストには格納しないが、隣接ブロックLM、AMをマージ候補としてマージ候補リストに格納してもよい。この場合、マージ候補リストは下記のように設定される。

mergeCandList[] = {LM,AM,L,A,AR,BL,ATMVP,STMVP,AL,TMVP,...}
また、MSMVPを用いる場合には、以下のマージ候補リストを用いてもよい。

mergeCandList[] = {LM,AM,L,A,AR,BL,ATMVP,MSMVP,AL,TMVP,...}
ステップ２）利用可能性判定
ATMVP部30367は、初期参照ピクチャIRef上において、対象ブロックからIMVだけシフトした位置のコロケートブロックColBLKが利用可能か否かをチェックする。このコロケートブロックが利用可能な場合（コロケートブロックが動きベクトルを持つ、かつ、ピクチャ内に位置する場合等）、ステップ３に移行する。このコロケートブロックが利用可能でない場合、図20(a)に示す方法で代替初期ベクトルをサーチする。図20(a)において、RefPicListX[i](i=0..numRefPic-1)は、対象ブロックの参照ピクチャリストRefPicListX[]に格納された参照ピクチャ、numRefPicは参照ピクチャリストに格納された参照ピクチャ数、Blk[i]は、RefPicListX[i]上で、対象ブロックから代替初期ベクトルIMV[i]シフトした位置のブロックである。代替初期ベクトルIMV[i]は、初期ベクトルIMVからスケーリング関数MvScale()を用いて導出した動きベクトルである。

IMV[i] = MvScale(IMV,CurPic,IRef,CurPic,RefPicListX[i])
つまり、対象ピクチャCurPicと初期ピクチャIRefの時間情報差と、対象ピクチャCurPicと代替初期ベクトル用の参照ピクチャRefPicListX[i]の時間情報差の比を用いて、代替初期ベクトルIMV[i]を導出する。具体的には、i=0から順番にi=numRefPic-1までBlk[i]の利用可能性をチェックし、最初に見つかった利用可能なブロックBlk[i]を新たなコロケートブロックColBLKに設定し、コロケートブロックColBLKの動きベクトルをspRefMvLX、参照ピクチャインデックスをspRefIdx、参照ピクチャをspRefPicに設定する。また、代替初期ベクトルIMV[i]とその参照ピクチャIRef[i]を新たな初期ベクトルIMVと初期参照ピクチャIRefに設定する。そしてステップ３に移行する。

for (i=0; i<numRefPic-1; i++) {
IRef[i] = RefPicListX[i];
if (IRef[i]==IRef) ;
IMV[i] = MvScale(IMV,CurPic,IRef,CurPic,IRef[i])
xNb = (((xPb+IMV[i][0])>>minCU)<<minCU)+minCU/2; // ColBLK[i]のx座標
yNb = (((yPb+IMV[i][1])>>minCU)<<minCU)+minCU/2; // ColBLK[i]のy座標
Blkを座標(xNb[i],yNb[i])を含むIRef[i]上のブロックにセット;
mvLX = mvLXBlk; refIdxLX = refIdxLXBlk; RefPicListX = RefPictXBlk;
if (availableFlag[Blk]==1) {
IMV = IMV[i];
IRef = IRef[i];
ColBLK = Blk;
spRefMvLX = mvLX[xNb][yNb];
spRefIdx = refIdxLX[xNb][yNb];
spRefPic = RefPicListX[spRefIdx];
break;
}
}
なお、参照ピクチャリストに格納された全ての参照ピクチャにおいてこのようなブロックが見つからない場合、ATMVPをオフとし、処理を終了する。

ステップ３）動きベクトルのスケーリング
ATMVP部30367は、図20(b)に示すように、対象ブロックの参照ピクチャRefPicListX[redIdxLX]上の参照ブロックを示すATMVPの動きベクトルspMvLXを導出する。ここでrefIdxLX=0であってもよい。コロケートブロックColBLKの動きベクトルspRefMvLX、対象ピクチャCurPicとその参照ピクチャRefPicListX[redIdxLX]の時間情報差と、初期参照ピクチャIRefとコロケートピクチャの参照ピクチャspRefPicの時間情報差の比を用いて、ATMVP用の動きベクトルspMvLXを導出する。具体的には、スケーリング関数MvScale()を用いて下式で導出する。

spMvLX = MvScale(spRefMvLX,IRef,spRefPic,CurPic,RefPicListX[refIdxLX])
対象ブロックの参照ピクチャRefPicListX[]のインデックスrefIdxLXは、例えば、参照ピクチャリストに格納された先頭のピクチャ（refIdxLX=0）であってもよい。あるいは、スライスヘッダで通知されるコロケートピクチャのインデックス（collocated_ref_idx）であってもよい。

ステップ４）例外処理
対象ブロックの参照ピクチャにおいて、対象ブロックがspMvLXを用いて参照するブロックが参照ピクチャ内にあるか否かをチェックする。動きベクトルspMvLXの指す先が参照ピクチャ内にない場合には、以下の処理２(処理2A〜処理2C)のいずれかを施す。

[処理2A]ピクチャ境界パディング
動き補償部3091は、ピクチャ境界パディング（ピクチャ外パディング）は、参照位置を、ピクチャの上下左右の境界画素の位置でクリッピングする。ピクチャ境界パディングはSTMVPの[処理1A]と同じ処理である。

[処理2B] ピクチャ境界動きベクトル制限（ピクチャ外動きベクトル制限）
ATMVP部30367もしくは動き補償部3091は、動きベクトルspMvLXがピクチャ外を参照しないようにクリッピングする。ピクチャ境界動きベクトル制限はSTMVPの[処理1B]と同じ処理である。

[処理2C] ピクチャ境界ATMVPオフ（ピクチャ外ATMVPオフ）
ATMVP部30367は、動きベクトルspMvLXの指すブロックの少なくとも一部がピクチャ外の場合、ATMVPをオフにし、処理を終了する。

なお、処理２は、動画像符号化装置11と動画像復号装置31で同じ処理を選択する必要がある。

ステップ５）マージ候補リストにATMVPを格納する。
ATMVP部30367は、マージ候補リストに格納するマージ候補の順番の例を図12(a)に示す。このリストの中から、パラメータ復号制御部3031で導出されたmerge_idxを用いて、対象ブロックのマージ候補が選択される。

マージ候補としてATMVPが選択された場合、インター予測画像生成部309は対象ブロックからspMvLxシフトした参照ピクチャRefPicListX[refIdxLX]上の画像を読み出し、予測画像とする。

以上、ステップ１〜ステップ５で説明したATMVPに関するマージ候補導出処理を図21のフローチャートで説明する。

ATMVP部30367は、対象ブロックの複数（例えば７）の空間隣接ブロック（LM、AM、L、A、AR、BL、AL）をサーチする（S2301）。

ATMVP部30367は、利用可能な最初の隣接ブロックの有無を判定し、利用可能な隣接ブロックがあればS2303に進み、利用可能な隣接ブロックがなければS2308に進む（S2302）。

ATMVP部30367は、利用可能な隣接ブロックの有する動きベクトルと参照ピクチャを用いて、対象ブロックの初期ベクトルIMVと初期参照ピクチャIRefを導出する（S2303）。初期ベクトルIMVの指すコロケートブロックが利用可能な動きベクトルspRefMvLXを持っていない場合、ATMVP部30367は初期ベクトルと初期参照ピクチャを再度サーチする。

ATMVP部30367は、利用可能な動きベクトルspRefMvLXをスケーリングして、対象ブロックの参照ピクチャRefPicListX[refIdxLX]上の動きベクトルspMvLxを導出する（S2304）。

ATMVP部30367は、参照ピクチャRefPicListX[refIdxLX]上で、動きベクトルspMvLXの指すブロックがピクチャ内に存在するか否かを判定する。ブロックがピクチャ内に存在する場合、S2307に進み、そうでない場合、S2306に進む（S2305）。

ATMVP部30367は、動きベクトルspMvLXだけシフトしたブロックの少なくとも一部がピクチャ外にある場合、動きベクトルspMvLxをクリッピングする（S2306）。

ATMVP部30367は、図12(a)に示すマージ候補リストmergeCandList[]にATMVPの動きベクトルを格納する（S2307）。

ATMVP部30367は、マージ候補リストmergeCandList[]にATMVPの動きベクトルを格納しない（S2308）。

なお、S2306の処理はクリッピング以外に、ステップ４で説明したように、ピクチャ境界のパディングであってもよい。また、ATMVPをオフにしてS2308に進んでもよい。

以上の処理により、ATMVPに関するマージ候補を導出する。

（変形例４：初期ベクトル導出方法）
上記ステップ１では、空間隣接ブロックをLM、AM、L、A、AR、BL、ALの順にサーチし、利用可能な最初の隣接ブロックの動きベクトルと参照ピクチャをATMVPの初期ベクトルIMVと初期参照ピクチャIRefとして設定した。変形例４では、空間隣接ブロックをLM、AM、L、A、AR、BL、ALを全てサーチし、利用可能な動きベクトルの平均値を初期ベクトルIMVと
する。

（構成１）ブロックLM、AM、Aが利用可能であると判定された場合、各ブロックの動きベクトルmvLM、mvAM、mvAと参照ピクチャRefLM、RefAM、RefAを用いて、対象ブロックの初期ベクトルを下式で導出する。

smvLM = MvScale(mvLM,CurPic,RefLM,CurPic,RefPicListX[refIdxLX])
smvAM = MvScale(mvAM,CurPic,RefAM,CurPic,RefPicListX[refIdxLX])
smvA = MvScale(mvA,CurPic,RefA,CurPic,RefPicListX[refIdxLX])
IMV = (smvLM+smvAM+smvA+1)/3
IRef = RefPicListX[refIdxLX]
ここで、RefPicListX[refIdxLX]は対象ブロックの参照ピクチャである。refIdxLX=0であってもよい。つまり、利用可能な隣接ブロックの動きベクトルを、対象ピクチャCurPicとその参照ピクチャRefPicListX[refIdxLX]との時間情報、および、対象ピクチャとその隣接ブロックの参照ピクチャとの時間情報の比を用いてスケーリングする。そして、スケーリングした動きベクトルの平均値を計算して初期ベクトルIMVに設定する。

（構成２）あるいは、スケーリングした動きベクトルの平均値ではなく、メディアンを初期ベクトルIMVに設定してもよい。

IMV = median(smvLM,smvAM,smvA)
IRef = RefPicListX[IMVの指す参照ピクチャ]
median(A0,A1,A2,...,AN)はA0、A1、A2、...、ANの中央値を導出する関数である。

本変形例では、全ての利用可能な隣接ブロックの動きベクトルを用いて初期ベクトルを導出するため、ノイズの影響を受けない安定した初期ベクトルを導出することができる。

（構成３）あるいは、別の方法として、空間隣接ブロックLM、AM、L、A、AR、BL、ALの参照ピクチャの中で、最も参照頻度の高い参照ピクチャを抽出し、初期参照ピクチャIRefに設定する。次に初期参照ピクチャIRefに等しい参照ピクチャを有する隣接ブロックをサーチ順にサーチし、最初に見つかった利用可能な隣接ブロックの動きベクトルを初期ベクトルIMVとしてもよい。

（構成４）あるいは、別の方法として、最も参照頻度の高い参照ピクチャを初期参照ピクチャIRefに設定する。そして、初期参照ピクチャIRefに等しい参照ピクチャを有する隣接ブロックの中で、利用可能な隣接ブロックの動きベクトルの平均値を初期ベクトルIMVとしてもよい。あるいは、初期参照ピクチャIRefを有する隣接ブロックの中で、利用可能な隣接ブロックの動きベクトルのメディアンを初期ベクトルIMVとしてもよい。

（構成５）あるいは、別の方法として、空間隣接ブロックLM、AM、L、A、AR、BL、ALの参照ピクチャの中で、RefPicListX[refIdxLX]を初期参照ピクチャIRefに設定する。refIdxLX=0であってもよい。初期ベクトルIMVの導出は、（構成１）〜（構成４）で説明した方法と同じである。

（構成３）〜（構成５）の初期参照ピクチャは、隣接ブロックで使われる頻度の高い参照ブロックや、参照ピクチャリストの中で先頭に位置する参照ピクチャであるので、対象ブロックの参照ピクチャでもある可能性が高く、その参照ピクチャを指す動きベクトルは対象ブロックの動きベクトルにより近いと考えられる。

（変形例５：複数ATMVP候補）
上記では、ATMVPのマージ候補リストに格納されるATMVPのマージ候補は１つであったが、変形例５では、マージ候補リストに複数のATMVPマージ候補を格納する。つまり、初期ベクトルを複数導出し、初期ベクトル毎にATMVPの動きベクトルを導出する。初期ベクトルからATMVPの動きベクトルを導出する方法は上記（ATMVPおよび変形例４の発明）と同じであるので、以下では初期ベクトルのサーチと導出方法のみ説明する。

（構成６）空間隣接ブロックLM、AM、L、A、AR、BL、ALの順にサーチして、利用可能なNumIMV個の隣接ブロックを取得する。ここで、NumIMVは２以上の所定の整数である。NumIMV個の利用可能な隣接ブロックが見つかった場合、サーチを終了し、各々の隣接ブロックの動きベクトルを初期ベクトルIMV[k]、初期参照ピクチャをIRef[k](k=0..NumIMV-1)に設定する。初期ベクトルIMV[k]および初期参照ピクチャIRef[k](k=0..NumIMV-1)に対し、ステップ２〜ステップ４を実施してATMVPの動きベクトルspMvLX[k](k=0..NumIMV-1)を導出する。そして、動きベクトルspMvLX[k] (k=0..NumIMV-1)とkをマージ候補リストmergeCandList[]に格納する。

mergeCandList[]={L,A,AR,BL,ATMVP[0],...,ATMVP[NumIMV-1],AL,TMVP,...}
マージ候補リストの一例を図19(b)に示す。

（構成７）空間隣接ブロックを上側隣接ブロックAM、A、AR、ALと左側隣接ブロックLM、L、BLに分けて、上側隣接ブロックと左側隣接ブロックから各々１つ初期ベクトルをサーチする。上側隣接ブロックはAM、A、AR、ALの順にサーチして、最初に見つかった利用可能な隣接ブロックの動きベクトルと参照ピクチャを、初期ベクトルと初期参照ピクチャに設定する。左側隣接ブロックはLM、L、BLの順にサーチして、最初に見つかった利用可能な隣接ブロックの動きベクトルと参照ピクチャを、初期ベクトルと初期参照ピクチャに設定する。以降の処理は（構成６）と同じである。

変形例５では、ATMVP用のマージ候補数を増やすことにより、空間隣接ブロックの動きベクトルとは異なる動きベクトルをマージ候補として複数追加することができる。そのため、マージ候補の選択肢が広がり、符号化効率を向上させることができる。

このように、ATMVPでは、対象ブロックの空間方向隣接ブロックの動きベクトルからコロケートブロックを導出する。そして、コロケートブロックの動きベクトルから、ブロック単位で対象ブロックのマージ候補を導出することによって、隣接ブロックに存在しない新たな動きベクトルをマージ候補に追加することができる。これにより、対象ブロックのマージ候補の選択肢を増やし、符号化効率を向上させることができる。また、新たなマージ候補はサブブロック単位の動きベクトルではなく、ブロック単位の動きベクトルであるので、後段の予測画像生成部308では、予測画像生成に必要な処理量を小さく、参照ピクチャメモリ306から転送される参照ピクチャに必要なメモリバンド幅も小さく抑えることができる。さらに、本願のATMVPは利用可能性を判定する時に、複数の隣接ブロックの中で中央に位置するブロックを先行してスキャンする。これにより、対象ブロックにより近い特徴を持つ中央の隣接ブロックを優先してマージ候補に設定することができるため、符号化効率を向上させることができる。

マージ候補導出部30361によって導出された上記マージ候補はマージ候補格納部30363に格納される。マージ候補リストmergeCandList[]に格納する順番は、例えば、空間マージ候補、時間マージ候補、結合マージ候補、ゼロマージ候補、つまり｛L,A,AR,BL,A,COL,COMB0,..,COMBM,Z0,Z1,…,ZM｝である。なお、ATMVPの動きベクトルがない場合はマージ候補リストに格納しない。

マージ候補選択部30362は、マージ候補格納部30363に格納されたマージ候補リストに含
まれるマージ候補のうち、パラメータ復号制御部3031から入力されたマージインデックスmerge_idxが割り当てられたマージ候補mergeCandList[merge_idx]を、対象ブロックのインター予測パラメータとして選択する。マージ候補選択部30362は選択したマージ候補を予測パラメータメモリ307に記憶するとともに、予測画像生成部308に出力する。

図6(b)は、本実施形態に係るAMVP予測パラメータ導出部3032の構成を示す概略図である。AMVP予測パラメータ導出部3032は、ベクトル候補導出部3033とベクトル候補選択部3034、ベクトル候補格納部3035を備える。ベクトル候補導出部3033は、参照ピクチャインデックスrefIdxLXに基づいて予測パラメータメモリ307が記憶する復号済みの隣接ブロックの動きベクトルmvLXから予測ベクトル候補を導出し、ベクトル候補格納部3035の予測ベクトル候補リストmvpListLX[]に格納する。

ベクトル候補選択部3034は、予測ベクトル候補リストmvpListLX[]の予測ベクトル候補のうち、予測ベクトルインデックスmvp_LX_idxが示す動きベクトルmvpListLX[mvp_LX_idx]を予測ベクトルmvpLXとして選択する。ベクトル候補選択部3034は選択した予測ベクトルmvpLXを加算部3038に出力する。

なお、予測ベクトル候補は、対象ブロックから予め定めた範囲の復号済隣接ブロックの動きベクトルをスケーリングすることで導出される。なお、隣接ブロックは、対象ブロックに空間的に隣接するブロック、例えば、左ブロック、上ブロックの他、対象ブロックに時間的に隣接する領域、例えば、対象ブロックと同じ位置を含み、表示時刻が異なるブロックの予測パラメータから得られた領域を含む。

加算部3038は、AMVP予測パラメータ導出部3032から入力された予測ベクトルmvpLXとパラメータ復号制御部3031から入力された差分ベクトルmvdLXを加算して動きベクトルmvLXを算出する。加算部3038は、算出した動きベクトルmvLXを予測画像生成部308および予測パラメータメモリ307に出力する。

mvLX[0] = mvpLX[0] + mvdLX[0]
mvLX[1] = mvpLX[1] + mvdLX[1]
パラメータ復号制御部3031は、サブブロック予測モードフラグsubPbMotionFlagをサブブロック予測パラメータ導出部3037に出力する。サブブロック予測パラメータ導出部3037は、サブブロック予測モードフラグsubPbMotionFlagの値に応じて、ブロックを複数のサブブロックに分割し、サブブロック単位で動きベクトルを導出する。すなわち、サブブロック予測モードでは、予測ブロックは4x4もしくは8x8という小さいブロック単位で予測される。サブブロック予測モードでは複数のサブブロックを集合（セット）にまとめ、当該集合毎に予測パラメータのシンタックス要素を符号化するため、ブロック単位で予測パラメータのシンタックス要素を符号化・復号するブロック予測モードに比べ、少ない符号量で多くのサブブロックの動き情報を使用することができる。

詳細に説明すると、サブブロック予測パラメータ導出部3037は、図5(b)に示すように、サブブロック予測モードにてサブブロック予測を行う、時空間サブブロック予測部30371、アフィン予測部30372、マッチング動き導出部30373、の少なくとも一つを備える。

（サブブロック予測モードフラグ）
ここで、動画像復号装置31、動画像符号化装置11（詳細は後述する）における、あるブロックの予測モードがサブブロック予測モードであるか否かを示すサブブロック予測モードフラグsubPbMotionFlagの導出方法について説明する。動画像復号装置31、動画像符号化装置11は、空間サブブロック予測SSUB、時間サブブロック予測TSUB、アフィン予測AFFINE、マッチング動き導出MATのいずれを用いるかに基づいて、サブブロック予測モードフ
ラグsubPbMotionFlagを導出する。たとえば、あるブロックで選択された予測モードをN（たとえばNは選択されたマージ候補を示すラベル）とした場合には、以下の式によりサブブロック予測モードフラグsubPbMotionFlagを導出してもよい。

subPbMotionFlag = (N==TSUB) || (N==SSUB) || (N==AFFINE) || (N==MAT)
また、動画像復号装置31、動画像符号化装置11は、空間サブブロック予測SSUB、時間サブブロック予測TSUB、アフィン予測AFFINE、マッチング動き導出MATのうち、一部の予測を行う構成でもよい。すなわち、動画像復号装置31、動画像符号化装置11が空間サブブロック予測SSUB、アフィン予測AFFINEを行う構成である場合には、以下のようにサブブロック予測モードフラグsubPbMotionFlagを導出してもよい。

subPbMotionFlag = (N==SSUB) || (N==AFFINE)
（サブブロック予測部）
次に、サブブロック予測部について説明する。

（時空間サブブロック予測部30371）
時空間サブブロック予測部30371は、時間的に対象ブロックに隣接する参照画像上（たとえば直前のピクチャ）のブロックの動きベクトル、もしくは、空間的に対象ブロックに隣接するブロックの動きベクトルから、対象ブロックを分割して得られるサブブロックの動きベクトルを導出する。具体的には、対象ブロックが参照する参照ピクチャに合わせて、参照画像上のブロックの動きベクトルをスケーリングすることにより、対象ブロック中の各サブブロックの動きベクトルspMvLX[xi][yi] (xi=xPb+sbW*i, yj=yPb+sbH*j, i=0,1,2,・・・,bW/sbW-1、j=0,1,2,・・・,bH/sbH-1)を導出する（時間サブブロック予測）。ここで、(xPb,yPb)は対象ブロックの左上座標、bW、bHは対象ブロックのサイズ、sbW、sbHはサブブロックの幅と高さである。

また、隣接ブロックの動きベクトルと対象ブロックを分割して得られるサブブロックとの距離に応じて、加重平均を計算することで、各サブブロックの動きベクトルspMvLX[xi][yi] (xi=xPb+sbW*i, yj=yPb+sbH*j, i=0,1,2,…,bW/sbW-1、j=0,1,2,…,bH/sbH-1)を導出してもよい（空間サブブロック予測）。

上記、時間サブブロック予測の候補TSUB、空間サブブロック予測の候補SSUBを、マージモードの一つのモード（マージ候補）として選択する。

（アフィン予測部）
アフィン予測部30372は対象ブロックのアフィン予測パラメータを導出する。本実施形態では、アフィン予測パラメータとして、対象ブロックの２つの制御点（V0、V1）の動きベクトル（mv0_x,mv0_y）（mv1_x,mv1_y）を導出する。具体的には、対象ブロックの隣接ブロックの動きベクトルから予測することにより、各制御点の動きベクトルを導出してもよいし、制御点の動きベクトルとして導出された予測ベクトルと符号化データから導出される差分ベクトルの和により、各制御点の動きベクトルを導出してもよい。

図7は、対象ブロック（bW×bH）を構成する各サブブロックの動きベクトルspMvLXを、制御点V0の動きベクトル(mv0_x,mv0_y)およびV1の動きベクトル(mv1_x,mv1_y)から導出する例を示す図である。各サブブロックの動きベクトルspMvLXは、図7に示すように、各サブブロックの中心に位置する点毎の動きベクトルとして導出される。

アフィン予測部30372は対象ブロックのアフィン予測パラメータに基づいて、対象ブロック中の各サブブロックの動きベクトルspMvLX[xi][yi] (xi=xPb+sbW*i, yj=yPb+sbH*j, i=0,1,2,…,bW/sbW-1、j=0,1,2,…,bH/sbH-1)を下記の式を用いて、導出する。

spMvLX[xi][yi][0] = mv0_x+(mv1_x-mv0_x)/bW*(xi+sbW/2)-(mv1_y-mv0_y)/bH*(yi+sbH/2)
spMvLX[xi][yi][1] = mv0_y+(mv1_y-mv0_y)/bW*(xi+sbW/2)+(mv1_x-mv0_x)/bH*(yi+sbH/2)
（マッチング動き導出部30373）
マッチング動き導出部30373は、バイラテラルマッチング（Bilateral matching）またはテンプレートマッチング（Template matching）の何れかのマッチング処理を行うことにより、サブブロックの動きベクトルspMvLXを導出する。図8は、(a)バイラテラルマッチング、(b)テンプレートマッチングを説明するための図である。マッチング動き導出モードはマージ候補の一つ（マッチング候補）として選択される。

図8(a)に示すように、バイラテラルマッチングでは、対象ピクチャCurPicにおけるサブブロックCurBLKの動きベクトルを導出するために、２枚の参照画像Ref0、Ref1が参照される。具体的には、まず、サブブロックCurBLKの左上座標を（xPb,yPb）と表現した時、参照ピクチャインデックスrefIdxL0によって指定される参照画像Ref0内の領域であって、
（xPos0,yPos0）=（xPb+mvL0[0],yPb+mvL0[1]）
によって特定される左上座標（xPos0,yPos0）を有するBlock_Aと、例えば参照ピクチャインデックスrefIdxL1によって指定される参照画像Ref1の領域であって、動きベクトル（mvL1[0],mvL1[1]）によって特定される左上座標（xPos1,yPos1）を有するBlock_Bとが設定される。L1の動きベクトルmvL1[]はL0ベクトルmvL0[]のスケーリングで導出しても良い。

（xPos1,yPos1） = (xPb+mvL1[0],yPb+mvL1[1])
ここで、
mvL1[0] = MvScale(mvL0[1], CurPic,Ref0,CurPic,Ref1)
mvL1[1] = MvScale(mvL1[1], CurPic,Ref0,CurPic,Ref1)
そして、Block_AとBlock_Bとのマッチングコストが最小となるように導出された（MV0_x,MV0_y）をもとに、サブブロック毎に動きベクトルspMvL0を導出する。

マッチング予測では対象ブロックの初期ベクトルを導出する（初期ベクトルサーチ）。次に、初期ベクトルを中心とする局所領域をさらにサーチし、マッチングコストが最小となるベクトルを、最終的な対象ブロックのブロックレベルの動きベクトルとする（ローカルサーチ）。

続いて、各サブブロックの初期ベクトルを導出する（初期ベクトルサーチ）。次に、サブブロックの初期ベクトルを中心とする局所領域でステップサーチ等を行い、マッチングコストが最小となるベクトルをサブブロックの動きベクトルとして導出する（ローカルサーチ）。

一方、図8(b)は、テンプレートマッチングを説明する図である。テンプレートマッチングでは、対象ブロックの隣接領域Temp_Cur（テンプレート）と参照ピクチャ上の参照ブロックの隣接領域Temp_L0とのマッチングにより動きベクトルを導出する。

より具体的には、例えば、参照ピクチャインデックスrefIdxL0によって指定される参照画像Ref0の領域であって、
（xPos0,yPos0）=（xPb+mvL0[0],yPb+mvL0[1]）
を左上座標（xPos0,yPos0）とする参照ブロックBlock_Aが設定される。次に、対象ピクチャCurPicにおいて対象ブロックCurBLKに隣接したテンプレート領域Temp_Curと、参照ピクチャRef0においてBlock_Aに隣接したテンプレート領域Temp_L0とが設定される。図8(b)では、テンプレート領域Temp_Curは、対象ブロックCurBLKの上側及び左側に隣接する領域と
から構成されている。また、テンプレート領域Temp_L0は、Block_Aの上側及び左側に隣接する領域とから構成されている。

このテンプレートを用いて、対象ブロックにおけるブロックレベルの初期ベクトル候補の中から、マッチングコストが最小となるベクトルを初期ベクトルとしてセットする。次に、初期ベクトルを中心とする局所領域をさらにサーチし、マッチングコストが最小となるベクトルを最終的な対象ブロックの動きベクトルとする（ローカルサーチ）。

続いて、各サブブロックのテンプレートを取得し、各サブブロックの初期ベクトル候補から、初期ベクトルを導出する（初期ベクトルサーチ）。次に、サブブロックの初期ベクトルを中心とする局所領域でステップサーチ等を行う。そして、サブブロックの初期ベクトル付近のベクトル候補のマッチングコストを導出し、最小となるベクトルをサブブロックの動きベクトルとして導出する（ローカルサーチ）。

ループフィルタ305は、符号化ループ内に設けたフィルタで、ブロック歪やリンギング歪を除去し、画質を改善するフィルタである。ループフィルタ305は、加算部312が生成したCUの復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット（SAO）、適応ループフィルタ（ALF）等のフィルタを施す。

参照ピクチャメモリ306は、加算部312が生成したCUの復号画像を、対象ピクチャ及び対象CU毎に予め定めた位置に記憶する。

予測パラメータメモリ307は、復号対象のCTUあるいはCU毎に予め定めた位置に予測パラメータを記憶する。具体的には、予測パラメータメモリ307は、パラメータ復号部302が復号したパラメータ及びエントロピー復号部301が分離した予測モードpredMode等を記憶する。

予測画像生成部308には、予測モードpredMode、予測パラメータ等が入力される。また、予測画像生成部308は、参照ピクチャメモリ306から参照ピクチャを読み出す。予測画像生成部308は、予測モードpredModeが示す予測モードで、予測パラメータと読み出した参照ピクチャ（参照ピクチャブロック）を用いてブロックもしくはサブブロックの予測画像を生成する。ここで、参照ピクチャブロックとは、参照ピクチャ上の画素の集合（通常矩形であるのでブロックと呼ぶ）であり、予測画像を生成するために参照する領域である。

（インター予測画像生成部309）
予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部309は、インター予測パラメータ復号部303から入力されたインター予測パラメータと読み出した参照ピクチャを用いてインター予測によりブロックもしくはサブブロックの予測画像を生成する。

図9は、本実施形態に係る予測画像生成部308に含まれるインター予測画像生成部309の構成を示す概略図である。インター予測画像生成部309は、動き補償部（予測画像生成装置）3091、重み予測部3094を含んで構成される。

（動き補償）
動き補償部3091は、インター予測パラメータ復号部303から入力された、インター予測パラメータ（予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLX）に基づいて、参照ピクチャメモリ306から、参照ピクチャインデックスrefIdxLXで指定された参照ピクチャRefLXにおける、対象ブロック（あるいは対象サブブロック）の位置を起点として動きベクトルmvLX（あるいはspMvLX）だけシフトした位置にあ
る領域を読み出すことによって補間画像（動き補償画像）を生成する。ここで、動きベクトルmvLX（あるいはspMvLX）の精度が整数精度でない場合には、動き補償フィルタと呼ばれる小数位置の画素を生成するためのフィルタを施して、動き補償画像を生成する。

動き補償部3091は、まず、予測ブロック内座標(x,y)に対応する整数位置(xInt,yInt)および位相(xFrac,yFrac)を以下の式で導出する。

xInt = xPb+(mvLX[0]>>(log2(MVBIT)))+x
xFrac = mvLX[0]&(MVBIT-1)
yInt = yPb+(mvLX[1]>>(log2(MVBIT)))+y
yFrac = mvLX[1]&(MVBIT-1)
ここで、(xPb,yPb)は、ブロックの場合はbW*bHサイズのブロックの左上座標、x=0…bW-1、y=0…bH-1であり、サブブロックの場合はsbW*sbHサイズのサブブロックの左上座標、x=0…sbW-1、y=0…sbH-1であり、MVBITは、動きベクトルmvLXの精度（1/MVBIT画素精度）を示す。

動き補償部3091は、参照ピクチャrefImgに補間フィルタを用いて水平補間処理を行うことで、一時的画像temp[][]を導出する。以下のΣはk=0..NTAP-1のkに関する和、shift1は値のレンジを調整する正規化パラメータ、offset1=1<<(shift1-1)である。

temp[x][y] = (ΣmcFilter[xFrac][k]*refImg[xInt+k-NTAP/2+1][yInt]+offset1)>>shift1
続いて、動き補償部3091は、一時的画像temp[][]を垂直補間処理により、補間画像Pred[][]を導出する。以下のΣはk=0..NTAP-1のkに関する和、shift2は値のレンジを調整する正規化パラメータ、offset2=1<<(shift2-1)である。

Pred[x][y] = (ΣmcFilter[yFrac][k]*temp[x][y+k-NTAP/2+1]+offset2)>>shift2
なお、双予測の場合は、上記のPred[][]をL0リスト、L1リスト毎に導出し（補間画像PredL0[][]とPredL1[][]と呼ぶ）、補間画像PredL0[][]と補間画像PredL1[][]から補間画像Pred[][]を生成する。

（重み予測）
重み予測部3094は、動き補償画像PredLXに重み係数を乗算することによりブロックの予測画像を生成する。予測リスト利用フラグの一方（predFlagL0もしくはpredFlagL1）が１（単予測）、かつ、重み予測を用いない場合、動き補償画像PredLX（LXはL0もしくはL1）を画素ビット数bitDepthに合わせる以下の式の処理を行う。

Pred[x][y] = Clip3(0,(1<<bitDepth)-1,(PredLX[x][y]+offset1)>>shift1)
ここで、shift1=14-bitDepth、offset1=1<<(shift1-1)である。
また、参照リスト利用フラグの両者（predFlagL0とpredFlagL1）が１（双予測BiPred）、かつ、重み予測を用いない場合、動き補償画像PredL0、PredL1を平均し画素ビット数に合わせる以下の式の処理を行う。

Pred[x][y] = Clip3(0,(1<<bitDepth)-1,(PredL0[x][y]+PredL1[x][y]+offset2)>>shift2)
ここで、shift2=15-bitDepth、offset2=1<<(shift2-1)である。

さらに、単予測、かつ、重み予測を行う場合、重み予測部3094は重み予測係数w0とオフセットo0を符号化データから導出し、以下の式の処理を行う。

Pred[x][y] = Clip3(0,(1<<bitDepth)-1,((PredLX[x][y]*w0+2^(log2WD-1))>>log2WD)+o0)
ここで、log2WDは所定のシフト量を示す変数である。

さらに、双予測BiPred、かつ、重み予測を行う場合、重み予測部3094は重み予測係数w0、w1、o0、o1を符号化データから導出し、以下の式の処理を行う。

Pred[x][y] = Clip3(0,(1<<bitDepth)-1,(PredL0[x][y]*w0+PredL1[x][y]*w1+((o0+o1+1)<<log2WD))>>(log2WD+1))
インター予測画像生成部309は生成したブロックの予測画像を加算部312に出力する。

逆量子化・逆変換部311は、エントロピー復号部301から入力された量子化変換係数を逆量子化して変換係数を求める。この量子化変換係数は、符号化処理において、予測誤差に対してDCT（Discrete Cosine Transform、離散コサイン変換）、DST（Discrete Sine Transform、離散サイン変換）、KLT（Karyhnen Loeve Transform、カルーネンレーベ変換）等の周波数変換を行い量子化して得られる係数である。逆量子化・逆変換部311は、求めた変換係数について逆DCT、逆DST、逆KLT等の逆周波数変換を行い、予測誤差を算出する。逆量子化・逆変換部311は予測誤差を加算部312に出力する。

加算部312は、予測画像生成部308から入力されたブロックの予測画像と逆量子化・逆変換部311から入力された予測誤差を画素毎に加算して、ブロックの復号画像を生成する。加算部312はブロックの復号画像を参照ピクチャメモリ306に記憶し、また、ループフィルタ305に出力する。

（動画像符号化装置の構成）
次に、本実施形態に係る動画像符号化装置11の構成について説明する。図10は、本実施形態に係る動画像符号化装置11の構成を示すブロック図である。動画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）108、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）109、符号化パラメータ決定部110、パラメータ符号化部111、エントロピー符号化部104を含んで構成される。

予測画像生成部101は画像Ｔの各ピクチャを分割した領域であるCU毎に予測画像を生成する。予測画像生成部101は既に説明した予測画像生成部308と同じ動作であり、説明を省略する。

減算部102は、予測画像生成部101から入力されたブロックの予測画像の画素値を、画像Ｔの画素値から減算して予測誤差を生成する。減算部102は予測誤差を変換・量子化部103に出力する。

変換・量子化部103は、減算部102から入力された予測誤差に対し、周波数変換によって変換係数を算出し、量子化によって量子化変換係数を導出する。変換・量子化部103は、量子化変換係数をエントロピー符号化部104及び逆量子化・逆変換部105に出力する。

逆量子化・逆変換部105は、動画像復号装置31における逆量子化・逆変換部311（図4）と同じであり、説明を省略する。算出した予測誤差は加算部106に出力される。

エントロピー符号化部104には、変換・量子化部103から量子化変換係数が入力され、パラメータ符号化部111から符号化パラメータが入力される。符号化パラメータには、例えば、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベ
クトルmvdLX、予測モードpredMode、及びマージインデックスmerge_idx等の符号がある。

エントロピー符号化部104は、分割情報、予測パラメータ、量子化変換係数等をエントロピー符号化して符号化ストリームTeを生成し、出力する。

パラメータ符号化部111は、インター予測パラメータ符号化部112とイントラ予測パラメータ符号化部113からなる。

（インター予測パラメータ符号化部の構成）
インター予測パラメータ符号化部112は、符号化パラメータ決定部110から入力された予測パラメータに基づいて、インター予測パラメータを導出する。インター予測パラメータ符号化部112は、インター予測パラメータ復号部303がインター予測パラメータを導出する構成と一部同一の構成を含む。

インター予測パラメータ符号化部112の構成について説明する。図11(a)に示すように、パラメータ符号化制御部1121、AMVP予測パラメータ導出部1122、減算部1123、サブブロック予測パラメータ導出部1125等を含んで構成される。パラメータ符号化制御部1121は、マージインデックス導出部11211とベクトル候補インデックス導出部11212を含む。マージインデックス導出部11211、ベクトル候補インデクス導出部11212、AMVP予測パラメータ導出部1122、サブブロック予測パラメータ導出部1125を総称して動きベクトル導出部（動きベクトル導出装置）と称してもよい。インター予測パラメータ符号化部112は、動きベクトル（mvLXあるいはsubMvLX）、参照ピクチャインデックスrefIdxLX、インター予測識別子inter_pred_idc、あるいはこれらを示す情報を予測画像生成部101に出力する。またインター予測パラメータ符号化部112は、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_lX_idx、差分ベクトルmvdLX、サブブロック予測モードフラグsubPbMotionFlagをエントロピー符号化部104に出力する。

マージインデックス導出部11211は、内部にマージ予測パラメータ導出部およびマージ候補格納部を持ち、予測パラメータメモリ108から読み出したマージ候補のブロックからマージ候補リストmergeCandList[]を導出する。マージ予測パラメータ導出部およびマージ候補格納部は、図6(a)に示す、動画像復号部31のマージ予測パラメータ導出部30361およびマージ候補格納部30363と同じ処理を実施する。また、符号化パラメータ決定部110から入力された対象ブロックの動きベクトルと参照ピクチャインデックスを、マージ候補リストの動きベクトルと参照ピクチャインデックスと比較して、マージインデックスmerge_idxを導出し、エントロピー符号化部104に出力する。ベクトル候補インデックス導出部11212は、マージ候補リストmergeCandList[]とmerge_idxから予測ベクトルインデックスmvp_lX_idxを導出する。

AMVP予測パラメータ導出部1122は動きベクトルmvLXに基づいて予測ベクトルmvpLXを導出する。AMVP予測パラメータ導出部1122は予測ベクトルmvpLXを減算部1123に出力する。なお、参照ピクチャインデックスrefIdxLX及び予測ベクトルインデックスmvp_lX_idxは、エントロピー符号化部104に出力される。

減算部1123は、符号化パラメータ決定部110から入力された動きベクトルmvLXから、AMVP予測パラメータ導出部1122の出力である予測ベクトルmvpLXを減算して差分ベクトルmvdLXを生成する。差分ベクトルmvdLXはエントロピー符号化部104に出力される。

サブブロック予測パラメータ導出部1125は、符号化パラメータ決定部110がサブブロック予測モードの使用を決定した場合、サブブロック予測の動きベクトルと参照ピクチャイ
ンデックスを導出する。動きベクトルと参照ピクチャインデックスは、動画像復号装置31の説明で述べたように、隣接ブロック、参照ピクチャブロック等の動きベクトル、参照ピクチャインデックスを予測パラメータメモリ108から読み出し、導出する。サブブロック予測パラメータ導出部1125は、動画像復号装置31のサブブロック予測パラメータ導出部3037と同様、図11(b)に示すように、時空間サブブロック予測部11251、アフィン予測部11252、マッチング動き導出部11253を有する。

加算部106は、予測画像生成部101から入力されたブロックの予測画像の画素値と逆量子化・逆変換部105から入力された予測誤差を画素毎に加算して復号画像を生成する。加算部106は生成した復号画像を参照ピクチャメモリ109に記憶する。

ループフィルタ107は加算部106が生成した復号画像に対し、デブロッキングフィルタ、SAO、ALFを施す。なお、ループフィルタ107は、必ずしも上記３種類のフィルタを含まなくてもよく、例えばデブロッキングフィルタのみの構成であってもよい。

予測パラメータメモリ108は、符号化パラメータ決定部110が生成した予測パラメータを、対象ピクチャ及びCU毎に予め定めた位置に記憶する。

参照ピクチャメモリ109は、ループフィルタ107が生成した復号画像を対象ピクチャ及びCU毎に予め定めた位置に記憶する。

符号化パラメータ決定部110は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述したQT、BTあるいはTT分割情報、予測パラメータ、あるいはこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部101は、これらの符号化パラメータを用いて予測画像を生成する。

符号化パラメータ決定部110は、複数のセットの各々について情報量の大きさと符号化誤差を示すRDコスト値を算出する。RDコスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームTeの情報量である。二乗誤差は、減算部102において算出された予測誤差の二乗和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部110は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部104は、選択した符号化パラメータのセットを符号化ストリームTeとして出力する。符号化パラメータ決定部110は決定した符号化パラメータを予測パラメータメモリ108に記憶する。

本発明の一態様に係るマージ候補導出装置は、対象ブロックの空間近傍ブロックおよび時間近傍ブロックの動きベクトルをもとに、対象ブロックの時空間マージ候補を導出するマージ候補導出装置であって、対象ブロックの空間近傍ブロックである第１近傍ブロック
の動きベクトルから導出される動きベクトルと、空間近傍ブロックである第２近傍ブロックから導出される動きベクトルと、時間近傍ブロックである第３近傍ブロックの動きベクトルから導出される動きベクトルとの平均もしくは加重平均で導出される動きベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段とを備え、前記マージ候補導出装置は、空間近傍ブロックである第１近傍ブロックおよび第２近傍ブロック、時間近傍ブロックである第３近傍ブロックの動きベクトルがいずれも利用可能でない場合、上記、時空間マージ候補の導出処理を利用可能としないことを特徴とする。

本発明の一態様に係るマージ候補導出装置は、対象ブロックの空間近傍ブロックの動きベクトルをもとに、対象ブロックの時空間マージ候補を導出するマージ候補導出装置であって、対象ブロックの第１近傍ブロックの動きベクトルから導出される動きベクトルと、第２近傍ブロックから導出される動きベクトルの平均もしくは加重平均で導出される動きベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段とを備え、前記第１近傍ブロックおよび前記第２近傍ブロックは、対象ブロックに対し、各々所定の位置に定められたブロックであることを特徴とする。

本発明の一態様に係るマージ候補導出装置において、上記第１近傍ブロックは、対象ブロック(xPb,yPb)の右上方向に位置し、位置(xPb+wLng,yP-1)、かつ、wLng>bWである長距離ポジションに位置し、上記第２近傍ブロックは、対象ブロック(xPb,yPb)の左下方向に位置し、位置(xPb-1,yPb+hLng)、かつ、hLng>bHである長距離ポジションに位置することを特徴とする。

なお、上述した実施形態における動画像符号化装置11、動画像復号装置31の一部、例えば、エントロピー復号部301、パラメータ復号部302、ループフィルタ305、予測画像生成部308、逆量子化・逆変換部311、加算部312、予測画像生成部101、減算部102、変換・量子化部103、エントロピー符号化部104、逆量子化・逆変換部105、ループフィルタ107、符号化パラメータ決定部110、パラメータ符号化部111をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、動画像符号化装置11、動画像復号装置31のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

（ソフトウェアによる実現例）
また、上述した実施形態における動画像符号化装置11、動画像復号装置31の一部、または全部を、LSI（Large Scale Integration）等の集積回路として実現しても良い。動画像符号化装置11、動画像復号装置31の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

〔応用例〕
上述した動画像符号化装置11及び動画像復号装置31は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（CGおよびGUIを含む）であってもよい。

まず、上述した動画像符号化装置11及び動画像復号装置31を、動画像の送信及び受信に利用できることを、図22を参照して説明する。

図22(a)は、動画像符号化装置11を搭載した送信装置PROD_Aの構成を示したブロック図である。図22(a)に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した動画像符号化装置11は、この符号化部PROD_A1として利用される。

送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図22(a)においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。

図22(b)は、動画像復号装置31を搭載した受信装置PROD_Bの構成を示したブロック図である。図22(b)に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した動画像復号装置31は、この復号部PROD_B3として利用される。

受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示するディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図22(b)においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。

また、インターネットを用いたVOD（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置PROD_A／受信装置PROD_Bの一例である（通常、ＬＡＮにおいては伝送媒体として無線または有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。

次に、上述した動画像符号化装置11及び動画像復号装置31を、動画像の記録及び再生に利用できることを、図23を参照して説明する。

図23(a)は、上述した動画像符号化装置11を搭載した記録装置PROD_Cの構成を示したブロック図である。図23(a)に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した動画像符号化装置11は、この符号化部PROD_C1として利用される。

なお、記録媒体PROD_Mは、（１）HDD（Hard Disk Drive）やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSB（Universal Serial Bus）フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、（３）DVD（Digital Versatile Disc:登録商標）やBD（Blu-ray Disc:登録商標）などのように、記録装置PROD_Cに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部PROD_C6を更に備えていてもよい。図23(a)においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。

なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信
するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子PROD_C4または受信部PROD_C5が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラPROD_C3が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部PROD_C5または画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラPROD_C3または受信部PROD_C5が動画像の主な供給源となる）なども、このような記録装置PROD_Cの一例である。

図23(B)は、上述した動画像復号装置31を搭載した再生装置PROD_Dの構成を示したブロックである。図23(b)に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した動画像復号装置31は、この復号部PROD_D2として利用される。

なお、記録媒体PROD_Mは、（１）HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、（３）DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図23(b)においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。

なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイPROD_D3が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）、デスクトップ型PC（この場合、出力端子PROD_D4または送信部PROD_D5が動画像の主な供給先となる）、ラップトップ型またはタブレット型PC（この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）なども、このような再生装置PROD_Dの一例である。

（ハードウェア的実現およびソフトウェア的実現）
また、上述した動画像復号装置31および動画像符号化装置11の各ブロックは、集積回路（ICチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、CPU（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM（Read Only Memory）、上記プログラムを展開するRAM（Random
Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはCPUやMPU）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやCD-ROM（Compact Disc Read-Only Memory）／MOディスク（Magneto-Optical disc）／MD（Mini Disc）／DVD（Digital Versatile Disc:登録商標）／CD-R（CD Recordable）／ブルーレイディスク（Blu-ray
Disc：登録商標）等の光ディスクを含むディスク類、ICカード（メモリカードを含む）／光カード等のカード類、マスクROM／EPROM（Erasable Programmable Read-Only Memory）／EEPROM（Electrically Erasable and Programmable Read-Only Memory：登録商標）／フラッシュROM等の半導体メモリ類、あるいはPLD（Programmable logic device）やFPGA（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN（Local Area Network）、ISDN（Integrated Services Digital Network）、VAN（Value-Added Network）、CATV（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE（Institute of Electrical and Electronic Engineers）1394、USB、電力線搬送、ケーブルＴＶ回線、電話線、ADSL（Asymmetric Digital Subscriber Line）回線等の有線でも、IrDA（Infrared Data Association）やリモコンのような赤外線、BlueTooth（登録商標）、IEEE802.11無線、HDR（High Data Rate）、NFC（Near Field Communication）、DLNA（Digital Living Network Alliance：登録商標）、携帯電話網、衛星回線、地上デジタル放送網等の無線でも利用可能である。なお、本発明の実施形態は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明の実施形態は、画像データが符号化された符号化データを復号する動画像復号装置、および、画像データが符号化された符号化データを生成する動画像符号化装置に好適に適用することができる。また、動画像符号化装置によって生成され、動画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。

31 動画像復号装置
303 インター予測パラメータ復号部
3036 マージ予測パラメータ導出部
30361 マージ候補導出部
30366 STMVP部
30367 ATMVP部
30368 MSMVP部
3032 AMVP予測パラメータ導出部
11 動画像符号化装置

Claims

対象ブロックの空間近傍ブロックおよび時間近傍ブロックの動きベクトルをもとに、対象ブロックの時空間マージ候補を導出するマージ候補導出装置において、
対象ブロックの空間近傍ブロックである第１近傍ブロックの動きベクトルから導出される動きベクトルと、空間近傍ブロックである第２近傍ブロックの動きベクトルから導出される動きベクトルと、時間近傍ブロックである第３近傍ブロックの動きベクトルから導出される動きベクトルとの平均もしくは加重平均で導出される動きベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段とを備え、
前記マージ候補導出装置は、空間近傍ブロックである第１近傍ブロックおよび第２近傍ブロックの動きベクトルがいずれも利用可能でない場合、上記マージ候補の導出処理を中止し、上記マージ候補を利用可能でないことを示す値に設定することを特徴とするマージ候補導出装置。
対象ブロックの空間近傍ブロックおよび時間近傍ブロックの動きベクトルをもとに、対象ブロックの時空間マージ候補を導出するマージ候補導出装置において、
対象ブロックの空間近傍ブロックである第１近傍ブロックの動きベクトルから導出される動きベクトルと、空間近傍ブロックである第２近傍ブロックから導出される動きベクトルと、時間近傍ブロックである第３近傍ブロックの動きベクトルから導出される動きベクトルとの平均もしくは加重平均で導出される動きベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段とを備え、
前記マージ候補導出装置は、空間近傍ブロックである第１近傍ブロックおよび第２近傍ブロック、時間近傍ブロックである第３近傍ブロックの動きベクトルがいずれも利用可能でない場合、上記マージ候補の導出を中止し、上記マージ候補を利用可能でないことを示す値に設定することを特徴とするマージ候補導出装置。
対象ブロックの空間近傍ブロックの動きベクトルをもとに、対象ブロックの時空間マージ候補を導出するマージ候補導出装置において、
対象ブロックの第１近傍ブロックの動きベクトルから導出される動きベクトルと、第２近傍ブロックから導出される動きベクトルの平均もしくは加重平均で導出される動きベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段とを備え、
前記第１近傍ブロックおよび前記第２近傍ブロックは、対象ブロックに対し、各々所定の位置に定められたブロックであることを特徴とするマージ候補導出装置。
上記第１近傍ブロックは、対象ブロック(xPb,yPb)の右上方向に位置し、位置(xPb+wLng,yP-1)、かつ、wLng>bWである長距離ポジションに位置し、
上記第２近傍ブロックは、対象ブロック(xPb,yPb)の左下方向に位置し、位置(xPb-1,yPb+hLng)、かつ、hLng>bHである長距離ポジションに位置することを特徴とする請求項３に記載の上記マージ候補導出装置。
請求項１〜４に記載のマージ候補導出装置と、
前記マージ候補導出装置で導出した予測パラメータ、および、参照ピクチャメモリに格納された参照画像を用いて、予測画像を生成する予測画像生成装置とを備えることを特徴とする動画像復号装置。
請求項１〜４に記載のマージ候補導出装置と、
前記マージ候補導出装置で導出した予測パラメータ、および、参照ピクチャメモリに格納された参照画像を用いて、予測画像を生成する予測画像生成装置とを備えることを特徴とする動画像符号化装置。