JP2020022116A - 動画像符号化装置及び動画像復号装置 - Google Patents
動画像符号化装置及び動画像復号装置 Download PDFInfo
- Publication number
- JP2020022116A JP2020022116A JP2018145961A JP2018145961A JP2020022116A JP 2020022116 A JP2020022116 A JP 2020022116A JP 2018145961 A JP2018145961 A JP 2018145961A JP 2018145961 A JP2018145961 A JP 2018145961A JP 2020022116 A JP2020022116 A JP 2020022116A
- Authority
- JP
- Japan
- Prior art keywords
- block
- motion vector
- unit
- reference picture
- xpb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】対象ブロックの空間及び時間近傍の複数の動きベクトルを利用することで、より予測精度の高いマージ候補を導出するマージ候補導出装置を提供する。【解決手段】動画像復号装置において、マージ候補導出部は、対象ブロックの空間近傍ブロックの動きベクトルをもとに、対象ブロックの第1近傍ブロックの動きベクトルから導出される動きベクトルと、第2隣接近傍ブロックから導出される動きベクトルの平均もしくは加重平均で導出される動きベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段を備える。【選択図】図6
Description
本発明の実施形態は、予測画像生成装置、動画像復号装置、および動画像符号化装置に関する。
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
具体的な動画像符号化方式としては、例えば、H.264/AVCやHEVC(High-Efficiency Video Coding)にて提案されている方式などが挙げられる。
このような動画像符号化方式においては、動画像を構成する画像(ピクチャ)は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット(CTU:Coding Tree Unit)、符号化ツリーユニットを分割することで得
られる符号化単位(符号化ユニット(Coding Unit:CU)と呼ばれることもある)、及び
、符号化単位を分割することより得られる変換ユニット(TU:Transform Unit)からなる階層構造により管理され、CU毎に符号化/復号される。
られる符号化単位(符号化ユニット(Coding Unit:CU)と呼ばれることもある)、及び
、符号化単位を分割することより得られる変換ユニット(TU:Transform Unit)からなる階層構造により管理され、CU毎に符号化/復号される。
また、このような動画像符号化方式においては、通常、入力画像を符号化/復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像(原画像)から減算して得られる予測誤差(「差分画像」または「残差画像」と呼ぶこともある)が符号化される。予測画像の生成方法としては、画面間予測(インター予測)、および、画面内予測(イントラ予測)が挙げられる。
また、近年の動画像符号化及び復号の技術として非特許文献1が挙げられる。
"Algorithm Description of Joint Exploration Test Model 7", JVET-G1001, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2017-08-19
近年、符号化効率を向上させるために、インター予測ではブロックを複数のサブブロックに分割し、サブブロック単位で動きパラメータを導出し、予測画像を生成するサブブロック予測が導入されている。しかしながら、小サイズ単位での予測画像生成処理は、処理負荷が大きく、参照画像を転送するためのメモリバンド幅も大きくなる。
そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的は、符号化効率を向上させつつ、処理量及びメモリバンド幅の増加を抑える仕組みを提供することである。また、本発明は、対象ブロックに直接隣接しない位置(長距離ポジション)の複数の動きベクトルを利用することで、より予測精度の高いマージ候補を提供することである。
本発明の一態様に係るマージ候補導出装置は、対象ブロックの空間近傍ブロックの動き
ベクトルをもとに、対象ブロックのマージ候補を導出するマージ候補導出装置において、対象ブロックの第1近傍ブロックの動きベクトルから導出される動きベクトルと、第2隣接近傍ブロックから導出される動きベクトルの平均もしくは加重平均で導出される動きベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段とを備えることを特徴とする。
ベクトルをもとに、対象ブロックのマージ候補を導出するマージ候補導出装置において、対象ブロックの第1近傍ブロックの動きベクトルから導出される動きベクトルと、第2隣接近傍ブロックから導出される動きベクトルの平均もしくは加重平均で導出される動きベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段とを備えることを特徴とする。
本発明の一態様に係るマージ候補導出装置は、対象ブロックの空間隣接ブロック、および、時間方向の隣接ブロック(コロケートブロック)の動きベクトルをもとに、対象ブロックのマージ候補を導出するマージ候補導出装置であって、対象ブロックの上側隣接ブロックを所定のサーチ順序でサーチし、最初に見つかった利用可能な隣接ブロック(動きベクトル、参照ピクチャ)を取得する第1の取得手段と、対象ブロックの左側隣接ブロックを所定のサーチ順序でサーチし、最初に見つかった利用可能な隣接ブロック(動きベクトル、参照ピクチャ)を取得する第2の取得手段と、対象ブロックの時間方向のコロケートブロックを所定の順序でサーチし、最初に見つかった利用可能な隣接ブロック(動きベクトル、参照ピクチャ)を取得する第3の取得手段と、利用可能な隣接ブロックがあれば、上側および左側隣接ブロックの動きベクトルに対し、対象ピクチャと隣接ブロックの参照ピクチャ間の時間的な距離と、対象ピクチャとその参照ピクチャ間の時間的な距離に応じて、前記隣接ブロックの動きベクトルをスケーリングする第1のスケーリング手段と、利用可能な隣接ブロックがあれば、コロケートブロックの動きベクトルに対し、コロケートピクチャとその参照ピクチャ間の時間的な距離と、対象ピクチャと参照ピクチャ間の時間的な距離に応じて、前記コロケートブロックの動きベクトルをスケーリングする第2のスケーリング手段と、スケーリングした各動きベクトルの平均値を算出し平均ベクトルを導出する平均ベクトル導出手段と、前記平均ベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段とを備えることを特徴とする。
本発明の一態様によれば、動画像符号化・復号処理において、符号化効率を向上させつつ、処理量及びメモリバンド幅の増加を抑えることができる。
(第1の実施形態)
以下、図面を参照しながら本発明の実施形態について説明する。
以下、図面を参照しながら本発明の実施形態について説明する。
図24は、本実施形態に係る画像伝送システム1の構成を示す概略図である。
画像伝送システム1は、符号化対象画像を符号化した符号化ストリームを伝送し、伝送された符号化ストリームを復号し画像を表示するシステムである。画像伝送システム1は、動画像符号化装置(画像符号化装置)11、ネットワーク21、動画像復号装置(画像復号装置)31、及び動画像表示装置(画像表示装置)41を含んで構成される。
動画像符号化装置11には画像Tが入力される。
ネットワーク21は、動画像符号化装置11が生成した符号化ストリームTeを動画像復号装置31に伝送する。ネットワーク21は、インターネット(Internet)、広域ネットワーク(WAN:Wide Area Network)、小規模ネットワーク(LAN:Local Area Network)またはこれらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク21は、DVD(Digital Versatile Disc)、BD(Blue-ray Disc)等の符号化ストリームTeを記録した記憶媒体で代替されても良い。
動画像復号装置31は、ネットワーク21が伝送した符号化ストリームTeのそれぞれを復号し、復号した1または複数の復号画像Tdを生成する。
動画像表示装置41は、動画像復号装置31が生成した1または複数の復号画像Tdの全部または一部を表示する。動画像表示装置41は、例えば、液晶ディスプレイ、有機EL(Electro-luminescence)ディスプレイ等の表示デバイスを備える。ディスプレイの形態としては、据え置き、モバイル、HMD等が挙げられる。また、動画像復号装置31が高い処理能力を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。
<演算子>
本明細書で用いる演算子を以下に記載する。
本明細書で用いる演算子を以下に記載する。
>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR
、|=はOR代入演算子であり、||は論理和を示す。
、|=はOR代入演算子であり、||は論理和を示す。
x?y:zは、xが真(0以外)の場合にy、xが偽(0)の場合にzをとる3項演算子である。
Clip3(a,b,c) は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返し、c>bの場合にはbを返し、その他の場合にはcを返す関数である(ただし、a<=b)。
abs(a)はaの絶対値を返す関数である。
sgn(a)はaの符号を返す関数である。
Int(a)はaの整数値を返す関数である。
floor(a)はa以下の最大の整数を返す関数である。
ceil(a)はa以上の最大の整数を返す関数である。
a/dはdによるaの除算(小数点以下切り捨て)を表す。
<符号化ストリームTeの構造>
本実施形態に係る動画像符号化装置11および動画像復号装置31の詳細な説明に先立って、動画像符号化装置11によって生成され、動画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。
本実施形態に係る動画像符号化装置11および動画像復号装置31の詳細な説明に先立って、動画像符号化装置11によって生成され、動画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。
図1は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリ
ームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図1の(a)〜(f)は、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図である。
ームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図1の(a)〜(f)は、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図である。
(符号化ビデオシーケンス)
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために動画像復号
装置31が参照するデータの集合が規定されている。シーケンスSEQは、図1(a)に示すよう
に、ビデオパラメータセット(Video Parameter Set)、シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、ピクチャPICT、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために動画像復号
装置31が参照するデータの集合が規定されている。シーケンスSEQは、図1(a)に示すよう
に、ビデオパラメータセット(Video Parameter Set)、シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、ピクチャPICT、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。
ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複
数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
シーケンスパラメータセットSPSでは、対象シーケンスを復号するために動画像復号装
置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れか
を選択する。
置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れか
を選択する。
ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために
動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値(pic_init_qp_minus26)や重み付き予測の適用を示すフラグ(weighted_pred_flag)が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。
動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値(pic_init_qp_minus26)や重み付き予測の適用を示すフラグ(weighted_pred_flag)が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。
(符号化ピクチャ)
符号化ピクチャでは、処理対象のピクチャPICTを復号するために動画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図1(b)に示すように、スライス0〜スライスNS-1を含む(NSはピクチャPICTに含まれるスライスの総数)。
符号化ピクチャでは、処理対象のピクチャPICTを復号するために動画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図1(b)に示すように、スライス0〜スライスNS-1を含む(NSはピクチャPICTに含まれるスライスの総数)。
なお、以下、スライス0〜スライスNS-1のそれぞれを区別する必要が無い場合、符号の
添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。
添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。
(符号化スライス)
符号化スライスでは、処理対象のスライスSを復号するために動画像復号装置31が参照
するデータの集合が規定されている。スライスは、図1(c)に示すように、スライスヘッダ、および、スライスデータを含んでいる。
符号化スライスでは、処理対象のスライスSを復号するために動画像復号装置31が参照
するデータの集合が規定されている。スライスは、図1(c)に示すように、スライスヘッダ、および、スライスデータを含んでいる。
スライスヘッダには、対象スライスの復号方法を決定するために動画像復号装置31が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報(slice_type)は、スライスヘッダに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、(1)符号化の際にイントラ予測のみを用いるIスライス、(2)符号化の際に単方向予測、または、イントラ予測を用いるPスライス、(3)符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるBスライスなどが挙げられる。なお、インター予測は、単予測、双予測に限定されず、より多くの参照ピクチャを用いて予測画像を生成してもよい。以下、P
、Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライ
スを指す。
、Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライ
スを指す。
なお、スライスヘッダは、ピクチャパラメータセットPPSへの参照(pic_parameter_set_id)を含んでいても良い。
(符号化スライスデータ)
符号化スライスデータでは、処理対象のスライスデータを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図1(d)に示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ(例えば64x64)のブロックであり、最大符号化単位(LCU:Largest Coding Unit)と呼ぶこともある。
符号化スライスデータでは、処理対象のスライスデータを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図1(d)に示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ(例えば64x64)のブロックであり、最大符号化単位(LCU:Largest Coding Unit)と呼ぶこともある。
(符号化ツリーユニット)
図1(e)には、処理対象のCTUを復号するために動画像復号装置31が参照するデータの集
合が規定されている。CTUは、再帰的な4分木分割(QT(Quad Tree)分割)、2分木分割(BT(Binary Tree)分割)あるいは3分木分割(TT(Ternary Tree)分割)により符号
化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割(MT(Multi Tree)分割)と呼ぶ。再帰的な4分木分割により得られる木構造のノードのことを符号化ノード(Coding Node)と称する。4分木、2分木、及び
3分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規
定される。
図1(e)には、処理対象のCTUを復号するために動画像復号装置31が参照するデータの集
合が規定されている。CTUは、再帰的な4分木分割(QT(Quad Tree)分割)、2分木分割(BT(Binary Tree)分割)あるいは3分木分割(TT(Ternary Tree)分割)により符号
化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割(MT(Multi Tree)分割)と呼ぶ。再帰的な4分木分割により得られる木構造のノードのことを符号化ノード(Coding Node)と称する。4分木、2分木、及び
3分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規
定される。
CTは、CT情報として、QT分割を行うか否かを示すQT分割フラグ(cu_split_flag)、MT
分割の分割方法を示すMT分割モード(split_mt_mode)、MT分割の分割方向を示すMT分割
方向(split_mt_dir)、MT分割の分割タイプを示すMT分割タイプ(split_mt_type)を含
む。cu_split_flag、split_mt_flag、split_mt_dir、split_mt_type は符号化ノード毎に伝送される。
分割の分割方法を示すMT分割モード(split_mt_mode)、MT分割の分割方向を示すMT分割
方向(split_mt_dir)、MT分割の分割タイプを示すMT分割タイプ(split_mt_type)を含
む。cu_split_flag、split_mt_flag、split_mt_dir、split_mt_type は符号化ノード毎に伝送される。
cu_split_flagが1の場合、符号化ノードは4つの符号化ノードに分割される(図2(b)
)。cu_split_flagが0の時、split_mt_flagが0の場合に符号化ノードは分割されず1つのCUをノードとして持つ(図2(a))。 CUは符号化ノードの末端ノードであり、これ以上
分割されない。CUは、符号化処理の基本的な単位となる。
)。cu_split_flagが0の時、split_mt_flagが0の場合に符号化ノードは分割されず1つのCUをノードとして持つ(図2(a))。 CUは符号化ノードの末端ノードであり、これ以上
分割されない。CUは、符号化処理の基本的な単位となる。
split_mt_flagが1の場合に符号化ノードは以下のようにMT分割される。split_mt_typeが0の時、split_mt_dirが1の場合に符号化ノードは2つの符号化ノードに水平分割され(図2(d))、split_mt_dirが0の場合に符号化ノードは2つの符号化ノードに垂直分割される(図2(c))。また、split_mt_typeが1の時、split_mt_dirが1の場合に符号化ノー
ドは3つの符号化ノードに水平分割され(図2(f))、split_mt_dirが0の場合に符号化ノードは3つの符号化ノードに垂直分割される(図2(e))。
ドは3つの符号化ノードに水平分割され(図2(f))、split_mt_dirが0の場合に符号化ノードは3つの符号化ノードに垂直分割される(図2(e))。
また、CTUのサイズが64x64画素の場合には、CUのサイズは、64x64画素、64x32画素、32x64画素、32x32画素、64x16画素、16x64画素、32x16画素、16x32画素、16x16画素、64x8画素、8x64画素、32x8画素、8x32画素、16x8画素、8x16画素、8x8画素、64x4画素、4x64画素、32x4画素、4x32画素、16x4画素、4x16画素、8x4画素、4x8画素、及び、4x4画素の何れかをとり得る。
(符号化ユニット)
図1(f)に示すように、処理対象の符号化ユニットを復号するために動画像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメ
ータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。
図1(f)に示すように、処理対象の符号化ユニットを復号するために動画像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメ
ータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。
予測処理は、CU単位で行われる場合と、CUをさらに分割したサブCU単位で行われる場合がある。CUとサブCUのサイズが等しい場合には、CU中のサブCUは1つである。CUがサブCUのサイズよりも大きい場合、CUは、サブCUに分割される。たとえばCUが8x8、サブCUが4x4の場合、CUは水平2分割、垂直2分割からなる、4つのサブCUに分割される。
予測の種類(予測モード)は、イントラ予測と、インター予測の2つがある。イントラ予測は、同一ピクチャ内の予測であり、インター予測は、互いに異なるピクチャ間(例えば、表示時刻間、レイヤ画像間)で行われる予測処理を指す。
変換・量子化処理はCU単位で行われるが、量子化変換係数は4x4等のサブブロック単位
でエントロピー符号化してもよい。
でエントロピー符号化してもよい。
(予測パラメータ)
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータ
には、イントラ予測とインター予測の予測パラメータがある。
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータ
には、イントラ予測とインター予測の予測パラメータがある。
以下、インター予測の予測パラメータについて説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、動きベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0リスト、L1リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が1の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「XXであるか否かを示すフラグ」と記す場合、フラグが0以外(たとえば1)をXXである場合、0をXXではない場合とし、論理否定、論理積などでは1を真、0を偽と扱う(以下同様)。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。
インター予測パラメータを導出するためのシンタックス要素には、例えば、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参
照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。
照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。
(参照ピクチャリスト)
参照ピクチャリストは、参照ピクチャメモリ306に記憶された参照ピクチャからなるリ
ストである。図3は、参照ピクチャおよび参照ピクチャリストの一例を示す概念図である
。図3(a)において、矩形はピクチャ、矢印はピクチャの参照関係、横軸は時間、矩形中のI、P、Bは各々イントラピクチャ、単予測ピクチャ、双予測ピクチャ、矩形中の数字は復
号順を示す。図に示すように、ピクチャの復号順は、I0、P1、B2、B3、B4であり、表示順は、I0、B3、B2、B4、P1である。図3(b)に、ピクチャB3(対象ピクチャ)の参照ピクチャリストの例を示す。参照ピクチャリストは、参照ピクチャの候補を表すリストであり、1つのピクチャ(スライス)が1つ以上の参照ピクチャリストを有してもよい。図の例では、対象ピクチャB3は、L0リストRefPicList0およびL1リストRefPicList1の2つの参照ピクチャリストを持つ。個々のCUでは、参照ピクチャリストRefPicListX(X=0または1)中のどのピクチャを実際に参照するかを参照ピクチャインデックスrefIdxLXで指定する。図は、refIdxL0=2、refIdxL1=0の例である。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、以降では、LXをL0、L1に置き換えることでL0リストに対するパラメータとL1リストに対するパラメータを区別する。
参照ピクチャリストは、参照ピクチャメモリ306に記憶された参照ピクチャからなるリ
ストである。図3は、参照ピクチャおよび参照ピクチャリストの一例を示す概念図である
。図3(a)において、矩形はピクチャ、矢印はピクチャの参照関係、横軸は時間、矩形中のI、P、Bは各々イントラピクチャ、単予測ピクチャ、双予測ピクチャ、矩形中の数字は復
号順を示す。図に示すように、ピクチャの復号順は、I0、P1、B2、B3、B4であり、表示順は、I0、B3、B2、B4、P1である。図3(b)に、ピクチャB3(対象ピクチャ)の参照ピクチャリストの例を示す。参照ピクチャリストは、参照ピクチャの候補を表すリストであり、1つのピクチャ(スライス)が1つ以上の参照ピクチャリストを有してもよい。図の例では、対象ピクチャB3は、L0リストRefPicList0およびL1リストRefPicList1の2つの参照ピクチャリストを持つ。個々のCUでは、参照ピクチャリストRefPicListX(X=0または1)中のどのピクチャを実際に参照するかを参照ピクチャインデックスrefIdxLXで指定する。図は、refIdxL0=2、refIdxL1=0の例である。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、以降では、LXをL0、L1に置き換えることでL0リストに対するパラメータとL1リストに対するパラメータを区別する。
(マージ予測とAMVP予測)
予測パラメータの復号(符号化)方法には、マージ予測(merge)モードとAMVP(Adaptive Motion Vector Prediction、適応動きベクトル予測)モードがあり、マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードは、予測リスト利用フラグpredFlagLX(またはインター予測識別子inter_pred_idc)、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めずに、既に処理した近傍ブロックの予測パラメータから導出する用いるモードである。AMVPモードは、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めるモードである。なお、動きベクトルmvLXは、予測ベクトルmvpLXを識別する予測ベクトルインデックスmvp_LX_idxと差分ベクトルmvdLXとして符号化される。
予測パラメータの復号(符号化)方法には、マージ予測(merge)モードとAMVP(Adaptive Motion Vector Prediction、適応動きベクトル予測)モードがあり、マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードは、予測リスト利用フラグpredFlagLX(またはインター予測識別子inter_pred_idc)、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めずに、既に処理した近傍ブロックの予測パラメータから導出する用いるモードである。AMVPモードは、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めるモードである。なお、動きベクトルmvLXは、予測ベクトルmvpLXを識別する予測ベクトルインデックスmvp_LX_idxと差分ベクトルmvdLXとして符号化される。
インター予測識別子inter_pred_idcは、参照ピクチャの種類および数を示す値であり、PRED_L0、PRED_L1、PRED_BIの何れかの値をとる。PRED_L0、PRED_L1は、各々L0リスト、L1リストで管理された1枚の参照ピクチャを用いる単予測を示す。PRED_BIはL0リストとL1リストで管理された2枚の参照ピクチャを用いる双予測BiPredを示す。
マージインデックスmerge_idxは、処理が完了したブロックから導出される予測パラメ
ータ候補(マージ候補)のうち、いずれの予測パラメータを対象ブロックの予測パラメータとして用いるかを示すインデックスである。
ータ候補(マージ候補)のうち、いずれの予測パラメータを対象ブロックの予測パラメータとして用いるかを示すインデックスである。
(動きベクトル)
動きベクトルmvLXは、異なる2つのピクチャ上のブロック間のシフト量を示す。動きベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分
ベクトルmvdLXと呼ぶ。
動きベクトルmvLXは、異なる2つのピクチャ上のブロック間のシフト量を示す。動きベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分
ベクトルmvdLXと呼ぶ。
(動画像復号装置の構成)
本実施形態に係る動画像復号装置31(図4)の構成について説明する。
本実施形態に係る動画像復号装置31(図4)の構成について説明する。
動画像復号装置31は、エントロピー復号部301、パラメータ復号部(予測画像復号装置
)302、ループフィルタ305、参照ピクチャメモリ306、予測パラメータメモリ307、予測画像生成部(予測画像生成装置)308、逆量子化・逆変換部311、及び加算部312を含んで構
成される。なお、後述の動画像符号化装置11に合わせ、動画像復号装置31にループフィルタ305が含まれない構成もある。
)302、ループフィルタ305、参照ピクチャメモリ306、予測パラメータメモリ307、予測画像生成部(予測画像生成装置)308、逆量子化・逆変換部311、及び加算部312を含んで構
成される。なお、後述の動画像符号化装置11に合わせ、動画像復号装置31にループフィルタ305が含まれない構成もある。
また、パラメータ復号部302は、図示しないインター予測パラメータ復号部303及びイントラ予測パラメータ復号部304を含んで構成される。予測画像生成部308は、インター予測画像生成部309及びイントラ予測画像生成部310を含んで構成される。
また、以降では処理の単位としてCTU、CUを使用した例を記載するが、この例に限らず
、サブCU単位で処理をしてもよい。あるいはCTU、CU、をブロック、サブCUをサブブロッ
クと読み替え、ブロックあるいはサブブロック単位の処理としてもよい。
、サブCU単位で処理をしてもよい。あるいはCTU、CU、をブロック、サブCUをサブブロッ
クと読み替え、ブロックあるいはサブブロック単位の処理としてもよい。
エントロピー復号部301は、外部から入力された符号化ストリームTeに対してエントロ
ピー復号を行って、個々の符号(シンタックス要素)を分離し復号する。エントロピー符号化には、シンタックス要素の種類や周囲の状況に応じて適応的に選択したコンテキスト(確率モデル)を用いてシンタックス要素を可変長符号化する方式と、あらかじめ定められた表、あるいは計算式を用いてシンタックス要素を可変長符号化する方式がある。前者のCABAC(Context Adaptive Binary Arithmetic Coding)は、符号化あるいは復号したピクチャ(スライス)毎に更新した確率モデルをメモリに格納する。そして、Pピクチャ、
あるいはBピクチャのコンテキストの初期状態として、メモリに格納された確率モデルの
中から、同じスライスタイプ、同じスライスレベルの量子化パラメータを使用したピクチャの確率モデルを設定する。この初期状態を符号化、復号処理に使用する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための予測誤差などがある。
ピー復号を行って、個々の符号(シンタックス要素)を分離し復号する。エントロピー符号化には、シンタックス要素の種類や周囲の状況に応じて適応的に選択したコンテキスト(確率モデル)を用いてシンタックス要素を可変長符号化する方式と、あらかじめ定められた表、あるいは計算式を用いてシンタックス要素を可変長符号化する方式がある。前者のCABAC(Context Adaptive Binary Arithmetic Coding)は、符号化あるいは復号したピクチャ(スライス)毎に更新した確率モデルをメモリに格納する。そして、Pピクチャ、
あるいはBピクチャのコンテキストの初期状態として、メモリに格納された確率モデルの
中から、同じスライスタイプ、同じスライスレベルの量子化パラメータを使用したピクチャの確率モデルを設定する。この初期状態を符号化、復号処理に使用する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための予測誤差などがある。
エントロピー復号部301は、分離した符号の一部をパラメータ復号部302に出力する。分離した符号の一部とは、例えば、予測モードpredMode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデック
スrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX等である。どの
符号を復号するかの制御は、パラメータ復号部302の指示に基づいて行われる。エントロ
ピー復号部301は、量子化変換係数を逆量子化・逆変換部311に出力する。
スrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX等である。どの
符号を復号するかの制御は、パラメータ復号部302の指示に基づいて行われる。エントロ
ピー復号部301は、量子化変換係数を逆量子化・逆変換部311に出力する。
(動きベクトルスケーリング)
動きベクトルのスケーリングの導出方法を説明する。動きベクトルMv(参照動きベクトル)、Mvをもつブロックを含むピクチャPicMv、Mvの参照ピクチャPicMvRef、スケーリン
グ後の動きベクトルsMv、sMvをもつブロックを含むピクチャCurPic、sMvが参照する参照
ピクチャCurPicRefとすると、sMvの導出関数MvScale(Mv,PicMv,PicMvRef,CurPic,CurPicR
ef)は下式で表される。
動きベクトルのスケーリングの導出方法を説明する。動きベクトルMv(参照動きベクトル)、Mvをもつブロックを含むピクチャPicMv、Mvの参照ピクチャPicMvRef、スケーリン
グ後の動きベクトルsMv、sMvをもつブロックを含むピクチャCurPic、sMvが参照する参照
ピクチャCurPicRefとすると、sMvの導出関数MvScale(Mv,PicMv,PicMvRef,CurPic,CurPicR
ef)は下式で表される。
sMv = MvScale(Mv,PicMv,PicMvRef,CurPic,CurPicRef)
= Clip3(-R1,R1-1,sign(distScaleFactor*Mv)*((abs(distScaleFactor*Mv)+round1-1)>>shift1))
distScaleFactor = Clip3(-R2,R2-1,(tb*tx+round2)>>shift2)
tx = (16384+abs(td)>>1)/td
td = DiffPicOrderCnt(PicMv,PicMvRef)
tb = DiffPicOrderCnt(CurPic,CurPicRef)
ここで、round1、round2、shift1、shift2は、逆数を用いて除算を行うためのラウンド値及びシフト値で、例えば、round1=1<<(shift1-1)、round2=1<<(shift2-1)、shift1=8、shift2=6などである。DiffPicOrderCnt(Pic1,Pic2)はPic1とPic2の時間情報(例えばPOC)の差を返す関数である。R1、R2は処理を限られた精度で行うために値域を制限するもので例えば、R1=32768、R2=4096などである。
= Clip3(-R1,R1-1,sign(distScaleFactor*Mv)*((abs(distScaleFactor*Mv)+round1-1)>>shift1))
distScaleFactor = Clip3(-R2,R2-1,(tb*tx+round2)>>shift2)
tx = (16384+abs(td)>>1)/td
td = DiffPicOrderCnt(PicMv,PicMvRef)
tb = DiffPicOrderCnt(CurPic,CurPicRef)
ここで、round1、round2、shift1、shift2は、逆数を用いて除算を行うためのラウンド値及びシフト値で、例えば、round1=1<<(shift1-1)、round2=1<<(shift2-1)、shift1=8、shift2=6などである。DiffPicOrderCnt(Pic1,Pic2)はPic1とPic2の時間情報(例えばPOC)の差を返す関数である。R1、R2は処理を限られた精度で行うために値域を制限するもので例えば、R1=32768、R2=4096などである。
また、スケーリング関数MvScale(Mv,PicMv,PicMvRef,CurPic,CurPicRef)は以下の式で
もよい。
もよい。
MvScale(Mv,PicMv,PicMvRef,CurPic,CurPicRef) =
Mv*DiffPicOrderCnt(CurPic,CurPicRef)/DiffPicOrderCnt(PicMv,PicMvRef)
すなわち、CurPicとCurPicRefの時間情報の差と、PicMvとPicMvRefの時間情報の差との比に応じてMvをスケーリングしてもよい。
Mv*DiffPicOrderCnt(CurPic,CurPicRef)/DiffPicOrderCnt(PicMv,PicMvRef)
すなわち、CurPicとCurPicRefの時間情報の差と、PicMvとPicMvRefの時間情報の差との比に応じてMvをスケーリングしてもよい。
(インター予測パラメータ復号部の構成)
インター予測パラメータ復号部303は、エントロピー復号部301から入力された符号に基づいて、予測パラメータメモリ307に記憶された予測パラメータを参照してインター予測
パラメータを復号する。また、インター予測パラメータ復号部303は、復号したインター
予測パラメータを予測画像生成部308に出力し、予測パラメータメモリ307に記憶する。
インター予測パラメータ復号部303は、エントロピー復号部301から入力された符号に基づいて、予測パラメータメモリ307に記憶された予測パラメータを参照してインター予測
パラメータを復号する。また、インター予測パラメータ復号部303は、復号したインター
予測パラメータを予測画像生成部308に出力し、予測パラメータメモリ307に記憶する。
図5(a)は、本実施形態に係るインター予測パラメータ復号部303の構成を示す概略図で
ある。インター予測パラメータ復号部303は、パラメータ復号制御部3031、AMVP予測パラ
メータ導出部3032、加算部3038、マージ予測パラメータ導出部3036およびサブブロック予測パラメータ導出部3037を含んで構成される。AMVP予測パラメータ導出部3032、マージ予測パラメータ導出部3036、サブブロック予測パラメータ導出部3037を総称して動きベクトル導出部(動きベクトル導出装置)と称してもよい。
ある。インター予測パラメータ復号部303は、パラメータ復号制御部3031、AMVP予測パラ
メータ導出部3032、加算部3038、マージ予測パラメータ導出部3036およびサブブロック予測パラメータ導出部3037を含んで構成される。AMVP予測パラメータ導出部3032、マージ予測パラメータ導出部3036、サブブロック予測パラメータ導出部3037を総称して動きベクトル導出部(動きベクトル導出装置)と称してもよい。
パラメータ復号制御部3031は、インター予測に関連するシンタックス要素の復号をエントロピー復号部301に指示し、符号化データに含まれるシンタックス要素、例えば、マー
ジフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベ
クトルmvdLXを抽出する。
ジフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベ
クトルmvdLXを抽出する。
パラメータ復号制御部3031は、まず、マージフラグmerge_flagを抽出する。パラメータ復号制御部3031が、あるシンタックス要素を抽出すると表現する場合は、あるシンタックス要素の復号をエントロピー復号部301に指示し、該当のシンタックス要素を符号化デー
タから読み出すことを意味する。
タから読み出すことを意味する。
マージフラグmerge_flagが0、すなわち、AMVP予測モードを示す場合、パラメータ復号制御部3031は、エントロピー復号部301を用いて符号化データからAMVP予測パラメータを
抽出する。AMVP予測パラメータとして、例えば、インター予測識別子inter_pred_idc、参
照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。AMVP予測パラメータ導出部3032は予測ベクトルインデックスmvp_LX_idxか
ら予測ベクトルmvpLXを導出する。パラメータ復号制御部3031は差分ベクトルmvdLXを加算部3038に出力する。加算部3038では予測ベクトルmvpLXと差分ベクトルmvdLXを加算し、動きベクトルを導出する。
抽出する。AMVP予測パラメータとして、例えば、インター予測識別子inter_pred_idc、参
照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。AMVP予測パラメータ導出部3032は予測ベクトルインデックスmvp_LX_idxか
ら予測ベクトルmvpLXを導出する。パラメータ復号制御部3031は差分ベクトルmvdLXを加算部3038に出力する。加算部3038では予測ベクトルmvpLXと差分ベクトルmvdLXを加算し、動きベクトルを導出する。
マージフラグmerge_flagが1、すなわち、マージ予測モードを示す場合、パラメータ復号制御部3031は、マージ予測に係る予測パラメータとして、マージインデックスmerge_idxを抽出する。パラメータ復号制御部3031は、抽出したマージインデックスmerge_idxをマージ予測パラメータ導出部3036に出力する。
図6(a)は、本実施形態に係るマージ予測パラメータ導出部3036の構成を示す概略図である。マージ予測パラメータ導出部3036は、マージ候補導出部30361、マージ候補選択部30362、マージ候補格納部30363を備える。マージ候補導出部30361は、空間マージ候補導出部30364、時間マージ候補導出部30365、STMVP部30366、ATMVP部30367を含む。また、マージ予測パラメータ導出部3036は、STMVP部30366に追加してさらにMSMVP部3036830368を含んでも良いし、STMVP部30366の代わりにMSMVP部30368を含んでも良い。マージ候補格納部30363は、マージ候補導出部30361から入力されたマージ候補を、図12に示すマージ候補リストmergeCandList[]に格納する。なお、マージ候補は、予測リスト利用フラグpredFlagLX、動きベクトルmvLX、参照ピクチャインデックスrefIdxLXを含んで構成される。マージ候補格納部30363において格納されたマージ候補には、所定の規則に従ってインデックスが割り当てられる。
マージ候補導出部30361は、復号済の隣接ブロックの動きベクトルと参照ピクチャイン
デックスrefIdxLXをそのまま用いてマージ候補を導出する。
デックスrefIdxLXをそのまま用いてマージ候補を導出する。
(空間マージ候補導出処理)
空間マージ候補導出処理として、空間マージ候補導出部30364は、所定の規則に従って
、予測パラメータメモリ307が記憶している予測パラメータ(予測リスト利用フラグpredFlagLX、動きベクトルmvLX、参照ピクチャインデックスrefIdxLX)を読み出し、マージ候補に設定し、マージ候補リストmergeCandList[]に格納する。参照ピクチャの指定方法は、例えば、対象ブロックから予め定めた範囲内にある隣接ブロック(例えば、図12(b)に示す、対象ブロックの左端L、左下端BL、左上端AL、上端A、右上端ARにそれぞれ接するブロックの全部または一部)の予測パラメータである。各々のマージ候補をL,BL,AL,A,ARと呼ぶ。
空間マージ候補導出処理として、空間マージ候補導出部30364は、所定の規則に従って
、予測パラメータメモリ307が記憶している予測パラメータ(予測リスト利用フラグpredFlagLX、動きベクトルmvLX、参照ピクチャインデックスrefIdxLX)を読み出し、マージ候補に設定し、マージ候補リストmergeCandList[]に格納する。参照ピクチャの指定方法は、例えば、対象ブロックから予め定めた範囲内にある隣接ブロック(例えば、図12(b)に示す、対象ブロックの左端L、左下端BL、左上端AL、上端A、右上端ARにそれぞれ接するブロックの全部または一部)の予測パラメータである。各々のマージ候補をL,BL,AL,A,ARと呼ぶ。
(時間マージ候補導出処理)
時間マージ導出処理として、時間マージ候補導出部30365は、図12(c)に示す、対象ブロックの右下位置、あるいは、中央位置を含むコロケートピクチャ中のブロックC[0]およびC[1]の予測パラメータを、予測パラメータメモリ307から読み出してマージ候補とし、マージ候補リストmergeCandList[]に格納する。一般にブロックC[0]を優先してマージ候補リストmergeCandList[]に加え、ブロックC[0]が動きベクトルを持たない(例えばイントラ予測ブロック)場合や、ブロックC[0]がピクチャ外に位置する場合は、ブロックC[1]の動きベクトルをマージ候補リストに加える。動きの異なる可能性が高いコロケートブロックの動きベクトルを予測候補として加えることで、予測ベクトルの選択肢が増え、符号化効率が高まる。対象ブロックの右下位置はC[0]に限らず、図12(d)、(e)、(f)に示す対象ブロック内の右下位置C[2]、対象ブロック外の右下位置C[3]、対象ブロック外の右下位置C[4]であってもよい。コロケートピクチャの指定方法は、例えば、スライスヘッダにおいて指定されたコロケートピクチャインデックスcollocated_ref_idxでも良いし、隣接ブロックの参照ピクチャインデックスrefIdxLXのうち最小のものを用いて指定しても良い。
時間マージ導出処理として、時間マージ候補導出部30365は、図12(c)に示す、対象ブロックの右下位置、あるいは、中央位置を含むコロケートピクチャ中のブロックC[0]およびC[1]の予測パラメータを、予測パラメータメモリ307から読み出してマージ候補とし、マージ候補リストmergeCandList[]に格納する。一般にブロックC[0]を優先してマージ候補リストmergeCandList[]に加え、ブロックC[0]が動きベクトルを持たない(例えばイントラ予測ブロック)場合や、ブロックC[0]がピクチャ外に位置する場合は、ブロックC[1]の動きベクトルをマージ候補リストに加える。動きの異なる可能性が高いコロケートブロックの動きベクトルを予測候補として加えることで、予測ベクトルの選択肢が増え、符号化効率が高まる。対象ブロックの右下位置はC[0]に限らず、図12(d)、(e)、(f)に示す対象ブロック内の右下位置C[2]、対象ブロック外の右下位置C[3]、対象ブロック外の右下位置C[4]であってもよい。コロケートピクチャの指定方法は、例えば、スライスヘッダにおいて指定されたコロケートピクチャインデックスcollocated_ref_idxでも良いし、隣接ブロックの参照ピクチャインデックスrefIdxLXのうち最小のものを用いて指定しても良い。
例えば時間マージ候補導出部30365は、ブロックC[1]の位置(xColCtr,yColCtr)とブロックC[0]の位置(xColCBr、yColCBr)を、以下の式で導出してもよい。
xColCtr = xPb+(bW>>1)
yColCtr = yPb+(bH>>1)
xColCBr = xPb+bW
yColCBr = yPb+bH
ここで、(xPb,yPb)は対象ブロックの左上座標、(bW,bH)は対象ブロックの幅と高さである。ブロックC[0]が利用可能であればブロックC[0]の動きベクトルを利用してマージ候補COLを導出する。ブロックC[0]が利用可能でなければブロックC[1]を使用して時間マージ候
補TMVPを導出する。
yColCtr = yPb+(bH>>1)
xColCBr = xPb+bW
yColCBr = yPb+bH
ここで、(xPb,yPb)は対象ブロックの左上座標、(bW,bH)は対象ブロックの幅と高さである。ブロックC[0]が利用可能であればブロックC[0]の動きベクトルを利用してマージ候補COLを導出する。ブロックC[0]が利用可能でなければブロックC[1]を使用して時間マージ候
補TMVPを導出する。
(STMVP:Spatial-Temporal Motion Vector Prediction)
STMVPは、対象ピクチャCurPicにおいて、図13(a)に示す対象ブロックCurBLKの空間隣接ブロック(A[]、L[])、および、図12(c)に示す対象ブロックのコロケートブロック(C[])の動きベクトルをもとに、対象ブロックのマージ候補を導出する。図12(c)の右下位置
は、C[0]ではなく、図12(d)〜(f)に示す右下位置c[2]、c[3]、c[4]であってもよい。対象ブロックの左上座標を(xPb,yPb)とすると、図13(a)に示すように、A[i]は座標(xPb+bW/N*i,yPb-1)を含むブロックであり、左上座標を(xNb[i],yNb[i])と表す。L[j]は座標(xPb-1,yPb+bH/M*j)を含むブロックであり、左上座標を(xNb[j],yNb[j])と表す。N、Mは対象ブロックの幅、高さを隣接ブロックで分割する個数である。STMVPは下記の手順で処理する。
STMVPは、対象ピクチャCurPicにおいて、図13(a)に示す対象ブロックCurBLKの空間隣接ブロック(A[]、L[])、および、図12(c)に示す対象ブロックのコロケートブロック(C[])の動きベクトルをもとに、対象ブロックのマージ候補を導出する。図12(c)の右下位置
は、C[0]ではなく、図12(d)〜(f)に示す右下位置c[2]、c[3]、c[4]であってもよい。対象ブロックの左上座標を(xPb,yPb)とすると、図13(a)に示すように、A[i]は座標(xPb+bW/N*i,yPb-1)を含むブロックであり、左上座標を(xNb[i],yNb[i])と表す。L[j]は座標(xPb-1,yPb+bH/M*j)を含むブロックであり、左上座標を(xNb[j],yNb[j])と表す。N、Mは対象ブロックの幅、高さを隣接ブロックで分割する個数である。STMVPは下記の手順で処理する。
ステップ1)上側隣接ブロックの動きベクトル導出
STMVP部30366は、対象ブロックの上側隣接ブロックA[]を以下の順番SearchOrderA[]にサ
ーチし、利用可能な(available)ブロックを取得する。以降、「利用可能なブロック」
は、例えば、ブロックの位置が対象ピクチャ(スライス)に含まれており、かつ、ブロックが動きベクトルを有する、を意味する。
STMVP部30366は、対象ブロックの上側隣接ブロックA[]を以下の順番SearchOrderA[]にサ
ーチし、利用可能な(available)ブロックを取得する。以降、「利用可能なブロック」
は、例えば、ブロックの位置が対象ピクチャ(スライス)に含まれており、かつ、ブロックが動きベクトルを有する、を意味する。
SearchOrderA[] = {N/2,N-1,0}
ここで上記のサーチ順序に示すように、対象ブロックの上側隣接ブロックにおいて、中央に位置する隣接ブロックA[N/2]からサーチを開始し、A[N/2]、A[N-1]、A[0]の順にサーチしてもよい。また、後述のように非隣接ブロックから隣接ブロックの順にサーチしてもよい。
ここで上記のサーチ順序に示すように、対象ブロックの上側隣接ブロックにおいて、中央に位置する隣接ブロックA[N/2]からサーチを開始し、A[N/2]、A[N-1]、A[0]の順にサーチしてもよい。また、後述のように非隣接ブロックから隣接ブロックの順にサーチしてもよい。
利用可能な上側隣接ブロックが見つかった場合、最初に見つかった隣接ブロックの動きベクトルと参照ピクチャを、STMVPの上側ベクトルmvA(スケール後はsmvA)と参照ピクチャRefAとし、カウントcntを1インクリメントする。利用可能な隣接ブロックがない場合
、カウントcnt=0、mvA=0とする。以上は、一例として下記の擬似コードで表現できる。
、カウントcnt=0、mvA=0とする。以上は、一例として下記の擬似コードで表現できる。
mvA = 0; cnt = 0;
for (i=0; i<NumSearchA; i++) {
blkA = SearchOrderA[i];
if (availableFlag[blkA]==1) {
mvA = mvLX[xNb[blkA]][yNb[blkA]];
refIdxA = refIdxLX[xNb[blkA]][yNb[blkA]];
RefA = RefPicListX[refIdxA];
cnt++;
break;
}
}
ここで、availableFlag[blk]はブロックblkの利用可能性を表すフラグで、1は利用可能
、0は利用不可を表す。NumSearchAは最大サーチ数であり2、3などを用いる。
for (i=0; i<NumSearchA; i++) {
blkA = SearchOrderA[i];
if (availableFlag[blkA]==1) {
mvA = mvLX[xNb[blkA]][yNb[blkA]];
refIdxA = refIdxLX[xNb[blkA]][yNb[blkA]];
RefA = RefPicListX[refIdxA];
cnt++;
break;
}
}
ここで、availableFlag[blk]はブロックblkの利用可能性を表すフラグで、1は利用可能
、0は利用不可を表す。NumSearchAは最大サーチ数であり2、3などを用いる。
ステップ2)左側隣接ブロックの動きベクトル導出
STMVP部30366は、対象ブロックの左側隣接ブロックL[]を以下の順番SearchOrderL[]にサ
ーチし、利用可能なブロックを取得する。
STMVP部30366は、対象ブロックの左側隣接ブロックL[]を以下の順番SearchOrderL[]にサ
ーチし、利用可能なブロックを取得する。
SearchOrderL[] = {M/2,M-1,0}
上記のサーチ順序の場合、対象ブロックの左側隣接ブロックにおいて、中央に位置する隣接ブロックL[M/2]からサーチを開始し、L[M/2]、L[M-1]、L[0]の順にサーチする。上側および左側隣接ブロックの具体的なサーチ順序については、詳細を後述する。また、後述のように非隣接ブロックから隣接ブロックの順にサーチしてもよい。
上記のサーチ順序の場合、対象ブロックの左側隣接ブロックにおいて、中央に位置する隣接ブロックL[M/2]からサーチを開始し、L[M/2]、L[M-1]、L[0]の順にサーチする。上側および左側隣接ブロックの具体的なサーチ順序については、詳細を後述する。また、後述のように非隣接ブロックから隣接ブロックの順にサーチしてもよい。
利用可能な左側隣接ブロックが見つかった場合、最初に見つかった隣接ブロックの動きベクトルと参照ピクチャを、STMVPの左側ベクトルmvL(スケール後はsmvL)と参照ピクチャRefLとし、カウントcntを1インクリメントする。利用可能な隣接ブロックがない場合
、カウントcntは更新せず、mvL=0とする。以上は、一例として下記の擬似コードで表現できる。以降でも、最小に見つかった利用可能なブロックは下記のように表現してもよい。
、カウントcntは更新せず、mvL=0とする。以上は、一例として下記の擬似コードで表現できる。以降でも、最小に見つかった利用可能なブロックは下記のように表現してもよい。
mvL = 0;
for (j=0; j<NumSearchL; j++) {
blkL = SearchOrderL[j];
if (availableFlag[blkL]==1) {
mvL = mvLX[xNb[blkL]][yNb[blkL]];
refIdxL = refIdxLX[xNb[blkL]][yNb[blkL]];
RefL = RefPicListX[refIdxL];
cnt++;
break;
}
}
NumSearchLは最大サーチ数であり2、3などを用いる。
for (j=0; j<NumSearchL; j++) {
blkL = SearchOrderL[j];
if (availableFlag[blkL]==1) {
mvL = mvLX[xNb[blkL]][yNb[blkL]];
refIdxL = refIdxLX[xNb[blkL]][yNb[blkL]];
RefL = RefPicListX[refIdxL];
cnt++;
break;
}
}
NumSearchLは最大サーチ数であり2、3などを用いる。
ステップ3)コロケートブロックの動きベクトル導出
STMVP部30366は、コロケートピクチャ上で、対象ブロックと同じ位置のブロックに対し、右下位置を含むブロックC[0](あるいはC[2]〜C[4]のいずれか)、中央位置を含むブロックC[1]の順番に、動きベクトルが利用可能か否かをチェックする。コロケートピクチャはRefPicListX[collocated_ref_idx]であり、collocated_ref_idxはスライスヘッダで通知
されるコロケートピクチャの参照ピクチャインデックスである。利用可能なブロックが見つかった場合、そのブロックが有する動きベクトルと参照ピクチャを、STMVPの時間方向
ベクトルmvCと参照ピクチャRefCとし、カウントを1インクリメントする。利用可能なブ
ロックがない場合、カウントcntは更新せず、mvC=0とする。STMVPの参照ピクチャはRefPicListX[refIdxLX]である。
STMVP部30366は、コロケートピクチャ上で、対象ブロックと同じ位置のブロックに対し、右下位置を含むブロックC[0](あるいはC[2]〜C[4]のいずれか)、中央位置を含むブロックC[1]の順番に、動きベクトルが利用可能か否かをチェックする。コロケートピクチャはRefPicListX[collocated_ref_idx]であり、collocated_ref_idxはスライスヘッダで通知
されるコロケートピクチャの参照ピクチャインデックスである。利用可能なブロックが見つかった場合、そのブロックが有する動きベクトルと参照ピクチャを、STMVPの時間方向
ベクトルmvCと参照ピクチャRefCとし、カウントを1インクリメントする。利用可能なブ
ロックがない場合、カウントcntは更新せず、mvC=0とする。STMVPの参照ピクチャはRefPicListX[refIdxLX]である。
STMVP部30366は、対象ブロックからシフトベクトルIMVだけシフトした位置のコロケー
トブロックColBLKの動き情報を用いてもよい。シフトベクトルは、隣接ブロックの動きベクトルをスケーリングして導出する。シフトベクトルの導出方法として、ATMVP部30367と同一の方法を用いても良い。この場合、ATMVP部30367は、対象ブロックを分割して得られ
る各サブブロックの座標にあるシフトベクトルIMVだけシフトした位置のコロケートブロ
ックの動きベクトルから導出される動きベクトルを用いたATMVPマージ候補を用い、STMVP部30366は、対象ブロックの周囲の複数の近傍ブロックの動きベクトルと、ATMVP部30367
で利用した上記シフトベクトルIMVだけシフトした位置のコロケートブロックの動きベク
トルの平均値(加重平均)から導出する動きベクトルを用いたSTMVPマージ候補を用いて
る。この構成では、STMVP部30366とATMVP部30367で同一のシフトベクトルIMVを用いる。
すなわち同一(もしくは同じ領域にある)のコロケートブロックを用いることにより、アクセスを容易にする効果を奏する。
トブロックColBLKの動き情報を用いてもよい。シフトベクトルは、隣接ブロックの動きベクトルをスケーリングして導出する。シフトベクトルの導出方法として、ATMVP部30367と同一の方法を用いても良い。この場合、ATMVP部30367は、対象ブロックを分割して得られ
る各サブブロックの座標にあるシフトベクトルIMVだけシフトした位置のコロケートブロ
ックの動きベクトルから導出される動きベクトルを用いたATMVPマージ候補を用い、STMVP部30366は、対象ブロックの周囲の複数の近傍ブロックの動きベクトルと、ATMVP部30367
で利用した上記シフトベクトルIMVだけシフトした位置のコロケートブロックの動きベク
トルの平均値(加重平均)から導出する動きベクトルを用いたSTMVPマージ候補を用いて
る。この構成では、STMVP部30366とATMVP部30367で同一のシフトベクトルIMVを用いる。
すなわち同一(もしくは同じ領域にある)のコロケートブロックを用いることにより、アクセスを容易にする効果を奏する。
ステップ4)利用可能性判定
STMVP部30366は、cnt=0(利用可能な動きベクトルが1つもない)の場合、STMVPをオフにし、処理を終了する。
STMVP部30366は、cnt=0(利用可能な動きベクトルが1つもない)の場合、STMVPをオフにし、処理を終了する。
ステップ5)動きベクトルのスケーリング
STMVP部30366は、ctnが0でない場合、対象ピクチャCurPicと、対象ブロックCurBLKの参照ピクチャRefPicListX[refIdxLX]との時間情報を用いて、ステップ1〜ステップ3で取得
した利用可能な動きベクトルをスケーリングする。refIdxLX=0としてもよい。スケーリング後の動きベクトルをsmvA、smvL、smvCとする。
STMVP部30366は、ctnが0でない場合、対象ピクチャCurPicと、対象ブロックCurBLKの参照ピクチャRefPicListX[refIdxLX]との時間情報を用いて、ステップ1〜ステップ3で取得
した利用可能な動きベクトルをスケーリングする。refIdxLX=0としてもよい。スケーリング後の動きベクトルをsmvA、smvL、smvCとする。
smvA = MvScale(mvA,CurPic,RefA,CurPic,RefPicListX[refIdxLX]))
smvL = MvScale(mvL,CurPic,RefL,CurPic,RefPicListX[refIdxLX]))
smvC = MvScale(mvC,RefPicListX[collocated_ref_idx],RefC,CurPic,RefPicListX[refIdxLX]))
ステップ6)平均値導出
STMVP部30366は、空間動きベクトルsmvA、smvLと時間動きベクトルsmvCの平均を算出し、STMVPの動きベクトルstMvLXとしてセットする。
smvL = MvScale(mvL,CurPic,RefL,CurPic,RefPicListX[refIdxLX]))
smvC = MvScale(mvC,RefPicListX[collocated_ref_idx],RefC,CurPic,RefPicListX[refIdxLX]))
ステップ6)平均値導出
STMVP部30366は、空間動きベクトルsmvA、smvLと時間動きベクトルsmvCの平均を算出し、STMVPの動きベクトルstMvLXとしてセットする。
stMvLX = (smvA +smvL+smvC)/cnt
cnt=1の場合、例えば、smvAが利用可能な場合、以下を用いる。sum(smv) = smvA+smvB+smvC。
cnt=1の場合、例えば、smvAが利用可能な場合、以下を用いる。sum(smv) = smvA+smvB+smvC。
stMvLX = smvA = sum(smv)
整数演算のために例えば、以下のように導出しても良い。cnt=2の場合、例えば、smvA
、smvCが利用可能な場合、以下の式で平均を導出してもよい。
整数演算のために例えば、以下のように導出しても良い。cnt=2の場合、例えば、smvA
、smvCが利用可能な場合、以下の式で平均を導出してもよい。
stMvLX = (smvA+smvC)>>1 = sum(smv)>>1
cnt=3の場合、以下の式で平均(加重平均)を導出してもよい。
cnt=3の場合、以下の式で平均(加重平均)を導出してもよい。
stMvLX = (5*smvA+5*smvL+6*smvC)>>4
また以下のように、時間ベクトルsmvC(コロケートブロックから導出されるベクトル)よりも、空間ベクトルsmvA, smvLの重みを大きくした式を用いても良い。
また以下のように、時間ベクトルsmvC(コロケートブロックから導出されるベクトル)よりも、空間ベクトルsmvA, smvLの重みを大きくした式を用いても良い。
stMvLX = (3*smvA+3*smvL+2*smvC)>>2
また、以下の式のように、3つの動きベクトルの和に所定の定数を乗じて右シフトすることにより、平均を導出しても良い。
また、以下の式のように、3つの動きベクトルの和に所定の定数を乗じて右シフトすることにより、平均を導出しても良い。
stMvLX = ((1<<shift)/3) *(smvA+smvL+smvC+round)>>shift
ここでround = 0, (1<<shift))/6), (1<<shift)/3), (1<<shift)/2)など。
ここでround = 0, (1<<shift))/6), (1<<shift)/3), (1<<shift)/2)など。
例えばshift=7の場合には、
stMvLX = 43*(smvA+smvL+smvC)>>7
勿論、平均に用いる定数、シフト数shiftは7に限定されず、例えば、以下のいずれかでもよい。
stMvLX = 43*(smvA+smvL+smvC)>>7
勿論、平均に用いる定数、シフト数shiftは7に限定されず、例えば、以下のいずれかでもよい。
stMvLX = 21*(smvA+smvL+smvC)>>6
stMvLX = 43*(smvA+smvL+smvC)>>7
stMvLX = 86*(smvA+smvL+smvC)>>8
stMvLX = 171*(smvA+smvL+smvC)>>9
stMvLX = 342*(smvA+smvL+smvC)>>10
stMvLX = 683*(smvA+smvL+smvC)>>11
stMvLX = 1365*(smvA+smvL+smvC)>>12
また、符号に応じて処理を変更してもよい。
stMvLX = 43*(smvA+smvL+smvC)>>7
stMvLX = 86*(smvA+smvL+smvC)>>8
stMvLX = 171*(smvA+smvL+smvC)>>9
stMvLX = 342*(smvA+smvL+smvC)>>10
stMvLX = 683*(smvA+smvL+smvC)>>11
stMvLX = 1365*(smvA+smvL+smvC)>>12
また、符号に応じて処理を変更してもよい。
absMvLX[0] = abs(smvA[0] + smvL[0] + smvC[0])
absMvLX[1] = abs(smvA[1] + smvL[1] + smvC[1])
sgnMvLX[0] = sgn(smvA[0] + smvL[0] + smvC[0])
sgnMvLX[1] = sgn(smvA[1] + smvL[1] + smvC[1])
stMvLX[0] = (1 - 2 * sgnMvLX[0])((43*absMvLX[0] + round) >> 7)
stMvLX[1] = (1 - 2 * sgnMvLX[1])((43*absMvLX[1] + round) >> 7)
ステップ7)例外処理
参照ピクチャRefPicListX[refIdxLX]において、対象ブロックをstMvLXだけシフトした位
置のブロックがピクチャ内か否かをチェックする。シフトした位置のブロックの一部あるいは全部がピクチャ内にない場合、以下の処理1(処理1A〜処理1C)のいずれかを施す。
absMvLX[1] = abs(smvA[1] + smvL[1] + smvC[1])
sgnMvLX[0] = sgn(smvA[0] + smvL[0] + smvC[0])
sgnMvLX[1] = sgn(smvA[1] + smvL[1] + smvC[1])
stMvLX[0] = (1 - 2 * sgnMvLX[0])((43*absMvLX[0] + round) >> 7)
stMvLX[1] = (1 - 2 * sgnMvLX[1])((43*absMvLX[1] + round) >> 7)
ステップ7)例外処理
参照ピクチャRefPicListX[refIdxLX]において、対象ブロックをstMvLXだけシフトした位
置のブロックがピクチャ内か否かをチェックする。シフトした位置のブロックの一部あるいは全部がピクチャ内にない場合、以下の処理1(処理1A〜処理1C)のいずれかを施す。
[処理1A] ピクチャ境界パディング
動き補償部3091は、対象ブロックの参照位置を、ピクチャ境界パディング(ピクチャ外パディング)によって、ピクチャの上下左右の境界画素の位置にクリッピングする。例えば、ピクチャの左上座標を基準とした対象ブロックの左上座標を(xPb,yPb)、対象ブロック
の幅と高さをbW、bH、対象ピクチャの幅と高さをwPict、hPict、動きベクトルの画素精度を表すパラメータをMVBIT(画素精度は1/2^MVBIT)とすると、ブロックの参照画素(xRef,yRef)は
下式で導出される。
動き補償部3091は、対象ブロックの参照位置を、ピクチャ境界パディング(ピクチャ外パディング)によって、ピクチャの上下左右の境界画素の位置にクリッピングする。例えば、ピクチャの左上座標を基準とした対象ブロックの左上座標を(xPb,yPb)、対象ブロック
の幅と高さをbW、bH、対象ピクチャの幅と高さをwPict、hPict、動きベクトルの画素精度を表すパラメータをMVBIT(画素精度は1/2^MVBIT)とすると、ブロックの参照画素(xRef,yRef)は
下式で導出される。
xRef+i = Clip3(0,wPict-1,xPb+(stMvLX[0]>>log2(MVBIT))+i)
yRef+j = Clip3(0,hPict-1,yPb+(stMvLX[1]>>log2(MVBIT))+j)
[処理1B] ピクチャ境界動きベクトル制限
STMVP部30366もしくは動き補償部3091は、動きベクトルstMvLXがピクチャ外を参照しないように動きベクトルstMvLXをクリッピングする。
yRef+j = Clip3(0,hPict-1,yPb+(stMvLX[1]>>log2(MVBIT))+j)
[処理1B] ピクチャ境界動きベクトル制限
STMVP部30366もしくは動き補償部3091は、動きベクトルstMvLXがピクチャ外を参照しないように動きベクトルstMvLXをクリッピングする。
mvLX[0] = Clip3 (vxmin, vxmax, mvLX[0])
mvLX[1] = Clip3 (vymin, vymax, mvLX[1])
ここでvxmin、vxmax、vxmin、vxmaxは下式で設定される。
mvLX[1] = Clip3 (vymin, vymax, mvLX[1])
ここでvxmin、vxmax、vxmin、vxmaxは下式で設定される。
vxmin = -(xPb<<log2(MVBIT))
vxmax = (wPict-1-xPb)<<log2(MVBIT)
vymin = -(yPb<<log2(MVBIT))
vymax = (hPict-1-yPb)<<log2(MVBIT)
[処理1C] ピクチャ境界STMVPオフ
STMVP部30366は、動きベクトルstMvLXの指すブロックがピクチャ内にない場合、STMVPを
オフにし、処理を終了する。
vxmax = (wPict-1-xPb)<<log2(MVBIT)
vymin = -(yPb<<log2(MVBIT))
vymax = (hPict-1-yPb)<<log2(MVBIT)
[処理1C] ピクチャ境界STMVPオフ
STMVP部30366は、動きベクトルstMvLXの指すブロックがピクチャ内にない場合、STMVPを
オフにし、処理を終了する。
なお、処理1は、動画像符号化装置11と動画像復号装置31で同じ処理を選択する必要が
ある。
ある。
ステップ8)マージ候補リスト格納
STMVP部30366は、マージ候補リストにSTMVPを格納する。なお、STMVP部30366は、さらに
、STMVPの動きベクトルと既に導出されたマージ候補の動き情報(動きベクトル、参照ピ
クチャ)の間が同一であるか否かによって、プルーニング処理を行っても良い。ここで、プルーニング処理とは導出されたマージ候補間で、同一の動き情報が存在する場合には、そのマージ候補の一方を削除することで、同一のマージ候補が複数、マージ候補リストに格納されることを防ぐ処理である。具体的には、STMVPマージ候補のインデックスがkである場合に、MSMVPマージ候補の動き情報と既に導出されたマージ候補リスト中のmergeCandList[i](ただしi = 0..k-1)の動き情報と参照ピクチャが同一であるかをチェックする。同一ではない場合のみ、マージ候補リストmergeCandList[]にSTMVPの動きベクトルを格納する。マージ候補リストに格納するマージ候補の順番の例を図12(a)に示す。このリストの中から、パラメータ復号制御部3031で導出されたmerge_idxを用いて、対象ブロックのマージ候補mergeCandList[merge_idx]が選択される。
STMVP部30366は、マージ候補リストにSTMVPを格納する。なお、STMVP部30366は、さらに
、STMVPの動きベクトルと既に導出されたマージ候補の動き情報(動きベクトル、参照ピ
クチャ)の間が同一であるか否かによって、プルーニング処理を行っても良い。ここで、プルーニング処理とは導出されたマージ候補間で、同一の動き情報が存在する場合には、そのマージ候補の一方を削除することで、同一のマージ候補が複数、マージ候補リストに格納されることを防ぐ処理である。具体的には、STMVPマージ候補のインデックスがkである場合に、MSMVPマージ候補の動き情報と既に導出されたマージ候補リスト中のmergeCandList[i](ただしi = 0..k-1)の動き情報と参照ピクチャが同一であるかをチェックする。同一ではない場合のみ、マージ候補リストmergeCandList[]にSTMVPの動きベクトルを格納する。マージ候補リストに格納するマージ候補の順番の例を図12(a)に示す。このリストの中から、パラメータ復号制御部3031で導出されたmerge_idxを用いて、対象ブロックのマージ候補mergeCandList[merge_idx]が選択される。
マージ候補としてSTMVPが選択された場合、対象ブロックから動きベクトルstMvLXだけ
シフトした参照ピクチャRefPicListX[refIdxLX]上の画像を読み出し、予測画像とする。
シフトした参照ピクチャRefPicListX[refIdxLX]上の画像を読み出し、予測画像とする。
(STMVP部30366のフローチャート)
以上、ステップ1〜ステップ8で説明したSTMVPに関するマージ候補導出処理を図14の
フローチャートで説明する。
以上、ステップ1〜ステップ8で説明したSTMVPに関するマージ候補導出処理を図14の
フローチャートで説明する。
STMVP部30366は、対象ブロックの上側、左側、時間方向の隣接ブロックA[]、L[]、C[]
をサーチする(S2601)。
をサーチする(S2601)。
STMVP部30366は、所定のスキャン順序で利用可能な隣接ブロックの有無を判定し、利用可能な隣接ブロックがあればS2603に進み、利用可能な隣接ブロックが1個もなければS2608に進む(S2602)。
STMVP部30366は、対象ピクチャと隣接ブロックの参照ピクチャ間の時間的な距離(あるいはコロケートピクチャとその参照ピクチャ間の時間的な距離)と、対象ピクチャと参照ピクチャ間の時間的な距離に応じて、利用可能な隣接ブロックの動きベクトルをスケーリングする(S2603)。
STMVP部30366は、スケーリングした動きベクトルの平均値を算出し、STMVPの動きベク
トルMvLXとしてセットする(S2604)。
トルMvLXとしてセットする(S2604)。
STMVP部30366は、参照ピクチャ上で、対象ブロックを動きベクトルstMvLXだけシフトしたブロックがピクチャ内にあるか否かを判定し、ピクチャ内にあればS2607に進み、一部
分でもピクチャ内になければS2606に進む(S2605)。
分でもピクチャ内になければS2606に進む(S2605)。
STMVP部30366は、動きベクトルstMvLXだけシフトしたブロックがピクチャ外にある場合、動きベクトルstMvLXをクリッピングする(S2606)。
STMVP部30366は、図12(a)に示すマージ候補リストmergeCandList[]にSTMVPの動きベク
トルを格納する(S2607)。
トルを格納する(S2607)。
STMVP部30366は、利用可能な動きベクトルがない場合、マージ候補リストmergeCandList[]にSTMVPの動きベクトルを格納せず、処理を終了する(S2608)。
なお、S2607の処理は対象ブロックの動きベクトルのクリッピング処理以外に、ステッ
プ7で説明したように、ピクチャ境界のパディング処理であってもよい。
プ7で説明したように、ピクチャ境界のパディング処理であってもよい。
以上の処理により、STMVPに関するマージ候補を導出する。
(隣接ブロックのサーチ順序)
以下では、対象ブロックの上側あるいは左側の複数の隣接ブロックから、STMVP部30366が、STMVPの動きベクトルを導出するために必要な動きベクトルmvA、mvLを導出する方法
を説明する。図13(a)は、対象ブロックの上側あるいは左側の複数の隣接ブロックを示す
一例であり、(N+1)個の上側隣接ブロックA[]と(M+1)個の左側隣接ブロックL[]の配置が示されている。対象ブロックの左上座標を(xPb,yPb)とすると、上側隣接ブロックA[]と左側隣接ブロックL[]は下記座標を含むブロックであり、上側隣接ブロックA[]と左側隣接ブロックL[]の動きベクトルと参照ピクチャは、下記座標を含むブロックの動きベクトルと参
照ピクチャである。ここでbW、bHは対象ブロックの幅と高さである。
以下では、対象ブロックの上側あるいは左側の複数の隣接ブロックから、STMVP部30366が、STMVPの動きベクトルを導出するために必要な動きベクトルmvA、mvLを導出する方法
を説明する。図13(a)は、対象ブロックの上側あるいは左側の複数の隣接ブロックを示す
一例であり、(N+1)個の上側隣接ブロックA[]と(M+1)個の左側隣接ブロックL[]の配置が示されている。対象ブロックの左上座標を(xPb,yPb)とすると、上側隣接ブロックA[]と左側隣接ブロックL[]は下記座標を含むブロックであり、上側隣接ブロックA[]と左側隣接ブロックL[]の動きベクトルと参照ピクチャは、下記座標を含むブロックの動きベクトルと参
照ピクチャである。ここでbW、bHは対象ブロックの幅と高さである。
A[i] : (xPb+bW/N*i,yPb-1)
L[j] : (xPb-1,yPb+bH/M*j)
このブロックA[i]、L[j]の左上座標を各々(xNb[i],yNb[i])、(xNb[j],yNb[j])と表す。
L[j] : (xPb-1,yPb+bH/M*j)
このブロックA[i]、L[j]の左上座標を各々(xNb[i],yNb[i])、(xNb[j],yNb[j])と表す。
以下ではN=M=4の場合(図13(b))であって、サーチする隣接ブロック数を上側、左側各々最大4個に設定した場合(図15(a))を説明するが、N、Mが4以外の場合や、NとMが異なる場合、サーチする隣接ブロック数が4以外の場合であっても同様の説明が成り立つ。
まず、STMVP部30366は、対象ブロックの上側隣接ブロックA[]を以下の順番SearchOrderA[]にサーチし、利用可能なブロックを取得する。
SearchOrderA[] = {2,1,3,0}
SearchOrderA[]に記載されたA[2]、A[1]、A[3]、A[0]の順番に隣接ブロックをサーチし、最初に見つかった利用可能なブロックをマージ候補導出で参照する隣接ブロックに設定する。そして、この隣接ブロックの動きベクトルと参照ピクチャをmvAとRefAに設定する。
SearchOrderA[]に記載されたA[2]、A[1]、A[3]、A[0]の順番に隣接ブロックをサーチし、最初に見つかった利用可能なブロックをマージ候補導出で参照する隣接ブロックに設定する。そして、この隣接ブロックの動きベクトルと参照ピクチャをmvAとRefAに設定する。
同様に、STMVP部30366は、対象ブロックの左側隣接ブロックL[]を以下の順番SearchOrderL[]にサーチし、利用可能なブロックを取得する。
SearchOrderL[] = {2,1,3,0}
SearchOrderL[]に記載されたL[2]、L[1]、L[3]、L[0]の順番に隣接ブロックをサーチし、最初に見つかった利用可能なブロックをマージ候補導出で参照する隣接ブロックに設定する。そして、この隣接ブロックの動きベクトルと参照ピクチャをmvLとRefLに設定する。
SearchOrderL[]に記載されたL[2]、L[1]、L[3]、L[0]の順番に隣接ブロックをサーチし、最初に見つかった利用可能なブロックをマージ候補導出で参照する隣接ブロックに設定する。そして、この隣接ブロックの動きベクトルと参照ピクチャをmvLとRefLに設定する。
上記の例では、最初にサーチする隣接ブロックを上側隣接ブロック、および、左側隣接ブロックの各々中央に位置するブロックA[N/2] = (xPb + bW/2, yPb - 1)、L[M/2] = (xPb - 1, yPb + bH/2)に設定する。これは、ブロックサイズが大きくなった場合、中央に位置する隣接ブロックが対象ブロックにより近い性質をもつと考えられることから、中央ブロックA[N/2]とL[M/2]を最初にサーチすることにより、マージ候補導出に適切な動きベクトルと参照ピクチャを選択しやすくするという効果を有する。
(変形例1:固定数の隣接ブロックのサーチ順序)
本願のSTMVP部30366の変形例1では、対象ブロックの上側隣接ブロックA[]、左側隣接
ブロックL[]のサーチ順序SearchOrderA[]、SearchOrderL[]のバリエーションを説明する
。サーチする隣接ブロックの個数を固定的に設定し、サーチ順序以外は(隣接ブロックのサーチ順序)の説明と同じである。
本願のSTMVP部30366の変形例1では、対象ブロックの上側隣接ブロックA[]、左側隣接
ブロックL[]のサーチ順序SearchOrderA[]、SearchOrderL[]のバリエーションを説明する
。サーチする隣接ブロックの個数を固定的に設定し、サーチ順序以外は(隣接ブロックのサーチ順序)の説明と同じである。
(構成1)探索ブロック数を各々2つに設定する(図15(b))。STMVP部30366は上側隣
接ブロックとして、SearchOrderA[]に記載されたA[2]、A[0]の順番に隣接ブロックをサーチする。上側隣接ブロックのサーチ順序は以下で表される。
接ブロックとして、SearchOrderA[]に記載されたA[2]、A[0]の順番に隣接ブロックをサーチする。上側隣接ブロックのサーチ順序は以下で表される。
SearchOrderA[]={2,0}
同様に左側隣接ブロックのサーチ順序は以下で表される。
同様に左側隣接ブロックのサーチ順序は以下で表される。
SearchOrderL[]={2,0}
ここでA[2]:(xPb+bW/2,yPb-1)、A[0]:(xPb,yPb-1)、L[2]:(xPb-1,yPb+bH/2)、L[0]:(xPb-1,yPb)
そして、STMVP部30366は、最初に見つかった利用可能なブロックを、各々マージ候補導出で参照する隣接ブロックに設定する。そして、この上側、左側隣接ブロックの動きベクトルと参照ピクチャをmvA、mvBとRefA、RefBに設定する。
ここでA[2]:(xPb+bW/2,yPb-1)、A[0]:(xPb,yPb-1)、L[2]:(xPb-1,yPb+bH/2)、L[0]:(xPb-1,yPb)
そして、STMVP部30366は、最初に見つかった利用可能なブロックを、各々マージ候補導出で参照する隣接ブロックに設定する。そして、この上側、左側隣接ブロックの動きベクトルと参照ピクチャをmvA、mvBとRefA、RefBに設定する。
(構成2)探索ブロック数を各々3つに設定する。STMVP部30366は、上側隣接ブロックとして、SearchOrderA[]に記載されたA[2]、A[0]、A[3]の順番に隣接ブロックをサーチする。上側隣接ブロックのサーチ順序は以下で表される(図15(c))。
SearchOrderA[]={2,0,3}
同様に左側隣接ブロックのサーチ順序は以下で表される。
同様に左側隣接ブロックのサーチ順序は以下で表される。
SearchOrderL[]={2,0,3}
あるいは(図15(d))
SearchOrderA[]={2,0,1}
SearchOrderL[]={2,0,1}
あるいは(図15(e))
SearchOrderA[]={2,0,4}
SearchOrderL[]={2,0,4}
そして、STMVP部30366は最初に見つかった利用可能なブロックを、各々マージ候補を導出するために参照する隣接ブロックに設定する。そして、この上側、左側隣接ブロックの動きベクトルと参照ピクチャをmvA、mvBとRefA、RefBに設定する。
あるいは(図15(d))
SearchOrderA[]={2,0,1}
SearchOrderL[]={2,0,1}
あるいは(図15(e))
SearchOrderA[]={2,0,4}
SearchOrderL[]={2,0,4}
そして、STMVP部30366は最初に見つかった利用可能なブロックを、各々マージ候補を導出するために参照する隣接ブロックに設定する。そして、この上側、左側隣接ブロックの動きベクトルと参照ピクチャをmvA、mvBとRefA、RefBに設定する。
なお、サーチ順序は上記に限定しないが、サーチの先頭が上側および左側隣接ブロックの各々中央位置のブロックであり、探索するブロックの中に左上位置のブロック(A[0]、L[0])が含まれる。探索するブロックの中に左上位置のブロック(A[0]、L[0])が含まれない場合、符号化効率が低下することをシミュレーション結果から確認しているためである。
(構成3)探索ブロック数を各々4つに設定する。(隣接ブロックのサーチ順序)で説明したスキャン順序以外に、以下のスキャン順序で隣接ブロックをサーチしてもよい。STMVP部30366は、上側隣接ブロックとして、SearchOrderA[]に記載されたA[2]、A[0]、A[4]、A[1]の順番に隣接ブロックをサーチする。上側隣接ブロックのサーチ順序は以下で表される。
SearchOrderA[]={2,0,4,1}(図16(a))
同様に左側隣接ブロックのサーチ順序は以下で表される。
同様に左側隣接ブロックのサーチ順序は以下で表される。
SearchOrderL[]={2,0,4,1}
あるいはサーチ順序は以下であってもよい。(図16(b))
SearchOrderA[]={2,0,1,3}
SearchOrderL[]={2,0,1,3}
そして、STMVP部30366は最初に見つかった利用可能なブロックを、各々マージ候補導出で参照する隣接ブロックに設定する。そして、この上側、左側隣接ブロックの動きベクトルと参照ピクチャをmvA、mvBとRefA、RefBに設定する。
あるいはサーチ順序は以下であってもよい。(図16(b))
SearchOrderA[]={2,0,1,3}
SearchOrderL[]={2,0,1,3}
そして、STMVP部30366は最初に見つかった利用可能なブロックを、各々マージ候補導出で参照する隣接ブロックに設定する。そして、この上側、左側隣接ブロックの動きベクトルと参照ピクチャをmvA、mvBとRefA、RefBに設定する。
なお、サーチ順序は上記に限定しないが、サーチの先頭が上側および左側隣接ブロックの各々中央位置のブロックであり、探索するブロックの中に左上位置のブロック(A[0]、L[0])が含まれる。探索するブロックの中に左上位置のブロック(A[0]、L[0])が含まれない場合、符号化効率が低下することをシミュレーション結果から確認しているためである。
(変形例2:可変数の隣接ブロックのサーチ順序)
本願のSTMVP部30366の変形例2では、対象ブロックの上側隣接ブロックA[]、左側隣接
ブロックL[]のサーチ順序SearchOrderA[]、SearchOrderL[]の別のバリエーションを説明
する。サーチする隣接ブロックの個数をブロックサイズに合わせて変更するが、サーチ順序以外は(隣接ブロックのサーチ順序)の説明と同じである。
本願のSTMVP部30366の変形例2では、対象ブロックの上側隣接ブロックA[]、左側隣接
ブロックL[]のサーチ順序SearchOrderA[]、SearchOrderL[]の別のバリエーションを説明
する。サーチする隣接ブロックの個数をブロックサイズに合わせて変更するが、サーチ順序以外は(隣接ブロックのサーチ順序)の説明と同じである。
(構成4)ブロックサイズと所定の閾値との比較により、探索ブロック数を設定する。例えば、STMVP部30366は、ブロックサイズ(ブロックの幅あるいは高さ)bsizeがbsize1
以下の場合は探索ブロック数NumSearchBLKを1、bsize1より大きくbsize2以下の場合は探索ブロック数NumSearchBLKを2、bsize2より大きい場合は探索ブロック数NumSearchBLKを3に設定する。
以下の場合は探索ブロック数NumSearchBLKを1、bsize1より大きくbsize2以下の場合は探索ブロック数NumSearchBLKを2、bsize2より大きい場合は探索ブロック数NumSearchBLKを3に設定する。
if (bsize<=bsize1) NumSearchBLK=1
else if (bsize<=bsize2) NumSearchBLK=2
else NumSearchBLK=3
例えば、図16(c)〜(e)は、探索数に応じた隣接ブロックA[]、L[]の位置を示す例であり、bsize1=4、bsize2=8に設定している。図16(c)に示すように、4x8ブロックにおける上側隣接ブロックの探索数が1、左側隣接ブロックの探索数が2、図16(d)に示すように、16x16ブロックにおける上側および左側の隣接ブロックの探索数が3、図16(e)に示すように
、64x32ブロックにおける上側および左側の隣接ブロックの探索数が3である。このよう
に、対象ブロックの幅と高さが異なるサイズであっても、STMVP部30366は、サイズに合わせて上側および左側隣接ブロックの探索数を設定することができる。
else if (bsize<=bsize2) NumSearchBLK=2
else NumSearchBLK=3
例えば、図16(c)〜(e)は、探索数に応じた隣接ブロックA[]、L[]の位置を示す例であり、bsize1=4、bsize2=8に設定している。図16(c)に示すように、4x8ブロックにおける上側隣接ブロックの探索数が1、左側隣接ブロックの探索数が2、図16(d)に示すように、16x16ブロックにおける上側および左側の隣接ブロックの探索数が3、図16(e)に示すように
、64x32ブロックにおける上側および左側の隣接ブロックの探索数が3である。このよう
に、対象ブロックの幅と高さが異なるサイズであっても、STMVP部30366は、サイズに合わせて上側および左側隣接ブロックの探索数を設定することができる。
(構成5)ブロックサイズから探索ブロック数を導出する。例えば、STMVP部30366は、最小CUサイズをminCU、ブロックサイズをbsize(ブロックの幅あるいは高さ)、探索ブロック数の上限をmaxNumBLKとすると、探索ブロック数NumSearchBLKは下式で表される。
NumSearchBLK = min(floor(bsize/minCU),maxNumBLK)
例えば、minCU=4、maxNumBLK=3とすると、上式は以下のように表現できる。
例えば、minCU=4、maxNumBLK=3とすると、上式は以下のように表現できる。
NumSearchBLK = min(floor(bsize/4),3)
つまり、探索ブロック数の上限までは、ブロックサイズが大きくなるにつれて探索ブロック数は増える。
つまり、探索ブロック数の上限までは、ブロックサイズが大きくなるにつれて探索ブロック数は増える。
本願のSTMVP部30366の変形例1および変形例2では、探索ブロック数を変更することで、無駄な探索や少なすぎる探索を回避して、適切な回数の探索を実施することができる。
このように、STMVP部30366は、STMVPマージ候補として、対象ブロックの空間方向およ
び時間方向隣接ブロックの動きベクトルを参照し、平均(加重平均)をもちいて、ブロック単位で対象ブロックのマージ候補を導出する。従って、隣接ブロックに存在しない新たな動きベクトルをマージ候補に追加することができる。これにより、対象ブロックのマージ候補の選択肢を増やし、符号化効率を向上させることができる。また、新たなマージ候補はサブブロック単位の動きベクトルではなく、ブロック単位の動きベクトルである場合には、後段の予測画像生成部308では、予測画像生成に必要な処理量を小さく、参照ピク
チャメモリ306から転送される参照ピクチャに必要なメモリバンド幅も小さく抑えること
ができる。さらに、本願のSTMVPは利用可能性を判定する時に、複数の隣接ブロックの中
で中央に位置するブロックを先行してスキャンしてもよい。これにより、対象ブロックに近い特徴を持つ中央の隣接ブロックを優先してマージ候補に設定することができるため、符号化効率を向上させることができる。
び時間方向隣接ブロックの動きベクトルを参照し、平均(加重平均)をもちいて、ブロック単位で対象ブロックのマージ候補を導出する。従って、隣接ブロックに存在しない新たな動きベクトルをマージ候補に追加することができる。これにより、対象ブロックのマージ候補の選択肢を増やし、符号化効率を向上させることができる。また、新たなマージ候補はサブブロック単位の動きベクトルではなく、ブロック単位の動きベクトルである場合には、後段の予測画像生成部308では、予測画像生成に必要な処理量を小さく、参照ピク
チャメモリ306から転送される参照ピクチャに必要なメモリバンド幅も小さく抑えること
ができる。さらに、本願のSTMVPは利用可能性を判定する時に、複数の隣接ブロックの中
で中央に位置するブロックを先行してスキャンしてもよい。これにより、対象ブロックに近い特徴を持つ中央の隣接ブロックを優先してマージ候補に設定することができるため、符号化効率を向上させることができる。
(変形例3:対象ブロックに隣接しない参照ブロックの利用)
本願のSTMVP部30366の変形例3では、STMVP部30366は、STMVPとして、STMVPの動きベクトルを導出するために、対象ブロックに隣接するブロックに加え、直接隣接しない近傍ブロックを参照する。すなわち、STMVP部30366は、対象ブロック周囲の2つ以上の直接隣接
しない近傍ブロックの動きベクトルを参照して、予測ベクトル(マージ候補)を導出する。以降では、「(直接)隣接する」とは、対象ブロックと1辺の一部を共有することを意味する。つまり、(直接)隣接ブロックは下記のいずれかを満たす。
本願のSTMVP部30366の変形例3では、STMVP部30366は、STMVPとして、STMVPの動きベクトルを導出するために、対象ブロックに隣接するブロックに加え、直接隣接しない近傍ブロックを参照する。すなわち、STMVP部30366は、対象ブロック周囲の2つ以上の直接隣接
しない近傍ブロックの動きベクトルを参照して、予測ベクトル(マージ候補)を導出する。以降では、「(直接)隣接する」とは、対象ブロックと1辺の一部を共有することを意味する。つまり、(直接)隣接ブロックは下記のいずれかを満たす。
0<=xNb[i]<xPb+bW
0<=yNb[j]<yPb+bH
また、非隣接ブロックは下記のいずれかを満たす。
0<=yNb[j]<yPb+bH
また、非隣接ブロックは下記のいずれかを満たす。
xNb[i] >= xPb + bW
yNb[j] >= yPb + bH
ここで、対象ブロックの左上座標を(xPb,yPb)、対象ブロックの幅と高さをbW、bHとする
。非隣接ブロックの位置を長距離ポジション(long distance position)と呼ぶ。なお、対象ブロックの上側の長距離なポジションや対象ブロックの左側の長距離なポジションではなく、今後、処理が進む方向(スキャン方向)に沿った方向、つまり、対象ブロックの右側の長距離なポジションや対象ブロックの下側の長距離なポジションを用いてもよい。このような場所を、右側長距離ポジション(xNb[i] >= xPb + bWを満たす)、下側長距離ポジション(yNb[j] >= yPb + bHを満たす)とも呼ぶ。
以下の説明では、対象ブロック近傍の隣接ブロック(短距離ポジションのブロック)と非隣接ブロック(長距離ポジションのブロック)を含めて、対象ブロックの近傍ブロックと呼ぶ。
yNb[j] >= yPb + bH
ここで、対象ブロックの左上座標を(xPb,yPb)、対象ブロックの幅と高さをbW、bHとする
。非隣接ブロックの位置を長距離ポジション(long distance position)と呼ぶ。なお、対象ブロックの上側の長距離なポジションや対象ブロックの左側の長距離なポジションではなく、今後、処理が進む方向(スキャン方向)に沿った方向、つまり、対象ブロックの右側の長距離なポジションや対象ブロックの下側の長距離なポジションを用いてもよい。このような場所を、右側長距離ポジション(xNb[i] >= xPb + bWを満たす)、下側長距離ポジション(yNb[j] >= yPb + bHを満たす)とも呼ぶ。
以下の説明では、対象ブロック近傍の隣接ブロック(短距離ポジションのブロック)と非隣接ブロック(長距離ポジションのブロック)を含めて、対象ブロックの近傍ブロックと呼ぶ。
さらに図面を用いて後述するように、STMVP部30366は、以下のようにブロックサイズ(bW, bH)の2倍以上の長距離ポジション(長長距離ポジション、long long distance position)を探索してもよい。
xNb > xPb+2*bW-1
yNb > yPb+2*bH-1
例えば、(xNb, yNb) = (xPb+5*bW/2, yPb-1), (xPb-1,yPb+5*bH/2)や(xNb, yNb) = (xPb+3*bW, yPb-1), (xPb-1,yPb+3*bH)など、がある。
yNb > yPb+2*bH-1
例えば、(xNb, yNb) = (xPb+5*bW/2, yPb-1), (xPb-1,yPb+5*bH/2)や(xNb, yNb) = (xPb+3*bW, yPb-1), (xPb-1,yPb+3*bH)など、がある。
なお、長距離ポジションとして、(xPb + wLng, yPb - 1)及び(xPb - 1, yPb + hLng)、隣接ポジション(短距離ポジション)として(xPb + wSht, yPb - 1)及び(xPb - 1, yPb +
hSht)を用いてもよい。
hSht)を用いてもよい。
図26、図27は、本実施形態のSTMVP部30366とMSMVP部30368が参照する空間位置の例を説明する図である。上側近傍ブロックとして、ALng:(xNb, yNb) = (xPb+wLng, yPb-1)とASht:(xNb, yNb) = (xPb+wSht, yPb-1)をこの順で参照し、左側近傍ブロックとして、LLng:(xNb, yNb) = (xPb-1,yPb+hLng)とLSht:(xNb, yNb) = (xPb-1,yPb+hSht)をこの順で参照する。図26は、wSht = 5*bW/2, wSht = bW - 1、hSht = 5*bH/2, wSht = bH - 1、図27は、wSht = 5*bW/2, wSht = 0、hSht = 5*bH/2, wSht = 0を用いているが、これに限定されない。
以下、対象ブロックに直接隣接しないブロックを利用する場合における、STMVP部30366の参照位置を図を用いて説明する。なお、STMVP部30366の参照位置は図に例示した位置に限定されず、他の非隣接ブロックを利用することができる。
図17は、STMVP部30366がサーチする対象ブロックCurBLKの近傍ブロック(上側近傍ブロックA[]、左側近傍ブロックL[])の例を示す図である。qbW=bW/4、qbH=bH/4とすると、図17(a)に示すように、A[i]は座標(xPb+qbW*i,yPb-1)を含むブロックであり、左上座標を(xNb[i],yNb[i])と表す。L[j]は座標(xPb-1,yPb+qbH*j)を含むブロックであり、左上座標を(xNb[j],yNb[j])と表す。0<=i<4あるいは0<=j<4の場合、xNb<xPb+BW、あるいは、yNb<yPb+BHであり、近傍ブロックは対象ブロックに隣接するブロックである。i>=4あるいはj>=4の場合、xNb>=xPb+BW、あるいは、yNb>=yPb+BHであり、近傍ブロックは対象ブロックに隣接しないブロックである。
変形例3では、最初にサーチする近傍ブロックを非隣接ブロックに設定する。そして、サーチするブロックの中に隣接ブロックを必ず含める。
(図17(b)の場合)
図17(b)はサーチするブロックの個数を2個に設定した場合のSTMVP部30366におけるサー
チ順序を示す。
(図17(b)の場合)
図17(b)はサーチするブロックの個数を2個に設定した場合のSTMVP部30366におけるサー
チ順序を示す。
SearchOrderA[]={10,2}
SearchOrderL[]={10,2}
このサーチ順序では、上側近傍ブロックはA[10]、A[2]の順にサーチし、左側近傍ブロッ
クはL[10]、L[2]の順にサーチする。A[10]は(xPb+qbW*10,yPb-1)=(xPb+5*bW/2,yPb-1)を
含むブロック、L[2]は(xPb-1,yPb+qbH*10)=(xPb-1,yPb+5*bH/2)を含むブロックであり、
非隣接ブロックである。A[2]は(xPb+qbW*2,yPb-1)を含むブロック、L[0]は(xPb-1,yPb+qbH*2)を含むブロックであり、隣接ブロックである。
(図17(c)の場合)
図17(c)はサーチするブロックの個数を2個に設定した場合のSTMVP部30366の別のサーチ
順序を示す。
SearchOrderL[]={10,2}
このサーチ順序では、上側近傍ブロックはA[10]、A[2]の順にサーチし、左側近傍ブロッ
クはL[10]、L[2]の順にサーチする。A[10]は(xPb+qbW*10,yPb-1)=(xPb+5*bW/2,yPb-1)を
含むブロック、L[2]は(xPb-1,yPb+qbH*10)=(xPb-1,yPb+5*bH/2)を含むブロックであり、
非隣接ブロックである。A[2]は(xPb+qbW*2,yPb-1)を含むブロック、L[0]は(xPb-1,yPb+qbH*2)を含むブロックであり、隣接ブロックである。
(図17(c)の場合)
図17(c)はサーチするブロックの個数を2個に設定した場合のSTMVP部30366の別のサーチ
順序を示す。
SearchOrderA[]={10,0}
SearchOrderL[]={10,0}
このサーチ順序では、上側近傍ブロックはA[10]、A[0]の順にサーチし、左側近傍ブロッ
クはL[10]、L[0]の順にサーチする。A[10]は(xPb+qbW*10,yPb-1)を含むブロック、L[10]
は(xPb-1,yPb+qbH*10)を含むブロックであり、非隣接ブロックである。A[0]は(xPb,yPb-1)を含むブロック、L[0]は(xPb-1,yPb)を含むブロックであり、隣接ブロックである。
SearchOrderL[]={10,0}
このサーチ順序では、上側近傍ブロックはA[10]、A[0]の順にサーチし、左側近傍ブロッ
クはL[10]、L[0]の順にサーチする。A[10]は(xPb+qbW*10,yPb-1)を含むブロック、L[10]
は(xPb-1,yPb+qbH*10)を含むブロックであり、非隣接ブロックである。A[0]は(xPb,yPb-1)を含むブロック、L[0]は(xPb-1,yPb)を含むブロックであり、隣接ブロックである。
このようにSTMVP部30366が2つの近傍ブロックをサーチする場合、非隣接ブロック((xPb+qbW*i,yPb-1)または(xPb-1,yPb+qbH*j))、ここでi,j>=4、隣接ブロック((xPb+qbW*i,yP
b-1)または(xPb-1,yPb+bH/2))、ここで0<=i,j<4、の順にサーチする。
(図18(a)、(b)の場合)
図17の非隣接ブロックは、対象ブロックの上ラインを水平に延長した直線(y=yPb)あ
るいは、対象ブロックの左コラムを垂直方向に延長した直線(x=xPb)に隣接していた。つ
まり、上側非隣接ブロックはy座標に(yPb-1)を含むブロックであり、左側非隣接ブロックはx座標に(xPb-1)を含むブロックである。これに対し、図18(a)、(b)に示すように、非隣接ブロックを対象ブロックから離れた位置に設定してもよい。つまり、上側非隣接ブロックはy座標に(yPb-1)を含まないブロックであり、左側非隣接ブロックはx座標に(xPb-1)を含まないブロックである。上側非隣接ブロックは図18(a)に示す斜線領域、つまり{-qbW*8<=x<=qbW*8,-qbH*8<=y<=-qbH*4}で囲まれた領域内に位置する。また、左側非隣接ブロッ
クは図18(b)に示す斜線領域、つまり{-qbW*8<=x<=-qbW*4,-qbH*8<=y<=qbH*8}で囲まれた
領域内に位置する。STMVP部30366は、この非隣接ブロックをサーチの先頭に、隣接ブロック((xPb+qbW*i,yPb-1)あるいは(xPb-1,yPb+qbH*j))、ただし0<=i,j<4、を2番目にサーチする。例えば図18(a)、(b)に示す例では以下のサーチ順序である。
b-1)または(xPb-1,yPb+bH/2))、ここで0<=i,j<4、の順にサーチする。
(図18(a)、(b)の場合)
図17の非隣接ブロックは、対象ブロックの上ラインを水平に延長した直線(y=yPb)あ
るいは、対象ブロックの左コラムを垂直方向に延長した直線(x=xPb)に隣接していた。つ
まり、上側非隣接ブロックはy座標に(yPb-1)を含むブロックであり、左側非隣接ブロックはx座標に(xPb-1)を含むブロックである。これに対し、図18(a)、(b)に示すように、非隣接ブロックを対象ブロックから離れた位置に設定してもよい。つまり、上側非隣接ブロックはy座標に(yPb-1)を含まないブロックであり、左側非隣接ブロックはx座標に(xPb-1)を含まないブロックである。上側非隣接ブロックは図18(a)に示す斜線領域、つまり{-qbW*8<=x<=qbW*8,-qbH*8<=y<=-qbH*4}で囲まれた領域内に位置する。また、左側非隣接ブロッ
クは図18(b)に示す斜線領域、つまり{-qbW*8<=x<=-qbW*4,-qbH*8<=y<=qbH*8}で囲まれた
領域内に位置する。STMVP部30366は、この非隣接ブロックをサーチの先頭に、隣接ブロック((xPb+qbW*i,yPb-1)あるいは(xPb-1,yPb+qbH*j))、ただし0<=i,j<4、を2番目にサーチする。例えば図18(a)、(b)に示す例では以下のサーチ順序である。
SearchOrderA[]={(xPb+qbW*4,yPb-qbH*4),(xPb,yPb-1)}
SearchOrderL[]={(xPb-qbW*6,yPb+qbH*2),(xPb-1,yPb)}
あるいは、サーチするブロックの個数を3個に設定してもよい。
(図18(c)の場合)
SearchOrderA[]={8,2,10}
SearchOrderL[]={8,2,10}
このサーチ順序では、STMVP部30366は、上側近傍ブロックとしてA[8]、A[2]、A[10]の順
にサーチし、左側近傍ブロックとしてL[8]、L[2]、L[10]の順にサーチする。A[8]とA[10]は(xPb+qbW*8,yPb-1) = (xPb+2*bW, yPb-1)と(xPb+qbW*10,yPb-1) = (xPb+5*bW/2, yPb-1)を各々含むブロック、L[8]とL[10]は(xPb-1,yPb+qbH*8) = (xPb-1, yPb+2*bH-1)と(xPb-1,yPb+qbH*10) = (xPb-1, yPb+5*bH/2-1)を各々含むブロックであり、非隣接ブロックである。A[2]は(xPb+qbW*2,yPb-1)を含むブロック、L[2]は(xPb-1,yPb+qbH*2)を含むブロックであり、隣接ブロックである。
SearchOrderL[]={(xPb-qbW*6,yPb+qbH*2),(xPb-1,yPb)}
あるいは、サーチするブロックの個数を3個に設定してもよい。
(図18(c)の場合)
SearchOrderA[]={8,2,10}
SearchOrderL[]={8,2,10}
このサーチ順序では、STMVP部30366は、上側近傍ブロックとしてA[8]、A[2]、A[10]の順
にサーチし、左側近傍ブロックとしてL[8]、L[2]、L[10]の順にサーチする。A[8]とA[10]は(xPb+qbW*8,yPb-1) = (xPb+2*bW, yPb-1)と(xPb+qbW*10,yPb-1) = (xPb+5*bW/2, yPb-1)を各々含むブロック、L[8]とL[10]は(xPb-1,yPb+qbH*8) = (xPb-1, yPb+2*bH-1)と(xPb-1,yPb+qbH*10) = (xPb-1, yPb+5*bH/2-1)を各々含むブロックであり、非隣接ブロックである。A[2]は(xPb+qbW*2,yPb-1)を含むブロック、L[2]は(xPb-1,yPb+qbH*2)を含むブロックであり、隣接ブロックである。
このように3つの近傍ブロックをサーチする場合、非隣接ブロック((xPb+qbW*i,yPb-1)または(xPb-1,yPb+qbH*j))、ここでi,j>=4、を最初にサーチし、隣接ブロック((xPb+qbW*2,yPb-1)または(xPb-1,yPb+qbH*2))、ここで0<=i,j<4、をサーチの中に含める。
(図18(d)の場合)
図18(d)はサーチするブロックの個数を3個に設定した場合のSTMVP部30366の別のサーチ
順序を示す。
(図18(d)の場合)
図18(d)はサーチするブロックの個数を3個に設定した場合のSTMVP部30366の別のサーチ
順序を示す。
SearchOrderA[]={4,8,2}
SearchOrderL[]={4,8,2}
このサーチ順序では、上側近傍ブロックはA[4]、A[8]、A[2]の順にサーチし、左側近傍ブロックはL[4]、L[8]、L[2]の順にサーチする。A[4]とA[8]、L[4]とL[8]は非隣接ブロックであり、A[2]、L[2]は隣接ブロックである。
SearchOrderL[]={4,8,2}
このサーチ順序では、上側近傍ブロックはA[4]、A[8]、A[2]の順にサーチし、左側近傍ブロックはL[4]、L[8]、L[2]の順にサーチする。A[4]とA[8]、L[4]とL[8]は非隣接ブロックであり、A[2]、L[2]は隣接ブロックである。
このように3つの近傍ブロックをサーチする場合、STMVP部30366は非隣接ブロック((xPb+qbW*i,yPb-1)または(xPb-1,yPb+qbH*j))、ここでi,j>=4、を最初にサーチし、隣接ブロック((xPb+qbW*i,yPb-1)または(xPb-1,yPb+qbH*j))、ここで0<=i,j<4、をサーチの中に含める。
なお、サーチするブロック数が4以上の場合や、サーチするブロック数が上側および左側近傍ブロックで異なる場合でも、近傍ブロックをサーチする場合、非隣接ブロック((xPb+N*bW,yPb-1)または(xPb-1,yPb+M*bH))を最初にサーチし、隣接ブロック((xPb+bW/2,yPb
-1)または(xPb-1,yPb+bH/2))をサーチの中に含める。
-1)または(xPb-1,yPb+bH/2))をサーチの中に含める。
以上のように、ブロックサイズを超える位置にサーチの先頭ブロックを設定することで、隣接ブロックから作成されたマージ候補リストに含まれない異なる動きベクトルを、マージ候補リストに追加することができる。従って、対象ブロックのマージ候補の選択肢を増やし、符号化効率を向上させることができる。
(長距離ポジションのクリップ)
図28は、長距離ポジションのクリップを説明する図である。長距離ブロックの位置がCTUの位置からみて大きく右側にある場合には、そのCTUの右側(右上)の動き情報を内部メモリ(ラインメモリ)に確保する必要があるので、ラインメモリサイズが大きくなる。したがって、STMVP部30366(もしくはMSMVP部30368)は、長距離ポジションの参照において、CTUサイズを大きく超えて右側にある位置を避けることが好適である。以下そのような構成例を説明する。
図28は、長距離ポジションのクリップを説明する図である。長距離ブロックの位置がCTUの位置からみて大きく右側にある場合には、そのCTUの右側(右上)の動き情報を内部メモリ(ラインメモリ)に確保する必要があるので、ラインメモリサイズが大きくなる。したがって、STMVP部30366(もしくはMSMVP部30368)は、長距離ポジションの参照において、CTUサイズを大きく超えて右側にある位置を避けることが好適である。以下そのような構成例を説明する。
STMVP部30366(もしくはMSMVP部30368)の導出において、長距離ブロックの位置(隣接ブロックの位置)の最大値を、対象ブロックを含むCTU左上座標からの相対座標に応じて
クリップしても良い。例えば、近傍ブロックの位置のX座標(xPb + xNb[i])が、CTU座標のX座標にCTU幅のM倍の範囲である最大値xCTU + wCTU * M - 1を超える場合に、参照位置xRefを最大値に設定する。なお、長距離ブロックの位置に限定されず、全ての近傍ブロックにおいて上記クリップ処理を行ってもよい。
クリップしても良い。例えば、近傍ブロックの位置のX座標(xPb + xNb[i])が、CTU座標のX座標にCTU幅のM倍の範囲である最大値xCTU + wCTU * M - 1を超える場合に、参照位置xRefを最大値に設定する。なお、長距離ブロックの位置に限定されず、全ての近傍ブロックにおいて上記クリップ処理を行ってもよい。
xRef = xPb + xNb[i]
if (xPb + xNb[i] > xCTU + wCTU * M - 1)
xRef = xCTU + wCTU * M - 1
ここでwCTUはCTUサイズ、Mは例えば2。
if (xPb + xNb[i] > xCTU + wCTU * M - 1)
xRef = xCTU + wCTU * M - 1
ここでwCTUはCTUサイズ、Mは例えば2。
上記は以下の処理でも実現できる。
xRef = xPb + xNb[i]
xRef = clip3 (0, xCTU + wCTU * M - 1, xRef)
また、STMVP部30366はwCTUサイズとしてCTUサイズの最大値、例えば128や256を用いても
良い。たとえばwCTU=128、M=2の場合、
xRef = clip3 (0, xCTU + 127, xRef)
STMVP部30366(もしくはMSMVP部30368)は、このクリップ済みの位置、例えば(xRef, yPb - 1)を用いてSTMVP(もしくはMSMVP)の上側ベクトルmvA(スケール後はsmvA)を導出する。
xRef = clip3 (0, xCTU + wCTU * M - 1, xRef)
また、STMVP部30366はwCTUサイズとしてCTUサイズの最大値、例えば128や256を用いても
良い。たとえばwCTU=128、M=2の場合、
xRef = clip3 (0, xCTU + 127, xRef)
STMVP部30366(もしくはMSMVP部30368)は、このクリップ済みの位置、例えば(xRef, yPb - 1)を用いてSTMVP(もしくはMSMVP)の上側ベクトルmvA(スケール後はsmvA)を導出する。
上記動作はSTMVP部30366に限定されずMSMVP部30368においても適用できる。以上の構成によれば、上側近傍ブロックの動き情報の参照に置いて、長距離ブロックの位置(近傍ブロックの位置)のX座標をCTU座標に基づいて制限することにより、ラインメモリサイズを低減できる。
(STMVP部30366の動きベクトル導出動作)
STMVP部30366において、上側および左側近傍ブロックの動きベクトルは下記の手順で導出する。以下ではサーチするブロック数が2の例を説明するが、その他の値に設定した場合も同様である。
STMVP部30366において、上側および左側近傍ブロックの動きベクトルは下記の手順で導出する。以下ではサーチするブロック数が2の例を説明するが、その他の値に設定した場合も同様である。
ステップ1)上側近傍ブロックの動きベクトル導出
STMVP部30366は、対象ブロックの上側近傍ブロックA[]を、例えば、以下の順番SearchOrd
erA[]にサーチし、利用可能なブロックを取得する。
STMVP部30366は、対象ブロックの上側近傍ブロックA[]を、例えば、以下の順番SearchOrd
erA[]にサーチし、利用可能なブロックを取得する。
SearchOrderA[] = {10,2}(図17(c))
上記のサーチ順序の場合、対象ブロックの上側近傍ブロックにおいて、(xPb+qBW*10,yPb-1)を含む近傍ブロックを最初にサーチし、次に(xPb+qBW*2,yPb-1)を含む隣接ブロックを
サーチする。最初に見つかった利用可能なブロックの動きベクトルと参照ピクチャを、STMVPの上側ベクトルmvAと参照ピクチャRefAとし、カウントcnt=1とする。利用可能なブロックがない場合、カウントcnt=0、mvA=0とする。以上は、一例として下記の擬似コードで表現できる。
上記のサーチ順序の場合、対象ブロックの上側近傍ブロックにおいて、(xPb+qBW*10,yPb-1)を含む近傍ブロックを最初にサーチし、次に(xPb+qBW*2,yPb-1)を含む隣接ブロックを
サーチする。最初に見つかった利用可能なブロックの動きベクトルと参照ピクチャを、STMVPの上側ベクトルmvAと参照ピクチャRefAとし、カウントcnt=1とする。利用可能なブロックがない場合、カウントcnt=0、mvA=0とする。以上は、一例として下記の擬似コードで表現できる。
mvA = 0; cnt = 0;
for (i=0; i<=N; i++) { // N=2
mvLX = mvLXA[i]; refIdxLX = refIdxLXA[i]; RefPicListX = RefPictXA[i];
blkA = SearchOrderA[i];
if (availableFlag[blkA]==1) {
mvA = mvLX[xNb[blkA]][yNb[blkA]];
refIdxA = refIdxLX[xNb[blkA]][yNb[blkA]];
RefA = RefPicListX[refIdxA];
cnt++;
break;
}
}
ステップ2)左側近傍ブロックの動きベクトル導出
STMVP部30366は、対象ブロックの左側近傍ブロックL[]を、例えば、以下の順番SearchOrderL[]にサーチし、利用可能なブロックを取得する。
for (i=0; i<=N; i++) { // N=2
mvLX = mvLXA[i]; refIdxLX = refIdxLXA[i]; RefPicListX = RefPictXA[i];
blkA = SearchOrderA[i];
if (availableFlag[blkA]==1) {
mvA = mvLX[xNb[blkA]][yNb[blkA]];
refIdxA = refIdxLX[xNb[blkA]][yNb[blkA]];
RefA = RefPicListX[refIdxA];
cnt++;
break;
}
}
ステップ2)左側近傍ブロックの動きベクトル導出
STMVP部30366は、対象ブロックの左側近傍ブロックL[]を、例えば、以下の順番SearchOrderL[]にサーチし、利用可能なブロックを取得する。
SearchOrderL[] = {10,2}(図17(c))
上記のサーチ順序の場合、対象ブロックの左側近傍ブロックにおいて、(xPb-1,yPb+qBW*10)を含む近傍ブロックを最初にサーチし、次に(xPb-1,yPb+qBW*2)を含む隣接ブロックを
サーチする。最初に見つかった利用可能なブロックの動きベクトルと参照ピクチャを、STMVPの左側ベクトルmvLと参照ピクチャRefLとし、カウントcnt=1を1インクリメントする
。利用可能なブロックがない場合、カウントcntは更新せず、mvB=0とする。以上は、一例として下記の擬似コードで表現できる。
上記のサーチ順序の場合、対象ブロックの左側近傍ブロックにおいて、(xPb-1,yPb+qBW*10)を含む近傍ブロックを最初にサーチし、次に(xPb-1,yPb+qBW*2)を含む隣接ブロックを
サーチする。最初に見つかった利用可能なブロックの動きベクトルと参照ピクチャを、STMVPの左側ベクトルmvLと参照ピクチャRefLとし、カウントcnt=1を1インクリメントする
。利用可能なブロックがない場合、カウントcntは更新せず、mvB=0とする。以上は、一例として下記の擬似コードで表現できる。
mvL = 0;
for (j=0; j<=M; j++) { // M=2
mvLX = mvLX[j]; refIdxLX = refIdxLXL[j]; RefPicListX = RefPictXL[j];
blkL = SearchOrderL[j];
if (availableFlag[blkL]==1) {
mvL = mvLX[xNb[blkL]][yNb[blkL]];
refIdxL = refIdxLX[xNb[blkL]][yNb[blkL]];
RefL = RefPicListX[refIdxL];
cnt++;
break;
}
}
ステップ3〜ステップ8は上記と同じ処理であり、説明を省略する。
STMVP部30366は、サーチの先頭ブロックを、対象ブロック左上から見てブロックサイズを超える位置(非隣接ブロック、長距離ブロック)に設定し、複数の動きベクトルから導出することで、隣接ブロックから作成されたマージ候補リストに含まれない異なる動きベク
トルを、マージ候補リストに追加することができる。また、サーチする近傍ブロックの中に、上側隣接ブロックおよび左側隣接ブロックの中央に位置するブロックを含めることによって、対象ブロックと同じ特徴をもつ可能性の高い動きベクトルも参照することができる。従って、ブロックサイズを超える位置の動きベクトルを参照することにより対象ブロックのマージ候補の選択肢を増やし、隣接ブロックが対象ブロックと同じ性質を持つ時は隣接ブロックの動きベクトルを参照することによって、符号化効率を向上させることができる。
for (j=0; j<=M; j++) { // M=2
mvLX = mvLX[j]; refIdxLX = refIdxLXL[j]; RefPicListX = RefPictXL[j];
blkL = SearchOrderL[j];
if (availableFlag[blkL]==1) {
mvL = mvLX[xNb[blkL]][yNb[blkL]];
refIdxL = refIdxLX[xNb[blkL]][yNb[blkL]];
RefL = RefPicListX[refIdxL];
cnt++;
break;
}
}
ステップ3〜ステップ8は上記と同じ処理であり、説明を省略する。
STMVP部30366は、サーチの先頭ブロックを、対象ブロック左上から見てブロックサイズを超える位置(非隣接ブロック、長距離ブロック)に設定し、複数の動きベクトルから導出することで、隣接ブロックから作成されたマージ候補リストに含まれない異なる動きベク
トルを、マージ候補リストに追加することができる。また、サーチする近傍ブロックの中に、上側隣接ブロックおよび左側隣接ブロックの中央に位置するブロックを含めることによって、対象ブロックと同じ特徴をもつ可能性の高い動きベクトルも参照することができる。従って、ブロックサイズを超える位置の動きベクトルを参照することにより対象ブロックのマージ候補の選択肢を増やし、隣接ブロックが対象ブロックと同じ性質を持つ時は隣接ブロックの動きベクトルを参照することによって、符号化効率を向上させることができる。
(マルチ空間マージ候補 Multi Spatial Motion Vector Prediction)
マルチ空間マージ候補(Multi Spatial Motion Vector Prediction, MSMVPは、対象ブ
ロック周囲の2つ以上の動きベクトルを参照して、予測ベクトル(マージ候補)を導出す
る。特に、ここでは、長距離マルチ空間マージ候補として、対象ブロックに直接隣接しない2つ以上の近傍ブロックを参照して、動きベクトルを導出する。
以降では、「直接隣接する」とは、対象ブロックと1辺の一部を共有することを意味する。ここで、直接隣接しない長距離隣接ブロック(xNb, yNb)は下記のいずれかを満たす。
マルチ空間マージ候補(Multi Spatial Motion Vector Prediction, MSMVPは、対象ブ
ロック周囲の2つ以上の動きベクトルを参照して、予測ベクトル(マージ候補)を導出す
る。特に、ここでは、長距離マルチ空間マージ候補として、対象ブロックに直接隣接しない2つ以上の近傍ブロックを参照して、動きベクトルを導出する。
以降では、「直接隣接する」とは、対象ブロックと1辺の一部を共有することを意味する。ここで、直接隣接しない長距離隣接ブロック(xNb, yNb)は下記のいずれかを満たす。
xNb >= xPb+bW
yNb >= yPb+bH
つまり、対象ブロックからの距離が大きく、さらにX座標(xNb)もしくは、Y座標(yNb)が対象ブロックの範囲(xPb..xPb+bW-1、yPb..yPb+bH-1)を正の方向で超える場合である。上記は、対象ブロックの右端のX座標xPb+bW-1、下端のY座標yPb+bH-1を超えるという意味で以下で表現しても良い。
yNb >= yPb+bH
つまり、対象ブロックからの距離が大きく、さらにX座標(xNb)もしくは、Y座標(yNb)が対象ブロックの範囲(xPb..xPb+bW-1、yPb..yPb+bH-1)を正の方向で超える場合である。上記は、対象ブロックの右端のX座標xPb+bW-1、下端のY座標yPb+bH-1を超えるという意味で以下で表現しても良い。
xNb > xPb+bW-1
yNb > yPb+bH-1
符号化ユニットCUの処理は、X方向、Y方向に進むため、対象ブロックサイズを超える位置の上記長距離ブロックを参照する場合には、一種の先読み効果があり、後続の動きベクトルとの整合性を高めることができる。さらに、マルチ空間マージ候補は、このような2個以上の長距離ブロックの動きベクトルを利用して平均化することで、安定性を高めることが特徴である。この意味でマルチ空間マージ候補を長距離マルチ空間マージ候補(long distance multi spatial merge candidate)と呼んでも良い。さらに複数の長長距離ポジ
ションの動き情報を用いる場合には、長長距離マルチ空間マージ候補(long long distance multi spatial merge candidate)と呼んでも良い。
yNb > yPb+bH-1
符号化ユニットCUの処理は、X方向、Y方向に進むため、対象ブロックサイズを超える位置の上記長距離ブロックを参照する場合には、一種の先読み効果があり、後続の動きベクトルとの整合性を高めることができる。さらに、マルチ空間マージ候補は、このような2個以上の長距離ブロックの動きベクトルを利用して平均化することで、安定性を高めることが特徴である。この意味でマルチ空間マージ候補を長距離マルチ空間マージ候補(long distance multi spatial merge candidate)と呼んでも良い。さらに複数の長長距離ポジ
ションの動き情報を用いる場合には、長長距離マルチ空間マージ候補(long long distance multi spatial merge candidate)と呼んでも良い。
さらに、MSMVP部30368は、以下のようにブロックサイズ(bW, bH)の2倍以上の長距離ポ
ジション(長長距離ポジション)を探索することにより、さらなる先読み効果を得ることができる。
ジション(長長距離ポジション)を探索することにより、さらなる先読み効果を得ることができる。
xNb > xPb+2*bW-1
yNb > yPb+2*bH-1
例えば、(xNb, yNb) = (xPb+5*bW/2, yPb-1), (xPb-1,yPb+5*bH/2)や(xNb, yNb) = (xPb+3*bW, yPb-1), (xPb-1,yPb+3*bH)
なお、図28を用いて、上述したようにMSMVP部30368においても長距離ポジションのクリップを行ってもよい。
yNb > yPb+2*bH-1
例えば、(xNb, yNb) = (xPb+5*bW/2, yPb-1), (xPb-1,yPb+5*bH/2)や(xNb, yNb) = (xPb+3*bW, yPb-1), (xPb-1,yPb+3*bH)
なお、図28を用いて、上述したようにMSMVP部30368においても長距離ポジションのクリップを行ってもよい。
(MSMVP部の構成例1)
MSMVP部は、第1長距離ブロック(xPb + wLng, yPb - 1)の動きベクトルmvLX_Nb1(=mvA)、第2長距離ブロック(xPb - 1, yPb + hLng)の動きベクトルmvLX_Nb2(=mvL)の平均値もしくは加重平均値を導出する。導出された動きベクトルをマージ候補msMvLXとする。ここでwLng >= bW, hLng >= bHであってもよい。またwLng >= 2*bW, hLng >= 2*bHであってもよい。
MSMVP部は、第1長距離ブロック(xPb + wLng, yPb - 1)の動きベクトルmvLX_Nb1(=mvA)、第2長距離ブロック(xPb - 1, yPb + hLng)の動きベクトルmvLX_Nb2(=mvL)の平均値もしくは加重平均値を導出する。導出された動きベクトルをマージ候補msMvLXとする。ここでwLng >= bW, hLng >= bHであってもよい。またwLng >= 2*bW, hLng >= 2*bHであってもよい。
msMvLX[0] = (MvLX_Nb1[0] + MvLX_Nb2[0] + round) >> 1 (式MSMVP-1)
msMvLX[1] = (MvLX_Nb1[1] + MvLX_Nb2[1] + round) >> 1
ここでラウンド用オフセットroundは0でも1でもよい。
msMvLX[1] = (MvLX_Nb1[1] + MvLX_Nb2[1] + round) >> 1
ここでラウンド用オフセットroundは0でも1でもよい。
また以下のように加重平均でもよい。
msMvLX[0] = (W * MvLX_Nb2[0] + (8-W) * MvLX_Nb2[0] + round) >> 3 (式MSMVP-2
)
msMvLX[1] = (W * MvLX_Nb2[1] + (8-W) * MvLX_Nb2[1] + round) >> 3
ここで、Wは重みを示す値であり、0以上7以下。
)
msMvLX[1] = (W * MvLX_Nb2[1] + (8-W) * MvLX_Nb2[1] + round) >> 3
ここで、Wは重みを示す値であり、0以上7以下。
(MSMVP部の構成例2)
MSMVP部は、長距離ブロックが画面外やイントラブロックで利用可能ではない場合(AvailableNb1がFalseの場合)には、長距離ブロック以外の点(短距離ポジション)の動き情報を利用しても良い。隣接ポジション(短距離ポジション)として(xPb + wSht, yPb - 1)及び(xPb - 1, yPb + hSht)を用いてもよい。MSMVP部30368は、第1近傍ブロックの候補位置を順にサーチする。そして第1近傍ブロックの候補位置の中で、最初に見つかった利用可能な候補位置の動きベクトルをmvLX_Nb1、第2近傍ブロックの候補位置の中で、最初に見つかった利用可能な候補位置の動きベクトルをmvLX_Nb2とする。マージ候補msMvLXの導出方法は、(式STMVP-1)、(式STMVP-2)のいずれを用いてもよい。
なお、上側ブロックの候補位置(xNb[i], yNb[i])は、例えば以下であり、先頭には、長距離ブロックを設定する。
MSMVP部は、長距離ブロックが画面外やイントラブロックで利用可能ではない場合(AvailableNb1がFalseの場合)には、長距離ブロック以外の点(短距離ポジション)の動き情報を利用しても良い。隣接ポジション(短距離ポジション)として(xPb + wSht, yPb - 1)及び(xPb - 1, yPb + hSht)を用いてもよい。MSMVP部30368は、第1近傍ブロックの候補位置を順にサーチする。そして第1近傍ブロックの候補位置の中で、最初に見つかった利用可能な候補位置の動きベクトルをmvLX_Nb1、第2近傍ブロックの候補位置の中で、最初に見つかった利用可能な候補位置の動きベクトルをmvLX_Nb2とする。マージ候補msMvLXの導出方法は、(式STMVP-1)、(式STMVP-2)のいずれを用いてもよい。
なお、上側ブロックの候補位置(xNb[i], yNb[i])は、例えば以下であり、先頭には、長距離ブロックを設定する。
(xPb + wLng, yPb - 1)
(xPb + wSht, yPb - 1)
とする。ここでwLng >= bWである。例えばwLng = 5*bW/2、3*bWなど。ここでwSht <= bW - 1であり、例えば、wSht = 0, bW/2, bW - 1などを用いてもよい。
左側ブロックの候補位置(xNb[i], yNb[i]) は例えば以下であり、先頭には、長距離ブロ
ックを設定する。
(xPb + wSht, yPb - 1)
とする。ここでwLng >= bWである。例えばwLng = 5*bW/2、3*bWなど。ここでwSht <= bW - 1であり、例えば、wSht = 0, bW/2, bW - 1などを用いてもよい。
左側ブロックの候補位置(xNb[i], yNb[i]) は例えば以下であり、先頭には、長距離ブロ
ックを設定する。
(xPb - 1, yPb + hLng)
(xPb - 1, yPb + hSht - 1)
とする。ここでhLng >= bHである。例えばhLng = 5*bH/2、3*bHなど。ここでwSht <= bW - 1であり、例えば、hSht = 0, bH/2, bH - 1など。
(xPb - 1, yPb + hSht - 1)
とする。ここでhLng >= bHである。例えばhLng = 5*bH/2、3*bHなど。ここでwSht <= bW - 1であり、例えば、hSht = 0, bH/2, bH - 1など。
(MSMVP部30368の構成例3)
MSMVP部30368は、さらに、上記長距離ブロック(近傍ブロック)で見つかった動きベクトルをスケーリングして得られる動きベクトルを利用しても良い。例えば、MSMVP部30368は、対象ピクチャと近傍ブロックの参照ピクチャ間の時間的な距離(あるいはコロケートピクチャとその参照ピクチャ間の時間的な距離)と、対象ピクチャと参照ピクチャ間の時間的な距離に応じて、利用可能な近傍ブロックの動きベクトルをスケーリングする。
MSMVP部30368は、さらに、上記長距離ブロック(近傍ブロック)で見つかった動きベクトルをスケーリングして得られる動きベクトルを利用しても良い。例えば、MSMVP部30368は、対象ピクチャと近傍ブロックの参照ピクチャ間の時間的な距離(あるいはコロケートピクチャとその参照ピクチャ間の時間的な距離)と、対象ピクチャと参照ピクチャ間の時間的な距離に応じて、利用可能な近傍ブロックの動きベクトルをスケーリングする。
(MSMVP部30368のフローチャート)
以上、構成例1、構成例2、構成例3をまとめたマルチ空間マージ候補(MSMVP)に関
するマージ候補導出処理を図25のフローチャートで説明する。
以上、構成例1、構成例2、構成例3をまとめたマルチ空間マージ候補(MSMVP)に関
するマージ候補導出処理を図25のフローチャートで説明する。
MSMVP部30368は、対象ブロックの上側、左側方向の近傍ブロックA[]、L[]をサーチする(S2601)。
MSMVP部30368は、所定のスキャン順序で利用可能な近傍ブロックの有無を判定し、利用可能な近傍ブロックがあればS2603に進み、利用可能な近傍ブロックが1個もなければS2608に進む(S2602)。
より具体的には、MSMVP部30368は、利用可能な上側近傍ブロックが見つかった場合、最初に見つかった近傍ブロックの動きベクトルと参照ピクチャを、STMVPの上側ベクトルmvAと参照ピクチャRefAとし、カウントcntを1インクリメントする。利用可能な近傍ブロッ
クがない場合、カウントcnt=0、mvA=0とする。MSMVP部30368は、利用可能な左側近傍ブロックが見つかった場合、最初に見つかった近傍ブロックの動きベクトルと参照ピクチャを、STMVPの左側ベクトルmvLと参照ピクチャRefLとし、カウントcntを1インクリメントする。利用可能な近傍ブロックがない場合、カウントcntは更新せず、mvL=0とする。
クがない場合、カウントcnt=0、mvA=0とする。MSMVP部30368は、利用可能な左側近傍ブロックが見つかった場合、最初に見つかった近傍ブロックの動きベクトルと参照ピクチャを、STMVPの左側ベクトルmvLと参照ピクチャRefLとし、カウントcntを1インクリメントする。利用可能な近傍ブロックがない場合、カウントcntは更新せず、mvL=0とする。
MSMVP部30368は、対象ピクチャと近傍ブロックの参照ピクチャ間の時間的な距離(あるいはコロケートピクチャとその参照ピクチャ間の時間的な距離)と、対象ピクチャと参照ピクチャ間の時間的な距離に応じて、利用可能な近傍ブロックの動きベクトルをスケーリングする(S2603)。
MSMVP部30368は、ctnが0でない場合、対象ピクチャCurPicと、対象ブロックCurBLKの参照ピクチャRefPicListX[refIdxLX]との時間情報を用いて、ステップ1〜ステップ3で取
得した利用可能な動きベクトルをスケーリングする。refIdxLX=0としてもよい。スケーリング後の動きベクトルをsmvA、smvLとする。
得した利用可能な動きベクトルをスケーリングする。refIdxLX=0としてもよい。スケーリング後の動きベクトルをsmvA、smvLとする。
smvA = MvScale(mvA,CurPic,RefA,CurPic,RefPicListX[refIdxLX]))
smvL = MvScale(mvL,CurPic,RefL,CurPic,RefPicListX[refIdxLX]))
ステップ6)平均値導出
MSMVP部30368は、スケーリングした2つ以上の空間動きベクトルから代表値を算出し、MSMVPの動きベクトルMvLXとしてセットする(S2604)。 cnt=1の場合、例えば、smvAが
利用可能な場合、以下を用いる。sum(smv) = smvA+smvB。
smvL = MvScale(mvL,CurPic,RefL,CurPic,RefPicListX[refIdxLX]))
ステップ6)平均値導出
MSMVP部30368は、スケーリングした2つ以上の空間動きベクトルから代表値を算出し、MSMVPの動きベクトルMvLXとしてセットする(S2604)。 cnt=1の場合、例えば、smvAが
利用可能な場合、以下を用いる。sum(smv) = smvA+smvB。
msMvLX = smvA = sum(smv)
cnt=2の場合、例えば、smvA、smvLが利用可能な場合、以下の式で導出してもよい。
cnt=2の場合、例えば、smvA、smvLが利用可能な場合、以下の式で導出してもよい。
msMvLX = (smvA+smvL)>>1 = sum(smv)>>1
ベクトルの成分ごとに書き下せば以下のようになる。
ベクトルの成分ごとに書き下せば以下のようになる。
msMvLX[0] = (smvA[0] + smvL[0] + round) >> 1 (式STMVP-1)
msMvLX[1] = (smvA[1] + smvL[1] + round) >> 1
ここでround = 0 or 1。また、動きベクトルが正か負かに分けて処理を行っても良い。すなわち、
absMvLX[0] = abs(smvA[0] + smvL[0])
absMvLX[1] = abs(smvA[1] + smvL[1])
sgnMvLX[0] = sgn(smvA[0] + smvL[0])
sgnMvLX[1] = sgn(smvA[1] + smvL[1])
msMvLX[0] = (1 - 2 * sgnMvLX[0])((absMvLX[0] + round) >> 1)
msMvLX[1] = (1 - 2 * sgnMvLX[1])((absMvLX[1] + round) >> 1)
ここでabs(x)はxの絶対値を取得する関数、sgn(x)はxの符号を取得する関数でsgn(x) =
(x >= 0) ?_ 1 : -1。
msMvLX[1] = (smvA[1] + smvL[1] + round) >> 1
ここでround = 0 or 1。また、動きベクトルが正か負かに分けて処理を行っても良い。すなわち、
absMvLX[0] = abs(smvA[0] + smvL[0])
absMvLX[1] = abs(smvA[1] + smvL[1])
sgnMvLX[0] = sgn(smvA[0] + smvL[0])
sgnMvLX[1] = sgn(smvA[1] + smvL[1])
msMvLX[0] = (1 - 2 * sgnMvLX[0])((absMvLX[0] + round) >> 1)
msMvLX[1] = (1 - 2 * sgnMvLX[1])((absMvLX[1] + round) >> 1)
ここでabs(x)はxの絶対値を取得する関数、sgn(x)はxの符号を取得する関数でsgn(x) =
(x >= 0) ?_ 1 : -1。
MSMVP部30368は、図12(a)に示すマージ候補リストmergeCandList[]にMSMVPの動きベク
トルmsMvLX[]を格納する(S2607)。
トルmsMvLX[]を格納する(S2607)。
MSMVP部30368は、さらに、MSMVPの動きベクトルと既に導出されたマージ候補の動き情
報(動きベクトル、参照ピクチャ)の間が同一であるか否かによって、プルーニング処理を行っても良い。具体的には、MSMVPマージ候補のインデックスがkである場合に、MSMVP
マージ候補の動き情報と既に導出されたマージ候補リスト中のmergeCandList[i](ただしi = 0..k-1)の動き情報と参照ピクチャが同一であるかをチェックする。同一ではない場合のみ、マージ候補リストmergeCandList[]にMSMVPの動きベクトルを格納する。
報(動きベクトル、参照ピクチャ)の間が同一であるか否かによって、プルーニング処理を行っても良い。具体的には、MSMVPマージ候補のインデックスがkである場合に、MSMVP
マージ候補の動き情報と既に導出されたマージ候補リスト中のmergeCandList[i](ただしi = 0..k-1)の動き情報と参照ピクチャが同一であるかをチェックする。同一ではない場合のみ、マージ候補リストmergeCandList[]にMSMVPの動きベクトルを格納する。
MSMVP部30368は、利用可能な動きベクトルがない場合、マージ候補リストmergeCandList[]にMSMVPの動きベクトルを格納せず、処理を終了する(S2608)。
以上の処理により、対象ブロックの空間近傍ブロックの動きベクトルをもとに、対象ブロックのマージ候補を導出するマージ候補導出装置において、対象ブロックの第1近傍ブロックの動きベクトルから導出される動きベクトルと、第2隣接近傍ブロックから導出される動きベクトルの平均もしくは加重平均で導出される動きベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納してもよい。
(ATMVP:Adaptive Temporal Motion Vector Prediction)
本願のATMVPは、ATMVP部30367において、図19(a)に示す対象ピクチャCurPicの対象ブロックCurBLKの空間隣接ブロック(LM、AM、L、A、AR、BL、AL)の動きベクトルをもとに、対象ブロック毎にマージ候補を導出する。図12(a)のマージ候補リストmergeCandList[]に含まれる空間隣接ブロック(L、A、AR、BL、AL)に加え、上側および左側空間隣接ブロックの中央に位置するブロック(LM、AM)もサーチする。隣接ブロックLM、AM、L、A、AR、BL、ALは各々、座標(xPb-1,yPb+bH/2)、(xPb+bW/2,yPb-1)、(xPb-1,yPb+bH-1)、(xPb+bW-1,yPb-1)、(xPb+bW,yPb-1)、(xPb-1,yPb+bH)、(xPb-1,yPb-1)を含むブロックであり、左上座標を(xNb[LM],yNb[LM])、(xNb[AM],yNb[AM])、(xNb[L],yNb[L])、(xNb[A],yNb[A])、(xNb[AR],yNb[AR])、(xNb[BL],yNb[BL])、(xNb[AR],yNb[AR])で表現する。ATMVPは下記の手順で処理する。
本願のATMVPは、ATMVP部30367において、図19(a)に示す対象ピクチャCurPicの対象ブロックCurBLKの空間隣接ブロック(LM、AM、L、A、AR、BL、AL)の動きベクトルをもとに、対象ブロック毎にマージ候補を導出する。図12(a)のマージ候補リストmergeCandList[]に含まれる空間隣接ブロック(L、A、AR、BL、AL)に加え、上側および左側空間隣接ブロックの中央に位置するブロック(LM、AM)もサーチする。隣接ブロックLM、AM、L、A、AR、BL、ALは各々、座標(xPb-1,yPb+bH/2)、(xPb+bW/2,yPb-1)、(xPb-1,yPb+bH-1)、(xPb+bW-1,yPb-1)、(xPb+bW,yPb-1)、(xPb-1,yPb+bH)、(xPb-1,yPb-1)を含むブロックであり、左上座標を(xNb[LM],yNb[LM])、(xNb[AM],yNb[AM])、(xNb[L],yNb[L])、(xNb[A],yNb[A])、(xNb[AR],yNb[AR])、(xNb[BL],yNb[BL])、(xNb[AR],yNb[AR])で表現する。ATMVPは下記の手順で処理する。
ステップ1)初期ベクトル導出
ATMVP部30367は、空間隣接ブロックLM、AM、L、A、AR、BL、ALの順に、利用可能な(available)最初の隣接ブロックを取得する。利用可能な隣接ブロックが見つかった場合、そのブロックの動きベクトルと参照ピクチャをATMVPの初期ベクトルIMVと初期参照ピクチャIRefとして、ステップ2に移行する。全ての隣接ブロックが利用可能でない(non available)場合、ATMVPをオフとし、処理を終了する。「ATMVPがオフ」の意味は、マージ候補リストにATMVPによる動きベクトルを格納しないということである。
ATMVP部30367は、空間隣接ブロックLM、AM、L、A、AR、BL、ALの順に、利用可能な(available)最初の隣接ブロックを取得する。利用可能な隣接ブロックが見つかった場合、そのブロックの動きベクトルと参照ピクチャをATMVPの初期ベクトルIMVと初期参照ピクチャIRefとして、ステップ2に移行する。全ての隣接ブロックが利用可能でない(non available)場合、ATMVPをオフとし、処理を終了する。「ATMVPがオフ」の意味は、マージ候補リストにATMVPによる動きベクトルを格納しないということである。
SearchOrderATMVP[] = {LM,AM,L,A,AR,BL,AL}
for (i=0; i<numATMVP-1; i++) {
Blk = SearchOrderATMVP[i];
if (availableFlag[Blk]==1) {
IMV = mvLX[xNb[Blk]][yNb[Blk]];
IrefIdx = refIdxLX[xNb[Blk]][yNb[Blk]];
IRef = RefPicListX[IrefIdx];
break;
}
}
ここでnumATMVPはATMVPで参照される隣接ブロック数である。
for (i=0; i<numATMVP-1; i++) {
Blk = SearchOrderATMVP[i];
if (availableFlag[Blk]==1) {
IMV = mvLX[xNb[Blk]][yNb[Blk]];
IrefIdx = refIdxLX[xNb[Blk]][yNb[Blk]];
IRef = RefPicListX[IrefIdx];
break;
}
}
ここでnumATMVPはATMVPで参照される隣接ブロック数である。
本構成では、対象ブロックの左側あるいは上側の隣接ブロックのうち、各々中央に位置するブロックLMあるいはAMをサーチ候補として設定し、さらに、これらをサーチ順序の先頭に設定してもよい。ブロックサイズが大きい場合、中央に位置する隣接ブロックが対象ブロックにより近い性質をもつと考えられることから、LMとAMを最初にサーチすることにより、マージ候補導出に適切な動きベクトルと参照ピクチャを選択しやすくするという効果を有する。
なお、本実施例では、対象ブロックの左側あるいは上側の隣接ブロックのうち、各々中央に位置するブロックLMあるいはAMをATMVPの初期ベクトルを導出するために参照するも
のの、マージ候補リストには格納しないが、隣接ブロックLM、AMをマージ候補としてマージ候補リストに格納してもよい。この場合、マージ候補リストは下記のように設定される。
のの、マージ候補リストには格納しないが、隣接ブロックLM、AMをマージ候補としてマージ候補リストに格納してもよい。この場合、マージ候補リストは下記のように設定される。
mergeCandList[] = {LM,AM,L,A,AR,BL,ATMVP,STMVP,AL,TMVP,...}
また、MSMVPを用いる場合には、以下のマージ候補リストを用いてもよい。
また、MSMVPを用いる場合には、以下のマージ候補リストを用いてもよい。
mergeCandList[] = {LM,AM,L,A,AR,BL,ATMVP,MSMVP,AL,TMVP,...}
ステップ2)利用可能性判定
ATMVP部30367は、初期参照ピクチャIRef上において、対象ブロックからIMVだけシフトし
た位置のコロケートブロックColBLKが利用可能か否かをチェックする。このコロケートブロックが利用可能な場合(コロケートブロックが動きベクトルを持つ、かつ、ピクチャ内に位置する場合等)、ステップ3に移行する。このコロケートブロックが利用可能でない場合、図20(a)に示す方法で代替初期ベクトルをサーチする。図20(a)において、RefPicListX[i](i=0..numRefPic-1)は、対象ブロックの参照ピクチャリストRefPicListX[]に格納された参照ピクチャ、numRefPicは参照ピクチャリストに格納された参照ピクチャ数、Blk[i]は、RefPicListX[i]上で、対象ブロックから代替初期ベクトルIMV[i]シフトした位置のブロックである。代替初期ベクトルIMV[i]は、初期ベクトルIMVからスケーリング関数MvScale()を用いて導出した動きベクトルである。
ステップ2)利用可能性判定
ATMVP部30367は、初期参照ピクチャIRef上において、対象ブロックからIMVだけシフトし
た位置のコロケートブロックColBLKが利用可能か否かをチェックする。このコロケートブロックが利用可能な場合(コロケートブロックが動きベクトルを持つ、かつ、ピクチャ内に位置する場合等)、ステップ3に移行する。このコロケートブロックが利用可能でない場合、図20(a)に示す方法で代替初期ベクトルをサーチする。図20(a)において、RefPicListX[i](i=0..numRefPic-1)は、対象ブロックの参照ピクチャリストRefPicListX[]に格納された参照ピクチャ、numRefPicは参照ピクチャリストに格納された参照ピクチャ数、Blk[i]は、RefPicListX[i]上で、対象ブロックから代替初期ベクトルIMV[i]シフトした位置のブロックである。代替初期ベクトルIMV[i]は、初期ベクトルIMVからスケーリング関数MvScale()を用いて導出した動きベクトルである。
IMV[i] = MvScale(IMV,CurPic,IRef,CurPic,RefPicListX[i])
つまり、対象ピクチャCurPicと初期ピクチャIRefの時間情報差と、対象ピクチャCurPicと代替初期ベクトル用の参照ピクチャRefPicListX[i]の時間情報差の比を用いて、代替初期ベクトルIMV[i]を導出する。具体的には、i=0から順番にi=numRefPic-1までBlk[i]の利用可能性をチェックし、最初に見つかった利用可能なブロックBlk[i]を新たなコロケートブロックColBLKに設定し、コロケートブロックColBLKの動きベクトルをspRefMvLX、参照ピ
クチャインデックスをspRefIdx、参照ピクチャをspRefPicに設定する。また、代替初期ベクトルIMV[i]とその参照ピクチャIRef[i]を新たな初期ベクトルIMVと初期参照ピクチャIRefに設定する。そしてステップ3に移行する。
つまり、対象ピクチャCurPicと初期ピクチャIRefの時間情報差と、対象ピクチャCurPicと代替初期ベクトル用の参照ピクチャRefPicListX[i]の時間情報差の比を用いて、代替初期ベクトルIMV[i]を導出する。具体的には、i=0から順番にi=numRefPic-1までBlk[i]の利用可能性をチェックし、最初に見つかった利用可能なブロックBlk[i]を新たなコロケートブロックColBLKに設定し、コロケートブロックColBLKの動きベクトルをspRefMvLX、参照ピ
クチャインデックスをspRefIdx、参照ピクチャをspRefPicに設定する。また、代替初期ベクトルIMV[i]とその参照ピクチャIRef[i]を新たな初期ベクトルIMVと初期参照ピクチャIRefに設定する。そしてステップ3に移行する。
for (i=0; i<numRefPic-1; i++) {
IRef[i] = RefPicListX[i];
if (IRef[i]==IRef) ;
IMV[i] = MvScale(IMV,CurPic,IRef,CurPic,IRef[i])
xNb = (((xPb+IMV[i][0])>>minCU)<<minCU)+minCU/2; // ColBLK[i]のx座標
yNb = (((yPb+IMV[i][1])>>minCU)<<minCU)+minCU/2; // ColBLK[i]のy座標
Blkを座標(xNb[i],yNb[i])を含むIRef[i]上のブロックにセット;
mvLX = mvLXBlk; refIdxLX = refIdxLXBlk; RefPicListX = RefPictXBlk;
if (availableFlag[Blk]==1) {
IMV = IMV[i];
IRef = IRef[i];
ColBLK = Blk;
spRefMvLX = mvLX[xNb][yNb];
spRefIdx = refIdxLX[xNb][yNb];
spRefPic = RefPicListX[spRefIdx];
break;
}
}
なお、参照ピクチャリストに格納された全ての参照ピクチャにおいてこのようなブロックが見つからない場合、ATMVPをオフとし、処理を終了する。
IRef[i] = RefPicListX[i];
if (IRef[i]==IRef) ;
IMV[i] = MvScale(IMV,CurPic,IRef,CurPic,IRef[i])
xNb = (((xPb+IMV[i][0])>>minCU)<<minCU)+minCU/2; // ColBLK[i]のx座標
yNb = (((yPb+IMV[i][1])>>minCU)<<minCU)+minCU/2; // ColBLK[i]のy座標
Blkを座標(xNb[i],yNb[i])を含むIRef[i]上のブロックにセット;
mvLX = mvLXBlk; refIdxLX = refIdxLXBlk; RefPicListX = RefPictXBlk;
if (availableFlag[Blk]==1) {
IMV = IMV[i];
IRef = IRef[i];
ColBLK = Blk;
spRefMvLX = mvLX[xNb][yNb];
spRefIdx = refIdxLX[xNb][yNb];
spRefPic = RefPicListX[spRefIdx];
break;
}
}
なお、参照ピクチャリストに格納された全ての参照ピクチャにおいてこのようなブロックが見つからない場合、ATMVPをオフとし、処理を終了する。
ステップ3)動きベクトルのスケーリング
ATMVP部30367は、図20(b)に示すように、対象ブロックの参照ピクチャRefPicListX[redIdxLX]上の参照ブロックを示すATMVPの動きベクトルspMvLXを導出する。ここでrefIdxLX=0
であってもよい。コロケートブロックColBLKの動きベクトルspRefMvLX、対象ピクチャCurPicとその参照ピクチャRefPicListX[redIdxLX]の時間情報差と、初期参照ピクチャIRefとコロケートピクチャの参照ピクチャspRefPicの時間情報差の比を用いて、ATMVP用の動きベクトルspMvLXを導出する。具体的には、スケーリング関数MvScale()を用いて下式で導出する。
ATMVP部30367は、図20(b)に示すように、対象ブロックの参照ピクチャRefPicListX[redIdxLX]上の参照ブロックを示すATMVPの動きベクトルspMvLXを導出する。ここでrefIdxLX=0
であってもよい。コロケートブロックColBLKの動きベクトルspRefMvLX、対象ピクチャCurPicとその参照ピクチャRefPicListX[redIdxLX]の時間情報差と、初期参照ピクチャIRefとコロケートピクチャの参照ピクチャspRefPicの時間情報差の比を用いて、ATMVP用の動きベクトルspMvLXを導出する。具体的には、スケーリング関数MvScale()を用いて下式で導出する。
spMvLX = MvScale(spRefMvLX,IRef,spRefPic,CurPic,RefPicListX[refIdxLX])
対象ブロックの参照ピクチャRefPicListX[]のインデックスrefIdxLXは、例えば、参照
ピクチャリストに格納された先頭のピクチャ(refIdxLX=0)であってもよい。あるいは、スライスヘッダで通知されるコロケートピクチャのインデックス(collocated_ref_idx)であってもよい。
対象ブロックの参照ピクチャRefPicListX[]のインデックスrefIdxLXは、例えば、参照
ピクチャリストに格納された先頭のピクチャ(refIdxLX=0)であってもよい。あるいは、スライスヘッダで通知されるコロケートピクチャのインデックス(collocated_ref_idx)であってもよい。
ステップ4)例外処理
対象ブロックの参照ピクチャにおいて、対象ブロックがspMvLXを用いて参照するブロックが参照ピクチャ内にあるか否かをチェックする。動きベクトルspMvLXの指す先が参照ピクチャ内にない場合には、以下の処理2(処理2A〜処理2C)のいずれかを施す。
対象ブロックの参照ピクチャにおいて、対象ブロックがspMvLXを用いて参照するブロックが参照ピクチャ内にあるか否かをチェックする。動きベクトルspMvLXの指す先が参照ピクチャ内にない場合には、以下の処理2(処理2A〜処理2C)のいずれかを施す。
[処理2A]ピクチャ境界パディング
動き補償部3091は、ピクチャ境界パディング(ピクチャ外パディング)は、参照位置を、ピクチャの上下左右の境界画素の位置でクリッピングする。ピクチャ境界パディングはSTMVPの[処理1A]と同じ処理である。
動き補償部3091は、ピクチャ境界パディング(ピクチャ外パディング)は、参照位置を、ピクチャの上下左右の境界画素の位置でクリッピングする。ピクチャ境界パディングはSTMVPの[処理1A]と同じ処理である。
[処理2B] ピクチャ境界動きベクトル制限(ピクチャ外動きベクトル制限)
ATMVP部30367もしくは動き補償部3091は、動きベクトルspMvLXがピクチャ外を参照しないようにクリッピングする。ピクチャ境界動きベクトル制限はSTMVPの[処理1B]と同じ処理
である。
ATMVP部30367もしくは動き補償部3091は、動きベクトルspMvLXがピクチャ外を参照しないようにクリッピングする。ピクチャ境界動きベクトル制限はSTMVPの[処理1B]と同じ処理
である。
[処理2C] ピクチャ境界ATMVPオフ(ピクチャ外ATMVPオフ)
ATMVP部30367は、動きベクトルspMvLXの指すブロックの少なくとも一部がピクチャ外の場合、ATMVPをオフにし、処理を終了する。
ATMVP部30367は、動きベクトルspMvLXの指すブロックの少なくとも一部がピクチャ外の場合、ATMVPをオフにし、処理を終了する。
なお、処理2は、動画像符号化装置11と動画像復号装置31で同じ処理を選択する必要がある。
ステップ5)マージ候補リストにATMVPを格納する。
ATMVP部30367は、マージ候補リストに格納するマージ候補の順番の例を図12(a)に示す。
このリストの中から、パラメータ復号制御部3031で導出されたmerge_idxを用いて、対象
ブロックのマージ候補が選択される。
ATMVP部30367は、マージ候補リストに格納するマージ候補の順番の例を図12(a)に示す。
このリストの中から、パラメータ復号制御部3031で導出されたmerge_idxを用いて、対象
ブロックのマージ候補が選択される。
マージ候補としてATMVPが選択された場合、インター予測画像生成部309は対象ブロックからspMvLxシフトした参照ピクチャRefPicListX[refIdxLX]上の画像を読み出し、予測画
像とする。
像とする。
以上、ステップ1〜ステップ5で説明したATMVPに関するマージ候補導出処理を図21の
フローチャートで説明する。
フローチャートで説明する。
ATMVP部30367は、対象ブロックの複数(例えば7)の空間隣接ブロック(LM、AM、L、A、AR、BL、AL)をサーチする(S2301)。
ATMVP部30367は、利用可能な最初の隣接ブロックの有無を判定し、利用可能な隣接ブロックがあればS2303に進み、利用可能な隣接ブロックがなければS2308に進む(S2302)。
ATMVP部30367は、利用可能な隣接ブロックの有する動きベクトルと参照ピクチャを用いて、対象ブロックの初期ベクトルIMVと初期参照ピクチャIRefを導出する(S2303)。初期ベクトルIMVの指すコロケートブロックが利用可能な動きベクトルspRefMvLXを持っていない場合、ATMVP部30367は初期ベクトルと初期参照ピクチャを再度サーチする。
ATMVP部30367は、利用可能な動きベクトルspRefMvLXをスケーリングして、対象ブロッ
クの参照ピクチャRefPicListX[refIdxLX]上の動きベクトルspMvLxを導出する(S2304)。
クの参照ピクチャRefPicListX[refIdxLX]上の動きベクトルspMvLxを導出する(S2304)。
ATMVP部30367は、参照ピクチャRefPicListX[refIdxLX ]上で、動きベクトルspMvLXの指すブロックがピクチャ内に存在するか否かを判定する。ブロックがピクチャ内に存在する場合、S2307に進み、そうでない場合、S2306に進む(S2305)。
ATMVP部30367は、動きベクトルspMvLXだけシフトしたブロックの少なくとも一部がピクチャ外にある場合、動きベクトルspMvLxをクリッピングする(S2306)。
ATMVP部30367は、図12(a)に示すマージ候補リストmergeCandList[]にATMVPの動きベク
トルを格納する(S2307)。
トルを格納する(S2307)。
ATMVP部30367は、マージ候補リストmergeCandList[]にATMVPの動きベクトルを格納しない(S2308)。
なお、S2306の処理はクリッピング以外に、ステップ4で説明したように、ピクチャ境
界のパディングであってもよい。また、ATMVPをオフにしてS2308に進んでもよい。
界のパディングであってもよい。また、ATMVPをオフにしてS2308に進んでもよい。
以上の処理により、ATMVPに関するマージ候補を導出する。
(変形例4:初期ベクトル導出方法)
上記ステップ1では、空間隣接ブロックをLM、AM、L、A、AR、BL、ALの順にサーチし、利用可能な最初の隣接ブロックの動きベクトルと参照ピクチャをATMVPの初期ベクトルIMVと初期参照ピクチャIRefとして設定した。変形例4では、空間隣接ブロックをLM、AM、L
、A、AR、BL、ALを全てサーチし、利用可能な動きベクトルの平均値を初期ベクトルIMVとする。
上記ステップ1では、空間隣接ブロックをLM、AM、L、A、AR、BL、ALの順にサーチし、利用可能な最初の隣接ブロックの動きベクトルと参照ピクチャをATMVPの初期ベクトルIMVと初期参照ピクチャIRefとして設定した。変形例4では、空間隣接ブロックをLM、AM、L
、A、AR、BL、ALを全てサーチし、利用可能な動きベクトルの平均値を初期ベクトルIMVとする。
(構成1)ブロックLM、AM、Aが利用可能であると判定された場合、各ブロックの動
きベクトルmvLM、mvAM、mvAと参照ピクチャRefLM、RefAM、RefAを用いて、対象ブロック
の初期ベクトルを下式で導出する。
きベクトルmvLM、mvAM、mvAと参照ピクチャRefLM、RefAM、RefAを用いて、対象ブロック
の初期ベクトルを下式で導出する。
smvLM = MvScale(mvLM,CurPic,RefLM,CurPic,RefPicListX[refIdxLX])
smvAM = MvScale(mvAM,CurPic,RefAM,CurPic,RefPicListX[refIdxLX])
smvA = MvScale(mvA,CurPic,RefA,CurPic,RefPicListX[refIdxLX])
IMV = (smvLM+smvAM+smvA+1)/3
IRef = RefPicListX[refIdxLX]
ここで、RefPicListX[refIdxLX]は対象ブロックの参照ピクチャである。refIdxLX=0であ
ってもよい。つまり、利用可能な隣接ブロックの動きベクトルを、対象ピクチャCurPicとその参照ピクチャRefPicListX[refIdxLX]との時間情報、および、対象ピクチャとその隣
接ブロックの参照ピクチャとの時間情報の比を用いてスケーリングする。そして、スケーリングした動きベクトルの平均値を計算して初期ベクトルIMVに設定する。
smvAM = MvScale(mvAM,CurPic,RefAM,CurPic,RefPicListX[refIdxLX])
smvA = MvScale(mvA,CurPic,RefA,CurPic,RefPicListX[refIdxLX])
IMV = (smvLM+smvAM+smvA+1)/3
IRef = RefPicListX[refIdxLX]
ここで、RefPicListX[refIdxLX]は対象ブロックの参照ピクチャである。refIdxLX=0であ
ってもよい。つまり、利用可能な隣接ブロックの動きベクトルを、対象ピクチャCurPicとその参照ピクチャRefPicListX[refIdxLX]との時間情報、および、対象ピクチャとその隣
接ブロックの参照ピクチャとの時間情報の比を用いてスケーリングする。そして、スケーリングした動きベクトルの平均値を計算して初期ベクトルIMVに設定する。
(構成2)あるいは、スケーリングした動きベクトルの平均値ではなく、メディアンを初期ベクトルIMVに設定してもよい。
IMV = median(smvLM,smvAM,smvA)
IRef = RefPicListX[IMVの指す参照ピクチャ]
median(A0,A1,A2,...,AN)はA0、A1、A2、...、ANの中央値を導出する関数である。
IRef = RefPicListX[IMVの指す参照ピクチャ]
median(A0,A1,A2,...,AN)はA0、A1、A2、...、ANの中央値を導出する関数である。
本変形例では、全ての利用可能な隣接ブロックの動きベクトルを用いて初期ベクトルを導出するため、ノイズの影響を受けない安定した初期ベクトルを導出することができる。
(構成3)あるいは、別の方法として、空間隣接ブロックLM、AM、L、A、AR、BL、ALの参照ピクチャの中で、最も参照頻度の高い参照ピクチャを抽出し、初期参照ピクチャIRefに設定する。次に初期参照ピクチャIRefに等しい参照ピクチャを有する隣接ブロックをサーチ順にサーチし、最初に見つかった利用可能な隣接ブロックの動きベクトルを初期ベクトルIMVとしてもよい。
(構成4)あるいは、別の方法として、最も参照頻度の高い参照ピクチャを初期参照ピクチャIRefに設定する。そして、初期参照ピクチャIRefに等しい参照ピクチャを有する隣接ブロックの中で、利用可能な隣接ブロックの動きベクトルの平均値を初期ベクトルIMV
としてもよい。あるいは、初期参照ピクチャIRefを有する隣接ブロックの中で、利用可能な隣接ブロックの動きベクトルのメディアンを初期ベクトルIMVとしてもよい。
としてもよい。あるいは、初期参照ピクチャIRefを有する隣接ブロックの中で、利用可能な隣接ブロックの動きベクトルのメディアンを初期ベクトルIMVとしてもよい。
(構成5)あるいは、別の方法として、空間隣接ブロックLM、AM、L、A、AR、BL、ALの参照ピクチャの中で、RefPicListX[refIdxLX]を初期参照ピクチャIRefに設定する。refIdxLX=0であってもよい。初期ベクトルIMVの導出は、(構成1)〜(構成4)で説明した方法と同じである。
(構成3)〜(構成5)の初期参照ピクチャは、隣接ブロックで使われる頻度の高い参照ブロックや、参照ピクチャリストの中で先頭に位置する参照ピクチャであるので、対象ブロックの参照ピクチャでもある可能性が高く、その参照ピクチャを指す動きベクトルは対象ブロックの動きベクトルにより近いと考えられる。
(変形例5:複数ATMVP候補)
上記では、ATMVPのマージ候補リストに格納されるATMVPのマージ候補は1つであったが、変形例5では、マージ候補リストに複数のATMVPマージ候補を格納する。つまり、初期ベクトルを複数導出し、初期ベクトル毎にATMVPの動きベクトルを導出する。初期ベクトルからATMVPの動きベクトルを導出する方法は上記(ATMVPおよび変形例4の発明)と同じであるので、以下では初期ベクトルのサーチと導出方法のみ説明する。
上記では、ATMVPのマージ候補リストに格納されるATMVPのマージ候補は1つであったが、変形例5では、マージ候補リストに複数のATMVPマージ候補を格納する。つまり、初期ベクトルを複数導出し、初期ベクトル毎にATMVPの動きベクトルを導出する。初期ベクトルからATMVPの動きベクトルを導出する方法は上記(ATMVPおよび変形例4の発明)と同じであるので、以下では初期ベクトルのサーチと導出方法のみ説明する。
(構成6)空間隣接ブロックLM、AM、L、A、AR、BL、ALの順にサーチして、利用可能なNumIMV個の隣接ブロックを取得する。ここで、NumIMVは2以上の所定の整数である。NumIMV個の利用可能な隣接ブロックが見つかった場合、サーチを終了し、各々の隣接ブロックの動きベクトルを初期ベクトルIMV[k]、初期参照ピクチャをIRef[k](k=0..NumIMV-1)に設定する。初期ベクトルIMV[k]および初期参照ピクチャIRef[k](k=0..NumIMV-1)に対し、ステップ2〜ステップ4を実施してATMVPの動きベクトルspMvLX[k](k=0..NumIMV-1)を導出
する。そして、動きベクトルspMvLX[k] (k=0..NumIMV-1)とkをマージ候補リストmergeCandList[]に格納する。
する。そして、動きベクトルspMvLX[k] (k=0..NumIMV-1)とkをマージ候補リストmergeCandList[]に格納する。
mergeCandList[]={L,A,AR,BL,ATMVP[0],...,ATMVP[NumIMV-1],AL,TMVP,...}
マージ候補リストの一例を図19(b)に示す。
マージ候補リストの一例を図19(b)に示す。
(構成7)空間隣接ブロックを上側隣接ブロックAM、A、AR、ALと左側隣接ブロックLM
、L、BLに分けて、上側隣接ブロックと左側隣接ブロックから各々1つ初期ベクトルをサ
ーチする。上側隣接ブロックはAM、A、AR、ALの順にサーチして、最初に見つかった利用
可能な隣接ブロックの動きベクトルと参照ピクチャを、初期ベクトルと初期参照ピクチャに設定する。左側隣接ブロックはLM、L、BLの順にサーチして、最初に見つかった利用可
能な隣接ブロックの動きベクトルと参照ピクチャを、初期ベクトルと初期参照ピクチャに設定する。以降の処理は(構成6)と同じである。
、L、BLに分けて、上側隣接ブロックと左側隣接ブロックから各々1つ初期ベクトルをサ
ーチする。上側隣接ブロックはAM、A、AR、ALの順にサーチして、最初に見つかった利用
可能な隣接ブロックの動きベクトルと参照ピクチャを、初期ベクトルと初期参照ピクチャに設定する。左側隣接ブロックはLM、L、BLの順にサーチして、最初に見つかった利用可
能な隣接ブロックの動きベクトルと参照ピクチャを、初期ベクトルと初期参照ピクチャに設定する。以降の処理は(構成6)と同じである。
変形例5では、ATMVP用のマージ候補数を増やすことにより、空間隣接ブロックの動き
ベクトルとは異なる動きベクトルをマージ候補として複数追加することができる。そのため、マージ候補の選択肢が広がり、符号化効率を向上させることができる。
ベクトルとは異なる動きベクトルをマージ候補として複数追加することができる。そのため、マージ候補の選択肢が広がり、符号化効率を向上させることができる。
このように、ATMVPでは、対象ブロックの空間方向隣接ブロックの動きベクトルからコ
ロケートブロックを導出する。そして、コロケートブロックの動きベクトルから、ブロック単位で対象ブロックのマージ候補を導出することによって、隣接ブロックに存在しない新たな動きベクトルをマージ候補に追加することができる。これにより、対象ブロックのマージ候補の選択肢を増やし、符号化効率を向上させることができる。また、新たなマージ候補はサブブロック単位の動きベクトルではなく、ブロック単位の動きベクトルであるので、後段の予測画像生成部308では、予測画像生成に必要な処理量を小さく、参照ピク
チャメモリ306から転送される参照ピクチャに必要なメモリバンド幅も小さく抑えること
ができる。さらに、本願のATMVPは利用可能性を判定する時に、複数の隣接ブロックの中
で中央に位置するブロックを先行してスキャンする。これにより、対象ブロックにより近い特徴を持つ中央の隣接ブロックを優先してマージ候補に設定することができるため、符号化効率を向上させることができる。
ロケートブロックを導出する。そして、コロケートブロックの動きベクトルから、ブロック単位で対象ブロックのマージ候補を導出することによって、隣接ブロックに存在しない新たな動きベクトルをマージ候補に追加することができる。これにより、対象ブロックのマージ候補の選択肢を増やし、符号化効率を向上させることができる。また、新たなマージ候補はサブブロック単位の動きベクトルではなく、ブロック単位の動きベクトルであるので、後段の予測画像生成部308では、予測画像生成に必要な処理量を小さく、参照ピク
チャメモリ306から転送される参照ピクチャに必要なメモリバンド幅も小さく抑えること
ができる。さらに、本願のATMVPは利用可能性を判定する時に、複数の隣接ブロックの中
で中央に位置するブロックを先行してスキャンする。これにより、対象ブロックにより近い特徴を持つ中央の隣接ブロックを優先してマージ候補に設定することができるため、符号化効率を向上させることができる。
マージ候補導出部30361によって導出された上記マージ候補はマージ候補格納部30363に格納される。マージ候補リストmergeCandList[]に格納する順番は、例えば、空間マージ
候補、時間マージ候補、結合マージ候補、ゼロマージ候補、つまり{L,A,AR,BL,A,COL,COMB0,..,COMBM,Z0,Z1,…,ZM}である。なお、ATMVPの動きベクトルがない場合はマージ候
補リストに格納しない。
候補、時間マージ候補、結合マージ候補、ゼロマージ候補、つまり{L,A,AR,BL,A,COL,COMB0,..,COMBM,Z0,Z1,…,ZM}である。なお、ATMVPの動きベクトルがない場合はマージ候
補リストに格納しない。
マージ候補選択部30362は、マージ候補格納部30363に格納されたマージ候補リストに含まれるマージ候補のうち、パラメータ復号制御部3031から入力されたマージインデックスmerge_idxが割り当てられたマージ候補mergeCandList[merge_idx]を、対象ブロックのイ
ンター予測パラメータとして選択する。マージ候補選択部30362は選択したマージ候補を
予測パラメータメモリ307に記憶するとともに、予測画像生成部308に出力する。
ンター予測パラメータとして選択する。マージ候補選択部30362は選択したマージ候補を
予測パラメータメモリ307に記憶するとともに、予測画像生成部308に出力する。
図6(b)は、本実施形態に係るAMVP予測パラメータ導出部3032の構成を示す概略図である。AMVP予測パラメータ導出部3032は、ベクトル候補導出部3033とベクトル候補選択部3034、ベクトル候補格納部3035を備える。ベクトル候補導出部3033は、参照ピクチャインデックスrefIdxLXに基づいて予測パラメータメモリ307が記憶する復号済みの隣接ブロックの動きベクトルmvLXから予測ベクトル候補を導出し、ベクトル候補格納部3035の予測ベクトル候補リストmvpListLX[]に格納する。
ベクトル候補選択部3034は、予測ベクトル候補リストmvpListLX[]の予測ベクトル候補
のうち、予測ベクトルインデックスmvp_LX_idxが示す動きベクトルmvpListLX[mvp_LX_idx]を予測ベクトルmvpLXとして選択する。ベクトル候補選択部3034は選択した予測ベクトルmvpLXを加算部3038に出力する。
のうち、予測ベクトルインデックスmvp_LX_idxが示す動きベクトルmvpListLX[mvp_LX_idx]を予測ベクトルmvpLXとして選択する。ベクトル候補選択部3034は選択した予測ベクトルmvpLXを加算部3038に出力する。
なお、予測ベクトル候補は、対象ブロックから予め定めた範囲の復号済隣接ブロックの動きベクトルをスケーリングすることで導出される。なお、隣接ブロックは、対象ブロックに空間的に隣接するブロック、例えば、左ブロック、上ブロックの他、対象ブロックに時間的に隣接する領域、例えば、対象ブロックと同じ位置を含み、表示時刻が異なるブロックの予測パラメータから得られた領域を含む。
加算部3038は、AMVP予測パラメータ導出部3032から入力された予測ベクトルmvpLXとパ
ラメータ復号制御部3031から入力された差分ベクトルmvdLXを加算して動きベクトルmvLX
を算出する。加算部3038は、算出した動きベクトルmvLXを予測画像生成部308および予測
パラメータメモリ307に出力する。
ラメータ復号制御部3031から入力された差分ベクトルmvdLXを加算して動きベクトルmvLX
を算出する。加算部3038は、算出した動きベクトルmvLXを予測画像生成部308および予測
パラメータメモリ307に出力する。
mvLX[0] = mvpLX[0] + mvdLX[0]
mvLX[1] = mvpLX[1] + mvdLX[1]
パラメータ復号制御部3031は、サブブロック予測モードフラグsubPbMotionFlagをサブ
ブロック予測パラメータ導出部3037に出力する。サブブロック予測パラメータ導出部3037は、サブブロック予測モードフラグsubPbMotionFlagの値に応じて、ブロックを複数のサ
ブブロックに分割し、サブブロック単位で動きベクトルを導出する。すなわち、サブブロック予測モードでは、予測ブロックは4x4もしくは8x8という小さいブロック単位で予測される。サブブロック予測モードでは複数のサブブロックを集合(セット)にまとめ、当該集合毎に予測パラメータのシンタックス要素を符号化するため、ブロック単位で予測パラメータのシンタックス要素を符号化・復号するブロック予測モードに比べ、少ない符号量で多くのサブブロックの動き情報を使用することができる。
mvLX[1] = mvpLX[1] + mvdLX[1]
パラメータ復号制御部3031は、サブブロック予測モードフラグsubPbMotionFlagをサブ
ブロック予測パラメータ導出部3037に出力する。サブブロック予測パラメータ導出部3037は、サブブロック予測モードフラグsubPbMotionFlagの値に応じて、ブロックを複数のサ
ブブロックに分割し、サブブロック単位で動きベクトルを導出する。すなわち、サブブロック予測モードでは、予測ブロックは4x4もしくは8x8という小さいブロック単位で予測される。サブブロック予測モードでは複数のサブブロックを集合(セット)にまとめ、当該集合毎に予測パラメータのシンタックス要素を符号化するため、ブロック単位で予測パラメータのシンタックス要素を符号化・復号するブロック予測モードに比べ、少ない符号量で多くのサブブロックの動き情報を使用することができる。
詳細に説明すると、サブブロック予測パラメータ導出部3037は、図5(b)に示すように、サブブロック予測モードにてサブブロック予測を行う、時空間サブブロック予測部30371
、アフィン予測部30372、マッチング動き導出部30373、の少なくとも一つを備える。
、アフィン予測部30372、マッチング動き導出部30373、の少なくとも一つを備える。
(サブブロック予測モードフラグ)
ここで、動画像復号装置31、動画像符号化装置11(詳細は後述する)における、あるブロックの予測モードがサブブロック予測モードであるか否かを示すサブブロック予測モードフラグsubPbMotionFlagの導出方法について説明する。動画像復号装置31、動画像符号
化装置11は、空間サブブロック予測SSUB、時間サブブロック予測TSUB、アフィン予測AFFINE、マッチング動き導出MATのいずれを用いるかに基づいて、サブブロック予測モードフラグsubPbMotionFlagを導出する。たとえば、あるブロックで選択された予測モードをN(たとえばNは選択されたマージ候補を示すラベル)とした場合には、以下の式によりサブブロック予測モードフラグsubPbMotionFlagを導出してもよい。
ここで、動画像復号装置31、動画像符号化装置11(詳細は後述する)における、あるブロックの予測モードがサブブロック予測モードであるか否かを示すサブブロック予測モードフラグsubPbMotionFlagの導出方法について説明する。動画像復号装置31、動画像符号
化装置11は、空間サブブロック予測SSUB、時間サブブロック予測TSUB、アフィン予測AFFINE、マッチング動き導出MATのいずれを用いるかに基づいて、サブブロック予測モードフラグsubPbMotionFlagを導出する。たとえば、あるブロックで選択された予測モードをN(たとえばNは選択されたマージ候補を示すラベル)とした場合には、以下の式によりサブブロック予測モードフラグsubPbMotionFlagを導出してもよい。
subPbMotionFlag = (N==TSUB) || (N==SSUB) || (N==AFFINE) || (N==MAT)
また、動画像復号装置31、動画像符号化装置11は、空間サブブロック予測SSUB、時間サブブロック予測TSUB、アフィン予測AFFINE、マッチング動き導出MATのうち、一部の予測
を行う構成でもよい。すなわち、動画像復号装置31、動画像符号化装置11が空間サブブロック予測SSUB、アフィン予測AFFINEを行う構成である場合には、以下のようにサブブロック予測モードフラグsubPbMotionFlagを導出してもよい。
また、動画像復号装置31、動画像符号化装置11は、空間サブブロック予測SSUB、時間サブブロック予測TSUB、アフィン予測AFFINE、マッチング動き導出MATのうち、一部の予測
を行う構成でもよい。すなわち、動画像復号装置31、動画像符号化装置11が空間サブブロック予測SSUB、アフィン予測AFFINEを行う構成である場合には、以下のようにサブブロック予測モードフラグsubPbMotionFlagを導出してもよい。
subPbMotionFlag = (N==SSUB) || (N==AFFINE)
(サブブロック予測部)
次に、サブブロック予測部について説明する。
(サブブロック予測部)
次に、サブブロック予測部について説明する。
(時空間サブブロック予測部30371)
時空間サブブロック予測部30371は、時間的に対象ブロックに隣接する参照画像上(た
とえば直前のピクチャ)のブロックの動きベクトル、もしくは、空間的に対象ブロックに隣接するブロックの動きベクトルから、対象ブロックを分割して得られるサブブロックの動きベクトルを導出する。具体的には、対象ブロックが参照する参照ピクチャに合わせて、参照画像上のブロックの動きベクトルをスケーリングすることにより、対象ブロック中の各サブブロックの動きベクトルspMvLX[xi][yi] (xi=xPb+sbW*i, yj=yPb+sbH*j, i=0,1,2,・・・,bW/sbW-1、j=0,1,2,・・・,bH/sbH-1)を導出する(時間サブブロック予測)。
ここで、(xPb,yPb)は対象ブロックの左上座標、bW、bHは対象ブロックのサイズ、sbW、sbHはサブブロックの幅と高さである。
時空間サブブロック予測部30371は、時間的に対象ブロックに隣接する参照画像上(た
とえば直前のピクチャ)のブロックの動きベクトル、もしくは、空間的に対象ブロックに隣接するブロックの動きベクトルから、対象ブロックを分割して得られるサブブロックの動きベクトルを導出する。具体的には、対象ブロックが参照する参照ピクチャに合わせて、参照画像上のブロックの動きベクトルをスケーリングすることにより、対象ブロック中の各サブブロックの動きベクトルspMvLX[xi][yi] (xi=xPb+sbW*i, yj=yPb+sbH*j, i=0,1,2,・・・,bW/sbW-1、j=0,1,2,・・・,bH/sbH-1)を導出する(時間サブブロック予測)。
ここで、(xPb,yPb)は対象ブロックの左上座標、bW、bHは対象ブロックのサイズ、sbW、sbHはサブブロックの幅と高さである。
また、隣接ブロックの動きベクトルと対象ブロックを分割して得られるサブブロックとの距離に応じて、加重平均を計算することで、各サブブロックの動きベクトルspMvLX[xi][yi] (xi=xPb+sbW*i, yj=yPb+sbH*j, i=0,1,2,…,bW/sbW-1、j=0,1,2,…,bH/sbH-1)を導
出してもよい(空間サブブロック予測)。
出してもよい(空間サブブロック予測)。
上記、時間サブブロック予測の候補TSUB、空間サブブロック予測の候補SSUBを、マージモードの一つのモード(マージ候補)として選択する。
(アフィン予測部)
アフィン予測部30372は対象ブロックのアフィン予測パラメータを導出する。本実施形
態では、アフィン予測パラメータとして、対象ブロックの2つの制御点(V0、V1)の動きベクトル(mv0_x,mv0_y)(mv1_x,mv1_y)を導出する。具体的には、対象ブロックの隣接ブロックの動きベクトルから予測することにより、各制御点の動きベクトルを導出してもよいし、制御点の動きベクトルとして導出された予測ベクトルと符号化データから導出される差分ベクトルの和により、各制御点の動きベクトルを導出してもよい。
アフィン予測部30372は対象ブロックのアフィン予測パラメータを導出する。本実施形
態では、アフィン予測パラメータとして、対象ブロックの2つの制御点(V0、V1)の動きベクトル(mv0_x,mv0_y)(mv1_x,mv1_y)を導出する。具体的には、対象ブロックの隣接ブロックの動きベクトルから予測することにより、各制御点の動きベクトルを導出してもよいし、制御点の動きベクトルとして導出された予測ベクトルと符号化データから導出される差分ベクトルの和により、各制御点の動きベクトルを導出してもよい。
図7は、対象ブロック(bW×bH)を構成する各サブブロックの動きベクトルspMvLXを、
制御点V0の動きベクトル(mv0_x,mv0_y)およびV1の動きベクトル(mv1_x,mv1_y)から導出する例を示す図である。各サブブロックの動きベクトルspMvLXは、図7に示すように、各サ
ブブロックの中心に位置する点毎の動きベクトルとして導出される。
制御点V0の動きベクトル(mv0_x,mv0_y)およびV1の動きベクトル(mv1_x,mv1_y)から導出する例を示す図である。各サブブロックの動きベクトルspMvLXは、図7に示すように、各サ
ブブロックの中心に位置する点毎の動きベクトルとして導出される。
アフィン予測部30372は対象ブロックのアフィン予測パラメータに基づいて、対象ブロ
ック中の各サブブロックの動きベクトルspMvLX[xi][yi] (xi=xPb+sbW*i, yj=yPb+sbH*j, i=0,1,2,…,bW/sbW-1、j=0,1,2,…,bH/sbH-1)を下記の式を用いて、導出する。
ック中の各サブブロックの動きベクトルspMvLX[xi][yi] (xi=xPb+sbW*i, yj=yPb+sbH*j, i=0,1,2,…,bW/sbW-1、j=0,1,2,…,bH/sbH-1)を下記の式を用いて、導出する。
spMvLX[xi][yi][0] = mv0_x+(mv1_x-mv0_x)/bW*(xi+sbW/2)-(mv1_y-mv0_y)/bH*(yi+sbH/2)
spMvLX[xi][yi][1] = mv0_y+(mv1_y-mv0_y)/bW*(xi+sbW/2)+(mv1_x-mv0_x)/bH*(yi+sbH
/2)
(マッチング動き導出部30373)
マッチング動き導出部30373は、バイラテラルマッチング(Bilateral matching)また
はテンプレートマッチング(Template matching)の何れかのマッチング処理を行うこと
により、サブブロックの動きベクトルspMvLXを導出する。図8は、(a)バイラテラルマッチング、(b)テンプレートマッチングを説明するための図である。マッチング動き導出モー
ドはマージ候補の一つ(マッチング候補)として選択される。
spMvLX[xi][yi][1] = mv0_y+(mv1_y-mv0_y)/bW*(xi+sbW/2)+(mv1_x-mv0_x)/bH*(yi+sbH
/2)
(マッチング動き導出部30373)
マッチング動き導出部30373は、バイラテラルマッチング(Bilateral matching)また
はテンプレートマッチング(Template matching)の何れかのマッチング処理を行うこと
により、サブブロックの動きベクトルspMvLXを導出する。図8は、(a)バイラテラルマッチング、(b)テンプレートマッチングを説明するための図である。マッチング動き導出モー
ドはマージ候補の一つ(マッチング候補)として選択される。
図8(a)に示すように、バイラテラルマッチングでは、対象ピクチャCurPicにおけるサブブロックCurBLKの動きベクトルを導出するために、2枚の参照画像Ref0、Ref1が参照される。具体的には、まず、サブブロックCurBLKの左上座標を(xPb,yPb)と表現した時、参
照ピクチャインデックスrefIdxL0によって指定される参照画像Ref0内の領域であって、
(xPos0,yPos0)=(xPb+mvL0[0],yPb+mvL0[1])
によって特定される左上座標(xPos0,yPos0)を有するBlock_Aと、例えば参照ピクチャインデックスrefIdxL1によって指定される参照画像Ref1の領域であって、動きベクトル(mvL1[0],mvL1[1])によって特定される左上座標(xPos1,yPos1)を有するBlock_Bとが設定
される。L1の動きベクトルmvL1[]はL0ベクトルmvL0[]のスケーリングで導出しても良い。
照ピクチャインデックスrefIdxL0によって指定される参照画像Ref0内の領域であって、
(xPos0,yPos0)=(xPb+mvL0[0],yPb+mvL0[1])
によって特定される左上座標(xPos0,yPos0)を有するBlock_Aと、例えば参照ピクチャインデックスrefIdxL1によって指定される参照画像Ref1の領域であって、動きベクトル(mvL1[0],mvL1[1])によって特定される左上座標(xPos1,yPos1)を有するBlock_Bとが設定
される。L1の動きベクトルmvL1[]はL0ベクトルmvL0[]のスケーリングで導出しても良い。
(xPos1,yPos1) = (xPb+mvL1[0],yPb+mvL1[1])
ここで、
mvL1[0] = MvScale(mvL0[1], CurPic,Ref0,CurPic,Ref1)
mvL1[1] = MvScale(mvL1[1], CurPic,Ref0,CurPic,Ref1)
そして、Block_AとBlock_Bとのマッチングコストが最小となるように導出された(MV0_x,MV0_y)をもとに、サブブロック毎に動きベクトルspMvL0を導出する。
ここで、
mvL1[0] = MvScale(mvL0[1], CurPic,Ref0,CurPic,Ref1)
mvL1[1] = MvScale(mvL1[1], CurPic,Ref0,CurPic,Ref1)
そして、Block_AとBlock_Bとのマッチングコストが最小となるように導出された(MV0_x,MV0_y)をもとに、サブブロック毎に動きベクトルspMvL0を導出する。
マッチング予測では対象ブロックの初期ベクトルを導出する(初期ベクトルサーチ)。次に、初期ベクトルを中心とする局所領域をさらにサーチし、マッチングコストが最小となるベクトルを、最終的な対象ブロックのブロックレベルの動きベクトルとする(ローカルサーチ)。
続いて、各サブブロックの初期ベクトルを導出する(初期ベクトルサーチ)。次に、サブブロックの初期ベクトルを中心とする局所領域でステップサーチ等を行い、マッチングコストが最小となるベクトルをサブブロックの動きベクトルとして導出する(ローカルサーチ)。
一方、図8(b)は、テンプレートマッチングを説明する図である。テンプレートマッチングでは、対象ブロックの隣接領域Temp_Cur(テンプレート)と参照ピクチャ上の参照ブロックの隣接領域Temp_L0とのマッチングにより動きベクトルを導出する。
より具体的には、例えば、参照ピクチャインデックスrefIdxL0によって指定される参照画像Ref0の領域であって、
(xPos0,yPos0)=(xPb+mvL0[0],yPb+mvL0[1])
を左上座標(xPos0,yPos0)とする参照ブロックBlock_Aが設定される。次に、対象ピクチャCurPicにおいて対象ブロックCurBLKに隣接したテンプレート領域Temp_Curと、参照ピクチャRef0においてBlock_Aに隣接したテンプレート領域Temp_L0とが設定される。図8(b)では、テンプレート領域Temp_Curは、対象ブロックCurBLKの上側及び左側に隣接する領域とから構成されている。また、テンプレート領域Temp_L0は、Block_Aの上側及び左側に隣接する領域とから構成されている。
(xPos0,yPos0)=(xPb+mvL0[0],yPb+mvL0[1])
を左上座標(xPos0,yPos0)とする参照ブロックBlock_Aが設定される。次に、対象ピクチャCurPicにおいて対象ブロックCurBLKに隣接したテンプレート領域Temp_Curと、参照ピクチャRef0においてBlock_Aに隣接したテンプレート領域Temp_L0とが設定される。図8(b)では、テンプレート領域Temp_Curは、対象ブロックCurBLKの上側及び左側に隣接する領域とから構成されている。また、テンプレート領域Temp_L0は、Block_Aの上側及び左側に隣接する領域とから構成されている。
このテンプレートを用いて、対象ブロックにおけるブロックレベルの初期ベクトル候補
の中から、マッチングコストが最小となるベクトルを初期ベクトルとしてセットする。次に、初期ベクトルを中心とする局所領域をさらにサーチし、マッチングコストが最小となるベクトルを最終的な対象ブロックの動きベクトルとする(ローカルサーチ)。
の中から、マッチングコストが最小となるベクトルを初期ベクトルとしてセットする。次に、初期ベクトルを中心とする局所領域をさらにサーチし、マッチングコストが最小となるベクトルを最終的な対象ブロックの動きベクトルとする(ローカルサーチ)。
続いて、各サブブロックのテンプレートを取得し、各サブブロックの初期ベクトル候補から、初期ベクトルを導出する(初期ベクトルサーチ)。次に、サブブロックの初期ベクトルを中心とする局所領域でステップサーチ等を行う。そして、サブブロックの初期ベクトル付近のベクトル候補のマッチングコストを導出し、最小となるベクトルをサブブロックの動きベクトルとして導出する(ローカルサーチ)。
ループフィルタ305は、符号化ループ内に設けたフィルタで、ブロック歪やリンギング
歪を除去し、画質を改善するフィルタである。ループフィルタ305は、加算部312が生成したCUの復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット(SAO)、適
応ループフィルタ(ALF)等のフィルタを施す。
歪を除去し、画質を改善するフィルタである。ループフィルタ305は、加算部312が生成したCUの復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット(SAO)、適
応ループフィルタ(ALF)等のフィルタを施す。
参照ピクチャメモリ306は、加算部312が生成したCUの復号画像を、対象ピクチャ及び対象CU毎に予め定めた位置に記憶する。
予測パラメータメモリ307は、復号対象のCTUあるいはCU毎に予め定めた位置に予測パラメータを記憶する。具体的には、予測パラメータメモリ307は、パラメータ復号部302が復号したパラメータ及びエントロピー復号部301が分離した予測モードpredMode等を記憶す
る。
る。
予測画像生成部308には、予測モードpredMode、予測パラメータ等が入力される。また
、予測画像生成部308は、参照ピクチャメモリ306から参照ピクチャを読み出す。予測画像生成部308は、予測モードpredModeが示す予測モードで、予測パラメータと読み出した参
照ピクチャ(参照ピクチャブロック)を用いてブロックもしくはサブブロックの予測画像を生成する。ここで、参照ピクチャブロックとは、参照ピクチャ上の画素の集合(通常矩形であるのでブロックと呼ぶ)であり、予測画像を生成するために参照する領域である。
、予測画像生成部308は、参照ピクチャメモリ306から参照ピクチャを読み出す。予測画像生成部308は、予測モードpredModeが示す予測モードで、予測パラメータと読み出した参
照ピクチャ(参照ピクチャブロック)を用いてブロックもしくはサブブロックの予測画像を生成する。ここで、参照ピクチャブロックとは、参照ピクチャ上の画素の集合(通常矩形であるのでブロックと呼ぶ)であり、予測画像を生成するために参照する領域である。
(インター予測画像生成部309)
予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部309は
、インター予測パラメータ復号部303から入力されたインター予測パラメータと読み出し
た参照ピクチャを用いてインター予測によりブロックもしくはサブブロックの予測画像を生成する。
予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部309は
、インター予測パラメータ復号部303から入力されたインター予測パラメータと読み出し
た参照ピクチャを用いてインター予測によりブロックもしくはサブブロックの予測画像を生成する。
図9は、本実施形態に係る予測画像生成部308に含まれるインター予測画像生成部309の
構成を示す概略図である。インター予測画像生成部309は、動き補償部(予測画像生成装
置)3091、重み予測部3094を含んで構成される。
構成を示す概略図である。インター予測画像生成部309は、動き補償部(予測画像生成装
置)3091、重み予測部3094を含んで構成される。
(動き補償)
動き補償部3091は、インター予測パラメータ復号部303から入力された、インター予測
パラメータ(予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLX)に基づいて、参照ピクチャメモリ306から、参照ピクチャインデックスrefIdxLXで指定された参照ピクチャRefLXにおける、対象ブロック(あるいは対象サブブロック)の位置を起点として動きベクトルmvLX(あるいはspMvLX)だけシフトした位置にある領域を読み出すことによって補間画像(動き補償画像)を生成する。ここで、動きベクトルmvLX(あるいはspMvLX)の精度が整数精度でない場合には、動き補償フィルタと呼ばれる小数位置の画素を生成するためのフィルタを施して、動き補償画像を生成する。
動き補償部3091は、インター予測パラメータ復号部303から入力された、インター予測
パラメータ(予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLX)に基づいて、参照ピクチャメモリ306から、参照ピクチャインデックスrefIdxLXで指定された参照ピクチャRefLXにおける、対象ブロック(あるいは対象サブブロック)の位置を起点として動きベクトルmvLX(あるいはspMvLX)だけシフトした位置にある領域を読み出すことによって補間画像(動き補償画像)を生成する。ここで、動きベクトルmvLX(あるいはspMvLX)の精度が整数精度でない場合には、動き補償フィルタと呼ばれる小数位置の画素を生成するためのフィルタを施して、動き補償画像を生成する。
動き補償部3091は、まず、予測ブロック内座標(x,y)に対応する整数位置(xInt,yInt)および位相(xFrac,yFrac)を以下の式で導出する。
xInt = xPb+(mvLX[0]>>(log2(MVBIT)))+x
xFrac = mvLX[0]&(MVBIT-1)
yInt = yPb+(mvLX[1]>>(log2(MVBIT)))+y
yFrac = mvLX[1]&(MVBIT-1)
ここで、(xPb,yPb)は、ブロックの場合はbW*bHサイズのブロックの左上座標、x=0…bW-1
、y=0…bH-1であり、サブブロックの場合はsbW*sbHサイズのサブブロックの左上座標、x=0…sbW-1、y=0…sbH-1であり、MVBITは、動きベクトルmvLXの精度(1/MVBIT画素精度)を示す。
xFrac = mvLX[0]&(MVBIT-1)
yInt = yPb+(mvLX[1]>>(log2(MVBIT)))+y
yFrac = mvLX[1]&(MVBIT-1)
ここで、(xPb,yPb)は、ブロックの場合はbW*bHサイズのブロックの左上座標、x=0…bW-1
、y=0…bH-1であり、サブブロックの場合はsbW*sbHサイズのサブブロックの左上座標、x=0…sbW-1、y=0…sbH-1であり、MVBITは、動きベクトルmvLXの精度(1/MVBIT画素精度)を示す。
動き補償部3091は、参照ピクチャrefImgに補間フィルタを用いて水平補間処理を行うことで、一時的画像temp[][]を導出する。以下のΣはk=0..NTAP-1のkに関する和、shift1は値のレンジを調整する正規化パラメータ、offset1=1<<(shift1-1)である。
temp[x][y] = (ΣmcFilter[xFrac][k]*refImg[xInt+k-NTAP/2+1][yInt]+offset1)>>shift1
続いて、動き補償部3091は、一時的画像temp[][]を垂直補間処理により、補間画像Pred[][]を導出する。以下のΣはk=0..NTAP-1のkに関する和、shift2は値のレンジを調整する正規化パラメータ、offset2=1<<(shift2-1)である。
続いて、動き補償部3091は、一時的画像temp[][]を垂直補間処理により、補間画像Pred[][]を導出する。以下のΣはk=0..NTAP-1のkに関する和、shift2は値のレンジを調整する正規化パラメータ、offset2=1<<(shift2-1)である。
Pred[x][y] = (ΣmcFilter[yFrac][k]*temp[x][y+k-NTAP/2+1]+offset2)>>shift2
なお、双予測の場合は、上記のPred[][]をL0リスト、L1リスト毎に導出し(補間画像PredL0[][]とPredL1[][]と呼ぶ)、補間画像PredL0[][]と補間画像PredL1[][]から補間画像Pred[][]を生成する。
なお、双予測の場合は、上記のPred[][]をL0リスト、L1リスト毎に導出し(補間画像PredL0[][]とPredL1[][]と呼ぶ)、補間画像PredL0[][]と補間画像PredL1[][]から補間画像Pred[][]を生成する。
(重み予測)
重み予測部3094は、動き補償画像PredLXに重み係数を乗算することによりブロックの予測画像を生成する。予測リスト利用フラグの一方(predFlagL0もしくはpredFlagL1)が1(単予測)、かつ、重み予測を用いない場合、動き補償画像PredLX(LXはL0もしくはL1)を画素ビット数bitDepthに合わせる以下の式の処理を行う。
重み予測部3094は、動き補償画像PredLXに重み係数を乗算することによりブロックの予測画像を生成する。予測リスト利用フラグの一方(predFlagL0もしくはpredFlagL1)が1(単予測)、かつ、重み予測を用いない場合、動き補償画像PredLX(LXはL0もしくはL1)を画素ビット数bitDepthに合わせる以下の式の処理を行う。
Pred[x][y] = Clip3(0,(1<<bitDepth)-1,(PredLX[x][y]+offset1)>>shift1)
ここで、shift1=14-bitDepth、offset1=1<<(shift1-1)である。
また、参照リスト利用フラグの両者(predFlagL0とpredFlagL1)が1(双予測BiPred)、かつ、重み予測を用いない場合、動き補償画像PredL0、PredL1を平均し画素ビット数に合わせる以下の式の処理を行う。
ここで、shift1=14-bitDepth、offset1=1<<(shift1-1)である。
また、参照リスト利用フラグの両者(predFlagL0とpredFlagL1)が1(双予測BiPred)、かつ、重み予測を用いない場合、動き補償画像PredL0、PredL1を平均し画素ビット数に合わせる以下の式の処理を行う。
Pred[x][y] = Clip3(0,(1<<bitDepth)-1,(PredL0[x][y]+PredL1[x][y]+offset2)>>shift2)
ここで、shift2=15-bitDepth、offset2=1<<(shift2-1)である。
ここで、shift2=15-bitDepth、offset2=1<<(shift2-1)である。
さらに、単予測、かつ、重み予測を行う場合、重み予測部3094は重み予測係数w0とオフセットo0を符号化データから導出し、以下の式の処理を行う。
Pred[x][y] = Clip3(0,(1<<bitDepth)-1,((PredLX[x][y]*w0+2^(log2WD-1))>>log2WD)+o0)
ここで、log2WDは所定のシフト量を示す変数である。
ここで、log2WDは所定のシフト量を示す変数である。
さらに、双予測BiPred、かつ、重み予測を行う場合、重み予測部3094は重み予測係数w0、w1、o0、o1を符号化データから導出し、以下の式の処理を行う。
Pred[x][y] = Clip3(0,(1<<bitDepth)-1,(PredL0[x][y]*w0+PredL1[x][y]*w1+((o0+o1+1)<<log2WD))>>(log2WD+1))
インター予測画像生成部309は生成したブロックの予測画像を加算部312に出力する。
インター予測画像生成部309は生成したブロックの予測画像を加算部312に出力する。
逆量子化・逆変換部311は、エントロピー復号部301から入力された量子化変換係数を逆量子化して変換係数を求める。この量子化変換係数は、符号化処理において、予測誤差に対してDCT(Discrete Cosine Transform、離散コサイン変換)、DST(Discrete Sine Transform、離散サイン変換)、KLT(Karyhnen Loeve Transform、カルーネンレーベ変換)等の周波数変換を行い量子化して得られる係数である。逆量子化・逆変換部311は、求めた変換係数について逆DCT、逆DST、逆KLT等の逆周波数変換を行い、予測誤差を算出する。逆量子化・逆変換部311は予測誤差を加算部312に出力する。
加算部312は、予測画像生成部308から入力されたブロックの予測画像と逆量子化・逆変換部311から入力された予測誤差を画素毎に加算して、ブロックの復号画像を生成する。
加算部312はブロックの復号画像を参照ピクチャメモリ306に記憶し、また、ループフィルタ305に出力する。
加算部312はブロックの復号画像を参照ピクチャメモリ306に記憶し、また、ループフィルタ305に出力する。
(動画像符号化装置の構成)
次に、本実施形態に係る動画像符号化装置11の構成について説明する。図10は、本実施形態に係る動画像符号化装置11の構成を示すブロック図である。動画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ(予測パラメータ記憶部、フレームメモリ)108、参照ピクチャメモリ(参照画像記憶部、フレームメモリ)109、符号化パラメータ決定部110、パラメータ符号化部111、エントロピー符号化部104を含んで構成される。
次に、本実施形態に係る動画像符号化装置11の構成について説明する。図10は、本実施形態に係る動画像符号化装置11の構成を示すブロック図である。動画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ(予測パラメータ記憶部、フレームメモリ)108、参照ピクチャメモリ(参照画像記憶部、フレームメモリ)109、符号化パラメータ決定部110、パラメータ符号化部111、エントロピー符号化部104を含んで構成される。
予測画像生成部101は画像Tの各ピクチャを分割した領域であるCU毎に予測画像を生成
する。予測画像生成部101は既に説明した予測画像生成部308と同じ動作であり、説明を省略する。
する。予測画像生成部101は既に説明した予測画像生成部308と同じ動作であり、説明を省略する。
減算部102は、予測画像生成部101から入力されたブロックの予測画像の画素値を、画像Tの画素値から減算して予測誤差を生成する。減算部102は予測誤差を変換・量子化部103に出力する。
変換・量子化部103は、減算部102から入力された予測誤差に対し、周波数変換によって変換係数を算出し、量子化によって量子化変換係数を導出する。変換・量子化部103は、
量子化変換係数をエントロピー符号化部104及び逆量子化・逆変換部105に出力する。
量子化変換係数をエントロピー符号化部104及び逆量子化・逆変換部105に出力する。
逆量子化・逆変換部105は、動画像復号装置31における逆量子化・逆変換部311(図4)
と同じであり、説明を省略する。算出した予測誤差は加算部106に出力される。
と同じであり、説明を省略する。算出した予測誤差は加算部106に出力される。
エントロピー符号化部104には、変換・量子化部103から量子化変換係数が入力され、パラメータ符号化部111から符号化パラメータが入力される。符号化パラメータには、例え
ば、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、予測モードpredMode、及びマージインデックスmerge_idx等の符号がある。
ば、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、予測モードpredMode、及びマージインデックスmerge_idx等の符号がある。
エントロピー符号化部104は、分割情報、予測パラメータ、量子化変換係数等をエント
ロピー符号化して符号化ストリームTeを生成し、出力する。
ロピー符号化して符号化ストリームTeを生成し、出力する。
パラメータ符号化部111は、インター予測パラメータ符号化部112とイントラ予測パラメータ符号化部113からなる。
(インター予測パラメータ符号化部の構成)
インター予測パラメータ符号化部112は、符号化パラメータ決定部110から入力された予測パラメータに基づいて、インター予測パラメータを導出する。インター予測パラメータ符号化部112は、インター予測パラメータ復号部303がインター予測パラメータを導出する構成と一部同一の構成を含む。
インター予測パラメータ符号化部112は、符号化パラメータ決定部110から入力された予測パラメータに基づいて、インター予測パラメータを導出する。インター予測パラメータ符号化部112は、インター予測パラメータ復号部303がインター予測パラメータを導出する構成と一部同一の構成を含む。
インター予測パラメータ符号化部112の構成について説明する。図11(a)に示すように、パラメータ符号化制御部1121、AMVP予測パラメータ導出部1122、減算部1123、サブブロック予測パラメータ導出部1125等を含んで構成される。パラメータ符号化制御部1121は、マージインデックス導出部11211とベクトル候補インデックス導出部11212を含む。マージインデックス導出部11211、ベクトル候補インデクス導出部11212、AMVP予測パラメータ導出部1122、サブブロック予測パラメータ導出部1125を総称して動きベクトル導出部(動きベクトル導出装置)と称してもよい。インター予測パラメータ符号化部112は、動きベクトル(mvLXあるいはsubMvLX)、参照ピクチャインデックスrefIdxLX、インター予測識別子inter_pred_idc、あるいはこれらを示す情報を予測画像生成部101に出力する。またインター予測パラメータ符号化部112は、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_lX_idx、差分ベクトルmvdLX、サブブロック予測モードフラグsubPbMotionFlagをエントロピー符号化部104に出力する。
マージインデックス導出部11211は、内部にマージ予測パラメータ導出部およびマージ
候補格納部を持ち、予測パラメータメモリ108から読み出したマージ候補のブロックから
マージ候補リストmergeCandList[]を導出する。マージ予測パラメータ導出部およびマー
ジ候補格納部は、図6(a)に示す、動画像復号部31のマージ予測パラメータ導出部30361お
よびマージ候補格納部30363と同じ処理を実施する。また、符号化パラメータ決定部110から入力された対象ブロックの動きベクトルと参照ピクチャインデックスを、マージ候補リストの動きベクトルと参照ピクチャインデックスと比較して、マージインデックスmerge_idxを導出し、エントロピー符号化部104に出力する。ベクトル候補インデックス導出部11212は、マージ候補リストmergeCandList[]とmerge_idxから予測ベクトルインデックスmvp_lX_idxを導出する。
候補格納部を持ち、予測パラメータメモリ108から読み出したマージ候補のブロックから
マージ候補リストmergeCandList[]を導出する。マージ予測パラメータ導出部およびマー
ジ候補格納部は、図6(a)に示す、動画像復号部31のマージ予測パラメータ導出部30361お
よびマージ候補格納部30363と同じ処理を実施する。また、符号化パラメータ決定部110から入力された対象ブロックの動きベクトルと参照ピクチャインデックスを、マージ候補リストの動きベクトルと参照ピクチャインデックスと比較して、マージインデックスmerge_idxを導出し、エントロピー符号化部104に出力する。ベクトル候補インデックス導出部11212は、マージ候補リストmergeCandList[]とmerge_idxから予測ベクトルインデックスmvp_lX_idxを導出する。
AMVP予測パラメータ導出部1122は動きベクトルmvLXに基づいて予測ベクトルmvpLXを導
出する。AMVP予測パラメータ導出部1122は予測ベクトルmvpLXを減算部1123に出力する。
なお、参照ピクチャインデックスrefIdxLX及び予測ベクトルインデックスmvp_lX_idxは、エントロピー符号化部104に出力される。
出する。AMVP予測パラメータ導出部1122は予測ベクトルmvpLXを減算部1123に出力する。
なお、参照ピクチャインデックスrefIdxLX及び予測ベクトルインデックスmvp_lX_idxは、エントロピー符号化部104に出力される。
減算部1123は、符号化パラメータ決定部110から入力された動きベクトルmvLXから、AMVP予測パラメータ導出部1122の出力である予測ベクトルmvpLXを減算して差分ベクトルmvdLXを生成する。差分ベクトルmvdLXはエントロピー符号化部104に出力される。
サブブロック予測パラメータ導出部1125は、符号化パラメータ決定部110がサブブロッ
ク予測モードの使用を決定した場合、サブブロック予測の動きベクトルと参照ピクチャインデックスを導出する。動きベクトルと参照ピクチャインデックスは、動画像復号装置31の説明で述べたように、隣接ブロック、参照ピクチャブロック等の動きベクトル、参照ピクチャインデックスを予測パラメータメモリ108から読み出し、導出する。サブブロック
予測パラメータ導出部1125は、動画像復号装置31のサブブロック予測パラメータ導出部30
37と同様、図11(b)に示すように、時空間サブブロック予測部11251、アフィン予測部11252、マッチング動き導出部11253を有する。
ク予測モードの使用を決定した場合、サブブロック予測の動きベクトルと参照ピクチャインデックスを導出する。動きベクトルと参照ピクチャインデックスは、動画像復号装置31の説明で述べたように、隣接ブロック、参照ピクチャブロック等の動きベクトル、参照ピクチャインデックスを予測パラメータメモリ108から読み出し、導出する。サブブロック
予測パラメータ導出部1125は、動画像復号装置31のサブブロック予測パラメータ導出部30
37と同様、図11(b)に示すように、時空間サブブロック予測部11251、アフィン予測部11252、マッチング動き導出部11253を有する。
加算部106は、予測画像生成部101から入力されたブロックの予測画像の画素値と逆量子化・逆変換部105から入力された予測誤差を画素毎に加算して復号画像を生成する。加算
部106は生成した復号画像を参照ピクチャメモリ109に記憶する。
部106は生成した復号画像を参照ピクチャメモリ109に記憶する。
ループフィルタ107は加算部106が生成した復号画像に対し、デブロッキングフィルタ、SAO、ALFを施す。なお、ループフィルタ107は、必ずしも上記3種類のフィルタを含まな
くてもよく、例えばデブロッキングフィルタのみの構成であってもよい。
くてもよく、例えばデブロッキングフィルタのみの構成であってもよい。
予測パラメータメモリ108は、符号化パラメータ決定部110が生成した予測パラメータを、対象ピクチャ及びCU毎に予め定めた位置に記憶する。
参照ピクチャメモリ109は、ループフィルタ107が生成した復号画像を対象ピクチャ及びCU毎に予め定めた位置に記憶する。
符号化パラメータ決定部110は、符号化パラメータの複数のセットのうち、1つのセッ
トを選択する。符号化パラメータとは、上述したQT、BTあるいはTT分割情報、予測パラメータ、あるいはこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部101は、これらの符号化パラメータを用いて予測画像を生成する。
トを選択する。符号化パラメータとは、上述したQT、BTあるいはTT分割情報、予測パラメータ、あるいはこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部101は、これらの符号化パラメータを用いて予測画像を生成する。
符号化パラメータ決定部110は、複数のセットの各々について情報量の大きさと符号化
誤差を示すRDコスト値を算出する。RDコスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームTeの情報量である。二乗誤差は、減算部102において算出
された予測誤差の二乗和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部110は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部104は、選択した符号化パラメータのセットを符号化ストリームTeとして出力する。符号化パラメータ決定部110は決定した符号化パラメータを予測パラメータメモリ108に記憶する。
誤差を示すRDコスト値を算出する。RDコスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームTeの情報量である。二乗誤差は、減算部102において算出
された予測誤差の二乗和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部110は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部104は、選択した符号化パラメータのセットを符号化ストリームTeとして出力する。符号化パラメータ決定部110は決定した符号化パラメータを予測パラメータメモリ108に記憶する。
本発明の一態様に係るマージ候補導出装置は、対象ブロックの空間隣接ブロック、および、時間方向の隣接ブロック(コロケートブロック)の動きベクトルをもとに、対象ブロックのマージ候補を導出するマージ候補導出装置であって、対象ブロックの上側隣接ブロックを所定のサーチ順序でサーチし、最初に見つかった利用可能な隣接ブロック(動きベクトル、参照ピクチャ)を取得する第1の取得手段と、対象ブロックの左側隣接ブロックを所定のサーチ順序でサーチし、最初に見つかった利用可能な隣接ブロック(動きベクトル、参照ピクチャ)を取得する第2の取得手段と、対象ブロックの時間方向のコロケートブロックを所定の順序でサーチし、最初に見つかった利用可能な隣接ブロック(動きベクトル、参照ピクチャ)を取得する第3の取得手段と、利用可能な隣接ブロックがあれば、上側および左側隣接ブロックの動きベクトルに対し、対象ピクチャと隣接ブロックの参照ピクチャ間の時間的な距離と、対象ピクチャとその参照ピクチャ間の時間的な距離に応じて、前記隣接ブロックの動きベクトルをスケーリングする第1のスケーリング手段と、利用可能な隣接ブロックがあれば、コロケートブロックの動きベクトルに対し、コロケートピクチャとその参照ピクチャ間の時間的な距離と、対象ピクチャと参照ピクチャ間の時間的な距離に応じて、前記コロケートブロックの動きベクトルをスケーリングする第2のスケーリング手段と、スケーリングした各動きベクトルの平均値を算出し平均ベクトルを導出する平均ベクトル導出手段と、前記平均ベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段とを備えることを特徴とする。
本発明の一態様に係るマージ候補導出装置は、前記第1および第2の取得手段において、所定のサーチ順序は、対象ブロックの上側(左側)隣接ブロックの中央に位置する隣接ブロックからサーチを開始することを特徴とする。
本発明の一態様に係るマージ候補導出装置は、前記第1および第2の取得手段において、所定のサーチ順序には、対象ブロックの上側(左側)隣接ブロックの左端(上端)に位置する隣接ブロックが含まれることを特徴とする。
本発明の一態様に係るマージ候補導出装置において、前記サーチする隣接ブロックの個数は、所定の個数以下であることを特徴とする。
本発明の一態様に係るマージ候補導出装置において、前記サーチする隣接ブロックの個数は、対象ブロックのサイズに合わせて変更されることを特徴とする。
本発明の一態様に係るマージ候補導出装置において、前記隣接ブロックは、対象ブロックと1辺の一部を共有する隣接するブロックに加え、対象ブロックと1辺の一部を共有しない(対象ブロックサイズを超える位置の)非隣接ブロックを参照することを特徴とする。
本発明の一態様に係るマージ候補導出装置は、前記第1および第2の取得手段において、所定のサーチ順序は、対象ブロックの上側(左側)に位置する非隣接ブロックからサーチを開始し、サーチするブロックの中に隣接ブロックが含まれることを特徴とする。
本発明の一態様に係る動画像復号装置は、前記マージ候補導出装置と、前記マージ候補導出装置で導出した予測パラメータ、および、参照ピクチャメモリに格納された参照画像を用いて、予測画像を生成する予測画像生成装置とを備えることを特徴とする。
本発明の一態様に係る動画像符号化装置は、前記マージ候補導出装置と、前記マージ候補導出装置で導出した予測パラメータ、および、参照ピクチャメモリに格納された参照画像を用いて、予測画像を生成する予測画像生成装置とを備えることを特徴とする。
本発明の一態様に係る動画像復号装置は、前記マージ候補導出装置と、前記マージ候補導出装置で導出した予測パラメータ、および、参照ピクチャメモリに格納された参照画像を用いて、予測画像を生成する予測画像生成装置とを備えることを特徴とする。
本発明の一態様に係る動画像符号化装置は、前記マージ候補導出装置と、前記マージ候補導出装置で導出した予測パラメータ、および、参照ピクチャメモリに格納された参照画像を用いて、予測画像を生成する予測画像生成装置とを備えることを特徴とする。
本発明の一態様に係るマージ候補導出装置は、対象ブロックの空間隣接ブロックの動きベクトルをもとに、対象ブロックのマージ候補を導出するマージ候補導出装置であって、対象ブロックの上側および左側隣接ブロックの中央に位置する隣接ブロック(LM、AM)を含む隣接ブロックを所定の順序でサーチし、最初に見つかった利用可能な隣接ブロック(動きベクトル、参照ピクチャ)を取得する第1の取得手段と、取得された隣接ブロックの動きベクトルと参照ピクチャを、初期ベクトルと初期参照ピクチャに設定する第1の設定手段と、対象ブロックを初期ベクトルだけシフトさせた位置の初期参照ピクチャ上のコロケートブロック(動きベクトル、参照ピクチャ)を取得する第2の取得手段と、隣接ピクチャとコロケートブロックの参照ピクチャ間の時間的な距離と、対象ピクチャとその参照ピクチャ間の時間的な距離に応じて、前記コロケートブロックの動きベクトルをスケーリングする第1のスケーリング手段と、前記スケーリングした動きベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段とを備えることを特徴とする。
本発明の一態様に係るマージ候補導出装置は、前記第1の取得手段において、所定のサーチ順序は、前記中央に位置する隣接ブロックからサーチを開始することを特徴とする。
本発明の一態様に係るマージ候補導出装置は、前記第1の取得手段に替えて、対象ブロックの上側および左側隣接ブロックの中央に位置する隣接ブロックを含む隣接ブロックをサーチし、利用可能な全ての隣接ブロック(動きベクトル、参照ピクチャ)を取得する第3の取得手段と、利用可能な隣接ブロックの動きベクトルを、対象ピクチャとその参照ピクチャとの時間情報、および、対象ピクチャと隣接ブロックの参照ピクチャとの時間情報の比を用いてスケーリングする第2のスケーリング手段と、前記スケーリングした全ての動きベクトルの平均ベクトルを算出する平均ベクトル算出手段と、前記第1の設定手段に替えて、前記平均ベクトルと参照ピクチャを、初期ベクトルと初期参照ピクチャに設定する第2の設定手段とを備えたことを特徴とする。
本発明の一態様に係るマージ候補導出装置は、前記平均ベクトル算出手段に替えて、前記スケーリングした全ての動きベクトルのメディアンを算出する中央値算出手段と、前記第2の設定手段に替えて、前記動きベクトルのメディアンと参照ピクチャを、初期ベクトルと初期参照ピクチャに設定する第3の設定手段とを備えることを特徴とする。
本発明の一態様に係るマージ候補導出装置は、前記第1の取得手段に替えて、隣接ブロックの参照ピクチャの中で、最も参照頻度の高い参照ピクチャを抽出し、初期参照ピクチャに設定する第4の設定手段と、初期参照ピクチャに等しい参照ピクチャをもつ隣接ブロックを所定のサーチ順にサーチし、最初に見つかった利用可能な隣接ブロックの動きベクトルを初期ベクトルに設定する第5の設定手段とを備えることを特徴とする。
本発明の一態様に係るマージ候補導出装置は、前記第5の設定手段に替えて、初期参照ピクチャに等しい参照ピクチャをもつ隣接ブロックをサーチし、利用可能な全ての隣接ブロックの動きベクトルの平均値を算出し、初期ベクトルに設定する第6の設定手段とを備えることを特徴とする。
本発明の一態様に係るマージ候補導出装置は、前記第5の設定手段に替えて、初期参照ピクチャに等しい参照ピクチャをもつ隣接ブロックをサーチし、利用可能な全ての隣接ブロックの動きベクトルのメディアンを算出し、初期ベクトルに設定する第7の設定手段とを備えることを特徴とする。
本発明の一態様に係るマージ候補導出装置において、対象ピクチャの参照ピクチャの中は、参照ピクチャインデックスが0であることを特徴とする。
本発明の一態様に係るマージ候補導出装置は、対象ブロックの空間隣接ブロックの動きベクトルをもとに、対象ブロックのマージ候補を導出するマージ候補導出装置であって、対象ブロックの上側および左側隣接ブロックの中央に位置する隣接ブロック(LM、AM)を含む隣接ブロックを所定の順序でサーチし、利用可能な2つの隣接ブロック(動きベクトル、参照ピクチャ)を取得する第1の取得手段と、取得された2つの隣接ブロックの動きベクトルと参照ピクチャを、各々2つの初期ベクトルと初期参照ピクチャに設定する設定手段と、各初期ベクトルに対し、対象ブロックを初期ベクトルだけシフトさせた位置の初期参照ピクチャ上のコロケートブロック(動きベクトル、参照ピクチャ)を各々取得する第2の取得手段と、各初期ベクトルに対し、コロケートピクチャとその参照ピクチャ間の時間的な距離と、対象ピクチャとその参照ピクチャ間の時間的な距離に応じて、前記コロケートブロックの動きベクトルを各々スケーリングするスケーリング手段と、前記スケーリングした2つの動きベクトルの平均ベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段とを備えることを特徴とする。
本発明の一態様に係るマージ候補導出装置において、前記2つの初期ベクトルは、対象ブロックの上側隣接ブロックの中で利用可能な隣接ブロックの動きベクトルと、対象ブロックの左側隣接ブロックの中で利用可能な隣接ブロックの動きベクトルとであることを特徴とする。
なお、上述した実施形態における動画像符号化装置11、動画像復号装置31の一部、例えば、エントロピー復号部301、パラメータ復号部302、ループフィルタ305、予測画像生成
部308、逆量子化・逆変換部311、加算部312、予測画像生成部101、減算部102、変換・量
子化部103、エントロピー符号化部104、逆量子化・逆変換部105、ループフィルタ107、符号化パラメータ決定部110、パラメータ符号化部111をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、動画像符号化装置11、動画像復号装置31のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
部308、逆量子化・逆変換部311、加算部312、予測画像生成部101、減算部102、変換・量
子化部103、エントロピー符号化部104、逆量子化・逆変換部105、ループフィルタ107、符号化パラメータ決定部110、パラメータ符号化部111をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、動画像符号化装置11、動画像復号装置31のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
(ソフトウェアによる実現例)
また、上述した実施形態における動画像符号化装置11、動画像復号装置31の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。動画像符号化装置11、動画像復号装置31の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
また、上述した実施形態における動画像符号化装置11、動画像復号装置31の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。動画像符号化装置11、動画像復号装置31の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
〔応用例〕
上述した動画像符号化装置11及び動画像復号装置31は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
上述した動画像符号化装置11及び動画像復号装置31は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
まず、上述した動画像符号化装置11及び動画像復号装置31を、動画像の送信及び受信に利用できることを、図22を参照して説明する。
図22(a)は、動画像符号化装置11を搭載した送信装置PROD_Aの構成を示したブロック図
である。図22(a)に示すように、送信装置PROD_Aは、動画像を符号化することによって符
号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した動画像符号化装置11は、この符号化部PROD_A1として利用される。
である。図22(a)に示すように、送信装置PROD_Aは、動画像を符号化することによって符
号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した動画像符号化装置11は、この符号化部PROD_A1として利用される。
送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像
するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部A7を更に備えていて
もよい。図22(a)においては、これら全てを送信装置PROD_Aが備えた構成を例示している
が、一部を省略しても構わない。
するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部A7を更に備えていて
もよい。図22(a)においては、これら全てを送信装置PROD_Aが備えた構成を例示している
が、一部を省略しても構わない。
なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよい
し、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部(
不図示)を介在させるとよい。
し、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部(
不図示)を介在させるとよい。
図22(b)は、動画像復号装置31を搭載した受信装置PROD_Bの構成を示したブロック図で
ある。図22(b)に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した動画像復号装置31は、この復号部PROD_B3として利用される。
ある。図22(b)に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した動画像復号装置31は、この復号部PROD_B3として利用される。
受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示す
るディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図22(b)においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
るディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図22(b)においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであって
もよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から
取得した動画像を記録用の符号化方式に従って符号化する符号化部(不図示)を介在させるとよい。
もよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から
取得した動画像を記録用の符号化方式に従って符号化する符号化部(不図示)を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送(ここでは、送信先が予め特定されていない送信態様を指す)であってもよいし、通信(ここでは、送信先が予め特定されている送信態様を指す)であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を無線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局(放送設備など)/受信局(テレビジョン受像機など)は、変調信号を有線放送で送受信する送信装置PROD_A/受信装置PROD_Bの一例である。
また、インターネットを用いたVOD(Video On Demand)サービスや動画共有サービスなどのサーバ(ワークステーションなど)/クライアント(テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど)は、変調信号を通信で送受信する送信装置PROD_A/受信装置PROD_Bの一例である(通常、LANにおいては伝送媒体として無線または有線の何れかが用いられ、WANにおいては伝送媒体として有線が用いられる)。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データ
を復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。
を復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。
次に、上述した動画像符号化装置11及び動画像復号装置31を、動画像の記録及び再生に利用できることを、図23を参照して説明する。
図23(a)は、上述した動画像符号化装置11を搭載した記録装置PROD_Cの構成を示したブ
ロック図である。図23(a)に示すように、記録装置PROD_Cは、動画像を符号化することに
よって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した動画像符号化装置11
は、この符号化部PROD_C1として利用される。
ロック図である。図23(a)に示すように、記録装置PROD_Cは、動画像を符号化することに
よって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した動画像符号化装置11
は、この符号化部PROD_C1として利用される。
なお、記録媒体PROD_Mは、(1)HDD(Hard Disk Drive)やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSB(Universal Serial Bus)フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、(3)DVD(Digital Versatile Disc)やBD(Blu-ray(登録商標) Disc:登録商標)などのように、記録装置PROD_Cに内蔵されたドライブ装置(不図示)に装填されるものであってもよい。
また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像
を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部PROD_C6を更に備えていてもよい。図23(a)においては、これら全てを記録装置PROD_Cが備えた構成を
例示しているが、一部を省略しても構わない。
を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部PROD_C6を更に備えていてもよい。図23(a)においては、これら全てを記録装置PROD_Cが備えた構成を
例示しているが、一部を省略しても構わない。
なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし
、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部(不図示)を介在させるとよい。
、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部(不図示)を介在させるとよい。
このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD(Hard Disk Drive)レコーダなどが挙げられる(この場合、入力端子PROD_C4または受信部PROD_C5が動画像の主な供給源となる)。また、カムコーダ(この場合、カメラPROD_C3が動画像の主な供給源となる)、パーソナルコンピュータ(この場合、受信部PROD_C5または画像処理部C6が動画像の主な供給源となる)、スマートフォン(この場合、カメラPROD_C3または受信部PROD_C5が動画像の主な供給源となる)なども、このような記録装置PROD_Cの一例である。
図23(B)は、上述した動画像復号装置31を搭載した再生装置PROD_Dの構成を示したブロ
ックである。図23(b)に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた
符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した動画像復号
装置31は、この復号部PROD_D2として利用される。
ックである。図23(b)に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた
符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した動画像復号
装置31は、この復号部PROD_D2として利用される。
なお、記録媒体PROD_Mは、(1)HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、(2)SDメモリカードやUSBフラッシュメモリなどのよ
うに、再生装置PROD_Dに接続されるタイプのものであってもよいし、(3)DVDやBDなど
のように、再生装置PROD_Dに内蔵されたドライブ装置(不図示)に装填されるものであっ
てもよい。
うに、再生装置PROD_Dに接続されるタイプのものであってもよいし、(3)DVDやBDなど
のように、再生装置PROD_Dに内蔵されたドライブ装置(不図示)に装填されるものであっ
てもよい。
また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を
表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図23(b)においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図23(b)においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし
、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部(不図示)を介在させるとよい。
、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部(不図示)を介在させるとよい。
このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる(この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動
画像の主な供給先となる)。また、テレビジョン受像機(この場合、ディスプレイPROD_D3が動画像の主な供給先となる)、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる)、デスクトップ型PC(この場合、出力端子PROD_D4または送信部PROD_D5が動画像の主な供給先となる)、ラップトップ型またはタブレット型PC(この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる)、スマートフォン(この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる)なども、このような再生装置PROD_Dの一例である。
画像の主な供給先となる)。また、テレビジョン受像機(この場合、ディスプレイPROD_D3が動画像の主な供給先となる)、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる)、デスクトップ型PC(この場合、出力端子PROD_D4または送信部PROD_D5が動画像の主な供給先となる)、ラップトップ型またはタブレット型PC(この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる)、スマートフォン(この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる)なども、このような再生装置PROD_Dの一例である。
(ハードウェア的実現およびソフトウェア的実現)
また、上述した動画像復号装置31および動画像符号化装置11の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU
(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
また、上述した動画像復号装置31および動画像符号化装置11の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU
(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記
プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random
Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random
Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM(Compact Disc Read-Only Memory)/MOディスク(Magneto-Optical disc)/MD(Mini Disc)/DVD(Digital Versatile Disc)/CD-R(CD Recordable)/ブルーレイディスク(Blu-ray(登録商標) Disc:登録商標)等の光ディスクを含むディスク類、ICカード(メモリカードを含む
)/光カード等のカード類、マスクROM/EPROM(Erasable Programmable Read-Only Memory)/EEPROM(Electrically Erasable and Programmable Read-Only Memory:登録商標
)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
)/光カード等のカード類、マスクROM/EPROM(Erasable Programmable Read-Only Memory)/EEPROM(Electrically Erasable and Programmable Read-Only Memory:登録商標
)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを
伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN(Local Area Network)、ISDN(Integrated Services Digital Network)、VAN(Value-Added Network)、CATV(Community Antenna television/Cable Television)通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE(Institute of Electrical and Electronic Engineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDA(Infrared Data Association)やリモコンのような赤外線、BlueTooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(登録商標)(Digital Living Network Alliance:登録商標)、携帯電話網、衛星回線、地上デジタル放送網等の無線でも利用可能である。なお、本発明の実施形態は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN(Local Area Network)、ISDN(Integrated Services Digital Network)、VAN(Value-Added Network)、CATV(Community Antenna television/Cable Television)通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE(Institute of Electrical and Electronic Engineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDA(Infrared Data Association)やリモコンのような赤外線、BlueTooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(登録商標)(Digital Living Network Alliance:登録商標)、携帯電話網、衛星回線、地上デジタル放送網等の無線でも利用可能である。なお、本発明の実施形態は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明の実施形態は、画像データが符号化された符号化データを復号する動画像復号装置、および、画像データが符号化された符号化データを生成する動画像符号化装置に好適に適用することができる。また、動画像符号化装置によって生成され、動画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
31 動画像復号装置
30361 マージ候補導出部
30366 STMVP部
30367 ATMVP部
30368 MSMVP部
11 動画像符号化装置
30361 マージ候補導出部
30366 STMVP部
30367 ATMVP部
30368 MSMVP部
11 動画像符号化装置
Claims (16)
- 対象ブロックの空間近傍ブロックの動きベクトルをもとに、対象ブロックのマージ候補を導出するマージ候補導出装置において、
対象ブロックの第1近傍ブロックの動きベクトルから導出される動きベクトルと、第2隣接近傍ブロックから導出される動きベクトルの平均もしくは加重平均で導出される動きベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段とを備えることを特徴とするマージ候補導出装置。 - 対象ブロックの空間近傍ブロックの動きベクトルをもとに、対象ブロックのマージ候補を導出するマージ候補導出装置において、
対象ブロックの第1近傍ブロックを所定のサーチ順序でサーチし、最初に見つかった利用可能な近傍ブロックの第1動きベクトルと第1参照ピクチャを取得する第1の取得手段と、
対象ブロックの第2近傍ブロックを所定のサーチ順序でサーチし、最初に見つかった利用可能な近傍ブロックの第2動きベクトルと第2参照ピクチャを取得する第2の取得手段と、
上記第1動きベクトルと第2動きベクトルに対し、対象ピクチャと近傍ブロックの参照ピクチャ間の時間的な距離と、対象ピクチャとその参照ピクチャ間の時間的な距離に応じて、前記近傍ブロックの動きベクトルをスケーリングするスケーリング手段と、
スケーリングした第1動きベクトルと第2動きベクトルの平均値から代表ベクトルを導出する平均ベクトル導出手段と、
前記代表ベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段とを備えることを特徴とする請求項2に記載のマージ候補導出装置。 - 上記第1近傍ブロックは、対象ブロック(xPb, yPb)の右上方向に位置し、位置(xPb + wLng, yP - 1)、かつ、wLng > bWである長距離ポジションを含み、
上記第2近傍ブロックは、対象ブロック(xPb, yPb)の左下方向に位置し、位置(xPb - 1, yPb + hLng)、かつ、hLng > bHである長距離ポジションを含むことを特徴とする請求項1、2に記載のマージ候補導出装置。 - 上記第1近傍ブロックは、対象ブロック(xPb, yPb)の右上方向に位置し、位置(xPb + wLng, yP - 1)、かつ、wLng > 2*bWである長長距離ポジションを含み、
上記第2近傍ブロックは、対象ブロック(xPb, yPb)の左下方向に位置し、位置(xPb - 1, yPb + hLng)、かつ、hLng > 2*bHである長長距離ポジションを含むことを特徴とする請求項1、2に記載のマージ候補導出装置。 - 対象ブロックの空間隣接ブロック、および、時間方向の隣接ブロック(コロケートブロック)の動きベクトルをもとに、対象ブロックのマージ候補を導出するマージ候補導出装置において、
対象ブロックの上側隣接ブロックを所定のサーチ順序でサーチし、最初に見つかった利用可能な隣接ブロック(動きベクトル、参照ピクチャ)を取得する第1の取得手段と、
対象ブロックの左側隣接ブロックを所定のサーチ順序でサーチし、最初に見つかった利用可能な隣接ブロック(動きベクトル、参照ピクチャ)を取得する第2の取得手段と、
対象ブロックの時間方向のコロケートブロックを所定の順序でサーチし、最初に見つかった利用可能な隣接ブロック(動きベクトル、参照ピクチャ)を取得する第3の取得手段と、
利用可能な隣接ブロックがあれば、上側および左側隣接ブロックの動きベクトルに対し、対象ピクチャと隣接ブロックの参照ピクチャ間の時間的な距離と、対象ピクチャとその参照ピクチャ間の時間的な距離に応じて、前記隣接ブロックの動きベクトルをスケーリン
グする第1のスケーリング手段と、
利用可能な隣接ブロックがあれば、コロケートブロックの動きベクトルに対し、コロケートピクチャとその参照ピクチャ間の時間的な距離と、対象ピクチャと参照ピクチャ間の時間的な距離に応じて、前記コロケートブロックの動きベクトルをスケーリングする第2のスケーリング手段と、
スケーリングした各動きベクトルの平均値を算出し平均ベクトルを導出する平均ベクトル導出手段と、
前記平均ベクトルをマージ候補の動きベクトルとして、マージ候補リストに格納する格納手段とを備えることを特徴とするマージ候補導出装置。 - 前記第1および第2の取得手段において、所定のサーチ順序は、対象ブロックの上側(左側)隣接ブロックの中央に位置する隣接ブロックからサーチを開始することを特徴とする請求項1に記載のマージ候補導出装置。
- 前記第1および第2の取得手段において、所定のサーチ順序には、対象ブロックの上側(左側)隣接ブロックの左端(上端)に位置する隣接ブロックが含まれることを特徴とする請求項2に記載のマージ候補導出装置。
- 前記サーチする隣接ブロックの個数は、所定の個数以下であることを特徴とする請求項5〜7に記載のマージ候補導出装置。
- 前記サーチする隣接ブロックの個数は、対象ブロックのサイズに合わせて変更されることを特徴とする請求項5〜7に記載のマージ候補導出装置。
- 前記隣接ブロックは、対象ブロックと1辺の一部を共有する隣接するブロックに加え、対象ブロックと1辺の一部を共有しない(対象ブロックサイズを超える位置の)非隣接ブロックを参照することを特徴とする請求項5に記載のマージ候補導出装置。
- 上記非隣接ブロックは、対象ブロック(xPb, yPb)の右上方向に位置し、位置(xPb + wLng, yP - 1)、かつ、wLng > bWである長距離ポジションを含み、
上記非隣接ブロックは、対象ブロック(xPb, yPb)の左下方向に位置し、位置(xPb - 1, yPb + hLng)、かつ、hLng > bHである長距離ポジションを含むことを特徴とする請求項10に記載のマージ候補導出装置。 - 上記非隣接ブロックは、対象ブロック(xPb, yPb)の右上方向に位置し、位置(xPb + wLng, yP - 1)、かつ、wLng > 2*bWである長長距離ポジションを含み、
上記非隣接ブロックは、対象ブロック(xPb, yPb)の左下方向に位置し、位置(xPb - 1, yPb + hLng)、かつ、hLng > 2*bHである長長距離ポジションを含むことを特徴とする請求項10に記載のマージ候補導出装置。 - 前記第1および第2の取得手段において、所定のサーチ順序は、対象ブロックの上側(左側)に位置する非隣接ブロックからサーチを開始し、サーチするブロックの中に隣接ブロックが含まれることを特徴とする請求項10に記載のマージ候補導出装置。
- ATMVP部は、対象ブロックを分割して得られる各サブブロックの座標にあるシフトベク
トルIMVだけシフトした位置のコロケートブロックの動きベクトルから導出される動きベ
クトルを用いたATMVPマージ候補を用い、STMVP部は、対象ブロックの周囲の複数の近傍ブロックの動きベクトルと、上記ATMVP部で利用した上記シフトベクトルIMVだけシフトした位置の上記コロケートブロックの動きベクトルの平均値(加重平均)から導出する動きベクトルを用いたSTMVPマージ候補を用いることを特徴とするマージ候補導出装置。 - 請求項1〜14に記載のマージ候補導出装置と、
前記マージ候補導出装置で導出した予測パラメータ、および、参照ピクチャメモリに格納された参照画像を用いて、予測画像を生成する予測画像生成装置とを備えることを特徴とする動画像復号装置。 - 請求項1〜15に記載のマージ候補導出装置と、
前記マージ候補導出装置で導出した予測パラメータ、および、参照ピクチャメモリに格納された参照画像を用いて、予測画像を生成する予測画像生成装置とを備えることを特徴とする動画像符号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018145961A JP2020022116A (ja) | 2018-08-02 | 2018-08-02 | 動画像符号化装置及び動画像復号装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018145961A JP2020022116A (ja) | 2018-08-02 | 2018-08-02 | 動画像符号化装置及び動画像復号装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020022116A true JP2020022116A (ja) | 2020-02-06 |
Family
ID=69590095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018145961A Pending JP2020022116A (ja) | 2018-08-02 | 2018-08-02 | 動画像符号化装置及び動画像復号装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020022116A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022055167A1 (ko) * | 2020-09-09 | 2022-03-17 | 엘지전자 주식회사 | 포인트 클라우드 데이터 전송장치, 포인트 클라우드 데이터 전송방법, 포인트 클라우드 데이터 수신장치 및 포인트 클라우드 데이터 수신방법 |
-
2018
- 2018-08-02 JP JP2018145961A patent/JP2020022116A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022055167A1 (ko) * | 2020-09-09 | 2022-03-17 | 엘지전자 주식회사 | 포인트 클라우드 데이터 전송장치, 포인트 클라우드 데이터 전송방법, 포인트 클라우드 데이터 수신장치 및 포인트 클라우드 데이터 수신방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7421586B2 (ja) | 復号装置および符号化装置 | |
CN109792535B (zh) | 预测图像生成装置、运动图像解码装置以及运动图像编码装置 | |
US11979602B2 (en) | Motion vector generation device, a prediction image generation device, a video decoding device and a video coding device | |
JP2021005741A (ja) | 画像符号化装置及び画像復号装置 | |
US20200021837A1 (en) | Video decoding apparatus and video coding apparatus | |
CN111886867B (zh) | 运动矢量推导装置、运动图像解码装置以及运动图像编码装置 | |
WO2018230493A1 (ja) | 動画像復号装置、動画像符号化装置、予測画像生成装置及び動きベクトル導出装置 | |
WO2020184487A1 (ja) | 動画像復号装置 | |
WO2020059877A1 (ja) | 画像復号装置および画像符号化装置 | |
WO2020116456A1 (ja) | 動画像復号装置 | |
JP2020053924A (ja) | 動画像符号化装置、動画像復号装置 | |
WO2020137920A1 (ja) | 予測画像生成装置、動画像復号装置、動画像符号化装置および予測画像生成方法 | |
WO2018173895A1 (ja) | 予測画像生成装置、動画像復号装置、および動画像符号化装置 | |
WO2018110180A1 (ja) | 動きベクトル生成装置、予測画像生成装置、動画像復号装置、および動画像符号化装置 | |
JP2020088451A (ja) | 動画像復号装置および動画像符号化装置 | |
JP2020043500A (ja) | 動画像符号化装置及び動画像復号装置 | |
JP2020108012A (ja) | 画像復号装置および画像符号化装置 | |
JP2020145650A (ja) | 画像復号装置および画像符号化装置 | |
JP2020088660A (ja) | 動画像符号化装置、動画像復号装置 | |
JP2020096279A (ja) | 予測画像生成装置、動画像復号装置および動画像符号化装置 | |
JP2020022116A (ja) | 動画像符号化装置及び動画像復号装置 | |
JP2020036101A (ja) | 画像復号装置および画像符号化装置 | |
JP2021016018A (ja) | 動画像符号化装置、動画像復号装置および動きベクトル導出装置 | |
JP2021057621A (ja) | 動画像符号化装置、動画像復号装置および予測画像生成装置 | |
JP2020170901A (ja) | 予測画像生成装置、動画像復号装置および動画像符号化装置 |