JP2014220846A - 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム - Google Patents

動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム Download PDF

Info

Publication number
JP2014220846A
JP2014220846A JP2014169253A JP2014169253A JP2014220846A JP 2014220846 A JP2014220846 A JP 2014220846A JP 2014169253 A JP2014169253 A JP 2014169253A JP 2014169253 A JP2014169253 A JP 2014169253A JP 2014220846 A JP2014220846 A JP 2014220846A
Authority
JP
Japan
Prior art keywords
prediction
merge
merge candidate
prediction block
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014169253A
Other languages
English (en)
Other versions
JP5979191B2 (ja
JP2014220846A5 (ja
Inventor
博哉 中村
Hiroya Nakamura
博哉 中村
福島 茂
Shigeru Fukushima
茂 福島
英樹 竹原
Hideki Takehara
英樹 竹原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2014169253A priority Critical patent/JP5979191B2/ja
Publication of JP2014220846A publication Critical patent/JP2014220846A/ja
Publication of JP2014220846A5 publication Critical patent/JP2014220846A5/ja
Application granted granted Critical
Publication of JP5979191B2 publication Critical patent/JP5979191B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding

Abstract

【課題】動き補償でブロック毎に参照する動き情報の候補の数が指定された候補数に満た
ない場合、無効である候補が参照されるおそれがあった。
【解決手段】インター予測情報導出部205は、復号対象の予測ブロックに隣接する予測
ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける
復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター
予測情報から、インター予測情報の候補を導出する。有効マージ候補補充部235は、イ
ンター予測情報の候補数が指定される候補数に満たない場合、指定される候補数になるま
で、予測モード、参照インデックスおよび動きベクトル値が同じインター予測情報の候補
を補充する。
【選択図】図29

Description

本発明は、動画像復号技術に関し、特に動き補償予測を利用した動画像復号技術に関す
る。
動画像の圧縮符号化方式の代表的なものとして、MPEG−4 AVC/H.264の
規格がある。MPEG−4 AVC/H.264では、ピクチャを複数の矩形ブロックに
分割し、すでに符号化・復号したピクチャを参照ピクチャとし、参照ピクチャからの動き
を予測する動き補償が用いられている。この動き補償により動きを予測する手法をインタ
ー予測または動き補償予測と呼ぶ。MPEG−4 AVC/H.264でのインター予測
では、複数のピクチャを参照ピクチャとして用いることができ、これらの複数の参照ピク
チャから最も適した参照ピクチャをブロック毎に選択して動き補償を行う。そこで、それ
ぞれの参照ピクチャには参照インデックスが割り当てられ、この参照インデックスにより
、参照ピクチャを特定する。なお、Bピクチャでは、符号化・復号済みの参照ピクチャか
ら最大で2枚を選択してインター予測に用いることができる。それらの2枚の参照ピクチ
ャからの予測をそれぞれ主に前方向の予測として使われるL0予測(リスト0予測)、主
に後方向の予測として使われるL1予測(リスト1予測)として区別している。
さらに、L0予測とL1予測の2つのインター予測を同時に用いる双予測も定義されて
いる。双予測の場合は、双方向の予測を行い、L0予測、L1予測のそれぞれのインター
予測された信号に重み付け係数を掛け算し、オフセット値を加算して重畳し、最終的なイ
ンター予測画像信号を生成する。重み付け予測に用いる重み付け係数及びオフセット値は
ピクチャ単位で各リストの参照ピクチャ毎に代表的な値が設定され、符号化される。イン
ター予測に関する符号化情報には、ブロック毎に、L0予測とL1予測、双予測を区別す
る予測モード、ブロック毎の参照リスト毎に、参照ピクチャを特定する参照インデックス
、ブロックの移動方向・移動量を表す動きベクトルがあり、これらの符号化情報を符号化
・復号する。
さらに、MPEG−4 AVC/H.264では、符号化/復号済みのブロックのイン
ター予測情報から符号化/復号対象のブロックのインター予測情報を生成するダイレクト
モードが定義されている。ダイレクトモードはインター予測情報の符号化が不要となるの
で、符号化効率が向上する。
時間方向のインター予測情報の相関を利用する時間ダイレクトモードについて図36を
用いて説明する。L1の参照インデックスが0に登録されているピクチャを基準ピクチャ
colPicとする。基準ピクチャcolPic内で符号化/復号対象ブロックと同じ位置のブロック
を基準ブロックとする。
基準ブロックがL0予測を用いて符号化されていれば、基準ブロックのL0の動きベク
トルを基準動きベクトルmvColとし、基準ブロックがL0予測を用いて符号化されておら
ず、L1予測を用いて符号化されていれば、基準ブロックのL1の動きベクトルを基準動
きベクトルmvColとする。基準動きベクトルmvColが参照するピクチャを時間ダイレクトモ
ードのL0の参照ピクチャとし、基準ピクチャcolPicを時間ダイレクトモードのL1の参
照ピクチャとする。
基準動きベクトルmvColからスケーリング演算処理により時間ダイレクトモードのL0
の動きベクトルmvL0とL1の動きベクトルmvL1を導出する。
基準ピクチャcolPicのPOCから、時間ダイレクトモードのL0の参照ピクチャのPO
Cを減算してピクチャ間距離tdを導出する。なお、POCは符号化されるピクチャに関
連付けられる変数とし、ピクチャの出力/表示順序で1ずつ増加する値が設定される。2
つのピクチャのPOCの差が時間軸方向でのピクチャ間距離を示す。
td=基準ピクチャcolPicのPOC−時間ダイレクトモードのL0の参照ピクチャのP
OC
符号化/復号対象ピクチャのPOCから時間ダイレクトモードのL0の参照ピクチャの
POCを減算してピクチャ間距離tbを導出する。
tb=符号化/復号対象ピクチャのPOC−時間ダイレクトモードのL0の参照ピクチ
ャのPOC
基準動きベクトルmvColからスケーリング演算処理により時間ダイレクトモードのL0
の動きベクトルmvL0を導出する。
mvL0=tb / td * mvCol
時間ダイレクトモードのL0の動きベクトルmvL0から基準動きベクトルmvColを減算し
L1の動きベクトルmvL1を導出する。
mvL1=mvL0 - mvCol
なお、動画像符号化装置、動画像復号装置の処理能力が低い場合、時間ダイレクトモー
ドの処理を省略することもできる。
特開2004−129191号公報
このような状況下、本発明者らは、動き補償予測を使用する動画像符号化方式において
、符号化情報をより一層圧縮し、全体の符号量を削減する必要性を認識するに至った。
本発明はこうした状況に鑑みてなされたものであり、その目的は、動き補償予測に用い
る予測情報の候補を状況に応じて導出することにより、符号化情報の符号量の削減を図っ
て符号化効率を向上させる動画像復号技術を提供することにある。
動画像の各ピクチャを分割したブロック単位でマージ候補のインター予測情報によるインター予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、予め指定されたマージ候補の数を示す情報を復号する予測情報復号部と、復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置又はその付近に存在する予測ブロックのインター予測情報から、前記マージ候補を導出する予測情報導出部と、前記導出されたマージ候補からマージ候補リストを構築する候補リスト構築部と、構築された前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数未満であった場合、前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数に達するまで、繰り返して、予測モードが同じ値であり参照インデックスが同じ値であり動きベクトルが同じ値であるマージ候補を、前記マージ候補リストに追加する候補補充部と、前記マージ候補から1つのマージ候補を選択して、その選択されたマージ候補のインター予測情報により前記復号対象の予測ブロックのインター予測を行う動き補償予測部とを備えることを特徴とする動画像復号装置を提供する。
動画像の各ピクチャを分割したブロック単位でマージ候補のインター予測情報によるインター予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、予め指定されたマージ候補の数を示す情報を復号する予測情報復号ステップと、復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置又はその付近に存在する予測ブロックのインター予測情報から、前記マージ候補を導出する予測情報導出ステップと、前記導出されたマージ候補からマージ候補リストを構築する候補リスト構築ステップと、構築された前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数未満であった場合、前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数に達するまで、繰り返して、予測モードが同じ値であり参照インデックスが同じ値であり動きベクトルが同じ値であるマージ候補を、前記マージ候補リストに追加する候補補充ステップと、前記マージ候補から1つのマージ候補を選択して、その選択されたマージ候補のインター予測情報により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップとを備えることを特徴とする動画像復号方法を提供する。
動画像の各ピクチャを分割したブロック単位でマージ候補のインター予測情報によるインター予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号プログラムであって、予め指定されたマージ候補の数を示す情報を復号する予測情報復号ステップと、復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置又はその付近に存在する予測ブロックのインター予測情報から、前記マージ候補を導出する予測情報導出ステップと、前記導出されたマージ候補からマージ候補リストを構築する候補リスト構築ステップと、構築された前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数未満であった場合、前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数に達するまで、繰り返して、予測モードが同じ値であり参照インデックスが同じ値であり動きベクトルが同じ値であるマージ候補を、前記マージ候補リストに追加する候補補充ステップと、前記マージ候補から1つのマージ候補を選択して、その選択されたマージ候補のインター予測情報により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップとをコンピュータに実行させることを特徴とする動画像復号プログラムを提供する。
動画像が符号化された符号化ビット列を受信して復号する受信装置であって、動画像の各ピクチャを分割したブロック単位でマージ候補のインター予測情報によるインター予測を用いて前記動画像が符号化された符号化ビット列がパケット化された符号化ストリームを受信する受信部と、受信された前記符号化ストリームをパケット処理して元の符号化ビット列を復元する復元部と、復元された前記符号化ビット列から、予め指定されたマージ候補の数を示す情報を復号する予測情報復号部と、復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置又はその付近に存在する予測ブロックのインター予測情報から、前記マージ候補を導出する予測情報導出部と、前記導出されたマージ候補からマージ候補リストを構築する候補リスト構築部と、構築された前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数未満であった場合、前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数に達するまで、繰り返して、予測モードが同じ値であり参照インデックスが同じ値であり動きベクトルが同じ値であるマージ候補を、前記マージ候補リストに追加する候補補充部と、前記マージ候補から1つのマージ候補を選択して、その選択されたマージ候補のインター予測情報により前記復号対象の予測ブロックのインター予測を行う動き補償予測部とを備えることを特徴とする受信装置を提供する。
動画像が符号化された符号化ビット列を受信して復号する受信方法であって、動画像の各ピクチャを分割したブロック単位でマージ候補のインター予測情報によるインター予測を用いて前記動画像が符号化された符号化ビット列がパケット化された符号化ストリームを受信する受信ステップと、受信された前記符号化ストリームをパケット処理して元の符号化ビット列を復元する復元ステップと、復元された前記符号化ビット列から、予め指定されたマージ候補の数を示す情報を復号する予測情報数復号ステップと、復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置又はその付近に存在する予測ブロックのインター予測情報から、前記マージ候補を導出する予測情報導出ステップと、前記導出されたマージ候補からマージ候補リストを構築する候補リスト構築ステップと、構築された前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数未満であった場合、前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数に達するまで、繰り返して、予測モードが同じ値であり参照インデックスが同じ値であり動きベクトルが同じ値であるマージ候補を、前記マージ候補リストに追加する候補補充ステップと、前記マージ候補から1つのマージ候補を選択して、その選択されたマージ候補のインター予測情報により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップとを備えることを特徴とする受信方法を提供する。
動画像が符号化された符号化ビット列を受信して復号する受信プログラムであって、動画像の各ピクチャを分割したブロック単位でマージ候補のインター予測情報によるインター予測を用いて前記動画像が符号化された符号化ビット列がパケット化された符号化ストリームを受信する受信ステップと、受信された前記符号化ストリームをパケット処理して元の符号化ビット列を復元する復元ステップと、復元された前記符号化ビット列から、予め指定されたマージ候補の数を示す情報を復号する予測情報数復号ステップと、復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置又はその付近に存在する予測ブロックのインター予測情報から、前記マージ候補を導出する予測情報導出ステップと、前記導出されたマージ候補からマージ候補リストを構築する候補リスト構築ステップと、構築された前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数未満であった場合、前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数に達するまで、繰り返して、予測モードが同じ値であり参照インデックスが同じ値であり動きベクトルが同じ値であるマージ候補を、前記マージ候補リストに追加する候補補充ステップと、前記マージ候補から1つのマージ候補を選択して、その選択されたマージ候補のインター予測情報により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップとをコンピュータに実行させることを特徴とする受信プログラムを提供する。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒
体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効で
ある。
本発明によれば、動き補償予測に用いる予測情報の候補を状況に応じて導出することに
より、伝送する符号化情報の発生符号量を削減させて、符号化効率を向上させることがで
きる。
実施の形態に係る動きベクトルの予測方法を実行する動画像符号化装置の構成を示すブロック図である。 実施の形態に係る動きベクトルの予測方法を実行する動画像復号装置の構成を示すブロック図である。 ツリーブロック、符号化ブロックを説明する図である。 予測ブロックの分割モードを説明する図である。 マージモードでの空間マージ候補の予測ブロックを説明する図である。 マージモードでの空間マージ候補の予測ブロックを説明する図である。 マージモードでの空間マージ候補の予測ブロックを説明する図である。 マージモードでの空間マージ候補の予測ブロックを説明する図である。 マージモードでの時間マージ候補の予測ブロックを説明する図である。 マージモードに関する予測ブロック単位でのビットストリームのシンタックスを説明する図である。 マージインデックスのシンタックス要素のエントロピー符号の一例を説明する図である。 第1の実施例の図1の動画像符号化装置のインター予測情報導出部の詳細な構成を示すブロック図である。 第1の実施例の図2の動画像復号装置のインター予測情報導出部の詳細な構成を示すブロック図である。 マージモードでの処理対象の予測ブロックに隣接する予測ブロックを説明する図である。 第1の実施例のマージモードのマージ候補の導出処理及びマージ候補リストの構築処理手順を説明するフローチャートである。 マージモードの空間マージ候補導出処理手順を説明するフローチャートである。 時間マージ候補の参照インデックスの導出処理において参照する隣接ブロックを説明する図である。 マージモードの時間マージ候補の参照インデックスの導出処理手順を説明するフローチャートである。 マージモードの時間マージ候補導出処理手順を説明するフローチャートである。 マージモードの異なる時間のピクチャの導出処理手順を説明するフローチャートである。 マージモードの異なる時間のピクチャの予測ブロックの導出処理手順を説明するフローチャートである。 マージモードの時間マージ候補導出処理手順を説明するフローチャートである。 マージモードの時間マージ候補導出処理手順を説明するフローチャートである。 動きベクトルのスケーリング演算処理手順を説明するフローチャートである。 動きベクトルのスケーリング演算処理手順を説明するフローチャートである。 マージモードの追加マージ候補導出処理手順を説明するフローチャートである。 マージ候補制限処理手順を説明するフローチャートである。 第2〜7の実施例の図1の動画像符号化装置のインター予測情報導出部の詳細な構成を示すブロック図である。 第2〜7の実施例の図2の動画像復号装置のインター予測情報導出部の詳細な構成を示すブロック図である。 第2〜7の実施例のマージモードのマージ候補の導出処理及びマージ候補リストの構築処理手順を説明するフローチャートである。 第2の実施例のマージモードの有効マージ候補補充処理手順を説明するフローチャートである。 第3の実施例のマージモードの有効マージ候補補充処理手順を説明するフローチャートである。 第4の実施例のマージモードの有効マージ候補補充処理手順を説明するフローチャートである。 第5の実施例のマージモードの追加マージ候補導出処理および有効マージ候補補充処理手順を説明するフローチャートである。 第6〜7の実施例のマージモードの初期化されたインター予測情報をマージ候補として有効にする処理手順を説明するフローチャートである。 従来のMPEG−4 AVC/H.264の時間ダイレクトモードを説明する図である。 動画像符号化装置のインター予測情報導出部のインター予測情報選択部の処理手順を説明するフローチャートである。 動画像復号装置のインター予測情報導出部のインター予測情報選択部の処理手順を説明するフローチャートである。
本実施の形態では、動画像の符号化に関し、特にピクチャを任意のサイズ、形状の矩形
ブロックに分割し、ピクチャ間でブロック単位に動き補償を行う動画像符号化における符
号化効率を向上させる為に、符号化対象ブロックに隣接するブロックまたは符号化済みの
ピクチャのブロックの動きベクトルから複数の予測動きベクトルを導出し、符号化対象の
ブロックの動きベクトルと選択された予測動きベクトルとの差分ベクトルを算出して符号
化することによって符号量を削減する。あるいは、符号化対象ブロックに隣接するブロッ
クまたは符号化済みのピクチャのブロックの符号化情報を利用することにより、符号化対
象ブロックの符号化情報を導出することによって符号量を削減する。また、動画像の復号
の場合は、復号対象ブロックに隣接するブロックまたは復号済みのピクチャのブロックの
動きベクトルから複数の予測動きベクトルを算出し、符号化ストリームから復号された差
分ベクトルと選択された予測動きベクトルとから復号対象のブロックの動きベクトルを算
出して復号する。あるいは、復号対象ブロックに隣接するブロックまたは復号済みのピク
チャのブロックの符号化情報を利用することにより、復号対象ブロックの符号化情報を導
出する。
まず、本実施の形態において使用する技術、及び技術用語を定義する。
(ツリーブロック、符号化ブロックについて)
実施の形態では、ピクチャを1つまたは複数分割したスライスが符号化の基本単位とな
っており、スライス毎にスライスの種類を示す情報であるスライスタイプが設定される。
図3に示されるように、スライス内を任意の同一サイズの正方の矩形の単位にて均等分割
する。この単位をツリーブロックと定義し、スライス内での符号化/復号対象ブロック(
符号化処理においては符号化対象ブロック、復号処理においては復号対象ブロックのこと
である。以下、断りのない限り、この意味で用いる。)を特定するためのアドレス管理の
基本単位とする。モノクロを除きツリーブロックは1つの輝度信号と2つの色差信号で構
成される。ツリーブロックのサイズはピクチャサイズやピクチャ内のテクスチャに応じて
、2のべき乗のサイズで自由に設定することができる。ツリーブロックはピクチャ内のテ
クスチャに応じて、符号化処理を最適にすべく、必要に応じてツリーブロック内の輝度信
号、及び色差信号を階層的に4分割(縦横に2分割ずつ)して、ブロックサイズの小さい
ブロックにすることができる。このブロックをそれぞれ符号化ブロックと定義し、符号化
及び復号を行う際の処理の基本単位とする。モノクロを除き符号化ブロックも1つの輝度
信号と2つの色差信号で構成される。符号化ブロックの最大サイズはツリーブロックのサ
イズと同一である。符号化ブロックの最小のサイズとなる符号化ブロックを最小符号化ブ
ロックと呼び、2のべき乗のサイズで自由に設定することができる。
図3においては、符号化ブロックAは、ツリーブロックを分割せず、1つの符号化ブロ
ックとしたものである。符号化ブロックBは、ツリーブロックを4分割してできた符号化
ブロックである。符号化ブロックCは、ツリーブロックを4分割してできたブロックをさ
らに4分割してできた符号化ブロックである。符号化ブロックDは、ツリーブロックを4
分割してできたブロックをさらに階層的に2度4分割してできた符号化ブロックであり、
最小サイズの符号化ブロックである。
(予測モードについて)
符号化ブロック単位で、符号化/復号対象ピクチャ内の符号化/復号済み(符号化処理
においては符号化した信号を復号したピクチャ、予測ブロック、画像信号等に用い、復号
処理においては復号したピクチャ、予測ブロック、画像信号等に用いる。以下、断りのな
い限り、この意味で用いる。)の周囲の画像信号から予測を行うイントラ予測(MODE_INT
RA)、及び符号化/復号済みのピクチャの画像信号から予測を行うインター予測(MODE_I
NTER)を切り替える。このイントラ予測(MODE_INTRA)とインター予測(MODE_INTER)を
識別するモードを予測モード(PredMode)と定義する。予測モード(PredMode)はイント
ラ予測(MODE_INTRA)、またはインター予測(MODE_INTER)を値として持ち、選択して符
号化できる。
(分割モード、予測ブロック、予測ユニットについて)
ピクチャ内をブロックに分割してイントラ予測(MODE_INTRA)及びインター予測(MODE
_INTER)を行う場合、イントラ予測及びインター予測の方法を切り替える単位をより小さ
くするために、必要に応じて符号化ブロックを分割して予測を行う。この符号化ブロック
の輝度信号と色差信号の分割方法を識別するモードを分割モード(PartMode)と定義する
。さらに、この分割されたブロックを予測ブロックと定義する。図4に示すように、符号
化ブロックの輝度信号の分割方法に応じて8種類の分割モード(PartMode)を定義する。
図4(a)に示す符号化ブロックの輝度信号を分割せず1つの予測ブロックとみなした
分割モード(PartMode)を2N×2N分割(PART_2Nx2N)と定義する。図4(b)、(c
)、(d)に示す符号化ブロックの輝度信号を上下に並ぶ2つの予測ブロックに分割する
分割モード(PartMode)をそれぞれ2N×N分割(PART_2NxN)、2N×nU分割(PART_
2NxnU)、2N×nD分割(PART_2NxnD)と定義する。ただし、2N×N分割(PART_2NxN
)は上下に1:1の比率で分割した分割モードであり、2N×nU分割(PART_2NxnU)は
上下に1:3の比率で分割した分割モードであり、2N×nD分割(PART_2NxnD)は上下
に3:1の比率で分割した分割モードである。図4(e)、(f)、(g)に示す符号化
ブロックの輝度信号を左右に並ぶ2つの予測ブロックに分割する分割モード(PartMode)
をそれぞれN×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分
割(PART_nRx2N)と定義する。ただし、N×2N分割(PART_Nx2N)は左右に1:1の比
率で分割した分割モードであり、nL×2N分割(PART_nLx2N)は左右に1:3の比率で
分割した分割モードであり、nR×2N分割(PART_nRx2N)は左右に3:1の比率で分割
した分割モードである。図4(h)に示す符号化ブロックの輝度信号を上下左右に4分割
して、4つの予測ブロックとした分割モード(PartMode)をN×N分割(PART_NxN)とそ
れぞれ定義する。
なお、各分割モード(PartMode)毎に輝度信号の縦横の分割比率と同様に色差信号も分
割する。
符号化ブロック内部において、各予測ブロックを特定する為に、0から開始する番号を
、符号化順序で、符号化ブロック内部に存在する予測ブロックに対して割り当てる。この
番号を分割インデックスPartIdxと定義する。図4の符号化ブロックの各予測ブロックの
中に記述された数字は、その予測ブロックの分割インデックスPartIdxを表す。図4(b
)、(c)、(d)に示す2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)
、2N×nD分割(PART_2NxnD)では上の予測ブロックの分割インデックスPartIdxを0
とし、下の予測ブロックの分割インデックスPartIdxを1とする。図4(e)、(f)、
(g)に示すN×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N
分割(PART_nRx2N)では左の予測ブロックの分割インデックスPartIdxを0とし、右の予
測ブロックの分割インデックスPartIdxを1とする。図4(h)に示すN×N分割(PART_
NxN)では、左上の予測ブロックの分割インデックスPartIdxを0とし、右上の予測ブロッ
クの分割インデックスPartIdxを1とし、左下の予測ブロックの分割インデックスPartIdx
を2とし、右下の予測ブロックの分割インデックスPartIdxを3とする。
予測モード(PredMode)がインター予測(MODE_INTER)では、分割モード(PartMode)
は2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N×nU分割(PART_
2NxnU)、2N×nD分割(PART_2NxnD)、N×2N分割(PART_Nx2N)、nL×2N分割
(PART_nLx2N)、及びnR×2N分割(PART_nRx2N)を定義する。最小の符号化ブロック
である符号化ブロックDのみ、分割モード(PartMode)は2N×2N分割(PART_2Nx2N)
、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_
2NxnD)、N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、及びnR×2N
分割(PART_nRx2N)に加えてN×N分割(PART_NxN)を定義することもできるが、本実施
の形態においては、分割モード(PartMode)がN×N分割(PART_NxN)を定義しないもの
とする。
予測モード(PredMode)がイントラ予測(MODE_INTRA)では、最小の符号化ブロックで
ある符号化ブロックD以外では、分割モード(PartMode)は2N×2N分割(PART_2Nx2N
)だけを定義し、最小の符号化ブロックである符号化ブロックDのみ、分割モード(Part
Mode)は2N×2N分割(PART_2Nx2N)に加えてN×N分割(PART_NxN)を定義する。な
お、最小の符号化ブロック以外にN×N分割(PART_NxN)を定義しない理由は最小の符号
化ブロック以外では、符号化ブロックを4分割して小さな符号化ブロックを表現できるか
らである。
(ツリーブロック、符号化ブロック、予測ブロック、変換ブロックの位置)
本実施の形態のツリーブロック、符号化ブロック、予測ブロック、変換ブロックを始め
とする各ブロックの位置は、輝度信号の画面の一番左上の輝度信号の画素の位置を原点(
0,0)とし、それぞれのブロックの領域に含まれる一番左上の輝度信号の画素の位置を
(x,y)の二次元座標で表す。座標軸の向きは水平方向に右の方向、垂直方向に下の方
向をそれぞれ正の向きとし、単位は輝度信号の1画素単位である。輝度信号と色差信号で
画像サイズ(画素数)が同じである色差フォーマットが4:4:4の場合ではもちろんの
こと、輝度信号と色差信号で画像サイズ(画素数)が異なる色差フォーマットが4:2:
0、4:2:2の場合でも色差信号の各ブロックの位置をそのブロックの領域に含まれる
輝度信号の画素の座標で表し、単位は輝度信号の1画素である。この様にすることで、色
差信号の各ブロックの位置が特定できるのはもちろんのこと、座標の値を比較するだけで
、輝度信号のブロックと色差信号のブロックの位置の関係も明確となる。
(インター予測モード、参照リストについて)
本発明の実施の形態においては、符号化/復号済みのピクチャの画像信号から予測を行
うインター予測では、複数の復号済みのピクチャを参照ピクチャとして用いることができ
る。複数の参照ピクチャから選択された参照ピクチャを特定するため、予測ブロック毎に
参照インデックスを付ける。Bスライスでは予測ブロック毎に任意の2枚の参照ピクチャ
を選択してインター予測を行うことができ、インター予測モードとしてL0予測(Pred_L
0)、L1予測(Pred_L1)、双予測(Pred_BI)がある。参照ピクチャはリスト構造のL
0(参照リスト0)とL1(参照リスト1)で管理され、L0またはL1の参照インデッ
クスを指定することにより参照ピクチャを特定することができる。L0予測(Pred_L0)
はL0で管理されている参照ピクチャを参照するインター予測であり、L1予測(Pred_L
1)はL1で管理されている参照ピクチャを参照するインター予測であり、双予測(Pred_
BI)はL0予測とL1予測が共に行われ、L0とL1のそれぞれで管理されている1つず
つの参照ピクチャを参照するインター予測である。Pスライスのインター予測ではL0予
測のみが使用でき、Bスライスのインター予測ではL0予測、L1予測、L0予測とL1
予測を平均または重み付け加算する双予測(Pred_BI)が使用できる。以降の処理におい
て出力に添え字LXが付いている定数、変数に関しては、L0、L1ごとに処理が行われ
ることを前提とする。
(マージモード、マージ候補)
マージモードとは、符号化/復号対象の予測ブロックの予測モード、参照インデックス
、動きベクトル等のインター予測情報を符号化/復号するのではなく、符号化/復号対象
の予測ブロックと同一ピクチャ内でその符号化/復号対象の予測ブロックに隣接する予測
ブロック、あるいは符号化/復号対象の予測ブロックと時間的に異なる符号化/復号済み
のピクチャの符号化/復号対象の予測ブロックと同一位置あるいはその付近(近傍の位置
)に存在する予測ブロックのインター予測情報から符号化/復号対象の予測ブロックのイ
ンター予測情報を導出することによりインター予測を行うモードである。符号化/復号対
象の予測ブロックと同一ピクチャ内でその符号化/復号対象の予測ブロックに隣接する予
測ブロック及びその予測ブロックのインター予測情報を空間マージ候補、符号化/復号対
象の予測ブロックと時間的に異なる符号化/復号済みのピクチャの符号化/復号対象の予
測ブロックと同一位置あるいはその付近(近傍の位置)に存在する予測ブロック及びその
予測ブロックのインター予測情報から導出されるインター予測情報を時間マージ候補とす
る。それぞれのマージ候補はマージ候補リストに登録され、マージインデックスによりイ
ンター予測で用いるマージ候補を特定する。
(隣接する予測ブロックについて)
図5、図6、図7及び図8は空間マージ候補の導出、および時間マージ候補の参照イン
デックスの導出の際に参照する符号化/復号対象の予測ブロックと同一ピクチャ内でその
符号化/復号対象の予測ブロックに隣接する予測ブロックを説明する図である。図9は時
間マージ候補の導出の際に参照する符号化/復号対象の予測ブロックと時間的に異なる符
号化/復号済みのピクチャにおいて、符号化/復号対象の予測ブロックと同一位置あるい
はその付近に存在する既に符号化/復号済みの予測ブロックを説明する図である。図5、
図6、図7、図8及び図9を用いて符号化/復号対象の予測ブロックの空間方向に隣接す
る予測ブロック、及び異なる時間の同一位置の予測ブロックについて説明する。
図5に示すように、符号化/復号対象の予測ブロックと同一ピクチャ内でその符号化/
復号対象の予測ブロックの左側の辺に隣接する予測ブロックA、上側の辺に隣接する予測
ブロックB、右上の頂点に隣接する予測ブロックC、左下の頂点に隣接する予測ブロック
D、および左上の頂点に隣接する予測ブロックEを空間方向に隣接する予測ブロックと定
義する。
なお、図6に示すように、符号化/復号対象の予測ブロックの左側の辺に隣接する予測
ブロックのサイズが符号化/復号対象の予測ブロックより小さく、複数存在する場合には
、本実施の形態においては左側の辺に隣接する予測ブロックの中で最も下の予測ブロック
A10だけを左側の辺に隣接する予測ブロックAとする。
同様に、符号化/復号対象の予測ブロックの上側の辺に隣接する予測ブロックのサイズ
が符号化/復号対象の予測ブロックより小さく、複数存在する場合には、本実施の形態に
おいては左側の辺に隣接する予測ブロックの中で最も右の予測ブロックB10だけを上側
の辺に隣接する予測ブロックBとする。
なお、図7に示すように、符号化/復号対象の予測ブロックの左側に隣接する予測ブロ
ックFのサイズが符号化/復号対象の予測ブロックより大きい場合にも、前記条件に従い
、左側に隣接する予測ブロックFがその符号化/復号対象の予測ブロックの左側の辺に隣
接していれば予測ブロックAとし、符号化/復号対象の予測ブロックの左下の頂点に隣接
していれば予測ブロックDとし、符号化/復号対象の予測ブロックの左上の頂点に隣接し
ていれば予測ブロックEとする。図7の例では、予測ブロックA、予測ブロックD及び予
測ブロックEは同一の予測ブロックとなる。
なお、図8に示すように、符号化/復号対象の予測ブロックの上側に隣接する予測ブロ
ックGのサイズが符号化/復号対象の予測ブロックより大きい場合にも、前記条件に従い
、上側に隣接する予測ブロックGがその符号化/復号対象の予測ブロックの上側の辺に隣
接していれば予測ブロックBとし、符号化/復号対象の予測ブロックの右上の頂点に隣接
していれば予測ブロックCとし、符号化/復号対象の予測ブロックの左上の頂点に隣接し
ていれば予測ブロックEとする。図8の例では、予測ブロックB、予測ブロックC及び予
測ブロックEは同一の予測ブロックとなる。
図9に示すように、符号化/復号対象の予測ブロックと時間的に異なる符号化/復号済
みのピクチャにおいて、符号化/復号対象の予測ブロックと同一位置あるいはその付近に
存在する既に符号化/復号済みの予測ブロックT0およびT1を異なる時間の同一位置の
予測ブロックと定義する。
(POCについて)
POCは符号化されるピクチャに関連付けられる変数とし、ピクチャの出力/表示順序
で1ずつ増加する値が設定される。POCの値によって、同じピクチャであるかを判別し
たり、出力/表示順序でのピクチャ間の前後関係を判別したり、ピクチャ間の距離を導出
したりすることができる。例えば、2つのピクチャのPOCが同じ値を持つ場合、同一の
ピクチャであると判断できる。2つのピクチャのPOCが違う値を持つ場合、POCの値
が小さいピクチャのほうが、先に出力/表示されるピクチャであると判断でき、2つのピ
クチャのPOCの差が時間軸方向でのピクチャ間距離を示す。
以下、図面と共に本発明の実施の形態を説明する。図1は本発明の実施の形態に係る動
画像符号化装置の構成を示すブロック図である。実施の形態の動画像符号化装置は、画像
メモリ101、ヘッダ情報設定部117、動きベクトル検出部102、差分動きベクトル
算出部103、インター予測情報導出部104、動き補償予測部105、イントラ予測部
106、予測方法決定部107、残差信号生成部108、直交変換・量子化部109、第
1符号化ビット列生成部118、第2符号化ビット列生成部110、第3符号化ビット列
生成部111、多重化部112、逆量子化・逆直交変換部113、復号画像信号重畳部1
14、符号化情報格納メモリ115、および復号画像メモリ116を備える。
ヘッダ情報設定部117は、シーケンス、ピクチャ、スライス単位の情報を設定する。
設定されたシーケンス、ピクチャ、スライス単位の情報はインター予測情報導出部104
、第1符号化ビット列生成部118に供給するとともに、図示していないがすべてのブロ
ックに供給する。後述する最大マージ候補数maxNumMergeCandもヘッダ情報設定部117
で設定される。
画像メモリ101は、撮影/表示時間順に供給された符号化対象のピクチャの画像信号
を一時格納する。画像メモリ101は、格納された符号化対象のピクチャの画像信号を、
所定の画素ブロック単位で、動きベクトル検出部102、予測方法決定部107、および
残差信号生成部108に供給する。その際、撮影/表示時間順に格納されたピクチャの画
像信号は、符号化順序に並べ替えられて、画素ブロック単位で、画像メモリ101から出
力される。
動きベクトル検出部102は、画像メモリ101から供給される画像信号と復号画像メ
モリ116から供給される参照ピクチャ間でブロックマッチング等により各予測ブロック
サイズ、各予測モードのそれぞれの動きベクトルを各予測ブロック単位で検出し、検出さ
れた動きベクトルを動き補償予測部105、差分動きベクトル算出部103、および予測
方法決定部107に供給する。
差分動きベクトル算出部103は、符号化情報格納メモリ115に記憶されている既に
符号化された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を算出して
予測動きベクトルリストに登録し、予測動きベクトルリストに登録された複数の予測動き
ベクトルの候補の中から最適な予測動きベクトルを選択し、動きベクトル検出部102が
検出した動きベクトルと予測動きベクトルから差分動きベクトルを算出し、算出された差
分動きベクトルを予測方法決定部107に供給する。さらに、予測動きベクトルリストに
登録された予測動きベクトルの候補から選択された予測動きベクトルを特定する予測動き
ベクトルインデックスを予測方法決定部107に供給する。
インター予測情報導出部104は、マージモードでのマージ候補を導出する。符号化情
報格納メモリ115に記憶されている既に符号化された予測ブロックの符号化情報を用い
て、複数のマージ候補を導出して後述するマージ候補リストに登録し、マージ候補リスト
に登録された複数のマージ候補の中から適したマージ候補を選択し、選択されたマージ候
補の各予測ブロックのL0予測、及びL1予測を利用するかどうかを示すフラグpredFlag
L0[xP][yP], predFlagL1[xP][yP]、参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][y
P]、動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報を動き補償予測部1
05に供給するとともに、選択されたマージ候補を特定するマージインデックスを予測方
法決定部107に供給する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素
の位置を示すインデックスである。インター予測情報導出部104の詳細な構成と動作は
後述する。
動き補償予測部105は、動きベクトル検出部102およびインター予測情報導出部1
04により検出された動きベクトルを用いて参照ピクチャからインター予測(動き補償予
測)により予測画像信号を生成し、予測画像信号を予測方法決定部107に供給する。な
お、L0予測、及びL1予測では、片方向の予測を行う。双予測(Pred_BI)の場合は、
双方向の予測を行い、L0予測、L1予測のそれぞれのインター予測された信号に適応的
に重み係数を掛け算し、オフセット値を加算して重畳し、最終的な予測画像信号を生成す
る。
イントラ予測部106は、各イントラ予測モードについてイントラ予測を行う。復号画
像メモリ116に格納されている復号済みの画像信号からイントラ予測により予測画像信
号を生成し、複数のイントラ予測モードの中から適したイントラ予測モードを選択し、選
択されたイントラ予測モード、及び選択されたイントラ予測モードに応じた予測画像信号
を予測方法決定部107に供給する。
予測方法決定部107はそれぞれの予測方法毎に符号化情報及び残差信号の符号量、予
測画像信号と画像信号との間の歪量等を評価することにより、複数の予測方法の中から、
最適な符号化ブロック単位でインター予測(PRED_INTER)かイントラ予測(PRED_INTRA)
かを判別する予測モードPredMode、分割モードPartModeを決定し、インター予測(PRED_I
NTER)では予測ブロック単位でマージモードか否かを決定し、マージモードの場合はマー
ジインデックス、マージモードでない場合はインター予測モード、予測動きベクトルイン
デックス、L0、L1の参照インデックス、差分動きベクトル等を決定して、決定に応じ
た符号化情報を第2符号化ビット列生成部110に供給する。
さらに、予測方法決定部107は、決定された予測方法を示す情報、及び決定された予
測方法に応じた動きベクトル等を含む符号化情報を符号化情報格納メモリ115に格納す
る。ここで格納する符号化情報は、各符号化ブロックの予測モードPredMode、分割モード
PartMode、各予測ブロックのL0予測、及びL1予測を利用するかどうかを示すフラグpr
edFlagL0[xP][yP], predFlagL1[xP][yP]、L0、L1の参照インデックスrefIdxL0[xP][y
P], refIdxL1[xP][yP]、L0、L1の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等である
。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックス
である。なお、予測モードPredModeがイントラ予測(MODE_INTRA)の場合、L0予測を利
用するかどうかを示すフラグpredFlagL0[xP][yP]、L1予測を利用するかどうかを示すフ
ラグpredFlagL1[xP][yP]は共に0である。一方、予測モードPredModeがインター予測(MO
DE_INTER)で、インター予測モードがL0予測(Pred_L0)の場合、L0予測を利用する
かどうかを示すフラグpredFlagL0[xP][yP]は1, L1予測を利用するかどうかを示すフラ
グpredFlagL1[xP][yP]は0である。インター予測モードがL1予測(Pred_L1)の場合、
L0予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]は0, L1予測を利用する
かどうかを示すフラグpredFlagL1[xP][yP]は1である。インター予測モードが双予測(Pr
ed_BI)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]、L1予
測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は共に1である。予測方法決定部
107は、決定された予測モードに応じた予測画像信号を残差信号生成部108と復号画
像信号重畳部114に供給する。
残差信号生成部108は、符号化する画像信号と予測画像信号との減算を行うことによ
り残差信号を生成し、直交変換・量子化部109に供給する。
直交変換・量子化部109は、残差信号に対して量子化パラメータに応じて直交変換及
び量子化を行い直交変換・量子化された残差信号を生成し、第3符号化ビット列生成部1
11と逆量子化・逆直交変換部113に供給する。さらに、直交変換・量子化部109は
、量子化パラメータを符号化情報格納メモリ115に格納する。
第1符号化ビット列生成部118は、ヘッダ情報設定部117で設定されたシーケンス
、ピクチャ、スライス単位の情報を符号化する。第1の符号化ビット列を生成し、多重化
部112に供給する。後述する最大マージ候補数maxNumMergeCandも第1符号化ビット列
生成部118で符号化される。
第2符号化ビット列生成部110は、符号化ブロック及び予測ブロック毎に予測方法決
定部107によって決定された予測方法に応じた符号化情報を符号化する。具体的には、
符号化ブロック毎のスキップモードかどうかを判別する情報、インター予測(PRED_INTER
)かイントラ予測(PRED_INTRA)かを判別する予測モードPredMode、分割モードPartMode
、イントラ予測(PRED_INTRA)の場合、イントラ予測モード、インター予測(PRED_INTER
)の場合、マージモードかどうかを判別するフラグ、マージモードの場合はマージインデ
ックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス
、差分動きベクトルに関する情報等の符号化情報を後述する規定のシンタックス規則に従
って符号化して第2の符号化ビット列を生成し、多重化部112に供給する。なお、本実
施の形態では、符号化ブロックがスキップモード(シンタックス要素skip_flag[x0][y0]
が1)の場合、予測ブロックの予測モードPredModeの値はインター予測(MODE_INTER)で
、マージモード(merge_flag[x0][y0]が1)で、分割モード(PartMode)は2N×2N分
割(PART_2Nx2N)とする。
第3符号化ビット列生成部111は、直交変換及び量子化された残差信号を規定のシン
タックス規則に従ってエントロピー符号化して第3の符号化ビット列を生成し、多重化部
112に供給する。多重化部112で、第1の符号化ビット列、第2の符号化ビット列お
よび第3の符号化ビット列を規定のシンタックス規則に従って多重化し、ビットストリー
ムを出力する。
逆量子化・逆直交変換部113は、直交変換・量子化部109から供給された直交変換
・量子化された残差信号を逆量子化及び逆直交変換して残差信号を算出し、復号画像信号
重畳部114に供給する。復号画像信号重畳部114は、予測方法決定部107による決
定に応じた予測画像信号と逆量子化・逆直交変換部113で逆量子化及び逆直交変換され
た残差信号を重畳して復号画像を生成し、復号画像メモリ116に格納する。なお、復号
画像に対して符号化によるブロック歪等の歪を減少させるフィルタリング処理を施して、
復号画像メモリ116に格納されることもある。
図2は図1の動画像符号化装置に対応した本発明の実施の形態に係る動画像復号装置
の構成を示すブロックである。実施の形態の動画像復号装置は、分離部201、第1符号
化ビット列復号部212、第2符号化ビット列復号部202、第3符号化ビット列復号部
203、動きベクトル算出部204、インター予測情報導出部205、動き補償予測部2
06、イントラ予測部207、逆量子化・逆直交変換部208、復号画像信号重畳部20
9、符号化情報格納メモリ210、および復号画像メモリ211を備える。
図2の動画像復号装置の復号処理は、図1の動画像符号化装置の内部に設けられている
復号処理に対応するものであるから、図2の動き補償予測部206、逆量子化・逆直交変
換部208、復号画像信号重畳部209、符号化情報格納メモリ210、および復号画像
メモリ211の各構成は、図1の動画像符号化装置の動き補償予測部105、逆量子化・
逆直交変換部113、復号画像信号重畳部114、符号化情報格納メモリ115、および
復号画像メモリ116の各構成とそれぞれ対応する機能を有する。
分離部201に供給されるビットストリームは規定のシンタックスの規則に従って分離
し、分離された符号化ビット列が第1符号化ビット列復号部212、第2符号化ビット列
復号部202、第3符号化ビット列復号部203に供給される。
第1符号化ビット列復号部212は、供給された符号化ビット列を復号して、シーケン
ス、ピクチャ、スライス単位の情報を得る。得られたシーケンス、ピクチャ、スライス単
位の情報は図示していないがすべてのブロックに供給する。後述する最大マージ候補数ma
xNumMergeCandも第1符号化ビット列復号部212で復号される。
第2符号化ビット列復号部202は、供給された符号化ビット列を復号して、符号化ブ
ロック単位の情報、及び、予測ブロック単位の符号化情報を得る。具体的には、符号化ブ
ロック単位でスキップモードかどうかを判別する情報、インター予測(PRED_INTER)かイ
ントラ予測(PRED_INTRA)かを判別する予測モードPredMode、分割モードPartMode、イン
ター予測(PRED_INTER)の場合、マージモードかどうかを判別するフラグ、マージモード
の場合はマージインデックス、マージモードでない場合はインター予測モード、予測動き
ベクトルインデックス、差分動きベクトル等に関する符号化情報を後述する規定のシンタ
ックス規則に従って復号し、復号された予測モードPredMode、分割モードPartMode等の符
号化情報を符号化情報格納メモリ210に格納するとともに、動きベクトル算出部204
、インター予測情報導出部205またはイントラ予測部207に供給する。なお、本実施
の形態では、符号化ブロックがスキップモード(シンタックス要素skip_flag[x0][y0]が
1)の場合、予測ブロックの予測モードPredModeの値はインター予測(MODE_INTER)で、
マージモード(merge_flag[x0][y0]が1)で、分割モード(PartMode)は2N×2N分割
(PART_2Nx2N)とする。
第3符号化ビット列復号部203は、供給された符号化ビット列を復号して直交変換・
量子化された残差信号を算出し、直交変換・量子化された残差信号を逆量子化・逆直交変
換部208に供給する。
動きベクトル算出部204は、復号対象の予測ブロックの予測モードPredModeがインタ
ー予測(PRED_INTER)でマージモードでない時に、符号化情報格納メモリ210に記憶さ
れている既に復号された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補
を導出して後述する予測動きベクトルリストに登録し、予測動きベクトルリストに登録さ
れた複数の予測動きベクトルの候補の中から、第2符号化ビット列復号部202で復号さ
れ供給される予測動きベクトルインデックスに応じた予測動きベクトルを選択し、第2符
号化ビット列復号部202で復号された差分ベクトルと選択された予測動きベクトルから
動きベクトルを算出し、他の符号化情報とともに動き補償予測部206に供給するととも
に、符号化情報格納メモリ210に格納する。ここで供給・格納する予測ブロックの符号
化情報は、L0予測、及びL1予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]
, predFlagL1[xP][yP]、L0、L1の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP]
[yP]、L0、L1の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等である。ここで、xP、yP
はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。予測モー
ドPredModeがインター予測(MODE_INTER)で、インター予測モードがL0予測(Pred_L0
)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0は1, L1予測を利用す
るかどうかを示すフラグpredFlagL1は0である。インター予測モードがL1予測(Pred_L
1)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0は0, L1予測を利用
するかどうかを示すフラグpredFlagL1は1である。インター予測モードが双予測(Pred_B
I)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0、L1予測を利用する
かどうかを示すフラグpredFlagL1は共に1である。
インター予測情報導出部205は、復号対象の予測ブロックの予測モードPredModeがイ
ンター予測(PRED_INTER)でマージモードの時に、マージ候補を導出する。符号化情報格
納メモリ115に記憶されている既に復号された予測ブロックの符号化情報を用いて、複
数のマージの候補を導出して後述するマージ候補リストに登録し、マージ候補リストに登
録された複数のマージ候補の中から第2符号化ビット列復号部202で復号され供給され
るマージインデックスに対応したマージ候補を選択し、選択されたマージ候補のL0予測
、及びL1予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][y
P]、L0、L1の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、L0、L1の
動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報を動き補償予測部206
に供給するとともに、符号化情報格納メモリ210に格納する。ここで、xP、yPはピクチ
ャ内での予測ブロックの左上の画素の位置を示すインデックスである。インター予測情報
導出部205の詳細な構成と動作は後述する。
動き補償予測部206は、動きベクトル算出部204またはインター予測情報導出部2
05で算出されたインター予測情報を用いて復号画像メモリ211に格納されている参照
ピクチャからインター予測(動き補償予測)により予測画像信号を生成し、予測画像信号
を復号画像信号重畳部209に供給する。なお、双予測(Pred_BI)の場合は、L0予測
、L1予測の2つの動き補償予測画像信号に必要に応じて適応的に重み係数を掛け算して
重畳し、最終的な予測画像信号を生成する。
イントラ予測部207は、復号対象の予測ブロックの予測モードPredModeがイントラ予
測(PRED_INTRA)の時に、イントラ予測を行う。第2符号化ビット列復号部202で復号
された符号化情報にはイントラ予測モードが含まれており、イントラ予測モードに応じて
、復号画像メモリ211に格納されている復号済みの画像信号からイントラ予測により予
測画像信号を生成し、予測画像信号を復号画像信号重畳部209に供給する。L0予測、
及びL1予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]
を共に0に設定し、符号化情報格納メモリ210に格納する。ここで、xP、yPはピクチャ
内での予測ブロックの左上の画素の位置を示すインデックスである。
逆量子化・逆直交変換部208は、第2符号化ビット列復号部202で復号された直交
変換・量子化された残差信号に対して逆直交変換及び逆量子化を行い、逆直交変換・逆量
子化された残差信号を得る。
復号画像信号重畳部209は、動き補償予測部206でインター予測された予測画像信
号、またはイントラ予測部207でイントラ予測された予測画像信号と、逆量子化・逆直
交変換部208により逆直交変換・逆量子化された残差信号とを重畳することにより、復
号画像信号を復号し、復号画像メモリ211に格納する。復号画像メモリ211に格納す
る際には、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理
を施して、復号画像メモリ211に格納されることもある。
(シンタックスについて)
次に、本実施の形態に係る動きベクトルの予測方法を備える動画像符号化装置により符
号化され、復号装置により復号される動画像のビットストリームの符号化および復号の共
通規則であるシンタックスについて説明する。
本実施の形態においてはヘッダ情報設定部117で、シーケンス単位、ピクチャ単位ま
たはスライス単位でマージ候補リストmergeCandListに登録される最大マージ候補数maxNu
mMergeCandを設定し、シンタックス要素として動画像符号化装置の第1符号化ビット列生
成部118で符号化され、動画像復号装置の第1符号化ビット列復号部212で復号され
る。最大マージ候補数maxNumMergeCandには0から5までの値を設定できるものとし、主
に動画像符号化装置の演算処理量を減らす際に、最大マージ候補数maxNumMergeCandに小
さな値を設定する。なお、最大マージ候補数maxNumMergeCandに0が設定された場合は、
規定のインター予測情報をマージ候補として用いる。本実施の形態の説明においては、最
大マージ候補数maxNumMergeCandを5として説明する。
図10は予測ブロック単位に記述されるシンタックス規則を示す。本実施の形態では、
符号化ブロックがスキップモード(シンタックス要素skip_flag[x0][y0]が1)の場合、
予測ブロックの予測モードPredModeの値はインター予測(MODE_INTER)で、マージモード
(merge_flag[x0][y0]が1)で、分割モード(PartMode)は2N×2N分割(PART_2Nx2N
)とする。merge_flag[x0][y0]が1の場合、マージモードであることを示し、最大マージ
候補数maxNumMergeCandの値が1より大きい場合に、参照するマージ候補のリストである
マージリストのインデックスのシンタックス要素merge_idx[x0][y0]が設置される。skip_
flag[x0][y0]が1の場合、スキップモードであることを示し、最大マージ候補数maxNumMe
rgeCandの値が1より大きい場合に、参照するマージ候補のリストであるマージリストの
インデックスのシンタックス要素merge_idx[x0][y0]が設置される。
予測ブロックの予測モードPredModeの値がインター予測(MODE_INTER)の場合、マージ
モードかどうかを示すmerge_flag[x0][y0]が設置される。ここで、x0、y0は輝度信号のピ
クチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、merge_flag[x
0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのマージモードかどうかを示すフ
ラグである。
次に、merge_flag[x0][y0]が1の場合、マージモードであることを示し、最大マージ候
補数maxNumMergeCandの値が1より大きい場合に、参照するマージ候補のリストであるマ
ージリストのインデックスのシンタックス要素merge_idx[x0][y0]が設置される。ここで
、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、
merge_idx[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのマージインデック
スである。マージインデックスをエントロピー符号化/復号する場合、マージ候補数が小
さい程、小さい符号量で符号化/復号することができ、少ない処理量で符号化/復号する
ことができる。図11はマージインデックスのシンタックス要素merge_idx[x0][y0]のエ
ントロピー符号(コード)の一例である。最大マージ候補数が2の場合、マージインデッ
クスが0, 1の時、マージインデックスのシンタックス要素merge_idx[x0][y0]の符号はそ
れぞれ'0'、'1'となる。最大マージ候補数が3の場合、マージインデックスが0、1、
2の時、マージインデックスのシンタックス要素merge_idx[x0][y0]の符号はそれぞれ'0
'、'10'、'11'となる。最大マージ候補数が4の場合、マージインデックスが0、1
、2、3の時、マージインデックスのシンタックス要素merge_idx[x0][y0]の符号はそれ
ぞれ'0'、'10'、'110'、'111'となる。最大マージ候補数が5の場合、マージイ
ンデックスが0、1、2、3、4の時、マージインデックスのシンタックス要素merge_id
x[x0][y0]の符号はそれぞれ'0'、'10'、'110'、'1110'、'1111'となる。
つまり、マージ候補リストmergeCandListに登録される最大マージ候補数maxNumMergeCand
がわかっている場合、最大マージ候補数maxNumMergeCandが少ない方がマージインデック
スを小さい符号量で表現可能である。本実施の形態においては、図11に示すようにマー
ジ候補数に応じて、マージインデックスのそれぞれの値を示す符号を切り替えることでマ
ージインデックスの符号量を削減する。本実施の形態においては、最大マージ候補数maxN
umMergeCandの値以上の値を持つマージインデックスは符号化、復号されることはない。
なお、最大マージ候補数maxNumMergeCandが1の場合、マージインデックスを符号化/復
号せず、マージインデックスは0である。また、最大マージ候補数が0の場合、規定のイ
ンター予測情報をマージ候補として用いるため、マージインデックスは不要である。
一方、merge_flag[x0][y0]が0の場合、マージモードでないことを示し、スライスタイ
プがBスライスの場合、インター予測モードを識別するシンタックス要素inter_pred_fla
g[x0][y0]が設置され、このシンタックス要素でL0予測(Pred_L0)、L1予測(Pred_L
1)、双予測(Pred_BI)を識別する。L0、L1ごとに、参照ピクチャを特定するための
参照インデックスのシンタックス要素ref_idx_l0[x0][y0]、ref_idx_l1[x0][y0]、動きベ
クトル検出にて求められた予測ブロックの動きベクトルと予測動きベクトルとの差分であ
る差分動きベクトルのシンタックス要素mvd_l0[x0][y0][j]、mvd_l1[x0][y0][j]が設置さ
れる。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデッ
クスであり、ref_idx_l0[x0][y0]、mvd_l0[x0][y0][j]はそれぞれピクチャ内の(x0, y0)
に位置する予測ブロックのL0の参照インデックス、及び差分動きベクトルであり、ref_
idx_l1[x0][y0]、mvd_l1[x0][y0][j]はそれぞれピクチャ内の(x0, y0)に位置する予測ブ
ロックのL1の参照インデックス、及び差分動きベクトルである。また、jは差分動きベ
クトルの成分を表し、jが0はx成分を、jが1はy成分を表す。次に、参照する予測動
きベクトルの候補のリストである予測動きベクトルリストのインデックスのシンタックス
要素mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]が設置される。ここで、x0、y0はピクチャ
内での予測ブロックの左上の画素の位置を示すインデックスであり、mvp_idx_l0[x0][y0]
、mvp_idx_l1[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのL0、L1の予
測動きベクトルインデックスである。本発明の本実施の形態においてはこれらの候補数の
値を2と設定する。
実施の形態に係るインター予測情報導出方法は、図1の動画像符号化装置のインター予
測情報導出部104及び図2の動画像復号装置のインター予測情報導出部205において
実施される。
実施の形態に係るインター予測情報導出方法を図面を用いて説明する。動きベクトルの
予測方法は、符号化ブロックを構成する予測ブロック単位に、符号化及び復号の処理の何
れでも実施される。予測ブロックの予測モードPredModeがインター予測(MODE_INTER)で
、スキップモードを含むマージモードの場合に、符号化の場合、符号化済みの予測ブロッ
クの予測モード、参照インデックス、動きベクトルを利用して符号化対象の予測ブロック
の予測モード、参照インデックス、動きベクトルを導出する際、復号の場合、復号済みの
予測ブロックの予測モード、参照インデックス、動きベクトルを利用して復号対象の予測
ブロックの予測モード、参照インデックス、動きベクトルを導出する際に実施される。
マージモードは図5、図6、図7及び図8を用いて説明した左に隣接する予測ブロック
A、上に隣接する予測ブロックB、右上に隣接する予測ブロックC、左下に隣接する予測
ブロックD、左上に隣接する予測ブロックEの5つの予測ブロックに加えて、図9を用い
て説明した異なる時間の同一位置あるいはその付近に存在する予測ブロックCol(T0
、T1のいずれか)の予測ブロックからマージ候補を導出する。動画像符号化装置のイン
ター予測情報導出部104、及び動画像復号装置のインター予測情報導出部205はそれ
らのマージ候補を符号化側と復号側で共通の規定の順序でマージ候補リストに登録し、動
画像符号化装置のインター予測情報導出部104がマージ候補リストの要素を特定するマ
ージインデックスを決定して第2符号化ビット列生成部110を経由して符号化し、動画
像復号装置のインター予測情報導出部205は第2符号化ビット列復号部202で復号さ
れたマージインデックスが供給されて、そのマージインデックスに応じた予測ブロックを
マージ候補リストから選択し、その選択されたマージ候補の予測モード、参照インデック
ス、動きベクトル等のインター予測情報を用いて、動き補償予測を行う。
実施の形態に係る第1の実施例のインター予測情報導出方法を図面を用いて説明する。
図12は、実施の形態に係る第1の実施例の図1の動画像符号化装置のインター予測情報
導出部104の詳細な構成を示す図である。また、図13は、実施の形態に係る第1の実
施例の図2の動画像復号装置のインター予測情報導出部205の詳細な構成を示す図であ
る。
図12及び図13の太枠線で囲まれる部分はそれぞれ、インター予測情報導出部104
及びインター予測情報導出部205を示している。
更に、それらの内部の太点線で囲まれる部分はそれぞれのマージ候補を導出してマージ
候補リストを構築する動画像符号化装置のマージ候補リストの構築部120及び動画像復
号装置のマージ候補リストの構築部220を示しており、実施の形態の動画像符号化装置
と対応する動画像復号装置にも同様に設置され、符号化と復号で矛盾しない同一の判定結
果を得られるようにしている。
実施の形態に係るインター予測情報導出方法においては、動画像符号化装置のマージ候
補リストの構築部120及び動画像復号装置のマージ候補リストの構築部220でのマー
ジ候補導出及びマージ候補リスト構築処理において、処理対象となる予測ブロックを含む
符号化ブロックと同じ符号化ブロックに含まれる予測ブロックを参照せずに、処理対象の
予測ブロックのマージ候補導出及びマージ候補リスト構築処理を行うものとする。この様
にすることで、符号化ブロックの分割モード(PartMode)が、2N×2N分割(PART_2Nx
2N)でない場合、すなわち、符号化ブロック内に複数の予測ブロックが存在する場合に、
符号化側で符号化ブロック内でそれぞれの予測ブロックのマージ候補導出及びマージ候補
リストの構築処理を並列に処理することが可能となる。
符号化ブロック内でのそれぞれの予測ブロックのマージ候補リストの構築の並列処理に
ついて、図14を用いて分割モード(PartMode)毎に説明する。図14は処理対象の符号
化ブロックの分割モード(PartMode)毎に処理対象の予測ブロックに隣接する予測ブロッ
クを説明する図である。図14において、A0、B0、C0、D0、E0は分割インデッ
クスPartIdxが0の処理対象の予測ブロックのそれぞれ左側の辺に隣接する予測ブロック
A、上側の辺に隣接する予測ブロックB、右上の頂点に隣接する予測ブロックC、左下の
頂点に隣接する予測ブロックD、および左上の頂点に隣接する予測ブロックEを示し、A
1、B1、C1、D1、E1は分割インデックスPartIdxが1の処理対象の予測ブロック
のそれぞれ左側の辺に隣接する予測ブロックA、上側の辺に隣接する予測ブロックB、右
上の頂点に隣接する予測ブロックC、左下の頂点に隣接する予測ブロックD、および左上
の頂点に隣接する予測ブロックEを示し、A2、B2、C2、D2、E2は分割インデッ
クスPartIdxが2の処理対象の予測ブロックのそれぞれ左側の辺に隣接する予測ブロック
A、上側の辺に隣接する予測ブロックB、右上の頂点に隣接する予測ブロックC、左下の
頂点に隣接する予測ブロックD、および左上の頂点に隣接する予測ブロックEを示し、A
3、B3、C3、D3、E3は分割インデックスPartIdxが3の処理対象の予測ブロック
のそれぞれ左側の辺に隣接する予測ブロックA、上側の辺に隣接する予測ブロックB、右
上の頂点に隣接する予測ブロックC、左下の頂点に隣接する予測ブロックD、および左上
の頂点に隣接する予測ブロックEを示す。
図14(b)、(c)、(d)は処理対象の符号化ブロックを上下に並ぶ2つの予測ブ
ロックに分割する分割モード(PartMode)が2N×N分割(PART_2NxN)、2N×nU分
割(PART_2NxnU)、2N×nD分割(PART_2NxnD)での隣接する予測ブロックを示す図で
ある。PartIdxが1の処理対象の予測ブロックに隣接する予測ブロックB1はPartIdxが0
の予測ブロックである。したがって、予測ブロックB1を参照して、PartIdxが1の予測
ブロックのマージ候補導出及びマージ候補リスト構築処理を行うには、予測ブロックB1
である同じ符号化ブロックに属するPartIdxが0の予測ブロックのマージ候補導出及びマ
ージ候補リスト構築処理が完了し、利用するマージ候補を特定した後でないと、処理を行
うことができない。したがって、実施の形態に係るインター予測情報導出方法においては
、分割モード(PartMode)が2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU
)、2N×nD分割(PART_2NxnD)で、処理対象の予測ブロックのPartIdxが1では、Par
tIdxが0の予測ブロックである予測ブロックB1を参照せずに、PartIdxが1の予測ブロ
ックのマージ候補導出及びマージ候補リストの構築処理を行うことにより、符号化ブロッ
ク内の2つの予測ブロックのマージ候補導出及びマージ候補リストの構築処理を並列に処
理することが可能となる。
図14(e)、(f)、(g)は処理対象の符号化ブロックを左右に並ぶ2つの予測ブ
ロックに分割するモードを示す分割モード(PartMode)がN×2N分割(PART_Nx2N)、
nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)での隣接する予測ブロッ
クを示す図である。PartIdxが1の処理対象の予測ブロックに隣接する予測ブロックA1
はPartIdxが0の予測ブロックである。したがって、予測ブロックA1を参照して、PartI
dxが1の予測ブロックのマージ候補導出及びマージ候補リスト構築処理を行うには、予測
ブロックA1である同じ符号化ブロックに属するPartIdxが0の予測ブロックのマージ候
補導出及びマージ候補リスト構築処理が完了し、利用するマージ候補を特定した後でない
と、処理を行うことができない。したがって、実施の形態に係るインター予測情報導出方
法においては、分割モード(PartMode)がN×2N分割(PART_Nx2N)、nL×2N分割
(PART_nLx2N)、nR×2N分割(PART_nRx2N)で、処理対象の予測ブロックのPartIdx
が1では、PartIdxが0の予測ブロックである予測ブロックA1を参照せずに、PartIdxが
1の予測ブロックのマージ候補導出及びマージ候補リストの構築処理を行うことにより、
符号化ブロック内のそれぞれの予測ブロックのマージ候補導出及びマージ候補リストの構
築処理を並列に処理することが可能となる。
図14(h)は処理対象の符号化ブロックを上下左右に4分割して4つの予測ブロック
とした分割モード(PartMode)がN×N分割(PART_NxN)での隣接する予測ブロックを示
す図である。PartIdxが1の処理対象の予測ブロックに隣接する予測ブロックA1はPartI
dxが0の予測ブロックである。したがって、予測ブロックA1を参照してPartIdxが1の
予測ブロックのマージ候補導出及びマージ候補リスト構築処理を行うには、予測ブロック
A1である同じ符号化ブロックに属するPartIdxが0の予測ブロックのマージ候補導出及
びマージ候補リスト構築処理が完了し、利用するマージ候補を特定した後でないと、処理
を行うことができない。したがって、実施の形態に係るインター予測情報導出方法におい
ては、分割モード(PartMode)がN×N分割(PART_NxN)で、処理対象の予測ブロックの
PartIdxが1では、PartIdxが0の予測ブロックである予測ブロックA1を参照せずに、Pa
rtIdxが1の予測ブロックのマージ候補導出及びマージ候補リストの構築処理を行うこと
により、符号化ブロック内のそれぞれの予測ブロックのマージ候補導出及びマージ候補リ
ストの構築処理を並列に処理することが可能となる。PartIdxが2の処理対象の予測ブロ
ックに隣接する予測ブロックB2はPartIdxが0の予測ブロックであり、予測ブロックC
2はPartIdxが1の予測ブロックである。したがって、予測ブロックB2及びC2を参照
してPartIdxが2の予測ブロックのマージ候補導出及びマージ候補リスト構築処理を行う
には、予測ブロックB2及びC2である同じ符号化ブロックに属するPartIdxが0及び1
の予測ブロックのマージ候補導出及びマージ候補リスト構築処理が完了し、利用するマー
ジ候補を特定した後でないと、処理を行うことができない。したがって、実施の形態に係
るインター予測情報導出方法においては、分割モード(PartMode)がN×N分割(PART_N
xN)で、処理対象の予測ブロックのPartIdxが2では、PartIdxが0及び1の予測ブロック
である予測ブロックB2及びC2を参照せずに、PartIdxが2の予測ブロックのマージ候
補導出及びマージ候補リストの構築処理を行うことにより、符号化ブロック内のそれぞれ
の予測ブロックのマージ候補導出及びマージ候補リストの構築処理を並列に処理すること
が可能となる。PartIdxが3の処理対象の予測ブロックに隣接する予測ブロックE3はPar
tIdxが0の予測ブロックであり、予測ブロックB3はPartIdxが1の予測ブロックであり
、予測ブロックA3はPartIdxが2の予測ブロックである。したがって、予測ブロックE
3、B3及びA3を参照してPartIdxが3の予測ブロックのマージ候補導出及びマージ候
補リスト構築処理を行うには、予測ブロックE3、B3及びA3である同じ符号化ブロッ
クに属するPartIdxが0、1及び2の予測ブロックのマージ候補導出及びマージ候補リス
ト構築処理が完了し、利用するマージ候補を特定した後でないと、処理を行うことができ
ない。したがって、実施の形態に係るインター予測情報導出方法においては、分割モード
(PartMode)がN×N分割(PART_NxN)で、処理対象の予測ブロックのPartIdxが3では
、PartIdxが0、1及び2の予測ブロックである予測ブロックE3、B3及びA3を参照
せずに、PartIdxが3の予測ブロックのマージ候補導出及びマージ候補リストの構築処理
を行うことにより、符号化ブロック内のそれぞれの予測ブロックのマージ候補導出及びマ
ージ候補リストの構築処理を並列に処理することが可能となる。
図12の動画像符号化装置のインター予測情報導出部104は、マージ候補リスト生成
部130、空間マージ候補生成部131、時間マージ候補の参照インデックス導出部13
2、時間マージ候補生成部133、追加マージ候補生成部134、マージ候補制限部13
6およびインター予測情報選択部137を含む。
図13の動画像復号装置のインター予測情報導出部205は、マージ候補リスト生成部
230、空間マージ候補生成部231、時間マージ候補の参照インデックス導出部232
、時間マージ候補生成部233、追加マージ候補生成部234、マージ候補制限部236
およびインター予測情報選択部237を含む。
図15は本発明の実施の形態に係る第1の実施例の動画像符号化装置のインター予測情
報導出部104のマージ候補リストの構築部120及び動画像復号装置のインター予測情
報導出部205のマージ候補リストの構築部220とで共通する機能を有するマージ候補
の導出処理及びマージ候補リストの構築処理の手順を説明するフローチャートである。
以下、諸過程を順を追って説明する。なお、以下の説明においては特に断りのない限りス
ライスタイプslice_typeがBスライスの場合について説明するが、Pスライスの場合にも
適用できる。ただし、スライスタイプslice_typeがPスライスの場合、インター予測モー
ドとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予測(Pred_BI)が
ないので、L1に纏わる処理を省略することができる。なお、本実施の形態において、動
画像符号化装置および動画像復号装置において、最大マージ候補数maxNumMergeCandの値
が0の場合、図15のマージ候補の導出処理及びマージ候補リストの構築処理を省略する
ことができる。
まず、動画像符号化装置のインター予測情報導出部104のマージ候補リスト生成部1
30及び動画像復号装置のインター予測情報導出部205のマージ候補リスト生成部23
0では、マージ候補リストmergeCandListを用意する(図15のステップS100)。マ
ージ候補リストmergeCandListはリスト構造を成し、マージ候補リスト内部の所在を示す
マージインデックスと、インデックスに対応するマージ候補を要素として格納する記憶領
域が設けられている。マージインデックスの数字は0から開始され、マージ候補リストme
rgeCandListの記憶領域に、マージ候補が格納される。以降の処理では、マージ候補リス
トmergeCandListに登録されたマージインデックスiのマージ候補となる予測ブロックは
、mergeCandList[i]で表すこととし、マージ候補リストmergeCandListとは配列表記をす
ることで区別することとする。本実施の形態においては、マージ候補リストmergeCandLis
tは少なくとも5個のマージ候補(インター予測情報)を登録することができるものとす
る。さらに、マージ候補リストmergeCandListに登録されているマージ候補数を示す変数n
umMergeCandに0を設定する。用意されたマージ候補リストmergeCandListは動画像符号化
装置のインター予測情報導出部104の空間マージ候補生成部131及び動画像復号装置
のインター予測情報導出部205の空間マージ候補生成部231にそれぞれ供給される。
動画像符号化装置のインター予測情報導出部104の空間マージ候補生成部131及び
動画像復号装置のインター予測情報導出部205の空間マージ候補生成部231では、動
画像符号化装置の符号化情報格納メモリ115または動画像復号装置の符号化情報格納メ
モリ210に格納されている符号化情報から、符号化/復号対象ブロックに隣接するそれ
ぞれの予測ブロックA,B,C,D,Eからの空間マージ候補A,B,C,D,Eを導出
して、導出された空間マージ候補をマージ候補リストmergeCandListに登録する(図15
のステップS101)。ここで、A,B,C,D,Eまたは時間マージ候補Colのいず
れかを示すNを定義する。予測ブロックNのインター予測情報が空間マージ候補Nとして
利用できるかどうかを示すフラグavailableFlagN、空間マージ候補NのL0の参照インデ
ックスrefIdxL0N及びL1の参照インデックスrefIdxL1N、L0予測が行われるかどうかを
示すL0予測フラグpredFlagL0NおよびL1予測が行われるかどうかを示すL1予測フラ
グpredFlagL1N、L0の動きベクトルmvL0N、L1の動きベクトルmvL1Nを導出する。ただ
し、本実施の形態においては処理対象となる予測ブロックを含む符号化ブロックと同じ符
号化ブロックに含まれる予測ブロックを参照せずに、マージ候補を導出するので、処理対
象の予測ブロックを含む符号化ブロックと同じ符号化ブロックに含まれる空間マージ候補
は導出しない。ステップS101の詳細な処理手順については図16のフローチャートを
用いて後ほど詳細に説明する。マージ候補リストmergeCandListは動画像符号化装置のイ
ンター予測情報導出部104の時間マージ候補生成部133及び動画像復号装置のインタ
ー予測情報導出部205の時間マージ候補生成部233にそれぞれ供給される。
続いて、動画像符号化装置のインター予測情報導出部104の時間マージ候補の参照イ
ンデックス導出部132及び動画像復号装置のインター予測情報導出部205の時間マー
ジ候補の参照インデックス導出部232では、符号化/復号対象ブロックに隣接する予測
ブロックから時間マージ候補の参照インデックスを導出して、導出された参照インデック
スを動画像符号化装置のインター予測情報導出部104の時間マージ候補生成部133及
び動画像復号装置のインター予測情報導出部205の時間マージ候補生成部233に供給
する(図15のステップS102)。ただし、本実施の形態においては処理対象となる予
測ブロックを含む符号化ブロックと同じ符号化ブロックに含まれる予測ブロックを参照せ
ずに、時間マージ候補の参照インデックスを導出する。スライスタイプslice_typeがPス
ライスで時間マージ候補のインター予測情報を用いてインター予測を行う場合は、L0予
測(Pred_L0)を行うために、L0の参照インデックスだけを導出し、スライスタイプsli
ce_typeがBスライスで時間マージ候補のインター予測情報を用いてインター予測を行う
場合は、双予測(Pred_BI)を行うために、L0とL1のそれぞれの参照インデックスを
導出する。ステップS102の詳細な処理手順については図18のフローチャートを用い
て後ほど詳細に説明する。
続いて、動画像符号化装置のインター予測情報導出部104の時間マージ候補生成部1
33及び動画像復号装置のインター予測情報導出部205の時間マージ候補生成部233
では、異なる時間のピクチャからの時間マージ候補を導出して、導出された時間マージ候
補をマージ候補リストmergeCandListに登録する(図15のステップS103)。時間マ
ージ候補が利用できるかどうかを示すフラグavailableFlagCol、時間マージ候補のL0予
測が行われるかどうかを示すL0予測フラグpredFlagL0ColおよびL1予測が行われるか
どうかを示すL1予測フラグpredFlagL1Col、及びL0の動きベクトルmvL0N、L1の動き
ベクトルmvL1Nを導出する。ステップS103の詳細な処理手順については図19のフロ
ーチャートを用いて後ほど詳細に説明する。マージ候補リストmergeCandListは動画像符
号化装置のインター予測情報導出部104の追加マージ候補生成部134及び動画像復号
装置のインター予測情報導出部205の追加マージ候補生成部234にそれぞれ供給され
る。
続いて、動画像符号化装置のインター予測情報導出部104の追加マージ候補生成部1
34及び動画像復号装置のインター予測情報導出部205の追加マージ候補生成部234
では、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandが
、最大マージ候補数maxNumMergeCandより小さい場合、マージ候補リストmergeCandList内
に登録されているマージ候補数numMergeCandが最大マージ候補数maxNumMergeCandを上限
として追加マージ候補を導出して、マージ候補リストmergeCandListに登録する(図15
のステップS104)。最大マージ候補数maxNumMergeCandを上限として、Pスライスで
は、異なる参照インデックスで動きベクトルが(0,0)の値を持つ予測モードがL0予
測(Pred_L0)のマージ候補を追加する。Bスライスでは、異なる参照インデックスで動
きベクトルが(0,0)の値を持つ予測モードが双予測(Pred_BI)のマージ候補を追加
する。ステップS104の詳細な処理手順については図26のフローチャートを用いて後
ほど詳細に説明する。なお、Bスライスでは、すでに登録されているマージ候補同士のL
0予測とL1予測の組み合わせを変更した予測モードが双予測(Pred_BI)のマージ候補
を導出して登録してもよい。マージ候補リストmergeCandListは動画像符号化装置のイン
ター予測情報導出部104のマージ候補制限部136及び動画像復号装置のインター予測
情報導出部205のマージ候補制限部236にそれぞれ供給される。
続いて、動画像符号化装置のインター予測情報導出部104のマージ候補制限部136
及び動画像復号装置のインター予測情報導出部205のマージ候補制限部236では、マ
ージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandの値が最大
マージ候補数maxNumMergeCandよりも大きい場合、マージ候補リストmergeCandList内に登
録されているマージ候補数numMergeCandの値を最大マージ候補数maxNumMergeCandに制限
する(図15のステップS106)。マージ候補リストmergeCandListは動画像符号化装
置のインター予測情報導出部104のインター予測情報選択部137及び動画像復号装置
のインター予測情報導出部205のインター予測情報選択部237にそれぞれ供給される
。ステップS106の詳細な処理手順について、図27のフローチャートを用いて説明す
る。
最大マージ候補数maxNumMergeCandより大きい場合(図27のステップS7101のY
ES)、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCand
の値を最大マージ候補数maxNumMergeCandに更新する(図27のステップS7102)。
ステップS7102の処理はマージ候補リストmergeCandList内のマージインデックスが(
maxNumMergeCand-1)よりも大きいすべてのマージ候補へのアクセスを禁止し、マージ候補
リストmergeCandListに登録されるマージ候補数を最大マージ候補数maxNumMergeCandに制
限することを意味する。
本実施の形態においては、スライス単位でマージ候補リストmergeCandList内に登録さ
れるマージ候補数を固定した数に設定している。マージ候補リストmergeCandList内に登
録されるマージ候補数を固定する理由はマージ候補リストmergeCandList内に登録される
マージ候補数がマージ候補リストの構築状態に応じて変動すると、エントロピー復号とマ
ージ候補リストの構築に依存関係が生じ、復号側では予測ブロック毎にマージ候補リスト
を構築しマージ候補リストmergeCandList内に登録されるマージ候補数を導出してからで
ないと、マージインデックスをエントロピー復号することができず、マージインデックス
の復号に遅延が生じるとともにエントロピー復号が複雑になるためである。さらに、エン
トロピー復号が異なる時間のピクチャの予測ブロックから導出されたマージ候補Colを含
むマージ候補リストの構築状態に依存すると、別のピクチャの符号化ビット列の復号時に
エラーが発生した際に現在のピクチャの符号化ビット列もそのエラーの影響を受けて正常
なマージ候補リストmergeCandList内に登録されるマージ候補数を導出することができず
正常にエントロピー復号を続けることができない問題がある。本実施の形態の様にスライ
ス単位でマージ候補リストmergeCandList内に登録されるマージ候補数を固定した数に設
定すると、予測ブロック単位でのマージ候補リストmergeCandList内に登録されるマージ
候補数の導出が不要となり、マージ候補リストの構築と独立して、マージインデックスを
エントロピー復号することができるとともに、別のピクチャの符号化ビット列の復号時に
エラーが発生してもその影響を受けずに現在のピクチャの符号化ビット列のエントロピー
復号を続けることができる。本実施の形態においては、スライス単位でマージ候補リスト
mergeCandList内に登録されるマージ候補数を示すシンタックス要素が符号化されるもの
とし、mergeCandList内に登録されるマージ候補数を最大マージ候補数maxNumMergeCandと
定義する。
次に、図15のステップS101の処理手順である符号化/復号対象ブロックに隣接す
る予測ブロックNからのマージ候補Nの導出方法について詳細に説明する。図16は図1
5のステップS101の空間マージ候補導出処理手順を説明するフローチャートである。
Nには隣接する予測ブロックの領域を表すA(左側)、B(上側)、C(右上)、D(左
下)またはE(左上)が入る。なお、本実施の形態においては、隣接する5つの予測ブロ
ックから最大4つの空間マージ候補を導出する。
図16で、変数NをAとして符号化/復号対象の予測ブロックの左側に隣接する予測ブ
ロックAの符号化情報を調べてマージ候補Aを導出し、変数NをBとして上側に隣接する
予測ブロックBの符号化情報を調べてマージ候補Bを導出し、変数NをCとして右上側に
隣接する予測ブロックCの符号化情報を調べてマージ候補Cを導出し、変数NをDとして
左下側に隣接する予測ブロックDの符号化情報を調べてマージ候補Dを導出し、変数Nを
Eとして左上側に隣接する予測ブロックEの符号化情報を調べてマージ候補Eを導出し、
マージ候補リストに登録する(図16のステップS1101〜ステップS1118)。
まず、変数NがEで、フラグavailableFlagA, availableFlagB, availableFlagC, avai
lableFlagDの値を加算して合計が4の場合(図16のステップS1102のYES)、す
なわち4つの空間マージ候補が導出された場合、マージ候補EのフラグavailableFlagEを
0に設定し(図16のステップS1107)、マージ候補Eの動きベクトルmvL0E, mvL1E
の値を共に(0,0)に設定し(図16のステップS1108)、マージ候補Eのフラグ
predFlagL0E、predFlagL1Eの値を共に0に設定し(図16のステップS1109)、ステ
ップS1118に進み、本空間マージ候補導出処理を終了する。
本実施の形態においては、隣接する予測ブロックから最大で4つのマージ候補を導出す
るので、既に4つの空間マージ候補が導出された場合はそれ以上の空間マージ候補の導出
処理を行う必要がない。
一方、変数NがEでないか、フラグavailableFlagA, availableFlagB, availableFlagC
, availableFlagDの値を加算して合計が4でない場合(図16のステップS1102のN
O)、すなわち4つの空間マージ候補が導出されていない場合、ステップS1103に進
む。隣接する予測ブロックNが導出対象の予測ブロックを含む符号化ブロックと同じ符号
化ブロックに含まれる場合(図16のステップS1103のYES)、マージ候補Nのフ
ラグavailableFlagNの値を0に設定し(図16のステップS1107)、マージ候補Nの
動きベクトルmvL0N, mvL1Nの値を共に(0,0)に設定し(図16のステップS1108
)、マージ候補NのフラグpredFlagL0N、predFlagL1Nの値を共に0に設定し(図16のス
テップS1109)、ステップS1118に進む。隣接する予測ブロックNが導出対象の
予測ブロックを含む符号化ブロックと同じ符号化ブロックに含まれる場合(図16のステ
ップS1103のYES)、隣接する予測ブロックNを参照しないことで、予測ブロック
のマージ候補導出及びマージ候補リストの構築処理の並列処理を可能とする。
具体的には、分割モード(PartMode)が2N×N分割(PART_2NxN)、2N×nU分割
(PART_2NxnU)または2N×nD分割(PART_2NxnD)で、処理対象の予測ブロックのPart
Idxが1で、隣接する予測ブロックBの場合が、隣接する予測ブロックNが導出対象の予
測ブロックを含む符号化ブロックと同じ符号化ブロックに含まれる場合である。この場合
、隣接する予測ブロックBはPartIdxが0の予測ブロックであるので、隣接する予測ブロ
ックBを参照しないことで、予測ブロックのマージ候補導出及びマージ候補リストの構築
処理の並列処理を可能とする。
さらに、分割モード(PartMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PAR
T_nLx2N)またはnR×2N分割(PART_nRx2N)で、処理対象の予測ブロックのPartIdxが
1で、隣接する予測ブロックAの場合も、隣接する予測ブロックNが導出対象の予測ブロ
ックを含む符号化ブロックと同じ符号化ブロックに含まれる場合である。この場合も、隣
接する予測ブロックAはPartIdxが0の予測ブロックであるので、隣接する予測ブロック
Aを参照しないことで、予測ブロックのマージ候補導出及びマージ候補リストの構築処理
の並列処理を可能とする。
さらに、分割モード(PartMode)がN×N分割(PART_NxN)で、処理対象の予測ブロッ
クのPartIdxが1、2または3の場合も、隣接する予測ブロックNが導出対象の予測ブロ
ックを含む符号化ブロックと同じ符号化ブロックに含まれることがある。
一方、隣接する予測ブロックNが処理対象の予測ブロックを含む符号化ブロックと同じ
符号化ブロックに含まれない場合(図16のステップS1103のNO)、符号化/復号
対象の予測ブロックに隣接する予測ブロックNを特定し、それぞれの予測ブロックNが利
用できる場合は符号化情報格納メモリ115または210から予測ブロックNの符号化情
報を取得する(図16のステップS1104)。
隣接する予測ブロックNが利用できないか(図16のステップS1105のNO)、予
測ブロックNの予測モードPredModeがイントラ予測(MODE_INTRA)である場合(図16の
ステップS1106のNO)、マージ候補NのフラグavailableFlagNの値を0に設定し(
図16のステップS1107)、マージ候補Nの動きベクトルmvL0N, mvL1Nの値を共に(
0,0)に設定し(図16のステップS1108)、マージ候補NのフラグpredFlagL0N
、predFlagL1Nの値を共に0に設定し(ステップS1109)、ステップS1118に進
む。ここで、隣接する予測ブロックNが利用できない場合とは、具体的には隣接する予測
ブロックNが符号化/復号対象スライスの外に位置する場合や、まだ符号化/復号処理順
序で後のため、符号化/復号処理が完了していない場合等が該当する。
一方、隣接する予測ブロックNが導出対象の予測ブロックの符号化ブロックと同じ符号
化ブロック外で(図16のステップS1104のYES)、隣接する予測ブロックNが利
用でき(図16のステップS1105のYES)、予測ブロックNの予測モードPredMode
がイントラ予測(MODE_INTRA)でない場合(図16のステップS1106のYES)、予
測ブロックNのインター予測情報をマージ候補Nのインター予測情報とする。マージ候補
NのフラグavailableFlagNの値を1に設定し(図16のステップS1110)、マージ候
補Nの動きベクトルmvL0N, mvL1Nをそれぞれ予測ブロックNの動きベクトルmvL0N[xN][yN
], mvL1N[xN][yN]と同じ値に設定し(図16のステップS1111)、マージ候補Nの参
照インデックスrefIdxL0N, refIdxL1Nをそれぞれ予測ブロックNの参照インデックスrefI
dxL0[xN][yN], refIdxL1[xN][yN]と同じ値に設定し(図16のステップS1112)、マ
ージ候補NのフラグpredFlagL0N, predFlagL1Nをそれぞれ予測ブロックNのフラグpredFl
agL0[xN][yN], predFlagL1[xN][yN]に設定する(図16のステップS1113)。ここで
、xN、yNはピクチャ内での予測ブロックNの左上の画素の位置を示すインデックスである
続いて、マージ候補NのフラグpredFlagL0N, predFlagL1N、マージ候補Nの参照インデ
ックスrefIdxL0N, refIdxL1N、マージ候補Nの動きベクトルmvL0N, mvL1Nをすでに導出さ
れたマージ候補とそれぞれ比較する(図16のステップS1114)。同一マージ候補が
存在しない場合(図16のステップS1115のYES)、マージ候補Nをマージ候補リ
ストmergeCandListのマージインデックスがnumMergeCandと同じ値で示される位置に登録
し(図16のステップS1116)、マージ候補数numMergeCandに1を加算する(図16
のステップS1117)。一方、同一マージ候補が存在する場合(図16のステップS1
115のNO)、ステップS1116およびステップS1117をスキップして、ステッ
プS1118に進む。
以上のステップS1102〜ステップS1117の処理をN=A,B,C,D,Eにつ
いてそれぞれ繰り返す(図16のステップS1101〜ステップS1118)。
次に、図15のS102の時間マージ候補の参照インデックスを導出する方法について
詳細に説明する。時間マージ候補のL0とL1のそれぞれの参照インデックスを導出する
本実施の形態においては、空間マージ候補の参照インデックス、即ち符号化/復号対象
ブロックに隣接する予測ブロックで利用された参照インデックスを利用して時間マージ候
補の参照インデックスを導出する。これは、時間マージ候補が選択される場合において、
符号化/復号対象の予測ブロックの参照インデックスは空間マージ候補となる符号化/復
号対象ブロックに隣接する予測ブロックの参照インデックスと高い相関を持つからである
。特に、本実施の形態においては、符号化/復号対象の予測ブロックの左の辺に隣接する
予測ブロックAの参照インデックスだけを利用する。なぜなら、空間マージ候補でもある
隣接する予測ブロックA,B,C,D,Eの中でも符号化/復号対象の予測ブロックの辺
に接している予測ブロックA,Bは、符号化/復号対象の予測ブロックの頂点のみに接し
ている予測ブロックC,D,Eよりも相関が高いからである。相対的に相関の低い予測ブ
ロックC,D,Eを利用せずに、利用する予測ブロックを予測ブロックAに限定すること
で、時間マージ候補の参照インデックスの導出による符号化効率の改善効果を得るととも
に、時間マージ候補の参照インデックス導出処理に関する演算量及びメモリアクセス量を
削減する。
図17は本実施の形態における時間マージ候補の参照インデックスの導出処理において
参照する隣接ブロックを示す図である。本実施の形態では、符号化ブロックの分割モード
(PartMode)に関わらず、予測ブロックの分割インデックスPartIdxに応じて、導出対象
の予測ブロックの左辺に隣接する予測ブロックを参照するかどうかを切り替える。予測ブ
ロックの分割インデックスPartIdxが0の場合は左辺に隣接する予測ブロックを参照し、
分割インデックスPartIdxが0以外の場合は隣接する予測ブロックを参照せずデフォルト
値とする。予測ブロックの分割インデックスPartIdxが0の場合はどの分割モード(PartM
ode)においても左辺に隣接する予測ブロックは必ず符号化ブロック外となるが、予測ブ
ロックの分割インデックスPartIdxが0以外の場合は分割モード(PartMode)よっては符
号化ブロック内となる。分割モード(PartMode)が2N×2N分割(PART_2Nx2N)では、
図17(a)に示すように、導出対象の予測ブロックの左に隣接する予測ブロックA0を
参照し、時間マージ候補のLXの参照インデックスを予測ブロックA0のLXの参照イン
デックスの値に設定する。
処理対象の符号化ブロックを上下に並ぶ2つの予測ブロックに分割する分割モード(Pa
rtMode)が2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分
割(PART_2NxnD)、および処理対象の符号化ブロックを左右に並ぶ2つの予測ブロックに
分割する分割モード(PartMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PART_
nLx2N)、nR×2N分割(PART_nRx2N)では、図17(b)、(c)、(d)、(e)
、(f)、(g)に示すように、導出対象の分割インデックスPartIdxが0の予測ブロッ
クでは左に隣接する予測ブロックA0を参照し、時間マージ候補のLXの参照インデック
スを予測ブロックA0のLXの参照インデックスの値に設定する。導出対象の分割インデ
ックスPartIdxが1の予測ブロックでは隣接する予測ブロックを参照せず、時間マージ候
補のLXの参照インデックスをデフォルト値の0に設定する。参照する予測ブロックA0
が符号化ブロック外にあるので、分割インデックスPartIdxが0と1の2つの予測ブロッ
クの時間マージ候補の参照インデックスをそれぞれ並列に導出することができる。
処理対象の符号化ブロックを上下左右に4分割して4つの予測ブロックに分割する分割
モード(PartMode)がN×N分割(PART_NxN)では、図17(h)に示すように、導出対
象の分割インデックスPartIdxが0の予測ブロックでは左に隣接する予測ブロックA0を
参照し、時間マージ候補のLXの参照インデックスを予測ブロックA0のLXの参照イン
デックスの値に設定する。導出対象の分割インデックスPartIdxが1、2および3の予測
ブロックでは隣接する予測ブロックを参照せず、時間マージ候補のLXの参照インデック
スをデフォルト値の0に設定する。参照する予測ブロックA0が符号化ブロック外にある
ので、分割インデックスPartIdxが0、1、2および3の4つの予測ブロックの時間マー
ジ候補の参照インデックスをそれぞれ並列に導出することができる。
ただし、隣接する予測ブロックAがLX予測を行わない場合は時間マージ候補のLXの
参照インデックスの値をデフォルト値の0とする。隣接する予測ブロックAがLX予測を
行わない場合や導出対象の予測ブロックの分割インデックスPartIdxが1の場合に、時間
マージ候補のLXの参照インデックスのデフォルト値を0とする理由は、インター予測に
おいて参照インデックスの値が0に対応する参照ピクチャが最も選択される確率が高いか
らである。ただし、これに限定されず、参照インデックスのデフォルト値を0以外の値(
1、2など)としても良いし、シーケンスレベル、ピクチャレベル、またはスライスレベ
ルで符号化ストリーム内に参照インデックスのデフォルト値を示すシンタックス要素を設
置し伝送できるようにして、符号化側で選択できるようにしても良い。
図18は本実施の形態による図15のステップS102の時間マージ候補の参照インデ
ックスの導出処理手順を説明するフローチャートである。まず、分割インデックスPartId
xが0である場合(ステップS2104のYES)、符号化情報格納メモリ115または
210から導出対象の予測ブロックの左に隣接する予測ブロックAの符号化情報を取得す
る(ステップS2111)。
続くステップS2113からステップS2115までの処理をL0、L1それぞれにお
いて行う(ステップS2112〜S2116)。なお、時間マージ候補のL0の参照イン
デックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際
にはLXはL1に設定される。ただし、スライスタイプslice_typeがPスライスの場合、
インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予
測(Pred_BI)がないので、L1に纏わる処理を省略することができる。
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0でない
場合(ステップS2113のYES)、時間マージ候補のLXの参照インデックスrefIdx
LXColを予測ブロックAのLXの参照インデックスrefIdxLX[xA][yA]の値と同じ値に設定
する(ステップS2114)。ここで、xA、yAはピクチャ内での予測ブロックAの左上の
画素の位置を示すインデックスである。
なお、本実施の形態においては、予測ブロックN(N=A,B)において、予測ブロッ
クNが符号化/復号対象のスライス外で利用できない場合や予測ブロックNが符号化/復
号順序で符号化/復号対象の予測ブロックよりも後のために符号化/復号されておらず利
用できない場合や予測ブロックNの予測モードPredModeがイントラ予測(MODE_INTRA)の
場合、L0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、予測ブロックNの
L1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は共に0である。ここで、
xN、yNはピクチャ内での予測ブロックNの左上の画素の位置を示すインデックスである。
予測ブロックNの予測モードPredModeがインター予測(MODE_INTER)で、インター予測モ
ードがL0予測(Pred_L0)の場合、予測ブロックNのL0予測を利用するかどうかを示
すフラグpredFlagL0[xN][yN]は1, L1予測を利用するかどうかを示すフラグpredFlagL1
[xN][yN]は0である。予測ブロックNのインター予測モードがL1予測(Pred_L1)の場
合、予測ブロックNのL0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]は0
, L1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は1である。予測ブロッ
クNのインター予測モードが双予測(Pred_BI)の場合、予測ブロックNのL0予測を利
用するかどうかを示すフラグpredFlagL0[xN][yN]、L1予測を利用するかどうかを示すフ
ラグpredFlagL1[xN][yN]は共に1である。
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0である
場合(ステップS2113のNO)、時間マージ候補のLXの参照インデックスrefIdxLX
Colをデフォルト値の0に設定する(ステップS2115)。
L0、L1それぞれにおいてステップS2113からステップS2115までの処理を
行い(ステップS2112〜S2116)、本参照インデックス導出処理を終了する。
一方、分割インデックスPartIdxが0でない場合(ステップS2104のNO)、続く
ステップS2121の処理をL0、L1それぞれにおいて行う(ステップS2118〜S
2122)。なお、時間マージ候補のL0の参照インデックスを導出する際にはLXはL
0に設定され、L1の参照インデックスを導出する際にはLXはL1に設定される。ただ
し、スライスタイプslice_typeがPスライスの場合、インター予測モードとしてL0予測
(Pred_L0)だけがあり、L1予測(Pred_L1)、双予測(Pred_BI)がないので、L1に
纏わる処理を省略することができる。
時間マージ候補のLXの参照インデックスrefIdxLXColをデフォルト値の0に設定する
(ステップS2121)。
L0、L1それぞれにおいてステップS2121までの処理を行い(ステップS211
8〜S2122)、本参照インデックス導出処理を終了する。
なお、本実施の形態においては導出対象の予測ブロックの左辺に隣接する予測ブロック
を参照するかどうかを切り替えたが、左辺に隣接する予測ブロックの代わりに上辺に隣接
する予測ブロックを参照するかどうかを切り替えてもよい。
次に、図15のS103の異なる時間のマージ候補の導出方法について詳細に説明する
。図19は図15のステップS103の時間マージ候補導出処理手順を説明するフローチ
ャートである。
まず、スライス単位でスライスヘッダに記述されるスライスタイプslice_typeと時間方
向の予測動きベクトルの候補、またはマージ候補を導出する際に用いる異なる時間のピク
チャcolPicが処理対象の予測ブロックが含まれるピクチャのL0の参照リスト或いはL1
の参照リストのどちらに登録されている参照ピクチャを使用するかを示すフラグcollocat
ed_from_l0_flagにより、異なる時間のピクチャcolPicを導出する(ステップS3101
)。
図20は図19のステップS3101の異なる時間のピクチャcolPicの導出処理手順を
説明するフローチャートである。スライスタイプslice_typeがBスライスで、フラグcoll
ocated_from_l0_flagが0の場合(ステップS3201のYES、ステップS3202の
YES)、RefPicList1[0]、すなわち参照リストL1の参照インデックスが0のピクチャ
が異なる時間のピクチャcolPicとなる(ステップS3203)。そうでない場合、すなわ
ちスライスタイプslice_typeがBスライスで前述のフラグcollocated_from_l0_flagが1
の場合(ステップS3201のYES、ステップS3202のNO)、またはスライスタ
イプslice_typeがPスライスの場合(ステップS3201のNO、S3204のYES)
、RefPicList0[0]、すなわち参照リストL0の参照インデックスが0のピクチャが異なる
時間のピクチャcolPicとなる(ステップS3205)。
次に、図19のフローチャートに戻り、異なる時間の予測ブロックcolPUを導出し、符
号化情報を取得する(ステップS3102)。
図21は図19のステップS3102の異なる時間のピクチャcolPicの予測ブロックco
lPUの導出処理手順を説明するフローチャートである。
まず、異なる時間のピクチャcolPic内で処理対象の予測ブロックと同一位置の右下(外
側)に位置する予測ブロックを異なる時間の予測ブロックcolPUとする(ステップS33
01)。この予測ブロックは図9の予測ブロックT0に相当する。
次に、異なる時間の予測ブロックcolPUの符号化情報を取得する(ステップS3302
)。異なる時間の予測ブロックcolPUのPredModeが利用できないか、異なる時間の予測ブ
ロックcolPUの予測モードPredModeがイントラ予測(MODE_INTRA)である場合(ステップ
S3303のYES、ステップS3304のYES)、異なる時間のピクチャcolPic内で
処理対象の予測ブロックと同一位置の中央左上に位置する予測ブロックを異なる時間の予
測ブロックcolPUとする(ステップS3305)。この予測ブロックは図9の予測ブロッ
クT1に相当する。
次に、図19のフローチャートに戻り、符号化/復号対象の予測ブロックと同位置の他
ピクチャの予測ブロックから導出されるL0の予測動きベクトルmvL0Colと時間マージ候
補Colが有効か否かを示すフラグavailableFlagL0Colを導出するとともに(ステップS
3103)、L1の予測動きベクトルmvL1Colと時間マージ候補Colが有効か否かを示
すフラグavailableFlagL1Colを導出する(ステップS3104)。さらに、フラグavaila
bleFlagL0Col またはフラグavailableFlagL1Colが1の場合に、時間マージ候補Colが有
効か否かを示すフラグavailableFlagColを1に設定する。
図22は図19のステップS3103、ステップS3104の時間マージ候補のインタ
ー予測情報の導出処理手順を説明するフローチャートである。L0またはL1で、時間マ
ージ候補の導出対象のリストをLXとし、LXを用いた予測をLX予測とする。以下、断
りのない限り、この意味で用いる。時間マージ候補のL0の導出処理であるステップS3
103として呼び出される際には、LXがL0となり、時間マージ候補のL1の導出処理
であるステップS3104として呼び出される際には、LXがL1となる。
異なる時間の予測ブロックcolPUの予測モードPredModeがイントラ予測(MODE_INTRA)
か、利用できない場合(ステップS3401のNO、ステップS3402のNO)、時間
マージ候補は存在しないものとする。フラグavailableFlagLXColとフラグpredFlagLXCol
を共に0とし(ステップS3403)、動きベクトルmvLXColを(0,0)として(ステ
ップS3404)、本時間マージ候補のインター予測情報の導出処理を終了する。
予測ブロックcolPUが利用できて予測モードPredModeがイントラ予測(MODE_INTRA)で
ない場合(ステップS3401のYES、ステップS3402のYES)、以下の手順で
mvColとrefIdxColとavailableFlagColを導出する。
予測ブロックcolPUのL0予測が利用されているかどうかを示すフラグPredFlagL0[xPCo
l][yPCol]が0の場合(ステップS3405のYES)、予測ブロックcolPUの予測モード
はPred_L1であるので、動きベクトルmvColが予測ブロックcolPUのL1の動きベクトルで
あるMvL1[xPCol][yPCol]と同じ値に設定され(ステップS3406)、参照インデックス
refIdxColがL1の参照インデックスRefIdxL1[xPCol][yPCol]と同じ値に設定され(ステ
ップS3407)、リストListColがL1に設定される(ステップS3408)。ここで
、xPCol、yPColは異なる時間のピクチャcolPic内での予測ブロックcolPUの左上の画素の
位置を示すインデックスである。
一方、予測ブロックcolPUのL0予測フラグPredFlagL0[xPCol][yPCol]が0でない場合
(図22のステップS3405のNO)、予測ブロックcolPUのL1予測フラグPredFlagL
1[xPCol][yPCol]が0かどうかを判定する。予測ブロックcolPUのL1予測フラグPredFlag
L1[xPCol][yPCol]が0の場合(ステップS3409のYES)、動きベクトルmvColが予
測ブロックcolPUのL0の動きベクトルであるMvL0[xPCol][yPCol]と同じ値に設定され(
ステップS3410)、参照インデックスrefIdxColがL0の参照インデックスRefIdxL0[
xPCol][yPCol]と同じ値に設定され(ステップS3411)、リストListColがL0に設定
される(ステップS3412)。
予測ブロックcolPUのL0予測フラグPredFlagL0[xPCol][yPCol]と予測ブロックcolPUの
L1予測フラグPredFlagL1[xPCol][yPCol]が共に0でない場合(ステップS3405のN
O、ステップS3409のNO)、予測ブロックcolPUのインター予測モードは双予測(P
red_BI)であるので、L0、L1の2つの動きベクトルから、一方を選択する(ステップ
S3413)。
図23は予測ブロックcolPUのインター予測モードが双予測(Pred_BI)のときの時間マ
ージ候補のインター予測情報の導出処理手順を示すフローチャートである。
まず、すべての参照リストに登録されているすべてのピクチャのPOCが現在の符号化
/復号対象ピクチャのPOCより小さいかどうかを判定し(ステップS3501)、予測
ブロックcolPUのすべての参照リストであるL0及びL1に登録されているすべてのピク
チャのPOCが現在の符号化/復号対象ピクチャのPOCより小さい場合で(ステップS
3501のYES)、LXがL0、即ち符号化/復号対象ピクチャのL0の動きベクトル
の予測ベクトル候補を導出している場合(ステップS3502のYES)、予測ブロック
colPUのL0の方のインター予測情報を選択し、LXがL1、即ち符号化/復号対象ピク
チャのL1の動きベクトルの予測ベクトル候補を導出している場合(ステップS3502
のNO)、予測ブロックcolPUのL1の方のインター予測情報を選択する。一方、予測ブ
ロックcolPUのすべての参照リストL0及びL1に登録されているピクチャのPOCの少
なくとも1つが現在の符号化/復号対象ピクチャのPOCより大きい場合で(ステップS
3501のNO)、フラグcollocated_from_l0_flagが0の場合(ステップS3503の
YES)、予測ブロックcolPUのL0の方のインター予測情報を選択し、フラグcollocate
d_from_l0_flagが1の場合(ステップS3503のNO)、予測ブロックcolPUのL1の
方のインター予測情報を選択する。
予測ブロックcolPUのL0の方のインター予測情報を選択する場合(ステップのYES
、ステップS3503のYES)、動きベクトルmvColがMvL0[xPCol][yPCol]と同じ値に
設定され(ステップS3504)、参照インデックスrefIdxColがRefIdxL0[xPCol][yPCol
]と同じ値に設定され(ステップS3505)、リストListColがL0に設定される(ステ
ップS3506)。
予測ブロックcolPUのL1の方のインター予測情報を選択する場合(ステップS250
2のNO、ステップS3503のNO)、動きベクトルmvColがMvL1[xPCol][yPCol]と同
じ値に設定され(ステップS3507)、参照インデックスrefIdxColがRefIdxL1[xPCol]
[yPCol]と同じ値に設定され(ステップS3508)、リストListColがL1に設定される
(ステップS3509)。
図22に戻り、予測ブロックcolPUからインター予測情報が取得できたらフラグavailab
leFlagLXColとフラグpredFlagLXColを共に1とする(ステップS3414)。
続いて、動きベクトルmvColをスケーリングして時間マージ候補のLXの動きベクトルm
vLXColとする(ステップS3415)。この動きベクトルのスケーリング演算処理手順を
図24及び図25を用いて説明する。
図24は図22のステップS3415の動きベクトルのスケーリング演算処理手順を示
すフローチャートである。
異なる時間のピクチャcolPicのPOCから、予測ブロックcolPUのリストListColで参照
する参照インデックスrefIdxColに対応する参照ピクチャのPOCを減算してピクチャ間
距離tdを導出する(ステップS3601)。なお、異なる時間のピクチャcolPicよりも
予測ブロックcolPUのリストListColで参照する参照ピクチャのPOCの方が表示順序で前
の場合、ピクチャ間距離tdは正の値となり、異なる時間のピクチャcolPicよりも予測ブ
ロックcolPUのリストListColで参照する参照ピクチャのPOCの方が表示順序で後の場合
、ピクチャ間距離tdは負の値となる。
td=異なる時間のピクチャcolPicのPOC−予測ブロックcolPUのリストListColで
参照する参照ピクチャのPOC
現在の符号化/復号対象ピクチャのPOCから図15のステップS102で導出された
時間マージ候補のLXの参照インデックスに対応する参照ピクチャのPOCを減算してピ
クチャ間距離tbを導出する(ステップS3602)。なお、現在の符号化/復号対象ピ
クチャよりも現在の符号化/復号対象ピクチャのリストLXで参照する参照ピクチャの方
が表示順序で前の場合、ピクチャ間距離tbは正の値となり、現在の符号化/復号対象ピ
クチャのリストLXで参照する参照ピクチャの方が表示順序で後の場合、ピクチャ間距離
tbは負の値となる。
tb=現在の符号化/復号対象ピクチャのPOC−時間マージ候補のLXの参照イン
デックスに対応する参照ピクチャのPOC
続いて、ピクチャ間距離tdとtbを比較し(ステップS3603)、ピクチャ間距離
tdとtbが等しい場合(ステップS3603のYES)、時間マージ候補のLXの動き
ベクトルmvLXColを動きベクトルmvColと同じ値に設定して(ステップS3604)、本ス
ケーリング演算処理を終了する。
mvLXCol=mvCol
一方、ピクチャ間距離tdとtbが等しくない場合(ステップS3603のNO)、次
式によりmvColにスケール係数tb/tdを乗じることでスケーリング演算処理を行い(
ステップS3605)、スケーリングされた時間マージ候補のLXの動きベクトルmvLXCo
lを得る。
mvLXCol=tb / td * mvCol
また、ステップS3605のスケーリング演算を整数精度の演算で行う場合の例を図2
5に示す。図25のステップS3606〜ステップS3608の処理が、図24のステッ
プS3605の処理に相当する。
まず、図24のフローチャートと同様に、ピクチャ間距離tdとピクチャ間距離tbを
導出する(ステップS3601、ステップS3602)。
続いて、ピクチャ間距離tdとtbを比較し(ステップS3603)、ピクチャ間距離
tdとtbが等しい場合(ステップS3603のYES)、図24のフローチャートと同
様に、時間マージ候補のLXの動きベクトルmvLXColを動きベクトルmvColと同じ値に設定
して(ステップS3604)、本スケーリング演算処理を終了する。
mvLXCol=mvCol
一方、ピクチャ間距離tdとtbが等しくない場合(ステップS3603のNO)、次
式により変数txを導出する(ステップS3606)。
tx = ( 16384 + Abs( td / 2 ) ) / td
続いて、次式によりスケール係数DistScaleFactorを導出する(ステップS3607)

DistScaleFactor = ( tb * tx + 32 ) >> 6
続いて、次式により、スケーリングされた時間マージ候補のLXの動きベクトルmvLXCo
lを得る(ステップS3608)。
mvLXCol = ClipMv( Sign( DistScaleFactor * mvCol ) * ( (Abs( DistScaleFactor *
mvCol ) + 127 ) >> 8 ) )
次に、図19のフローチャートに戻り、時間マージ候補が存在する場合(ステップS3
105のYES)、時間マージ候補をマージ候補リストmergeCandListのマージインデッ
クスがnumMergeCandと同じ値で示される位置に登録し(ステップS3106)、マージ候
補数numMergeCandに1を加算して(ステップS3107)、本時間マージ候補導出処理を
終了する。一方、時間マージ候補が存在しない場合(ステップS3105のNO)、ステ
ップS3106およびステップS3107をスキップして、本時間マージ候補導出処理を
終了する。
次に、図12の追加マージ候補生成部134および図13の追加マージ候補生成部23
4で実施される図15のステップS104の処理手順である追加マージ候補の導出方法に
ついて詳細に説明する。図26は図15のステップS104の追加マージ候補導出処理手
順を説明するフローチャートである。
図12の追加マージ候補生成部134および図13の追加マージ候補生成部234で実
施される追加マージ候補導出処理においては、マージ候補の選択の幅を広げて、符号化効
率を向上させるために、異なる値のインター予測情報を持つ複数のマージ候補を生成し、
マージ候補リストに登録する。特に、図26の追加マージ候補導出処理においては、予測
モードと動きベクトルの値を固定し、異なる参照インデックスの値の複数のマージ候補を
生成し、マージ候補リストに登録する(図26のステップS5101〜S5119)。
まず、スライスタイプがPスライスの場合(図26のステップS5101のYES)、
参照インデックス数を示す変数numRefIdxにL0の参照インデックス数の値を設定する(
図26のステップS5102)。一方、スライスタイプがPスライスでない場合(図26
のステップS5101のNO)、すなわちスライスタイプがBスライスの場合、参照イン
デックス数を示す変数numRefIdxにL0の参照インデックス数とL1の参照インデックス
数の小さい方の値を設定する(図26のステップS5103)。続いて参照インデックス
iに0を設定する(図26のステップS5104)。
続いて、参照インデックスiを変更しながら、スライスタイプに応じた予測モードの動
きベクトルの値が(0,0)の追加マージ候補を導出し、マージ候補リストに登録する。
(図26のステップS5105〜S5119)。
まず、マージ候補数numMergeCandが最大マージ候補数maxNumMergeCandより小さい場合
(図26のステップS5106のYES)、ステップS5107に進み、マージ候補数nu
mMergeCandが最大マージ候補数maxNumMergeCandより小さくない場合(図26のステップ
S5106のNO)、本追加マージ候補導出処理を終了する。続いて、参照インデックス
iが変数numRefIdxより小さい場合(図26のステップS5107のYES)、ステップ
S5109に進み、参照インデックスiが変数numRefIdxよりより小さくない場合(図2
6のステップS5107のNO)、本追加マージ候補導出処理を終了する。
続いて、スライスタイプがPスライスの場合(図26のステップS5109のYES)
、追加マージ候補の動きベクトルmvL0Zero、mvL1Zeroに(0,0)を設定し(図26のス
テップS5110)、追加マージ候補の参照インデックスrefIdxL0Zeroに参照インデック
スiの値を設定し、refIdxL1Zeroに−1を設定し(図26のステップS5111)、追加
マージ候補のフラグpredFlagL0Zeroに1を設定し、predFlagL1Zeroに0を設定して(図2
6のステップS5112)、ステップS5116に進む。
一方、スライスタイプがPスライスでない場合(図26のステップS5109のNO)
、すなわちスライスタイプがBスライスの場合、追加マージ候補の動きベクトルmvL0Zero
、mvL1Zeroに(0,0)を設定し(図26のステップS5113)、追加マージ候補の参
照インデックスrefIdxL0Zero、refIdxL1Zeroに参照インデックスiの値を設定し(図26
のステップS5114)、追加マージ候補のフラグpredFlagL0Zero、predFlagL1Zeroに1
を設定して(図26のステップS5115)、ステップS5116に進む。
続いて、追加マージ候補をマージ候補リストmergeCandListのマージインデックスがnum
MergeCandと同じ値で示される位置に登録し(図26のステップS5116)、マージ候
補数numMergeCandに1を加算する(図26のステップS5117)。続いて、インデック
スiに1を加算し(図26のステップS5118)、ステップS5119に進む。
以上のステップS5106〜ステップS5118の処理をそれぞれの参照インデックス
i毎にそれぞれ繰り返す(図26のステップS5105〜ステップS5119)。
図26では予測モードと動きベクトルの値を固定し、異なる参照インデックスの値の複
数のマージ候補を生成し、マージ候補リストに登録するものとしてしたが、異なる予測モ
ードの複数のマージ候補を生成して、マージ候補リストに登録してもよいし、異なる動き
ベクトルの値のマージ候補を生成し、マージ候補リストに登録してもよい。動きベクトル
の値を変更する場合には、例えば、(0,0)、(1,0)、(−1,0)、(0,1)
、(0,−1)の順序で動きベクトルの値を変更しながら、追加する。
次に、動画像符号化装置のインター予測情報導出部104のインター予測情報選択部1
37について説明する。図37は動画像符号化装置のインター予測情報導出部104のイ
ンター予測情報選択部137の処理手順を説明するフローチャートである。第1の実施例
の図12において、動画像符号化装置のインター予測情報導出部104のインター予測情
報選択部137では、マージ候補数numMergeCandが0より大きい場合(図37のステップ
S8101のYES)、マージ候補リストに登録されているマージインデックスが0から
(numMergeCand-1)の範囲内で指し示される有効なマージ候補の中から、マージ候補を選
択し、選択されたマージ候補の各予測ブロックのL0予測、及びL1予測を利用するかど
うかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、参照インデックスrefIdxL0
[xP][yP], refIdxL1[xP][yP]、動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予
測情報を動き補償予測部105に供給するとともに、選択されたマージ候補を特定するマ
ージインデックスを予測方法決定部107に供給する(図37のステップS8102)。
マージインデックスmergeIdxの値がマージ候補数numMergeIdxの値未満の場合、マージイ
ンデックスmergeIdxはマージ候補リストmergeCandListに登録されている有効なマージ候
補を指し示す。マージインデックスmergeIdxの値がマージ候補数numMergeIdxの値以上の
場合、マージインデックスmergeIdxはマージ候補リストmergeCandListに登録されていな
い無効なマージ候補を指し示す。なお、後述の規定を符号化側にも適用することで、マー
ジインデックスmergeIdxが無効なマージ候補を指し示す場合においても、有効なマージ候
補を選択することが可能となる。
マージ候補の選択においては、予測方法決定部107と同様の方法を用いることができ
る。それぞれのマージ候補ごとに符号化情報及び残差信号の符号量と予測画像信号と画像
信号との間の符号化歪を導出し、最も少ない発生符号量と符号化歪となるマージ候補が決
定される。それぞれのマージ候補毎にマージモードの符号化情報であるマージインデック
スのシンタックス要素merge_idxのエントロピー符号化を行い、符号化情報の符号量を算
出する。さらに、それぞれのマージ候補毎に動き補償予測部105と同様の方法で各マー
ジ候補のインター予測情報に応じて動き補償した予測画像信号と、画像メモリ101から
供給される符号化対象の画像信号との予測残差信号を符号化した予測残差信号の符号量を
算出する。符号化情報、即ちマージインデックスの符号量と予測残差信号の符号量とが加
算された総発生符号量を算出し評価値とする。
また、こうした予測残差信号を符号化後に、歪量評価の為に復号し、符号化により生じ
る元の画像信号との誤差を表す比率として符号化歪が算出される。これら総発生符号量と
符号化歪とをマージ候補毎に比較することで、少ない発生符号量と符号化歪となる符号化
情報が決定される。決定された符号化情報に対応するマージインデックスが、予測ブロッ
ク単位の第2のシンタックスパターンで表されるフラグmerge_idxとして符号化される。
尚、ここで算出される発生符号量は、符号化過程をシミュレートしたものであることが望
ましいが、簡便に近似したり、概算することも可能である。
一方、マージ候補数numMergeCandが0の場合(図37のステップS8102のNO)、
規定のスライスタイプに応じたデフォルト値のインター予測情報を動き補償予測部105
に供給する(ステップS8103〜S8105)。インター予測情報のデフォルト値は、
スライスタイプがPスライスの場合(図37のステップS8103のYES)、L0予測
(Pred_L0)で(フラグpredFlagL0[xP][yP]の値が1、predFlagL1[xP][yP]の値が0)、
L0の参照インデックスが0(参照インデックスrefIdxL0[xP][yP]の値が0、refIdxL1[x
P][yP]の値が−1)で、L0のベクトル値mvL0[xP][yP]が(0,0)とする(図37のス
テップS8104)。一方、スライスタイプがPスライスでない場合(ステップS810
3のNO)、すなわちスライスタイプがBスライスの場合、インター予測モードが双予測
(Pred_BI)で(フラグpredFlagL0[xP][yP]、predFlagL1[xP][yP]の値が共に1)、参照
インデックスが双方共に0(参照インデックスrefIdxL0[xP][yP]、refIdxL1[xP][yP]の値
が共に0)で、L0およびL1のベクトル値mvL0[xP][yP]、mvL1[xP][yP]が双方共に(0
,0)とする(ステップS8105)。なお、インター予測情報のデフォルト値は、スラ
イスタイプに係らずスライスタイプがBスライスの場合においても、L0予測(Pred_L0
)で(フラグpredFlagL0[xP][yP]の値が1、predFlagL1[xP][yP]の値が0)、L0の参照
インデックスが0(参照インデックスrefIdxL0[xP][yP]の値が0、refIdxL1[xP][yP]の値
が−1)で、L0のベクトル値mvL0[xP][yP]が(0,0)とすることもできる。
次に、動画像復号装置のインター予測情報導出部205のインター予測情報選択部23
7について説明する。図38は動画像復号装置のインター予測情報導出部205のインタ
ー予測情報選択部237の処理手順を説明するフローチャートである。第1の実施例の図
13において、動画像復号装置のインター予測情報導出部205のインター予測情報選択
部237では、マージ候補数numMergeCandが0より大きい場合(図38のステップS91
01のYES)、マージ候補リストmergeCandListに登録されているマージ候補の中から
、第2符号化ビット列復号部202から供給されたマージインデックスmergeIdxに対応す
るマージ候補を選択し、選択されたマージ候補のL0予測、及びL1予測を利用するかど
うかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、L0、L1の参照インデッ
クスrefIdxL0[xP][yP], refIdxL1[xP][yP]、L0、L1の動きベクトルmvL0[xP][yP], mv
L1[xP][yP]等のインター予測情報を動き補償予測部206に供給するとともに、符号化情
報格納メモリ210に格納する(図38のステップS9102)。
なお、万が一、符号化側で無効なマージ候補を指し示すマージインデックスを符号化し
た場合、復号側で無効なマージ候補を選択することになる。その場合、無効なインター予
測情報でインター予測が行われることになり、予期しない予測信号が得られる可能性があ
る。また、インター予測モードが規格外の値を示したり、参照インデックスが存在しない
参照ピクチャを指し示したりすることで、エラーが発生し、復号が異常終了する可能性も
ある。
そこで、本実施の形態に係る第1の実施例では、供給されたマージインデックスmergeI
dxの値がマージ候補数numMergeIdxの値以上の場合、マージインデックスmergeIdxにマー
ジ候補数numMergeIdxの値を設定してから前記処理を行うものとする。供給されたマージ
インデックスmergeIdxの値がマージ候補数numMergeIdxの値以上の場合、符号化側で設定
されたマージインデックスmergeIdxはマージ候補リストmergeCandListに登録されていな
い無効なマージ候補を指し示す。マージインデックスmergeIdxのクリッピング処理により
、マージ候補リストmergeCandListの最後に登録されたマージ候補を得ることができる。
このマージインデックスmergeIdxのクリッピング処理を規定することで、復号側でマージ
候補リストmergeCandListに登録されていない無効なマージ候補を選択することを防ぐこ
とが可能となる。
あるいは、供給されたマージインデックスmergeIdxの値がマージ候補数numMergeIdxの
値以上の場合、マージ候補のインター予測情報を、既定の値に規定することで無効なマー
ジ候補を選択することを防ぐこともできる。この既定のマージ候補のインター予測情報は
、予測モードをL0予測、参照インデックスの値を0、動きベクトルの値を(0,0)と
する。なお、Bスライスの場合、予測モードを双予測とすることもできる。
一方、マージ候補数numMergeCandが0の場合(図38のステップS9102のNO)、
規定のスライスタイプに応じたデフォルト値のインター予測情報を動き補償予測部206
に供給するとともに、符号化情報格納メモリ210に格納する。(図38のステップS9
103〜S9105)。インター予測情報のデフォルト値は、スライスタイプがPスライ
スの場合(図38のステップS9103のYES)、L0予測(Pred_L0)で(フラグpre
dFlagL0[xP][yP]の値が1、predFlagL1[xP][yP]の値が0)、L0の参照インデックスが
0(参照インデックスrefIdxL0[xP][yP]の値が0、refIdxL1[xP][yP]の値が−1)で、L
0のベクトル値mvL0[xP][yP]が(0,0)とする(図38のステップS9104)。一方
、スライスタイプがPスライスでない場合(図38のステップS9103のNO)、すな
わちスライスタイプがBスライスの場合、インター予測モードが双予測(Pred_BI)で(
フラグpredFlagL0[xP][yP]、predFlagL1[xP][yP]の値が共に1)、参照インデックスが双
方共に0(参照インデックスrefIdxL0[xP][yP]、refIdxL1[xP][yP]の値が共に0)で、L
0およびL1のベクトル値mvL0[xP][yP]、mvL1[xP][yP]が双方共に(0,0)とする(図
38のステップS9105)。なお、インター予測情報のデフォルト値は、スライスタイ
プに係らずスライスタイプがBスライスの場合においても、L0予測(Pred_L0)で(フ
ラグpredFlagL0[xP][yP]の値が1、predFlagL1[xP][yP]の値が0)、L0の参照インデッ
クスが0(参照インデックスrefIdxL0[xP][yP]の値が0、refIdxL1[xP][yP]の値が−1)
で、L0のベクトル値mvL0[xP][yP]が(0,0)とすることもできる。
次に、実施の形態に係る第2の実施例のインター予測情報導出方法を図面を用いて説明
する。図28は、実施の形態に係る第2の実施例の図1の動画像符号化装置のインター予
測情報導出部104の詳細な構成を示す図である。また、図29は、実施の形態に係る第
2の実施例の図2の動画像復号装置のインター予測情報導出部205の詳細な構成を示す
図である。第2の実施例の図28のインター予測情報導出部104は第1の実施例の図1
2のインター予測情報導出部104とは有効マージ候補補充部135が追加されている点
が異なる。第2の実施例の図29のインター予測情報導出部205は第1の実施例の図1
3のインター予測情報導出部205とは有効マージ候補補充部235が追加されている点
が異なる。なお、本実施の形態において、動画像符号化装置および動画像復号装置におい
て、最大マージ候補数maxNumMergeCandの値が0の場合、図30のマージ候補の導出処理
及びマージ候補リストの構築処理を省略することができる。
図30は本発明の実施の形態に係る第2の実施例の動画像符号化装置のインター予測情
報導出部104のマージ候補リストの構築部120及び動画像復号装置のインター予測情
報導出部205のマージ候補リストの構築部220とで共通する機能を有するマージ候補
の導出処理及びマージ候補リストの構築処理の手順を説明するフローチャートである。第
2の実施例の図30のフローチャートは、第1の実施例の図15のフローチャートとは、
ステップS105の有効マージ候補の導出処理が追加されている点が異なる。
動画像符号化装置のインター予測情報導出部104のマージ候補リスト生成部130及
び動画像復号装置のインター予測情報導出部205のマージ候補リスト生成部230では
、マージ候補リストmergeCandListを用意し(図30のステップS100)、動画像符号
化装置のインター予測情報導出部104の空間マージ候補生成部131及び動画像復号装
置のインター予測情報導出部205の空間マージ候補生成部231では、動画像符号化装
置の符号化情報格納メモリ115または動画像復号装置の符号化情報格納メモリ210に
格納されている符号化情報から、符号化/復号対象ブロックに隣接するそれぞれの予測ブ
ロックA,B,C,D,Eからの空間マージ候補A,B,C,D,Eを導出して、導出さ
れた空間マージ候補をマージ候補リストmergeCandListに登録し(図30のステップS1
01)、動画像符号化装置のインター予測情報導出部104の時間マージ候補の参照イン
デックス導出部132及び動画像復号装置のインター予測情報導出部205の時間マージ
候補の参照インデックス導出部232では、符号化/復号対象ブロックに隣接する予測ブ
ロックから時間マージ候補の参照インデックスを導出して、導出された参照インデックス
を動画像符号化装置のインター予測情報導出部104の時間マージ候補生成部133及び
動画像復号装置のインター予測情報導出部205の時間マージ候補生成部233に供給し
(図30のステップS102)、動画像符号化装置のインター予測情報導出部104の時
間マージ候補生成部133及び動画像復号装置のインター予測情報導出部205の時間マ
ージ候補生成部233では、異なる時間のピクチャからの時間マージ候補を導出して、導
出された時間マージ候補をマージ候補リストmergeCandListに登録し(図30のステップ
S103)、動画像符号化装置のインター予測情報導出部104の追加マージ候補生成部
134及び動画像復号装置のインター予測情報導出部205の追加マージ候補生成部23
4では、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCand
が、最大マージ候補数maxNumMergeCandより小さい場合、マージ候補リストmergeCandList
内に登録されているマージ候補数numMergeCandが最大マージ候補数maxNumMergeCandを上
限として追加マージ候補を導出して、マージ候補リストmergeCandListに登録するところ
までは(図30のステップS104)、第1の実施例と同様である。続いて、第2の実施
例では、有効マージ候補補充部135および有効マージ候補補充部235で有効なマージ
候補を補充することで、マージ候補リスト内のマージインデックスが0から(maxNumMerg
eCand-1)の値で指し示される範囲内で、無効なマージ候補を無くす(図30のステップ
S105)。マージインデックスが0から(maxNumMergeCand-1)の値で指し示される範
囲内で、無効なマージ候補を無くすことで、復号側で、無効なマージ候補が選択されるこ
となく、有効なマージ候補のみが選択されることが補償される。
本実施の形態に係る第2の実施例の図28の有効マージ候補補充部135および図29
の有効マージ候補補充部235で実施される図30のステップS105の処理手順である
有効マージ候補の導出方法について図31のフローチャートを用いて詳細に説明する。図
31は本実施の形態に係る第2の実施例の図30のステップS105の有効マージ候補導
出処理手順を説明するフローチャートである。
第2の実施例の図31の有効マージ候補導出処理においては、シンプルな処理によりマ
ージ候補リスト内のマージインデックスが0から(maxNumMergeCand-1)の値で指し示さ
れる範囲内で、無効なマージ候補が無くなるまで、有効なマージ候補をマージ候補リスト
に登録するために、同じ値のインター予測情報を持つ複数のマージ候補をマージ候補リス
トに登録する。スライスタイプに応じたインター予測モードの動きベクトルの値が(0,
0)の有効マージ候補を、マージ候補リストに登録する。(図31のステップS6101
〜S6113)。
まず、マージ候補数numMergeCandが最大マージ候補数maxNumMergeCandより小さい場合
(図31のステップS6102のYES)、ステップS6103に進み、マージ候補数nu
mMergeCandが最大マージ候補数maxNumMergeCandより小さくない場合(図31のステップ
S6102のNO)、本有効マージ候補導出処理を終了する。
続いて、スライスタイプがPスライスの場合(図31のステップS6103のYES)
、インター予測モードがL0予測(Pred_L0)で、参照インデックスが0で、ベクトル値
が(0,0)のマージ候補を有効マージ候補とする。予測も有効マージ候補の動きベクト
ルmvL0Zero、mvL1Zeroに(0,0)を設定し(図31のステップS6104)、有効マー
ジ候補の参照インデックスrefIdxL0Zeroに0を設定し、refIdxL1Zeroに−1を設定し(図
31のステップS6105)、有効マージ候補のフラグpredFlagL0Zeroに1を設定し、pr
edFlagL1Zeroに0を設定して(図31のステップS6106)、ステップS6110に進
む。
一方、スライスタイプがPスライスでない場合(図31のステップS6103のNO)
、すなわちスライスタイプがBスライスの場合、インター予測モードが双予測(Pred_BI
)で、参照インデックスが双方共に0でベクトル値が双方共に(0,0)のマージ候補を
有効マージ候補とする。有効マージ候補の動きベクトルmvL0Zero、mvL1 Zeroに(0,0
)を設定し(図31のステップS6107)、有効マージ候補の参照インデックスrefIdx
L0Zero、refIdxL1Zeroに参照インデックスiの値を設定し(図31のステップS6108
)、有効マージ候補のフラグpredFlagL0Zero、predFlagL1Zeroに1を設定して(図31の
ステップS6109)、ステップS6110に進む。
続いて、有効マージ候補をマージ候補リストmergeCandListのマージインデックスがnum
MergeCandと同じ値で示される位置に登録し(図31のステップS6110)、マージ候
補数numMergeCandに1を加算して(図31のステップS6112)、ステップS6113
に進む。
以上のステップS6102〜ステップS6112の処理をマージ候補数numMergeCandが
最大マージ候補数maxNumMergeCandになるまで繰り返す(図31のステップS6101〜
ステップS6113)。以上の処理により、第2の実施例では、マージ候補リスト内のマ
ージインデックスが0から(maxNumMergeCand-1)の値で指し示される範囲内で、無効な
マージ候補を無くす。
第2の実施例の図28において、動画像符号化装置のインター予測情報導出部104の
インター予測情報選択部137では、第1の実施例の図12のインター予測情報選択部1
37と同様に、マージ候補数numMergeCandが0より大きい場合(図37のステップS81
01のYES)、マージ候補リストに登録されているマージ候補の中から、マージ候補を
選択し、選択されたマージ候補の各予測ブロックのL0予測、及びL1予測を利用するか
どうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、参照インデックスrefIdx
L0[xP][yP], refIdxL1[xP][yP]、動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター
予測情報を動き補償予測部105に供給するとともに、選択されたマージ候補を特定する
マージインデックスを予測方法決定部107に供給する(図37のステップS8102)
。ただし、第2の実施例においては、マージ候補リスト内のマージインデックスが0から
(maxNumMergeCand-1)の値で指し示される範囲内で、無効なマージ候補は存在せず、す
べて有効なマージ候補である。一方、マージ候補数numMergeCandが0の場合(ステップS
8102のNO)、規定のスライスタイプに応じたデフォルト値のインター予測情報を動
き補償予測部105に供給する(ステップS8103〜S8105)。
一方、第2の実施例の図29において、動画像復号装置のインター予測情報導出部20
5のインター予測情報選択部237では、第1の実施例の図13のインター予測情報選択
部237と同様に、マージ候補数numMergeCandが0より大きい場合(図38のステップS
9101のYES)、マージ候補リストmergeCandListに登録されているマージ候補の中
から、第2符号化ビット列復号部202から供給されたマージインデックスmergeIdxに対
応するマージ候補を選択し、選択されたマージ候補のL0予測、及びL1予測を利用する
かどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、L0、L1の参照イン
デックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、L0、L1の動きベクトルmvL0[xP][yP]
, mvL1[xP][yP]等のインター予測情報を動き補償予測部206に供給するとともに、符号
化情報格納メモリ210に格納する。ただし、第2の実施例においては、マージ候補リス
ト内のマージインデックスが0から(maxNumMergeCand-1)の値で指し示される範囲内で
、無効なマージ候補は存在せず、すべて有効なマージ候補である。一方、マージ候補数nu
mMergeCandが0の場合(図38のステップS9102のNO)、規定のスライスタイプに
応じたデフォルト値のインター予測情報を動き補償予測部206に供給するとともに、符
号化情報格納メモリ210に格納する。(図38のステップS9103〜S9105)。
次に、実施の形態に係る第3の実施例のインター予測情報導出方法を説明する。図28
は、実施の形態に係る第3の実施例の図1の動画像符号化装置のインター予測情報導出部
104の詳細な構成を示す図でもある。また、図29は、実施の形態に係る第3の実施例
の図2の動画像復号装置のインター予測情報導出部205の詳細な構成を示す図でもある
。図30は本発明の実施の形態に係る第3の実施例の動画像符号化装置のインター予測情
報導出部104のマージ候補リストの構築部120及び動画像復号装置のインター予測情
報導出部205のマージ候補リストの構築部220とで共通する機能を有するマージ候補
の導出処理及びマージ候補リストの構築処理の手順を説明するフローチャートでもある。
第3の実施例においては、第2の実施例と同様に、図28の有効マージ候補補充部135
および図29の有効マージ候補補充部235で有効なマージ候補を補充することで、マー
ジ候補リスト内のマージインデックスが0から(maxNumMergeCand-1)の値で指し示され
る範囲内で、無効なマージ候補を無くす(図30のステップS105)。マージインデッ
クスが0から(maxNumMergeCand-1)の値で指し示される範囲内で、無効なマージ候補を
無くすことで、復号側で、無効なマージ候補が選択されることなく、有効なマージ候補の
みが選択されることが補償される。ただし、第3の実施例においてはスライスタイプに関
係なく、インター予測モードがL0予測(Pred_L0)で、参照インデックスが0でベクト
ル値が(0,0)のマージ候補を有効マージ候補とする。第3の実施例は図28に示す第
2の実施例の動画像符号化装置のインター予測情報導出部104のマージ候補リストの構
築部120及び図29に示す動画像復号装置のインター予測情報導出部205のマージ候
補リストの構築部220と構成が同じである。ただし、第2の実施例とは有効マージ候補
補充部135、有効マージ候補補充部235で実施される図30のステップS105の処
理手順が異なる。
本実施の形態に係る第3の実施例の図28の有効マージ候補補充部135および図29
の有効マージ候補補充部235で実施される図30のステップS105の処理手順である
有効マージ候補の導出方法について図32のフローチャートを用いて詳細に説明する。図
32は本実施の形態に係る第3の実施例の図30のステップS105の有効マージ候補導
出処理手順を説明するフローチャートである。
第3の実施例の図32の有効マージ候補導出処理においては、第2の実施例の図31の
有効マージ候補導出処理と同様にシンプルな処理によりマージ候補リスト内のマージイン
デックスが0から(maxNumMergeCand-1)の値で指し示される範囲内で、無効なマージ候
補が無くなるまで、有効なマージ候補をマージ候補リストに登録するために、同じ値のイ
ンター予測情報を持つ複数のマージ候補をマージ候補リストに登録する。ただし、第3の
実施例では、スライスタイプに関わらずインター予測モードがL0予測(Pred_L0)で、
動きベクトルの値が(0,0)の有効マージ候補を、マージ候補リストに登録する。(図
32のステップS6101〜S6113)。
まず、マージ候補数numMergeCandが最大マージ候補数maxNumMergeCandより小さい場合
(図32のステップS6102のYES)、ステップS6103に進み、マージ候補数nu
mMergeCandが最大マージ候補数maxNumMergeCandより小さくない場合(図32のステップ
S6102のNO)、本有効マージ候補導出処理を終了する。
続いて、インター予測モードがL0予測(Pred_L0)で、参照インデックスが0でベク
トル値が(0,0)のマージ候補を有効マージ候補とする。予測も有効マージ候補の動き
ベクトルmvL0Zero、mvL1Zeroに(0,0)を設定し(図32のステップS6104)、有
効マージ候補の参照インデックスrefIdxL0Zeroに0を設定し、refIdxL1Zeroに−1を設定
し(図32のステップS6105)、有効マージ候補のフラグpredFlagL0Zeroに1を設定
し、predFlagL1Zeroに0を設定する(図32のステップS6106)。
続いて、有効マージ候補をマージ候補リストmergeCandListのマージインデックスがnum
MergeCandと同じ値で示される位置に登録し(図32のステップS6110)、マージ候
補数numMergeCandに1を加算して(図32のステップS6112)、ステップS6113
に進む。
以上のステップS6102〜ステップS6112の処理をマージ候補数numMergeCandが
最大マージ候補数maxNumMergeCandになるまで繰り返す(図32のステップS6101〜
ステップS6113)。以上の処理により、第3の実施例では、マージ候補リスト内のマ
ージインデックスが0から(maxNumMergeCand-1)の値で指し示される範囲内で、無効な
マージ候補を無くす。
次に、実施の形態に係る第4の実施例のインター予測情報導出方法を説明する。図28
は、実施の形態に係る第4の実施例の図1の動画像符号化装置のインター予測情報導出部
104の詳細な構成を示す図でもある。また、図29は、実施の形態に係る第4の実施例
の図2の動画像復号装置のインター予測情報導出部205の詳細な構成を示す図でもある
。図30は本発明の実施の形態に係る第4の実施例の動画像符号化装置のインター予測情
報導出部104のマージ候補リストの構築部120及び動画像復号装置のインター予測情
報導出部205のマージ候補リストの構築部220とで共通する機能を有するマージ候補
の導出処理及びマージ候補リストの構築処理の手順を説明するフローチャートでもある。
第4の実施例においては、第2の実施例および第3の実施例と同様に、図28の有効マー
ジ候補補充部135および図29の有効マージ候補補充部235で有効なマージ候補を補
充することで、マージ候補リスト内のマージインデックスが0から(maxNumMergeCand-1
)の値で指し示される範囲内で、無効なマージ候補を無くす(図30のステップS105
)。マージインデックスが0から(maxNumMergeCand-1)の値で指し示される範囲内で、
無効なマージ候補を無くすことで、復号側で、無効なマージ候補が選択されることなく、
有効なマージ候補のみが選択されることが補償される。ただし、第4の実施例においては
最後にマージリストに登録されたマージ候補を有効マージ候補として、繰り返しマージ候
補リストに登録する。第4の実施例は図28に示す第2の実施例および第3の実施例の動
画像符号化装置のインター予測情報導出部104のマージ候補リストの構築部120及び
図29に示す動画像復号装置のインター予測情報導出部205のマージ候補リストの構築
部220と構成が同じである。ただし、第2の実施例および第3の実施例とは有効マージ
候補補充部135、有効マージ候補補充部235で実施される図30のステップS105
の処理手順が異なる。
本実施の形態に係る第4の実施例の図28の有効マージ候補補充部135および図29
の有効マージ候補補充部235で実施される図30のステップS105の処理手順である
有効マージ候補の導出方法について図32のフローチャートを用いて詳細に説明する。図
33は本実施の形態に係る第4の実施例の図30のステップS105の有効マージ候補導
出処理手順を説明するフローチャートである。
第4の実施例の図33の有効マージ候補導出処理においては、第2の実施例の図31お
よび第3の実施例の図32の有効マージ候補導出処理と同様にシンプルな処理によりマー
ジ候補リスト内のマージインデックスが0から(maxNumMergeCand-1)の値で指し示され
る範囲内で、無効なマージ候補が無くなるまで、有効なマージ候補をマージ候補リストに
登録するために、同じ値のインター予測情報を持つ複数のマージ候補をマージ候補リスト
に登録する。ただし、第4の実施例では、最後にマージリストに登録されたマージ候補を
有効マージ候補として、繰り返しマージ候補リストに登録する。(図33のステップS6
101〜S6113)。
まず、マージ候補数numMergeCandが最大マージ候補数maxNumMergeCandより小さい場合
(図33のステップS6102のYES)、ステップS6111に進み、マージ候補数nu
mMergeCandが最大マージ候補数maxNumMergeCandより小さくない場合(図33のステップ
S6102のNO)、本有効マージ候補導出処理を終了する。
続いて、最後にマージリストに登録されたマージ候補を有効マージ候補として、繰り返
しマージ候補リストに登録する(図33のステップS6111)。具体的には、マージ候
補リストのインデックスの値が(numMergeIdx-1)の位置に登録されているマージ候補と
インター予測モード、参照インデックス、ベクトル値が同じマージ候補が有効マージ候補
としてマージ候補リストmergeCandListのマージインデックスがnumMergeCandと同じ値で
示される位置に登録される。続いて、マージ候補数numMergeCandに1を加算して(図33
のステップS6112)、ステップS6113に進む。
以上のステップS6102〜ステップS6112の処理をマージ候補数numMergeCandが
最大マージ候補数maxNumMergeCandになるまで繰り返す(図33のステップS6101〜
ステップS6113)。以上の処理により、第4の実施例では、マージ候補リスト内のマ
ージインデックスが0から(maxNumMergeCand-1)の値で指し示される範囲内で、無効な
マージ候補を無くす。
次に、実施の形態に係る第5の実施例のインター予測情報導出方法を説明する。図28
は、実施の形態に係る第4の実施例の図1の動画像符号化装置のインター予測情報導出部
104の詳細な構成を示す図でもある。また、図29は、実施の形態に係る第4の実施例
の図2の動画像復号装置のインター予測情報導出部205の詳細な構成を示す図でもある
。図30は本発明の実施の形態に係る第4の実施例の動画像符号化装置のインター予測情
報導出部104のマージ候補リストの構築部120及び動画像復号装置のインター予測情
報導出部205のマージ候補リストの構築部220とで共通する機能を有するマージ候補
の導出処理及びマージ候補リストの構築処理の手順を説明するフローチャートでもある。
第5の実施例は第4の実施例の図26の追加マージ候補の処理と図33の有効マージ候補
の処理を組み合わせた処理を行う。
第5の実施例の図28の追加マージ候補生成部134および有効マージ候補補充部13
5で行われる処理の組み合わせである追加マージ候補および有効マージ候補生成ブロック
121、および図29の追加マージ候補生成部234と有効マージ候補補充部235で行
われる処理の組み合わせである追加マージ候補および有効マージ候補生成ブロック221
で実施される、図30のステップS104およびステップS105を組み合わせた処理手
順であるステップS110の追加マージ候補および有効マージ候補の導出方法について詳
細に説明する。図34は本実施の形態に係る第5の実施例の図30のステップS110の
追加マージ候補および有効マージ候補導出処理手順を説明するフローチャートである。
図34の追加マージ候補および有効マージ候補導出処理においては、マージ候補の選択
の幅を広げて、符号化効率を向上させるために、異なる値のインター予測情報を持つ複数
のマージ候補を生成し、マージ候補リストに登録するとともに、その後、リスト内のマー
ジインデックスが0から(maxNumMergeCand-1)の値で指し示される範囲内で、無効なマ
ージ候補が無くなるまで、有効なマージ候補をマージ候補リストに登録するために、同じ
値のインター予測情報を持つ複数のマージ候補をマージ候補リストに登録する(図34の
ステップS5101〜S5119)。
まず、スライスタイプがPスライスの場合(図34のステップS5101のYES)、
参照インデックス数を示す変数numRefIdxにL0の参照インデックス数の値を設定する(
図34のステップS5102)。一方、スライスタイプがPスライスでない場合(図34
のステップS5101のNO)、すなわちスライスタイプがBスライスの場合、参照イン
デックス数を示す変数numRefIdxにL0の参照インデックス数とL1の参照インデックス
数の小さい方の値を設定する(図34のステップS5103)。続いて参照インデックス
iに0を設定する(図34のステップS5104)。
続いて、参照インデックスiを変更しながら、スライスタイプに応じた予測モードの動
きベクトルの値が(0,0)の追加マージ候補を導出し、マージ候補リストに登録する。
(図34のステップS5105〜S5119)。
まず、マージ候補数numMergeCandが最大マージ候補数maxNumMergeCandより小さい場合
(図34のステップS5106のYES)、ステップS5107に進み、マージ候補数nu
mMergeCandが最大マージ候補数maxNumMergeCandより小さくない場合(図34のステップ
S5106のNO)、本追加マージ候補導出処理を終了する。
続いて、参照インデックスiが変数numRefIdxより小さい場合(図34のステップS51
07のYES)、ステップS5109に進み、追加マージ候補の登録処理を行う。参照イ
ンデックスiが変数numRefIdxよりより小さくない場合(図34のステップS5107の
NO)、参照インデックスiに(numRefIdx-1)を設定して(図34のステップS510
8)、ステップS5109に進み、有効マージ候補の登録処理を行う。
続いて、スライスタイプがPスライスの場合(図34のステップS5109のYES)
、追加マージ候補の動きベクトルmvL0Zero、mvL1Zeroに(0,0)を設定し(図34のス
テップS5110)、追加マージ候補の参照インデックスrefIdxL0Zeroに参照インデック
スiの値を設定し、refIdxL1Zeroに−1を設定し(図34のステップS5111)、追加
マージ候補のフラグpredFlagL0Zeroに1を設定し、predFlagL1Zeroに0を設定して(図3
4のステップS5112)、ステップS5116に進む。
一方、スライスタイプがPスライスでない場合(図34のステップS5109のNO)
、すなわちスライスタイプがBスライスの場合、追加マージ候補の動きベクトルmvL0Zero
、mvL1 Zeroに(0,0)を設定し(図34のステップS5113)、追加マージ候補の
参照インデックスrefIdxL0Zero、refIdxL1Zeroに参照インデックスiの値を設定し(図3
4のステップS5114)、追加マージ候補のフラグpredFlagL0Zero、predFlagL1Zeroに
1を設定して(図34のステップS5115)、ステップS5116に進む。
続いて、追加マージ候補をマージ候補リストmergeCandListのマージインデックスがnum
MergeCandと同じ値で示される位置に登録し(図34のステップS5116)、マージ候
補数numMergeCandに1を加算する(図34のステップS5117)。続いて、インデック
スiに1を加算し(図34のステップS5118)、ステップS5119に進む。
以上のステップS5106〜ステップS5118の処理をそれぞれの参照インデックス
i毎にそれぞれ繰り返す(図34のステップS5105〜ステップS5119)。以上の
処理により、第5の実施例では、マージ候補リスト内のマージインデックスが0から(ma
xNumMergeCand-1)の値で指し示される範囲内で、無効なマージ候補を無くす。
次に、実施の形態に係る第6の実施例のインター予測情報導出方法を説明する。図28
は、実施の形態に係る第6の実施例の図1の動画像符号化装置のインター予測情報導出部
104の詳細な構成を示す図でもある。また、図29は、実施の形態に係る第6の実施例
の図2の動画像復号装置のインター予測情報導出部205の詳細な構成を示す図でもある
。図30は本発明の実施の形態に係る第6の実施例の動画像符号化装置のインター予測情
報導出部104のマージ候補リストの構築部120及び動画像復号装置のインター予測情
報導出部205のマージ候補リストの構築部220とで共通する機能を有するマージ候補
の導出処理及びマージ候補リストの構築処理の手順を説明するフローチャートでもある。
第6の実施例は第2の実施例と実装方法が異なるが、復号側で同一のインター予測情報を
得ることができる。第6の実施例においては、マージ候補リスト内のすべてのインデック
スあるいは、0から(maxMergeCand-1)の値で指し示される範囲内のインター予測情報を
規定の値で初期化してから、それぞれのマージ候補導出および登録処理を行う。図28の
マージ候補リスト生成部130および図29のマージ候補リスト生成部230で、スライ
スタイプがPスライスの場合、マージ候補リスト内のすべての要素について、インター予
測モードがL0予測(Pred_L0)で、参照インデックスが0で、ベクトル値が(0,0)
の値を設定することで初期化する。スライスタイプがPスライスでない場合、すなわちス
ライスタイプがBスライスの場合、マージ候補リスト内のすべての要素について、インタ
ー予測モードが双予測(Pred_BI)で、参照インデックスが双方共に0で、ベクトル値が
双方共に(0,0)の値を設定することで初期化する。さらに、マージ候補数numMergeCa
ndに0を設定する。
さらに、第6の実施例の図29の有効マージ候補補充部135および図30の有効マー
ジ候補補充部235で、初期化されたインター予測情報を有効にし、有効なマージ候補と
する。本実施の形態に係る第6の実施例の図28の有効マージ候補補充部135および図
29の有効マージ候補補充部235で実施される図30のステップS105の処理手順で
ある有効マージ候補の導出方法について図35のフローチャートを用いて詳細に説明する
。図35は本実施の形態に係る第6の実施例の図30のステップS105の初期化された
インター予測情報をマージ候補として有効にする処理手順を説明するフローチャートであ
る。最大マージ候補数maxNumMergeCandよりもマージ候補数numMergeCandのほうが小さい
場合(図35のステップS6201)、マージ候補数numMergeCandに最大マージ候補数ma
xNumMergeCandの値を設定する(図35のステップS6201)。本処理により、図29
のマージ候補リスト生成部130および図30のマージ候補リスト生成部230で初期化
されたインター予測情報を有効にし、有効マージ候補とする。
次に、実施の形態に係る第7の実施例のインター予測情報導出方法を説明する。図28
は、実施の形態に係る第7の実施例の図1の動画像符号化装置のインター予測情報導出部
104の詳細な構成を示す図でもある。また、図29は、実施の形態に係る第7の実施例
の図2の動画像復号装置のインター予測情報導出部205の詳細な構成を示す図でもある
。図30は本発明の実施の形態に係る第7の実施例の動画像符号化装置のインター予測情
報導出部104のマージ候補リストの構築部120及び動画像復号装置のインター予測情
報導出部205のマージ候補リストの構築部220とで共通する機能を有するマージ候補
の導出処理及びマージ候補リストの構築処理の手順を説明するフローチャートでもある。
第7の実施例は第3の実施例と実装方法が異なるが、復号側で同一のインター予測情報を
得ることができる。第7の実施例においても、第6の実施例と同様にマージ候補リスト内
のすべてのインデックスあるいは、0から(maxMergeCand-1)の値で指し示される範囲内
のインター予測情報を規定の値で初期化してから、それぞれのマージ候補導出および登録
処理を行う。ただし、第7の実施例においては、図28のマージ候補リスト生成部130
および図29のマージ候補リスト生成部230で、スライスタイプに関わらず、マージ候
補リスト内のすべての要素について、インター予測モードがL0予測(Pred_L0)で、参
照インデックスが0で、ベクトル値が(0,0)の値を設定することで初期化する。それ
以外の処理は第6の実施例と同じである。
以上、本実施の形態について説明した。符号化側で無効なマージ候補を指し示すマージ
インデックスを符号化した場合、復号側で無効なマージ候補を選択した場合、無効なイン
ター予測情報でインター予測が行われることになり、予期しない予測信号が得られる可能
性がある。また、インター予測モードが規格外の値を示したり、参照インデックスが存在
しない参照ピクチャを指し示したりすることで、エラーが発生し、復号が異常終了する可
能性もある。
本実施の形態の第1の実施例により、符号化側で無効なマージ候補を指し示すマージイ
ンデックスを符号化しても、復号側で無効なマージ候補のインター予測情報を用いたイン
ター予測が行われることが無い。本実施の形態の規則に従った動画像符号化装置において
は、同一のインター予測情報を得ることができ、同一の予測信号を得ることができるので
、同一の復号画像を得ることができる。
また、本実施の形態の第2〜7の実施例により、符号化側で無効なマージ候補を指し示
すマージインデックスを選択して符号化されることがなく、復号側で無効なマージ候補の
インター予測情報を用いたインター予測が行われないことが補償され、動画像復号装置に
おいて、同一のインター予測情報を得ることができ、同一の予測信号を得ることができる
ので、同一の復号画像を得ることができる。
なお、本実施の形態の第2〜5の実施例では、動画像符号化装置の有効マージ候補補充
部135および動画像復号装置の有効マージ候補補充部235において、マージ候補リス
ト内のマージインデックスが0から(maxNumMergeCand-1)の値で指し示される範囲内で
、無効なマージ候補が無くなるまで、有効なマージ候補を登録したが、少なくとも0から
(maxNumMergeCand-1)の範囲内で、無効なマージ候補が無ければよく、(maxNumMergeCa
nd-1)以上の所定の範囲まで有効なマージ候補を登録してもよい。
また、本実施の形態の第6〜7の実施例では、動画像符号化装置のインター予測情報導
出部104のマージ候補リストの構築部120及び動画像復号装置のインター予測情報導
出部205のマージ候補リストの構築部220において、マージ候補リスト内のマージイ
ンデックスが0から(maxNumMergeCand-1)の値で指し示される範囲内のインター予測情
報を規定の値で初期化したが、少なくとも0から(maxNumMergeCand-1)の範囲内で初期
化すればよく、(maxNumMergeCand-1)以上の所定の範囲まで初期化してもよい。
以上述べた実施の形態においては、空間マージ候補、時間マージ候補、追加マージ候補
をそれぞれ導出するものとして説明した。しかし、それぞれのマージ候補の導出処理を省
略する形態も考えられ、本発明に含まれる。また、それぞれのマージ候補の導出処理を変
更したり、新たなマージ候補の導出処理を追加する形態も考えられ、本発明に含まれる。
本実施の形態で説明した図26の追加マージ候補の導出を行う場合、Bスライスの際に
、追加マージ候補と同じインター予測情報の値を持つ有効マージ候補を補充する第2の実
施例、第6の実施例の方法よりも、追加マージ候補と異なるインター予測情報の値を持つ
L0予測の有効マージ候補を補充する第3の実施例、第7の実施例の方法の方が適してい
る。本実施の形態で説明した図26の追加マージ候補の導出を行わない場合、Bスライス
の際に、L0予測の有効マージ候補を補充する第3の実施例、第7の実施例の方法よりも
、予測効率の高い双予測の有効マージ候補を補充する第2の実施例、第6の実施例の方法
の方が適している。
また、最大マージ候補数maxNumMergeCandの値が0の際にデフォルト値のインター予測
情報を規定せず、スキップモードおよびマージモードを禁止した場合、スキップモードや
マージモードのフラグは伝送するものの、スキップモードやマージモードが選択できない
ことにより、符号化効率が低下する。さらに、符号化側で禁止されたスキップモードやマ
ージモードを選択して符号化されたビットストリームを復号する場合、復号側でエラーが
発生し、復号処理が異常終了する可能性もある。
しかし、本実施の形態においては、最大マージ候補数maxNumMergeCandの値にかかわら
ず、最大マージ候補数maxNumMergeCandの値が0の際に、スキップモードを含むマージモ
ードを常に選択することができる。その際、スキップモードやマージモードではインター
予測情報はデフォルト値を出力する。インター予測情報のデフォルト値としては、例えば
、スライスタイプがBスライスの場合、予測モードが双予測(Pred_BI)であり、参照画
像インデックスの値が0であり、動きベクトルの値が(0,0)を規定する。そのために
、最大マージ候補数maxNumMergeCandの値が0の際にも、符号化側でスキップモードやマ
ージモードが無効な値として符号化されることがなく、復号側で規定されたデフォルト値
のインター予測情報を用いたインター予測が行われることが補償され、動画像復号装置に
おいて、同一のインター予測情報を得ることができ、同一の予測信号を得ることができる
ので、同一の復号画像を得ることができる。さらに、最大マージ候補数maxNumMergeCand
の値が0の際にも、スキップモードやマージモードが選択できるので、スキップモードや
マージモードを禁止した場合に比べて符号化効率が向上する。
最大マージ候補数maxNumMergeCandの値が0の場合のスキップモードを含むマージモー
ドのインター予測情報はデフォルト値を用いるため、最大マージ候補数maxNumMergeCand
の値が1以上の場合と異なり、マージ候補リストを構築する処理が必要なく、マージ候補
リスト構築処理を行わない演算量の少ない符号化装置を実現することが可能になる。また
、復号側の処理もスキップモードを含むマージモードのインター予測情報にデフォルト値
を設定するだけであるため、復号側の最小限の対応で演算量の少なく符号化効率の低下を
抑制した復号装置に対応可能である。
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実
施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォ
ーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータ
フォーマットの符号化ストリームを復号することができる。
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有
線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に
適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符
号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネット
ワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ス
トリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモ
リと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化デ
ータをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化さ
れた符号化データをネットワークを介して受信する受信部と、受信された符号化データを
バッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動
画像復号装置に提供するパケット処理部とを含む。
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置と
して実現することができるのは勿論のこと、ROM(リード・オンリ・メモリ)やフラッ
シュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっ
ても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムを
コンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線
のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送
のデータ放送として提供することも可能である。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構
成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例
も本発明の範囲にあることは当業者に理解されるところである。
101 画像メモリ、 117 ヘッダ情報設定部、 102 動きベクトル検出部、
103 差分動きベクトル算出部、 104 インター予測情報導出部、 105 動
き補償予測部、 106 イントラ予測部、 107 予測方法決定部、 108 残差
信号生成部、 109 直交変換・量子化部、 118 第1符号化ビット列生成部、1
10 第2符号化ビット列生成部、 111 第3符号化ビット列生成部、 112 多
重化部、 113 逆量子化・逆直交変換部、 114 復号画像信号重畳部、 115
符号化情報格納メモリ、 116 復号画像メモリ、 130 マージ候補リスト生成
部、 131 空間マージ候補生成部、 132 時間マージ候補の参照インデックス導
出部、 133 時間マージ候補生成部、 134 追加マージ候補生成部、 135
有効マージ候補補充部、 136 マージ候補制限部、 137 インター予測情報選択
部、 201 分離部、 212 第1符号化ビット列復号部、 202 第2符号化ビ
ット列復号部、 203 第3符号化ビット列復号部、 204 動きベクトル算出部、
205 インター予測情報導出部、 206 動き補償予測部、 207 イントラ予
測部、 208 逆量子化・逆直交変換部、 209 復号画像信号重畳部、 210
符号化情報格納メモリ、 211 復号画像メモリ、 230 マージ候補リスト生成部
、 231 空間マージ候補生成部、 232 時間マージ候補の参照インデックス導出
部、 233 時間マージ候補生成部、 234 追加マージ候補生成部、 235 有
効マージ候補補充部、 236 マージ候補制限部、 237 インター予測情報選択部

Claims (6)

  1. 動画像の各ピクチャを分割したブロック単位でマージ候補のインター予測情報によるインター予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、
    予め指定されたマージ候補の数を示す情報を復号する予測情報復号部と、
    復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置又はその付近に存在する予測ブロックのインター予測情報から、前記マージ候補を導出する予測情報導出部と、
    前記導出されたマージ候補からマージ候補リストを構築する候補リスト構築部と、
    構築された前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数未満であった場合、前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数に達するまで、繰り返して、予測モードが同じ値であり参照インデックスが同じ値であり動きベクトルが同じ値であるマージ候補を、前記マージ候補リストに追加する候補補充部と、
    前記マージ候補から1つのマージ候補を選択して、その選択されたマージ候補のインター予測情報により前記復号対象の予測ブロックのインター予測を行う動き補償予測部と
    を備えることを特徴とする動画像復号装置。
  2. 動画像の各ピクチャを分割したブロック単位でマージ候補のインター予測情報によるインター予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、
    予め指定されたマージ候補の数を示す情報を復号する予測情報復号ステップと、
    復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置又はその付近に存在する予測ブロックのインター予測情報から、前記マージ候補を導出する予測情報導出ステップと、
    前記導出されたマージ候補からマージ候補リストを構築する候補リスト構築ステップと、
    構築された前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数未満であった場合、前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数に達するまで、繰り返して、予測モードが同じ値であり参照インデックスが同じ値であり動きベクトルが同じ値であるマージ候補を、前記マージ候補リストに追加する候補補充ステップと、
    前記マージ候補から1つのマージ候補を選択して、その選択されたマージ候補のインター予測情報により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップと
    を備えることを特徴とする動画像復号方法。
  3. 動画像の各ピクチャを分割したブロック単位でマージ候補のインター予測情報によるインター予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号プログラムであって、
    予め指定されたマージ候補の数を示す情報を復号する予測情報復号ステップと、
    復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置又はその付近に存在する予測ブロックのインター予測情報から、前記マージ候補を導出する予測情報導出ステップと、
    前記導出されたマージ候補からマージ候補リストを構築する候補リスト構築ステップと、
    構築された前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数未満であった場合、前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数に達するまで、繰り返して、予測モードが同じ値であり参照インデックスが同じ値であり動きベクトルが同じ値であるマージ候補を、前記マージ候補リストに追加する候補補充ステップと、
    前記マージ候補から1つのマージ候補を選択して、その選択されたマージ候補のインター予測情報により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップと
    をコンピュータに実行させることを特徴とする動画像復号プログラム。
  4. 動画像が符号化された符号化ビット列を受信して復号する受信装置であって、
    動画像の各ピクチャを分割したブロック単位でマージ候補のインター予測情報によるインター予測を用いて前記動画像が符号化された符号化ビット列がパケット化された符号化ストリームを受信する受信部と、
    受信された前記符号化ストリームをパケット処理して元の符号化ビット列を復元する復元部と、
    復元された前記符号化ビット列から、予め指定されたマージ候補の数を示す情報を復号する予測情報復号部と、
    復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置又はその付近に存在する予測ブロックのインター予測情報から、前記マージ候補を導出する予測情報導出部と、
    前記導出されたマージ候補からマージ候補リストを構築する候補リスト構築部と、
    構築された前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数未満であった場合、前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数に達するまで、繰り返して、予測モードが同じ値であり参照インデックスが同じ値であり動きベクトルが同じ値であるマージ候補を、前記マージ候補リストに追加する候補補充部と、
    前記マージ候補から1つのマージ候補を選択して、その選択されたマージ候補のインター予測情報により前記復号対象の予測ブロックのインター予測を行う動き補償予測部と
    を備えることを特徴とする受信装置。
  5. 動画像が符号化された符号化ビット列を受信して復号する受信方法であって、
    動画像の各ピクチャを分割したブロック単位でマージ候補のインター予測情報によるインター予測を用いて前記動画像が符号化された符号化ビット列がパケット化された符号化ストリームを受信する受信ステップと、
    受信された前記符号化ストリームをパケット処理して元の符号化ビット列を復元する復元ステップと、
    復元された前記符号化ビット列から、予め指定されたマージ候補の数を示す情報を復号する予測情報数復号ステップと、
    復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置又はその付近に存在する予測ブロックのインター予測情報から、前記マージ候補を導出する予測情報導出ステップと、
    前記導出されたマージ候補からマージ候補リストを構築する候補リスト構築ステップと、
    構築された前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数未満であった場合、前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数に達するまで、繰り返して、予測モードが同じ値であり参照インデックスが同じ値であり動きベクトルが同じ値であるマージ候補を、前記マージ候補リストに追加する候補補充ステップと、
    前記マージ候補から1つのマージ候補を選択して、その選択されたマージ候補のインター予測情報により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップと
    を備えることを特徴とする受信方法。
  6. 動画像が符号化された符号化ビット列を受信して復号する受信プログラムであって、
    動画像の各ピクチャを分割したブロック単位でマージ候補のインター予測情報によるインター予測を用いて前記動画像が符号化された符号化ビット列がパケット化された符号化ストリームを受信する受信ステップと、
    受信された前記符号化ストリームをパケット処理して元の符号化ビット列を復元する復元ステップと、
    復元された前記符号化ビット列から、予め指定されたマージ候補の数を示す情報を復号する予測情報数復号ステップと、
    復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置又はその付近に存在する予測ブロックのインター予測情報から、前記マージ候補を導出する予測情報導出ステップと、
    前記導出されたマージ候補からマージ候補リストを構築する候補リスト構築ステップと、
    構築された前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数未満であった場合、前記マージ候補リストに含まれるマージ候補の数が前記予め指定されたマージ候補の数に達するまで、繰り返して、予測モードが同じ値であり参照インデックスが同じ値であり動きベクトルが同じ値であるマージ候補を、前記マージ候補リストに追加する候補補充ステップと、
    前記マージ候補から1つのマージ候補を選択して、その選択されたマージ候補のインター予測情報により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップと
    をコンピュータに実行させることを特徴とする受信プログラム。
JP2014169253A 2012-04-12 2014-08-22 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム Active JP5979191B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014169253A JP5979191B2 (ja) 2012-04-12 2014-08-22 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012091386 2012-04-12
JP2012091386 2012-04-12
JP2014169253A JP5979191B2 (ja) 2012-04-12 2014-08-22 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013083578A Division JP5633597B2 (ja) 2012-04-12 2013-04-12 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム

Publications (3)

Publication Number Publication Date
JP2014220846A true JP2014220846A (ja) 2014-11-20
JP2014220846A5 JP2014220846A5 (ja) 2016-04-14
JP5979191B2 JP5979191B2 (ja) 2016-08-24

Family

ID=49762089

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2013083578A Active JP5633597B2 (ja) 2012-04-12 2013-04-12 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP2014169252A Active JP5979190B2 (ja) 2012-04-12 2014-08-22 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP2014169251A Active JP5979189B2 (ja) 2012-04-12 2014-08-22 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP2014169254A Active JP5979192B2 (ja) 2012-04-12 2014-08-22 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP2014169253A Active JP5979191B2 (ja) 2012-04-12 2014-08-22 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP2016141164A Active JP6206558B2 (ja) 2012-04-12 2016-07-19 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2013083578A Active JP5633597B2 (ja) 2012-04-12 2013-04-12 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP2014169252A Active JP5979190B2 (ja) 2012-04-12 2014-08-22 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP2014169251A Active JP5979189B2 (ja) 2012-04-12 2014-08-22 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP2014169254A Active JP5979192B2 (ja) 2012-04-12 2014-08-22 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016141164A Active JP6206558B2 (ja) 2012-04-12 2016-07-19 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム

Country Status (1)

Country Link
JP (6) JP5633597B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017076221A1 (en) * 2015-11-05 2017-05-11 Mediatek Inc. Method and apparatus of inter prediction using average motion vector for video coding

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5973526B2 (ja) * 2014-02-21 2016-08-23 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置及び画像符号化装置
US10205950B2 (en) 2014-02-21 2019-02-12 Panasonic Corporation Image decoding method, image encoding method, image decoding apparatus, and image encoding apparatus
US10462479B2 (en) 2015-07-10 2019-10-29 Nec Corporation Motion picture encoding device, motion picture encoding method, and storage medium storing motion picture encoding program
JP2018114571A (ja) 2017-01-17 2018-07-26 日特エンジニアリング株式会社 パレット搬送装置及びパレット搬送方法
RU2770794C1 (ru) 2018-12-13 2022-04-21 ДжейВиСиКЕНВУД Корпорейшн Устройство декодирования изображения, способ декодирования изображения
JP6933235B2 (ja) 2018-12-13 2021-09-08 株式会社Jvcケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161542A (ja) * 2009-01-07 2010-07-22 Nec Corp 動画像復号装置、動画像復号方法、及びプログラム
WO2012164908A1 (ja) * 2011-05-31 2012-12-06 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置
WO2012164880A1 (ja) * 2011-05-27 2012-12-06 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
WO2012164886A1 (ja) * 2011-05-27 2012-12-06 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置
WO2013057877A1 (ja) * 2011-10-19 2013-04-25 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置
WO2013108613A1 (ja) * 2012-01-17 2013-07-25 パナソニック株式会社 動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置および動画像符号化復号化装置
JP5488666B2 (ja) * 2011-09-28 2014-05-14 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924706B2 (ja) * 2012-05-01 2016-05-25 三菱電機株式会社 回転電機の回転子構造

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161542A (ja) * 2009-01-07 2010-07-22 Nec Corp 動画像復号装置、動画像復号方法、及びプログラム
WO2012164880A1 (ja) * 2011-05-27 2012-12-06 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
WO2012164886A1 (ja) * 2011-05-27 2012-12-06 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置
WO2012164908A1 (ja) * 2011-05-31 2012-12-06 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置
JP5488666B2 (ja) * 2011-09-28 2014-05-14 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
WO2013057877A1 (ja) * 2011-10-19 2013-04-25 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置
WO2013108613A1 (ja) * 2012-01-17 2013-07-25 パナソニック株式会社 動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置および動画像符号化復号化装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JPN6012064445; Toshiyasu Sugio and Takahiro Nishi: 'On MVP candidate list for AMVP/Merge' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCTVC-I0134, 201207, pp.1-6, 9th Meeting: Geneva, CH *
JPN6013020642; Benjamin Bross et al.: 'WD5: Working Draft 5 of High-Efficiency Video Coding' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 JCTVC-G1103_d9, 201202, pp.i,32-33,70-73,107-122, 7th Meeting: Geneva, CH *
JPN6013020647; Ken McCann et al.: 'HM5: High Efficiency Video Coding (HEVC) Test Model 5 Encoder Description' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 JCTVC-G1102_d1, 201201, pp.1-21, 7th Meeting: Geneva, CH *
JPN6013020648; Toshiyasu Sugio and Takahiro Nishi: 'Parsing Robustness for Merge/AMVP' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 JCTVC-F470_r4, 201107, pp.1-15, 6th Meeting: Torino, IT *
JPN6013020649; Jianle Chen and Tammy Lee: 'MVP index parsing with fixed number of candidates' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 JCTVC-F402r1, 201107, pp.1-9, 6th Meeting: Torino, IT *
JPN6014002347; Hiroya Nakamura et al.: 'Default value for skip/merge and AMVP' AMJoint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 1 JCTVC-I0314_r2, 201207, pp.1-16, 9th Meeting: Geneva, CH *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017076221A1 (en) * 2015-11-05 2017-05-11 Mediatek Inc. Method and apparatus of inter prediction using average motion vector for video coding
US10412407B2 (en) 2015-11-05 2019-09-10 Mediatek Inc. Method and apparatus of inter prediction using average motion vector for video coding

Also Published As

Publication number Publication date
JP5979192B2 (ja) 2016-08-24
JP5979191B2 (ja) 2016-08-24
JP2014220847A (ja) 2014-11-20
JP5633597B2 (ja) 2014-12-03
JP6206558B2 (ja) 2017-10-04
JP5979190B2 (ja) 2016-08-24
JP2013236367A (ja) 2013-11-21
JP2014220845A (ja) 2014-11-20
JP2014220844A (ja) 2014-11-20
JP5979189B2 (ja) 2016-08-24
JP2017005724A (ja) 2017-01-05

Similar Documents

Publication Publication Date Title
WO2013153823A1 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP6206558B2 (ja) 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP6418300B2 (ja) 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP6217820B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP6229806B2 (ja) 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP6376260B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP2013102260A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2013102259A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2013098733A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2013098732A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2013118624A (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150717

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160229

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160229

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160229

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160412

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160711

R150 Certificate of patent or registration of utility model

Ref document number: 5979191

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150