JP2014197863A - Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program, and reception device, reception method, and reception program - Google Patents
Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program, and reception device, reception method, and reception program Download PDFInfo
- Publication number
- JP2014197863A JP2014197863A JP2014106931A JP2014106931A JP2014197863A JP 2014197863 A JP2014197863 A JP 2014197863A JP 2014106931 A JP2014106931 A JP 2014106931A JP 2014106931 A JP2014106931 A JP 2014106931A JP 2014197863 A JP2014197863 A JP 2014197863A
- Authority
- JP
- Japan
- Prior art keywords
- block
- prediction
- prediction information
- inter prediction
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、動画像復号技術に関し、特に動き補償予測を利用した動画像復号技術に関す
る。
The present invention relates to a moving picture decoding technique, and more particularly to a moving picture decoding technique using motion compensated prediction.
動画像の圧縮符号化方式の代表的なものとして、MPEG−4 AVC/H.264の
規格がある。MPEG−4 AVC/H.264では、ピクチャを複数の矩形ブロックに
分割し、すでに符号化・復号したピクチャを参照ピクチャとし、参照ピクチャからの動き
を予測する動き補償が用いられている。この動き補償により動きを予測する手法をインタ
ー予測または動き補償予測と呼ぶ。MPEG−4 AVC/H.264でのインター予測
では、複数のピクチャを参照ピクチャとして用いることができ、これらの複数の参照ピク
チャから最も適した参照ピクチャをブロック毎に選択して動き補償を行う。そこで、それ
ぞれの参照ピクチャには参照インデックスが割り当てられ、この参照インデックスにより
、参照ピクチャを特定する。なお、Bピクチャでは、復号済みの参照ピクチャから最大で
2枚を選択してインター予測に用いることができる。それらの2枚の参照ピクチャからの
予測をそれぞれ主に前方向の予測として使われるL0予測(リスト0予測)、主に後方向
の予測として使われるL1予測(リスト1予測)として区別している。
As a typical moving image compression coding system, MPEG-4 AVC / H. There are H.264 standards. MPEG-4 AVC / H. In H.264, motion compensation is used in which a picture is divided into a plurality of rectangular blocks, a picture that has already been encoded / decoded is used as a reference picture, and motion from the reference picture is predicted. This method of predicting motion by motion compensation is called inter prediction or motion compensated prediction. MPEG-4 AVC / H. In inter prediction in H.264, a plurality of pictures can be used as reference pictures, and the most suitable reference picture is selected from these plurality of reference pictures for each block to perform motion compensation. Therefore, a reference index is assigned to each reference picture, and the reference picture is specified by this reference index. For B pictures, a maximum of two pictures can be selected from decoded reference pictures and used for inter prediction. The predictions from these two reference pictures are distinguished as L0 prediction (
さらに、L0予測とL1予測の2つのインター予測を同時に用いる双予測も定義されて
いる。双予測の場合は、双方向の予測を行い、L0予測、L1予測のそれぞれのインター
予測された信号に重み付け係数を掛け算し、オフセット値を加算して重畳し、最終的なイ
ンター予測画像信号を生成する。重み付け予測に用いる重み付け係数及びオフセット値は
ピクチャ単位で各リストの参照ピクチャ毎に代表的な値が設定され、符号化される。イン
ター予測に関する符号化情報には、ブロック毎に、L0予測とL1予測、双予測を区別す
る予測モード、ブロック毎の参照リスト毎に、参照ピクチャを特定する参照インデックス
、ブロックの移動方向・移動量を表す動きベクトルがあり、これらの符号化情報を符号化
・復号する。
Furthermore, bi-prediction using two inter predictions of L0 prediction and L1 prediction at the same time is also defined. In the case of bi-prediction, bi-directional prediction is performed, the inter-predicted signals of L0 prediction and L1 prediction are multiplied by a weighting coefficient, an offset value is added and superimposed, and a final inter-predicted image signal is obtained. Generate. As weighting coefficients and offset values used for weighted prediction, representative values are set for each reference picture in each list and encoded. The encoding information related to inter prediction includes, for each block, a prediction mode for distinguishing between L0 prediction and L1 prediction and bi-prediction, a reference index for specifying a reference picture for each reference list for each block, and a moving direction and a moving amount of the block. There is a motion vector that expresses and encodes and decodes the encoded information.
さらに、MPEG−4 AVC/H.264では、復号済みのブロックのインター予測
情報から符号化または復号対象のブロックのインター予測情報を生成するダイレクトモー
ドが定義されている。ダイレクトモードはインター予測情報の符号化が不要となるので、
符号化効率が向上する。
Furthermore, MPEG-4 AVC / H. H.264 defines a direct mode for generating inter prediction information of a block to be encoded or decoded from inter prediction information of a decoded block. Since direct mode does not require encoding of inter prediction information,
Encoding efficiency is improved.
時間方向のインター予測情報の相関を利用する時間ダイレクトモードについて図42を
用いて説明する。L1の参照インデックスが0に登録されているピクチャを基準ピクチャ
colPicとする。基準ピクチャcolPic内で符号化または復号対象ブロックと同じ位置のブロ
ックを基準ブロックとする。
The temporal direct mode using the correlation of inter prediction information in the time direction will be described with reference to FIG. A picture whose reference index of L1 is registered as 0 is a standard picture
colPic. A block in the same position as the block to be encoded or decoded in the reference picture colPic is set as a reference block.
基準ブロックがL0予測を用いて符号化されていれば、基準ブロックのL0の動きベク
トルを基準動きベクトルmvColとし、基準ブロックがL0予測を用いて符号化されておら
ず、L1予測を用いて符号化されていれば、基準ブロックのL1の動きベクトルを基準動
きベクトルmvColとする。基準動きベクトルmvColが参照するピクチャを時間ダイレクトモ
ードのL0の参照ピクチャとし、基準ピクチャcolPicを時間ダイレクトモードのL1の参
照ピクチャとする。
If the reference block is encoded using the L0 prediction, the L0 motion vector of the reference block is the reference motion vector mvCol, the reference block is not encoded using the L0 prediction, and is encoded using the L1 prediction. If this is the case, the L1 motion vector of the reference block is set as the reference motion vector mvCol. The picture referred to by the reference motion vector mvCol is the L0 reference picture in the temporal direct mode, and the reference picture colPic is the L1 reference picture in the temporal direct mode.
基準動きベクトルmvColからスケーリング演算処理により時間ダイレクトモードのL0
の動きベクトルmvL0とL1の動きベクトルmvL1を導出する。
Time direct mode L0 by scaling operation from reference motion vector mvCol
The motion vector mvL0 of L1 and the motion vector mvL1 of L1 are derived.
基準ピクチャcolPicのPOCから、時間ダイレクトモードのL0の参照ピクチャのPO
Cを減算してピクチャ間距離tdを導出する。なお、POCは符号化されるピクチャに関
連付けられる変数とし、ピクチャの出力順序で1ずつ増加する値が設定される。2つのピ
クチャのPOCの差が時間軸方向でのピクチャ間距離を示す。
td=基準ピクチャcolPicのPOC−時間ダイレクトモードのL0の参照ピクチャのP
OC
From the POC of the reference picture colPic, the PO of the reference picture of L0 in the temporal direct mode
The inter-picture distance td is derived by subtracting C. Note that POC is a variable associated with the picture to be encoded, and is set to a value that increases by 1 in the picture output order. The difference in POC between two pictures indicates the inter-picture distance in the time axis direction.
td = POC of base picture colPic-P of L0 reference picture in temporal direct mode
OC
符号化または復号対象ピクチャのPOCから時間ダイレクトモードのL0の参照ピクチ
ャのPOCを減算してピクチャ間距離tbを導出する。
tb=符号化または復号対象ピクチャのPOC−時間ダイレクトモードのL0の参照ピ
クチャのPOC
The inter-picture distance tb is derived by subtracting the POC of the L0 reference picture in the temporal direct mode from the POC of the picture to be encoded or decoded.
tb = POC of picture to be encoded or decoded-POC of reference picture of L0 in temporal direct mode
基準動きベクトルmvColからスケーリング演算処理により時間ダイレクトモードのL0
の動きベクトルmvL0を導出する。
mvL0=tb / td * mvCol
Time direct mode L0 by scaling operation from reference motion vector mvCol
The motion vector mvL0 is derived.
mvL0 = tb / td * mvCol
時間ダイレクトモードのL0の動きベクトルmvL0から基準動きベクトルmvColを減算し
L1の動きベクトルmvL1を導出する。
mvL1=mvL0 - mvCol
The motion vector mvL1 of L1 is derived by subtracting the reference motion vector mvCol from the motion vector mvL0 of L0 in the temporal direct mode.
mvL1 = mvL0-mvCol
しかし、従来の方法では、符号化および復号対象のブロックにとって、時間ダイレクト
では、予測精度が低下し、符号化効率が良くならない場合もあった。
However, in the conventional method, for the block to be encoded and decoded, the prediction accuracy is reduced and the encoding efficiency may not be improved in the time direct.
このような状況下、本発明者らは、動き補償予測を使用する動画像符号化方式において
、符号化情報をより一層圧縮し、全体の符号量を削減する必要性を認識するに至った。
Under such circumstances, the present inventors have come to recognize the necessity of further compressing the encoded information and reducing the overall code amount in the moving image encoding method using motion compensation prediction.
本発明はこうした状況に鑑みてなされたものであり、その目的は、符号化情報の候補を
算出することにより、符号化情報の符号量の削減を図って符号化効率を向上させる動画像
復号技術を提供することにある。
The present invention has been made in view of such a situation, and an object of the present invention is to obtain a moving picture decoding technique that improves encoding efficiency by reducing the amount of encoded information by calculating encoding information candidates. Is to provide.
各ピクチャが分割された第1のブロックが1つまたは複数の第2のブロックに分割され、インター予測により動画像が符号化された符号化ビット列を復号する動画像復号装置であって、復号対象となるピクチャ内の、復号対象となる前記第2のブロックに近接する1以上の第3のブロックのインター予測情報から1以上の第1インター予測情報候補の導出処理を行う第1予測情報導出部と、前記復号対象となるピクチャとは異なるピクチャ内の、前記復号対象となる前記第2のブロックと同一位置またはその付近に存在する第4のブロックのインター予測情報から第2インター予測情報候補の導出処理を行う第2予測情報導出部と、前記復号対象となる前記第2のブロックのインター予測に用いるインター予測情報を示すインデックスを復号する復号部と、前記第1インター予測情報候補が導出された場合には、その導出された前記第1インター予測情報候補を、前記第2インター予測情報候補が導出された場合には、その導出された前記第2インター予測情報候補を、それぞれ加えた所定の予測情報候補からなる予測情報候補リストを構築する候補リスト構築部と、前記予測情報候補リストにおける前記予測情報候補から、前記インデックスが示す前記復号対象となる前記第2のブロックの前記インター予測に用いるインター予測情報の候補を選択する選択部とを備え、前記第1予測情報導出部は、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに前記第1インター予測情報候補の導出処理を行うとともに、前記第2予測情報導出部は、前記第1のブロックを左側のブロックと、右側のブロックとで左右に3:1に分割する分割モードで、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに、参照インデックスの値をデフォルト値として、前記参照インデックスに基づいて、前記第2インター予測情報候補の導出処理を行うことを特徴とする動画像復号装置を提供する。
各ピクチャが分割された第1のブロックが1つまたは複数の第2のブロックに分割され、インター予測により動画像が符号化された符号化ビット列を復号する動画像復号方法であって、復号対象となるピクチャ内の、復号対象となる前記第2のブロックに近接する1以上の第3のブロックのインター予測情報から1以上の第1インター予測情報候補の導出処理を行う第1予測情報導出ステップと、前記復号対象となるピクチャとは異なるピクチャ内の、前記復号対象となる前記第2のブロックと同一位置またはその付近に存在する第4のブロックのインター予測情報から第2インター予測情報候補の導出処理を行う第2予測情報導出ステップと、前記復号対象となる前記第2のブロックのインター予測に用いるインター予測情報を示すインデックスを復号する復号ステップと、前記第1インター予測情報候補が導出された場合には、その導出された前記第1インター予測情報候補を、前記第2インター予測情報候補が導出された場合には、その導出された前記第2インター予測情報候補を、それぞれ加えた所定の予測情報候補からなる予測情報候補リストを構築する候補リスト構築ステップと、前記予測情報候補リストにおける前記予測情報候補から、前記インデックスが示す前記復号対象となる前記第2のブロックの前記インター予測に用いるインター予測情報の候補を選択する選択ステップとを備え、前記第1予測情報導出ステップは、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに前記第1インター予測情報候補の導出処理を行うとともに、前記第2予測情報導出ステップは、前記第1のブロックを左側のブロックと、右側のブロックとで左右に3:1に分割する分割モードで、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに、参照インデックスの値をデフォルト値として、前記参照インデックスに基づいて、前記第2インター予測情報候補の導出処理を行うことを特徴とする動画像復号方法を提供する。
各ピクチャが分割された第1のブロックが1つまたは複数の第2のブロックに分割され、インター予測により動画像が符号化された符号化ビット列を復号する動画像復号プログラムであって、復号対象となるピクチャ内の、復号対象となる前記第2のブロックに近接する1以上の第3のブロックのインター予測情報から1以上の第1インター予測情報候補の導出処理を行う第1予測情報導出ステップと、前記復号対象となるピクチャとは異なるピクチャ内の、前記復号対象となる前記第2のブロックと同一位置またはその付近に存在する第4のブロックのインター予測情報から第2インター予測情報候補の導出処理を行う第2予測情報導出ステップと、前記復号対象となる前記第2のブロックのインター予測に用いるインター予測情報を示すインデックスを復号する復号ステップと、前記第1インター予測情報候補が導出された場合には、その導出された前記第1インター予測情報候補を、前記第2インター予測情報候補が導出された場合には、その導出された前記第2インター予測情報候補を、それぞれ加えた所定の予測情報候補からなる予測情報候補リストを構築する候補リスト構築ステップと、前記予測情報候補リストにおける前記予測情報候補から、前記インデックスが示す前記復号対象となる前記第2のブロックの前記インター予測に用いるインター予測情報の候補を選択する選択ステップとをコンピュータに実行させ、前記第1予測情報導出ステップは、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに前記第1インター予測情報候補の導出処理を行うとともに、前記第2予測情報導出ステップは、前記第1のブロックを左側のブロックと、右側のブロックとで左右に3:1に分割する分割モードで、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに、参照インデックスの値をデフォルト値として、前記参照インデックスに基づいて、前記第2インター予測情報候補の導出処理を行うことを特徴とする動画像復号プログラムを提供する。
各ピクチャが分割された第1のブロックが1つまたは複数の第2のブロックに分割され、インター予測により動画像が符号化された符号化ビット列がパケット化された符号化データを受信する受信部と、受信された前記符号化データをパケット処理して符号化ストリームを生成するパケット処理部と、前記符号化ストリームにおける復号対象となるピクチャ内の、復号対象となる前記第2のブロックに近接する1以上の第3のブロックのインター予測情報から1以上の第1インター予測情報候補の導出処理を行う第1予測情報導出部と、前記復号対象となるピクチャとは異なるピクチャ内の、前記復号対象となる前記第2のブロックと同一位置またはその付近に存在する第4のブロックのインター予測情報から第2インター予測情報候補の導出処理を行う第2予測情報導出部と、前記復号対象となる前記第2のブロックのインター予測に用いるインター予測情報を示すインデックスを復号する復号部と、前記第1インター予測情報候補が導出された場合には、その導出された前記第1インター予測情報候補を、前記第2インター予測情報候補が導出された場合には、その導出された前記第2インター予測情報候補を、それぞれ加えた所定の予測情報候補からなる予測情報候補リストを構築する候補リスト構築部と、前記予測情報候補リストにおける前記予測情報候補から、前記インデックスが示す前記復号対象となる前記第2のブロックの前記インター予測に用いるインター予測情報の候補を選択する選択部とを備え、前記第1予測情報導出部は、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに前記第1インター予測情報候補の導出処理を行うとともに、前記第2予測情報導出部は、前記第1のブロックを左側のブロックと、右側のブロックとで左右に3:1に分割する分割モードで、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに、参照インデックスの値をデフォルト値として、前記参照インデックスに基づいて、前記第2インター予測情報候補の導出処理を行うことを特徴とする受信装置を提供する。
各ピクチャが分割された第1のブロックが1つまたは複数の第2のブロックに分割され、インター予測により動画像が符号化された符号化ビット列がパケット化された符号化データを受信する受信ステップと、受信された前記符号化データをパケット処理して符号化ストリームを生成するパケット処理ステップと、前記符号化ストリームにおける復号対象となるピクチャ内の、復号対象となる前記第2のブロックに近接する1以上の第3のブロックのインター予測情報から1以上の第1インター予測情報候補の導出処理を行う第1予測情報導出ステップと、前記復号対象となるピクチャとは異なるピクチャ内の、前記復号対象となる前記第2のブロックと同一位置またはその付近に存在する第4のブロックのインター予測情報から第2インター予測情報候補の導出処理を行う第2予測情報導出ステップと、前記復号対象となる前記第2のブロックのインター予測に用いるインター予測情報を示すインデックスを復号する復号ステップと、前記第1インター予測情報候補が導出された場合には、その導出された前記第1インター予測情報候補を、前記第2インター予測情報候補が導出された場合には、その導出された前記第2インター予測情報候補を、それぞれ加えた所定の予測情報候補からなる予測情報候補リストを構築する候補リスト構築ステップと、前記予測情報候補リストにおける前記予測情報候補から、前記インデックスが示す前記復号対象となる前記第2のブロックの前記インター予測に用いるインター予測情報の候補を選択する選択ステップとを備え、前記第1予測情報導出ステップは、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに前記第1インター予測情報候補の導出処理を行うとともに、前記第2予測情報導出ステップは、前記第1のブロックを左側のブロックと、右側のブロックとで左右に3:1に分割する分割モードで、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに、参照インデックスの値をデフォルト値として、前記参照インデックスに基づいて、前記第2インター予測情報候補の導出処理を行うことを特徴とする受信方法を提供する。
各ピクチャが分割された第1のブロックが1つまたは複数の第2のブロックに分割され、インター予測により動画像が符号化された符号化ビット列がパケット化された符号化データを受信する受信ステップと、受信された前記符号化データをパケット処理して符号化ストリームを生成するパケット処理ステップと、前記符号化ストリームにおける復号対象となるピクチャ内の、復号対象となる前記第2のブロックに近接する1以上の第3のブロックのインター予測情報から1以上の第1インター予測情報候補の導出処理を行う第1予測情報導出ステップと、前記復号対象となるピクチャとは異なるピクチャ内の、前記復号対象となる前記第2のブロックと同一位置またはその付近に存在する第4のブロックのインター予測情報から第2インター予測情報候補の導出処理を行う第2予測情報導出ステップと、前記復号対象となる前記第2のブロックのインター予測に用いるインター予測情報を示すインデックスを復号する復号ステップと、前記第1インター予測情報候補が導出された場合には、その導出された前記第1インター予測情報候補を、前記第2インター予測情報候補が導出された場合には、その導出された前記第2インター予測情報候補を、それぞれ加えた所定の予測情報候補からなる予測情報候補リストを構築する候補リスト構築ステップと、前記予測情報候補リストにおける前記予測情報候補から、前記インデックスが示す前記復号対象となる前記第2のブロックの前記インター予測に用いるインター予測情報の候補を選択する選択ステップとをコンピュータに実行させ、前記第1予測情報導出ステップは、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに前記第1インター予測情報候補の導出処理を行うとともに、前記第2予測情報導出ステップは、前記第1のブロックを左側のブロックと、右側のブロックとで左右に3:1に分割する分割モードで、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに、参照インデックスの値をデフォルト値として、前記参照インデックスに基づいて、前記第2インター予測情報候補の導出処理を行うことを特徴とする受信プログラムを提供する。
A moving picture decoding apparatus for decoding a coded bit string in which a first block in which each picture is divided is divided into one or a plurality of second blocks and a moving picture is encoded by inter prediction, A first prediction information deriving unit for deriving one or more first inter prediction information candidates from inter prediction information of one or more third blocks adjacent to the second block to be decoded in the picture to be And the second inter prediction information candidate from the inter prediction information of the fourth block existing in the same position as or near the second block in the picture different from the picture to be decoded. A second prediction information deriving unit that performs derivation processing, and an index indicating inter prediction information used for inter prediction of the second block to be decoded When the first inter prediction information candidate is derived, the derived first inter prediction information candidate is derived, and when the second inter prediction information candidate is derived, the derivation is performed. The index indicates the candidate list construction unit for constructing a prediction information candidate list composed of predetermined prediction information candidates added to the second inter prediction information candidates, and the prediction information candidates in the prediction information candidate list. A selection unit that selects a candidate of inter prediction information used for the inter prediction of the second block to be decoded, and the first prediction information derivation unit selects the second block to be decoded. Derivation of the first inter prediction information candidate without referring to the encoding information of the fifth block included in the same first block as the included first block The second prediction information deriving unit performs the second prediction information in the division mode in which the first block is divided into 3: 1 left and right by the left block and the right block. The reference index value is set as a default value without referring to the encoding information of the fifth block included in the same first block as the first block including the first block. A moving picture decoding apparatus is provided that performs a process of deriving 2-inter prediction information candidates.
A moving picture decoding method for decoding a coded bit string in which a first block in which each picture is divided is divided into one or a plurality of second blocks and a moving picture is coded by inter prediction, A first prediction information derivation step for deriving one or more first inter prediction information candidates from inter prediction information of one or more third blocks adjacent to the second block to be decoded in the picture to be And the second inter prediction information candidate from the inter prediction information of the fourth block existing in the same position as or near the second block in the picture different from the picture to be decoded. A second prediction information derivation step for performing a derivation process, and an index indicating inter prediction information used for inter prediction of the second block to be decoded And when the first inter prediction information candidate is derived, the derived first inter prediction information candidate is derived, and when the second inter prediction information candidate is derived, From the prediction information candidates in the prediction information candidate list, a candidate list construction step of constructing a prediction information candidate list composed of predetermined prediction information candidates added to the derived second inter prediction information candidates, A selection step of selecting a candidate of inter prediction information used for the inter prediction of the second block to be decoded indicated by an index, wherein the first prediction information derivation step includes the second prediction information to be decoded Without referring to the encoding information of the fifth block included in the same first block as the first block including The first inter prediction information candidate derivation process is performed, and the second prediction information derivation step is a division mode in which the first block is divided into 3: 1 left and right by a left block and a right block. Without referring to the encoding information of the fifth block included in the same first block as the first block including the second block to be decoded, the value of the reference index is set as a default value. A moving picture decoding method is provided, wherein the second inter prediction information candidate derivation process is performed based on the reference index.
A moving picture decoding program for decoding a coded bit string in which a first block in which each picture is divided is divided into one or a plurality of second blocks and a moving picture is encoded by inter prediction, A first prediction information derivation step for deriving one or more first inter prediction information candidates from inter prediction information of one or more third blocks adjacent to the second block to be decoded in the picture to be And the second inter prediction information candidate from the inter prediction information of the fourth block existing in the same position as or near the second block in the picture different from the picture to be decoded. A second prediction information derivation step for performing a derivation process, and inter prediction information used for inter prediction of the second block to be decoded When the decoding step for decoding the index and the first inter prediction information candidate are derived, the derived first inter prediction information candidate is derived, and when the second inter prediction information candidate is derived, From the prediction information candidates in the prediction information candidate list, a candidate list construction step of constructing a prediction information candidate list composed of predetermined prediction information candidates added to the derived second inter prediction information candidates, A selection step of selecting a candidate of inter prediction information used for the inter prediction of the second block to be decoded indicated by the index, and the first prediction information deriving step is the decoding target. A fifth block included in the same first block as the first block including the second block; The first inter prediction information candidate derivation process is performed without referring to the encoded information, and the second prediction information derivation step includes the left block and the right block in the left and right blocks. In the division mode of dividing into 3: 1 without referring to the encoding information of the fifth block included in the same first block as the first block including the second block to be decoded, There is provided a moving picture decoding program characterized in that the second inter prediction information candidate derivation process is performed based on the reference index with a reference index value as a default value.
A receiving unit that receives encoded data in which an encoded bit string obtained by dividing a first block obtained by dividing each picture into one or a plurality of second blocks and encoding a moving image by inter prediction is packetized. A packet processing unit that packet-processes the received encoded data to generate an encoded stream, and is close to the second block to be decoded in a picture to be decoded in the encoded stream A first prediction information deriving unit for deriving one or more first inter prediction information candidates from inter prediction information of one or more third blocks, and the decoding target in a picture different from the picture to be decoded The second inter prediction information candidate is derived from the inter prediction information of the fourth block existing at or near the same position as the second block. A second prediction information deriving unit that performs processing; a decoding unit that decodes an index indicating inter prediction information used for inter prediction of the second block to be decoded; and the first inter prediction information candidate is derived In this case, the derived first inter prediction information candidate is added, and when the second inter prediction information candidate is derived, the derived second inter prediction information candidate is added to each predetermined A candidate list construction unit that constructs a prediction information candidate list including prediction information candidates, and is used for the inter prediction of the second block that is the decoding target indicated by the index from the prediction information candidates in the prediction information candidate list. A selection unit that selects a candidate for inter prediction information, and the first prediction information deriving unit includes the second block to be decoded. The second prediction information is obtained while performing the derivation process of the first inter prediction information candidate without referring to the encoding information of the fifth block included in the same first block as the first block including the first block. The derivation unit is a division mode that divides the first block into a left and right block and a right and left block in a ratio of 3: 1 to the left and right, and the first block including the second block to be decoded; The second inter prediction information candidate derivation process is performed based on the reference index with the reference index value as a default value without referring to the encoded information of the fifth block included in the same first block. A receiving device is provided.
A reception step of receiving encoded data in which a first block obtained by dividing each picture is divided into one or a plurality of second blocks, and a coded bit string obtained by coding a moving image by inter prediction is packetized. A packet processing step for packet-processing the received encoded data to generate an encoded stream, and proximity to the second block to be decoded in a picture to be decoded in the encoded stream A first prediction information deriving step for deriving one or more first inter prediction information candidates from inter prediction information of one or more third blocks, and the decoding target in a picture different from the picture to be decoded From the inter prediction information of the fourth block existing at or near the same position as the second block A second prediction information deriving step for deriving prediction information candidates; a decoding step for decoding an index indicating inter prediction information used for inter prediction of the second block to be decoded; and the first inter prediction information. When the candidate is derived, the derived first inter prediction information candidate is obtained. When the second inter prediction information candidate is derived, the derived second inter prediction information candidate is A candidate list construction step of constructing a prediction information candidate list composed of predetermined added prediction information candidates, and from the prediction information candidates in the prediction information candidate list, the second block as the decoding target indicated by the index A selection step of selecting candidates for inter prediction information used for the inter prediction, and the first prediction information. In the derivation step, the first inter prediction information candidate without referring to the coding information of the fifth block included in the same first block as the first block including the second block to be decoded And the second prediction information derivation step is a division mode in which the first block is divided into left and right blocks by a ratio of 3: 1 left and right, and the decoding target is the decoding target. Without referring to the encoding information of the fifth block included in the same first block as the first block including the second block, based on the reference index with the value of the reference index as a default value, A receiving method is provided, wherein the second inter prediction information candidate derivation process is performed.
A reception step of receiving encoded data in which a first block obtained by dividing each picture is divided into one or a plurality of second blocks, and a coded bit string obtained by coding a moving image by inter prediction is packetized. A packet processing step for packet-processing the received encoded data to generate an encoded stream, and proximity to the second block to be decoded in a picture to be decoded in the encoded stream A first prediction information deriving step for deriving one or more first inter prediction information candidates from inter prediction information of one or more third blocks, and the decoding target in a picture different from the picture to be decoded From the inter prediction information of the fourth block existing at or near the same position as the second block A second prediction information deriving step for deriving prediction information candidates; a decoding step for decoding an index indicating inter prediction information used for inter prediction of the second block to be decoded; and the first inter prediction information. When the candidate is derived, the derived first inter prediction information candidate is obtained. When the second inter prediction information candidate is derived, the derived second inter prediction information candidate is A candidate list construction step of constructing a prediction information candidate list composed of predetermined added prediction information candidates, and from the prediction information candidates in the prediction information candidate list, the second block as the decoding target indicated by the index A selection step of selecting candidates for inter prediction information used for the inter prediction. The first prediction information deriving step does not refer to the encoding information of the fifth block included in the same first block as the first block including the second block to be decoded. In addition to performing the first inter prediction information candidate derivation process, the second prediction information derivation step is a division mode in which the first block is divided into a left and right block and a right block by 3: 1 left and right. Without referring to the encoding information of the fifth block included in the same first block as the first block including the second block to be decoded, the value of the reference index is set as a default value, A receiving program is provided that performs a derivation process of the second inter prediction information candidate based on a reference index.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒
体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効で
ある。
It should be noted that any combination of the above-described constituent elements and the expression of the present invention converted between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
本発明によれば、伝送する符号化情報の発生符号量を削減させて、符号化効率を向上さ
せることができる。
According to the present invention, it is possible to reduce the amount of generated code of encoded information to be transmitted and improve the encoding efficiency.
本実施の形態では、動画像の符号化に関し、特にピクチャを任意のサイズ、形状の矩形
ブロックに分割し、ピクチャ間でブロック単位に動き補償を行う動画像符号化における符
号化効率を向上させる為に、符号化対象ブロックに近接するブロックまたは符号化済みの
ピクチャのブロックの動きベクトルから複数の予測動きベクトルを導出し、符号化対象の
ブロックの動きベクトルと選択された予測動きベクトルとの差分ベクトルを算出して符号
化することによって符号量を削減する。あるいは、符号化対象ブロックに近接するブロッ
クまたは符号化済みのピクチャのブロックの符号化情報を利用することにより、符号化対
象ブロックの符号化情報を導出することによって符号量を削減する。また、動画像の復号
の場合は、復号対象ブロックに近接するブロックまたは復号済みのピクチャのブロックの
動きベクトルから複数の予測動きベクトルを算出し、符号化ストリームから復号された差
分ベクトルと選択された予測動きベクトルとから復号対象のブロックの動きベクトルを算
出して復号する。あるいは、復号対象ブロックに近接するブロックまたは復号済みのピク
チャのブロックの符号化情報を利用することにより、復号対象ブロックの符号化情報を導
出する。
In the present embodiment, with regard to moving picture coding, in particular, to improve coding efficiency in moving picture coding in which a picture is divided into rectangular blocks of an arbitrary size and shape and motion compensation is performed in units of blocks between pictures. In addition, a plurality of predicted motion vectors are derived from the motion vectors of a block adjacent to the encoding target block or a block of an encoded picture, and a difference vector between the motion vector of the encoding target block and the selected prediction motion vector The amount of code is reduced by calculating and encoding. Alternatively, the coding amount is reduced by deriving the coding information of the coding target block by using the coding information of the block adjacent to the coding target block or the block of the coded picture. Also, in the case of decoding a moving image, a plurality of predicted motion vectors are calculated from the motion vectors of a block adjacent to the decoding target block or a block of a decoded picture, and selected from the difference vector decoded from the encoded stream The motion vector of the decoding target block is calculated from the predicted motion vector and decoded. Alternatively, the encoding information of the decoding target block is derived by using the encoding information of the block adjacent to the decoding target block or the block of the decoded picture.
まず、本実施の形態において使用する技術、及び技術用語を定義する。 First, techniques used in the present embodiment and technical terms are defined.
(ツリーブロック、符号化ブロックについて)
実施の形態では、図3に示されるように、ピクチャ内を任意の同一サイズの正方の矩形
の単位にて均等分割する。この単位をツリーブロックと定義し、ピクチャ内での符号化ま
たは復号対象ブロック(符号化処理においては符号化対象ブロック、復号処理においては
復号対象ブロックのことである。以下、断りのない限り、この意味で用いる。)を特定す
るためのアドレス管理の基本単位とする。モノクロを除きツリーブロックは1つの輝度信
号と2つの色差信号で構成される。ツリーブロックのサイズはピクチャサイズやピクチャ
内のテクスチャに応じて、2のべき乗のサイズで自由に設定することができる。ツリーブ
ロックはピクチャ内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じてツ
リーブロック内の輝度信号、及び色差信号を階層的に4分割(縦横に2分割ずつ)して、
ブロックサイズの小さいブロックにすることができる。このブロックをそれぞれ符号化ブ
ロックと定義し、符号化及び復号を行う際の処理の基本単位とする。モノクロを除き符号
化ブロックも1つの輝度信号と2つの色差信号で構成される。符号化ブロックの最大サイ
ズはツリーブロックのサイズと同一である。符号化ブロックの最小のサイズとなる符号化
ブロックを最小符号化ブロックと呼び、2のべき乗のサイズで自由に設定することができ
る。
(About tree blocks and coding blocks)
In the embodiment, as shown in FIG. 3, the picture is equally divided into square units of any same size. This unit is defined as a tree block, and is a block to be encoded or decoded in a picture (a block to be encoded in the encoding process and a block to be decoded in the decoding process. Hereinafter, unless otherwise noted, It is used as a basic unit of address management for specifying. Except for monochrome, the tree block is composed of one luminance signal and two color difference signals. The size of the tree block can be freely set to a power of 2 depending on the picture size and the texture in the picture. In order to optimize the encoding process according to the texture in the picture, the tree block divides the luminance signal and chrominance signal in the tree block hierarchically into four parts (two parts vertically and horizontally) as necessary,
The block can be made smaller in block size. Each block is defined as a coding block, and is a basic unit of processing when performing coding and decoding. Except for monochrome, the coding block is also composed of one luminance signal and two color difference signals. The maximum size of the coding block is the same as the size of the tree block. An encoded block having the minimum size of the encoded block is called a minimum encoded block, and can be freely set to a power of 2.
図3においては、符号化ブロックAは、ツリーブロックを分割せず、1つの符号化ブロ
ックとしたものである。符号化ブロックBは、ツリーブロックを4分割してできた符号化
ブロックである。符号化ブロックCは、ツリーブロックを4分割してできたブロックをさ
らに4分割してできた符号化ブロックである。符号化ブロックDは、ツリーブロックを4
分割してできたブロックをさらに階層的に2度4分割してできた符号化ブロックであり、
最小サイズの符号化ブロックである。
In FIG. 3, the encoding block A is a single encoding block without dividing the tree block. The encoding block B is an encoding block formed by dividing a tree block into four. The coding block C is a coding block obtained by further dividing the block obtained by dividing the tree block into four. The coding block D is divided into 4 tree blocks.
It is an encoded block that is obtained by further dividing the block obtained by dividing into four hierarchically twice.
It is a coding block of the minimum size.
(予測モードについて)
符号化ブロック単位で、符号化または復号対象ピクチャ内の符号化または復号済み(符
号化処理においては符号化した信号を復号したピクチャ、予測ブロック、画像信号等に用
い、復号処理においては復号したピクチャ、予測ブロック、画像信号等に用いる。以下、
断りのない限り、この意味で用いる。)の周囲の画像信号から予測を行うイントラ予測(
MODE_INTRA)、及び符号化または復号済みのピクチャの画像信号から予測を行うインター
予測(MODE_INTER)を切り替える。このイントラ予測(MODE_INTRA)とインター予測(MO
DE_INTER)を識別するモードを予測モード(PredMode)と定義する。予測モード(PredMo
de)はイントラ予測(MODE_INTRA)、またはインター予測(MODE_INTER)を値として持ち
、選択して符号化できる。
(About prediction mode)
Encoded or decoded within a picture to be encoded or decoded in units of encoding blocks (in the encoding process, the encoded signal is used for a decoded picture, a prediction block, an image signal, etc., and the decoded picture in the decoding process) Used for prediction blocks, image signals, etc.
Unless otherwise noted, it is used in this sense. ) Intra prediction that predicts from surrounding image signals (
MODE_INTRA) and inter prediction (MODE_INTER) for performing prediction based on an encoded or decoded picture signal. This intra prediction (MODE_INTRA) and inter prediction (MO
A mode for identifying (DE_INTER) is defined as a prediction mode (PredMode). Prediction mode (PredMo
de) has intra prediction (MODE_INTRA) or inter prediction (MODE_INTER) as a value, and can be selected and encoded.
(分割モード、予測ブロック、予測ユニットについて)
ピクチャ内をブロックに分割してイントラ予測(MODE_INTRA)及びインター予測(MODE
_INTER)を行う場合、イントラ予測及びインター予測の方法を切り替える単位をより小さ
くするために、必要に応じて符号化ブロックを分割して予測を行う。この符号化ブロック
の輝度信号と色差信号の分割方法を識別するモードを分割モード(PartMode)と定義する
。さらに、この分割されたブロックを予測ブロックと定義する。図4に示すように、符号
化ブロックの輝度信号の分割方法に応じて8種類の分割モード(PartMode)を定義する。
(About split mode, prediction block, prediction unit)
Intra-prediction (MODE_INTRA) and inter-prediction (MODE)
When performing (_INTER), in order to reduce the unit for switching between the intra prediction method and the inter prediction method, prediction is performed by dividing the coded block as necessary. A mode for identifying the division method of the luminance signal and the color difference signal of the coding block is defined as a division mode (PartMode). Furthermore, this divided block is defined as a prediction block. As shown in FIG. 4, eight types of partition modes (PartMode) are defined according to the method of dividing the luminance signal of the coding block.
図4(a)に示す符号化ブロックの輝度信号を分割せず1つの予測ブロックとみなした
分割モード(PartMode)を2N×2N分割(PART_2Nx2N)と定義する。図4(b)、(c
)、(d)に示す符号化ブロックの輝度信号を上下に並ぶ2つの予測ブロックに分割する
分割モード(PartMode)をそれぞれ2N×N分割(PART_2NxN)、2N×nU分割(PART_
2NxnU)、2N×nD分割(PART_2NxnD)と定義する。ただし、2N×N分割(PART_2NxN
)は上下に1:1の比率で分割した分割モードであり、2N×nU分割(PART_2NxnU)は
上下に1:3の比率で分割した分割モードであり、2N×nD分割(PART_2NxnD)は上下
に3:1の比率で分割した分割モードである。図4(e)、(f)、(g)に示す符号化
ブロックの輝度信号を左右に並ぶ2つの予測ブロックに分割する分割モード(PartMode)
をそれぞれN×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分
割(PART_nRx2N)と定義する。ただし、N×2N分割(PART_Nx2N)は左右に1:1の比
率で分割した分割モードであり、nL×2N分割(PART_nLx2N)は左右に1:3の比率で
分割した分割モードであり、nR×2N分割(PART_nRx2N)は左右に3:1の比率で分割
した分割モードである。図4(h)に示す符号化ブロックの輝度信号を上下左右に4分割
して、4つの予測ブロックとした分割モード(PartMode)をN×N分割(PART_NxN)とそ
れぞれ定義する。
A division mode (PartMode) that is regarded as one prediction block without dividing the luminance signal of the encoded block shown in FIG. 4A is defined as 2N × 2N division (PART_2Nx2N). 4 (b) and (c
) And (d) are divided into 2N × N divisions (PART_2NxN) and 2N × nU divisions (PART_), respectively, for dividing the luminance signal of the coding block shown in FIG.
2NxnU) and 2N × nD division (PART_2NxnD). However, 2N × N division (PART_2NxN
) Is a split mode divided up and down at a ratio of 1: 1, 2N x nU split (PART_2NxnU) is a split mode split up and down at a ratio of 1: 3, and 2N x nD split (PART_2NxnD) is This is a division mode divided at a ratio of 3: 1. Partition mode (PartMode) for dividing the luminance signal of the coding block shown in FIGS. 4E, 4F, and 4G into two prediction blocks arranged on the left and right
Are defined as N × 2N partition (PART_Nx2N), nL × 2N partition (PART_nLx2N), and nR × 2N partition (PART_nRx2N), respectively. However, N × 2N division (PART_Nx2N) is a division mode in which left and right are divided at a ratio of 1: 1, and nL × 2N division (PART_nLx2N) is a division mode in which division is performed at a ratio of 1: 3 in the left and right, and nR × The 2N division (PART_nRx2N) is a division mode in which the left and right are divided at a ratio of 3: 1. The division mode (PartMode) in which the luminance signal of the coding block shown in FIG. 4 (h) is divided into four parts in the vertical and horizontal directions and defined as four prediction blocks is defined as N × N division (PART_NxN).
なお、各分割モード(PartMode)毎に輝度信号の縦横の分割比率と同様に色差信号も分
割する。
Note that the color difference signal is also divided in the same manner as the vertical and horizontal division ratios of the luminance signal for each division mode (PartMode).
符号化ブロック内部において、各予測ブロックを特定する為に、0から開始する番号を
、符号化順序で、符号化ブロック内部に存在する予測ブロックに対して割り当てる。この
番号を分割インデックスPartIdxと定義する。図4の符号化ブロックの各予測ブロックの
中に記述された数字は、その予測ブロックの分割インデックスPartIdxを表す。図4(b
)、(c)、(d)に示す2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)
、2N×nD分割(PART_2NxnD)では上の予測ブロックの分割インデックスPartIdxを0
とし、下の予測ブロックの分割インデックスPartIdxを1とする。図4(e)、(f)、
(g)に示すN×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N
分割(PART_nRx2N)では左の予測ブロックの分割インデックスPartIdxを0とし、右の予
測ブロックの分割インデックスPartIdxを1とする。図4(h)に示すN×N分割(PART_
NxN)では、左上の予測ブロックの分割インデックスPartIdxを0とし、右上の予測ブロッ
クの分割インデックスPartIdxを1とし、左下の予測ブロックの分割インデックスPartIdx
を2とし、右下の予測ブロックの分割インデックスPartIdxを3とする。
In order to specify each prediction block within the coding block, a number starting from 0 is assigned to the prediction block existing inside the coding block in the coding order. This number is defined as a split index PartIdx. A number described in each prediction block of the encoded block in FIG. 4 represents a partition index PartIdx of the prediction block. FIG.
), (C), (d) 2N × N partition (PART_2NxN), 2N × nU partition (PART_2NxnU)
In 2N × nD partition (PART_2NxnD), the partition index PartIdx of the upper prediction block is set to 0
And the division index PartIdx of the lower prediction block is set to 1. 4 (e), (f),
N × 2N division (PART_Nx2N), nL × 2N division (PART_nLx2N), nR × 2N shown in (g)
In the division (PART_nRx2N), the division index PartIdx of the left prediction block is set to 0, and the division index PartIdx of the right prediction block is set to 1. N × N division (PART_) shown in FIG.
NxN), the partition index PartIdx of the upper left prediction block is set to 0, the partition index PartIdx of the upper right prediction block is set to 1, and the partition index PartIdx of the lower left prediction block is set to 1.
Is set to 2, and the division index PartIdx of the prediction block on the lower right is set to 3.
予測モード(PredMode)がインター予測(MODE_INTER)では、分割モード(PartMode)
は2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N×nU分割(PART_
2NxnU)、2N×nD分割(PART_2NxnD)、N×2N分割(PART_Nx2N)、nL×2N分割
(PART_nLx2N)、及びnR×2N分割(PART_nRx2N)を定義する。最小の符号化ブロック
である符号化ブロックDのみ、分割モード(PartMode)は2N×2N分割(PART_2Nx2N)
、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_
2NxnD)、N×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、及びnR×2N
分割(PART_nRx2N)に加えてN×N分割(PART_NxN)を定義することもできるが、本実施
の形態においては、分割モード(PartMode)がN×N分割(PART_NxN)を定義しないもの
とする。
When the prediction mode (PredMode) is inter prediction (MODE_INTER), the split mode (PartMode)
Is 2N x 2N split (PART_2Nx2N), 2N x N split (PART_2NxN), 2N x nU split (PART_
2NxnU), 2N × nD partition (PART_2NxnD), N × 2N partition (PART_Nx2N), nL × 2N partition (PART_nLx2N), and nR × 2N partition (PART_nRx2N). Only coding block D, which is the smallest coding block, has a partition mode (PartMode) of 2N × 2N (PART_2Nx2N)
2N × N partition (PART_2NxN), 2N × nU partition (PART_2NxnU), 2N × nD partition (PART_
2NxnD), N × 2N partition (PART_Nx2N), nL × 2N partition (PART_nLx2N), and nR × 2N
Although N × N division (PART_NxN) can be defined in addition to division (PART_nRx2N), in this embodiment, it is assumed that the division mode (PartMode) does not define N × N division (PART_NxN).
予測モード(PredMode)がイントラ予測(MODE_INTRA)では、最小の符号化ブロックで
ある符号化ブロックD以外では、分割モード(PartMode)は2N×2N分割(PART_2Nx2N
)だけを定義し、最小の符号化ブロックである符号化ブロックDのみ、分割モード(Part
Mode)は2N×2N分割(PART_2Nx2N)に加えてN×N分割(PART_NxN)を定義する。な
お、最小の符号化ブロック以外にN×N分割(PART_NxN)を定義しない理由は最小の符号
化ブロック以外では、符号化ブロックを4分割して小さな符号化ブロックを表現できるか
らである。
When the prediction mode (PredMode) is intra prediction (MODE_INTRA), the partition mode (PartMode) is 2N × 2N partition (PART_2Nx2N) except for the coding block D which is the smallest coding block.
Only encoding block D, which is the smallest encoding block,
Mode) defines N × N division (PART_NxN) in addition to 2N × 2N division (PART_2Nx2N). The reason why N × N division (PART_NxN) is not defined other than the smallest coding block is that, except for the smallest coding block, the coding block can be divided into four to represent a small coding block.
(ツリーブロック、符号化ブロック、予測ブロック、変換ブロックの位置)
本実施の形態のツリーブロック、符号化ブロック、予測ブロック、変換ブロックを始め
とする各ブロックの位置は、輝度信号の画面の一番左上の輝度信号の画素の位置を原点(
0,0)とし、それぞれのブロックの領域に含まれる一番左上の輝度信号の画素の位置を
(x,y)の二次元座標で表す。座標軸の向きは水平方向に右の方向、垂直方向に下の方
向をそれぞれ正の向きとし、単位は輝度信号の1画素単位である。輝度信号と色差信号で
画像サイズ(画素数)が同じである色差フォーマットが4:4:4の場合ではもちろんの
こと、輝度信号と色差信号で画像サイズ(画素数)が異なる色差フォーマットが4:2:
0、4:2:2の場合でも色差信号の各ブロックの位置をそのブロックの領域に含まれる
輝度信号の画素の座標で表し、単位は輝度信号の1画素である。この様にすることで、色
差信号の各ブロックの位置が特定できるのはもちろんのこと、座標の値を比較するだけで
、輝度信号のブロックと色差信号のブロックの位置の関係も明確となる。
(Position of tree block, coding block, prediction block, transform block)
The position of each block including the tree block, the encoding block, the prediction block, and the conversion block of the present embodiment is the origin (
0,0), and the pixel position of the upper left luminance signal included in each block area is represented by two-dimensional coordinates (x, y). The direction of the coordinate axis is a right direction in the horizontal direction and a downward direction in the vertical direction, respectively, and the unit is one pixel unit of the luminance signal. Of course, the luminance signal and the color difference signal have the same image size (number of pixels) and the color difference format is 4: 4: 4. Of course, the luminance signal and the color difference signal have a different color size format of 4: 4. 2:
Even in the case of 0, 4: 2: 2, the position of each block of the color difference signal is represented by the coordinates of the pixel of the luminance signal included in the block area, and the unit is one pixel of the luminance signal. In this way, not only can the position of each block of the color difference signal be specified, but also the relationship between the positions of the luminance signal block and the color difference signal block can be clarified only by comparing the coordinate values.
(インター予測モード、参照リストについて)
本発明の実施の形態においては、復号済みのピクチャの画像信号から予測を行うインタ
ー予測では、複数の復号済みのピクチャを参照ピクチャとして用いることができる。複数
の参照ピクチャから選択された参照ピクチャを特定するため、予測ブロック毎に参照イン
デックスを付ける。Bスライスでは予測ブロック毎に任意の2枚の参照ピクチャを選択し
てインター予測を行うことができ、インター予測モードとしてL0予測(Pred_L0)、L
1予測(Pred_L1)、双予測(Pred_BI)がある。参照ピクチャはリスト構造のL0(参照
リスト0)とL1(参照リスト1)で管理され、L0またはL1の参照インデックスを指
定することにより参照ピクチャを特定することができる。L0予測(Pred_L0)はL0で
管理されている参照ピクチャを参照するインター予測であり、L1予測(Pred_L1)はL
1で管理されている参照ピクチャを参照するインター予測であり、双予測(Pred_BI)は
L0予測とL1予測が共に行われ、L0とL1のそれぞれで管理されている1つずつの参
照ピクチャを参照するインター予測である。Pスライスのインター予測ではL0予測のみ
が使用でき、Bスライスのインター予測ではL0予測、L1予測、L0予測とL1予測を
平均または重み付け加算する双予測(Pred_BI)が使用できる。以降の処理において出力
に添え字LXが付いている定数、変数に関しては、L0、L1ごとに処理が行われること
を前提とする。
(Inter prediction mode, reference list)
In the embodiment of the present invention, in inter prediction in which prediction is performed from an image signal of a decoded picture, a plurality of decoded pictures can be used as reference pictures. In order to identify a reference picture selected from a plurality of reference pictures, a reference index is attached to each prediction block. In B slice, any two reference pictures can be selected for each prediction block, and inter prediction can be performed. As inter prediction modes, L0 prediction (Pred_L0), L
There are 1 prediction (Pred_L1) and bi-prediction (Pred_BI). The reference picture is managed by L0 (reference list 0) and L1 (reference list 1) of the list structure, and the reference picture can be specified by specifying the reference index of L0 or L1. L0 prediction (Pred_L0) is inter prediction that refers to a reference picture managed in L0, and L1 prediction (Pred_L1) is L
Inter prediction that refers to a reference picture managed in 1, bi-prediction (Pred_BI) is performed both in L0 prediction and L1 prediction, and refers to one reference picture managed in each of L0 and L1 Inter prediction. Only L0 prediction can be used in inter prediction of P slice, and L0 prediction, L1 prediction, and bi-prediction (Pred_BI) that averages or weights and adds L0 prediction and L1 prediction can be used in inter prediction of B slice. In the subsequent processing, it is assumed that the constants and variables with the subscript LX in the output are processed for each of L0 and L1.
(マージモード、マージ候補)
マージモードとは、符号化または復号対象の予測ブロックの予測モード、参照インデッ
クス、動きベクトル等のインター予測情報を符号化または復号するのではなく、符号化ま
たは復号対象の予測ブロックと同一ピクチャ内でその符号化または復号対象の予測ブロッ
クに近接する予測ブロック、あるいは符号化または復号対象の予測ブロックと時間的に異
なる復号済みのピクチャの符号化または復号対象の予測ブロックと同一位置あるいはその
付近(近傍の位置)に存在する予測ブロックのインター予測情報から符号化または復号対
象の予測ブロックのインター予測情報を導出することによりインター予測を行うモードで
ある。符号化または復号対象の予測ブロックと同一ピクチャ内でその符号化または復号対
象の予測ブロックに近接する予測ブロック及びその予測ブロックのインター予測情報を空
間マージ候補、符号化または復号対象の予測ブロックと時間的に異なる符号化または復号
済みのピクチャの符号化または復号対象の予測ブロックと同一位置あるいはその付近(近
傍の位置)に存在する予測ブロック及びその予測ブロックのインター予測情報から導出さ
れるインター予測情報を時間マージ候補とする。それぞれのマージ候補はマージ候補リス
トに登録され、マージインデックスによりインター予測で用いるマージ候補を特定する。
(Merge mode, merge candidate)
In the merge mode, the prediction mode of the prediction block to be encoded or decoded, the inter prediction information such as the reference index and the motion vector is not encoded or decoded, but within the same picture as the prediction block to be encoded or decoded. Prediction block close to the prediction block to be encoded or decoded, or the same position as or near the prediction block to be encoded or decoded of a decoded picture that is temporally different from the prediction block to be encoded or decoded (neighboring In this mode, the inter prediction is performed by deriving the inter prediction information of the prediction block to be encoded or decoded from the inter prediction information of the prediction block existing at the position. A prediction block close to the prediction block to be encoded or decoded in the same picture as the prediction block to be encoded or decoded and inter prediction information of the prediction block are spatial merge candidates, a prediction block to be encoded or decoded, and time Prediction information derived from a prediction block existing at the same position as or near (previously near) a prediction block to be encoded or decoded of a differently encoded or decoded picture and inter prediction information of the prediction block Are time merge candidates. Each merge candidate is registered in the merge candidate list, and the merge candidate used in the inter prediction is specified by the merge index.
(近接する予測ブロックについて)
図5、図6、図7及び図8は空間マージ候補の導出、および時間マージ候補の参照イン
デックスの導出の際に参照する符号化または復号対象の予測ブロックと同一ピクチャ内で
その符号化または復号対象の予測ブロックに近接する予測ブロックを説明する図である。
図9は時間マージ候補の参照インデックスの導出の際に参照する符号化または復号対象の
予測ブロックと時間的に異なる符号化または復号済みのピクチャにおいて、符号化または
復号対象の予測ブロックと同一位置あるいはその付近に存在する既に符号化または復号済
みの予測ブロックを説明する図である。図5、図6、図7、図8及び図9を用いて符号化
または復号対象の予測ブロックの空間方向に近接する予測ブロック、及び異なる時間の同
一位置の予測ブロックについて説明する。
(About adjacent prediction blocks)
5, 6, 7, and 8 illustrate the encoding or decoding within the same picture as the prediction block to be encoded or decoded that is referenced when the spatial merge candidate is derived and the reference index of the temporal merge candidate is derived. It is a figure explaining the prediction block adjacent to the prediction block of object.
FIG. 9 illustrates the same position as the prediction block to be encoded or decoded in a picture that has been encoded or decoded that is temporally different from the prediction block to be encoded or decoded that is referred to when the reference index of the temporal merge candidate is derived. It is a figure explaining the prediction block already encoded or decoded which exists in the vicinity. A prediction block that is close in the spatial direction of a prediction block to be encoded or decoded and a prediction block at the same position at different times will be described with reference to FIGS. 5, 6, 7, 8, and 9.
図5に示すように、符号化または復号対象の予測ブロックと同一ピクチャ内でその符号
化または復号対象の予測ブロックの左側の辺に近接する予測ブロックA、上側の辺に近接
する予測ブロックB、右上の頂点に近接する予測ブロックC、左下の頂点に近接する予測
ブロックD、および左上の頂点に近接する予測ブロックEを空間方向に近接する予測ブロ
ックと定義する。
As shown in FIG. 5, a prediction block A close to the left side of the prediction block to be encoded or decoded in the same picture as the prediction block to be encoded or decoded, a prediction block B close to the upper side, A prediction block C that is close to the upper right vertex, a prediction block D that is close to the lower left vertex, and a prediction block E that is close to the upper left vertex are defined as prediction blocks close to the spatial direction.
なお、図6に示すように、符号化または復号対象の予測ブロックの左側の辺に近接する
予測ブロックのサイズが符号化または復号対象の予測ブロックより小さく、複数存在する
場合には、本実施の形態においては左側の辺に近接する予測ブロックの中で最も下の予測
ブロックA10を左側の辺に近接する予測ブロックAとする。
In addition, as shown in FIG. 6, when the size of the prediction block adjacent to the left side of the prediction block to be encoded or decoded is smaller than the prediction block to be encoded or decoded and there are a plurality of prediction blocks, this embodiment In the embodiment, the lowest prediction block A10 among the prediction blocks close to the left side is assumed to be the prediction block A close to the left side.
同様に、符号化または復号対象の予測ブロックの上側の辺に近接する予測ブロックのサ
イズが符号化または復号対象の予測ブロックより小さく、複数存在する場合には、本実施
の形態においては左側の辺に近接する予測ブロックの中で最も右の予測ブロックB10を
上側の辺に近接する予測ブロックB1とする。
Similarly, when the size of the prediction block adjacent to the upper side of the prediction block to be encoded or decoded is smaller than the prediction block to be encoded or decoded and there are a plurality of prediction blocks, the left side in the present embodiment The rightmost prediction block B10 among the prediction blocks adjacent to is assumed to be the prediction block B1 adjacent to the upper side.
なお、図7に示すように、符号化または復号対象の予測ブロックの左側に近接する予測
ブロックFのサイズが符号化または復号対象の予測ブロックより大きい場合にも、前記条
件に従い、左側に近接する予測ブロックAがその符号化または復号対象の予測ブロックの
左側の辺に近接していれば予測ブロックAとし、符号化または復号対象の予測ブロックの
左下の頂点に近接していれば予測ブロックDとし、符号化または復号対象の予測ブロック
の左上の頂点に近接していれば予測ブロックEとする。図6の例では、予測ブロックA、
予測ブロックE及び予測ブロックEは同一の予測ブロックとなる。
In addition, as shown in FIG. 7, even when the size of the prediction block F adjacent to the left side of the prediction block to be encoded or decoded is larger than the prediction block to be encoded or decoded, it is close to the left side according to the above condition. If the prediction block A is close to the left side of the prediction block to be encoded or decoded, the prediction block A is determined. If the prediction block A is close to the lower left vertex of the prediction block to be encoded or decoded, the prediction block D is determined. If it is close to the top left vertex of the prediction block to be encoded or decoded, the prediction block E is determined. In the example of FIG. 6, the prediction block A,
The prediction block E and the prediction block E are the same prediction block.
なお、図8に示すように、符号化または復号対象の予測ブロックの上側に近接する予測
ブロックGのサイズが符号化または復号対象の予測ブロックより大きい場合にも、前記条
件に従い、上側に近接する予測ブロックGがその符号化または復号対象の予測ブロックの
上側の辺に近接していれば予測ブロックBとし、符号化または復号対象の予測ブロックの
右上の頂点に近接していれば予測ブロックCとし、符号化または復号対象の予測ブロック
の左上の頂点に近接していれば予測ブロックEとする。図8の例では、予測ブロックB、
予測ブロックC及び予測ブロックEは同一の予測ブロックとなる。
In addition, as shown in FIG. 8, even when the size of the prediction block G adjacent to the upper side of the prediction block to be encoded or decoded is larger than the prediction block to be encoded or decoded, the size is close to the upper side according to the above condition. When the prediction block G is close to the upper side of the prediction block to be encoded or decoded, the prediction block B is used. When the prediction block G is close to the upper right vertex of the prediction block to be encoded or decoded, the prediction block C is set. If it is close to the top left vertex of the prediction block to be encoded or decoded, the prediction block E is determined. In the example of FIG. 8, the prediction block B,
The prediction block C and the prediction block E are the same prediction block.
図9に示すように、符号化または復号対象の予測ブロックと時間的に異なる復号済みの
ピクチャにおいて、符号化または復号対象の予測ブロックと同一位置あるいはその付近に
存在する既に符号化または復号済みの予測ブロックT0およびT1を異なる時間の同一位
置の予測ブロックと定義する。
As shown in FIG. 9, in a decoded picture that is temporally different from a prediction block to be encoded or decoded, an already encoded or decoded image that exists at or near the same position as the prediction block to be encoded or decoded Prediction blocks T0 and T1 are defined as prediction blocks at the same position at different times.
(POCについて)
POCは符号化されるピクチャに関連付けられる変数とし、ピクチャの出力順序で1ず
つ増加する値が設定される。POCの値によって、同じピクチャであるかを判別したり、
出力順序でのピクチャ間の前後関係を判別したり、ピクチャ間の距離を導出したりするこ
とができる。例えば、2つのピクチャのPOCが同じ値を持つ場合、同一のピクチャであ
ると判断できる。2つのピクチャのPOCが違う値を持つ場合、POCの値が小さいピク
チャのほうが、先に出力されるピクチャであると判断でき、2つのピクチャのPOCの差
が時間軸方向でのピクチャ間距離を示す。
(About POC)
POC is a variable associated with the picture to be encoded, and is set to a value that increases by 1 in the picture output order. Depending on the value of POC, it can be determined whether they are the same picture,
It is possible to determine the front-to-back relationship between pictures in the output order and to derive the distance between pictures. For example, if the POCs of two pictures have the same value, it can be determined that they are the same picture. When the POCs of two pictures have different values, it can be determined that the picture with the smaller POC value is the picture output first, and the difference between the POCs of the two pictures indicates the inter-picture distance in the time axis direction. Show.
以下、図面と共に本発明の実施の形態を説明する。図1は本発明の実施の形態に係る動
画像符号化装置の構成を示すブロック図である。実施の形態の動画像符号化装置は、画像
メモリ101、動きベクトル検出部102、差分動きベクトル算出部103、インター予
測情報導出部104、動き補償予測部105、イントラ予測部106、予測方法決定部1
07、残差信号生成部108、直交変換・量子化部109、第1の符号化ビット列生成部
110、第2の符号化ビット列生成部111、多重化部112、逆量子化・逆直交変換部
113、復号画像信号重畳部114、符号化情報格納メモリ115、および復号画像メモ
リ116を備える。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a moving picture coding apparatus according to an embodiment of the present invention. The moving image encoding apparatus according to the embodiment includes an
07, residual
画像メモリ101は、撮影/表示時間順に供給された符号化対象のピクチャの画像信号
を一時格納する。画像メモリ101は、格納された符号化対象のピクチャの画像信号を、
所定の画素ブロック単位で、動きベクトル検出部102、予測方法決定部107、および
残差信号生成部108に供給する。その際、撮影/表示時間順に格納されたピクチャの画
像信号は、符号化順序に並べ替えられて、画素ブロック単位で、画像メモリ101から出
力される。
The
The data is supplied to the motion
動きベクトル検出部102は、画像メモリ101から供給される画像信号と復号画像メ
モリ116から供給される参照ピクチャ間でブロックマッチング等により各予測ブロック
サイズ、各予測モードのそれぞれの動きベクトルを各予測ブロック単位で検出し、検出さ
れた動きベクトルを動き補償予測部105、差分動きベクトル算出部103、および予測
方法決定部107に供給する。
The motion
差分動きベクトル算出部103は、符号化情報格納メモリ115に記憶されている既に
符号化された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を算出して
予測動きベクトルリストに登録し、予測動きベクトルリストに登録された複数の予測動き
ベクトルの候補の中から最適な予測動きベクトルを選択し、動きベクトル検出部102が
検出した動きベクトルと予測動きベクトルから差分動きベクトルを算出し、算出された差
分動きベクトルを予測方法決定部107に供給する。さらに、予測動きベクトルリストに
登録された予測動きベクトルの候補から選択された予測動きベクトルを特定する予測動き
ベクトルインデックスを予測方法決定部107に供給する。
The difference motion
インター予測情報導出部104は、マージモードでのマージ候補を導出する。符号化情
報格納メモリ115に記憶されている既に符号化された予測ブロックの符号化情報を用い
て、複数のマージ候補を導出して後述するマージ候補リストに登録し、マージ候補リスト
に登録された複数のマージ候補の中から適したマージ候補を選択し、選択されたマージ候
補の各予測ブロックのL0予測、及びL1予測を利用するかどうかを示すフラグpredFlag
L0[xP][yP], predFlagL1[xP][yP]、参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][y
P]、動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報を動き補償予測部1
05に供給するとともに、選択されたマージ候補を特定するマージインデックスを予測方
法決定部107に供給する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素
の位置を示すインデックスである。インター予測情報導出部104の詳細な構成と動作は
後述する。
The inter prediction
L0 [xP] [yP], predFlagL1 [xP] [yP], reference index refIdxL0 [xP] [yP], refIdxL1 [xP] [y
P], motion vectors mvL0 [xP] [yP], mvL1 [xP] [yP] and other inter prediction information are used as motion compensated
And a merge index that identifies the selected merge candidate is supplied to the prediction
動き補償予測部105は、動きベクトル検出部102およびインター予測情報導出部1
04により検出された動きベクトルを用いて参照ピクチャからインター予測(動き補償予
測)により予測画像信号を生成し、予測画像信号を予測方法決定部107に供給する。な
お、L0予測、及びL1予測では、片方向の予測を行う。双予測(Pred_BI)の場合は、
双方向の予測を行い、L0予測、L1予測のそれぞれのインター予測された信号に適応的
に重み係数を掛け算し、オフセット値を加算して重畳し、最終的な予測画像信号を生成す
る。
The motion
A predicted image signal is generated by inter prediction (motion compensated prediction) from the reference picture using the motion vector detected in 04, and the predicted image signal is supplied to the prediction
Bidirectional prediction is performed, the inter-predicted signals of L0 prediction and L1 prediction are adaptively multiplied by a weighting factor, an offset value is added and superimposed, and a final predicted image signal is generated.
イントラ予測部106は、各イントラ予測モードについてイントラ予測を行う。復号画
像メモリ211に格納されている復号済みの画像信号からイントラ予測により予測画像信
号を生成し、複数のイントラ予測モードの中から適したイントラ予測モードを選択し、選
択されたイントラ予測モード、及び選択されたイントラ予測モードに応じた予測画像信号
を予測方法決定部107に供給する。
The
予測方法決定部107はそれぞれの予測方法毎に符号化情報及び残差信号の符号量、予
測画像信号と画像信号との間の歪量等を評価することにより、複数の予測方法の中から、
最適な符号化ブロック単位でインター予測(PRED_INTER)かイントラ予測(PRED_INTRA)
かを判別する予測モードPredMode、分割モードPartModeを決定し、インター予測(PRED_I
NTER)では予測ブロック単位でマージモードか否かを決定し、マージモードの場合はマー
ジインデックス、マージモードでない場合はインター予測モード、予測動きベクトルイン
デックス、L0、L1の参照インデックス、差分動きベクトル等を決定して、決定に応じ
た符号化情報を第1の符号化ビット列生成部110に供給する。
The prediction
Inter prediction (PRED_INTER) or intra prediction (PRED_INTRA) for each optimal coding block
Prediction mode PredMode and split mode PartMode are determined, and inter prediction (PRED_I
NTER) determines whether or not the mode is the merge mode in units of prediction blocks. If the mode is the merge mode, the merge index is selected. The encoded information corresponding to the determination is supplied to the first encoded bit
さらに、予測方法決定部107は、決定された予測方法を示す情報、及び決定された予
測方法に応じた動きベクトル等を含む符号化情報を符号化情報格納メモリ115に格納す
る。ここで格納する符号化情報は、各符号化ブロックの予測モードPredMode、分割モード
PartMode、各予測ブロックのL0予測、及びL1予測を利用するかどうかを示すフラグpr
edFlagL0[xP][yP], predFlagL1[xP][yP]、L0、L1の参照インデックスrefIdxL0[xP][y
P], refIdxL1[xP][yP]、L0、L1の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等である
。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックス
である。なお、予測モードPredModeがイントラ予測(MODE_INTRA)の場合、L0予測を利
用するかどうかを示すフラグpredFlagL0[xP][yP]、L1予測を利用するかどうかを示すフ
ラグpredFlagL1[xP][yP]は共に0である。一方、予測モードPredModeがインター予測(MO
DE_INTER)で、インター予測モードがL0予測(Pred_L0)の場合、L0予測を利用する
かどうかを示すフラグpredFlagL0[xP][yP]は1, L1予測を利用するかどうかを示すフラ
グpredFlagL1[xP][yP]は0である。インター予測モードがL1予測(Pred_L1)の場合、
L0予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]は0, L1予測を利用する
かどうかを示すフラグpredFlagL1[xP][yP]は1である。インター予測モードが双予測(Pr
ed_BI)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]、L1予
測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は共に1である。予測方法決定部
107は、決定された予測モードに応じた予測画像信号を残差信号生成部108と復号画
像信号重畳部114に供給する。
Furthermore, the prediction
Flag indicating whether to use PartMode, L0 prediction of each prediction block, and L1 prediction
edFlagL0 [xP] [yP], predFlagL1 [xP] [yP], L0, L1 reference indices refIdxL0 [xP] [y
P], refIdxL1 [xP] [yP], L0, L1 motion vectors mvL0 [xP] [yP], mvL1 [xP] [yP], and the like. Here, xP and yP are indexes indicating the position of the upper left pixel of the prediction block in the picture. When the prediction mode PredMode is intra prediction (MODE_INTRA), a flag predFlagL0 [xP] [yP] indicating whether to use L0 prediction and a flag predFlagL1 [xP] [yP] indicating whether to use L1 prediction are Both are zero. On the other hand, the prediction mode PredMode is inter prediction (MO
DE_INTER) and when the inter prediction mode is L0 prediction (Pred_L0), the flag predFlagL0 [xP] [yP] indicating whether to use L0 prediction is 1, and the flag predFlagL1 [xP] indicating whether to use L1 prediction [yP] is 0. When the inter prediction mode is L1 prediction (Pred_L1)
The flag predFlagL0 [xP] [yP] indicating whether to use L0 prediction is 0, and the flag predFlagL1 [xP] [yP] indicating whether to use L1 prediction is 1. Inter prediction mode is bi-prediction (Pr
ed_BI), a flag predFlagL0 [xP] [yP] indicating whether to use L0 prediction and a flag predFlagL1 [xP] [yP] indicating whether to use L1 prediction are both 1. The prediction
残差信号生成部108は、符号化する画像信号と予測画像信号との減算を行うことによ
り残差信号を生成し、直交変換・量子化部109に供給する。
直交変換・量子化部109は、残差信号に対して量子化パラメータに応じて直交変換及
び量子化を行い直交変換・量子化された残差信号を生成し、第2の符号化ビット列生成部
111と逆量子化・逆直交変換部113に供給する。さらに、直交変換・量子化部109
は、量子化パラメータを符号化情報格納メモリ115に格納する。
The residual
The orthogonal transform /
Stores the quantization parameter in the encoded
第1の符号化ビット列生成部110は、シーケンス、ピクチャ、スライス、符号化ブロ
ック単位の情報に加えて、符号化ブロック及び予測ブロック毎に予測方法決定部107に
よって決定された予測方法に応じた符号化情報を符号化する。具体的には、符号化ブロッ
ク毎の予測モードPredMode、分割モードPartMode、インター予測(PRED_INTER)の場合、
マージモードかどうかを判別するフラグ、マージモードの場合はマージインデックス、マ
ージモードでない場合はインター予測モード、予測動きベクトルインデックス、差分動き
ベクトルに関する情報等の符号化情報を後述する規定のシンタックス規則に従って符号化
して第1の符号化ビット列を生成し、多重化部112に供給する。
The first encoded bit
Flag for determining whether or not the mode is merge mode, merge index in the case of merge mode, encoding information such as inter prediction mode, prediction motion vector index, and information on difference motion vector in the case of not merge mode, according to a prescribed syntax rule described later The first encoded bit string is generated by encoding and supplied to the
第2の符号化ビット列生成部111は、直交変換及び量子化された残差信号を規定のシ
ンタックス規則に従ってエントロピー符号化して第2の符号化ビット列を生成し、多重化
部112に供給する。多重化部112で、第1の符号化ビット列と第2の符号化ビット列
を規定のシンタックス規則に従って多重化し、ビットストリームを出力する。
The second encoded bit
逆量子化・逆直交変換部113は、直交変換・量子化部109から供給された直交変換
・量子化された残差信号を逆量子化及び逆直交変換して残差信号を算出し、復号画像信号
重畳部114に供給する。復号画像信号重畳部114は、予測方法決定部107による決
定に応じた予測画像信号と逆量子化・逆直交変換部113で逆量子化及び逆直交変換され
た残差信号を重畳して復号画像を生成し、復号画像メモリ116に格納する。なお、復号
画像に対して符号化によるブロック歪等の歪を減少させるフィルタリング処理を施して、
復号画像メモリ116に格納されることもある。
The inverse quantization / inverse
It may be stored in the decoded
図2は図1の動画像符号化装置に対応した本発明の実施の形態に係る動画像復号装置の
構成を示すブロックである。実施の形態の動画像復号装置は、分離部201、第1符号化
ビット列復号部202、第2符号化ビット列復号部203、動きベクトル算出部204、
インター予測情報導出部205、動き補償予測部206、イントラ予測部207、逆量子
化・逆直交変換部208、復号画像信号重畳部209、符号化情報格納メモリ210、お
よび復号画像メモリ211を備える。
FIG. 2 is a block diagram showing the configuration of the moving picture decoding apparatus according to the embodiment of the present invention corresponding to the moving picture encoding apparatus of FIG. The moving picture decoding apparatus according to the embodiment includes a
An inter prediction
図2の動画像復号装置の復号処理は、図1の動画像符号化装置の内部に設けられている
復号処理に対応するものであるから、図2の動き補償予測部206、逆量子化・逆直交変
換部208、復号画像信号重畳部209、符号化情報格納メモリ210、および復号画像
メモリ211の各構成は、図1の動画像符号化装置の動き補償予測部105、逆量子化・
逆直交変換部113、復号画像信号重畳部114、符号化情報格納メモリ115、および
復号画像メモリ116の各構成とそれぞれ対応する機能を有する。
The decoding process of the moving picture decoding apparatus in FIG. 2 corresponds to the decoding process provided in the moving picture encoding apparatus in FIG. 1, so the motion
Each of the configurations of the inverse
分離部201に供給されるビットストリームは規定のシンタックスの規則に従って分離
し、分離された第1の符号化ビット列が第1符号化ビット列復号部202に供給され、第
2の符号化ビット列が第2符号化ビット列復号部203に供給される。
The bit stream supplied to the
第1符号化ビット列復号部202は、供給された符号化ビット列を復号して、シーケン
ス、ピクチャ、スライス、符号化ブロック単位の情報、及び、予測ブロック単位の符号化
情報を得る。具体的には、符号化ブロック単位でインター予測(PRED_INTER)かイントラ
予測(PRED_INTRA)かを判別する予測モードPredMode、分割モードPartMode、インター予
測(PRED_INTER)の場合、マージモードかどうかを判別するフラグ、マージモードの場合
はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクト
ルインデックス、差分動きベクトル等に関する符号化情報を後述する規定のシンタックス
規則に従って復号し、符号化情報を動きベクトル算出部204、インター予測情報導出部
205またはイントラ予測部207に供給する。
The first encoded bit
第2符号化ビット列復号部203は、供給された符号化ビット列を復号して直交変換・
量子化された残差信号を算出し、直交変換・量子化された残差信号を逆量子化・逆直交変
換部208に供給する。
The second encoded bit
The quantized residual signal is calculated, and the orthogonal transform / quantized residual signal is supplied to the inverse quantization / inverse
動きベクトル算出部204は、復号対象の予測ブロックの予測モードPredModeがインタ
ー予測(PRED_INTER)でマージモードでない時に、符号化情報格納メモリ210に記憶さ
れている既に復号された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補
を導出して後述する予測動きベクトルリストに登録し、予測動きベクトルリストに登録さ
れた複数の予測動きベクトルの候補の中から、第1符号化ビット列復号部202で復号さ
れ供給される予測動きベクトルインデックスに応じた予測動きベクトルを選択し、第1符
号化ビット列復号部202で復号された差分ベクトルと選択された予測動きベクトルから
動きベクトルを算出し、他の符号化情報とともに動き補償予測部206に供給するととも
に、符号化情報格納メモリ210に格納する。ここで供給・格納する予測ブロックの符号
化情報は、予測モードPredMode、分割モードPartMode、L0予測、及びL1予測を利用す
るかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、L0、L1の参照イ
ンデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、L0、L1の動きベクトルmvL0[xP][y
P], mvL1[xP][yP]等である。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素
の位置を示すインデックスである。予測モードPredModeがインター予測(MODE_INTER)で
、インター予測モードがL0予測(Pred_L0)の場合、L0予測を利用するかどうかを示
すフラグpredFlagL0は1, L1予測を利用するかどうかを示すフラグpredFlagL1は0であ
る。インター予測モードがL1予測(Pred_L1)の場合、L0予測を利用するかどうかを
示すフラグpredFlagL0は0, L1予測を利用するかどうかを示すフラグpredFlagL1は1で
ある。インター予測モードが双予測(Pred_BI)の場合、L0予測を利用するかどうかを
示すフラグpredFlagL0、L1予測を利用するかどうかを示すフラグpredFlagL1は共に1で
ある。
When the prediction mode PredMode of the prediction block to be decoded is inter prediction (PRED_INTER) and not the merge mode, the motion
P], mvL1 [xP] [yP], etc. Here, xP and yP are indexes indicating the position of the upper left pixel of the prediction block in the picture. When the prediction mode PredMode is inter prediction (MODE_INTER) and the inter prediction mode is L0 prediction (Pred_L0), the flag predFlagL0 indicating whether to use the L0 prediction is 1, and the flag predFlagL1 indicating whether to use the L1 prediction is 0. It is. When the inter prediction mode is L1 prediction (Pred_L1), the flag predFlagL0 indicating whether to use L0 prediction is 0, and the flag predFlagL1 indicating whether to use L1 prediction is 1. When the inter prediction mode is bi-prediction (Pred_BI), a flag predFlagL0 indicating whether to use L0 prediction and a flag predFlagL1 indicating whether to use L1 prediction are both 1.
インター予測情報導出部205は、復号対象の予測ブロックの予測モードPredModeがイ
ンター予測(PRED_INTER)でマージモードの時に、マージ候補を導出する。符号化情報格
納メモリ115に記憶されている既に復号された予測ブロックの符号化情報を用いて、複
数のマージの候補を導出して後述するマージ候補リストに登録し、マージ候補リストに登
録された複数のマージ候補の中から第1符号化ビット列復号部202で復号され供給され
るマージインデックスに対応したマージ候補を選択し、選択されたマージ候補のL0予測
、及びL1予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][y
P]、L0、L1の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、L0、L1の
動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報を動き補償予測部206
に供給するとともに、符号化情報格納メモリ210に格納する。ここで、xP、yPはピクチ
ャ内での予測ブロックの左上の画素の位置を示すインデックスである。インター予測情報
導出部205の詳細な構成と動作は後述する。
The inter prediction
Inter prediction of reference indices refIdxL0 [xP] [yP], refIdxL1 [xP] [yP] of P], L0, and L1, and motion vectors mvL0 [xP] [yP] and mvL1 [xP] [yP] of L0 and L1 The information is motion compensated
And stored in the encoded
動き補償予測部206は、動きベクトル算出部204またはインター予測情報導出部2
05で算出されたインター予測情報を用いて復号画像メモリ211に格納されている参照
ピクチャからインター予測(動き補償予測)により予測画像信号を生成し、予測画像信号
を復号画像信号重畳部209に供給する。なお、双予測(Pred_BI)の場合は、L0予測
、L1予測の2つの動き補償予測画像信号に適応的に重み係数を掛け算して重畳し、最終
的な予測画像信号を生成する。
The motion compensated
A predicted image signal is generated by inter prediction (motion compensation prediction) from a reference picture stored in the decoded
イントラ予測部207は、復号対象の予測ブロックの予測モードPredModeがイントラ予
測(PRED_INTRA)の時に、イントラ予測を行う。第1符号化ビット列復号部で復号された
符号化情報にはイントラ予測モードが含まれており、イントラ予測モードに応じて、復号
画像メモリ211に格納されている復号済みの画像信号からイントラ予測により予測画像
信号を生成し、予測画像信号を復号画像信号重畳部209に供給する。L0予測、及びL
1予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]を共に
0に設定し、符号化情報格納メモリ210に格納する。ここで、xP、yPはピクチャ内での
予測ブロックの左上の画素の位置を示すインデックスである。
The
Flags predFlagL0 [xP] [yP] and predFlagL1 [xP] [yP] indicating whether to use 1 prediction are both set to 0 and stored in the encoded
逆量子化・逆直交変換部208は、第1符号化ビット列復号部202で復号された直交
変換・量子化された残差信号に対して逆直交変換及び逆量子化を行い、逆直交変換・逆量
子化された残差信号を得る。
The inverse quantization / inverse
復号画像信号重畳部209は、動き補償予測部206でインター予測された予測画像信
号、またはイントラ予測部207でイントラ予測された予測画像信号と、逆量子化・逆直
交変換部208により逆直交変換・逆量子化された残差信号とを重畳することにより、復
号画像信号を復号し、復号画像メモリ211に格納する。復号画像メモリ211に格納す
る際には、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理
を施して、復号画像メモリ211に格納されることもある。
The decoded image
(シンタックスについて)
次に、本実施の形態に係る動きベクトルの予測方法を備える動画像符号化装置により符
号化され、復号装置により復号される動画像のビットストリームの符号化および復号の共
通規則であるシンタックスについて説明する。
(About syntax)
Next, a syntax that is a common rule for encoding and decoding a bit stream of a moving image that is encoded by a moving image encoding device including the motion vector prediction method according to the present embodiment and decoded by the decoding device explain.
図10は本実施の形態により生成されるビットストリームのスライス単位でスライスヘ
ッダーに記述される第1のシンタックス構造を示す。ただし、本実施の形態に関係のある
シンタックス要素のみを示している。スライスタイプがBスライスの場合は、時間方向の
予測動きベクトルの候補、またはマージ候補を導出する際に用いる異なる時間のピクチャ
colPicが処理対象の予測ブロックが含まれるピクチャのL0の参照リスト或いはL1の参
照リストのどちらに登録されている参照ピクチャを使用するかを示すフラグcollocated_f
rom_l0_flagが設置される。フラグcollocated_from_l0_flagの詳細については後述する。
FIG. 10 shows a first syntax structure described in the slice header in units of slices of the bitstream generated according to the present embodiment. However, only syntax elements relevant to the present embodiment are shown. When the slice type is a B slice, pictures at different times used when deriving candidate motion vectors or merge candidates in the temporal direction
A flag collocated_f indicating whether to use a reference picture registered in the L0 reference list or the L1 reference list of a picture including a prediction block to be processed by colPic
rom_l0_flag is set. Details of the flag collocated_from_l0_flag will be described later.
なお、以上のシンタックス要素はピクチャ単位で設定されるシンタックス要素を記述す
るピクチャ・パラメータ・セットに設置してもよい。
Note that the above syntax elements may be placed in a picture parameter set describing syntax elements set in units of pictures.
図11は予測ブロック単位に記述されるシンタックスパターンを示す。予測ブロックの
予測モードPredModeの値がインター予測(MODE_INTER)の場合、マージモードかどうかを
示すmerge_flag[x0][y0]が設置される。ここで、x0、y0は輝度信号のピクチャ内での予測
ブロックの左上の画素の位置を示すインデックスであり、merge_flag[x0][y0]はピクチャ
内の(x0, y0)に位置する予測ブロックのマージモードかどうかを示すフラグである。
FIG. 11 shows a syntax pattern described in units of prediction blocks. When the value of the prediction mode PredMode of the prediction block is inter prediction (MODE_INTER), merge_flag [x0] [y0] indicating whether the mode is the merge mode is set. Here, x0 and y0 are indices indicating the position of the upper left pixel of the prediction block in the picture of the luminance signal, and merge_flag [x0] [y0] is the prediction block located at (x0, y0) in the picture It is a flag indicating whether or not merge mode.
次に、merge_flag[x0][y0]が1の場合、マージモードであることを示し、参照するマー
ジ候補のリストであるマージリストのインデックスのシンタックス要素merge_idx[x0][y0
]が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示
すインデックスであり、merge_idx[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロ
ックのマージインデックスである。図12はマージインデックスのシンタックス要素merg
e_idx[x0][y0]のエントロピー符号の一例である。本発明の本実施の形態においてはマー
ジの候補数を5と設定する。マージインデックスが0, 1, 2, 3, 4の時、マージインデッ
クスのシンタックス要素merge_idx[x0][y0]の符号はそれぞれ'0'、'10'、'110'、'
1110'、'1111'となる。
Next, when merge_flag [x0] [y0] is 1, it indicates merge mode, and the merge list index syntax element merge_idx [x0] [y0, which is a list of merge candidates to be referred to
] Is installed. Here, x0 and y0 are indices indicating the position of the upper left pixel of the prediction block in the picture, and merge_idx [x0] [y0] is the merge index of the prediction block located at (x0, y0) in the picture. is there. Figure 12 shows the merge index syntax element merg
It is an example of an entropy code of e_idx [x0] [y0]. In the present embodiment of the present invention, the number of merge candidates is set to five. When the merge index is 0, 1, 2, 3, 4, the signs of the merge index syntax elements merge_idx [x0] [y0] are '0', '10', '110', '
1110 'and' 1111 '.
一方、merge_flag[x0][y0]が0の場合、マージモードでないことを示し、スライスタイ
プがBスライスの場合、インター予測モードを識別するシンタックス要素inter_pred_fla
g[x0][y0]が設置され、このシンタックス要素でL0予測(Pred_L0)、L1予測(Pred_L
1)、双予測(Pred_BI)を識別する。L0、L1ごとに、参照ピクチャを特定するための
参照インデックスのシンタックス要素ref_idx_l0[x0][y0]、ref_idx_l1[x0][y0]、動きベ
クトル検出にて求められた予測ブロックの動きベクトルと予測動きベクトルとの差分であ
る差分動きベクトルのシンタックス要素mvd_l0[x0][y0][j]、mvd_l1[x0][y0][j]が設置さ
れる。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデッ
クスであり、ref_idx_l0[x0][y0]、mvd_l0[x0][y0][j]はそれぞれピクチャ内の(x0, y0)
に位置する予測ブロックのL0の参照インデックス、及び差分動きベクトルであり、ref_
idx_l1[x0][y0]、mvd_l1[x0][y0][j]はそれぞれピクチャ内の(x0, y0)に位置する予測ブ
ロックのL1の参照インデックス、及び差分動きベクトルである。また、jは差分動きベ
クトルの成分を表し、jが0はx成分を、jが1はy成分を表す。次に、参照する予測動
きベクトルの候補のリストである予測動きベクトルリストのインデックスのシンタックス
要素mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]が設置される。ここで、x0、y0はピクチャ
内での予測ブロックの左上の画素の位置を示すインデックスであり、mvp_idx_l0[x0][y0]
、mvp_idx_l1[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのL0、L1の予
測動きベクトルインデックスである。本発明の本実施の形態においてはこれらの候補数の
値を2と設定する。
On the other hand, when merge_flag [x0] [y0] is 0, it indicates that the mode is not merge mode. When the slice type is B slice, a syntax element that identifies the inter prediction mode inter_pred_fla
g [x0] [y0] is installed, and L0 prediction (Pred_L0) and L1 prediction (Pred_L) using this syntax element
1) Identify bi-prediction (Pred_BI). For each of L0 and L1, syntax elements ref_idx_l0 [x0] [y0] and ref_idx_l1 [x0] [y0] of the reference index for specifying the reference picture, the motion vector and prediction of the prediction block obtained by motion vector detection The differential motion vector syntax elements mvd_l0 [x0] [y0] [j] and mvd_l1 [x0] [y0] [j], which are the differences from the motion vector, are provided. Here, x0 and y0 are indexes indicating the position of the upper left pixel of the prediction block in the picture, and ref_idx_l0 [x0] [y0] and mvd_l0 [x0] [y0] [j] are respectively (x0 , y0)
L0 reference index of the prediction block located at, and the differential motion vector, ref_
idx_l1 [x0] [y0] and mvd_l1 [x0] [y0] [j] are the L1 reference index and the differential motion vector of the prediction block located at (x0, y0) in the picture, respectively. Further, j represents a differential motion vector component, j represents 0 as an x component, and j represents 1 as a y component. Next, syntax elements mvp_idx_l0 [x0] [y0] and mvp_idx_l1 [x0] [y0] of an index of a predicted motion vector list that is a list of predicted motion vector candidates to be referred to are set. Here, x0 and y0 are indices indicating the position of the upper left pixel of the prediction block in the picture, and mvp_idx_l0 [x0] [y0]
, Mvp_idx_l1 [x0] [y0] are prediction motion vector indexes of L0 and L1 of the prediction block located at (x0, y0) in the picture. In the present embodiment of the present invention, the value of the number of candidates is set to 2.
実施の形態に係るインター予測情報導出方法は、図1の動画像符号化装置のインター予
測情報導出部104及び図2の動画像復号装置のインター予測情報導出部205において
実施される。
The inter prediction information deriving method according to the embodiment is implemented in the inter prediction
次に、実施の形態に係るインター予測情報導出方法を図面を用いて説明する。インター
予測情報導出方法は、符号化ブロックを構成する予測ブロック単位に、符号化及び復号の
処理の何れでも実施される。予測ブロックの予測モードPredModeがインター予測(MODE_I
NTER)で、マージモードの場合に、符号化の場合、符号化済みの予測ブロックの予測モー
ド、参照インデックス、動きベクトルを利用して符号化対象の予測ブロックの予測モード
、参照インデックス、動きベクトルを導出する際、復号の場合、復号済みの予測ブロック
の予測モード、参照インデックス、動きベクトルを利用して復号対象の予測ブロックの予
測モード、参照インデックス、動きベクトルを導出する際に実施される。
Next, the inter prediction information derivation method according to the embodiment will be described with reference to the drawings. The inter prediction information derivation method is performed in any of encoding and decoding processes for each prediction block constituting the encoding block. The prediction mode PredMode of the prediction block is inter prediction (MODE_I
NTER), in the merge mode, in the case of encoding, the prediction mode, reference index, and motion vector of the prediction block to be encoded are calculated using the prediction mode, reference index, and motion vector of the encoded prediction block. When deriving, decoding is performed when the prediction mode, reference index, and motion vector of the prediction block to be decoded are derived using the prediction mode, reference index, and motion vector of the decoded prediction block.
マージモードは図5、図6、図7及び図8を用いて説明した左に近接する予測ブロック
A、上に近接する予測ブロックB、右上に近接する予測ブロックC、左下に近接する予測
ブロックD、左上に近接する予測ブロックEの5つの予測ブロックに加えて、図9を用い
て説明した異なる時間の同一位置あるいはその付近に存在する予測ブロックCol(T0
、T1のいずれか)の予測ブロックからマージ候補を導出する。動画像符号化装置のイン
ター予測情報導出部104、及び動画像復号装置のインター予測情報導出部205はそれ
らのマージ候補を符号化側と復号側で共通の規定の順序でマージ候補リストに登録し、動
画像符号化装置のインター予測情報導出部104がマージ候補リストの要素を特定するマ
ージインデックスを決定して第1の符号化ビット列生成部を経由して符号化し、動画像復
号装置のインター予測情報導出部205は第1符号化ビット列復号部202で復号された
マージインデックスが供給されて、そのマージインデックスに応じた予測ブロックをマー
ジ候補リストから選択し、その選択されたマージ候補の予測モード、参照インデックス、
動きベクトル等のインター予測情報を用いて、動き補償予測を行う。
The merge mode is the prediction block A that is close to the left, the prediction block B that is close to the top, the prediction block C that is close to the top right, and the prediction block D that is close to the bottom left as described with reference to FIGS. In addition to the five prediction blocks of the prediction block E adjacent to the upper left, the prediction block Col (T0) existing at or near the same position at different times described with reference to FIG.
, T1)) from the prediction block. The inter prediction
Motion compensation prediction is performed using inter prediction information such as a motion vector.
図13は、図1の動画像符号化装置のインター予測情報導出部104の詳細な構成を示
す図である。また、図14は、図2の動画像復号装置のインター予測情報導出部205の
詳細な構成を示す図である。
FIG. 13 is a diagram illustrating a detailed configuration of the inter prediction
図13及び図14の太枠線で囲まれる部分はそれぞれ、動画像符号化装置のインター予
測情報導出部104及び動画像復号装置のインター予測情報導出部205を示している。
13 and FIG. 14 indicate the inter prediction
更に、それらの内部の太点線で囲まれる部分はそれぞれのマージ候補を導出してマージ
候補リストを構築する動画像符号化装置のマージ候補リストの構築部120及び動画像復
号装置のマージ候補リストの構築部220を示しており、実施の形態の動画像符号化装置
と対応する動画像復号装置にも同様に設置され、符号化と復号で矛盾しない同一の導出結
果を得られるようにしている。
Furthermore, the portions surrounded by the thick dotted lines inside them are the merge candidate list construction unit 120 of the moving picture coding apparatus that derives the respective merge candidates and constructs the merge candidate list, and the merge candidate list of the moving picture decoding apparatus. A construction unit 220 is shown, which is similarly installed in a moving picture decoding apparatus corresponding to the moving picture encoding apparatus of the embodiment, so that the same derivation result consistent with encoding and decoding can be obtained.
実施の形態に係るインター予測情報導出方法においては、動画像符号化装置のマージ候
補リストの構築部120及び動画像復号装置のマージ候補リストの構築部220でのマー
ジ候補導出及びマージ候補リスト構築処理において、処理対象となる予測ブロックを含む
符号化ブロックと同じ符号化ブロックに含まれる予測ブロックを参照せずに、処理対象の
予測ブロックのマージ候補導出及びマージ候補リスト構築処理を行うものとする。この様
にすることで、符号化ブロックの分割モード(PartMode)が、2N×2N分割(PART_2Nx
2N)でない場合、すなわち、符号化ブロック内に複数の予測ブロックが存在する場合に、
符号化側で符号化ブロック内でそれぞれの予測ブロックのマージ候補導出及びマージ候補
リストの構築処理を並列に処理することが可能となる。
In the inter prediction information derivation method according to the embodiment, merge candidate derivation and merge candidate list construction processing in the merge candidate list construction unit 120 of the video encoding device and the merge candidate list construction unit 220 of the video decoding device , Merging candidate derivation and merge candidate list construction processing of the prediction block to be processed are performed without referring to a prediction block included in the same encoding block as the encoding block including the prediction block to be processed. In this way, the coding block division mode (PartMode) is 2N × 2N division (PART_2Nx
2N), that is, when there are multiple prediction blocks in the encoded block,
On the encoding side, the merge candidate derivation of each prediction block and the merge candidate list construction process can be performed in parallel within the encoded block.
符号化ブロック内でのそれぞれの予測ブロックのマージ候補リストの構築の並列処理に
ついて、図15を用いて分割モード(PartMode)毎に説明する。図15は処理対象の符号
化ブロックの分割モード(PartMode)毎に処理対象の予測ブロックに近接する予測ブロッ
クを説明する図である。図15において、A0、B0、C0、D0、E0は分割インデッ
クスPartIdxが0の処理対象の予測ブロックのそれぞれ左側の辺に近接する予測ブロック
A、上側の辺に近接する予測ブロックB、右上の頂点に近接する予測ブロックC、左下の
頂点に近接する予測ブロックD、および左上の頂点に近接する予測ブロックEを示し、A
1、B1、C1、D1、E1は分割インデックスPartIdxが1の処理対象の予測ブロック
のそれぞれ左側の辺に近接する予測ブロックA、上側の辺に近接する予測ブロックB、右
上の頂点に近接する予測ブロックC、左下の頂点に近接する予測ブロックD、および左上
の頂点に近接する予測ブロックEを示し、A2、B2、C2、D2、E2は分割インデッ
クスPartIdxが2の処理対象の予測ブロックのそれぞれ左側の辺に近接する予測ブロック
A、上側の辺に近接する予測ブロックB、右上の頂点に近接する予測ブロックC、左下の
頂点に近接する予測ブロックD、および左上の頂点に近接する予測ブロックEを示し、A
3、B3、C3、D3、E3は分割インデックスPartIdxが3の処理対象の予測ブロック
のそれぞれ左側の辺に近接する予測ブロックA、上側の辺に近接する予測ブロックB、右
上の頂点に近接する予測ブロックC、左下の頂点に近接する予測ブロックD、および左上
の頂点に近接する予測ブロックEを示す。
The parallel processing for constructing the merge candidate list of each prediction block in the coding block will be described for each partition mode (PartMode) with reference to FIG. FIG. 15 is a diagram illustrating a prediction block that is close to a processing target prediction block for each division mode (PartMode) of the processing target coding block. In FIG. 15, A0, B0, C0, D0, and E0 are a prediction block A that is close to the left side of the prediction block to be processed whose partition index PartIdx is 0, a prediction block B that is close to the upper side, and a vertex at the upper right. Shows a prediction block C close to A, a prediction block D close to the bottom left vertex, and a prediction block E close to the top left vertex, A
1,
3, B3, C3, D3, and E3 are prediction blocks A that are close to the left side, prediction block B that is close to the upper side, and prediction that is close to the upper right vertex of the processing target prediction block whose partition index PartIdx is 3, respectively. A block C, a prediction block D close to the lower left vertex, and a prediction block E close to the upper left vertex are shown.
図15(b)、(c)、(d)は処理対象の符号化ブロックを上下に並ぶ2つの予測ブ
ロックに分割する分割モード(PartMode)が2N×N分割(PART_2NxN)、2N×nU分
割(PART_2NxnU)、2N×nD分割(PART_2NxnD)での近接する予測ブロックを示す図で
ある。PartIdxが1の処理対象の予測ブロックに近接する予測ブロックB1はPartIdxが0
の予測ブロックである。したがって、予測ブロックB1を参照して、PartIdxが1の予測
ブロックのマージ候補導出及びマージ候補リスト構築処理を行うには、予測ブロックB1
である同じ符号化ブロックに属するPartIdxが0の予測ブロックのマージ候補導出及びマ
ージ候補リスト構築処理が完了し、利用するマージ候補を特定した後でないと、処理を行
うことができない。したがって、実施の形態に係るインター予測情報導出方法においては
、分割モード(PartMode)が2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU
)、2N×nD分割(PART_2NxnD)で、処理対象の予測ブロックのPartIdxが1では、処
理対象の予測ブロックの上辺に近接し、処理対象の予測ブロックを含む符号化ブロックと
同じ符号化ブロックに含まれるPartIdxが0の予測ブロックである予測ブロックB1の符
号化情報を参照せずに、処理対象の予測ブロックを含む符号化ブロックと同じ符号化ブロ
ックに含まれない予測ブロックA1、C1、D1またはE1の符号化情報を参照してPart
Idxが1の予測ブロックのマージ候補導出及びマージ候補リストの構築処理を行うことに
より、符号化ブロック内の2つの予測ブロックのマージ候補導出及びマージ候補リストの
構築処理を並列に処理することが可能となる。
FIGS. 15B, 15C, and 15D show that the partition mode (PartMode) for dividing the encoded block to be processed into two prediction blocks arranged vertically is 2N × N partition (PART_2NxN), 2N × nU partition ( It is a figure which shows the prediction block which adjoins in PART_2NxnU) and 2NxnD division | segmentation (PART_2NxnD). Prediction block B1 close to the processing target prediction block with PartIdx of 1 has PartIdx of 0
Is a prediction block. Therefore, with reference to the prediction block B1, in order to perform merge candidate derivation and merge candidate list construction processing for a prediction block whose PartIdx is 1, the prediction block B1
After the merge candidate derivation and merge candidate list construction process for the prediction block with PartIdx of 0 belonging to the same encoded block is completed and the merge candidates to be used are specified, the process cannot be performed. Therefore, in the inter prediction information derivation method according to the embodiment, the partition mode (PartMode) is 2N × N partition (PART_2NxN), 2N × nU partition (PART_2NxnU)
) In 2N × nD partition (PART_2NxnD), when PartIdx of the processing target prediction block is 1, it is close to the upper side of the processing target prediction block and is included in the same coding block as the coding block including the processing target prediction block Prediction block A1, C1, D1, or E1 that is not included in the same encoding block as the encoding block that includes the prediction block to be processed without referring to the encoding information of the prediction block B1 that is the prediction block whose PartIdx is 0 Refer to the encoding information of Part
By performing merge candidate derivation and merge candidate list construction processing for a prediction block whose Idx is 1, merge candidate derivation and merge candidate list construction processing for two prediction blocks in an encoded block can be performed in parallel. It becomes.
図15(e)、(f)、(g)は処理対象の符号化ブロックを左右に並ぶ2つの予測ブ
ロックに分割するモードを示す分割モード(PartMode)がN×2N分割(PART_Nx2N)、
nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)での近接する予測ブロッ
クを示す図である。PartIdxが1の処理対象の予測ブロックに近接する予測ブロックA1
はPartIdxが0の予測ブロックである。したがって、予測ブロックA1を参照して、PartI
dxが1の予測ブロックのマージ候補導出及びマージ候補リスト構築処理を行うには、予測
ブロックA1である同じ符号化ブロックに属するPartIdxが0の予測ブロックのマージ候
補導出及びマージ候補リスト構築処理が完了し、利用するマージ候補を特定した後でない
と、処理を行うことができない。したがって、実施の形態に係るインター予測情報導出方
法においては、分割モード(PartMode)がN×2N分割(PART_Nx2N)、nL×2N分割
(PART_nLx2N)、nR×2N分割(PART_nRx2N)で、処理対象の予測ブロックのPartIdx
が1では、処理対象の予測ブロックの左辺に近接し、処理対象の予測ブロックを含む符号
化ブロックと同じ符号化ブロックに含まれるPartIdxが0の予測ブロックである予測ブロ
ックA1の符号化情報を参照せずに、処理対象の予測ブロックを含む符号化ブロックと同
じ符号化ブロックに含まれない予測ブロックB1、C1、D1またはE1の符号化情報を
参照してPartIdxが1の予測ブロックのマージ候補導出及びマージ候補リストの構築処理
を行うことにより、符号化ブロック内のそれぞれの予測ブロックのマージ候補導出及びマ
ージ候補リストの構築処理を並列に処理することが可能となる。
15 (e), (f), and (g) are N × 2N division (PART_Nx2N) in which a division mode (PartMode) indicating a mode in which a coding block to be processed is divided into two prediction blocks arranged on the left and right.
It is a figure which shows the prediction block which adjoins in nLx2N division | segmentation (PART_nLx2N) and nRx2N division | segmentation (PART_nRx2N). Prediction block A1 that is close to the prediction block to be processed whose PartIdx is 1
Is a prediction block whose PartIdx is 0. Therefore, referring to prediction block A1, PartI
In order to perform merge candidate derivation and merge candidate list construction processing for a prediction block with dx = 1, merge candidate derivation and merge candidate list construction processing for a prediction block with
Is 1, it is close to the left side of the prediction block to be processed, and refers to the encoding information of the prediction block A1 that is a prediction block in which the PartIdx is 0 included in the same encoding block as the encoding block including the prediction block to be processed Without reference to the encoding information of the prediction block B1, C1, D1, or E1 not included in the same encoding block as the encoding block including the prediction block to be processed, the merge candidate derivation of the prediction block of PartIdx = 1 By performing the merge candidate list construction process, the merge candidate derivation and merge candidate list construction process of each prediction block in the encoded block can be performed in parallel.
ここで、マージ候補導出及びマージ候補リストの構築処理の並列処理について説明する
。図16は順次処理によるマージ候補導出及びマージ候補リストの構築処理を説明するフ
ローチャートであり、図17は並列処理によるマージ候補導出及びマージ候補リストの構
築処理を説明するフローチャートである。
Here, parallel processing of merge candidate derivation and merge candidate list construction processing will be described. FIG. 16 is a flowchart for explaining merge candidate derivation and merge candidate list construction processing by sequential processing, and FIG. 17 is a flowchart for explaining merge candidate derivation and merge candidate list construction processing by parallel processing.
図16に示すマージ候補導出及びマージ候補リストの構築処理の順次処理において、処
理対象となる符号化ブロックの分割インデックスPartIdxが0の予測ブロックのマージ候
補の導出、及びマージ候補リストを構築する(ステップS101)。続いて、分割モード
(PartMode)が2N×2N分割(PART_2Nx2N)である場合(ステップS102のNO)、
本マージ候補導出及びマージ候補リストの構築処理を終了する。分割モード(PartMode)
が2N×2N分割(PART_2Nx2N)でない場合(ステップS102のNO)、すなわち、分
割モード(PartMode)が2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、
2N×nD分割(PART_2NxnD)、N×2N分割(PART_Nx2N)、nL×2N分割(PART_nL
x2N)、nR×2N分割(PART_nRx2N)の場合、処理対象となる符号化ブロックの分割イ
ンデックスPartIdxが1の予測ブロックのマージ候補の導出、及びマージ候補リストを構
築し(ステップS103)、本マージ候補導出及びマージ候補リストの構築処理を終了す
る。
In the sequential processing of merge candidate derivation and merge candidate list construction processing shown in FIG. 16, derivation of merge candidates of a prediction block whose partition index PartIdx of a coding block to be processed is 0 and construction of a merge candidate list (steps) S101). Subsequently, when the division mode (PartMode) is 2N × 2N division (PART_2Nx2N) (NO in step S102),
The merge candidate derivation and merge candidate list construction processing ends. Split mode (PartMode)
Is not 2N × 2N division (PART_2Nx2N) (NO in step S102), that is, the division mode (PartMode) is 2N × N division (PART_2NxN), 2N × nU division (PART_2NxnU),
2N × nD partition (PART_2NxnD), N × 2N partition (PART_Nx2N), nL × 2N partition (PART_nL)
x2N), nR × 2N partition (PART_nRx2N), a merge candidate derivation of a prediction block whose partition index PartIdx of the coding block to be processed is 1 and a merge candidate list are constructed (step S103). The derivation and merge candidate list construction process ends.
図17に示すマージ候補導出及びマージ候補リストの構築処理の並列処理において、処
理対象となる符号化ブロックの分割インデックスPartIdxが0の予測ブロックのマージ候
補の導出、及びマージ候補リストを構築する(ステップS101)。ステップS101と
並行して、分割モード(PartMode)が2N×2N分割(PART_2Nx2N)でない場合(ステッ
プS102のNO)、すなわち、分割モード(PartMode)が2N×N分割(PART_2NxN)
、2N×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)、N×2N分割(PART
_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)の場合、処理
対象となる符号化ブロックの分割インデックスPartIdxが1の予測ブロックのマージ候補
の導出、及びマージ候補リストを構築する(ステップS103)。
In the parallel processing of merge candidate derivation and merge candidate list construction processing shown in FIG. 17, the merge candidate derivation of the prediction block whose partition index PartIdx of the coding block to be processed is 0 and the merge candidate list are constructed (step) S101). In parallel with step S101, when the division mode (PartMode) is not 2N × 2N division (PART_2Nx2N) (NO in step S102), that is, the division mode (PartMode) is 2N × N division (PART_2NxN).
2N × nU partition (PART_2NxnU), 2N × nD partition (PART_2NxnD), N × 2N partition (PART
_Nx2N), nL × 2N partition (PART_nLx2N), and nR × 2N partition (PART_nRx2N), derivation of a merge block of a prediction block whose partition index PartIdx is 1 and build a merge candidate list (Step S103).
図17に示すマージ候補導出及びマージ候補リストの構築処理の並列処理においては、
分割モード(PartMode)が2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)
、2N×nD分割(PART_2NxnD)、N×2N分割(PART_Nx2N)、nL×2N分割(PART_
nLx2N)またはnR×2N分割(PART_nRx2N)の場合、同一符号化ブロック内のPartIdxが
0の予測ブロックを参照せずに、PartIdxが1の予測ブロックのマージ候補導出及びマー
ジ候補リストの構築処理を行うことにより、分割インデックスPartIdxが0と1の2つの
予測ブロックのマージ候補導出及びマージ候補リストの構築処理を同時に開始することが
可能となる。
In the parallel processing of merge candidate derivation and merge candidate list construction processing shown in FIG.
Partition mode (PartMode) is 2N × N partition (PART_2NxN), 2N × nU partition (PART_2NxnU)
2N × nD partition (PART_2NxnD), N × 2N partition (PART_Nx2N), nL × 2N partition (PART_
In the case of nLx2N) or nR × 2N partition (PART_nRx2N), the merge candidate derivation and merge candidate list construction processing of the prediction block with PartIdx of 1 is performed without referring to the prediction block with PartIdx of 0 in the same encoded block As a result, it is possible to simultaneously start merge candidate derivation and merge candidate list construction processing of two prediction blocks whose partition index PartIdx is 0 and 1.
図16に示すマージ候補導出及びマージ候補リストの構築処理の順次処理においても、
PartIdxが0の予測ブロックを参照せずに、PartIdxが1の予測ブロックのマージ候補導出
及びマージ候補リストの構築処理を行うことが可能である。
Also in the sequential processing of merge candidate derivation and merge candidate list construction processing shown in FIG.
It is possible to perform merge candidate derivation and merge candidate list construction processing for a prediction block whose PartIdx is 1 without referring to a prediction block whose PartIdx is 0.
また、本実施の形態においては、分割モード(PartMode)がN×N分割(PART_NxN)を
定義しないものとしているが、N×N分割(PART_NxN)を定義することもできる。図15
(h)は処理対象の符号化ブロックの輝度信号を上下左右に4分割して4つの予測ブロッ
クとした分割モード(PartMode)がN×N分割(PART_NxN)での近接する予測ブロックを
示す図である。PartIdxが1の処理対象の予測ブロックに近接する予測ブロックA1はPar
tIdxが0の予測ブロックである。したがって、予測ブロックA1を参照してPartIdxが1
の予測ブロックのマージ候補導出及びマージ候補リスト構築処理を行うには、予測ブロッ
クA1である同じ符号化ブロックに属するPartIdxが0の予測ブロックのマージ候補導出
及びマージ候補リスト構築処理が完了し、利用するマージ候補を特定した後でないと、処
理を行うことができない。したがって、実施の形態に係るインター予測情報導出方法にお
いては、分割モード(PartMode)がN×N分割(PART_NxN)で、処理対象の予測ブロック
のPartIdxが1では、PartIdxが0の予測ブロックである予測ブロックA1を参照せずに、
PartIdxが1の予測ブロックのマージ候補導出及びマージ候補リストの構築処理を行うこ
とにより、符号化ブロック内のそれぞれの予測ブロックのマージ候補導出及びマージ候補
リストの構築処理を並列に処理することが可能となる。PartIdxが2の処理対象の予測ブ
ロックに近接する予測ブロックB2はPartIdxが0の予測ブロックであり、予測ブロック
C2はPartIdxが1の予測ブロックである。したがって、予測ブロックB2及びC2を参
照してPartIdxが2の予測ブロックのマージ候補導出及びマージ候補リスト構築処理を行
うには、予測ブロックB2及びC2である同じ符号化ブロックに属するPartIdxが0及び
1の予測ブロックのマージ候補導出及びマージ候補リスト構築処理が完了し、利用するマ
ージ候補を特定した後でないと、処理を行うことができない。したがって、実施の形態に
係るインター予測情報導出方法においては、分割モード(PartMode)がN×N分割(PART
_NxN)で、処理対象の予測ブロックのPartIdxが2では、PartIdxが0及び1の予測ブロッ
クである予測ブロックB2及びC2を参照せずに、PartIdxが2の予測ブロックのマージ
候補導出及びマージ候補リストの構築処理を行うことにより、符号化ブロック内のそれぞ
れの予測ブロックのマージ候補導出及びマージ候補リストの構築処理を並列に処理するこ
とが可能となる。PartIdxが3の処理対象の予測ブロックに近接する予測ブロックE3はP
artIdxが0の予測ブロックであり、予測ブロックB3はPartIdxが1の予測ブロックであ
り、予測ブロックA3はPartIdxが2の予測ブロックである。したがって、予測ブロック
E3、B3及びA3を参照してPartIdxが3の予測ブロックのマージ候補導出及びマージ
候補リスト構築処理を行うには、予測ブロックE3、B3及びA3である同じ符号化ブロ
ックに属するPartIdxが0、1及び2の予測ブロックのマージ候補導出及びマージ候補リ
スト構築処理が完了し、利用するマージ候補を特定した後でないと、処理を行うことがで
きない。したがって、実施の形態に係るインター予測情報導出方法においては、分割モー
ド(PartMode)がN×N分割(PART_NxN)で、処理対象の予測ブロックのPartIdxが3で
は、PartIdxが0、1及び2の予測ブロックである予測ブロックE3、B3及びA3を参
照せずに、PartIdxが3の予測ブロックのマージ候補導出及びマージ候補リストの構築処
理を行うことにより、符号化ブロック内のそれぞれの予測ブロックのマージ候補導出及び
マージ候補リストの構築処理を並列に処理することが可能となる。
In this embodiment, the division mode (PartMode) does not define N × N division (PART_NxN), but N × N division (PART_NxN) can also be defined. FIG.
(H) is a diagram showing adjacent prediction blocks in which the division mode (PartMode) is divided into four prediction blocks by dividing the luminance signal of the coding block to be processed into four prediction blocks by N × N division (PART_NxN). is there. Prediction block A1 close to the processing target prediction block whose PartIdx is 1 is Par
This is a prediction block whose tIdx is 0. Therefore, with reference to the prediction block A1, PartIdx is 1
In order to perform the merge candidate derivation and merge candidate list construction processing of the prediction block, the merge candidate derivation and merge candidate list construction processing of the prediction block whose PartIdx is 0 belonging to the same coding block which is the prediction block A1 are completed and used. The process cannot be performed unless the merge candidate to be specified is specified. Therefore, in the inter prediction information derivation method according to the embodiment, the prediction is a prediction block in which the partition mode (PartMode) is N × N partition (PART_NxN), the processing target prediction block PartIdx is 1, and PartIdx is 0 Without referring to block A1,
By performing merge candidate derivation and merge candidate list construction processing for a prediction block whose PartIdx is 1, merge candidate derivation and merge candidate list construction processing for each prediction block in an encoded block can be performed in parallel. It becomes. A prediction block B2 adjacent to a processing target prediction block with PartIdx of 2 is a prediction block with PartIdx of 0, and a prediction block C2 is a prediction block of PartIdx with 1. Therefore, in order to perform merge candidate derivation and merge candidate list construction processing for a prediction block whose PartIdx is 2 with reference to the prediction blocks B2 and C2, the PartIdx belonging to the same coding block that is the prediction blocks B2 and C2 is 0 and 1 After the prediction block merge candidate derivation and merge candidate list construction processing are completed and the merge candidates to be used are specified, the processing cannot be performed. Therefore, in the inter prediction information derivation method according to the embodiment, the partition mode (PartMode) is N × N partition (PART
_NxN), when the processing target prediction block has PartIdx of 2, the prediction block B2 and C2 that are prediction blocks of PartIdx of 0 and 1 are not referred to, and merge candidate derivation and merge candidate list of prediction blocks of PartIdx of 2 are performed. By performing this construction process, it is possible to perform in parallel the merge candidate derivation and merge candidate list construction process for each prediction block in the encoded block. The prediction block E3 adjacent to the processing target prediction block whose PartIdx is 3 is P
ArtIdx is a prediction block with 0, prediction block B3 is a prediction block with PartIdx of 1, and prediction block A3 is a prediction block with PartIdx of 2. Accordingly, in order to perform merge candidate derivation and merge candidate list construction processing for a prediction block with PartIdx of 3 with reference to the prediction blocks E3, B3, and A3, PartIdx belonging to the same encoded block that is the prediction blocks E3, B3, and A3 If the merge candidate derivation and merge candidate list construction process for the prediction blocks of 0, 1, and 2 are completed and the merge candidates to be used are specified, the process cannot be performed. Therefore, in the inter prediction information derivation method according to the embodiment, when the partition mode (PartMode) is N × N partition (PART_NxN), and the PartIdx of the prediction block to be processed is 3, the prediction of PartIdx is 0, 1 and 2 By performing the merge candidate derivation of the prediction block with PartIdx of 3 and the construction of the merge candidate list without referring to the prediction blocks E3, B3, and A3 that are blocks, the merge candidate of each prediction block in the encoded block The derivation and merge candidate list construction processes can be processed in parallel.
図13の動画像符号化装置のインター予測情報導出部104は、空間マージ候補生成部
130、時間マージ候補の参照インデックス導出部131、時間マージ候補生成部132
、マージ候補登録部133、マージ候補同一判定部134、マージ候補補充部135、お
よび符号化情報選択部136を含む。
The inter prediction
, A merge
図14の動画像復号装置のインター予測情報導出部205は、空間マージ候補生成部2
30、時間マージ候補の参照インデックス導出部231、時間マージ候補生成部232、
マージ候補登録部233、マージ候補同一判定部234、マージ候補補充部235、およ
び符号化情報選択部236を含む。
The inter prediction
30, a time merge candidate reference
A merge
図18は本発明の実施の形態による動画像符号化装置のインター予測情報導出部104
及び動画像復号装置のインター予測情報導出部205とで共通する機能を有するマージ候
補の導出処理及びマージ候補リストの構築処理の手順を説明するフローチャートである。
以下、諸過程を順を追って説明する。なお、以下の説明においては特に断りのない限りス
ライスタイプslice_typeがBスライスの場合について説明するが、Pスライスの場合にも
適用できる。ただし、スライスタイプslice_typeがPスライスの場合、インター予測モー
ドとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予測(Pred_BI)が
ないので、L1に纏わる処理を省略することができる。
FIG. 18 shows an inter prediction
4 is a flowchart for explaining a procedure of merge candidate derivation processing and merge candidate list construction processing having functions common to the inter prediction
Hereinafter, the processes will be described in order. In the following description, a case where the slice type slice_type is a B slice will be described unless otherwise specified, but the present invention can also be applied to a P slice. However, when the slice type slice_type is a P slice, only the L0 prediction (Pred_L0) is provided as the inter prediction mode, and there is no L1 prediction (Pred_L1) and bi-prediction (Pred_BI). Therefore, the processing related to L1 can be omitted.
動画像符号化装置のインター予測情報導出部104の空間マージ候補生成部130及び
動画像復号装置のインター予測情報導出部205の空間マージ候補生成部230では、符
号化または復号対象ブロックに近接するそれぞれの予測ブロックA,B,C,D,Eから
の空間マージ候補A,B,C,D,Eを導出し、出力する。ここで、A,B,C,D,E
または時間マージ候補Colのいずれかを示すNを定義する。予測ブロックNのインター
予測情報が空間マージ候補Nとして利用できるかどうかを示すフラグavailableFlagN、空
間マージ候補NのL0の参照インデックスrefIdxL0N及びL1の参照インデックスrefIdxL
1N、L0予測が行われるかどうかを示すL0予測フラグpredFlagL0NおよびL1予測が行
われるかどうかを示すL1予測フラグpredFlagL1N、L0の動きベクトルmvL0N、L1の動
きベクトルmvL1Nを出力する(ステップS201)。ただし、本実施の形態においては処
理対象となる予測ブロックを含む符号化ブロックと同じ符号化ブロックに含まれる予測ブ
ロックを参照せずに、マージ候補を導出するので、処理対象の予測ブロックを含む符号化
ブロックと同じ符号化ブロックに含まれる空間マージ候補は導出しない。ステップS20
1の詳細な処理手順については図19のフローチャートを用いて後ほど詳細に説明する。
In the spatial merge
Alternatively, N indicating any of the time merge candidates Col is defined. A flag availableFlagN indicating whether or not the inter prediction information of the prediction block N can be used as a spatial merge candidate N, a reference index refIdxL0N of L0 of the spatial merge candidate N, and a reference index refIdxL of L1
The L0 prediction flag predFlagL0N indicating whether 1N and L0 prediction is performed, the L1 prediction flag predFlagL1N indicating whether L1 prediction is performed, the L0 motion vector mvL0N, and the L1 motion vector mvL1N are output (step S201). However, in the present embodiment, the merge candidate is derived without referring to the prediction block included in the same encoding block as the encoding block including the prediction block to be processed, so that the code including the prediction block to be processed Spatial merge candidates included in the same coding block as the coding block are not derived. Step S20
The detailed processing procedure of 1 will be described later in detail using the flowchart of FIG.
続いて、動画像符号化装置のインター予測情報導出部104の時間マージ候補の参照イ
ンデックス導出部131及び動画像復号装置のインター予測情報導出部205の時間マー
ジ候補の参照インデックス導出部231では、符号化または復号対象ブロックに近接する
予測ブロックから時間マージ候補の参照インデックスを導出して出力する(ステップS2
02)。ただし、本実施の形態においては処理対象となる予測ブロックを含む符号化ブロ
ックと同じ符号化ブロックに含まれる予測ブロックを参照せずに、時間マージ候補の参照
インデックスを導出する。スライスタイプslice_typeがPスライスで時間マージ候補のイ
ンター予測情報を用いてインター予測を行う場合は、L0予測(Pred_L0)を行うために
、L0の参照インデックスだけを導出し、スライスタイプslice_typeがBスライスで時間
マージ候補のインター予測情報を用いてインター予測を行う場合は、双予測(Pred_BI)
を行うために、L0とL1のそれぞれの参照インデックスを導出する。ステップS202
の詳細な処理手順については図21、図23、図25、図27、図29、図30、図32
のフローチャートを用いて後ほど詳細に説明する。
Subsequently, the temporal merge candidate reference
02). However, in the present embodiment, the reference index of the temporal merge candidate is derived without referring to the prediction block included in the same encoded block as the encoded block including the prediction block to be processed. When the inter prediction is performed using the inter prediction information of the temporal merge candidate when the slice type slice_type is P slice, only the L0 reference index is derived in order to perform the L0 prediction (Pred_L0), and the slice type slice_type is the B slice. Bi-prediction (Pred_BI) when performing inter prediction using inter prediction information of temporal merge candidates
In order to perform the above, the respective reference indexes of L0 and L1 are derived. Step S202
21, FIG. 23, FIG. 25, FIG. 27, FIG. 29, FIG. 30, and FIG.
This will be described in detail later using the flowchart.
続いて、動画像符号化装置のインター予測情報導出部104の時間マージ候補生成部1
32及び動画像復号装置のインター予測情報導出部205の時間マージ候補生成部232
では、異なる時間のピクチャからの時間マージ候補を導出し、時間マージ候補を出力する
。時間マージ候補が利用できるかどうかを示すフラグavailableFlagCol、時間マージ候補
のL0予測が行われるかどうかを示すL0予測フラグpredFlagL0ColおよびL1予測が行
われるかどうかを示すL1予測フラグpredFlagL1Col、及びL0の動きベクトルmvL0N、L
1の動きベクトルmvL1Nを出力する(ステップS203)。ステップS203の詳細な処
理手順については図34のフローチャートを用いて後ほど詳細に説明する。
Subsequently, the temporal merge
32 and the temporal merge
Then, temporal merge candidates are derived from pictures at different times, and temporal merge candidates are output. A flag availableFlagCol indicating whether a temporal merge candidate is available, an L0 prediction flag predFlagL0Col indicating whether L0 prediction of the temporal merge candidate is performed, an L1 prediction flag predFlagL1Col indicating whether L1 prediction is performed, and a motion vector of L0 mvL0N, L
1 motion vector mvL1N is output (step S203). The detailed processing procedure of step S203 will be described later in detail using the flowchart of FIG.
続いて、動画像符号化装置のインター予測情報導出部104のマージ候補登録部133
及び動画像復号装置のインター予測情報導出部205のマージ候補登録部233では、マ
ージ候補リストmergeCandListを作成し、マージ候補リストmergeCandListに空間マージ候
補A,B,C,D,E,および時間マージ候補Colを追加することで、マージ候補リス
トmergeCandListを構築し、マージ候補リストmergeCandListを出力する(ステップS20
4)。ステップS204の詳細な処理手順については図41のフローチャートを用いて後
ほど詳細に説明する。
Subsequently, the merge
The merge
4). The detailed processing procedure of step S204 will be described later in detail using the flowchart of FIG.
続いて、動画像符号化装置のインター予測情報導出部104のマージ候補同一判定部1
34及び動画像復号装置のインター予測情報導出部205のマージ候補同一判定部234
では、マージ候補リストmergeCandList内で、マージ候補が同じ参照インデックスの動き
ベクトルが同じ値を持っている場合に、最も小さい順番のマージ候補を除いてそのマージ
候補を取り除き、マージ候補リストmergeCandListを出力する(ステップS205)。
Subsequently, the merge candidate
34 and the merge candidate
Then, in the merge candidate list mergeCandList, when the motion vectors of the same reference index have the same value, the merge candidates are removed except for the merge candidate in the smallest order, and the merge candidate list mergeCandList is output. (Step S205).
続いて、動画像符号化装置のインター予測情報導出部104のマージ候補補充部135
及び動画像復号装置のインター予測情報導出部205のマージ候補補充部235では、マ
ージ候補リストmergeCandList内に登録されているマージ候補の数が規定数となるように
マージ候補を補充し、マージ候補リストmergeCandListを出力する(ステップS206)
。なお、本実施の形態ではマージ候補の数を5と規定する。マージ候補リストmergeCandL
ist内に登録されるマージ候補の数が5を上限として、すでに登録されているマージ候補
同士のL0予測とL1予測の組み合わせを変更した予測モードが双予測(Pred_BI)のマ
ージ候補や異なる参照インデックスで動きベクトルが(0,0)の値を持つ予測モードが
双予測(Pred_BI)のマージ候補を追加する。
Subsequently, the merge
The merge
. In the present embodiment, the number of merge candidates is defined as five. Merge candidate list mergeCandL
The prediction mode in which the combination of L0 prediction and L1 prediction between already registered merge candidates is changed up to 5 as the maximum number of merge candidates registered in ist is a bi-predictive (Pred_BI) merge candidate or a different reference index Then, a merge candidate in which the prediction mode having a motion vector value of (0, 0) is bi-prediction (Pred_BI) is added.
次に、図18のステップS201の処理手順である符号化または復号対象ブロックに近
接する予測ブロックNからのマージ候補Nの導出方法について詳細に説明する。図19は
図18のステップS201の空間マージ候補導出処理手順を説明するフローチャートであ
る。
Nには近接する予測ブロックの領域を表すA(左側)、B(上側)、C(右上)、D(左
下)またはE(左上)が入る。なお、本実施の形態においては、近接する5つの予測ブロ
ックから最大4つの空間マージ候補を導出する。
Next, a method for deriving the merge candidate N from the prediction block N adjacent to the encoding or decoding target block, which is the processing procedure of step S201 in FIG. 18, will be described in detail. FIG. 19 is a flowchart for describing the spatial merge candidate derivation processing procedure in step S201 of FIG.
In N, A (left side), B (upper side), C (upper right), D (lower left), or E (upper left) representing the region of the adjacent prediction block is entered. In this embodiment, a maximum of four spatial merge candidates are derived from five adjacent prediction blocks.
図18で、変数NをAとして符号化または復号対象の予測ブロックの左側に近接する予
測ブロックAの符号化情報を調べてマージ候補Aを導出し、変数NをBとして上側に近接
する予測ブロックBの符号化情報を調べてマージ候補Bを導出し、変数NをCとして右上
側に近接する予測ブロックCの符号化情報を調べてマージ候補Cを導出し、変数NをDと
して左下側に近接する予測ブロックDの符号化情報を調べてマージ候補Dを導出し、変数
NをEとして左上側に近接する予測ブロックEの符号化情報を調べてマージ候補Eを導出
する(ステップS1101〜ステップS1114)。
In FIG. 18, the encoding information of the prediction block A adjacent to the left side of the prediction block to be encoded or decoded is determined with the variable N as A to derive the merge candidate A, and the prediction block adjacent to the upper side with the variable N as B The encoding information of B is examined to derive the merge candidate B, the encoding information of the prediction block C adjacent to the upper right side is determined with the variable N as C, the merge candidate C is derived, and the variable N is set as D to the lower left side. The encoding information of the adjacent prediction block D is checked to derive the merge candidate D, and the variable N is set as E to check the encoding information of the prediction block E adjacent to the upper left side to derive the merge candidate E (step S1101 to step S1101). S1114).
まず、変数NがEで、フラグavailableFlagA, availableFlagB, availableFlagC, avai
lableFlagDの値を加算して合計が4の場合(ステップS1102のYES)、すなわち4
つの空間マージ候補が導出された場合、マージ候補EのフラグavailableFlagEを0に設定
し(ステップS1107)、マージ候補Eの動きベクトルmvL0E, mvL1Eの値を共に(0,
0)に設定し(ステップS1108)、マージ候補EのフラグpredFlagL0E、predFlagL1E
の値を共に0に設定し(ステップS1109)、本空間マージ候補導出処理を終了する。
本実施の形態においては、近接する予測ブロックから4つのマージ候補を導出するので、
既に4つの空間マージ候補が導出された場合はそれ以上の空間マージ候補の導出処理を行
う必要がない。
First, the variable N is E, and the flags availableFlagA, availableFlagB, availableFlagC, avai
When the value of lableFlagD is added and the total is 4 (YES in step S1102), that is, 4
When two spatial merge candidates are derived, the flag availableFlagE of the merge candidate E is set to 0 (step S1107), and the motion vectors mvL0E and mvL1E of the merge candidate E are both set to (0,
0) (step S1108) and flags predFlagL0E and predFlagL1E of merge candidate E
Both are set to 0 (step S1109), and the space merge candidate derivation process is terminated.
In this embodiment, four merge candidates are derived from adjacent prediction blocks.
When four spatial merge candidates have already been derived, it is not necessary to perform further spatial merge candidate derivation processing.
一方、変数NがEでないか、フラグavailableFlagA, availableFlagB, availableFlagC
, availableFlagDの値を加算して合計が4でない場合(ステップS1102のNO)、ス
テップS1103に進む。近接する予測ブロックNが導出対象の予測ブロックを含む符号
化ブロックと同じ符号化ブロックに含まれる場合(ステップS1103のYES)、マー
ジ候補NのフラグavailableFlagNの値を0に設定し(ステップS1107)、マージ候補
Nの動きベクトルmvL0N, mvL1Nの値を共に(0,0)に設定し(ステップS1108)、
マージ候補NのフラグpredFlagL0N、predFlagL1Nの値を共に0に設定する(ステップS1
109)。近接する予測ブロックNが導出対象の予測ブロックを含む符号化ブロックと同
じ符号化ブロックに含まれる場合(ステップS1103のYES)、近接する予測ブロッ
クNの符号化情報を参照せず、マージ候補NのフラグavailableFlagNの値を0に設定して
空間マージ候補としないことで、同じ符号化ブロック内のそれぞれの予測ブロックのマー
ジ候補導出及びマージ候補リストの構築処理の並列処理を可能とする。
On the other hand, the variable N is not E or the flags availableFlagA, availableFlagB, availableFlagC
, availableFlagD is added and the total is not 4 (NO in step S1102), the process proceeds to step S1103. When the adjacent prediction block N is included in the same encoding block as the encoding block including the prediction block to be derived (YES in step S1103), the value of the flag availableFlagN of the merge candidate N is set to 0 (step S1107). The values of the motion vectors mvL0N and mvL1N of the merge candidate N are both set to (0, 0) (step S1108)
The values of the merge candidate N flags predFlagL0N and predFlagL1N are both set to 0 (step S1).
109). When the adjacent prediction block N is included in the same encoding block as the encoding block including the prediction block to be derived (YES in step S1103), the encoding information of the adjacent prediction block N is not referred to, and the merge candidate N By setting the value of the flag availableFlagN to 0 and not making it a spatial merge candidate, parallel processing of merge candidate derivation and merge candidate list construction processing for each prediction block in the same coding block is enabled.
具体的には、分割モード(PartMode)が2N×N分割(PART_2NxN)、2N×nU分割
(PART_2NxnU)または2N×nD分割(PART_2NxnD)で、処理対象の予測ブロックのPart
Idxが1で、導出対象の予測ブロックの上辺に近接する予測ブロックBの場合が、近接す
る予測ブロックNが導出対象の予測ブロックを含む符号化ブロックと同じ符号化ブロック
に含まれる場合である。この場合、導出対象の予測ブロックの上辺に近接する予測ブロッ
クBは導出対象の予測ブロックを含む符号化ブロックと同じ符号化ブロックに含まれるPa
rtIdxが0の予測ブロックであるので、近接する予測ブロックBの符号化情報を参照せず
、マージ候補BのフラグavailableFlagBの値を0に設定して空間マージ候補としないこと
で、同じ符号化ブロック内のそれぞれの予測ブロックのマージ候補導出及びマージ候補リ
ストの構築処理の並列処理を可能とする。
Specifically, when the partition mode (PartMode) is 2N × N partition (PART_2NxN), 2N × nU partition (PART_2NxnU), or 2N × nD partition (PART_2NxnD), the part of the prediction block to be processed
A case where the prediction block B is Idx = 1 and is close to the upper side of the prediction block to be derived is a case where the adjacent prediction block N is included in the same encoding block as the encoding block including the prediction block to be derived. In this case, the prediction block B close to the upper side of the prediction block to be derived is included in the same encoding block as the encoding block including the prediction block to be derived.
Since the rtIdx is a prediction block of 0, the encoding information of the adjacent prediction block B is not referred to, and the value of the flag availableFlagB of the merge candidate B is set to 0 so that it does not become a spatial merge candidate. It is possible to perform parallel processing of merge candidate derivation and merge candidate list construction processing of each prediction block.
さらに、分割モード(PartMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PAR
T_nLx2N)またはnR×2N分割(PART_nRx2N)で、処理対象の予測ブロックのPartIdxが
1で、導出対象の予測ブロックの左辺に近接する予測ブロックAの場合も、近接する予測
ブロックNが導出対象の予測ブロックを含む符号化ブロックと同じ符号化ブロックに含ま
れる場合である。この場合も、導出対象の予測ブロックの左辺に近接する予測ブロックA
は導出対象の予測ブロックを含む符号化ブロックと同じ符号化ブロックに含まれるPartId
xが0の予測ブロックであるので、近接する予測ブロックAの符号化情報を参照せず、マ
ージ候補AのフラグavailableFlagAの値を0に設定して空間マージ候補としないことで、
同じ符号化ブロック内のそれぞれの予測ブロックのマージ候補導出及びマージ候補リスト
の構築処理の並列処理を可能とする。
Furthermore, the partition mode (PartMode) is N × 2N partition (PART_Nx2N), nL × 2N partition (PAR
T_nLx2N) or nR × 2N partition (PART_nRx2N), where the prediction block PartIdx is 1 and the prediction block A close to the left side of the prediction block to be derived is also the prediction block N to be derived This is a case where it is included in the same encoded block as the encoded block including the block. Also in this case, the prediction block A adjacent to the left side of the prediction block to be derived
Is the PartId included in the same coding block as the coding block containing the prediction block to be derived
Since x is a prediction block of 0, the encoding information of the adjacent prediction block A is not referred to, and the value of the flag availableFlagA of the merge candidate A is set to 0 so as not to be a spatial merge candidate.
It is possible to perform parallel processing of merge candidate derivation and merge candidate list construction processing for each prediction block in the same encoded block.
さらに、本実施の形態では定義しないが、分割モード(PartMode)がN×N分割(PART
_NxN)で、処理対象の予測ブロックのPartIdxが1、2または3の場合も、近接する予測
ブロックNが導出対象の予測ブロックを含む符号化ブロックと同じ符号化ブロックに含ま
れることがある。
Furthermore, although not defined in the present embodiment, the partition mode (PartMode) is N × N partition (PART
_NxN), and when the PartIdx of the prediction block to be processed is 1, 2 or 3, the adjacent prediction block N may be included in the same encoding block as the encoding block including the prediction block to be derived.
一方、近接する予測ブロックNが処理対象の予測ブロックを含む符号化ブロックと同じ
符号化ブロックに含まれない場合(ステップS1103のNO)、符号化または復号対象
の予測ブロックに近接する予測ブロックNを特定し、それぞれの予測ブロックNが利用で
きる場合は符号化情報格納メモリ115または210から予測ブロックNの符号化情報を
取得する(ステップS1104)。
On the other hand, when the adjacent prediction block N is not included in the same encoding block as the encoding block including the processing target prediction block (NO in step S1103), the prediction block N adjacent to the prediction block to be encoded or decoded is determined. If each prediction block N is specified, the encoding information of the prediction block N is acquired from the encoding
近接する予測ブロックNが利用できないか(ステップS1105のNO)、予測ブロッ
クNの予測モードPredModeがイントラ予測(MODE_INTRA)である場合(ステップS110
6のNO)、マージ候補NのフラグavailableFlagNの値を0に設定し(ステップS110
7)、マージ候補Nの動きベクトルmvL0N, mvL1Nの値を共に(0,0)に設定し(ステッ
プS1108)、マージ候補NのフラグpredFlagL0N、predFlagL1Nの値を共に0に設定す
る(ステップS1109)。ここで、近接する予測ブロックNが利用できない場合とは、
具体的には近接する予測ブロックNが符号化または復号対象スライスの外に位置する場合
や、まだ符号化または復号処理順序で後のため、符号化または復号処理が完了していない
場合等が該当する。
If the adjacent prediction block N cannot be used (NO in step S1105), or the prediction mode PredMode of the prediction block N is intra prediction (MODE_INTRA) (step S110).
6), the value of the flag availableFlagN of the merge candidate N is set to 0 (step S110).
7) The values of the motion vectors mvL0N and mvL1N of the merge candidate N are both set to (0, 0) (step S1108), and the values of the flags predFlagL0N and predFlagL1N of the merge candidate N are both set to 0 (step S1109). Here, the case where the adjacent prediction block N cannot be used is
Specifically, the case where the adjacent prediction block N is located outside the slice to be encoded or decoded, or the case where the encoding or decoding process has not been completed because it is later in the encoding or decoding process order, etc. To do.
一方、近接する予測ブロックNが導出対象の予測ブロックの符号化ブロックと同じ符号
化ブロック外か(ステップS1104のYES)、近接する予測ブロックNが利用でき(
ステップS1105のYES)、予測ブロックNの予測モードPredModeがイントラ予測(
MODE_INTRA)でない場合(ステップS1106のYES)、予測ブロックNのインター予
測情報をマージ候補Nのインター予測情報とする。マージ候補NのフラグavailableFlagN
の値を1に設定し(ステップS1110)、マージ候補Nの動きベクトルmvL0N, mvL1Nを
それぞれ予測ブロックNの動きベクトルmvL0N[xN][yN], mvL1N[xN][yN]と同じ値に設定し
(ステップS1111)、マージ候補Nの参照インデックスrefIdxL0N, refIdxL1Nをそれ
ぞれ予測ブロックNの参照インデックスrefIdxL0[xN][yN], refIdxL1[xN][yN]と同じ値に
設定し(ステップS1112)、マージ候補NのフラグpredFlagL0N, predFlagL1Nをそれ
ぞれ予測ブロックNのフラグpredFlagL0[xN][yN], predFlagL1[xN][yN]に設定する(ステ
ップS1113)。ここで、xN、yNはピクチャ内での予測ブロックNの左上の画素の位置
を示すインデックスである。
On the other hand, whether the adjacent prediction block N is outside the same encoding block as the encoding block of the prediction block to be derived (YES in step S1104), or the adjacent prediction block N can be used (
YES in step S1105), the prediction mode PredMode of the prediction block N is intra prediction (
If it is not (MODE_INTRA) (YES in step S1106), the inter prediction information of the prediction block N is set as the inter prediction information of the merge candidate N. Merge candidate N flag availableFlagN
Is set to 1 (step S1110), and the motion vectors mvL0N and mvL1N of the merge candidate N are set to the same values as the motion vectors mvL0N [xN] [yN] and mvL1N [xN] [yN] of the prediction block N, respectively. (Step S1111), the reference indexes refIdxL0N and refIdxL1N of the merge candidate N are set to the same values as the reference indexes refIdxL0 [xN] [yN] and refIdxL1 [xN] [yN] of the prediction block N, respectively (Step S1112). N flags predFlagL0N and predFlagL1N are set to flags predFlagL0 [xN] [yN] and predFlagL1 [xN] [yN] of the prediction block N, respectively (step S1113). Here, xN and yN are indexes indicating the position of the upper left pixel of the prediction block N in the picture.
以上のステップS1102〜ステップS1113の処理をN=A,B,C,D,Eにつ
いてそれぞれ繰り返す(ステップS1101〜ステップS1114)。
The processes in steps S1102 to S1113 are repeated for N = A, B, C, D, and E (steps S1101 to S1114).
次に、図18のS202の時間マージ候補の参照インデックスを導出する方法について
詳細に説明する。時間マージ候補のL0とL1のそれぞれの参照インデックスを導出する
。
Next, a method for deriving the reference index of the time merge candidate in S202 of FIG. 18 will be described in detail. The reference indices of L0 and L1 as temporal merge candidates are derived.
本実施の形態においては、空間マージ候補の参照インデックス、即ち符号化または復号
対象ブロックに近接する予測ブロックで利用された参照インデックスを利用して時間マー
ジ候補の参照インデックスを導出する。これは、時間マージ候補が選択される場合におい
て、符号化または復号対象の予測ブロックの参照インデックスは空間マージ候補となる符
号化または復号対象ブロックに近接する予測ブロックの参照インデックスと高い相関を持
つからである。特に、本実施の形態においては、後述する実施例6および実施例7を除い
て、導出対象の予測ブロックの左の辺に近接する予測ブロックA、または上の辺に近接す
る予測ブロックBの参照インデックスだけを利用する。なぜなら、空間マージ候補でもあ
る近接する予測ブロックA,B,C,D,Eの中でも符号化または復号対象の予測ブロッ
クの辺に接している予測ブロックA,Bは、符号化または復号対象の予測ブロックの頂点
のみに接している予測ブロックC,D,Eよりも相関が高いからである。相対的に相関の
低い予測ブロックC,D,Eを利用せずに、利用する予測ブロックを予測ブロックA,B
に限定することで、時間マージ候補の参照インデックスの導出による符号化効率の改善効
果を得るとともに、時間マージ候補の参照インデックス導出処理に関する演算量及びメモ
リアクセス量を削減する。
In the present embodiment, the reference index of the temporal merge candidate is derived using the reference index of the spatial merge candidate, that is, the reference index used in the prediction block adjacent to the encoding or decoding target block. This is because when the temporal merge candidate is selected, the reference index of the prediction block to be encoded or decoded has a high correlation with the reference index of the prediction block adjacent to the encoding or decoding target block to be the spatial merge candidate. It is. In particular, in the present embodiment, except for Example 6 and Example 7 described later, reference is made to the prediction block A that is close to the left side of the prediction block to be derived or the prediction block B that is close to the upper side. Use only the index. This is because the prediction blocks A and B that are in contact with the sides of the prediction block to be encoded or decoded among the adjacent prediction blocks A, B, C, D, and E that are also spatial merge candidates are predicted to be encoded or decoded. This is because the correlation is higher than prediction blocks C, D, and E that are in contact with only the vertices of the block. The prediction blocks to be used are the prediction blocks A and B without using the prediction blocks C, D and E having relatively low correlation.
By limiting to the above, it is possible to obtain an effect of improving the coding efficiency by deriving the reference index of the temporal merge candidate, and to reduce the amount of calculation and the memory access amount regarding the reference index deriving process of the temporal merge candidate.
実施例1
以下、本実施の形態をいくつかの実施例に分けて説明する。まず、本実施の形態の実施
例1について説明する。図20は本実施の形態の実施例1における時間マージ候補の参照
インデックスの導出処理において参照する近接ブロックを示す図である。本実施の形態の
実施例1では、分割モード(PartMode)に応じて、導出対象の予測ブロックの左辺に近接
する予測ブロックまたは上辺に近接する予測ブロックのどちらを参照するかを切り替える
。符号化ブロック外となる辺に近接する予測ブロックを参照する。分割モード(PartMode
)が2N×2N分割(PART_2Nx2N)では、図20(a)に示すように、導出対象の予測ブ
ロックの左に近接する予測ブロックA0を参照し、時間マージ候補のLXの参照インデッ
クスを予測ブロックA0のLXの参照インデックスの値に設定する。
Example 1
Hereinafter, this embodiment will be described by dividing it into several examples. First, Example 1 of the present embodiment will be described. FIG. 20 is a diagram illustrating adjacent blocks referred to in the time merge candidate reference index derivation process according to the first embodiment of the present embodiment. In Example 1 of the present embodiment, either the prediction block adjacent to the left side of the prediction block to be derived or the prediction block adjacent to the upper side is switched according to the division mode (PartMode). Reference is made to a prediction block close to a side outside the coding block. Split mode (PartMode
) Is 2N × 2N division (PART_2Nx2N), as shown in FIG. 20A, the prediction block A0 adjacent to the left of the prediction block to be derived is referred to, and the LX reference index of the temporal merge candidate is used as the prediction block A0. Set to the value of the LX reference index.
処理対象の符号化ブロックを上下に並ぶ2つの予測ブロックに分割する分割モード(Pa
rtMode)が2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分
割(PART_2NxnD)では、図20(b)、(c)、(d)に示すように、導出対象の予測ブ
ロックの左辺に近接する予測ブロックを参照し、それぞれの時間マージ候補のLXの参照
インデックスをそれぞれの導出対象の予測ブロックの左辺に近接する予測ブロックのLX
の参照インデックスの値に設定する。導出対象の分割インデックスPartIdxが0の予測ブ
ロックでは左に近接する予測ブロックA0を参照し、時間マージ候補のLXの参照インデ
ックスを予測ブロックA0のLXの参照インデックスの値に設定する。導出対象の分割イ
ンデックスPartIdxが1の予測ブロックでは左に近接する予測ブロックA1を参照し、時
間マージ候補のLXの参照インデックスを予測ブロックA1のLXの参照インデックスの
値に設定する。参照する予測ブロックA0、A1が共に符号化ブロック外にあるので、分
割インデックスPartIdxが0と1の2つの予測ブロックの時間マージ候補の参照インデッ
クスをそれぞれ並列に導出することができる。
A division mode (Pa) that divides a coding block to be processed into two prediction blocks arranged vertically.
When (rtMode) is 2N × N partition (PART_2NxN), 2N × nU partition (PART_2NxnU), and 2N × nD partition (PART_2NxnD), as shown in FIGS. The prediction block adjacent to the left side of the block is referred to, and the reference index of the LX of each temporal merge candidate is used as the LX of the prediction block adjacent to the left side of each prediction target prediction block.
Set to the reference index value of. In a prediction block whose partition index PartIdx to be derived is 0, the prediction block A0 adjacent to the left is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A0. In a prediction block whose division index PartIdx to be derived is 1, the prediction block A1 that is adjacent to the left is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A1. Since the prediction blocks A0 and A1 to be referred to are both outside the coding block, the reference indexes of the temporal merge candidates of the two prediction blocks whose division indexes PartIdx are 0 and 1 can be derived in parallel.
処理対象の符号化ブロックを左右に並ぶ2つの予測ブロックに分割する分割モード(Pa
rtMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分
割(PART_nRx2N)では、図20(e)、(f)、(g)に示すように、導出対象の予測ブ
ロックの上辺に近接する予測ブロックを参照し、それぞれの時間マージ候補のLXの参照
インデックスをそれぞれの導出対象の予測ブロックの上辺に近接する予測ブロックのLX
の参照インデックスの値に設定する。導出対象の分割インデックスPartIdxが0の予測ブ
ロックでは上に近接する予測ブロックB0を参照し、時間マージ候補のLXの参照インデ
ックスを予測ブロックB0、B1のLXの参照インデックスの値に設定する。導出対象の
分割インデックスPartIdxが1の予測ブロックでは上に近接する予測ブロックB1を参照
し、時間マージ候補のLXの参照インデックスを予測ブロックB1のLXの参照インデッ
クスの値に設定する。参照する予測ブロックB0、B1が共に符号化ブロック外にあるの
で、分割インデックスPartIdxが0と1の2つの予測ブロックの時間マージ候補の参照イ
ンデックスをそれぞれ並列に導出することができる。
A split mode (Pa
rtMode) is N × 2N partition (PART_Nx2N), nL × 2N partition (PART_nLx2N), and nR × 2N partition (PART_nRx2N), as shown in FIGS. 20 (e), (f), and (g), The prediction block adjacent to the upper side of the block is referred to, and the reference index of the LX of each temporal merge candidate is used as the LX of the prediction block adjacent to the upper side of each prediction target prediction block.
Set to the reference index value of. In the prediction block whose partition index PartIdx to be derived is 0, the prediction block B0 that is close to the top is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction blocks B0 and B1. In a prediction block whose partition index PartIdx to be derived is 1, the prediction block B1 that is close to the top is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block B1. Since the prediction blocks B0 and B1 to be referred to are both outside the coding block, the reference indexes of the temporal merge candidates of the two prediction blocks whose division indexes PartIdx are 0 and 1 can be derived in parallel.
ただし、近接する予測ブロックA、予測ブロックBがLX予測を行わない場合は時間マ
ージ候補のLXの参照インデックスの値をデフォルト値の0とする。近接する予測ブロッ
クA、予測ブロックBがLX予測を行わない場合に時間マージ候補のLXの参照インデッ
クスのデフォルト値を0とする理由は、インター予測において参照インデックスの値が0
に対応する参照ピクチャが最も選択される確率が高いからである。ただし、これに限定さ
れず、参照インデックスのデフォルト値を0以外の値(1、2など)としても良いし、シ
ーケンスレベル、ピクチャレベル、またはスライスレベルで符号化ストリーム内に参照イ
ンデックスのデフォルト値を示すシンタックス要素を設置し伝送できるようにして、符号
化側で選択できるようにしても良い。
However, when the adjacent prediction block A and prediction block B do not perform LX prediction, the reference index value of the LX that is a temporal merge candidate is set to 0 as the default value. When the adjacent prediction block A and prediction block B do not perform LX prediction, the default value of the reference index of the temporal merge candidate LX is set to 0 because the value of the reference index is 0 in inter prediction.
This is because the probability that the reference picture corresponding to is most selected is high. However, the present invention is not limited to this, and the default value of the reference index may be a value other than 0 (1, 2, etc.), and the default value of the reference index may be set in the encoded stream at the sequence level, picture level, or slice level. The syntax element shown may be installed and transmitted so that it can be selected on the encoding side.
図21は本実施の形態の実施例1の方法による図18のステップS202の時間マージ
候補の参照インデックスの導出処理手順を説明するフローチャートである。まず、分割モ
ード(PartMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR
×2N分割(PART_nRx2N)でない場合(ステップS2101のNO)、即ち2N×2N分
割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N
×nD分割(PART_2NxnD)である場合、符号化情報格納メモリ115または210から左
に近接する予測ブロックAの符号化情報を取得する(ステップS2111)。
FIG. 21 is a flow chart for explaining the procedure for deriving the reference index of the time merge candidate in step S202 of FIG. 18 by the method of Example 1 of the present embodiment. First, the partition mode (PartMode) is N × 2N partition (PART_Nx2N), nL × 2N partition (PART_nLx2N), nR
When it is not × 2N division (PART_nRx2N) (NO in step S2101), that is, 2N × 2N division (PART_2Nx2N), 2N × N division (PART_2NxN), 2N × nU division (PART_2NxnU), 2N
In the case of × nD division (PART_2NxnD), the encoding information of the prediction block A adjacent to the left is acquired from the encoding
続くステップS2113からステップS2115までの処理をL0、L1それぞれにお
いて行う(ステップS2112〜S2116)。なお、時間マージ候補のL0の参照イン
デックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際
にはLXはL1に設定される。ただし、スライスタイプslice_typeがPスライスの場合、
インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予
測(Pred_BI)がないので、L1に纏わる処理を省略することができる。
The subsequent processing from step S2113 to step S2115 is performed in each of L0 and L1 (steps S2112 to S2116). Note that LX is set to L0 when deriving the L0 reference index of the temporal merge candidate, and LX is set to L1 when deriving the L1 reference index. However, if the slice type slice_type is P slice,
Since there is only L0 prediction (Pred_L0) as the inter prediction mode and no L1 prediction (Pred_L1) and bi-prediction (Pred_BI), the processing associated with L1 can be omitted.
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0でない
場合(ステップS2113のYES)、時間マージ候補のLXの参照インデックスrefIdx
LXColを予測ブロックAのLXの参照インデックスrefIdxLX[xA][yA]の値と同じ値に設定
する(ステップS2114)。ここで、xA、yAはピクチャ内での予測ブロックAの左上の
画素の位置を示すインデックスである。
When the flag predFlagLX [xA] [yA] indicating whether to perform LX prediction of the prediction block A is not 0 (YES in step S2113), the reference index refIdx of the LX as a temporal merge candidate
LXCol is set to the same value as the value of the reference index refIdxLX [xA] [yA] of the LX of the prediction block A (step S2114). Here, xA and yA are indexes indicating the position of the upper left pixel of the prediction block A in the picture.
なお、本実施の形態においては、予測ブロックN(N=A,B)において、予測ブロッ
クNが符号化または復号対象のスライス外で利用できない場合や予測ブロックNが符号化
または復号順序で符号化または復号対象の予測ブロックよりも後のために符号化または復
号されておらず利用できない場合や予測ブロックNの予測モードPredModeがイントラ予測
(MODE_INTRA)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、
予測ブロックNのL1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は共に0
である。ここで、xN、yNはピクチャ内での予測ブロックNの左上の画素の位置を示すイン
デックスである。予測ブロックNの予測モードPredModeがインター予測(MODE_INTER)で
、インター予測モードがL0予測(Pred_L0)の場合、予測ブロックNのL0予測を利用
するかどうかを示すフラグpredFlagL0[xN][yN]は1, L1予測を利用するかどうかを示す
フラグpredFlagL1[xN][yN]は0である。予測ブロックNのインター予測モードがL1予測
(Pred_L1)の場合、予測ブロックNのL0予測を利用するかどうかを示すフラグpredFla
gL0[xN][yN]は0, L1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は1で
ある。予測ブロックNのインター予測モードが双予測(Pred_BI)の場合、予測ブロック
NのL0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、L1予測を利用する
かどうかを示すフラグpredFlagL1[xN][yN]は共に1である。
In the present embodiment, in the prediction block N (N = A, B), when the prediction block N cannot be used outside the slice to be encoded or decoded, the prediction block N is encoded or encoded in the decoding order. Alternatively, a flag indicating whether or not to use L0 prediction when the encoding block is not encoded or decoded after the decoding target prediction block and cannot be used, or when the prediction mode PredMode of the prediction block N is intra prediction (MODE_INTRA). predFlagL0 [xN] [yN],
Flags predFlagL1 [xN] [yN] indicating whether to use the L1 prediction of the prediction block N are both 0
It is. Here, xN and yN are indexes indicating the position of the upper left pixel of the prediction block N in the picture. When the prediction mode PredMode of the prediction block N is inter prediction (MODE_INTER) and the inter prediction mode is L0 prediction (Pred_L0), the flag predFlagL0 [xN] [yN] indicating whether to use the L0 prediction of the prediction block N is 1 , Flag predFlagL1 [xN] [yN] indicating whether to use L1 prediction is zero. When the inter prediction mode of the prediction block N is L1 prediction (Pred_L1), a flag predFla indicating whether to use the L0 prediction of the prediction block N
gL0 [xN] [yN] is 0, and flag predFlagL1 [xN] [yN] indicating whether to use L1 prediction is 1. When the inter prediction mode of the prediction block N is bi-prediction (Pred_BI), a flag predFlagL0 [xN] [yN] indicating whether to use the L0 prediction of the prediction block N, and a flag predFlagL1 [indicating whether to use the L1 prediction xN] [yN] are both 1.
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0である
場合(ステップS2113のNO)、時間マージ候補のLXの参照インデックスrefIdxLX
Colをデフォルト値の0に設定する(ステップS2115)。
When the flag predFlagLX [xA] [yA] indicating whether or not to perform LX prediction of the prediction block A is 0 (NO in step S2113), the reference index refIdxLX of the LX as a temporal merge candidate
Col is set to a default value of 0 (step S2115).
L0、L1それぞれにおいてステップS2113からステップS2115までの処理を
行い(ステップS2112〜S2116)、本参照インデックス導出処理を終了する。
The processing from step S2113 to step S2115 is performed in each of L0 and L1 (steps S2112 to S2116), and this reference index derivation processing is terminated.
一方、分割モード(PartMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PART_
nLx2N)、nR×2N分割(PART_nRx2N)の場合(ステップS2101のYES)、符号
化情報格納メモリ115または210から導出対象の予測ブロックの上に近接する予測ブ
ロックBの符号化情報を取得する(ステップS2117)。
On the other hand, the partition mode (PartMode) is N × 2N partition (PART_Nx2N), nL × 2N partition (PART_
In the case of nLx2N) and nR × 2N division (PART_nRx2N) (YES in step S2101), the coding information of the prediction block B adjacent to the prediction block to be derived is acquired from the coding
続くステップS2119からステップS2121までの処理をL0、L1それぞれにお
いて行う(ステップS2118〜S2122)。なお、時間マージ候補のL0の参照イン
デックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際
にはLXはL1に設定される。ただし、スライスタイプslice_typeがPスライスの場合、
インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予
測(Pred_BI)がないので、L1に纏わる処理を省略することができる。
The subsequent processing from step S2119 to step S2121 is performed in each of L0 and L1 (steps S2118 to S2122). Note that LX is set to L0 when deriving the L0 reference index of the temporal merge candidate, and LX is set to L1 when deriving the L1 reference index. However, if the slice type slice_type is P slice,
Since there is only L0 prediction (Pred_L0) as the inter prediction mode and no L1 prediction (Pred_L1) and bi-prediction (Pred_BI), the processing associated with L1 can be omitted.
予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が0でない
場合(ステップS2119のYES)、時間マージ候補のLXの参照インデックスrefIdx
LXColを予測ブロックBのLXの参照インデックスrefIdxLX[xB][yB]の値と同じ値に設定
する(ステップS2120)。ここで、xB、yBはピクチャ内での予測ブロックBの左上の
画素の位置を示すインデックスである。
If the flag predFlagLX [xB] [yB] indicating whether to perform LX prediction of the prediction block B is not 0 (YES in step S2119), the LX reference index refIdx of the temporal merge candidate
LXCol is set to the same value as the reference index refIdxLX [xB] [yB] of the LX of the prediction block B (step S2120). Here, xB and yB are indexes indicating the position of the upper left pixel of the prediction block B in the picture.
予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が0である
場合(ステップS2119のNO)、時間マージ候補のLXの参照インデックスrefIdxLX
Colをデフォルト値の0に設定する(ステップS2121)。
When the flag predFlagLX [xB] [yB] indicating whether to perform LX prediction of the prediction block B is 0 (NO in step S2119), the LX reference index refIdxLX of the temporal merge candidate
Col is set to a default value of 0 (step S2121).
L0、L1それぞれにおいてステップS2119からステップS2121までの処理を
行い(ステップS2118〜S2122)、本参照インデックス導出処理を終了する。
The processing from step S2119 to step S2121 is performed in each of L0 and L1 (steps S2118 to S2122), and this reference index derivation processing is terminated.
実施例2
次に、本実施の形態の実施例2について説明する。図22は本実施の形態の実施例2に
おける時間マージ候補の参照インデックスの導出処理において参照する近接ブロックを示
す図である。本実施の形態の実施例2では、符号化ブロックの分割モード(PartMode)と
予測ブロックの分割インデックスPartIdxに応じて、導出対象の予測ブロックの左辺に近
接する予測ブロックまたは上辺に近接する予測ブロックのどちらを参照するかを切り替え
る。符号化ブロック外となる辺に近接する予測ブロックを参照する。分割モード(PartMo
de)が2N×2N分割(PART_2Nx2N)では、図22(a)に示すように、導出対象の予測
ブロックの左に近接する予測ブロックA0を参照し、時間マージ候補のLXの参照インデ
ックスを予測ブロックA0のLXの参照インデックスの値に設定する。
Example 2
Next, Example 2 of the present embodiment will be described. FIG. 22 is a diagram illustrating neighboring blocks referred to in the time merge candidate reference index derivation process according to the second example of the present embodiment. In Example 2 of the present embodiment, the prediction block close to the left side of the prediction block to be derived or the prediction block close to the upper side is determined according to the partition mode (PartMode) of the encoded block and the partition index PartIdx of the prediction block. Switch which one to reference. Reference is made to a prediction block close to a side outside the coding block. Split mode (PartMo
When de) is 2N × 2N division (PART_2Nx2N), as shown in FIG. 22A, the prediction block A0 adjacent to the left of the prediction block to be derived is referred to, and the LX reference index of the temporal merge candidate is used as the prediction block. Set to the value of the LX reference index of A0.
処理対象の符号化ブロックを上下に並ぶ2つの予測ブロックに分割する分割モード(Pa
rtMode)が2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分
割(PART_2NxnD)では、図22(b)、(c)、(d)に示すように、導出対象の予測ブ
ロックの左辺に近接する予測ブロックを参照し、それぞれの時間マージ候補のLXの参照
インデックスをそれぞれの導出対象の予測ブロックの左辺に近接する予測ブロックのLX
の参照インデックスの値に設定する。導出対象の分割インデックスPartIdxが0の予測ブ
ロックでは左に近接する予測ブロックA0を参照し、時間マージ候補のLXの参照インデ
ックスを予測ブロックA0のLXの参照インデックスの値に設定する。導出対象の分割イ
ンデックスPartIdxが1の予測ブロックでは左に近接する予測ブロックA1を参照し、時
間マージ候補のLXの参照インデックスを予測ブロックA1のLXの参照インデックスの
値に設定する。参照する予測ブロックA0、A1が共に符号化ブロック外にあるので、分
割インデックスPartIdxが0と1の2つの予測ブロックの時間マージ候補の参照インデッ
クスをそれぞれ並列に導出することができる。
A division mode (Pa) that divides a coding block to be processed into two prediction blocks arranged vertically.
When (rtMode) is 2N × N partition (PART_2NxN), 2N × nU partition (PART_2NxnU), and 2N × nD partition (PART_2NxnD), as shown in FIGS. The prediction block adjacent to the left side of the block is referred to, and the LX reference index of each temporal merge candidate is used as the LX of the prediction block adjacent to the left side of each prediction target prediction block.
Set to the reference index value of. In a prediction block whose partition index PartIdx to be derived is 0, the prediction block A0 adjacent to the left is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A0. In a prediction block whose division index PartIdx to be derived is 1, the prediction block A1 that is adjacent to the left is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A1. Since the prediction blocks A0 and A1 to be referred to are both outside the coding block, the reference indexes of the temporal merge candidates of the two prediction blocks whose division indexes PartIdx are 0 and 1 can be derived in parallel.
処理対象の符号化ブロックを左右に並ぶ2つの予測ブロックに分割する分割モード(Pa
rtMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分
割(PART_nRx2N)では、図22(e)、(f)、(g)に示すように、導出対象の分割イ
ンデックスPartIdxが0の予測ブロックでは左に近接する予測ブロックA0を参照し、時
間マージ候補のLXの参照インデックスを予測ブロックA0のLXの参照インデックスの
値に設定する。導出対象の分割インデックスPartIdxが1の予測ブロックでは上に近接す
る予測ブロックB1を参照し、時間マージ候補のLXの参照インデックスを予測ブロック
B1のLXの参照インデックスの値に設定する。参照する予測ブロックA0、B1が共に
符号化ブロック外にあるので、分割インデックスPartIdxが0と1の2つの予測ブロック
の時間マージ候補の参照インデックスをそれぞれ並列に導出することができる。
A split mode (Pa
rtMode) is N × 2N partition (PART_Nx2N), nL × 2N partition (PART_nLx2N), and nR × 2N partition (PART_nRx2N), as shown in FIGS. 22 (e), (f), and (g) In a prediction block with an index PartIdx of 0, the prediction block A0 adjacent to the left is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A0. In a prediction block whose partition index PartIdx to be derived is 1, the prediction block B1 that is close to the top is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block B1. Since the prediction blocks A0 and B1 to be referred to are both outside the coding block, the reference indexes of the temporal merge candidates of the two prediction blocks having the division indexes PartIdx of 0 and 1 can be derived in parallel.
ただし、近接する予測ブロックA、予測ブロックBがLX予測を行わない場合は時間マ
ージ候補のLXの参照インデックスの値をデフォルト値の0とする。近接する予測ブロッ
クA、予測ブロックBがLX予測を行わない場合に時間マージ候補のLXの参照インデッ
クスのデフォルト値を0とする理由は、インター予測において参照インデックスの値が0
に対応する参照ピクチャが最も選択される確率が高いからである。ただし、これに限定さ
れず、参照インデックスのデフォルト値を0以外の値(1、2など)としても良いし、シ
ーケンスレベル、ピクチャレベル、またはスライスレベルで符号化ストリーム内に参照イ
ンデックスのデフォルト値を示すシンタックス要素を設置し伝送できるようにして、符号
化側で選択できるようにしても良い。
However, when the adjacent prediction block A and prediction block B do not perform LX prediction, the reference index value of the LX that is a temporal merge candidate is set to 0 as the default value. When the adjacent prediction block A and prediction block B do not perform LX prediction, the default value of the reference index of the temporal merge candidate LX is set to 0 because the value of the reference index is 0 in inter prediction.
This is because the probability that the reference picture corresponding to is most selected is high. However, the present invention is not limited to this, and the default value of the reference index may be a value other than 0 (1, 2, etc.), and the default value of the reference index may be set in the encoded stream at the sequence level, picture level, or slice level. The syntax element shown may be installed and transmitted so that it can be selected on the encoding side.
図23は本実施の形態の実施例2の方法による図18のステップS202の時間マージ
候補の参照インデックスの導出処理手順を説明するフローチャートである。まず、分割モ
ード(PartMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR
×2N分割(PART_nRx2N)で分割インデックスPartIdxが1でない場合(ステップS21
02のNO)、即ち2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N
×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)であるか、N×2N分割(PA
RT_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)で分割イン
デックスPartIdxが0である場合、符号化情報格納メモリ115または210から導出対
象の予測ブロックの左に近接する予測ブロックAの符号化情報を取得する(ステップS2
111)。
FIG. 23 is a flow chart for explaining the procedure for deriving the reference index of the time merge candidate in step S202 of FIG. 18 by the method of Example 2 of the present embodiment. First, the partition mode (PartMode) is N × 2N partition (PART_Nx2N), nL × 2N partition (PART_nLx2N), nR
When × 2N partition (PART_nRx2N) and partition index PartIdx is not 1 (step S21)
02 NO), that is, 2N × 2N division (PART_2Nx2N), 2N × N division (PART_2NxN), 2N
× nU partition (PART_2NxnU), 2N × nD partition (PART_2NxnD) or N × 2N partition (PA
RT_Nx2N), nL × 2N partition (PART_nLx2N), nR × 2N partition (PART_nRx2N), and when the partition index PartIdx is 0, the prediction block A close to the left of the prediction block to be derived from the encoded
111).
続くステップS2113からステップS2115までの処理をL0、L1それぞれにお
いて行う(ステップS2112〜S2116)。なお、時間マージ候補のL0の参照イン
デックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際
にはLXはL1に設定される。ただし、スライスタイプslice_typeがPスライスの場合、
インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予
測(Pred_BI)がないので、L1に纏わる処理を省略することができる。
The subsequent processing from step S2113 to step S2115 is performed in each of L0 and L1 (steps S2112 to S2116). Note that LX is set to L0 when deriving the L0 reference index of the temporal merge candidate, and LX is set to L1 when deriving the L1 reference index. However, if the slice type slice_type is P slice,
Since there is only L0 prediction (Pred_L0) as the inter prediction mode and no L1 prediction (Pred_L1) and bi-prediction (Pred_BI), the processing associated with L1 can be omitted.
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0でない
場合(ステップS2113のYES)、時間マージ候補のLXの参照インデックスrefIdx
LXColを予測ブロックAのLXの参照インデックスrefIdxLX[xA][yA]の値と同じ値に設定
する(ステップS2114)。ここで、xA、yAはピクチャ内での予測ブロックAの左上の
画素の位置を示すインデックスである。
When the flag predFlagLX [xA] [yA] indicating whether to perform LX prediction of the prediction block A is not 0 (YES in step S2113), the reference index refIdx of the LX as a temporal merge candidate
LXCol is set to the same value as the value of the reference index refIdxLX [xA] [yA] of the LX of the prediction block A (step S2114). Here, xA and yA are indexes indicating the position of the upper left pixel of the prediction block A in the picture.
なお、本実施の形態においては、予測ブロックN(N=A,B)において、予測ブロッ
クNが符号化または復号対象のスライス外で利用できない場合や予測ブロックNが符号化
または復号順序で符号化または復号対象の予測ブロックよりも後のために符号化または復
号されておらず利用できない場合や予測ブロックNの予測モードPredModeがイントラ予測
(MODE_INTRA)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、
予測ブロックNのL1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は共に0
である。ここで、xN、yNはピクチャ内での予測ブロックNの左上の画素の位置を示すイン
デックスである。予測ブロックNの予測モードPredModeがインター予測(MODE_INTER)で
、インター予測モードがL0予測(Pred_L0)の場合、予測ブロックNのL0予測を利用
するかどうかを示すフラグpredFlagL0[xN][yN]は1, L1予測を利用するかどうかを示す
フラグpredFlagL1[xN][yN]は0である。予測ブロックNのインター予測モードがL1予測
(Pred_L1)の場合、予測ブロックNのL0予測を利用するかどうかを示すフラグpredFla
gL0[xN][yN]は0, L1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は1で
ある。予測ブロックNのインター予測モードが双予測(Pred_BI)の場合、予測ブロック
NのL0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、L1予測を利用する
かどうかを示すフラグpredFlagL1[xN][yN]は共に1である。
In the present embodiment, in the prediction block N (N = A, B), when the prediction block N cannot be used outside the slice to be encoded or decoded, the prediction block N is encoded or encoded in the decoding order. Alternatively, a flag indicating whether or not to use L0 prediction when the encoding block is not encoded or decoded after the decoding target prediction block and cannot be used, or when the prediction mode PredMode of the prediction block N is intra prediction (MODE_INTRA). predFlagL0 [xN] [yN],
Flags predFlagL1 [xN] [yN] indicating whether to use the L1 prediction of the prediction block N are both 0
It is. Here, xN and yN are indexes indicating the position of the upper left pixel of the prediction block N in the picture. When the prediction mode PredMode of the prediction block N is inter prediction (MODE_INTER) and the inter prediction mode is L0 prediction (Pred_L0), the flag predFlagL0 [xN] [yN] indicating whether to use the L0 prediction of the prediction block N is 1 , Flag predFlagL1 [xN] [yN] indicating whether to use L1 prediction is zero. When the inter prediction mode of the prediction block N is L1 prediction (Pred_L1), a flag predFla indicating whether to use the L0 prediction of the prediction block N
gL0 [xN] [yN] is 0, and flag predFlagL1 [xN] [yN] indicating whether to use L1 prediction is 1. When the inter prediction mode of the prediction block N is bi-prediction (Pred_BI), a flag predFlagL0 [xN] [yN] indicating whether to use the L0 prediction of the prediction block N, and a flag predFlagL1 [indicating whether to use the L1 prediction xN] [yN] are both 1.
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0である
場合(ステップS2113のNO)、時間マージ候補のLXの参照インデックスrefIdxLX
Colをデフォルト値の0に設定する(ステップS2115)。
When the flag predFlagLX [xA] [yA] indicating whether or not to perform LX prediction of the prediction block A is 0 (NO in step S2113), the reference index refIdxLX of the LX as a temporal merge candidate
Col is set to a default value of 0 (step S2115).
L0、L1それぞれにおいてステップS2113からステップS2115までの処理を
行い(ステップS2112〜S2116)、本参照インデックス導出処理を終了する。
The processing from step S2113 to step S2115 is performed in each of L0 and L1 (steps S2112 to S2116), and this reference index derivation processing is terminated.
一方、分割モード(PartMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PART_
nLx2N)、nR×2N分割(PART_nRx2N)で分割インデックスPartIdxが1である場合(ス
テップS2102のYES)、符号化情報格納メモリ115または210から導出対象の
予測ブロックの上に近接する予測ブロックBの符号化情報を取得する(ステップS211
7)。
On the other hand, the partition mode (PartMode) is N × 2N partition (PART_Nx2N), nL × 2N partition (PART_
nLx2N), nR × 2N partition (PART_nRx2N), and when the partition index PartIdx is 1 (YES in step S2102), the code of the prediction block B adjacent to the prediction block to be derived from the encoded
7).
続くステップS2119からステップS2121までの処理をL0、L1それぞれにお
いて行う(ステップS2118〜S2122)。なお、時間マージ候補のL0の参照イン
デックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際
にはLXはL1に設定される。ただし、スライスタイプslice_typeがPスライスの場合、
インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予
測(Pred_BI)がないので、L1に纏わる処理を省略することができる。
The subsequent processing from step S2119 to step S2121 is performed in each of L0 and L1 (steps S2118 to S2122). Note that LX is set to L0 when deriving the L0 reference index of the temporal merge candidate, and LX is set to L1 when deriving the L1 reference index. However, if the slice type slice_type is P slice,
Since there is only L0 prediction (Pred_L0) as the inter prediction mode and no L1 prediction (Pred_L1) and bi-prediction (Pred_BI), the processing associated with L1 can be omitted.
予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が0でない
場合(ステップS2119のYES)、時間マージ候補のLXの参照インデックスrefIdx
LXColを予測ブロックBのLXの参照インデックスrefIdxLX[xB][yB]の値と同じ値に設定
する(ステップS2120)。ここで、xB、yBはピクチャ内での予測ブロックBの左上の
画素の位置を示すインデックスである。
If the flag predFlagLX [xB] [yB] indicating whether to perform LX prediction of the prediction block B is not 0 (YES in step S2119), the LX reference index refIdx of the temporal merge candidate
LXCol is set to the same value as the reference index refIdxLX [xB] [yB] of the LX of the prediction block B (step S2120). Here, xB and yB are indexes indicating the position of the upper left pixel of the prediction block B in the picture.
予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が0である
場合(ステップS2119のNO)、時間マージ候補のLXの参照インデックスrefIdxLX
Colをデフォルト値の0に設定する(ステップS2121)。
When the flag predFlagLX [xB] [yB] indicating whether to perform LX prediction of the prediction block B is 0 (NO in step S2119), the LX reference index refIdxLX of the temporal merge candidate
Col is set to a default value of 0 (step S2121).
L0、L1それぞれにおいてステップS2119からステップS2121までの処理を
行い(ステップS2118〜S2122)、本参照インデックス導出処理を終了する。
The processing from step S2119 to step S2121 is performed in each of L0 and L1 (steps S2118 to S2122), and this reference index derivation processing is terminated.
実施例3
次に、本実施の形態の実施例3について説明する。図24は本実施の形態の実施例3に
おける時間マージ候補の参照インデックスの導出処理において参照する近接ブロックを示
す図である。本実施の形態の実施例3では、符号化ブロックの分割モード(PartMode)と
予測ブロックの分割インデックスPartIdxに応じて、導出対象の予測ブロックの左辺に近
接する予測ブロックまたは上辺に近接する予測ブロックのどちらを参照するかを切り替え
る。分割インデックスPartIdxが0の予測ブロックでは、より高い相関を持つ長い辺に近
接する予測ブロックを参照し、分割インデックスPartIdxが1の予測ブロックでは、符号
化ブロック外となる辺に近接する予測ブロックを参照する。分割モード(PartMode)が2
N×2N分割(PART_2Nx2N)では、図24(a)に示すように、導出対象の予測ブロック
の左に近接する予測ブロックA0を参照し、時間マージ候補のLXの参照インデックスを
予測ブロックA0のLXの参照インデックスの値に設定する。
Example 3
Next, Example 3 of the present embodiment will be described. FIG. 24 is a diagram illustrating neighboring blocks referred to in the time merge candidate reference index derivation process according to the third example of the present embodiment. In Example 3 of the present embodiment, the prediction block close to the left side of the prediction block to be derived or the prediction block close to the upper side is determined according to the partition mode (PartMode) of the encoded block and the partition index PartIdx of the prediction block. Switch which one to reference. For a prediction block with a partition index PartIdx of 0, refer to a prediction block close to a long side having higher correlation, and for a prediction block with a partition index PartIdx of 1, refer to a prediction block close to a side outside the coding block To do. Split mode (PartMode) is 2
In the N × 2N division (PART_2Nx2N), as shown in FIG. 24A, the prediction block A0 adjacent to the left of the prediction block to be derived is referred to, and the LX reference index of the prediction block A0 is used as the reference index of the temporal merge candidate LX. Set to the reference index value of.
処理対象の符号化ブロックを上下に並ぶ2つの予測ブロックに分割する分割モード(Pa
rtMode)が2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分
割(PART_2NxnD)では、図24(b)、(c)、(d)に示すように、導出対象の分割イ
ンデックスPartIdxが0の予測ブロックでは長い辺である上辺に近接する予測ブロックB
0を参照し、時間マージ候補のLXの参照インデックスを予測ブロックB0のLXの参照
インデックスの値に設定する。導出対象の分割インデックスPartIdxが1の予測ブロック
では符号化ブロック外となる左辺に近接する予測ブロックA1を参照し、時間マージ候補
のLXの参照インデックスを予測ブロックA1のLXの参照インデックスの値に設定する
。参照する予測ブロックB0、A1が共に符号化ブロック外にあるので、分割インデック
スPartIdxが0と1の2つの予測ブロックの時間マージ候補の参照インデックスをそれぞ
れ並列に導出することができる。
A division mode (Pa) that divides a coding block to be processed into two prediction blocks arranged vertically.
When (rtMode) is 2N × N division (PART_2NxN), 2N × nU division (PART_2NxnU), and 2N × nD division (PART_2NxnD), as shown in FIGS. 24B, 24C, 24D, the derivation target division Prediction block B close to the upper side, which is a long side, in the prediction block whose index PartIdx is 0
With reference to 0, the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block B0. In the prediction block whose partition index PartIdx is 1 to be derived, the prediction block A1 close to the left side outside the coding block is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A1. To do. Since the prediction blocks B0 and A1 to be referred to are both outside the encoded block, the reference indexes of the temporal merge candidates of the two prediction blocks whose division indexes PartIdx are 0 and 1 can be derived in parallel.
処理対象の符号化ブロックを左右に並ぶ2つの予測ブロックに分割する分割モード(Pa
rtMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分
割(PART_nRx2N)では、図24(e)、(f)、(g)に示すように、導出対象の分割イ
ンデックスPartIdxが0の予測ブロックでは長い辺である左辺に近接する予測ブロックA
0を参照し、時間マージ候補のLXの参照インデックスを予測ブロックA0のLXの参照
インデックスの値に設定する。導出対象の分割インデックスPartIdxが1の予測ブロック
では符号化ブロック外となる上辺に近接する予測ブロックB1を参照し、時間マージ候補
のLXの参照インデックスを予測ブロックB1のLXの参照インデックスの値に設定する
。参照する予測ブロックA0、B1が共に符号化ブロック外にあるので、分割インデック
スPartIdxが0と1の2つの予測ブロックの時間マージ候補の参照インデックスをそれぞ
れ並列に導出することができる。
A split mode (Pa
rtMode) is N × 2N partition (PART_Nx2N), nL × 2N partition (PART_nLx2N), and nR × 2N partition (PART_nRx2N), as shown in FIGS. 24 (e), (f), and (g) Prediction block A close to the left side, which is the long side, in the prediction block with index PartIdx of 0
With reference to 0, the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A0. In the prediction block whose partition index PartIdx is 1 to be derived, the prediction block B1 close to the upper side outside the coding block is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block B1. To do. Since the prediction blocks A0 and B1 to be referred to are both outside the coding block, the reference indexes of the temporal merge candidates of the two prediction blocks having the division indexes PartIdx of 0 and 1 can be derived in parallel.
ただし、近接する予測ブロックA、予測ブロックBがLX予測を行わない場合は時間マ
ージ候補のLXの参照インデックスの値をデフォルト値の0とする。近接する予測ブロッ
クA、予測ブロックBがLX予測を行わない場合に時間マージ候補のLXの参照インデッ
クスのデフォルト値を0とする理由は、インター予測において参照インデックスの値が0
に対応する参照ピクチャが最も選択される確率が高いからである。ただし、これに限定さ
れず、参照インデックスのデフォルト値を0以外の値(1、2など)としても良いし、シ
ーケンスレベル、ピクチャレベル、またはスライスレベルで符号化ストリーム内に参照イ
ンデックスのデフォルト値を示すシンタックス要素を設置し伝送できるようにして、符号
化側で選択できるようにしても良い。
However, when the adjacent prediction block A and prediction block B do not perform LX prediction, the reference index value of the LX that is a temporal merge candidate is set to 0 as the default value. When the adjacent prediction block A and prediction block B do not perform LX prediction, the default value of the reference index of the temporal merge candidate LX is set to 0 because the value of the reference index is 0 in inter prediction.
This is because the probability that the reference picture corresponding to is most selected is high. However, the present invention is not limited to this, and the default value of the reference index may be a value other than 0 (1, 2, etc.), and the default value of the reference index may be set in the encoded stream at the sequence level, picture level, or slice level. The syntax element shown may be installed and transmitted so that it can be selected on the encoding side.
図25は本実施の形態の実施例3の方法による図18のステップS202の時間マージ
候補の参照インデックスの導出処理手順を説明するフローチャートである。まず、分割モ
ード(PartMode)が2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N
×nD分割(PART_2NxnD)で分割インデックスPartIdxが0でなく、N×2N分割(PART_
Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)で分割インデッ
クスPartIdxが1でない場合(ステップS2103のNO)、即ち2N×2N分割(PART_
2Nx2N)であるか、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×
nD分割(PART_2NxnD)で分割インデックスPartIdxが0であるか、N×2N分割(PART_
Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)で分割インデッ
クスPartIdxが0である場合、符号化情報格納メモリ115または210から導出対象の
予測ブロックの左に近接する予測ブロックAの符号化情報を取得する(ステップS211
1)。
FIG. 25 is a flow chart for explaining the procedure for deriving the reference index of the time merge candidate in step S202 of FIG. 18 according to the method of Example 3 of the present embodiment. First, the partition mode (PartMode) is 2N × N partition (PART_2NxN), 2N × nU partition (PART_2NxnU), 2N
× nD partition (PART_2NxnD) and partition index PartIdx is not 0, but N × 2N partition (PART_
Nx2N), nL × 2N partition (PART_nLx2N), nR × 2N partition (PART_nRx2N) and the partition index PartIdx is not 1 (NO in step S2103), that is, 2N × 2N partition (PART_
2N × 2N) or 2N × N partition (PART_2NxN), 2N × nU partition (PART_2NxnU), 2N ×
In nD partition (PART_2NxnD), the partition index PartIdx is 0 or N × 2N partition (PART_
Nx2N), nL × 2N partition (PART_nLx2N), nR × 2N partition (PART_nRx2N), and when the partition index PartIdx is 0, the prediction block A close to the left of the prediction block to be derived from the encoded
1).
続くステップS2113からステップS2115までの処理をL0、L1それぞれにお
いて行う(ステップS2112〜S2116)。なお、時間マージ候補のL0の参照イン
デックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際
にはLXはL1に設定される。ただし、スライスタイプslice_typeがPスライスの場合、
インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予
測(Pred_BI)がないので、L1に纏わる処理を省略することができる。
The subsequent processing from step S2113 to step S2115 is performed in each of L0 and L1 (steps S2112 to S2116). Note that LX is set to L0 when deriving the L0 reference index of the temporal merge candidate, and LX is set to L1 when deriving the L1 reference index. However, if the slice type slice_type is P slice,
Since there is only L0 prediction (Pred_L0) as the inter prediction mode and no L1 prediction (Pred_L1) and bi-prediction (Pred_BI), the processing associated with L1 can be omitted.
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0でない
場合(ステップS2113のYES)、時間マージ候補のLXの参照インデックスrefIdx
LXColを予測ブロックAのLXの参照インデックスrefIdxLX[xA][yA]の値と同じ値に設定
する(ステップS2114)。ここで、xA、yAはピクチャ内での予測ブロックAの左上の
画素の位置を示すインデックスである。
When the flag predFlagLX [xA] [yA] indicating whether to perform LX prediction of the prediction block A is not 0 (YES in step S2113), the reference index refIdx of the LX as a temporal merge candidate
LXCol is set to the same value as the value of the reference index refIdxLX [xA] [yA] of the LX of the prediction block A (step S2114). Here, xA and yA are indexes indicating the position of the upper left pixel of the prediction block A in the picture.
なお、本実施の形態においては、予測ブロックN(N=A,B)において、予測ブロッ
クNが符号化または復号対象のスライス外で利用できない場合や予測ブロックNが符号化
または復号順序で符号化または復号対象の予測ブロックよりも後のために符号化または復
号されておらず利用できない場合や予測ブロックNの予測モードPredModeがイントラ予測
(MODE_INTRA)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、
予測ブロックNのL1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は共に0
である。ここで、xN、yNはピクチャ内での予測ブロックNの左上の画素の位置を示すイン
デックスである。予測ブロックNの予測モードPredModeがインター予測(MODE_INTER)で
、インター予測モードがL0予測(Pred_L0)の場合、予測ブロックNのL0予測を利用
するかどうかを示すフラグpredFlagL0[xN][yN]は1, L1予測を利用するかどうかを示す
フラグpredFlagL1[xN][yN]は0である。予測ブロックNのインター予測モードがL1予測
(Pred_L1)の場合、予測ブロックNのL0予測を利用するかどうかを示すフラグpredFla
gL0[xN][yN]は0, L1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は1で
ある。予測ブロックNのインター予測モードが双予測(Pred_BI)の場合、予測ブロック
NのL0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、L1予測を利用する
かどうかを示すフラグpredFlagL1[xN][yN]は共に1である。
In the present embodiment, in the prediction block N (N = A, B), when the prediction block N cannot be used outside the slice to be encoded or decoded, the prediction block N is encoded or encoded in the decoding order. Alternatively, a flag indicating whether or not to use L0 prediction when the encoding block is not encoded or decoded after the decoding target prediction block and cannot be used, or when the prediction mode PredMode of the prediction block N is intra prediction (MODE_INTRA). predFlagL0 [xN] [yN],
Flags predFlagL1 [xN] [yN] indicating whether to use the L1 prediction of the prediction block N are both 0
It is. Here, xN and yN are indexes indicating the position of the upper left pixel of the prediction block N in the picture. When the prediction mode PredMode of the prediction block N is inter prediction (MODE_INTER) and the inter prediction mode is L0 prediction (Pred_L0), the flag predFlagL0 [xN] [yN] indicating whether to use the L0 prediction of the prediction block N is 1 , Flag predFlagL1 [xN] [yN] indicating whether to use L1 prediction is zero. When the inter prediction mode of the prediction block N is L1 prediction (Pred_L1), a flag predFla indicating whether to use the L0 prediction of the prediction block N
gL0 [xN] [yN] is 0, and flag predFlagL1 [xN] [yN] indicating whether to use L1 prediction is 1. When the inter prediction mode of the prediction block N is bi-prediction (Pred_BI), a flag predFlagL0 [xN] [yN] indicating whether to use the L0 prediction of the prediction block N, and a flag predFlagL1 [indicating whether to use the L1 prediction xN] [yN] are both 1.
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0である
場合(ステップS2113のNO)、時間マージ候補のLXの参照インデックスrefIdxLX
Colをデフォルト値の0に設定する(ステップS2115)。
When the flag predFlagLX [xA] [yA] indicating whether or not to perform LX prediction of the prediction block A is 0 (NO in step S2113), the reference index refIdxLX of the LX as a temporal merge candidate
Col is set to a default value of 0 (step S2115).
L0、L1それぞれにおいてステップS2113からステップS2115までの処理を
行い(ステップS2112〜S2116)、本参照インデックス導出処理を終了する。
The processing from step S2113 to step S2115 is performed in each of L0 and L1 (steps S2112 to S2116), and this reference index derivation processing is terminated.
一方、分割モード(PartMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PART_
nLx2N)、nR×2N分割(PART_nRx2N)で分割インデックスPartIdxが1である場合(ス
テップS2102のYES)、符号化情報格納メモリ115または210から導出対象の
予測ブロックの上に近接する予測ブロックBの符号化情報を取得する(ステップS211
7)。
On the other hand, the partition mode (PartMode) is N × 2N partition (PART_Nx2N), nL × 2N partition (PART_
nLx2N), nR × 2N partition (PART_nRx2N), and when the partition index PartIdx is 1 (YES in step S2102), the code of the prediction block B adjacent to the prediction block to be derived from the encoded
7).
続くステップS2119からステップS2121までの処理をL0、L1それぞれにお
いて行う(ステップS2118〜S2122)。なお、時間マージ候補のL0の参照イン
デックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際
にはLXはL1に設定される。ただし、スライスタイプslice_typeがPスライスの場合、
インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予
測(Pred_BI)がないので、L1に纏わる処理を省略することができる。
The subsequent processing from step S2119 to step S2121 is performed in each of L0 and L1 (steps S2118 to S2122). Note that LX is set to L0 when deriving the L0 reference index of the temporal merge candidate, and LX is set to L1 when deriving the L1 reference index. However, if the slice type slice_type is P slice,
Since there is only L0 prediction (Pred_L0) as the inter prediction mode and no L1 prediction (Pred_L1) and bi-prediction (Pred_BI), the processing associated with L1 can be omitted.
予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が0でない
場合(ステップS2119のYES)、時間マージ候補のLXの参照インデックスrefIdx
LXColを予測ブロックBのLXの参照インデックスrefIdxLX[xB][yB]の値と同じ値に設定
する(ステップS2120)。ここで、xB、yBはピクチャ内での予測ブロックBの左上の
画素の位置を示すインデックスである。
If the flag predFlagLX [xB] [yB] indicating whether to perform LX prediction of the prediction block B is not 0 (YES in step S2119), the LX reference index refIdx of the temporal merge candidate
LXCol is set to the same value as the reference index refIdxLX [xB] [yB] of the LX of the prediction block B (step S2120). Here, xB and yB are indexes indicating the position of the upper left pixel of the prediction block B in the picture.
予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が0である
場合(ステップS2119のNO)、時間マージ候補のLXの参照インデックスrefIdxLX
Colをデフォルト値の0に設定する(ステップS2121)。
When the flag predFlagLX [xB] [yB] indicating whether to perform LX prediction of the prediction block B is 0 (NO in step S2119), the LX reference index refIdxLX of the temporal merge candidate
Col is set to a default value of 0 (step S2121).
L0、L1それぞれにおいてステップS2119からステップS2121までの処理を
行い(ステップS2118〜S2122)、本参照インデックス導出処理を終了する。
The processing from step S2119 to step S2121 is performed in each of L0 and L1 (steps S2118 to S2122), and this reference index derivation processing is terminated.
実施例4
次に、本実施の形態の実施例4について説明する。図26は本実施の形態の実施例4に
おける時間マージ候補の参照インデックスの導出処理において参照する近接ブロックを示
す図である。本実施の形態の実施例4では、符号化ブロックの分割モード(PartMode)と
予測ブロックの分割インデックスPartIdxに応じて、導出対象の予測ブロックの左辺に近
接する予測ブロックを参照するかどうかを切り替える。左辺に近接する予測ブロックが符
号化ブロック外となる場合に参照し、符号化ブロック内となる場合には参照せずデフォル
ト値とする。分割モード(PartMode)が2N×2N分割(PART_2Nx2N)では、図26(a
)に示すように、導出対象の予測ブロックの左に近接する予測ブロックA0を参照し、時
間マージ候補のLXの参照インデックスを予測ブロックA0のLXの参照インデックスの
値に設定する。
Example 4
Next, Example 4 of the present embodiment will be described. FIG. 26 is a diagram illustrating adjacent blocks referred to in the time merge candidate reference index derivation process according to the fourth example of the present embodiment. In Example 4 of the present embodiment, whether to refer to the prediction block adjacent to the left side of the prediction block to be derived is switched according to the partition mode (PartMode) of the encoded block and the partition index PartIdx of the prediction block. This is referred to when the prediction block close to the left side is outside the coding block, and when it is inside the coding block, it is not referred to and is set as a default value. When the division mode (PartMode) is 2N × 2N division (PART_2Nx2N), FIG.
), The prediction block A0 adjacent to the left of the prediction block to be derived is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A0.
処理対象の符号化ブロックを上下に並ぶ2つの予測ブロックに分割する分割モード(Pa
rtMode)が2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分
割(PART_2NxnD)では、図26(b)、(c)、(d)に示すように、導出対象の分割イ
ンデックスPartIdxが0の予測ブロックでは左に近接する予測ブロックA0を参照し、時
間マージ候補のLXの参照インデックスを予測ブロックA0のLXの参照インデックスの
値に設定する。導出対象の分割インデックスPartIdxが1の予測ブロックでは左に近接す
る予測ブロックA1を参照し、時間マージ候補のLXの参照インデックスを予測ブロック
A1のLXの参照インデックスの値に設定する。参照する予測ブロックA0、A1が共に
符号化ブロック外にあるので、分割インデックスPartIdxが0と1の2つの予測ブロック
の時間マージ候補の参照インデックスをそれぞれ並列に導出することができる。
A division mode (Pa) that divides a coding block to be processed into two prediction blocks arranged vertically.
When (rtMode) is 2N × N division (PART_2NxN), 2N × nU division (PART_2NxnU), and 2N × nD division (PART_2NxnD), as shown in FIGS. 26 (b), (c), and (d), the division to be derived In a prediction block with an index PartIdx of 0, the prediction block A0 adjacent to the left is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A0. In a prediction block whose division index PartIdx to be derived is 1, the prediction block A1 that is adjacent to the left is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A1. Since the prediction blocks A0 and A1 to be referred to are both outside the coding block, the reference indexes of the temporal merge candidates of the two prediction blocks whose division indexes PartIdx are 0 and 1 can be derived in parallel.
処理対象の符号化ブロックを左右に並ぶ2つの予測ブロックに分割する分割モード(Pa
rtMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分
割(PART_nRx2N)では、図26(e)、(f)、(g)に示すように、導出対象の分割イ
ンデックスPartIdxが0の予測ブロックでは左に近接する予測ブロックA0を参照し、時
間マージ候補のLXの参照インデックスを予測ブロックA0のLXの参照インデックスの
値に設定する。導出対象の分割インデックスPartIdxが1の予測ブロックでは近接する予
測ブロックを参照せず、時間マージ候補のLXの参照インデックスをデフォルト値の0に
設定する。参照する予測ブロックA0が符号化ブロック外にあるので、分割インデックス
PartIdxが0と1の2つの予測ブロックの時間マージ候補の参照インデックスをそれぞれ
並列に導出することができる。
A split mode (Pa
rtMode) is N × 2N partition (PART_Nx2N), nL × 2N partition (PART_nLx2N), and nR × 2N partition (PART_nRx2N), as shown in FIGS. 26 (e), (f), and (g) In a prediction block with an index PartIdx of 0, the prediction block A0 adjacent to the left is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A0. In the prediction block whose partition index PartIdx to be derived is 1, the adjacent prediction block is not referred to, and the LX reference index of the temporal merge candidate is set to the
Reference indices of temporal merge candidates of two prediction blocks with PartIdx of 0 and 1 can be derived in parallel.
ただし、近接する予測ブロックAがLX予測を行わない場合は時間マージ候補のLXの
参照インデックスの値をデフォルト値の0とする。近接する予測ブロックAがLX予測を
行わない場合や導出対象の予測ブロックの分割インデックスPartIdxが1の場合に、時間
マージ候補のLXの参照インデックスのデフォルト値を0とする理由は、インター予測に
おいて参照インデックスの値が0に対応する参照ピクチャが最も選択される確率が高いか
らである。ただし、これに限定されず、参照インデックスのデフォルト値を0以外の値(
1、2など)としても良いし、シーケンスレベル、ピクチャレベル、またはスライスレベ
ルで符号化ストリーム内に参照インデックスのデフォルト値を示すシンタックス要素を設
置し伝送できるようにして、符号化側で選択できるようにしても良い。
However, when the adjacent prediction block A does not perform LX prediction, the value of the reference index of the LX that is a temporal merge candidate is set to 0 as the default value. The reason why the default value of the LX reference index of the temporal merge candidate is 0 when the adjacent prediction block A does not perform LX prediction or when the partition index PartIdx of the prediction block to be derived is 1 is referred to in inter prediction This is because the reference picture corresponding to the
1 or 2), or a syntax element indicating a default value of a reference index can be installed and transmitted in the encoded stream at the sequence level, picture level, or slice level, and can be selected on the encoding side. You may do it.
図27は本実施の形態の実施例4の方法による図18のステップS202の時間マージ
候補の参照インデックスの導出処理手順を説明するフローチャートである。まず、分割モ
ード(PartMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR
×2N分割(PART_nRx2N)で分割インデックスPartIdxが1でない場合(ステップS21
02のNO)、即ち2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N
×nU分割(PART_2NxnU)、2N×nD分割(PART_2NxnD)であるか、N×2N分割(PA
RT_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_nRx2N)で分割イン
デックスPartIdxが0である場合、符号化情報格納メモリ115または210から導出対
象の予測ブロックの左に近接する予測ブロックAの符号化情報を取得する(ステップS2
111)。
FIG. 27 is a flowchart for explaining the reference process for deriving the reference index of the time merge candidate in step S202 of FIG. 18 according to the method of Example 4 of the present embodiment. First, the partition mode (PartMode) is N × 2N partition (PART_Nx2N), nL × 2N partition (PART_nLx2N), nR
When × 2N partition (PART_nRx2N) and partition index PartIdx is not 1 (step S21)
02 NO), that is, 2N × 2N division (PART_2Nx2N), 2N × N division (PART_2NxN), 2N
× nU partition (PART_2NxnU), 2N × nD partition (PART_2NxnD) or N × 2N partition (PA
RT_Nx2N), nL × 2N partition (PART_nLx2N), nR × 2N partition (PART_nRx2N), and when the partition index PartIdx is 0, the prediction block A close to the left of the prediction block to be derived from the encoded
111).
続くステップS2113からステップS2115までの処理をL0、L1それぞれにお
いて行う(ステップS2112〜S2116)。なお、時間マージ候補のL0の参照イン
デックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際
にはLXはL1に設定される。ただし、スライスタイプslice_typeがPスライスの場合、
インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予
測(Pred_BI)がないので、L1に纏わる処理を省略することができる。
The subsequent processing from step S2113 to step S2115 is performed in each of L0 and L1 (steps S2112 to S2116). Note that LX is set to L0 when deriving the L0 reference index of the temporal merge candidate, and LX is set to L1 when deriving the L1 reference index. However, if the slice type slice_type is P slice,
Since there is only L0 prediction (Pred_L0) as the inter prediction mode and no L1 prediction (Pred_L1) and bi-prediction (Pred_BI), the processing associated with L1 can be omitted.
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0でない
場合(ステップS2113のYES)、時間マージ候補のLXの参照インデックスrefIdx
LXColを予測ブロックAのLXの参照インデックスrefIdxLX[xA][yA]の値と同じ値に設定
する(ステップS2114)。ここで、xA、yAはピクチャ内での予測ブロックAの左上の
画素の位置を示すインデックスである。
When the flag predFlagLX [xA] [yA] indicating whether to perform LX prediction of the prediction block A is not 0 (YES in step S2113), the reference index refIdx of the LX as a temporal merge candidate
LXCol is set to the same value as the value of the reference index refIdxLX [xA] [yA] of the LX of the prediction block A (step S2114). Here, xA and yA are indexes indicating the position of the upper left pixel of the prediction block A in the picture.
なお、本実施の形態においては、予測ブロックN(N=A,B)において、予測ブロッ
クNが符号化または復号対象のスライス外で利用できない場合や予測ブロックNが符号化
または復号順序で符号化または復号対象の予測ブロックよりも後のために符号化または復
号されておらず利用できない場合や予測ブロックNの予測モードPredModeがイントラ予測
(MODE_INTRA)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、
予測ブロックNのL1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は共に0
である。ここで、xN、yNはピクチャ内での予測ブロックNの左上の画素の位置を示すイン
デックスである。予測ブロックNの予測モードPredModeがインター予測(MODE_INTER)で
、インター予測モードがL0予測(Pred_L0)の場合、予測ブロックNのL0予測を利用
するかどうかを示すフラグpredFlagL0[xN][yN]は1, L1予測を利用するかどうかを示す
フラグpredFlagL1[xN][yN]は0である。予測ブロックNのインター予測モードがL1予測
(Pred_L1)の場合、予測ブロックNのL0予測を利用するかどうかを示すフラグpredFla
gL0[xN][yN]は0, L1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は1で
ある。予測ブロックNのインター予測モードが双予測(Pred_BI)の場合、予測ブロック
NのL0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、L1予測を利用する
かどうかを示すフラグpredFlagL1[xN][yN]は共に1である。
In the present embodiment, in the prediction block N (N = A, B), when the prediction block N cannot be used outside the slice to be encoded or decoded, the prediction block N is encoded or encoded in the decoding order. Alternatively, a flag indicating whether or not to use L0 prediction when the encoding block is not encoded or decoded after the decoding target prediction block and cannot be used, or when the prediction mode PredMode of the prediction block N is intra prediction (MODE_INTRA). predFlagL0 [xN] [yN],
Flags predFlagL1 [xN] [yN] indicating whether to use the L1 prediction of the prediction block N are both 0
It is. Here, xN and yN are indexes indicating the position of the upper left pixel of the prediction block N in the picture. When the prediction mode PredMode of the prediction block N is inter prediction (MODE_INTER) and the inter prediction mode is L0 prediction (Pred_L0), the flag predFlagL0 [xN] [yN] indicating whether to use the L0 prediction of the prediction block N is 1 , Flag predFlagL1 [xN] [yN] indicating whether to use L1 prediction is zero. When the inter prediction mode of the prediction block N is L1 prediction (Pred_L1), a flag predFla indicating whether to use the L0 prediction of the prediction block N
gL0 [xN] [yN] is 0, and flag predFlagL1 [xN] [yN] indicating whether to use L1 prediction is 1. When the inter prediction mode of the prediction block N is bi-prediction (Pred_BI), a flag predFlagL0 [xN] [yN] indicating whether to use the L0 prediction of the prediction block N, and a flag predFlagL1 [indicating whether to use the L1 prediction xN] [yN] are both 1.
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0である
場合(ステップS2113のNO)、時間マージ候補のLXの参照インデックスrefIdxLX
Colをデフォルト値の0に設定する(ステップS2115)。
When the flag predFlagLX [xA] [yA] indicating whether or not to perform LX prediction of the prediction block A is 0 (NO in step S2113), the reference index refIdxLX of the LX as a temporal merge candidate
Col is set to a default value of 0 (step S2115).
L0、L1それぞれにおいてステップS2113からステップS2115までの処理を
行い(ステップS2112〜S2116)、本参照インデックス導出処理を終了する。
The processing from step S2113 to step S2115 is performed in each of L0 and L1 (steps S2112 to S2116), and this reference index derivation processing is terminated.
一方、分割モード(PartMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PART_
nLx2N)、nR×2N分割(PART_nRx2N)で分割インデックスPartIdxが1である場合(ス
テップS2102のYES)、続くステップS2121の処理をL0、L1それぞれにお
いて行う(ステップS2118〜S2122)。なお、時間マージ候補のL0の参照イン
デックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際
にはLXはL1に設定される。ただし、スライスタイプslice_typeがPスライスの場合、
インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予
測(Pred_BI)がないので、L1に纏わる処理を省略することができる。
On the other hand, the partition mode (PartMode) is N × 2N partition (PART_Nx2N), nL × 2N partition (PART_
nLx2N), nR × 2N division (PART_nRx2N), and when the division index PartIdx is 1 (YES in step S2102), the processing in the subsequent step S2121 is performed in each of L0 and L1 (steps S2118 to S2122). Note that LX is set to L0 when deriving the L0 reference index of the temporal merge candidate, and LX is set to L1 when deriving the L1 reference index. However, if the slice type slice_type is P slice,
Since there is only L0 prediction (Pred_L0) as the inter prediction mode and no L1 prediction (Pred_L1) and bi-prediction (Pred_BI), the processing associated with L1 can be omitted.
時間マージ候補のLXの参照インデックスrefIdxLXColをデフォルト値の0に設定する
(ステップS2121)。
The LX reference index refIdxLXCol of the time merge candidate is set to a default value of 0 (step S2121).
L0、L1それぞれにおいてステップS2121までの処理を行い(ステップS211
8〜S2122)、本参照インデックス導出処理を終了する。
The processing up to step S2121 is performed in each of L0 and L1 (step S211).
8-S2122), this reference index derivation process is terminated.
実施例5
次に、本実施の形態の実施例5について説明する。図28は本実施の形態の実施例5に
おける時間マージ候補の参照インデックスの導出処理において参照する近接ブロックを示
す図である。本実施の形態の実施例5では、分割モード(PartMode)に応じて、導出対象
の予測ブロックの左辺に近接する予測ブロックを参照するかどうかを切り替える。符号化
ブロック外となる辺に近接する予測ブロックを参照する。左辺に近接する予測ブロックが
符号化ブロック外となる場合に参照し、符号化ブロック内となる場合には参照せずデフォ
ルト値とする。分割モード(PartMode)が2N×2N分割(PART_2Nx2N)では、図28(
a)に示すように、導出対象の予測ブロックの左に近接する予測ブロックA0を参照し、
時間マージ候補のLXの参照インデックスを予測ブロックA0のLXの参照インデックス
の値に設定する。
Example 5
Next, Example 5 of the present embodiment will be described. FIG. 28 is a diagram illustrating adjacent blocks that are referred to in the time merge candidate reference index derivation process according to the fifth example of the present embodiment. In Example 5 of the present embodiment, whether to refer to a prediction block adjacent to the left side of the prediction block to be derived is switched according to the division mode (PartMode). Reference is made to a prediction block close to a side outside the coding block. This is referred to when the prediction block close to the left side is outside the coding block, and when it is inside the coding block, it is not referred to and is set as a default value. When the partition mode (PartMode) is 2N × 2N partition (PART_2Nx2N), FIG.
As shown in a), referring to the prediction block A0 adjacent to the left of the prediction block to be derived,
The LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A0.
処理対象の符号化ブロックを上下に並ぶ2つの予測ブロックに分割する分割モード(Pa
rtMode)が2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分
割(PART_2NxnD)では、図28(b)、(c)、(d)に示すように、導出対象の分割イ
ンデックスPartIdxが0の予測ブロックでは左に近接する予測ブロックA0を参照し、時
間マージ候補のLXの参照インデックスを予測ブロックA0のLXの参照インデックスの
値に設定する。導出対象の分割インデックスPartIdxが1の予測ブロックでは左に近接す
る予測ブロックA1を参照し、時間マージ候補のLXの参照インデックスを予測ブロック
A1のLXの参照インデックスの値に設定する。参照する予測ブロックA0、A1が共に
符号化ブロック外にあるので、分割インデックスPartIdxが0と1の2つの予測ブロック
の時間マージ候補の参照インデックスをそれぞれ並列に導出することができる。
A division mode (Pa) that divides a coding block to be processed into two prediction blocks arranged vertically.
When (rtMode) is 2N × N division (PART_2NxN), 2N × nU division (PART_2NxnU), and 2N × nD division (PART_2NxnD), as shown in FIGS. 28B, 28C, and 28D, the division to be derived In a prediction block with an index PartIdx of 0, the prediction block A0 adjacent to the left is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A0. In a prediction block whose division index PartIdx to be derived is 1, the prediction block A1 that is adjacent to the left is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A1. Since the prediction blocks A0 and A1 to be referred to are both outside the coding block, the reference indexes of the temporal merge candidates of the two prediction blocks whose division indexes PartIdx are 0 and 1 can be derived in parallel.
処理対象の符号化ブロックを左右に並ぶ2つの予測ブロックに分割する分割モード(Pa
rtMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分
割(PART_nRx2N)では、導出対象の分割インデックスPartIdxが0および1の予測ブロッ
クでは共に近接する予測ブロックを参照せず、時間マージ候補のLXの参照インデックス
をデフォルト値の0に設定する。処理対象の予測ブロックに近接する予測ブロックを参照
しないので、符号化ブロック内の予測ブロックを参照することも無く、分割インデックス
PartIdxが0と1の2つの予測ブロックの時間マージ候補の参照インデックスをそれぞれ
並列に導出することができる。
A split mode (Pa
rtMode) is N × 2N partition (PART_Nx2N), nL × 2N partition (PART_nLx2N), and nR × 2N partition (PART_nRx2N), refer to the prediction blocks that are close to each other in the prediction blocks whose partitioning index PartIdx is 0 and 1 First, the reference index of the LX as a time merge candidate is set to the default value of 0. Since the prediction block adjacent to the prediction block to be processed is not referred to, the division index is not referred to without referring to the prediction block in the encoded block.
Reference indices of temporal merge candidates of two prediction blocks with PartIdx of 0 and 1 can be derived in parallel.
ただし、近接する予測ブロックAがLX予測を行わない場合は時間マージ候補のLXの
参照インデックスの値をデフォルト値の0とする。近接する予測ブロックAがLX予測を
行わない場合や導出対象の予測ブロックを含む符号化ブロックの分割モード(PartMode)
がN×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR×2N分割(PART_
nRx2N)の場合に、時間マージ候補のLXの参照インデックスのデフォルト値を0とする
理由は、インター予測において参照インデックスの値が0に対応する参照ピクチャが最も
選択される確率が高いからである。ただし、これに限定されず、参照インデックスのデフ
ォルト値を0以外の値(1、2など)としても良いし、シーケンスレベル、ピクチャレベ
ル、またはスライスレベルで符号化ストリーム内に参照インデックスのデフォルト値を示
すシンタックス要素を設置し伝送できるようにして、符号化側で選択できるようにしても
良い。
However, when the adjacent prediction block A does not perform LX prediction, the value of the reference index of the LX that is a temporal merge candidate is set to 0 as the default value. When the adjacent prediction block A does not perform LX prediction, or the partition mode (PartMode) of the coding block including the prediction block to be derived
Is N × 2N partition (PART_Nx2N), nL × 2N partition (PART_nLx2N), nR × 2N partition (PART_
In the case of nRx2N), the reason why the default value of the reference index of the LX as a temporal merge candidate is set to 0 is that there is a high probability that a reference picture corresponding to a reference index value of 0 is most selected in inter prediction. However, the present invention is not limited to this, and the default value of the reference index may be a value other than 0 (1, 2, etc.), and the default value of the reference index may be set in the encoded stream at the sequence level, picture level, or slice level. The syntax element shown may be installed and transmitted so that it can be selected on the encoding side.
図29は本実施の形態の実施例5の方法による図18のステップS202の時間マージ
候補の参照インデックスの導出処理手順を説明するフローチャートである。まず、分割モ
ード(PartMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PART_nLx2N)、nR
×2N分割(PART_nRx2N)でない場合(ステップS2101のNO)、即ち2N×2N分
割(PART_2Nx2N)、2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N
×nD分割(PART_2NxnD)である場合、符号化情報格納メモリ115または210から導
出対象の予測ブロックの左に近接する予測ブロックAの符号化情報を取得する(ステップ
S2111)。
FIG. 29 is a flow chart for explaining the procedure for deriving the reference index of the time merge candidate in step S202 of FIG. 18 according to the method of the fifth embodiment of the present embodiment. First, the partition mode (PartMode) is N × 2N partition (PART_Nx2N), nL × 2N partition (PART_nLx2N), nR
When it is not × 2N division (PART_nRx2N) (NO in step S2101), that is, 2N × 2N division (PART_2Nx2N), 2N × N division (PART_2NxN), 2N × nU division (PART_2NxnU), 2N
In the case of × nD division (PART_2NxnD), the encoding information of the prediction block A adjacent to the left of the prediction block to be derived is acquired from the encoding
続くステップS2113からステップS2115までの処理をL0、L1それぞれにお
いて行う(ステップS2112〜S2116)。なお、時間マージ候補のL0の参照イン
デックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際
にはLXはL1に設定される。ただし、スライスタイプslice_typeがPスライスの場合、
インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予
測(Pred_BI)がないので、L1に纏わる処理を省略することができる。
The subsequent processing from step S2113 to step S2115 is performed in each of L0 and L1 (steps S2112 to S2116). Note that LX is set to L0 when deriving the L0 reference index of the temporal merge candidate, and LX is set to L1 when deriving the L1 reference index. However, if the slice type slice_type is P slice,
Since there is only L0 prediction (Pred_L0) as the inter prediction mode and no L1 prediction (Pred_L1) and bi-prediction (Pred_BI), the processing associated with L1 can be omitted.
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0でない
場合(ステップS2113のYES)、時間マージ候補のLXの参照インデックスrefIdx
LXColを予測ブロックAのLXの参照インデックスrefIdxLX[xA][yA]の値と同じ値に設定
する(ステップS2114)。ここで、xA、yAはピクチャ内での予測ブロックAの左上の
画素の位置を示すインデックスである。
When the flag predFlagLX [xA] [yA] indicating whether to perform LX prediction of the prediction block A is not 0 (YES in step S2113), the reference index refIdx of the LX as a temporal merge candidate
LXCol is set to the same value as the value of the reference index refIdxLX [xA] [yA] of the LX of the prediction block A (step S2114). Here, xA and yA are indexes indicating the position of the upper left pixel of the prediction block A in the picture.
なお、本実施の形態においては、予測ブロックN(N=A,B)において、予測ブロッ
クNが符号化または復号対象のスライス外で利用できない場合や予測ブロックNが符号化
または復号順序で符号化または復号対象の予測ブロックよりも後のために符号化または復
号されておらず利用できない場合や予測ブロックNの予測モードPredModeがイントラ予測
(MODE_INTRA)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、
予測ブロックNのL1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は共に0
である。ここで、xN、yNはピクチャ内での予測ブロックNの左上の画素の位置を示すイン
デックスである。予測ブロックNの予測モードPredModeがインター予測(MODE_INTER)で
、インター予測モードがL0予測(Pred_L0)の場合、予測ブロックNのL0予測を利用
するかどうかを示すフラグpredFlagL0[xN][yN]は1, L1予測を利用するかどうかを示す
フラグpredFlagL1[xN][yN]は0である。予測ブロックNのインター予測モードがL1予測
(Pred_L1)の場合、予測ブロックNのL0予測を利用するかどうかを示すフラグpredFla
gL0[xN][yN]は0, L1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は1で
ある。予測ブロックNのインター予測モードが双予測(Pred_BI)の場合、予測ブロック
NのL0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、L1予測を利用する
かどうかを示すフラグpredFlagL1[xN][yN]は共に1である。
In the present embodiment, in the prediction block N (N = A, B), when the prediction block N cannot be used outside the slice to be encoded or decoded, the prediction block N is encoded or encoded in the decoding order. Alternatively, a flag indicating whether or not to use L0 prediction when the encoding block is not encoded or decoded after the decoding target prediction block and cannot be used, or when the prediction mode PredMode of the prediction block N is intra prediction (MODE_INTRA). predFlagL0 [xN] [yN],
Flags predFlagL1 [xN] [yN] indicating whether to use the L1 prediction of the prediction block N are both 0
It is. Here, xN and yN are indexes indicating the position of the upper left pixel of the prediction block N in the picture. When the prediction mode PredMode of the prediction block N is inter prediction (MODE_INTER) and the inter prediction mode is L0 prediction (Pred_L0), the flag predFlagL0 [xN] [yN] indicating whether to use the L0 prediction of the prediction block N is 1 , Flag predFlagL1 [xN] [yN] indicating whether to use L1 prediction is zero. When the inter prediction mode of the prediction block N is L1 prediction (Pred_L1), a flag predFla indicating whether to use the L0 prediction of the prediction block N
gL0 [xN] [yN] is 0, and flag predFlagL1 [xN] [yN] indicating whether to use L1 prediction is 1. When the inter prediction mode of the prediction block N is bi-prediction (Pred_BI), a flag predFlagL0 [xN] [yN] indicating whether to use the L0 prediction of the prediction block N, and a flag predFlagL1 [indicating whether to use the L1 prediction xN] [yN] are both 1.
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0である
場合(ステップS2113のNO)、時間マージ候補のLXの参照インデックスrefIdxLX
Colをデフォルト値の0に設定する(ステップS2115)。
When the flag predFlagLX [xA] [yA] indicating whether or not to perform LX prediction of the prediction block A is 0 (NO in step S2113), the reference index refIdxLX of the LX as a temporal merge candidate
Col is set to a default value of 0 (step S2115).
L0、L1それぞれにおいてステップS2113からステップS2115までの処理を
行い(ステップS2112〜S2116)、本参照インデックス導出処理を終了する。
The processing from step S2113 to step S2115 is performed in each of L0 and L1 (steps S2112 to S2116), and this reference index derivation processing is terminated.
一方、分割モード(PartMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PART_
nLx2N)、nR×2N分割(PART_nRx2N)である場合(ステップS2101のYES)、
続くステップS2121の処理をL0、L1それぞれにおいて行う(ステップS2118
〜S2122)。なお、時間マージ候補のL0の参照インデックスを導出する際にはLX
はL0に設定され、L1の参照インデックスを導出する際にはLXはL1に設定される。
ただし、スライスタイプslice_typeがPスライスの場合、インター予測モードとしてL0
予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予測(Pred_BI)がないので、L
1に纏わる処理を省略することができる。
On the other hand, the partition mode (PartMode) is N × 2N partition (PART_Nx2N), nL × 2N partition (PART_
nLx2N), nR × 2N division (PART_nRx2N) (YES in step S2101),
The subsequent processing in step S2121 is performed in each of L0 and L1 (step S2118).
~ S2122). When deriving the reference index of L0 as a temporal merge candidate, LX
Is set to L0, and LX is set to L1 when deriving the reference index of L1.
However, when the slice type slice_type is P slice, the inter prediction mode is L0.
Since there is only prediction (Pred_L0) and there is no L1 prediction (Pred_L1) and bi-prediction (Pred_BI), L
1 can be omitted.
時間マージ候補のLXの参照インデックスrefIdxLXColをデフォルト値の0に設定する
(ステップS2121)。
The LX reference index refIdxLXCol of the time merge candidate is set to a default value of 0 (step S2121).
L0、L1それぞれにおいてステップS2121までの処理を行い(ステップS211
8〜S2122)、本参照インデックス導出処理を終了する。
The processing up to step S2121 is performed in each of L0 and L1 (step S211).
8-S2122), this reference index derivation process is terminated.
実施例6
次に、本実施の形態の実施例6について説明する。本実施の形態の実施例6では、導出
対象の予測モードを含む符号化ブロック(処理対象の符号化ブロック)の分割モード(Pa
rtMode)や導出対象の予測モードの分割インデックスPartIdxの値に関わらず、近接する
予測ブロックを参照せず、時間マージ候補のLXの参照インデックスをデフォルト値の0
に設定する。処理対象の予測ブロックに近接する予測ブロックを参照しないので、符号化
ブロック内の予測ブロックを参照することも無く、同じ符号化ブロックに含まれる分割イ
ンデックスPartIdxが0と1の2つの予測ブロックの時間マージ候補をそれぞれ並列に導
出することができる。
Example 6
Next, Example 6 of the present embodiment will be described. In Example 6 of the present embodiment, a partition mode (Pa) of a coding block (processing target coding block) including a prediction mode to be derived.
rtMode) and the value of the partition index PartIdx of the prediction mode to be derived, the adjacent prediction block is not referenced, and the LX reference index of the temporal merge candidate is a default value of 0.
Set to. Since the prediction block adjacent to the prediction block to be processed is not referred to, the prediction block in the encoded block is not referred to, and the time of two prediction blocks whose division indexes PartIdx are 0 and 1 included in the same encoded block Merge candidates can be derived in parallel.
時間マージ候補のLXの参照インデックスのデフォルト値を0とする理由は、インター
予測において参照インデックスの値が0に対応する参照ピクチャが最も選択される確率が
高いからである。ただし、これに限定されず、参照インデックスのデフォルト値を0以外
の値(1、2など)としても良いし、シーケンスレベル、ピクチャレベル、またはスライ
スレベルで符号化ストリーム内に参照インデックスのデフォルト値を示すシンタックス要
素を設置し伝送できるようにして、符号化側で選択できるようにしても良い。
The reason why the default value of the LX reference index of the temporal merge candidate is set to 0 is that there is a high probability that the reference picture corresponding to the reference index value of 0 is most selected in inter prediction. However, the present invention is not limited to this, and the default value of the reference index may be a value other than 0 (1, 2, etc.), and the default value of the reference index may be set in the encoded stream at the sequence level, picture level, or slice level. The syntax element shown may be installed and transmitted so that it can be selected on the encoding side.
さらに、実施例6は近接ブロックを参照せずに、時間マージ候補のLXの参照インデッ
クスrefIdxLXColをデフォルト値の0に設定するので、実施例1、2、3、4、5および
後述する実施例7に比べて、導出処理を簡略化することができる。
Further, in the sixth embodiment, the reference index refIdxLXCol of the time merge candidate LX is set to the default value of 0 without referring to the adjacent block, so the first, second, third, fourth, fifth, and later-described seventh embodiment. The derivation process can be simplified compared to.
図30は本実施の形態の実施例6の方法による図18のステップS202の時間マージ
候補の参照インデックスの導出処理手順を説明するフローチャートである。
FIG. 30 is a flowchart for describing the reference process for deriving the reference index of the time merge candidate in step S202 of FIG. 18 according to the method of Example 6 of the present embodiment.
ステップS2115の処理をL0、L1それぞれにおいて行う(ステップS2112〜
S2116)。なお、時間マージ候補のL0の参照インデックスを導出する際にはLXは
L0に設定され、L1の参照インデックスを導出する際にはLXはL1に設定される。た
だし、スライスタイプslice_typeがPスライスの場合、インター予測モードとしてL0予
測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予測(Pred_BI)がないので、L1
に纏わる処理を省略することができる。
The process of step S2115 is performed in each of L0 and L1 (steps S2112 to S2112).
S2116). Note that LX is set to L0 when deriving the L0 reference index of the temporal merge candidate, and LX is set to L1 when deriving the L1 reference index. However, when the slice type slice_type is P slice, there is only L0 prediction (Pred_L0) as the inter prediction mode, and there is no L1 prediction (Pred_L1) and bi-prediction (Pred_BI).
Can be omitted.
時間マージ候補のLXの参照インデックスrefIdxLXColをデフォルト値の0に設定する
(ステップS2115)。
The LX reference index refIdxLXCol of the time merge candidate is set to a default value of 0 (step S2115).
L0、L1それぞれにおいてステップS2115の処理を行い(ステップS2112〜
S2116)、本参照インデックス導出処理を終了する。
The process of step S2115 is performed in each of L0 and L1 (steps S2112 to S2112).
S2116), this reference index deriving process is terminated.
実施例7
次に、本実施の形態の実施例7について説明する。図31は本実施の形態の実施例7に
おける時間マージ候補の参照インデックスの導出処理において参照する近接ブロックを示
す図である。本実施の形態の実施例7では、導出対象の予測モードを含む符号化ブロック
(処理対象の符号化ブロック)の分割モード(PartMode)や導出対象の予測モードの分割
インデックスPartIdxの値に関わらず、図31(a)〜(g)に示すように、処理対象の
符号化ブロックの左に近接する予測ブロックAを参照し、時間マージ候補のLXの参照イ
ンデックスを予測ブロックAのLXの参照インデックスの値に設定する。参照する予測ブ
ロックAが符号化ブロック外にあるので、分割インデックスPartIdxが0と1の2つの予
測ブロックの時間マージ候補の参照インデックスをそれぞれ並列に導出することができる
。
Example 7
Next, Example 7 of the present embodiment will be described. FIG. 31 is a diagram illustrating adjacent blocks that are referred to in the time merge candidate reference index derivation process according to the seventh embodiment of the present embodiment. In Example 7 of the present embodiment, regardless of the value of the partition mode (PartMode) of the encoding block (the processing target encoding block) including the prediction mode to be derived and the value of the partition index PartIdx of the prediction mode to be derived, As illustrated in FIGS. 31A to 31G, the prediction block A adjacent to the left of the processing target encoding block is referred to, and the LX reference index of the prediction block A is used as the LX reference index of the prediction block A. Set to value. Since the prediction block A to be referred to is outside the encoded block, the reference indexes of the temporal merge candidates of the two prediction blocks whose division indexes PartIdx are 0 and 1 can be derived in parallel.
ただし、近接する予測ブロックAがLX予測を行わない場合は時間マージ候補のLXの
参照インデックスの値をデフォルト値の0とする。近接する予測ブロックAがLX予測を
行わない場合に、時間マージ候補のLXの参照インデックスのデフォルト値を0とする理
由は、インター予測において参照インデックスの値が0に対応する参照ピクチャが最も選
択される確率が高いからである。ただし、これに限定されず、参照インデックスのデフォ
ルト値を0以外の値(1、2など)としても良いし、シーケンスレベル、ピクチャレベル
、またはスライスレベルで符号化ストリーム内に参照インデックスのデフォルト値を示す
シンタックス要素を設置し伝送できるようにして、符号化側で選択できるようにしても良
い。
However, when the adjacent prediction block A does not perform LX prediction, the value of the reference index of the LX that is a temporal merge candidate is set to 0 as the default value. When the adjacent prediction block A does not perform LX prediction, the reason why the default value of the reference index of the temporal merge candidate LX is set to 0 is that the reference picture corresponding to the reference index value of 0 is most selected in inter prediction. This is because the probability is high. However, the present invention is not limited to this, and the default value of the reference index may be a value other than 0 (1, 2, etc.), and the default value of the reference index may be set in the encoded stream at the sequence level, picture level, or slice level. The syntax element shown may be installed and transmitted so that it can be selected on the encoding side.
実施例7は符号化ブロック内のそれぞれの予測ブロックの時間マージ候補の参照インデ
ックスが共通の値に設定されるので、符号化ブロック内のそれぞれの予測ブロック毎に時
間マージ候補の参照インデックスを導出する必要が無く、導出処理を簡略化することがで
きる。
In the seventh embodiment, since the reference index of the temporal merge candidate of each prediction block in the encoded block is set to a common value, the reference index of the temporal merge candidate is derived for each prediction block in the encoded block. There is no need, and the derivation process can be simplified.
図32は本実施の形態の実施例7の方法による図18のステップS202の時間マージ
候補の参照インデックスの導出処理手順を説明するフローチャートである。まず、符号化
情報格納メモリ115または210から処理対象の符号化ブロックの左に近接する予測ブ
ロックAの符号化情報を取得する(ステップS2131)。
FIG. 32 is a flow chart for explaining the procedure for deriving the reference index of the time merge candidate in step S202 of FIG. 18 by the method of Example 7 of the present embodiment. First, the coding information of the prediction block A adjacent to the left of the coding block to be processed is acquired from the coding
続くステップS2133からステップS2135までの処理をL0、L1それぞれにお
いて行う(ステップS2132〜S2136)。なお、時間マージ候補のL0の参照イン
デックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際
にはLXはL1に設定される。ただし、スライスタイプslice_typeがPスライスの場合、
インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予
測(Pred_BI)がないので、L1に纏わる処理を省略することができる。
The subsequent processing from step S2133 to step S2135 is performed in each of L0 and L1 (steps S2132 to S2136). Note that LX is set to L0 when deriving the L0 reference index of the temporal merge candidate, and LX is set to L1 when deriving the L1 reference index. However, if the slice type slice_type is P slice,
Since there is only L0 prediction (Pred_L0) as the inter prediction mode and no L1 prediction (Pred_L1) and bi-prediction (Pred_BI), the processing associated with L1 can be omitted.
処理対象の符号化ブロックの左に近接する予測ブロックAのLX予測を行うかどうかを
示すフラグpredFlagLX[xA][yA]が0でない場合(ステップS2133のYES)、時間マ
ージ候補のLXの参照インデックスrefIdxLXColを予測ブロックAのLXの参照インデッ
クスrefIdxLX[xA][yA]の値と同じ値に設定する(ステップS2134)。ここで、xA、yA
はピクチャ内での処理対象の符号化ブロックの左に近接する予測ブロックAの左上の画素
の位置を示すインデックスである。
When the flag predFlagLX [xA] [yA] indicating whether or not to perform LX prediction of the prediction block A adjacent to the left of the processing target coding block is not 0 (YES in step S2133), the LX reference index of the temporal merge candidate refIdxLXCol is set to the same value as the value of the reference index refIdxLX [xA] [yA] of the LX of the prediction block A (step S2134). Where xA, yA
Is an index indicating the position of the upper left pixel of the prediction block A adjacent to the left of the coding block to be processed in the picture.
なお、本実施の形態においては、予測ブロックN(N=A,B)において、予測ブロッ
クNが符号化または復号対象のスライス外で利用できない場合や予測ブロックNが符号化
または復号順序で符号化または復号対象の予測ブロックよりも後のために符号化または復
号されておらず利用できない場合や予測ブロックNの予測モードPredModeがイントラ予測
(MODE_INTRA)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、
予測ブロックNのL1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は共に0
である。ここで、xN、yNはピクチャ内での予測ブロックNの左上の画素の位置を示すイン
デックスである。予測ブロックNの予測モードPredModeがインター予測(MODE_INTER)で
、インター予測モードがL0予測(Pred_L0)の場合、予測ブロックNのL0予測を利用
するかどうかを示すフラグpredFlagL0[xN][yN]は1, L1予測を利用するかどうかを示す
フラグpredFlagL1[xN][yN]は0である。予測ブロックNのインター予測モードがL1予測
(Pred_L1)の場合、予測ブロックNのL0予測を利用するかどうかを示すフラグpredFla
gL0[xN][yN]は0, L1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は1で
ある。予測ブロックNのインター予測モードが双予測(Pred_BI)の場合、予測ブロック
NのL0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、L1予測を利用する
かどうかを示すフラグpredFlagL1[xN][yN]は共に1である。
In the present embodiment, in the prediction block N (N = A, B), when the prediction block N cannot be used outside the slice to be encoded or decoded, the prediction block N is encoded or encoded in the decoding order. Alternatively, a flag indicating whether or not to use L0 prediction when the encoding block is not encoded or decoded after the decoding target prediction block and cannot be used, or when the prediction mode PredMode of the prediction block N is intra prediction (MODE_INTRA). predFlagL0 [xN] [yN],
Flags predFlagL1 [xN] [yN] indicating whether to use the L1 prediction of the prediction block N are both 0
It is. Here, xN and yN are indexes indicating the position of the upper left pixel of the prediction block N in the picture. When the prediction mode PredMode of the prediction block N is inter prediction (MODE_INTER) and the inter prediction mode is L0 prediction (Pred_L0), the flag predFlagL0 [xN] [yN] indicating whether to use the L0 prediction of the prediction block N is 1 , Flag predFlagL1 [xN] [yN] indicating whether to use L1 prediction is zero. When the inter prediction mode of the prediction block N is L1 prediction (Pred_L1), a flag predFla indicating whether to use the L0 prediction of the prediction block N
gL0 [xN] [yN] is 0, and flag predFlagL1 [xN] [yN] indicating whether to use L1 prediction is 1. When the inter prediction mode of the prediction block N is bi-prediction (Pred_BI), a flag predFlagL0 [xN] [yN] indicating whether to use the L0 prediction of the prediction block N, and a flag predFlagL1 [indicating whether to use the L1 prediction xN] [yN] are both 1.
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0である
場合(ステップS2133のNO)、時間マージ候補のLXの参照インデックスrefIdxLX
Colをデフォルト値の0に設定する(ステップS2135)。
When the flag predFlagLX [xA] [yA] indicating whether to perform LX prediction of the prediction block A is 0 (NO in step S2133), the reference index refIdxLX of the LX as a temporal merge candidate
Col is set to a default value of 0 (step S2135).
L0、L1それぞれにおいてステップS2133からステップS2135までの処理を
行い(ステップS2132〜S2136)、本参照インデックス導出処理を終了する。
The processing from step S2133 to step S2135 is performed in each of L0 and L1 (steps S2132 to S2136), and this reference index derivation processing is terminated.
なお、実施例7においては導出対象の予測ブロックを含む符号化ブロックの左辺に近接
する予測ブロックを参照するかどうかを切り替えたが、左辺に近接する予測ブロックの代
わりに上辺に近接する予測ブロックを参照するかどうかを切り替えてもよい。
In the seventh embodiment, whether to refer to the prediction block adjacent to the left side of the encoded block including the prediction block to be derived is switched. However, instead of the prediction block adjacent to the left side, the prediction block close to the upper side is changed. You may switch whether to refer.
実施例8
次に、本実施の形態の実施例8について説明する。図43は本実施の形態の実施例8に
おける時間マージ候補の参照インデックスの導出処理において参照する近接ブロックを示
す図である。本実施の形態の実施例8では、符号化ブロックの分割モード(PartMode)に
関わらず、予測ブロックの分割インデックスPartIdxに応じて、導出対象の予測ブロック
の左辺に近接する予測ブロックを参照するかどうかを切り替える。予測ブロックの分割イ
ンデックスPartIdxが0の場合は左辺に近接する予測ブロックを参照し、分割インデック
スPartIdxが0以外の場合は近接する予測ブロックを参照せずデフォルト値とする。予測
ブロックの分割インデックスPartIdxが0の場合はどの分割モード(PartMode)において
も左辺に近接する予測ブロックは必ず符号化ブロック外となるが、予測ブロックの分割イ
ンデックスPartIdxが0以外の場合は分割モード(PartMode)よっては符号化ブロック内
となる。図43(a)に示すように、導出対象の予測ブロックの左に近接する予測ブロッ
クA0を参照し、時間マージ候補のLXの参照インデックスを予測ブロックA0のLXの
参照インデックスの値に設定する。
Example 8
Next, Example 8 of the present embodiment will be described. FIG. 43 is a diagram illustrating neighboring blocks referred to in the time merge candidate reference index derivation process according to the eighth embodiment of the present embodiment. In Example 8 of the present embodiment, whether to refer to a prediction block adjacent to the left side of the prediction block to be derived, according to the prediction index PartIdx of the prediction block, regardless of the encoding block partition mode (PartMode) Switch. When the partition index PartIdx of the prediction block is 0, the prediction block adjacent to the left side is referred to, and when the partition index PartIdx is other than 0, the adjacent prediction block is not referred to and is set as a default value. When the partition index PartIdx of the prediction block is 0, in any partition mode (PartMode), the prediction block close to the left side is always outside the encoded block, but when the partition index PartIdx of the prediction block is other than 0, the partition mode ( PartMode) depending on the coding block. As illustrated in FIG. 43A, the prediction block A0 adjacent to the left of the prediction block to be derived is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A0.
処理対象の符号化ブロックを上下に並ぶ2つの予測ブロックに分割する分割モード(Pa
rtMode)が2N×N分割(PART_2NxN)、2N×nU分割(PART_2NxnU)、2N×nD分
割(PART_2NxnD)、および処理対象の符号化ブロックを左右に並ぶ2つの予測ブロックに
分割する分割モード(PartMode)がN×2N分割(PART_Nx2N)、nL×2N分割(PART_
nLx2N)、nR×2N分割(PART_nRx2N)では、図43(b)、(c)、(d)、(e)
、(f)、(g)に示すように、導出対象の分割インデックスPartIdxが0の予測ブロッ
クでは左に近接する予測ブロックA0を参照し、時間マージ候補のLXの参照インデック
スを予測ブロックA0のLXの参照インデックスの値に設定する。導出対象の分割インデ
ックスPartIdxが1の予測ブロックでは近接する予測ブロックを参照せず、時間マージ候
補のLXの参照インデックスをデフォルト値の0に設定する。参照する予測ブロックA0
が符号化ブロック外にあるので、分割インデックスPartIdxが0と1の2つの予測ブロッ
クの時間マージ候補の参照インデックスをそれぞれ並列に導出することができる。
A division mode (Pa) that divides a coding block to be processed into two prediction blocks arranged vertically.
rtMode) is 2N × N partition (PART_2NxN), 2N × nU partition (PART_2NxnU), 2N × nD partition (PART_2NxnD), and a partition mode (PartMode) that divides a coding block to be processed into two prediction blocks arranged side by side Is Nx2N split (PART_Nx2N), nLx2N split (PART_
nLx2N) and nR × 2N division (PART_nRx2N), FIG. 43 (b), (c), (d), (e)
, (F), (g), the prediction block A0 that is adjacent to the left is referred to in the prediction block whose partitioning index PartIdx to be derived is 0, and the LX reference index of the temporal merge candidate is the LX of the prediction block A0. Set to the reference index value of. In the prediction block whose partition index PartIdx to be derived is 1, the adjacent prediction block is not referred to, and the LX reference index of the temporal merge candidate is set to the
Is outside the coding block, it is possible to derive in parallel the reference indexes of the temporal merge candidates of the two prediction blocks whose division indexes PartIdx are 0 and 1.
ただし、近接する予測ブロックAがLX予測を行わない場合は時間マージ候補のLXの
参照インデックスの値をデフォルト値の0とする。近接する予測ブロックAがLX予測を
行わない場合や導出対象の予測ブロックの分割インデックスPartIdxが1の場合に、時間
マージ候補のLXの参照インデックスのデフォルト値を0とする理由は、インター予測に
おいて参照インデックスの値が0に対応する参照ピクチャが最も選択される確率が高いか
らである。ただし、これに限定されず、参照インデックスのデフォルト値を0以外の値(
1、2など)としても良いし、シーケンスレベル、ピクチャレベル、またはスライスレベ
ルで符号化ストリーム内に参照インデックスのデフォルト値を示すシンタックス要素を設
置し伝送できるようにして、符号化側で選択できるようにしても良い。
However, when the adjacent prediction block A does not perform LX prediction, the value of the reference index of the LX that is a temporal merge candidate is set to 0 as the default value. The reason why the default value of the LX reference index of the temporal merge candidate is 0 when the adjacent prediction block A does not perform LX prediction or when the partition index PartIdx of the prediction block to be derived is 1 is referred to in inter prediction This is because the reference picture corresponding to the
1 or 2), or a syntax element indicating a default value of a reference index can be installed and transmitted in the encoded stream at the sequence level, picture level, or slice level, and can be selected on the encoding side. You may do it.
図44は本実施の形態の実施例8の方法による図18のステップS202の時間マージ
候補の参照インデックスの導出処理手順を説明するフローチャートである。まず、分割イ
ンデックスPartIdxが0である場合(ステップS2104のYES)、符号化情報格納メ
モリ115または210から導出対象の予測ブロックの左に近接する予測ブロックAの符
号化情報を取得する(ステップS2111)。
FIG. 44 is a flowchart for describing the procedure for deriving the reference index of the time merge candidate in step S202 of FIG. 18 according to the method of Example 8 of the present embodiment. First, when the division index PartIdx is 0 (YES in step S2104), the encoding information of the prediction block A adjacent to the left of the prediction block to be derived is acquired from the encoding
続くステップS2113からステップS2115までの処理をL0、L1それぞれにお
いて行う(ステップS2112〜S2116)。なお、時間マージ候補のL0の参照イン
デックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際
にはLXはL1に設定される。ただし、スライスタイプslice_typeがPスライスの場合、
インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予
測(Pred_BI)がないので、L1に纏わる処理を省略することができる。
The subsequent processing from step S2113 to step S2115 is performed in each of L0 and L1 (steps S2112 to S2116). Note that LX is set to L0 when deriving the L0 reference index of the temporal merge candidate, and LX is set to L1 when deriving the L1 reference index. However, if the slice type slice_type is P slice,
Since there is only L0 prediction (Pred_L0) as the inter prediction mode and no L1 prediction (Pred_L1) and bi-prediction (Pred_BI), the processing associated with L1 can be omitted.
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0でない
場合(ステップS2113のYES)、時間マージ候補のLXの参照インデックスrefIdx
LXColを予測ブロックAのLXの参照インデックスrefIdxLX[xA][yA]の値と同じ値に設定
する(ステップS2114)。ここで、xA、yAはピクチャ内での予測ブロックAの左上の
画素の位置を示すインデックスである。
When the flag predFlagLX [xA] [yA] indicating whether to perform LX prediction of the prediction block A is not 0 (YES in step S2113), the reference index refIdx of the LX as a temporal merge candidate
LXCol is set to the same value as the value of the reference index refIdxLX [xA] [yA] of the LX of the prediction block A (step S2114). Here, xA and yA are indexes indicating the position of the upper left pixel of the prediction block A in the picture.
なお、本実施の形態においては、予測ブロックN(N=A,B)において、予測ブロッ
クNが符号化または復号対象のスライス外で利用できない場合や予測ブロックNが符号化
または復号順序で符号化または復号対象の予測ブロックよりも後のために符号化または復
号されておらず利用できない場合や予測ブロックNの予測モードPredModeがイントラ予測
(MODE_INTRA)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、
予測ブロックNのL1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は共に0
である。ここで、xN、yNはピクチャ内での予測ブロックNの左上の画素の位置を示すイン
デックスである。予測ブロックNの予測モードPredModeがインター予測(MODE_INTER)で
、インター予測モードがL0予測(Pred_L0)の場合、予測ブロックNのL0予測を利用
するかどうかを示すフラグpredFlagL0[xN][yN]は1, L1予測を利用するかどうかを示す
フラグpredFlagL1[xN][yN]は0である。予測ブロックNのインター予測モードがL1予測
(Pred_L1)の場合、予測ブロックNのL0予測を利用するかどうかを示すフラグpredFla
gL0[xN][yN]は0, L1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は1で
ある。予測ブロックNのインター予測モードが双予測(Pred_BI)の場合、予測ブロック
NのL0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、L1予測を利用する
かどうかを示すフラグpredFlagL1[xN][yN]は共に1である。
In the present embodiment, in the prediction block N (N = A, B), when the prediction block N cannot be used outside the slice to be encoded or decoded, the prediction block N is encoded or encoded in the decoding order. Alternatively, a flag indicating whether or not to use L0 prediction when the encoding block is not encoded or decoded after the decoding target prediction block and cannot be used, or when the prediction mode PredMode of the prediction block N is intra prediction (MODE_INTRA). predFlagL0 [xN] [yN],
Flags predFlagL1 [xN] [yN] indicating whether to use the L1 prediction of the prediction block N are both 0
It is. Here, xN and yN are indexes indicating the position of the upper left pixel of the prediction block N in the picture. When the prediction mode PredMode of the prediction block N is inter prediction (MODE_INTER) and the inter prediction mode is L0 prediction (Pred_L0), the flag predFlagL0 [xN] [yN] indicating whether to use the L0 prediction of the prediction block N is 1 , Flag predFlagL1 [xN] [yN] indicating whether to use L1 prediction is zero. When the inter prediction mode of the prediction block N is L1 prediction (Pred_L1), a flag predFla indicating whether to use the L0 prediction of the prediction block N
gL0 [xN] [yN] is 0, and flag predFlagL1 [xN] [yN] indicating whether to use L1 prediction is 1. When the inter prediction mode of the prediction block N is bi-prediction (Pred_BI), a flag predFlagL0 [xN] [yN] indicating whether to use the L0 prediction of the prediction block N, and a flag predFlagL1 [indicating whether to use the L1 prediction xN] [yN] are both 1.
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0である
場合(ステップS2113のNO)、時間マージ候補のLXの参照インデックスrefIdxLX
Colをデフォルト値の0に設定する(ステップS2115)。
When the flag predFlagLX [xA] [yA] indicating whether or not to perform LX prediction of the prediction block A is 0 (NO in step S2113), the reference index refIdxLX of the LX as a temporal merge candidate
Col is set to a default value of 0 (step S2115).
L0、L1それぞれにおいてステップS2113からステップS2115までの処理を
行い(ステップS2112〜S2116)、本参照インデックス導出処理を終了する。
The processing from step S2113 to step S2115 is performed in each of L0 and L1 (steps S2112 to S2116), and this reference index derivation processing is terminated.
一方、分割インデックスPartIdxが0でない場合(ステップS2104のNO)、続く
ステップS2121の処理をL0、L1それぞれにおいて行う(ステップS2118〜S
2122)。なお、時間マージ候補のL0の参照インデックスを導出する際にはLXはL
0に設定され、L1の参照インデックスを導出する際にはLXはL1に設定される。ただ
し、スライスタイプslice_typeがPスライスの場合、インター予測モードとしてL0予測
(Pred_L0)だけがあり、L1予測(Pred_L1)、双予測(Pred_BI)がないので、L1に
纏わる処理を省略することができる。
On the other hand, when the division index PartIdx is not 0 (NO in step S2104), the subsequent processing in step S2121 is performed in each of L0 and L1 (steps S2118 to S2).
2122). Note that LX is L when deriving the reference index of L0 as a temporal merge candidate.
LX is set to L1 when the L1 reference index is derived. However, when the slice type slice_type is a P slice, only the L0 prediction (Pred_L0) is provided as the inter prediction mode, and there is no L1 prediction (Pred_L1) and bi-prediction (Pred_BI). Therefore, the processing related to L1 can be omitted.
時間マージ候補のLXの参照インデックスrefIdxLXColをデフォルト値の0に設定する
(ステップS2121)。
The LX reference index refIdxLXCol of the time merge candidate is set to a default value of 0 (step S2121).
L0、L1それぞれにおいてステップS2121までの処理を行い(ステップS211
8〜S2122)、本参照インデックス導出処理を終了する。
The processing up to step S2121 is performed in each of L0 and L1 (step S211).
8-S2122), this reference index derivation process is terminated.
なお、実施例8においては導出対象の予測ブロックの左辺に近接する予測ブロックを参
照するかどうかを切り替えたが、左辺に近接する予測ブロックの代わりに上辺に近接する
予測ブロックを参照するかどうかを切り替えてもよい。
In the eighth embodiment, whether or not to refer to the prediction block close to the left side of the prediction block to be derived is switched, but whether or not to refer to the prediction block close to the upper side instead of the prediction block close to the left side is determined. You may switch.
また、本実施の形態においては、符号化ブロックの分割モード(PartMode)がN×N分
割(PART_NxN)を定義しないものとしているが、N×N分割(PART_NxN)を定義すること
もできる。符号化ブロックの分割モード(PartMode)がN×N分割(PART_NxN)において
も、処理対象の符号化ブロックに含まれる予測ブロックの時間マージ候補の参照インデッ
クスを導出する際には、処理対象の予測ブロックに含まれる符号化ブロックと同じ符号化
ブロックに含まれる近接する予測ブロックを参照せずに導出することで、分割インデック
スPartIdxが0、1、2、3の4つの予測ブロックの時間マージ候補の参照インデックス
をそれぞれ並列に導出することができる。
In the present embodiment, the partition mode (PartMode) of the encoded block does not define N × N partition (PART_NxN), but N × N partition (PART_NxN) can also be defined. Even when the coding block partition mode (PartMode) is N × N partition (PART_NxN), when deriving the reference index of the prediction block temporal merge candidate included in the processing target coding block, the processing target prediction block By deriving without referring to adjacent prediction blocks included in the same encoding block as the encoding block included in the reference block, reference to temporal merge candidates of four prediction blocks whose partition index PartIdx is 0, 1, 2, 3 Each index can be derived in parallel.
例えば、N×N分割(PART_NxN)では、近接する予測ブロックを参照せず、時間マージ
候補のLXの参照インデックスをデフォルト値の0に設定する。導出対象の予測ブロック
に近接する予測ブロックを参照しないので、分割インデックスPartIdxが0、1、2、3
の4つの予測ブロックの時間マージ候補の参照インデックスをそれぞれ並列に導出するこ
とができる。
For example, in N × N division (PART_NxN), adjacent reference blocks are not referenced, and the LX reference index of the temporal merge candidate is set to a default value of 0. Since the prediction block adjacent to the prediction block to be derived is not referenced, the partition index PartIdx is 0, 1, 2, 3
The reference indexes of the temporal merge candidates of the four prediction blocks can be derived in parallel.
または、近接ブロックの参照インデックスを参照して、時間マージ候補の参照インデッ
クスを導出することもできる。図33はN×N分割(PART_NxN)の符号化ブロックの時間
マージ候補の参照インデックスの導出処理において参照する近接ブロックを説明する図で
ある。
Alternatively, the reference index of the temporal merge candidate can be derived by referring to the reference index of the neighboring block. FIG. 33 is a diagram for explaining adjacent blocks to be referred to in the process of deriving the reference index of the temporal merge candidate of the N × N division (PART_NxN) encoded block.
図33(a)に示すように、導出対象の分割インデックスPartIdxが0の予測ブロック
では左に近接する予測ブロックA0を参照し、時間マージ候補のLXの参照インデックス
を予測ブロックA0のLXの参照インデックスの値に設定する。導出対象の分割インデッ
クスPartIdxが1の予測ブロックでは上に近接する予測ブロックB1を参照し、時間マー
ジ候補のLXの参照インデックスを予測ブロックB1のLXの参照インデックスの値に設
定する。導出対象の分割インデックスPartIdxが2の予測ブロックでは左に近接する予測
ブロックA2を参照し、時間マージ候補のLXの参照インデックスを予測ブロックA2の
LXの参照インデックスの値に設定する。導出対象の分割インデックスPartIdxが3の予
測ブロックでは近接する予測ブロックを参照せず、時間マージ候補のLXの参照インデッ
クスをデフォルト値の0に設定する。処理対象の予測ブロックの左に近接する予測ブロッ
クA0、A2、上に近接する予測ブロックB1が共に符号化ブロック外にあるので、分割
インデックスPartIdxが0、1、2、3の4つの予測ブロックの時間マージ候補の参照イ
ンデックスをそれぞれ並列に導出することができる。
As shown in FIG. 33 (a), in the prediction block whose partitioning index PartIdx to be derived is 0, the prediction block A0 adjacent to the left is referred to, and the LX reference index of the prediction block A0 is used as the LX reference index of the temporal merge candidate. Set to the value of. In a prediction block whose partition index PartIdx to be derived is 1, the prediction block B1 that is close to the top is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block B1. In a prediction block with a partition index PartIdx of 2 to be derived, the prediction block A2 adjacent to the left is referred to, and the LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A2. In a prediction block whose partitioning index PartIdx to be derived is 3, the adjacent prediction block is not referred to, and the LX reference index of the temporal merge candidate is set to a default value of 0. Since the prediction blocks A0 and A2 adjacent to the left of the prediction block to be processed and the prediction block B1 adjacent above are both outside the coding block, the four prediction blocks whose division index PartIdx is 0, 1, 2, 3 Reference indices for temporal merge candidates can be derived in parallel.
または、図33(b)に示すように、導出対象の分割インデックスPartIdxが0の予測
ブロックでは左に近接する予測ブロックA0を参照し、時間マージ候補のLXの参照イン
デックスを予測ブロックA0のLXの参照インデックスの値に設定する。導出対象の分割
インデックスPartIdxが2の予測ブロックでは左に近接する予測ブロックA2を参照し、
時間マージ候補のLXの参照インデックスを予測ブロックA2のLXの参照インデックス
の値に設定する。導出対象の分割インデックスPartIdxが1または3の予測ブロックでは
近接する予測ブロックを参照せず、時間マージ候補のLXの参照インデックスをデフォル
ト値の0に設定する。処理対象の予測ブロックの左に近接する予測ブロックA0、A2が
共に符号化ブロック外にあるので、分割インデックスPartIdxが0、1、2、3の4つの
予測ブロックの時間マージ候補の参照インデックスをそれぞれ並列に導出することができ
る。
Alternatively, as shown in FIG. 33 (b), in the prediction block whose partitioning index PartIdx to be derived is 0, the prediction block A0 adjacent to the left is referred to, and the LX reference index of the temporal merge candidate is set to the LX of the prediction block A0. Set to the value of the reference index. In a prediction block whose partition index PartIdx to be derived is 2, refer to the prediction block A2 adjacent to the left,
The LX reference index of the temporal merge candidate is set to the value of the LX reference index of the prediction block A2. In the prediction block whose partition index PartIdx to be derived is 1 or 3, the adjacent prediction block is not referred to, and the reference index of the LX that is the temporal merge candidate is set to 0 as a default value. Since both the prediction blocks A0 and A2 adjacent to the left of the prediction block to be processed are outside the encoding block, the reference indexes of the temporal merge candidates of the four prediction blocks whose division indexes PartIdx are 0, 1, 2, and 3 are respectively set. It can be derived in parallel.
または、図33(c)に示すように、処理対象の符号化ブロックの左に近接する予測ブ
ロックAを参照し、時間マージ候補のLXの参照インデックスを予測ブロックAのLXの
参照インデックスの値に設定する。処理対象の符号化ブロックの左に近接する予測ブロッ
クAが符号化ブロック外にあるので、分割インデックスPartIdxが0、1、2、3の4つ
の予測ブロックの時間マージ候補の参照インデックスをそれぞれ並列に導出することがで
きる。
Alternatively, as illustrated in FIG. 33C, the prediction block A adjacent to the left of the processing target coding block is referred to, and the LX reference index of the temporal merge candidate is changed to the value of the LX reference index of the prediction block A. Set. Since the prediction block A adjacent to the left of the coding block to be processed is outside the coding block, the reference indexes of the temporal merge candidates of the four prediction blocks whose division indexes PartIdx are 0, 1, 2, and 3 are respectively parallel. Can be derived.
または、図33(d)に示すように、導出対象の分割インデックスPartIdxが0の予測
ブロックでは左に近接する予測ブロックA0を参照し、時間マージ候補のLXの参照イン
デックスを予測ブロックA0のLXの参照インデックスの値に設定する。導出対象の分割
インデックスPartIdxが0以外(PartIdxが1,2または3)の予測ブロックでは近接する
予測ブロックを参照せず、時間マージ候補のLXの参照インデックスをデフォルト値の0
に設定する。処理対象の予測ブロックの左に近接する予測ブロックA0符号化ブロック外
にあるので、分割インデックスPartIdxが0、1、2、3の4つの予測ブロックの時間マ
ージ候補の参照インデックスをそれぞれ並列に導出することができる。
Alternatively, as shown in FIG. 33 (d), in the prediction block whose partitioning index PartIdx to be derived is 0, the prediction block A0 that is adjacent to the left is referred to, and the LX reference index of the temporal merge candidate is set to the LX of the prediction block A0. Set to the value of the reference index. In the prediction block whose partitioning index PartIdx to be derived is other than 0 (PartIdx is 1, 2 or 3), the adjacent prediction block is not referred to, and the LX reference index of the temporal merge candidate is the default value of 0.
Set to. Since it is outside the prediction block A0 coding block adjacent to the left of the prediction block to be processed, the reference indexes of the temporal merge candidates of the four prediction blocks whose division indexes PartIdx are 0, 1, 2, and 3 are respectively derived in parallel. be able to.
次に、図18のステップS203の異なる時間のピクチャのインター予測情報を用いる
マージ候補の導出方法について詳細に説明する。図34は図18のステップS203の時
間マージ候補導出処理手順を説明するフローチャートである。
Next, the merge candidate derivation method using inter prediction information of pictures at different times in step S203 in FIG. 18 will be described in detail. FIG. 34 is a flowchart for explaining the time merge candidate derivation processing procedure in step S203 of FIG.
まず、スライスタイプslice_typeと前述のフラグcollocated_from_l0_flagにより、異
なる時間のピクチャcolPicを導出する(ステップS3101)。
First, a picture colPic at a different time is derived from the slice type slice_type and the above-described flag collocated_from_l0_flag (step S3101).
図35は図34のステップS3101の異なる時間のピクチャcolPicの導出処理手順を
説明するフローチャートである。スライスタイプslice_typeがBスライスで、前述のフラ
グcollocated_from_l0_flagが0の場合(ステップS3201のYES、ステップS32
02のYES)、RefPicList1[0]、すなわち参照リストL1の参照インデックスが0のピ
クチャが異なる時間のピクチャcolPicとなる(ステップS3203)。そうでない場合、
すなわちスライスタイプslice_typeがBスライスで前述のフラグcollocated_from_l0_fla
gが1の場合(ステップS3201のYES、ステップS3202のNO)、またはスラ
イスタイプslice_typeがPスライスの場合(ステップS3201のNO、S3204のY
ES)、RefPicList0[0]、すなわち参照リストL0の参照インデックスが0のピクチャが
異なる時間のピクチャcolPicとなる(ステップS3205)。
FIG. 35 is a flowchart for explaining the procedure for deriving the picture colPic at different times in step S3101 of FIG. When the slice type slice_type is a B slice and the aforementioned flag collocated_from_l0_flag is 0 (YES in step S3201, step S32)
02)), RefPicList1 [0], that is, the picture colPic of the reference list L1 whose reference index is 0 becomes a different time picture colPic (step S3203). If not,
That is, the slice type slice_type is B slice and the aforementioned flag collocated_from_l0_fla
If g is 1 (YES in step S3201, NO in step S3202), or if the slice type slice_type is a P slice (NO in step S3201, Y in S3204)
ES), RefPicList0 [0], that is, the picture colPic of the reference list L0 with the
次に、図34のフローチャートに戻り、異なる時間の予測ブロックcolPUを導出し、符
号化情報を取得する(ステップS3102)。
Next, returning to the flowchart of FIG. 34, a prediction block colPU at a different time is derived, and encoded information is acquired (step S3102).
図36は図34のステップS3102の異なる時間のピクチャcolPicの予測ブロックco
lPUの導出処理手順を説明するフローチャートである。
FIG. 36 shows a prediction block co of a picture colPic at different times in step S3102 of FIG.
It is a flowchart explaining the derivation | leading-out process procedure of lPU.
まず、異なる時間のピクチャcolPic内で処理対象の予測ブロックと同一位置の右下(外
側)に位置する予測ブロックを異なる時間の予測ブロックcolPUとする(ステップS33
01)。この予測ブロックは図9の予測ブロックT0に相当する。
First, a prediction block located at the lower right (outside) of the same position as a processing target prediction block in a picture colPic at a different time is set as a prediction block colPU at a different time (step S33).
01). This prediction block corresponds to the prediction block T0 in FIG.
次に、異なる時間の予測ブロックcolPUの符号化情報を取得する(ステップS3302
)。異なる時間の予測ブロックcolPUのPredModeが利用できないか、異なる時間の予測ブ
ロックcolPUの予測モードPredModeがイントラ予測(MODE_INTRA)である場合(ステップ
S3303のYES、ステップS3304のYES)、異なる時間のピクチャcolPic内で
処理対象の予測ブロックと同一位置の中央左上に位置する予測ブロックを異なる時間の予
測ブロックcolPUとする(ステップS3305)。この予測ブロックは図9の予測ブロッ
クT1に相当する。
Next, the encoding information of the prediction block colPU at different times is acquired (step S3302).
). When PredMode of a prediction block colPU at a different time cannot be used, or when the prediction mode PredMode of a prediction block colPU at a different time is intra prediction (MODE_INTRA) (YES in step S3303, YES in step S3304), the picture colPic in a different time The prediction block located in the upper left center of the same position as the processing target prediction block is set as a prediction block colPU at a different time (step S3305). This prediction block corresponds to the prediction block T1 in FIG.
次に、図34のフローチャートに戻り、符号化または復号対象の予測ブロックと同位置
の他ピクチャの予測ブロックから導出されるL0の予測動きベクトルmvL0Colと時間マー
ジ候補Colが有効か否かを示すフラグavailableFlagL0Colを導出するとともに(ステッ
プS3103)、L1の予測動きベクトルmvL1Colと時間マージ候補Colが有効か否か
を示すフラグavailableFlagL1Colを導出する。さらに、フラグavailableFlagL0Col また
はフラグavailableFlagL1Colが1の場合に、時間マージ候補Colが有効か否かを示すフ
ラグavailableFlagColを1に設定する。
Next, returning to the flowchart of FIG. 34, a flag indicating whether the prediction motion vector mvL0Col of L0 derived from the prediction block of another picture at the same position as the prediction block to be encoded or decoded and the temporal merge candidate Col are valid. In addition to deriving availableFlagL0Col (step S3103), a flag availableFlagL1Col indicating whether the prediction motion vector mvL1Col of L1 and the temporal merge candidate Col are valid is derived. Further, when the flag availableFlagL0Col or the flag availableFlagL1Col is 1, a flag availableFlagCol indicating whether the time merge candidate Col is valid is set to 1.
図37は図34のステップS3103、ステップS3104の時間マージ候補のインタ
ー予測情報の導出処理手順を説明するフローチャートである。L0またはL1で、時間マ
ージ候補の導出対象のリストをLXとし、LXを用いた予測をLX予測とする。以下、断
りのない限り、この意味で用いる。時間マージ候補のL0の導出処理であるステップS3
103として呼び出される際には、LXがL0となり、時間マージ候補のL1の導出処理
であるステップS3104として呼び出される際には、LXがL1となる。
FIG. 37 is a flowchart for explaining the procedure for deriving inter prediction information of the temporal merge candidate in steps S3103 and S3104 in FIG. In L0 or L1, the list of time merge candidate derivation targets is LX, and the prediction using LX is LX prediction. Hereinafter, unless otherwise noted, this meaning is used. Step S3 which is a process for deriving L0 as a time merge candidate
LX becomes L0 when called as 103, and LX becomes L1 when called as step S3104, which is a process for deriving L1 as a time merge candidate.
異なる時間の予測ブロックcolPUの予測モードPredModeがイントラ予測(MODE_INTRA)
か、利用できない場合(ステップS3401のNO、ステップS3402のNO)、フラ
グavailableFlagLXColとフラグpredFlagLXColを共に0とし(ステップS3403)、動
きベクトルmvLXColを(0,0)として(ステップS3404)、本時間マージ候補のイ
ンター予測情報の導出処理を終了する。
PredMode PredMode of prediction block colPU at different time is intra prediction (MODE_INTRA)
If not available (NO in step S3401 and NO in step S3402), both the flag availableFlagLXCol and the flag predFlagLXCol are set to 0 (step S3403), the motion vector mvLXCol is set to (0, 0) (step S3404), and this time merge candidate This completes the inter prediction information derivation process.
予測ブロックcolPUが利用できて予測モードPredModeがイントラ予測(MODE_INTRA)で
ない場合(ステップS3401のYES、ステップS3402のYES)、以下の手順で
mvColとrefIdxColとavailableFlagColを導出する。
When the prediction block colPU can be used and the prediction mode PredMode is not intra prediction (MODE_INTRA) (YES in step S3401 and YES in step S3402), the following procedure is performed.
Derives mvCol, refIdxCol, and availableFlagCol.
予測ブロックcolPUのL0予測が利用されているかどうかを示すフラグPredFlagL0[xPCo
l][yPCol]が0の場合(ステップS3405のYES)、予測ブロックcolPUの予測モード
はPred_L1であるので、動きベクトルmvColが予測ブロックcolPUのL1の動きベクトルで
あるMvL1[xPCol][yPCol]と同じ値に設定され(ステップS3406)、参照インデックス
refIdxColがL1の参照インデックスRefIdxL1[xPCol][yPCol]と同じ値に設定され(ステ
ップS3407)、リストListColがL1に設定される(ステップS3408)。ここで
、xPCol、yPColは異なる時間のピクチャcolPic内での予測ブロックcolPUの左上の画素の
位置を示すインデックスである。
Flag PredFlagL0 [xPCo indicating whether L0 prediction of prediction block colPU is used
When l] [yPCol] is 0 (YES in step S3405), since the prediction mode of the prediction block colPU is Pred_L1, the motion vector mvCol is MvL1 [xPCol] [yPCol], which is the L1 motion vector of the prediction block colPU. Set to the same value (step S3406), reference index
refIdxCol is set to the same value as the reference index RefIdxL1 [xPCol] [yPCol] of L1 (step S3407), and the list ListCol is set to L1 (step S3408). Here, xPCol and yPCol are indexes indicating the position of the upper left pixel of the prediction block colPU in the picture colPic at different times.
一方、予測ブロックcolPUのL0予測フラグPredFlagL0[xPCol][yPCol]が0でない場合
(図37のステップS3405のNO)、予測ブロックcolPUのL1予測フラグPredFlagL
1[xPCol][yPCol]が0かどうかを判定する。予測ブロックcolPUのL1予測フラグPredFlag
L1[xPCol][yPCol]が0の場合(ステップS3409のYES)、動きベクトルmvColが予
測ブロックcolPUのL0の動きベクトルであるMvL0[xPCol][yPCol]と同じ値に設定され(
ステップS3410)、参照インデックスrefIdxColがL0の参照インデックスRefIdxL0[
xPCol][yPCol]と同じ値に設定され(ステップS3411)、リストListColがL0に設定
される(ステップS3412)。
On the other hand, when the L0 prediction flag PredFlagL0 [xPCol] [yPCol] of the prediction block colPU is not 0 (NO in step S3405 in FIG. 37), the L1 prediction flag PredFlagL of the prediction block colPU.
Determine whether 1 [xPCol] [yPCol] is 0 or not. L1 prediction flag PredFlag of prediction block colPU
When L1 [xPCol] [yPCol] is 0 (YES in step S3409), the motion vector mvCol is set to the same value as MvL0 [xPCol] [yPCol], which is the L0 motion vector of the prediction block colPU (
Step S3410), the reference index RefIdxL0 [
xPCol] [yPCol] is set to the same value (step S3411), and the list ListCol is set to L0 (step S3412).
予測ブロックcolPUのL0予測フラグPredFlagL0[xPCol][yPCol]と予測ブロックcolPUの
L1予測フラグPredFlagL1[xPCol][yPCol]が共に0でない場合(ステップS3405のN
O、ステップS3409のNO)、予測ブロックcolPUのインター予測モードは双予測(P
red_BI)であるので、L0、L1の2つの動きベクトルから、一方を選択する(ステップ
S3413)。
When both the L0 prediction flag PredFlagL0 [xPCol] [yPCol] of the prediction block colPU and the L1 prediction flag PredFlagL1 [xPCol] [yPCol] of the prediction block colPU are not 0 (N in step S3405)
O, NO in step S3409), the inter prediction mode of the prediction block colPU is bi-prediction (P
red_BI), one of the two motion vectors L0 and L1 is selected (step S3413).
図38は予測ブロックcolPUのインター予測モードが双予測(Pred_BI)のときの時間マ
ージ候補のインター予測情報の導出処理手順を示すフローチャートである。
FIG. 38 is a flowchart illustrating a procedure for deriving inter prediction information of temporal merge candidates when the inter prediction mode of the prediction block colPU is bi-prediction (Pred_BI).
まず、すべての参照リストに登録されているすべてのピクチャのPOCが現在の符号化
または復号対象ピクチャのPOCより小さいかどうかを判定し(ステップS3501)、
予測ブロックcolPUのすべての参照リストであるL0及びL1に登録されているすべての
ピクチャのPOCが現在の符号化または復号対象ピクチャのPOCより小さい場合で(ス
テップS3501のYES)、LXがL0、即ち符号化または復号対象ピクチャのL0の
動きベクトルの予測ベクトル候補を導出している場合(ステップS3502のYES)、
予測ブロックcolPUのL0の方のインター予測情報を選択し、LXがL1、即ち符号化ま
たは復号対象ピクチャのL1の動きベクトルの予測ベクトル候補を導出している場合(ス
テップS3502のNO)、予測ブロックcolPUのL1の方のインター予測情報を選択す
る。一方、予測ブロックcolPUのすべての参照リストL0及びL1に登録されているピク
チャのPOCの少なくとも1つが現在の符号化または復号対象ピクチャのPOCより大き
い場合で(ステップS3501のNO)、フラグcollocated_from_l0_flagが0の場合(
ステップS3503のYES)、予測ブロックcolPUのL0の方のインター予測情報を選
択し、フラグcollocated_from_l0_flagが1の場合(ステップS3503のNO)、予測
ブロックcolPUのL1の方のインター予測情報を選択する。
First, it is determined whether the POC of all pictures registered in all reference lists is smaller than the POC of the current encoding or decoding target picture (step S3501).
When the POC of all pictures registered in all reference lists L0 and L1 of the prediction block colPU is smaller than the POC of the current encoding or decoding target picture (YES in step S3501), LX is L0, When the prediction vector candidate of the L0 motion vector of the picture to be encoded or decoded is derived (YES in step S3502),
When the inter prediction information of L0 of the prediction block colPU is selected and LX is L1, that is, the prediction vector candidate of the motion vector of L1 of the picture to be encoded or decoded is derived (NO in step S3502), the prediction block Inter prediction information for L1 of colPU is selected. On the other hand, when at least one of the POCs of pictures registered in all the reference lists L0 and L1 of the prediction block colPU is larger than the POC of the current encoding or decoding target picture (NO in step S3501), the flag collocated_from_l0_flag is 0. in the case of(
In step S3503, the inter prediction information for L0 of the prediction block colPU is selected. When the flag collocated_from_l0_flag is 1 (NO in step S3503), the inter prediction information for L1 of the prediction block colPU is selected.
予測ブロックcolPUのL0の方のインター予測情報を選択する場合(ステップのYES
、ステップS3503のYES)、動きベクトルmvColがMvL0[xPCol][yPCol]と同じ値に
設定され(ステップS3504)、参照インデックスrefIdxColがRefIdxL0[xPCol][yPCol
]と同じ値に設定され(ステップS3505)、リストListColがL0に設定される(ステ
ップS3506)。
When selecting inter prediction information for L0 of the prediction block colPU (YES in step)
In step S3503, YES, the motion vector mvCol is set to the same value as MvL0 [xPCol] [yPCol] (step S3504), and the reference index refIdxCol is set to RefIdxL0 [xPCol] [yPCol.
] Is set to the same value (step S3505), and the list ListCol is set to L0 (step S3506).
予測ブロックcolPUのL1の方のインター予測情報を選択する場合(ステップS250
2のNO、ステップS3503のNO)、動きベクトルmvColがMvL1[xPCol][yPCol]と同
じ値に設定され(ステップS3507)、参照インデックスrefIdxColがRefIdxL1[xPCol]
[yPCol]と同じ値に設定され(ステップS3508)、リストListColがL1に設定される
(ステップS3509)。
When selecting inter prediction information of L1 of the prediction block colPU (step S250)
2 NO, step S3503 NO), the motion vector mvCol is set to the same value as MvL1 [xPCol] [yPCol] (step S3507), and the reference index refIdxCol is RefIdxL1 [xPCol].
The value is set to the same value as [yPCol] (step S3508), and the list ListCol is set to L1 (step S3509).
図37に戻り、予測ブロックcolPUからインター予測情報が取得できたらフラグavailab
leFlagLXColとフラグpredFlagLXColを共に1とする(ステップS3414)。
Returning to FIG. 37, if inter prediction information can be acquired from the prediction block colPU, the flag availab
Both leFlagLXCol and flag predFlagLXCol are set to 1 (step S3414).
続いて、動きベクトルmvColをスケーリングして時間マージ候補のLXの動きベクトルm
vLXColとする(ステップS3415)。この動きベクトルのスケーリング演算処理手順を
図39及び図40を用いて説明する。
Subsequently, the motion vector mvCol is scaled so that the time merge candidate LX motion vector m
It is set as vLXCol (step S3415). The motion vector scaling calculation processing procedure will be described with reference to FIGS. 39 and 40. FIG.
図39は図34のステップS3105の動きベクトルのスケーリング演算処理手順を示
すフローチャートである。
FIG. 39 is a flowchart showing the motion vector scaling calculation processing procedure in step S3105 of FIG.
異なる時間のピクチャcolPicのPOCから、予測ブロックcolPUのリストListColで参照
する参照インデックスrefIdxColに対応する参照ピクチャのPOCを減算してピクチャ間
距離tdを導出する(ステップS3601)。なお、異なる時間のピクチャcolPicよりも
予測ブロックcolPUのリストListColで参照する参照ピクチャのPOCの方が表示順序で前
の場合、ピクチャ間距離tdは正の値となり、異なる時間のピクチャcolPicよりも予測ブ
ロックcolPUのリストListColで参照する参照ピクチャのPOCの方が表示順序で後の場合
、ピクチャ間距離tdは負の値となる。
td=異なる時間のピクチャcolPicのPOC−予測ブロックcolPUのリストListColで
参照する参照ピクチャのPOC
The inter-picture distance td is derived by subtracting the POC of the reference picture corresponding to the reference index refIdxCol referenced in the list ListCol of the prediction block colPU from the POC of the picture colPic at different times (step S3601). Note that when the POC of the reference picture referenced in the list Col of the prediction block colPU is earlier in the display order than the picture colPic at a different time, the inter-picture distance td is a positive value, and the prediction is more accurate than the picture colPic at a different time. When the POC of the reference picture referenced in the list ListCol of the block colPU is later in the display order, the inter-picture distance td becomes a negative value.
td = POC of picture colPic at different time-POC of reference picture referenced by list ListCol of prediction block colPU
現在の符号化または復号対象ピクチャのPOCから図18のステップS202で導出さ
れた時間マージ候補のLXの参照インデックスに対応する参照ピクチャのPOCを減算し
てピクチャ間距離tbを導出する(ステップS3602)。なお、現在の符号化または復
号対象ピクチャよりも現在の符号化または復号対象ピクチャのリストLXで参照する参照
ピクチャの方が表示順序で前の場合、ピクチャ間距離tbは正の値となり、現在の符号化
または復号対象ピクチャのリストLXで参照する参照ピクチャの方が表示順序で後の場合
、ピクチャ間距離tbは負の値となる。
tb=現在の符号化または復号対象ピクチャのPOC−時間マージ候補のLXの参照
インデックスに対応する参照ピクチャのPOC
The inter-picture distance tb is derived by subtracting the POC of the reference picture corresponding to the reference index of the temporal merge candidate LX derived in step S202 of FIG. 18 from the POC of the current encoding or decoding target picture (step S3602). . If the reference picture referenced in the list LX of the current encoding or decoding target picture is earlier than the current encoding or decoding target picture in the display order, the inter-picture distance tb is a positive value. When the reference picture referred to in the encoding or decoding target picture list LX is later in the display order, the inter-picture distance tb is a negative value.
tb = POC of current encoding or decoding target picture—POC of reference picture corresponding to LX reference index of temporal merge candidate
続いて、ピクチャ間距離tdとtbを比較し(ステップS3603)、ピクチャ間距離
tdとtbが等しい場合(ステップS3603のYES)、時間マージ候補のLXの動き
ベクトルmvLXColを動きベクトルmvColと同じ値に設定して(ステップS3604)、本ス
ケーリング演算処理を終了する。
mvLXCol=mvCol
Subsequently, the inter-picture distances td and tb are compared (step S3603). If the inter-picture distances td and tb are equal (YES in step S3603), the LX motion vector mvLXCol as a temporal merge candidate is set to the same value as the motion vector mvCol. After setting (step S3604), the scaling calculation process is terminated.
mvLXCol = mvCol
一方、ピクチャ間距離tdとtbが等しくない場合(ステップS3603のNO)、次
式によりmvColにスケール係数tbまたはtdを乗じることでスケーリング演算処理を行
い(ステップS3605)、スケーリングされた時間マージ候補のLXの動きベクトルmv
LXColを得る。
mvLXCol=tb または td * mvCol
On the other hand, if the inter-picture distances td and tb are not equal (NO in step S3603), scaling calculation processing is performed by multiplying mvCol by the scale factor tb or td according to the following equation (step S3605), and the scaled temporal merge candidate LX motion vector mv
Get LXCol.
mvLXCol = tb or td * mvCol
また、ステップS3605のスケーリング演算を整数精度の演算で行う場合の例を図4
0に示す。図40のステップS3606〜ステップS3608の処理が、図39のステッ
プS3605の処理に相当する。
In addition, an example in which the scaling operation in step S3605 is performed with integer precision operation is shown in FIG.
0. The processing in steps S3606 to S3608 in FIG. 40 corresponds to the processing in step S3605 in FIG.
まず、図39のフローチャートと同様に、ピクチャ間距離tdとピクチャ間距離tbを
導出する(ステップS3601、ステップS3602)。
First, similarly to the flowchart of FIG. 39, the inter-picture distance td and the inter-picture distance tb are derived (steps S3601 and S3602).
続いて、ピクチャ間距離tdとtbを比較し(ステップS3603)、ピクチャ間距離
tdとtbが等しい場合(ステップS3603のYES)、図39のフローチャートと同
様に、時間マージ候補のLXの動きベクトルmvLXColを動きベクトルmvColと同じ値に設定
して(ステップS3604)、本スケーリング演算処理を終了する。
mvLXCol=mvCol
Subsequently, the inter-picture distances td and tb are compared (step S3603). If the inter-picture distances td and tb are equal (YES in step S3603), the LX motion vector mvLXCol that is the temporal merge candidate is similar to the flowchart of FIG. Is set to the same value as the motion vector mvCol (step S3604), and this scaling calculation process is terminated.
mvLXCol = mvCol
一方、ピクチャ間距離tdとtbが等しくない場合(ステップS3603のNO)、次
式により変数txを導出する(ステップS3606)。
tx = ( 16384 + Abs( td または 2 ) ) または td
On the other hand, if the inter-picture distances td and tb are not equal (NO in step S3603), a variable tx is derived from the following equation (step S3606).
tx = (16384 + Abs (td or 2)) or td
続いて、次式によりスケール係数DistScaleFactorを導出する(ステップS3607)
。
DistScaleFactor = ( tb * tx + 32 ) >> 6
Subsequently, the scale coefficient DistScaleFactor is derived from the following equation (step S3607).
.
DistScaleFactor = (tb * tx + 32) >> 6
続いて、次式により、スケーリングされた時間マージ候補のLXの動きベクトルmvLXCo
lを得る(ステップS3608)。
mvLXCol = ClipMv( Sign( DistScaleFactor * mvCol ) * ( (Abs( DistScaleFactor *
mvCol ) + 127 ) >> 8 ) )
Subsequently, the LX motion vector mvLXCo of the scaled temporal merge candidate by the following equation:
l is obtained (step S3608).
mvLXCol = ClipMv (Sign (DistScaleFactor * mvCol) * ((Abs (DistScaleFactor *
mvCol) + 127) >> 8))
次に、図18のステップS204のマージ候補をマージ候補リストに登録し、マージ候
補リストを構築する方法について詳細に説明する。図41はマージ候補リストの構築処理
手順を示すフローチャートである。本方式では、優先順位をつけて、優先順位の高いもの
からマージ候補リストmergeCandListにマージ候補を登録することで、マージインデック
スmerge_idx[x0][y0]の符号量を削減する。優先順位の高い要素をマージ候補リストの前
方に配置することで、符号量を削減する。例えば、マージ候補リストmergeCandListの要
素が5個の場合、マージ候補リストのインデックス0を「0」、インデックス1を「10
」、インデックス2を「110」、インデックス3を「1110」、インデックス4を「
11110」とすることで、インデックス0を表す符号量が1ビットとなり、インデック
ス0に発生頻度が高いと考えられる要素を登録することで、符号量を削減する。
Next, a method for registering the merge candidates in step S204 of FIG. 18 in the merge candidate list and constructing the merge candidate list will be described in detail. FIG. 41 is a flowchart showing a merge candidate list construction processing procedure. In this method, priorities are assigned, and merge candidates are registered in the merge candidate list mergeCandList in descending order of priority, thereby reducing the code amount of the merge index merge_idx [x0] [y0]. The amount of codes is reduced by placing elements with higher priorities in front of the merge candidate list. For example, when there are five elements in the merge candidate list mergeCandList, the
",
By setting “11110”, the code amount representing the
マージ候補リストmergeCandListはリスト構造を成し、マージ候補リスト内部の所在を
示すマージインデックスと、インデックスに対応するマージ候補を要素として格納する記
憶領域が設けられている。マージインデックスの数字は0から開始され、マージ候補リス
トmergeCandListの記憶領域に、マージ候補が格納される。以降の処理では、マージ候補
リストmergeCandListに登録されたマージインデックスiのマージ候補となる予測ブロッ
クは、mergeCandList[i]で表すこととし、マージ候補リストmergeCandListとは配列表記
をすることで区別することとする。
The merge candidate list mergeCandList has a list structure, and is provided with a merge index indicating the location within the merge candidate list and a storage area for storing merge candidates corresponding to the index as elements. The number of the merge index starts from 0, and merge candidates are stored in the storage area of the merge candidate list mergeCandList. In the subsequent processing, a prediction block that is a merge candidate of the merge index i registered in the merge candidate list mergeCandList is represented by mergeCandList [i], and is distinguished from the merge candidate list mergeCandList by array notation. To do.
まず、availableFlagAが1の場合(ステップS4101のYES)、マージ候補リスト
mergeCandListの先頭にマージ候補Aを登録する(ステップS4102)。
続いて、availableFlagBが1の場合(ステップS4103のYES)、マージ候補リス
トmergeCandListの最後にマージ候補Bを登録する(ステップS4104)。
続いて、availableFlagCが1の場合(ステップS4105のYES)、マージ候補リス
トmergeCandListの最後にマージ候補Cを登録する(ステップS4106)。
続いて、availableFlagDが1の場合(ステップS4107のYES)、マージ候補リス
トmergeCandListの最後にマージ候補Dを登録する(ステップS4108)。
続いて、availableFlagEが1の場合(ステップS4109のYES)、マージ候補リス
トmergeCandListの最後にマージ候補Eを登録する(ステップS4110)。
続いて、availableFlagColが1の場合(ステップS4109のYES)、マージ候補リ
ストmergeCandListの最後にマージ候補Colを登録する(ステップS4110)。
First, when availableFlagA is 1 (YES in step S4101), a merge candidate list
Merge candidate A is registered at the head of mergeCandList (step S4102).
Subsequently, when availableFlagB is 1 (YES in step S4103), merge candidate B is registered at the end of the merge candidate list mergeCandList (step S4104).
Subsequently, when availableFlagC is 1 (YES in step S4105), the merge candidate C is registered at the end of the merge candidate list mergeCandList (step S4106).
Subsequently, when availableFlagD is 1 (YES in step S4107), the merge candidate D is registered at the end of the merge candidate list mergeCandList (step S4108).
Subsequently, when availableFlagE is 1 (YES in step S4109), the merge candidate E is registered at the end of the merge candidate list mergeCandList (step S4110).
Subsequently, when availableFlagCol is 1 (YES in step S4109), the merge candidate Col is registered at the end of the merge candidate list mergeCandList (step S4110).
なお、マージモードにおいて、左に近接する予測ブロックA及び上に近接する予測ブロ
ックBは符号化または復号対象の予測ブロックと一体となる動きになることが多いので、
予測ブロックA、Bのインター予測情報が取得できる場合には、マージ候補A、Bを他の
マージ候補C,D,E,Colよりも優先的にマージ候補リストの前方に登録する。
In the merge mode, the prediction block A adjacent to the left and the prediction block B adjacent to the top often move together with the prediction block to be encoded or decoded.
When the inter prediction information of the prediction blocks A and B can be acquired, the merge candidates A and B are registered ahead of the merge candidate list in preference to the other merge candidates C, D, E, and Col.
図13において、動画像符号化装置のインター予測情報導出部104の符号化情報選択
部136では、マージ候補リストに登録されているマージ候補の中から、マージ候補を選
択し、マージインデックスおよびマージインデックスに対応するマージ候補のインター予
測情報を動き補償予測部105に供給する。
In FIG. 13, the encoding
マージ候補の選択においては、予測方法決定部107と同様の方法を用いることができ
る。それぞれのマージ候補ごとに符号化情報及び残差信号の符号量と予測画像信号と画像
信号との間の符号化歪を導出し、最も少ない発生符号量と符号化歪となるマージ候補が決
定される。それぞれのマージ候補毎にマージモードの符号化情報であるマージインデック
スのシンタックス要素merge_idxのエントロピー符号化を行い、符号化情報の符号量を算
出する。さらに、それぞれのマージ候補毎に動き補償予測部105と同様の方法で各マー
ジ候補のインター予測情報に応じて動き補償した予測画像信号と、画像メモリ101から
供給される符号化対象の画像信号との予測残差信号を符号化した予測残差信号の符号量を
算出する。符号化情報、即ちマージインデックスの符号量と予測残差信号の符号量とが加
算された総発生符号量を算出し評価値とする。
In selecting a merge candidate, the same method as the prediction
また、こうした予測残差信号を符号化後に、歪量評価の為に復号し、符号化により生じ
る元の画像信号との誤差を表す比率として符号化歪が算出される。これら総発生符号量と
符号化歪とをマージ候補毎に比較することで、少ない発生符号量と符号化歪となる符号化
情報が決定される。決定された符号化情報に対応するマージインデックスが、予測ブロッ
ク単位の第2のシンタックスパターンで表されるフラグmerge_idxとして符号化される。
尚、ここで算出される発生符号量は、符号化過程をシミュレートしたものであることが
望ましいが、簡便に近似したり、概算することも可能である。
Further, after encoding such a prediction residual signal, it is decoded for distortion amount evaluation, and the encoding distortion is calculated as a ratio representing an error from the original image signal caused by the encoding. By comparing the total generated code amount and the encoding distortion for each merge candidate, encoding information with a small generated code amount and encoding distortion is determined. A merge index corresponding to the determined encoding information is encoded as a flag merge_idx represented by a second syntax pattern in units of prediction blocks.
The generated code amount calculated here is preferably a simulation of the encoding process, but can be approximated or approximated easily.
一方、図14において、動画像符号化装置のインター予測情報導出部205の符号化情
報選択部236では、マージ候補リストに登録されているマージ候補の中から、供給され
たマージインデックスに対応するマージ候補を選択し、マージ候補のインター予測情報を
動き補償予測部206に供給するとともに、符号化情報格納メモリ210に格納する。
On the other hand, in FIG. 14, the encoding
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実
施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォ
ーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータ
フォーマットの符号化ストリームを復号することができる。
The moving image encoded stream output from the moving image encoding apparatus of the embodiment described above has a specific data format so that it can be decoded according to the encoding method used in the embodiment. Therefore, the moving picture decoding apparatus corresponding to the moving picture encoding apparatus can decode the encoded stream of this specific data format.
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有
線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に
適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符
号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネット
ワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ス
トリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
When a wired or wireless network is used to exchange an encoded stream between a moving image encoding device and a moving image decoding device, the encoded stream is converted into a data format suitable for the transmission form of the communication path. It may be transmitted. In that case, a video transmission apparatus that converts the encoded stream output from the video encoding apparatus into encoded data in a data format suitable for the transmission form of the communication channel and transmits the encoded data to the network, and receives the encoded data from the network Then, a moving image receiving apparatus that restores the encoded stream and supplies the encoded stream to the moving image decoding apparatus is provided.
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモ
リと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化デ
ータをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化さ
れた符号化データをネットワークを介して受信する受信部と、受信された符号化データを
バッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動
画像復号装置に提供するパケット処理部とを含む。
The moving image transmitting apparatus is a memory that buffers the encoded stream output from the moving image encoding apparatus, a packet processing unit that packetizes the encoded stream, and transmission that transmits the packetized encoded data via the network. Part. The moving image receiving apparatus generates a coded stream by packetizing the received data, a receiving unit that receives the packetized coded data via a network, a memory that buffers the received coded data, and packet processing. And a packet processing unit provided to the video decoding device.
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置と
して実現することができるのは勿論のこと、ROM(リード・オンリ・メモリ)やフラッ
シュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっ
ても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムを
コンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線
のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送
のデータ放送として提供することも可能である。
The above processing relating to encoding and decoding can be realized as a transmission, storage, and reception device using hardware, and is stored in a ROM (Read Only Memory), a flash memory, or the like. It can also be realized by firmware or software such as a computer. The firmware program and software program can be recorded on a computer-readable recording medium, provided from a server through a wired or wireless network, or provided as a data broadcast of terrestrial or satellite digital broadcasting Is also possible.
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構
成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例
も本発明の範囲にあることは当業者に理解されるところである。
The present invention has been described based on the embodiments. The embodiments are exemplifications, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. .
101 画像メモリ、 102 動きベクトル検出部、 103 差分動きベクトル算
出部、 104 インター予測情報導出部、 105 動き補償予測部、 106 イン
トラ予測部、 107 予測方法決定部、 108 残差信号生成部、 109 直交変
換・量子化部、 110 第1の符号化ビット列生成部、 111 第2の符号化ビット
列生成部、 112 多重化部、 130 空間マージ候補生成部、 131 時間マー
ジ候補の参照インデックス導出部、 132 時間マージ候補生成部、 133 マージ
候補登録部、 134 マージ候補同一判定部、 135 マージ候補補充部、 136
符号化情報選択部、 201 分離部、 202 第1符号化ビット列復号部、 20
3 第2符号化ビット列復号部、 204 動きベクトル算出部、 205 インター予
測情報導出部、 206 動き補償予測部、 207 イントラ予測部、 208 逆量
子化・逆直交変換部、 209 復号画像信号重畳部、 210 符号化情報格納メモリ
、 211 復号画像メモリ、 230 空間マージ候補生成部、 231 時間マージ
候補の参照インデックス導出部、 232 時間マージ候補生成部、 233 マージ候
補登録部、 234 マージ候補同一判定部、 235 マージ候補補充部、 236
符号化情報選択部。
DESCRIPTION OF
Encoding information selection unit, 201 separation unit, 202 first encoded bit string decoding unit, 20
3 second encoded bit stream decoding unit, 204 motion vector calculation unit, 205 inter prediction information derivation unit, 206 motion compensation prediction unit, 207 intra prediction unit, 208 inverse quantization / inverse orthogonal transform unit, 209 decoded image signal superimposition unit, 210 Coding information storage memory, 211 Decoded image memory, 230 Spatial merge candidate generation unit, 231 Time merge candidate reference index deriving unit, 232 Time merge candidate generation unit, 233 Merge candidate registration unit, 234 Merge candidate identity determination unit, 235 Merge candidate supplement section, 236
Encoding information selection unit.
Claims (6)
復号対象となるピクチャ内の、復号対象となる前記第2のブロックに近接する1以上の第3のブロックのインター予測情報から1以上の第1インター予測情報候補の導出処理を行う第1予測情報導出部と、
前記復号対象となるピクチャとは異なるピクチャ内の、前記復号対象となる前記第2のブロックと同一位置またはその付近に存在する第4のブロックのインター予測情報から第2インター予測情報候補の導出処理を行う第2予測情報導出部と、
前記復号対象となる前記第2のブロックのインター予測に用いるインター予測情報を示すインデックスを復号する復号部と、
前記第1インター予測情報候補が導出された場合には、その導出された前記第1インター予測情報候補を、前記第2インター予測情報候補が導出された場合には、その導出された前記第2インター予測情報候補を、それぞれ加えた所定の予測情報候補からなる予測情報候補リストを構築する候補リスト構築部と、
前記予測情報候補リストにおける前記予測情報候補から、前記インデックスが示す前記復号対象となる前記第2のブロックの前記インター予測に用いるインター予測情報の候補を選択する選択部とを備え、
前記第1予測情報導出部は、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに前記第1インター予測情報候補の導出処理を行うとともに、
前記第2予測情報導出部は、前記第1のブロックを左側のブロックと、右側のブロックとで左右に3:1に分割する分割モードで、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに、参照インデックスの値をデフォルト値として、前記参照インデックスに基づいて、前記第2インター予測情報候補の導出処理を行うことを特徴とする動画像復号装置。 A moving picture decoding apparatus that decodes a coded bit string in which a first block obtained by dividing each picture is divided into one or a plurality of second blocks and a moving picture is coded by inter prediction,
First prediction information for deriving one or more first inter prediction information candidates from inter prediction information of one or more third blocks adjacent to the second block to be decoded in a picture to be decoded A derivation unit;
Derivation process of second inter prediction information candidate from inter prediction information of fourth block existing in the same position as or near the second block to be decoded in a picture different from the picture to be decoded A second prediction information deriving unit that performs
A decoding unit that decodes an index indicating inter prediction information used for inter prediction of the second block to be decoded;
When the first inter prediction information candidate is derived, the derived first inter prediction information candidate is obtained. When the second inter prediction information candidate is derived, the derived second inter prediction information candidate is derived. A candidate list construction unit for constructing a prediction information candidate list composed of predetermined prediction information candidates to which inter prediction information candidates are respectively added;
A selection unit that selects, from the prediction information candidates in the prediction information candidate list, a candidate for inter prediction information used for the inter prediction of the second block to be decoded indicated by the index;
The first prediction information deriving unit does not refer to encoding information of a fifth block included in the same first block as the first block including the second block to be decoded. While performing the derivation process of 1 inter prediction information candidate,
The second prediction information deriving unit includes the second block to be decoded in a division mode in which the first block is divided into left and right blocks by a ratio of 3: 1 to the left and right. The second inter prediction information candidate based on the reference index with a reference index value as a default value without referring to the encoding information of the fifth block included in the same first block as the first block A video decoding device characterized by performing a derivation process.
復号対象となるピクチャ内の、復号対象となる前記第2のブロックに近接する1以上の第3のブロックのインター予測情報から1以上の第1インター予測情報候補の導出処理を行う第1予測情報導出ステップと、
前記復号対象となるピクチャとは異なるピクチャ内の、前記復号対象となる前記第2のブロックと同一位置またはその付近に存在する第4のブロックのインター予測情報から第2インター予測情報候補の導出処理を行う第2予測情報導出ステップと、
前記復号対象となる前記第2のブロックのインター予測に用いるインター予測情報を示すインデックスを復号する復号ステップと、
前記第1インター予測情報候補が導出された場合には、その導出された前記第1インター予測情報候補を、前記第2インター予測情報候補が導出された場合には、その導出された前記第2インター予測情報候補を、それぞれ加えた所定の予測情報候補からなる予測情報候補リストを構築する候補リスト構築ステップと、
前記予測情報候補リストにおける前記予測情報候補から、前記インデックスが示す前記復号対象となる前記第2のブロックの前記インター予測に用いるインター予測情報の候補を選択する選択ステップとを備え、
前記第1予測情報導出ステップは、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに前記第1インター予測情報候補の導出処理を行うとともに、
前記第2予測情報導出ステップは、前記第1のブロックを左側のブロックと、右側のブロックとで左右に3:1に分割する分割モードで、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに、参照インデックスの値をデフォルト値として、前記参照インデックスに基づいて、前記第2インター予測情報候補の導出処理を行うことを特徴とする動画像復号方法。 A moving picture decoding method for decoding a coded bit string in which a first block obtained by dividing each picture is divided into one or a plurality of second blocks and a moving picture is coded by inter prediction,
First prediction information for deriving one or more first inter prediction information candidates from inter prediction information of one or more third blocks adjacent to the second block to be decoded in a picture to be decoded A derivation step;
Derivation process of second inter prediction information candidate from inter prediction information of fourth block existing in the same position as or near the second block to be decoded in a picture different from the picture to be decoded Performing a second prediction information derivation step;
A decoding step of decoding an index indicating inter prediction information used for inter prediction of the second block to be decoded;
When the first inter prediction information candidate is derived, the derived first inter prediction information candidate is obtained. When the second inter prediction information candidate is derived, the derived second inter prediction information candidate is derived. A candidate list construction step of constructing a prediction information candidate list composed of predetermined prediction information candidates to which inter prediction information candidates are added,
A selection step of selecting a candidate for inter prediction information used for the inter prediction of the second block to be decoded indicated by the index from the prediction information candidates in the prediction information candidate list,
In the first prediction information deriving step, the first prediction information deriving step does not refer to the coding information of the fifth block included in the same first block as the first block including the second block to be decoded. While performing the derivation process of 1 inter prediction information candidate,
The second prediction information deriving step includes the second block to be decoded in a division mode in which the first block is divided into left and right blocks by 3: 1 in the left and right blocks. The second inter prediction information candidate based on the reference index with a reference index value as a default value without referring to the encoding information of the fifth block included in the same first block as the first block A moving picture decoding method characterized by performing a derivation process.
復号対象となるピクチャ内の、復号対象となる前記第2のブロックに近接する1以上の第3のブロックのインター予測情報から1以上の第1インター予測情報候補の導出処理を行う第1予測情報導出ステップと、
前記復号対象となるピクチャとは異なるピクチャ内の、前記復号対象となる前記第2のブロックと同一位置またはその付近に存在する第4のブロックのインター予測情報から第2インター予測情報候補の導出処理を行う第2予測情報導出ステップと、
前記復号対象となる前記第2のブロックのインター予測に用いるインター予測情報を示すインデックスを復号する復号ステップと、
前記第1インター予測情報候補が導出された場合には、その導出された前記第1インター予測情報候補を、前記第2インター予測情報候補が導出された場合には、その導出された前記第2インター予測情報候補を、それぞれ加えた所定の予測情報候補からなる予測情報候補リストを構築する候補リスト構築ステップと、
前記予測情報候補リストにおける前記予測情報候補から、前記インデックスが示す前記復号対象となる前記第2のブロックの前記インター予測に用いるインター予測情報の候補を選択する選択ステップと
をコンピュータに実行させ、
前記第1予測情報導出ステップは、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに前記第1インター予測情報候補の導出処理を行うとともに、
前記第2予測情報導出ステップは、前記第1のブロックを左側のブロックと、右側のブロックとで左右に3:1に分割する分割モードで、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに、参照インデックスの値をデフォルト値として、前記参照インデックスに基づいて、前記第2インター予測情報候補の導出処理を行うことを特徴とする動画像復号プログラム。 A moving picture decoding program for decoding a coded bit string in which a first block obtained by dividing each picture is divided into one or a plurality of second blocks and a moving picture is coded by inter prediction,
First prediction information for deriving one or more first inter prediction information candidates from inter prediction information of one or more third blocks adjacent to the second block to be decoded in a picture to be decoded A derivation step;
Derivation process of second inter prediction information candidate from inter prediction information of fourth block existing in the same position as or near the second block to be decoded in a picture different from the picture to be decoded Performing a second prediction information derivation step;
A decoding step of decoding an index indicating inter prediction information used for inter prediction of the second block to be decoded;
When the first inter prediction information candidate is derived, the derived first inter prediction information candidate is obtained. When the second inter prediction information candidate is derived, the derived second inter prediction information candidate is derived. A candidate list construction step of constructing a prediction information candidate list composed of predetermined prediction information candidates to which inter prediction information candidates are added,
Selecting from the prediction information candidates in the prediction information candidate list a selection step of selecting a candidate of inter prediction information used for the inter prediction of the second block to be decoded indicated by the index, and
In the first prediction information deriving step, the first prediction information deriving step does not refer to the coding information of the fifth block included in the same first block as the first block including the second block to be decoded. While performing the derivation process of 1 inter prediction information candidate,
The second prediction information deriving step includes the second block to be decoded in a division mode in which the first block is divided into left and right blocks by 3: 1 in the left and right blocks. The second inter prediction information candidate based on the reference index with a reference index value as a default value without referring to the encoding information of the fifth block included in the same first block as the first block A video decoding program characterized by performing derivation processing.
受信された前記符号化データをパケット処理して符号化ストリームを生成するパケット処理部と、
前記符号化ストリームにおける復号対象となるピクチャ内の、復号対象となる前記第2のブロックに近接する1以上の第3のブロックのインター予測情報から1以上の第1インター予測情報候補の導出処理を行う第1予測情報導出部と、
前記復号対象となるピクチャとは異なるピクチャ内の、前記復号対象となる前記第2のブロックと同一位置またはその付近に存在する第4のブロックのインター予測情報から第2インター予測情報候補の導出処理を行う第2予測情報導出部と、
前記復号対象となる前記第2のブロックのインター予測に用いるインター予測情報を示すインデックスを復号する復号部と、
前記第1インター予測情報候補が導出された場合には、その導出された前記第1インター予測情報候補を、前記第2インター予測情報候補が導出された場合には、その導出された前記第2インター予測情報候補を、それぞれ加えた所定の予測情報候補からなる予測情報候補リストを構築する候補リスト構築部と、
前記予測情報候補リストにおける前記予測情報候補から、前記インデックスが示す前記復号対象となる前記第2のブロックの前記インター予測に用いるインター予測情報の候補を選択する選択部とを備え、
前記第1予測情報導出部は、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに前記第1インター予測情報候補の導出処理を行うとともに、
前記第2予測情報導出部は、前記第1のブロックを左側のブロックと、右側のブロックとで左右に3:1に分割する分割モードで、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに、参照インデックスの値をデフォルト値として、前記参照インデックスに基づいて、前記第2インター予測情報候補の導出処理を行うことを特徴とする受信装置。 A receiving unit that receives encoded data in which an encoded bit string obtained by dividing a first block obtained by dividing each picture into one or a plurality of second blocks and encoding a moving image by inter prediction is packetized. When,
A packet processing unit that packet-processes the received encoded data to generate an encoded stream;
Derivation processing of one or more first inter prediction information candidates from inter prediction information of one or more third blocks adjacent to the second block to be decoded in a picture to be decoded in the encoded stream A first prediction information deriving unit to perform;
Derivation process of second inter prediction information candidate from inter prediction information of fourth block existing in the same position as or near the second block to be decoded in a picture different from the picture to be decoded A second prediction information deriving unit that performs
A decoding unit that decodes an index indicating inter prediction information used for inter prediction of the second block to be decoded;
When the first inter prediction information candidate is derived, the derived first inter prediction information candidate is obtained. When the second inter prediction information candidate is derived, the derived second inter prediction information candidate is derived. A candidate list construction unit for constructing a prediction information candidate list composed of predetermined prediction information candidates to which inter prediction information candidates are respectively added;
A selection unit that selects, from the prediction information candidates in the prediction information candidate list, a candidate for inter prediction information used for the inter prediction of the second block to be decoded indicated by the index;
The first prediction information deriving unit does not refer to encoding information of a fifth block included in the same first block as the first block including the second block to be decoded. While performing the derivation process of 1 inter prediction information candidate,
The second prediction information deriving unit includes the second block to be decoded in a division mode in which the first block is divided into left and right blocks by a ratio of 3: 1 to the left and right. The second inter prediction information candidate based on the reference index with a reference index value as a default value without referring to the encoding information of the fifth block included in the same first block as the first block A receiving apparatus that performs derivation processing.
受信された前記符号化データをパケット処理して符号化ストリームを生成するパケット処理ステップと、
前記符号化ストリームにおける復号対象となるピクチャ内の、復号対象となる前記第2のブロックに近接する1以上の第3のブロックのインター予測情報から1以上の第1インター予測情報候補の導出処理を行う第1予測情報導出ステップと、
前記復号対象となるピクチャとは異なるピクチャ内の、前記復号対象となる前記第2のブロックと同一位置またはその付近に存在する第4のブロックのインター予測情報から第2インター予測情報候補の導出処理を行う第2予測情報導出ステップと、
前記復号対象となる前記第2のブロックのインター予測に用いるインター予測情報を示すインデックスを復号する復号ステップと、
前記第1インター予測情報候補が導出された場合には、その導出された前記第1インター予測情報候補を、前記第2インター予測情報候補が導出された場合には、その導出された前記第2インター予測情報候補を、それぞれ加えた所定の予測情報候補からなる予測情報候補リストを構築する候補リスト構築ステップと、
前記予測情報候補リストにおける前記予測情報候補から、前記インデックスが示す前記復号対象となる前記第2のブロックの前記インター予測に用いるインター予測情報の候補を選択する選択ステップとを備え、
前記第1予測情報導出ステップは、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに前記第1インター予測情報候補の導出処理を行うとともに、
前記第2予測情報導出ステップは、前記第1のブロックを左側のブロックと、右側のブロックとで左右に3:1に分割する分割モードで、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに、参照インデックスの値をデフォルト値として、前記参照インデックスに基づいて、前記第2インター予測情報候補の導出処理を行うことを特徴とする受信方法。 A reception step of receiving encoded data in which a first block obtained by dividing each picture is divided into one or a plurality of second blocks, and a coded bit string obtained by coding a moving image by inter prediction is packetized. When,
A packet processing step of packet-processing the received encoded data to generate an encoded stream;
Derivation processing of one or more first inter prediction information candidates from inter prediction information of one or more third blocks adjacent to the second block to be decoded in a picture to be decoded in the encoded stream A first prediction information deriving step to be performed;
Derivation process of second inter prediction information candidate from inter prediction information of fourth block existing in the same position as or near the second block to be decoded in a picture different from the picture to be decoded Performing a second prediction information derivation step;
A decoding step of decoding an index indicating inter prediction information used for inter prediction of the second block to be decoded;
When the first inter prediction information candidate is derived, the derived first inter prediction information candidate is obtained. When the second inter prediction information candidate is derived, the derived second inter prediction information candidate is derived. A candidate list construction step of constructing a prediction information candidate list composed of predetermined prediction information candidates to which inter prediction information candidates are added,
A selection step of selecting a candidate for inter prediction information used for the inter prediction of the second block to be decoded indicated by the index from the prediction information candidates in the prediction information candidate list,
In the first prediction information deriving step, the first prediction information deriving step does not refer to the coding information of the fifth block included in the same first block as the first block including the second block to be decoded. While performing the derivation process of 1 inter prediction information candidate,
The second prediction information deriving step includes the second block to be decoded in a division mode in which the first block is divided into left and right blocks by 3: 1 in the left and right blocks. The second inter prediction information candidate based on the reference index with a reference index value as a default value without referring to the encoding information of the fifth block included in the same first block as the first block The receiving method characterized by performing the derivation | leading-out process.
受信された前記符号化データをパケット処理して符号化ストリームを生成するパケット処理ステップと、
前記符号化ストリームにおける復号対象となるピクチャ内の、復号対象となる前記第2のブロックに近接する1以上の第3のブロックのインター予測情報から1以上の第1インター予測情報候補の導出処理を行う第1予測情報導出ステップと、
前記復号対象となるピクチャとは異なるピクチャ内の、前記復号対象となる前記第2のブロックと同一位置またはその付近に存在する第4のブロックのインター予測情報から第2インター予測情報候補の導出処理を行う第2予測情報導出ステップと、
前記復号対象となる前記第2のブロックのインター予測に用いるインター予測情報を示すインデックスを復号する復号ステップと、
前記第1インター予測情報候補が導出された場合には、その導出された前記第1インター予測情報候補を、前記第2インター予測情報候補が導出された場合には、その導出された前記第2インター予測情報候補を、それぞれ加えた所定の予測情報候補からなる予測情報候補リストを構築する候補リスト構築ステップと、
前記予測情報候補リストにおける前記予測情報候補から、前記インデックスが示す前記復号対象となる前記第2のブロックの前記インター予測に用いるインター予測情報の候補を選択する選択ステップと
をコンピュータに実行させ、
前記第1予測情報導出ステップは、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに前記第1インター予測情報候補の導出処理を行うとともに、
前記第2予測情報導出ステップは、前記第1のブロックを左側のブロックと、右側のブロックとで左右に3:1に分割する分割モードで、前記復号対象となる前記第2のブロックを含む前記第1のブロックと同じ第1のブロックに含まれる第5のブロックの符号化情報を参照せずに、参照インデックスの値をデフォルト値として、前記参照インデックスに基づいて、前記第2インター予測情報候補の導出処理を行うことを特徴とする受信プログラム。 A reception step of receiving encoded data in which a first block obtained by dividing each picture is divided into one or a plurality of second blocks, and a coded bit string obtained by coding a moving image by inter prediction is packetized. When,
A packet processing step of packet-processing the received encoded data to generate an encoded stream;
Derivation processing of one or more first inter prediction information candidates from inter prediction information of one or more third blocks adjacent to the second block to be decoded in a picture to be decoded in the encoded stream A first prediction information deriving step to be performed;
Derivation process of second inter prediction information candidate from inter prediction information of fourth block existing in the same position as or near the second block to be decoded in a picture different from the picture to be decoded Performing a second prediction information derivation step;
A decoding step of decoding an index indicating inter prediction information used for inter prediction of the second block to be decoded;
When the first inter prediction information candidate is derived, the derived first inter prediction information candidate is obtained. When the second inter prediction information candidate is derived, the derived second inter prediction information candidate is derived. A candidate list construction step of constructing a prediction information candidate list composed of predetermined prediction information candidates to which inter prediction information candidates are added,
Selecting from the prediction information candidates in the prediction information candidate list a selection step of selecting a candidate of inter prediction information used for the inter prediction of the second block to be decoded indicated by the index, and
In the first prediction information deriving step, the first prediction information deriving step does not refer to the coding information of the fifth block included in the same first block as the first block including the second block to be decoded. While performing the derivation process of 1 inter prediction information candidate,
The second prediction information deriving step includes the second block to be decoded in a division mode in which the first block is divided into left and right blocks by 3: 1 in the left and right blocks. The second inter prediction information candidate based on the reference index with a reference index value as a default value without referring to the encoding information of the fifth block included in the same first block as the first block A receiving program characterized by performing derivation processing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014106931A JP5839081B2 (en) | 2011-12-16 | 2014-05-23 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011276457 | 2011-12-16 | ||
JP2011276457 | 2011-12-16 | ||
JP2011289288 | 2011-12-28 | ||
JP2011289288 | 2011-12-28 | ||
JP2014106931A JP5839081B2 (en) | 2011-12-16 | 2014-05-23 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012273315A Division JP5561348B2 (en) | 2011-12-16 | 2012-12-14 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015219484A Division JP6094658B2 (en) | 2011-12-16 | 2015-11-09 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014197863A true JP2014197863A (en) | 2014-10-16 |
JP5839081B2 JP5839081B2 (en) | 2016-01-06 |
Family
ID=49049408
Family Applications (8)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012273315A Active JP5561348B2 (en) | 2011-12-16 | 2012-12-14 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
JP2014106929A Active JP5839080B2 (en) | 2011-12-16 | 2014-05-23 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
JP2014106931A Active JP5839081B2 (en) | 2011-12-16 | 2014-05-23 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
JP2014106930A Withdrawn JP2014207682A (en) | 2011-12-16 | 2014-05-23 | Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program, and reception device, reception method, and reception program |
JP2014106932A Withdrawn JP2014197864A (en) | 2011-12-16 | 2014-05-23 | Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program, and reception device, reception method, and reception program |
JP2015219483A Active JP6094657B2 (en) | 2011-12-16 | 2015-11-09 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
JP2015219484A Active JP6094658B2 (en) | 2011-12-16 | 2015-11-09 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
JP2017023866A Active JP6229806B2 (en) | 2011-12-16 | 2017-02-13 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012273315A Active JP5561348B2 (en) | 2011-12-16 | 2012-12-14 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
JP2014106929A Active JP5839080B2 (en) | 2011-12-16 | 2014-05-23 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
Family Applications After (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014106930A Withdrawn JP2014207682A (en) | 2011-12-16 | 2014-05-23 | Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program, and reception device, reception method, and reception program |
JP2014106932A Withdrawn JP2014197864A (en) | 2011-12-16 | 2014-05-23 | Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program, and reception device, reception method, and reception program |
JP2015219483A Active JP6094657B2 (en) | 2011-12-16 | 2015-11-09 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
JP2015219484A Active JP6094658B2 (en) | 2011-12-16 | 2015-11-09 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
JP2017023866A Active JP6229806B2 (en) | 2011-12-16 | 2017-02-13 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
Country Status (1)
Country | Link |
---|---|
JP (8) | JP5561348B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014197864A (en) * | 2011-12-16 | 2014-10-16 | 株式会社Jvcケンウッド | Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program, and reception device, reception method, and reception program |
US9674545B2 (en) | 2011-12-16 | 2017-06-06 | JVC Kenwood Corporation | Moving picture encoding device, moving picture encoding method and moving picture encoding program, and moving picture decoding device, moving picture decoding method and moving picture decoding program |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116743991A (en) * | 2016-08-03 | 2023-09-12 | 株式会社Kt | Video decoding method, video encoding method, and video data transmission method |
CN118200590A (en) * | 2018-12-27 | 2024-06-14 | 英迪股份有限公司 | Video signal decoding method, video signal encoding method, and video signal bit stream transmission method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011019253A2 (en) * | 2009-08-14 | 2011-02-17 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video in consideration of scanning order of coding units having hierarchical structure, and method and apparatus for decoding video in consideration of scanning order of coding units having hierarchical structure |
WO2012116212A1 (en) * | 2011-02-24 | 2012-08-30 | Qualcomm Incorporated | Hierarchy of motion prediction video blocks |
WO2013067938A1 (en) * | 2011-11-07 | 2013-05-16 | LI, Yingjin | Method of constructing merge list |
WO2013067939A1 (en) * | 2011-11-07 | 2013-05-16 | LI, Yingjin | Method of deriving motion information |
JP5561348B2 (en) * | 2011-12-16 | 2014-07-30 | 株式会社Jvcケンウッド | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
-
2012
- 2012-12-14 JP JP2012273315A patent/JP5561348B2/en active Active
-
2014
- 2014-05-23 JP JP2014106929A patent/JP5839080B2/en active Active
- 2014-05-23 JP JP2014106931A patent/JP5839081B2/en active Active
- 2014-05-23 JP JP2014106930A patent/JP2014207682A/en not_active Withdrawn
- 2014-05-23 JP JP2014106932A patent/JP2014197864A/en not_active Withdrawn
-
2015
- 2015-11-09 JP JP2015219483A patent/JP6094657B2/en active Active
- 2015-11-09 JP JP2015219484A patent/JP6094658B2/en active Active
-
2017
- 2017-02-13 JP JP2017023866A patent/JP6229806B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011019253A2 (en) * | 2009-08-14 | 2011-02-17 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video in consideration of scanning order of coding units having hierarchical structure, and method and apparatus for decoding video in consideration of scanning order of coding units having hierarchical structure |
WO2012116212A1 (en) * | 2011-02-24 | 2012-08-30 | Qualcomm Incorporated | Hierarchy of motion prediction video blocks |
WO2013067938A1 (en) * | 2011-11-07 | 2013-05-16 | LI, Yingjin | Method of constructing merge list |
WO2013067939A1 (en) * | 2011-11-07 | 2013-05-16 | LI, Yingjin | Method of deriving motion information |
JP2014534758A (en) * | 2011-11-07 | 2014-12-18 | インフォブリッジ ピーティーイー. エルティーディー. | How to build a merge list |
JP5561348B2 (en) * | 2011-12-16 | 2014-07-30 | 株式会社Jvcケンウッド | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
JP2014197864A (en) * | 2011-12-16 | 2014-10-16 | 株式会社Jvcケンウッド | Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program, and reception device, reception method, and reception program |
JP2014207681A (en) * | 2011-12-16 | 2014-10-30 | 株式会社Jvcケンウッド | Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program, and reception device, reception method, and reception program |
JP2014207682A (en) * | 2011-12-16 | 2014-10-30 | 株式会社Jvcケンウッド | Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program, and reception device, reception method, and reception program |
Non-Patent Citations (7)
Title |
---|
HIDEKI TAKEHARA AND SHIGERU FUKUSHIMA: "Non-CE9: Merging candidate reordering", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-G181, JPN6014019041, November 2011 (2011-11-01), pages 1 - 16, ISSN: 0003171906 * |
HIROYA NAKAMURA ET AL.: "Non-CE9: Derivation process of reference indices for temporal merging candidates", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-H0199, JPN6014019043, February 2012 (2012-02-01), pages 1 - 10, ISSN: 0003171908 * |
KEN MCCANN ET AL.: "Samsung's Response to the Call for Proposals on Video Compression Technology", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-A124, JPN6015011808, April 2010 (2010-04-01), pages 1 - 12, ISSN: 0003036127 * |
SHAN LIU ET AL.: "Method and syntax for partial CU merge", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-E085, JPN6015019264, March 2011 (2011-03-01), pages 1 - 5, ISSN: 0003171903 * |
YUNFEI ZHENG ET AL.: "Merge Candidate Selection in 2NxN, Nx2N, and NxN Mode", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-F302_r2, JPN6012068666, July 2011 (2011-07-01), pages 1 - 6, ISSN: 0003171905 * |
YUNFEI ZHENG ET AL.: "Non-CE9: Simplified Merge candidate derivation", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-G681_r1, JPN6014019042, November 2011 (2011-11-01), pages 1 - 5, ISSN: 0003171907 * |
YUNFEI ZHENG ET AL.: "Unified Motion Vector Predictor Selection for Merge and AMVP", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-E396, JPN6012068665, March 2011 (2011-03-01), pages 1 - 5, ISSN: 0003171904 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014197864A (en) * | 2011-12-16 | 2014-10-16 | 株式会社Jvcケンウッド | Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program, and reception device, reception method, and reception program |
JP2014207681A (en) * | 2011-12-16 | 2014-10-30 | 株式会社Jvcケンウッド | Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program, and reception device, reception method, and reception program |
JP2014207682A (en) * | 2011-12-16 | 2014-10-30 | 株式会社Jvcケンウッド | Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program, and reception device, reception method, and reception program |
US9674545B2 (en) | 2011-12-16 | 2017-06-06 | JVC Kenwood Corporation | Moving picture encoding device, moving picture encoding method and moving picture encoding program, and moving picture decoding device, moving picture decoding method and moving picture decoding program |
US9743104B2 (en) | 2011-12-16 | 2017-08-22 | JVC Kenwood Corporation | Moving picture encoding device, moving picture encoding method and moving picture encoding program, and moving picture decoding device, moving picture decoding method and moving picture decoding program |
US9906810B2 (en) | 2011-12-16 | 2018-02-27 | JVC Kenwood Corporation | Moving picture decoding device, moving picture decoding method and moving picture decoding program |
US9906809B2 (en) | 2011-12-16 | 2018-02-27 | JVC Kenwood Corporation | Moving picture decoding device, moving picture decoding method and moving picture decoding program |
US9906811B2 (en) | 2011-12-16 | 2018-02-27 | JVC Kenwood Corporation | Moving picture decoding device, moving picture decoding method and moving picture decoding program |
Also Published As
Publication number | Publication date |
---|---|
JP6094658B2 (en) | 2017-03-15 |
JP5839080B2 (en) | 2016-01-06 |
JP5561348B2 (en) | 2014-07-30 |
JP5839081B2 (en) | 2016-01-06 |
JP2016048946A (en) | 2016-04-07 |
JP6094657B2 (en) | 2017-03-15 |
JP2013153423A (en) | 2013-08-08 |
JP2017123666A (en) | 2017-07-13 |
JP2014197864A (en) | 2014-10-16 |
JP2014207681A (en) | 2014-10-30 |
JP6229806B2 (en) | 2017-11-15 |
JP2016048947A (en) | 2016-04-07 |
JP2014207682A (en) | 2014-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013088738A1 (en) | Dynamic image encoding device, dynamic image encoding method, dynamic image encoding program, dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program | |
JP6418300B2 (en) | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program | |
JP6206558B2 (en) | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program | |
JP6229806B2 (en) | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program | |
JP6217820B2 (en) | Moving picture coding apparatus, moving picture coding method, moving picture coding program, transmission apparatus, transmission method, and transmission program | |
JP6376260B2 (en) | Moving picture coding apparatus, moving picture coding method, moving picture coding program, transmission apparatus, transmission method, and transmission program | |
WO2013065301A1 (en) | Video coding device, video coding method, video coding program, transmission device, transmission method, and transmission program, as well as video decoding device, video decoding method, video decoding program, reception device, reception method, and reception program | |
JP2013098733A (en) | Moving image decoder, moving image decoding method and moving image decoding program | |
JP2013102260A (en) | Moving image decoder, moving image decoding method and moving image decoding program | |
JP2013102259A (en) | Moving image encoder, moving image encoding method and moving image encoding program | |
JP2013098732A (en) | Moving image encoder, moving image encoding method and moving image encoding program | |
JP2013118624A (en) | Moving image encoding apparatus, moving image encoding method, moving image encoding program, transmitting apparatus, transmitting method and transmitting program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20150324 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150623 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150717 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151013 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151026 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5839081 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |