JP2020108083A - Image encoding device, image encoding method, and image encoding program - Google Patents
Image encoding device, image encoding method, and image encoding program Download PDFInfo
- Publication number
- JP2020108083A JP2020108083A JP2018247401A JP2018247401A JP2020108083A JP 2020108083 A JP2020108083 A JP 2020108083A JP 2018247401 A JP2018247401 A JP 2018247401A JP 2018247401 A JP2018247401 A JP 2018247401A JP 2020108083 A JP2020108083 A JP 2020108083A
- Authority
- JP
- Japan
- Prior art keywords
- block
- motion vector
- prediction
- unit
- affine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、画像をブロックに分割し、予測を行う画像符号化及び復号技術に関する。 The present invention relates to an image coding and decoding technique that divides an image into blocks and performs prediction.
画像の符号化及び復号では、処理の対象となる画像を所定数の画素の集合であるブロックに分割し、ブロック単位で処理をする。適切なブロックに分割し、画面内予測(イントラ予測)、画面間予測(インター予測)を適切に設定することにより、符号化効率が向上する。 In image encoding and decoding, an image to be processed is divided into blocks, which are a set of a predetermined number of pixels, and processing is performed in block units. By dividing into appropriate blocks and appropriately setting intra-frame prediction (intra prediction) and inter-frame prediction (inter prediction), coding efficiency is improved.
動画像の符号化・復号では、符号化・復号済みのピクチャから予測するインター予測により符号化効率を向上している。特許文献1には、インター予測の際に、アフィン変換を適用する技術が記載されている。動画像では、物体が拡大・縮小、回転といった変形を伴うことは珍しいことではなく、特許文献1の技術を適用することにより、効率的な符号化が可能となる。
In coding/decoding of moving images, coding efficiency is improved by inter prediction that predicts from a coded/decoded picture.
しかしながら、特許文献1の技術は画像の変換を伴うものであるため、処理負荷が多大という課題がある。本発明は上記の課題に鑑み、低負荷で効率的な符号化技術を提供する。
However, since the technique of
上記課題を解決するために、本発明のある態様の画像符号化装置は、符号化対象ブロック以前に符号化した符号化情報を格納する符号化情報格納メモリと、前記符号化対象ブロックより大きなブロックである符号化対象ツリーブロックに含まれている前記符号化対象ブロックに隣接するブロックを隣接ブロックとし、符号化済みの前記隣接ブロックの動きベクトルを前記符号化情報格納メモリから取得し、前記符号化対象ブロックと時間の異なる符号化済みのピクチャにおいて、前記符号化対象ブロックと同一の位置に前記隣接ブロックの動きベクトルを加えた位置を併置ブロックとし、前記併置ブロックにおける動きベクトルを含むサブブロック時間マージ候補を導出するサブブロック時間マージ候補導出部と、前記サブブロック時間マージ候補導出部から導出した前記サブブロック時間マージ候補により、前記符号化対象ブロックの動き補償をする動き補償予測部とを備え、前記サブブロック時間マージ候補導出部は、前記隣接ブロックにおける動きベクトルを取得する際に、前記符号化対象ツリーブロックに含まれる前記隣接ブロックにおける動きベクトルの取得を制限する。 In order to solve the above-mentioned problems, an image coding apparatus according to an aspect of the present invention includes a coding information storage memory that stores coding information coded before a coding target block, and a block larger than the coding target block. A block adjacent to the block to be encoded included in the tree block to be encoded is an adjacent block, a motion vector of the adjacent block that has been encoded is acquired from the encoding information storage memory, and In an encoded picture whose time is different from that of the target block, a position obtained by adding the motion vector of the adjacent block to the same position as the target block to be encoded is a co-located block, and a sub-block time merge including a motion vector in the co-located block is performed. A sub-block time merge candidate derivation unit that derives a candidate, and a motion compensation prediction unit that performs motion compensation of the encoding target block by the sub-block time merge candidate derived from the sub-block time merge candidate derivation unit, The sub-block temporal merge candidate derivation unit limits acquisition of a motion vector in the adjacent block included in the encoding target tree block when acquiring a motion vector in the adjacent block.
本発明によれば、高効率な画像符号化・復号処理を低負荷で実現することができる。 According to the present invention, highly efficient image encoding/decoding processing can be realized with a low load.
本実施の形態において使用する技術、及び技術用語を定義する。 The techniques and technical terms used in this embodiment are defined.
<ツリーブロック>
実施の形態では、所定の大きさで符号化・復号処理対象画像を均等分割する。この単位をツリーブロックと定義する。図4に示す通り、本実施の形態では、ツリーブロックのサイズを128x128画素と設定するが、ツリーブロックのサイズはこれに限定されるものではなく、任意のサイズを設定してよい。処理対象(符号化処理においては符号化対象、復号処理においては復号対象に対応する。)のツリーブロックは、ラスタスキャン順、すなわち左から右、上から下の順序で切り替わる。各ツリーブロックの内部は、さらに再帰的な分割が可能である。ツリーブロック分割後の、符号化・復号の対象となるブロックを符号化ブロックと定義する。また、ツリーブロック、符号化ブロックを総称してブロックと定義する。適切なブロック分割を行うことにより効率的な符号化が可能となる。ツリーブロックのサイズは、符号化装置と復号装置で予め取り決めた固定値とすることもできるし、符号化装置が決定したツリーブロックのサイズを復号装置に伝送するような構成をとることもできる。
<Tree block>
In the embodiment, the encoding/decoding processing target image is equally divided into a predetermined size. This unit is defined as a tree block. As shown in FIG. 4, the size of the tree block is set to 128×128 pixels in the present embodiment, but the size of the tree block is not limited to this, and any size may be set. The tree blocks to be processed (corresponding to the encoding target in the encoding process and the decoding target in the decoding process) are switched in raster scan order, that is, from left to right and from top to bottom. The inside of each tree block can be further recursively divided. A block to be encoded/decoded after the tree block division is defined as an encoded block. Further, the tree block and the coding block are collectively defined as a block. Efficient encoding is possible by performing appropriate block division. The size of the tree block may be a fixed value pre-arranged by the encoding device and the decoding device, or the size of the tree block determined by the encoding device may be transmitted to the decoding device.
<予測モード>
処理対象符号化ブロック単位で、処理対象画像の処理済み(符号化処理においては符号化が完了した信号を復号した画像、画像信号等に用い、復号処理においては復号が完了した画像、予画像信号等に用いる。)の周囲の画像信号から予測を行うイントラ予測(MODE_INTRA)、及び処理済み画像の画像信号から予測を行うインター予測(MODE_INTER)を切り替える。このイントラ予測(MODE_INTRA)とインター予測(MODE_INTER)を識別するモードを予測モード(PredMode)と定義する。予測モード(PredMode)はイントラ予測(MODE_INTRA)、またはインター予測(MODE_INTER)を値として持ち、選択して符号化できる。
<Prediction mode>
Processing target image has been processed in units of processing target coding block (in the coding processing, a signal whose coding has been completed is used as a decoded image, an image signal, etc., and in the decoding processing, a decoding completed image and a preliminary image signal are used. , Etc.) are switched between intra prediction (MODE_INTRA) that performs prediction from image signals around () and inter prediction (MODE_INTER) that performs prediction from image signals of processed images. A mode for identifying the intra prediction (MODE_INTRA) and the inter prediction (MODE_INTER) is defined as a prediction mode (PredMode). The prediction mode (PredMode) has intra prediction (MODE_INTRA) or inter prediction (MODE_INTER) as a value, and can be selected and encoded.
<インター予測>
処理済み画像の画像信号から予測を行うインター予測では、複数の処理済み画像を参照ピクチャとして用いることができる。複数の参照ピクチャを管理するため、L0(参照リスト0)とL1(参照リストL1)の2種類のリストを定義し、それぞれ参照インデックスを用いて参照ピクチャを特定する。PスライスではL0予測(Pred_L0)が利用可能である。BスライスではL0予測(Pred_L0)、L1予測(Pred_L1)、双予測(Pred_BI)が利用可能である。L0予測(Pred_L0)はL0で管理されている参照ピクチャを参照するインター予測であり、L1予測(Pred_L1)はL1で管理されている参照ピクチャを参照するインター予測である。双予測(Pred_BI)はL0予測とL1予測が共に行われ、L0とL1のそれぞれで管理されている1つずつの参照ピクチャを参照するインター予測である。L0予測、L1予測、双予測を特定する情報を、参照モードと定義する。以降の処理において出力に添え字LXが付いている定数、変数に関しては、L0、L1ごとに処理が行われることを前提とする。
<Inter prediction>
In inter prediction in which prediction is performed from image signals of processed images, a plurality of processed images can be used as reference pictures. In order to manage a plurality of reference pictures, two types of lists, L0 (reference list 0) and L1 (reference list L1), are defined, and the reference pictures are specified using the respective reference indexes. L0 prediction (Pred_L0) is available for P slices. For the B slice, L0 prediction (Pred_L0), L1 prediction (Pred_L1), and bi-prediction (Pred_BI) can be used. L0 prediction (Pred_L0) is inter prediction that refers to the reference picture managed by L0, and L1 prediction (Pred_L1) is inter prediction that refers to the reference picture managed by L1. Bi-prediction (Pred_BI) is an inter prediction in which both L0 prediction and L1 prediction are performed and one reference picture managed by each of L0 and L1 is referred to. Information that specifies L0 prediction, L1 prediction, and bi-prediction is defined as a reference mode. In the subsequent processing, it is premised that the processing is performed for each of L0 and L1 for the constants and variables with the subscript LX attached to the output.
<予測動きベクトルモード>
予測動きベクトルモードは、予測動きベクトルを特定するためのインデックス、差分動きベクトル、参照モード、参照インデックスを伝送し、符号化対象ブロックのインター予測情報を決定するモードである。予測動きベクトルは、処理対象ブロックに近接する処理済みブロック、または処理済み画像に属するブロックで処理対象ブロックと同一位置またはその付近(近傍)に位置するブロックから導出した予測動きベクトル候補と、予測動きベクトルを特定するためのインデックスから導出する。
<Predictive motion vector mode>
The motion vector predictor mode is a mode in which an index for specifying a motion vector predictor, a differential motion vector, a reference mode, and a reference index are transmitted to determine inter prediction information of a current block. The motion vector predictor includes a motion vector predictor candidate derived from a processed block that is close to the process target block, or a block that belongs to the processed image and is located at the same position as the process target block or in the vicinity thereof (nearby), and the motion vector predictor. It is derived from the index for identifying the vector.
<マージモード>
マージモードは、差分動きベクトル、参照インデックスを伝送せずに、処理対象ブロックに近接する処理済みブロック、または処理済み画像に属するブロックで処理対象ブロックと同一位置またはその付近(近傍)に位置するブロックのインター予測情報から、処理対象ブロックのインター予測情報を導出するモードである。
<Merge mode>
The merge mode is a processed block that is close to the processing target block without transmitting the differential motion vector or reference index, or a block that belongs to the processed image and is located at the same position as the processing target block or in the vicinity thereof (nearby). This is a mode for deriving the inter prediction information of the processing target block from the inter prediction information of.
処理対象ブロックに近接する処理済みブロック、およびその処理済みブロックのインター予測情報を空間マージ候補と定義する。処理済み画像に属するブロックで処理対象ブロックと同一位置またはその付近(近傍)に位置するブロック、およびそのブロックのインター予測情報から導出されるインター予測情報を時間マージ候補と定義する。各マージ候補は、マージ候補リストに登録され、マージインデックスにより、処理対象ブロックの予測で使用するマージ候補を特定する。 A processed block close to the block to be processed and the inter prediction information of the processed block are defined as spatial merge candidates. A block that belongs to the processed image and is located at the same position as the processing target block or in the vicinity thereof (nearby) and the inter prediction information derived from the inter prediction information of the block are defined as temporal merge candidates. Each merge candidate is registered in the merge candidate list, and the merge candidate identifies the merge candidate to be used in the prediction of the block to be processed.
<近接ブロック>
図11は、予測動きベクトルモード、マージモードで、インター予測情報を導出するために参照する参照ブロックを説明する図である。A0,A1,A2,B0,B1,B2,B3は、処理対象ブロックに近接する処理済みブロックである。T0は、符号化/復号処理済み画像に属するブロックで符号化/復号処理対象画像の符号化/復号処理対象ブロックと同一位置またはその付近(近傍)に位置するブロックである。
<Proximity block>
FIG. 11 is a diagram illustrating reference blocks referred to in order to derive inter prediction information in the motion vector predictor mode and the merge mode. A0, A1, A2, B0, B1, B2, B3 are processed blocks close to the processing target block. T0 is a block that belongs to an image that has been encoded/decoded and that is located at the same position as or near (near) the encoding/decoding process target block of the encoding/decoding process target image.
A1,A2は、処理対象符号化ブロックの左側に位置し、処理対象符号化ブロックに隣接するブロックである。B1,B3は、処理対象符号化ブロックの上側に位置し、処理対象符号化ブロックに隣接するブロックである。A0,B0,B2はそれぞれ、処理対象符号化ブロックの左下、右上、左上に位置するブロックである。 A1 and A2 are blocks located on the left side of the target coding block and adjacent to the target coding block. B1 and B3 are blocks located above the processing target coding block and adjacent to the processing target coding block. A0, B0, and B2 are blocks located at the lower left, upper right, and upper left of the process target coding block, respectively.
予測動きベクトルモード、マージモードにおいて近接ブロックをどのように扱うかの詳細は後述する。 Details of how to handle adjacent blocks in the motion vector predictor mode and merge mode will be described later.
<アフィン変換動き補償>
アフィン変換動き補償は、所定単位のサブブロックに分割し、各サブブロックに対し、個別に動きベクトルを決定し、動き補償を行うものである。各サブブロックの動きベクトルは、処理対象ブロックに近接する処理済みブロック、または処理済み画像に属するブロックで処理対象ブロックと同一位置またはその付近(近傍)に位置するブロックのインター予測情報から導出する1つ以上の制御点に基づき導出する。本実施例では、サブブロックのサイズを4x4画素とするが、サブブロックのサイズはこれに限定されるものではないし、画素単位で動きベクトルを導出してもよい。
<Affine transformation motion compensation>
The affine transformation motion compensation is performed by dividing a sub-block into a predetermined unit, individually determining a motion vector for each sub-block, and performing motion compensation. The motion vector of each sub-block is derived from the inter prediction information of a processed block that is close to the processing target block, or a block that belongs to the processed image and is located at the same position as the processing target block or in the vicinity thereof (nearby) 1 Derivation based on one or more control points. In the present embodiment, the size of the sub block is 4×4 pixels, but the size of the sub block is not limited to this, and the motion vector may be derived in pixel units.
図14に、制御点が2つの場合のアフィン変換動き補償の例を示す。この場合、2つの制御点が水平方向成分、垂直方向成分の2つのパラメータを有するため、制御点が2つの場合のアフィン変換を、4パラメータアフィン変換と呼称する。図14のCP1、CP2が制御点である。図15に、制御点が3つの場合のアフィン変換動き補償の例を示す。この場合、3つの制御点が水平方向成分、垂直方向成分の2つのパラメータを有するため、制御点が3つの場合のアフィン変換を、6パラメータアフィン変換と呼称する。図15のCP1、CP2、CP3が制御点である。 FIG. 14 shows an example of affine transformation motion compensation when there are two control points. In this case, since two control points have two parameters of a horizontal direction component and a vertical direction component, the affine transformation when there are two control points is called a four parameter affine transformation. CP1 and CP2 in FIG. 14 are control points. FIG. 15 shows an example of affine transformation motion compensation when there are three control points. In this case, since three control points have two parameters of a horizontal direction component and a vertical direction component, the affine transformation in the case of three control points is called a 6 parameter affine transformation. CP1, CP2, and CP3 in FIG. 15 are control points.
アフィン変換動き補償は、予測動きベクトルモードおよびマージモードのいずれのモードにおいても利用可能である。予測動きベクトルモードでアフィン変換動き補償を適用するモードをサブブロック予測動きベクトルモードと定義し、マージモードでアフィン変換動き補償を適用するモードをサブブロックマージモードと定義する。 Affine transform motion compensation can be used in both the prediction motion vector mode and the merge mode. A mode in which affine transform motion compensation is applied in the motion vector predictor mode is defined as a sub-block motion vector predictor mode, and a mode in which affine transform motion compensation is applied in the merge mode is defined as a sub-block merge mode.
<インター予測のシンタックス>
図12、図13を用いて、インター予測に関するシンタックスを説明する。図12のmerge_flagは、処理対象符号化ブロックをマージモードとするか、予測動きベクトルモードとするかを示すフラグである。merge_affine_flagは、マージモードの処理対象符号化ブロックでサブブロックマージモードを適用するか否かを示すフラグである。inter_affine_flagは、予測動きベクトルモードの処理対象符号化ブロックでサブブロック予測動きベクトルモードを適用するか否かを示すフラグである。cu_affine_type_flagは、サブブロック予測動きベクトルモードにおいて、制御点の数を決定するためのフラグである。図13に各シンタックスエレメントの値と、それに対応する予測方法を示す。merge_flag=1,merge_affine_flag=0は、サブブロックマージでないマージモードである、通常マージモードに対応する。merge_flag=1,merge_affine_flag=1は、サブブロックマージモードに対応する。merge_flag=0,inter_affine_flag=0は、サブブロック予測動きベクトルモードでない予測動きベクトルマージである、通常予測動きベクトルモードに対応する。merge_flag=0,inter_affine_flag=1は、サブブロック予測動きベクトルモードに対応する。merge_flag=0,inter_affine_flag=1の場合は、さらにcu_affine_type_flagを伝送し、制御点の数を決定する。
<Inter prediction syntax>
The syntax related to inter prediction will be described with reference to FIGS. 12 and 13. The merge_flag in FIG. 12 is a flag indicating whether the process target coding block is in the merge mode or the motion vector predictor mode. merge_affine_flag is a flag indicating whether or not the sub-block merge mode is applied to the processing target coding block in the merge mode. inter_affine_flag is a flag indicating whether or not to apply the sub-block motion vector predictor mode in the processing target coding block in the motion vector predictor mode. cu_affine_type_flag is a flag for determining the number of control points in the sub-block motion vector predictor mode. FIG. 13 shows the value of each syntax element and the corresponding prediction method. merge_flag=1 and merge_affine_flag=0 correspond to the normal merge mode, which is the merge mode that is not the sub-block merge. merge_flag=1 and merge_affine_flag=1 correspond to the sub-block merge mode. merge_flag=0 and inter_affine_flag=0 correspond to the normal motion vector predictor mode, which is a motion vector predictor merge that is not the sub-block motion vector predictor mode. merge_flag=0 and inter_affine_flag=1 correspond to the sub-block motion vector predictor mode. When merge_flag=0 and inter_affine_flag=1, cu_affine_type_flag is further transmitted to determine the number of control points.
<POC>
POC(Picture Order Count)は符号化されるピクチャに関連付けられる変数とし、ピクチャの出力順序で1ずつ増加する値が設定される。POCの値によって、同じピクチャであるかを判別したり、出力順序でのピクチャ間の前後関係を判別したり、ピクチャ間の距離を導出したりすることができる。例えば、2つのピクチャのPOCが同じ値を持つ場合、同一のピクチャであると判断できる。2つのピクチャのPOCが違う値を持つ場合、POCの値が小さいピクチャのほうが、先に出力されるピクチャであると判断でき、2つのピクチャのPOCの差が時間軸方向でのピクチャ間距離を示す。
<POC>
POC (Picture Order Count) is a variable associated with a picture to be encoded, and a value that is incremented by 1 in the output order of the picture is set. Depending on the value of POC, it is possible to determine whether they are the same picture, determine the context between pictures in the output order, and derive the distance between pictures. For example, if the POCs of two pictures have the same value, it can be determined that they are the same picture. If the POCs of the two pictures have different values, it can be determined that the picture with the smaller POC value is the picture that is output first, and the difference between the POCs of the two pictures determines the inter-picture distance in the time axis direction. Show.
(第1の実施の形態)
本発明の第1の実施の形態に係る画像符号化装置100及び画像復号装置200について説明する。
(First embodiment)
The image encoding device 100 and the image decoding device 200 according to the first embodiment of the present invention will be described.
図1は、第1の実施の形態に係る画像符号化装置100のブロック図である。実施の形態の動画像符号化装置は、画像符号化装置100、ブロック分割部101、インター予測部102、イントラ予測部103、復号画像メモリ104、予測方法決定部105、残差信号生成部106、直交変換・量子化部107、ビット列符号化部108、逆量子化・逆直交変換部109、復号画像信号重畳部110、および符号化情報格納メモリ111を備える。
FIG. 1 is a block diagram of an image coding device 100 according to the first embodiment. The moving image coding apparatus according to the embodiment includes an image coding apparatus 100, a
ブロック分割部101は、入力した画像を再帰的に分割して、符号化ブロックを生成する。ブロック分割部101は、分割対象となるブロックを水平方向と垂直方向にそれぞれ分割する4分割部と、分割対象となるブロックを水平方向または垂直方向のいずれかに分割する2−3分割部を含む。生成した処理対象符号化ブロックの画像信号を、インター予測部102、イントラ予測部103および残差信号生成部106に供給する。また、決定した再帰分割構造を示す情報をビット列符号化部108に供給する。ブロック分割部101の詳細な動作は後述する。
The
インター予測部102は、処理対象符号化ブロックのインター予測を行う。符号化情報格納メモリに格納されている予測モード、復号画像メモリ104に格納されている復号済みの画像信号から複数のインター予測情報の候補を導出し、複数の候補の中から適したインター予測モードを選択し、選択されたインター予測モード、及び選択されたインター予測モードに応じた予測画像信号を予測方法決定部105に供給する。インター予測部102の詳細な構成と動作は後述する。
The
イントラ予測部103は、処理対象符号化ブロックのイントラ予測を行う。復号画像メモリ104に格納されている復号済みの画像信号からイントラ予測により予測画像信号を生成し、複数のイントラ予測モードの中から適したイントラ予測モードを選択し、選択されたイントラ予測モード、及び選択されたイントラ予測モードに応じた予測画像信号を予測方法決定部105に供給する。図10にイントラ予測の例を示す。図10(a)は、イントラ予測の予測方向と予測モード番号の対応を示したものである。例えば、予測モード50は、垂直方向に画素をコピーすることによりイントラ予測画像を生成する。予測モード1は、DCモードであり、処理対象ブロックのすべての画素値を参照画素の平均値とするモードである。予測モード0はPlanarモードであり、垂直方向・水平方向の参照画素から2次元的なイントラ予測画像を作成するモードである。図10(b)は、予測モード40の場合のイントラ予測画像を生成する例である。処理対象ブロックの各画素に対し、予測モードの示す方向の参照画素の値をコピーする。予測モードの参照画素が整数位置でない場合には、周辺の整数位置の参照画素値から補間により参照画素値を決定する。
The
復号画像メモリ104は、復号画像信号重畳部110で生成した復号画像を格納する。復号画像メモリに格納されている復号画像は、インター予測部102、インター予測103に供給する。
The decoded
予測方法決定部105は、各予測に対して、符号化情報及び残差信号の符号量、予測画像信号と画像信号との間の歪量等を用いて評価することにより、最適な予測モード(インター予測またはイントラ予測)を決定する。インター予測のマージモードの場合は、マージインデックス、サブブロックマージモードか否かを示す情報(サブブロックマージフラグ)の符号化情報をビット列符号化部108に供給し、インター予測の予測動きベクトルモードの場合はインター予測モード、予測動きベクトルインデックス、L0、L1の参照インデックス、差分動きベクトル、サブブロックモードか否かを示す情報(サブブロック予測動きベクトルフラグ)等の符号化情報をビット列符号化部108に供給する。決定した符号化情報を符号化情報格納メモリ111に供給する。
The prediction
残差信号生成部106は、処理対象の画像信号から予測画像信号を減ずることにより残差信号を生成し、直交変換・量子化部107に供給する。
The residual
直交変換・量子化部107は、残差信号に対して量子化パラメータに応じて直交変換及び量子化を行い直交変換・量子化された残差信号を生成し、ビット列符号化部108と逆量子化・逆直交変換部109に供給する。
The orthogonal transformation/
ビット列符号化部108は、シーケンス、ピクチャ、スライス、符号化ブロック単位の情報に加えて、符号化ブロック毎に予測方法決定部104によって決定された予測方法に応じた符号化情報を符号化する。具体的には、符号化ブロック毎の予測モードPredMode、分割モードPartMode、インター予測(PRED_INTER)の場合、マージモードかどうかを判別するフラグ、サブブロックマージフラグ、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトルに関する情報、サブブロック予測動きベクトルフラグ等の符号化情報を後述する規定のシンタックス規則に従って符号化し、第1の符号化ビット列を生成する。また、ビット列符号化部108は、直交変換及び量子化された残差信号を規定のシンタックス規則に従ってエントロピー符号化して第2の符号化ビット列を生成する。第1の符号化ビット列と第2の符号化ビット列を規定のシンタックス規則に従って多重化し、ビットストリームを出力する。
The bit
逆量子化・逆直交変換部109は、直交変換・量子化部107から供給された直交変換・量子化された残差信号を逆量子化及び逆直交変換して残差信号を算出し、復号画像信号重畳部110に供給する。
The inverse quantization/inverse
復号画像信号重畳部110は、予測方法決定部105による決定に応じた予測画像信号と逆量子化・逆直交変換部109で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ104に格納する。なお、復号画像に対して符号化によるブロック歪等の歪を減少させるフィルタリング処理を施した後、復号画像メモリ104に格納してもよい。
The decoded image
符号化情報格納メモリ111は、予測方法決定部105で決定した、予測モード(インター予測またはイントラ予測)等の符号化情報を格納する。符号化情報格納メモリ111が格納する符号化情報は、インター予測の場合は、決定した動きベクトル、参照リスト、参照インデックスに加え、インター予測のマージモードの場合は、マージインデックス、サブブロックマージモードか否かを示す情報(サブブロックマージフラグ)の符号化情報、インター予測の予測動きベクトルモードの場合はインター予測モード、予測動きベクトルインデックス、L0、L1の参照インデックス、差分動きベクトル、サブブロックモードか否かを示す情報(サブブロック予測動きベクトルフラグ)、イントラ予測の場合は、決定したイントラ予測モード等である。符号化情報格納メモリ111で管理される履歴候補リストの構築については後述する。
The coding
図2は図1の動画像符号化装置に対応した本発明の実施の形態に係る動画像復号装置の構成を示すブロックである。実施の形態の動画像復号装置は、ビット列復号部201、ブロック分割部202、インター予測部203、イントラ予測部204、符号化情報格納メモリ205、逆量子化・逆直交変換部206、復号画像信号重畳部207、および復号画像メモリ208を備える。
FIG. 2 is a block diagram showing a configuration of a moving picture decoding apparatus according to an embodiment of the present invention, which corresponds to the moving picture coding apparatus of FIG. The moving image decoding apparatus according to the embodiment includes a bit
図2の動画像復号装置の復号処理は、図1の動画像符号化装置の内部に設けられている復号処理に対応するものであるから、図2の符号化情報格納メモリ205、逆量子化・逆直交変換部206、復号画像信号重畳部207、および復号画像メモリ208の各構成は、図1の動画像符号化装置の逆量子化・逆直交変換部109、復号画像信号重畳部110、符号化情報格納メモリ111、および復号画像メモリ104の各構成とそれぞれ対応する機能を有する。
The decoding process of the moving picture decoding apparatus of FIG. 2 corresponds to the decoding processing provided inside the moving picture coding apparatus of FIG. 1, and therefore, the coding
ビット列復号部201に供給されるビットストリームは規定のシンタックスの規則に従って分離する。分離された第1の符号化ビット列を復号し、シーケンス、ピクチャ、スライス、符号化ブロック単位の情報、及び、符号化ブロック単位の符号化情報を得る。具体的には、符号化ブロック単位でインター予測(PRED_INTER)かイントラ予測(PRED_INTRA)かを判別する予測モードPredMode、分割モードPartMode、インター予測(PRED_INTER)の場合、マージモードかどうかを判別するフラグ、マージモードの場合はマージインデックス、サブブロックマージフラグ、予測動きベクトルモードである場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトル、サブブロック予測動きベクトルフラグ等に関する符号化情報を後述する規定のシンタックス規則に従って復号し、符号化情報をインター予測部203またはイントラ予測部204、および符号化情報格納メモリ205に供給する。分離した第2の符号化ビット列を復号して直交変換・量子化された残差信号を算出し、直交変換・量子化された残差信号を逆量子化・逆直交変換部208に供給する。
The bit stream supplied to the bit
インター予測部203は、復号対象の符号化ブロックの予測モードPredModeがインター予測(PRED_INTER)で予測動きベクトルモードである時に、符号化情報格納メモリ205に記憶されている既に復号された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を導出して後述する予測動きベクトルリストに登録し、予測動きベクトルリストに登録された複数の予測動きベクトルの候補の中から、第1符号化ビット列復号部202で復号され供給される予測動きベクトルインデックスに応じた予測動きベクトルを選択し、復号部201で復号された差分ベクトルと選択された予測動きベクトルから動きベクトルを算出し、他の符号化情報とともに符号化情報格納メモリ205に格納する。ここで供給・格納する符号化ブロックの符号化情報は、予測モードPredMode、分割モードPartMode、L0予測、及びL1予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、L0、L1の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、L0、L1の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等である。ここで、xP、yPはピクチャ内での符号化ブロックの左上の画素の位置を示すインデックスである。予測モードPredModeがインター予測(MODE_INTER)で、インター予測モードがL0予測(Pred_L0)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0は1, L1予測を利用するかどうかを示すフラグpredFlagL1は0である。インター予測モードがL1予測(Pred_L1)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0は0, L1予測を利用するかどうかを示すフラグpredFlagL1は1である。インター予測モードが双予測(Pred_BI)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0、L1予測を利用するかどうかを示すフラグpredFlagL1は共に1である。さらに、復号対象の符号化ブロックの予測モードPredModeがインター予測(PRED_INTER)でマージモードの時に、マージ候補を導出する。符号化情報格納メモリ205に記憶されている既に復号された符号化ブロックの符号化情報を用いて、複数のマージの候補を導出して後述するマージ候補リストに登録し、マージ候補リストに登録された複数のマージ候補の中からビット列復号部201で復号され供給されるマージインデックスに対応したマージ候補を選択し、選択されたマージ候補のL0予測、及びL1予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、L0、L1の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、L0、L1の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報を動き補償予測部206に供給するとともに、符号化情報格納メモリ205に格納する。ここで、xP、yPはピクチャ内での符号化ブロックの左上の画素の位置を示すインデックスである。インター予測部の詳細な構成と動作は後述する。
The
イントラ予測部204は、復号対象の符号化ブロックの予測モードPredModeがイントラ予測(PRED_INTRA)の時に、イントラ予測を行う。ビット列復号部201で復号された符号化情報にはイントラ予測モードが含まれており、イントラ予測モードに応じて、復号画像メモリ210に格納されている復号済みの画像信号からイントラ予測により予測画像信号を生成し、予測画像信号を復号画像信号重畳部209に供給する。イントラ予測部204は、画像符号化装置100のイントラ予測部103に対応するものであるから、イントラ予測部103と同様の処理を行う。
The
逆量子化・逆直交変換部208は、第1符号化ビット列復号部202で復号された直交変換・量子化された残差信号に対して逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
The inverse quantization/inverse
復号画像信号重畳部209は、動き補償予測部206でインター予測された予測画像信号、またはイントラ予測部204でイントラ予測された予測画像信号と、逆量子化・逆直交変換部208により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を復号し、復号画像メモリ210に格納する。復号画像メモリ210に格納する際には、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施した後、復号画像メモリ210に格納してもよい。
The decoded image signal superimposing unit 209 and the prediction image signal inter-predicted by the motion
次に、画像符号化装置100におけるブロック分割部101の動作について説明する。図3は、画像をツリーブロックに分割し、各ツリーブロックをさらに分割する動作を示すフローチャートである。まず、入力された画像を、所定サイズのツリーブロックに分割する(ステップS1001)。各ツリーブロックについては、所定の順序、すなわちラスタスキャン順に走査し(ステップS1002)、処理対象のツリーブロックの内部を分割する(ステップS1003)。
Next, the operation of the
図7は、ステップS1003の分割処理の詳細動作を示すフローチャートである。まず、処理対象のブロックを4分割するか否かを判断する(ステップS1101)。 FIG. 7 is a flowchart showing the detailed operation of the division processing in step S1003. First, it is determined whether or not the block to be processed is divided into four (step S1101).
処理対象ブロックを4分割すると判断した場合は、処理対象ブロックを4分割する(ステップS1102)。処理対象ブロックを分割した各ブロックについて、Zスキャン順、すなわち左上、右上、左下、右下の順に走査する(ステップS1103)。図5は、Zスキャン順の例であり、図6の601は、処理対象ブロックを4分割した例である。図6の601の番号0〜3は処理の順番を示したものである。そしてステップS1101で分割した各ブロックについて、図7のフローチャートを再帰的に呼び出す。
When it is determined that the processing target block is divided into four, the processing target block is divided into four (step S1102). Each block obtained by dividing the block to be processed is scanned in the Z scan order, that is, in the order of upper left, upper right, lower left, and lower right (step S1103). FIG. 5 is an example of the Z scan order, and 601 of FIG. 6 is an example in which the processing target block is divided into four. The
処理対象ブロックを4分割しないと判断した場合は、2−3分割を行う(ステップS1105)。 When it is determined that the block to be processed is not divided into four, 2-3 division is performed (step S1105).
図8は、ステップS1105の2−3分割処理の詳細動作を示すフローチャートである。まず、処理対象のブロックを2−3分割するか否か、すなわち2分割または3分割の何れかを行うか否かを判断する(ステップS1201)。 FIG. 8 is a flowchart showing the detailed operation of the 2-3 division process of step S1105. First, it is determined whether or not the block to be processed is divided into 2-3, that is, whether to divide into 2 or 3 (step S1201).
処理対象ブロックを2−3分割すると判断しない場合、すなわち分割しないと判断した場合は、分割を終了し(S1211)、上位階層のブロックに戻る。 When it is not determined that the processing target block is divided into 2-3, that is, when it is determined that the block is not divided, the division is ended (S1211), and the process returns to the block of the upper hierarchy.
処理対象のブロックを2−3分割すると判断した場合は、さらに処理対象ブロックを2分割するか否か(ステップS1202)を判断する。 When it is determined that the processing target block is divided into 2-3, it is further determined whether or not the processing target block is divided into two (step S1202).
処理対象ブロックを2分割すると判断した場合は、処理対象ブロックを垂直方向に分割するか否かを判断し(ステップS1203)、その結果に基づき、処理対象ブロックを垂直方向に分割する(ステップS1204)か、処理対象ブロックを水平方向に分割する(ステップS1205)。ステップS1204の結果、処理対象ブロックは、図602に示す通り、垂直方向2分割に分割され、ステップS1205の結果、処理対象ブロックは、図604に示す通り、水平方向2分割に分割される。 When it is determined that the processing target block is divided into two, it is determined whether or not the processing target block is divided in the vertical direction (step S1203), and based on the result, the processing target block is divided in the vertical direction (step S1204). Alternatively, the block to be processed is divided in the horizontal direction (step S1205). As a result of step S1204, the processing target block is divided into two parts in the vertical direction as shown in FIG. 602, and as a result of step S1205, the processing target block is divided into two parts in the horizontal direction.
ステップS1202において、処理対象のブロックを2分割すると判断しなかった場合、すなわち3分割すると判断した場合は、処理対象ブロックを垂直方向に分割するか否かを判断し(ステップS1206)、その結果に基づき、処理対象ブロックを垂直方向に分割する(ステップS1207)か、処理対象ブロックを水平方向に分割する(ステップS1208)。ステップS1207の結果、処理対象ブロックは、図603に示す通り、垂直方向3分割に分割され、ステップS1208の結果、処理対象ブロックは、図605に示す通り、水平方向3分割に分割される。 If it is not determined in step S1202 that the block to be processed is divided into two, that is, if it is determined that the block is to be divided into three, it is determined whether or not the block to be processed is divided in the vertical direction (step S1206). Based on this, the block to be processed is divided vertically (step S1207) or the block to be processed is divided horizontally (step S1208). As a result of step S1207, the processing target block is divided into three parts in the vertical direction as shown in FIG. 603, and as a result of step S1208, the processing target block is divided into three parts in the horizontal direction.
ステップS1204からステップS1205のいずれかを実行後、処理対象ブロックを分割した各ブロックについて、左から右、上から下の順に走査する(ステップS1209)。図6の602から605の番号0〜3は処理の順番を示したものである。分割した各ブロックについて、図8のフローチャートを再帰的に呼び出す。
After executing any of steps S1204 to S1205, each block obtained by dividing the block to be processed is scanned from left to right and from top to bottom (step S1209). The
ここで説明した再帰的なブロック分割は、分割する回数、または、処理対象のブロックのサイズ等により、分割要否を制限してもよい。分割要否を制限する情報は、符号化装置と復号化装置の間で予め取り決めを行うことで、情報の伝達を行わない構成で実現してもよいし、符号化装置が分割要否を制限する情報を決定し、符号化ビット列に記録することにより、復号化装置に伝達する構成で実現してもよい。 In the recursive block division described here, the necessity of division may be limited depending on the number of divisions, the size of the block to be processed, or the like. The information that restricts the necessity of division may be realized in a configuration in which the information is not transmitted by making an agreement in advance between the encoding device and the decoding device, or the encoding device limits the necessity of division. It may be realized by a configuration in which the information to be determined is recorded and recorded in the encoded bit string and transmitted to the decoding device.
次に、画像復号装置200におけるブロック分割部202の動作について説明する。ブロック分割部202は、画像符号化装置101のブロック分割部101と同様の処理手順でツリーブロックを分割するものである。ただし、画像符号化装置101のブロック分割部101では、画像認識による最適形状の推定や歪レート最適化等最適化手法を適用し、最適なブロック分割の形状を決定するのに対し、画像復号装置200におけるブロック分割部202は、符号化ビット列に記録されたブロック分割情報を復号することにより、ブロック分割形状を決定する点が異なる。
Next, the operation of the
第1の実施の形態のブロック分割に関するシンタックス(符号化ビット列の構文規則)を図9に示す。coding_quadtree()はブロックの4分割処理にかかるシンタックスを表し、multi_type_tree()はブロックの2分割または3分割処理にかかるシンタックスを表す。qt_splitはブロックを4分割するか否かを示すフラグであり、ブロックを4分割する場合は、qt_split=1、4分割しない場合は、qt_split=0とする。4分割する場合(qt_split=1)、4分割した各ブロックについて、再帰的に4分割処理をする(coding_quadtree(0), coding_quadtree(1), coding_quadtree(2), coding_quadtree(3))。4分割しない場合(qt_split=0)は、multi_type_tree()に従い、後続の分割を決定する。mtt_splitは、さらに分割をするか否かを示すフラグである。さらに分割をする場合(mtt_split=1)、垂直方向に分割するか水平方向に分割するかを示すフラグであるmtt_split_verticalと、2分割するか3分割するかを決定するフラグであるmtt_split_binaryを参照する。mtt_split_vertical=1は、垂直方向に分割することを示し、mtt_split_vertical=0は、水平方向に分割することを示す。mtt_split_binary=1は、2分割することを示し、mtt_split_binary=0は3分割することを示す。mtt_split=0となるまで、再帰的にmulti_type_treeを呼び出すことにより、階層的なブロック分割を行う。 FIG. 9 shows the syntax (syntax rule of the encoded bit string) relating to the block division according to the first embodiment. coding_quadtree() represents the syntax for the block 4-division processing, and multi_type_tree() represents the syntax for the block 2-division or 3-division processing. qt_split is a flag indicating whether or not the block is divided into four. When the block is divided into four, qt_split=1 and when not divided into four, qt_split=0. When dividing into 4 (qt_split=1), each block divided into 4 is recursively divided into 4 (coding_quadtree(0), coding_quadtree(1), coding_quadtree(2), coding_quadtree(3)). When not divided into four (qt_split=0), the subsequent division is determined according to multi_type_tree(). mtt_split is a flag indicating whether or not to further divide. When further division is performed (mtt_split=1), mtt_split_vertical, which is a flag indicating whether to divide vertically or horizontally, and mtt_split_binary, which is a flag for determining whether to divide into two or three, are referred to. mtt_split_vertical=1 indicates vertical division, and mtt_split_vertical=0 indicates horizontal division. mtt_split_binary=1 indicates that the image is divided into two, and mtt_split_binary=0 indicates that the image is divided into three. Hierarchical block division is performed by recursively calling multi_type_tree until mtt_split=0.
<インター予測>
実施の形態に係るインター予測方法は、図1の動画像符号化装置のインター予測部102および図2の動画像復号装置のインター予測部203において実施される。
<Inter prediction>
The inter prediction method according to the embodiment is implemented in the
実施の形態によるインター予測方法について、図面を用いて説明する。インター予測方法は符号化ブロック単位で符号化及び復号の処理の何れでも実施される。 An inter prediction method according to the embodiment will be described with reference to the drawings. The inter-prediction method is carried out in both coding and decoding processing in coding block units.
(符号化側のインター予測部102の説明)
図16は図1の動画像符号化装置のインター予測部102の詳細な構成を示す図である。通常予測動きベクトル導出部301は複数の通常予測動きベクトル候補を導出して予測動きベクトルを選択し、検出した動きベクトルとの差分ベクトルを算出する。検出されたインター予測モード、参照インデックス、動きベクトル、算出された差分ベクトルが通常予測動きベクトルモードのインター予測情報となる。このインター予測情報がインター予測モード判定部305に供給される。通常予測動きベクトル導出部301の詳細な構成と処理については後述する。
(Description of
FIG. 16 is a diagram showing a detailed configuration of the
通常マージモード導出部302では複数の通常マージ候補を導出して通常マージ候補を選択し、通常マージモードのインター予測情報を得る。このインター予測情報がインター予測モード判定部306に供給される。通常マージモード導出部302の詳細な構成と処理については後述する。
The normal merge
サブブロック予測動きベクトル導出部303では複数のサブブロック予測動きベクトル候補を導出してサブブロック予測動きベクトルを選択し、検出した動きベクトルとの差分ベクトルを算出する。検出されたインター予測モード、参照インデックス、動きベクトル、算出された差分ベクトルが通常予測動きベクトルモードのインター予測情報となる。このインター予測情報がインター予測モード判定部306に供給される。サブブロック予測動きベクトル導出部303の詳細な構成と処理については後述する。
The sub-block motion vector
サブブロックマージモード導出部304では複数のサブブロックマージ候補を導出してサブブロックマージ候補を選択し、サブブロックマージモードのインター予測情報を得る。このインター予測情報がインター予測モード判定部306に供給される。サブブロックマージモード導出部304の詳細な構成と処理については後述する。
The sub-block merge
インター予測モード判定部305では通常予測動きベクトル導出部301、通常マージモード導出部302、サブブロック予測動きベクトル導出部303、サブブロックマージモード導出部304から供給されるインター予測情報に基づいて、インター予測モードを判定する。インター予測モード判定部の305から判定結果に応じたインター予測情報が動き補償予測部306に供給される。
In the inter prediction
動き補償予測部306では判定されたインター予測情報に基づいて、復号画像メモリ104に格納されている参照画像信号に対してインター予測を行う。詳細な構成と処理については後述する。
The motion compensation prediction unit 306 performs inter prediction on the reference image signal stored in the decoded
<復号側のインター予測部203の説明>
図22は図2の動画像復号装置のインター予測部203の詳細な構成を示す図である。
<Description of
22 is a diagram showing a detailed configuration of the
通常予測動きベクトル導出部401は複数の通常予測動きベクトル候補を導出して予測動きベクトルを選択し、検出した動きベクトルとの差分ベクトルを算出する。検出されたインター予測モード、参照インデックス、動きベクトル、差分ベクトルが通常予測動きベクトルモードのインター予測情報となる。このインター予測情報がスイッチ408を経由して動き補償予測部406に供給される。通常予測動きベクトル導出部401の詳細な構成と処理については後述する。
The normal motion vector
通常マージモード導出部402では複数の通常マージ候補を導出して通常マージ候補を選択し、通常マージモードのインター予測情報を得る。このインター予測情報がスイッチ408を経由して動き補償予測部406に供給される。通常マージモード導出部402の詳細な構成と処理については後述する。
The normal merge
サブブロック予測動きベクトル導出部403では複数のサブブロック予測動きベクトル候補を導出してサブブロック予測動きベクトルを選択し、検出した動きベクトルとの差分ベクトルを算出する。検出されたインター予測モード、参照インデックス、動きベクトル、算出された差分ベクトルが通常予測動きベクトルモードのインター予測情報となる。このインター予測情報がスイッチ408を経由して動き補償予測部406に供給される。サブブロック予測動きベクトル導出部403の詳細な構成と処理については後述する。
The sub-block motion vector
サブブロックマージモード導出部404では複数のサブブロックマージ候補を導出してサブブロックマージ候補を選択し、サブブロックマージモードのインター予測情報を得る。このインター予測情報がスイッチ408を経由して動き補償予測部406に供給される。サブブロックマージモード導出部404の詳細な構成と処理については後述する。
The sub-block merge
動き補償予測部406では判定されたインター予測情報に基づいて、復号画像メモリ108に格納されている参照画像信号に対してインター予測を行う。詳細な構成と処理については符号化側と同様である。
The motion
<通常予測動きベクトルモード導出部(通常AMVP)>
図16の通常予測動きベクトルモード導出部301は、空間予測動きベクトル候補導出部321、時間予測動きベクトル候補導出部322、履歴予測動きベクトル候補導出部323、予測動きベクトル候補補充部325、通常動きベクトル検出部326、予測動きベクトル候補選択部327、動きベクトル減算部328を含む。
<Normal motion vector vector deriving unit (normal AMVP)>
The normal motion vector predictor
図23の通常予測動きベクトルモード導出部402は、空間予測動きベクトル候補導出部421、時間予測動きベクトル候補導出部422、履歴予測動きベクトル候補導出部423、予測動きベクトル候補補充部425、予測動きベクトル候補選択部426、動きベクトル加算部428を含む。
The normal motion vector predictor
符号化側の通常予測動きベクトルモード導出部301および復号側の通常予測動きベクトルモード導出部401の処理手順について、それぞれ図19、図25のフローチャートを用いて説明する。図19は符号化側の通常動きベクトルモード導出部301による通常予測動きベクトルモード導出処理手順を示すフローチャートであり、図25は復号側の通常動きベクトルモード導出部401による通常予測動きベクトルモード導出処理手順を示すフローチャートである。
The processing procedures of the normal motion vector predictor
<通常予測動きベクトルモード導出部(通常AMVP):符号化側の説明>
図19を参照して符号化側の通常予測動きベクトルモード導出処理手順を説明する。
<Normal motion vector predictor (normal AMVP): Description of coding side>
The normal motion vector predictor mode derivation process procedure on the encoding side will be described with reference to FIG.
まず、通常動きベクトル検出部326でインター予測モードおよび参照インデックス毎に通常動きベクトルを検出する(図19のステップS100)。
First, the normal motion
続いて、空間予測動きベクトル候補導出部321、時間予測動きベクトル候補導出部322、履歴予測動きベクトル候補導出部323、予測動きベクトル候補補充部325、予測動きベクトル候補選択部327、動きベクトル減算部328で、通常予測動きベクトルモードのインター予測で用いる動きベクトルの差分動きベクトルをL0、L1毎にそれぞれ算出する(図19のステップS101〜S106)。具体的には符号化対象ブロックの予測モードPredModeがインター予測(MODE_INTER)で、インター予測モードがL0予測(Pred_L0)の場合、L0の予測動きベクトルリストmvpListL0を算出して、予測動きベクトルmvpL0を選択し、L0の動きベクトルmvL0の差分動きベクトルmvdL0を算出する。符号化対象ブロックのインター予測モードがL1予測(Pred_L1)の場合、L1の予測動きベクトルリストmvpListL1を算出して、予測動きベクトルmvpL1を選択し、L1の動きベクトルmvL1の差分動きベクトルmvdL1を算出する。符号化対象ブロックのインター予測モードが双予測(Pred_BI)の場合、L0予測とL1予測が共に行われ、L0の予測動きベクトルリストmvpListL0を算出して、L0の予測動きベクトルmvpL0を選択し、L0の動きベクトルmvL0の差分動きベクトルmvdL0を算出するとともに、L1の予測動きベクトルリストmvpListL1を算出して、L1の予測動きベクトルmvpL1を算出し、L1の動きベクトルmvL1の差分動きベクトルmvdL1をそれぞれ算出する。
Subsequently, the spatial motion vector predictor
L0、L1それぞれについて、差分動きベクトル算出処理を行うが、L0、L1ともに共通の処理となる。したがって、以下の説明においてはL0、L1を共通のLXとして表す。L0の差分動きベクトルを算出する処理ではXが0であり、L1の差分動きベクトルを算出する処理ではXが1である。また、LXの差分動きベクトルを算出する処理中に、LXではなく、もう一方のリストの情報を参照する場合、もう一方のリストをLYとして表す。 The differential motion vector calculation process is performed for each of L0 and L1, but both L0 and L1 are common processes. Therefore, in the following description, L0 and L1 are represented as common LX. X is 0 in the process of calculating the differential motion vector of L0, and X is 1 in the process of calculating the differential motion vector of L1. Further, when referring to the information of the other list instead of LX during the process of calculating the differential motion vector of LX, the other list is represented as LY.
LXの差分動きベクトルmvdLXを算出する場合(図19のステップS102のYES)、LXの予測動きベクトルの候補を算出してLXの予測動きベクトルリストmvpListLXを構築する(図19のステップS103)。通常予測動きベクトルモード導出部301の中の空間予測動きベクトル候補導出部321、時間予測動きベクトル候補導出部322、履歴予測動きベクトル候補導出部323、予測動きベクトル候補補充部325で複数の予測動きベクトルの候補を導出して予測動きベクトルリストmvpListLXを構築する。図19のステップS103の詳細な処理手順については図20のフローチャートを用いて後述する。
When the differential motion vector mvdLX of LX is calculated (YES in step S102 of FIG. 19 ), the motion vector predictor candidate of LX is calculated to construct the motion vector predictor list mvpListLX of LX (step S103 of FIG. 19 ). In the normal motion vector predictor
続いて、予測動きベクトル候補選択部327により、LXの予測動きベクトルリストmvpListLXからLXの予測動きベクトルmvpLXを選択する(図19のステップS104)。動きベクトルmvLXと予測動きベクトルリストmvpListLXの中に格納された各予測動きベクトルの候補mvpListLX[i]との差分であるそれぞれの差分動きベクトルを算出し、それら差分動きベクトルを符号化したときの符号量を予測動きベクトルリストmvpListLXの要素ごとに算出し、予測動きベクトルリストmvpListLXに登録された各要素の中で、予測動きベクトルの候補毎の符号量が最小となる予測動きベクトルの候補mvpListLX[i]を予測動きベクトルmvpLXとして選択する。予測動きベクトルリストmvpListLXの中で最小の発生符号量となる予測動きベクトルの候補が複数存在する場合には、予測動きベクトルリストmvpListLXの中のインデックスiが小さい番号で表される予測動きベクトルの候補mvpListLX[i]を最適予測動きベクトルmvpLXとして選択する。
Then, the motion vector predictor
続いて、動きベクトル減算部328で、LXの動きベクトルmvLXから選択されたLXの予測動きベクトルmvpLXを減算することによりLXの差分動きベクトルmvdLXを算出する(図19のステップS105)。
Subsequently, the motion
<通常予測動きベクトルモード導出部(通常AMVP):復号側の説明>
次に、図25を参照して復号側の通常予測動きベクトルモード処理手順を説明する。復号側では、空間予測動きベクトル候補導出部421、時間予測動きベクトル候補導出部422、履歴予測動きベクトル候補導出部423、予測動きベクトル候補補充部425で、通常予測動きベクトルモードのインター予測で用いる動きベクトルをL0,L1毎にそれぞれ算出する(図25のステップS201〜S206)。具体的には復号対象ブロックの予測モードPredModeがインター予測(MODE_INTER)で、復号対象ブロックのインター予測モードがL0予測(Pred_L0)の場合、L0の予測動きベクトルリストmvpListL0を算出して、予測動きベクトルmvpL0を選択し、L0の動きベクトルmvL0を算出する。復号対象ブロックのインター予測モードがL1予測(Pred_L1)の場合、L1の予測動きベクトルリストmvpListL1を算出して、予測動きベクトルmvpL1を選択し、L1の動きベクトルmvL1を算出する。復号対象ブロックのインター予測モードが双予測(Pred_BI)の場合、L0予測とL1予測が共に行われ、L0の予測動きベクトルリストmvpListL0を算出して、L0の予測動きベクトルmvpL0を選択し、L0の動きベクトルmvL0を算出するとともに、L1の予測動きベクトルリストmvpListL1を算出して、L1の予測動きベクトルmvpL1を算出し、L1の動きベクトルmvL1をそれぞれ算出する。
<Normal motion vector predictor (normal AMVP): Decoding side description>
Next, the normal motion vector predictor mode processing procedure on the decoding side will be described with reference to FIG. On the decoding side, the spatial motion vector predictor
符号化側と同様に、復号側でもL0、L1それぞれについて、動きベクトル算出処理を行うが、L0、L1ともに共通の処理となる。したがって、以下の説明においてはL0、L1を共通のLXとして表す。L0の動きベクトルを算出する処理ではXが0であり、L1の動きベクトルを算出する処理ではXが1である。また、LXの動きベクトルを算出する処理中に、LXではなく、もう一方のリストの情報を参照する場合、もう一方のリストをLYとして表す。 Similar to the encoding side, the decoding side also performs the motion vector calculation processing for each of L0 and L1, but both L0 and L1 are common processing. Therefore, in the following description, L0 and L1 are represented as common LX. X is 0 in the process of calculating the motion vector of L0, and X is 1 in the process of calculating the motion vector of L1. Further, when referring to the information of the other list instead of the LX during the process of calculating the motion vector of the LX, the other list is represented as LY.
LXの動きベクトルmvLXを算出する場合(図25のステップS202のYES)、LXの予測動きベクトルの候補を算出してLXの予測動きベクトルリストmvpListLXを構築する(図25のステップS203)。通常予測動きベクトルモード導出部401の中の空間予測動きベクトル候補導出部421、時間予測動きベクトル候補導出部422、履歴予測動きベクトル候補導出部423、予測動きベクトル候補補充部425で複数の予測動きベクトルの候補を算出し、予測動きベクトルリストmvpListLXを構築する。図25のステップS203の詳細な処理手順については図20のフローチャートを用いて後述する。
When calculating the LX motion vector mvLX (YES in step S202 of FIG. 25 ), the LX motion vector predictor candidates are calculated to construct the LX motion vector predictor list mvpListLX (step S203 of FIG. 25 ). In the normal motion vector predictor
続いて、予測動きベクトル候補選択部426で予測動きベクトルリストmvpListLXからビット列復号部201にて復号されて供給される予測動きベクトルのインデックスmvpIdxLXに対応する予測動きベクトルの候補mvpListLX[mvpIdxLX]を選択された予測動きベクトルmvpLXとして取り出す(図25のステップS204)。
Subsequently, the motion vector predictor
続いて、動きベクトル加算部427でビット列復号部201にて復号されて供給されるLXの差分動きベクトルmvdLXとLXの予測動きベクトルmvpLXを加算することによりLXの動きベクトルmvLXを算出する(図25のステップS205)。
Subsequently, in the motion
<通常予測動きベクトルモード導出部(通常AMVP):動きベクトルの予測方法>
図20は本発明の実施の形態に係る動画像符号化装置の通常予測動きベクトルモード導出部301及び動画像復号装置の通常予測動きベクトルモード導出部401とで共通する機能を有する通常予測動きベクトルモード導出処理の処理手順を表すフローチャートである。
<Normal motion vector predictor (normal AMVP): Motion vector prediction method>
FIG. 20 shows a normal motion vector predictor having a common function with the normal motion vector predictor
通常予測動きベクトルモード導出部301及び通常予測動きベクトルモード導出部401では、予測動きベクトル候補リストmvpListLXN(NはAまたはB、以下同様)を備えている。予測動きベクトル候補リストmvpListLXNはリスト構造を成し、予測動きベクトル候補リスト内部の所在を示す予測動きベクトルインデックスと、インデックスに対応する予測動きベクトル候補を要素として格納する記憶領域が設けられている。予測動きベクトルインデックスの数字は0から開始され、予測動きベクトル候補リストmvpListLXNの記憶領域に、予測動きベクトル候補が格納される。以降の処理では、予測動きベクトル候補リストmvpListLXNに登録された予測動きベクトルインデックスiの予測動きベクトル候補となる符号化ブロックは、mvpListLXN [i]で表すこととし、予測動きベクトル候補リストmvpListLXNとは配列表記をすることで区別することとする。本実施の形態においては、予測動きベクトル候補リストmvpListLXNは少なくとも6個の予測動きベクトル候補(インター予測情報)を登録することができるものとする。さらに、予測動きベクトル候補リストmvpListLXNに登録されている予測動きベクトル候補数を示す変数numMvpCandに0を設定する。
The normal motion vector predictor
空間予測動きベクトル候補導出部321及び421は左側に隣接する符号化ブロックからの予測動きベクトルの候補を導出し、左側に隣接する符号化ブロックの予測動きベクトル候補が利用できるかどうかを示すフラグavailableFlagLXA、及び動きベクトルmvLXA、参照インデックスrefIdxA、リストListAを導出し、mvLXAを予測動きベクトルリストmvpListLXAに追加する(図20のステップS301)。なお、L0のときXは0、L1のときXは1とする(以下同様)。続いて、予測動きベクトル候補生成部121及び221は上側に隣接する符号化ブロックからの予測動きベクトルの候補を導出し、上側に隣接する符号化ブロックの予測動きベクトル候補が利用できるかどうかを示すフラグavailableFlagLXB、及び動きベクトルmvLXB、参照インデックスrefIdxB、リストListBを導出し、mvLXAとmvLXBが等しくなければ、mvLXBを予測動きベクトルリストmvpListLXBに追加する(図20のステップS302)。図20のステップS301とS302の処理は参照する隣接ブロックの位置と数が異なる点以外は共通であり、符号化ブロックの予測動きベクトル候補が利用できるかどうかを示すフラグavailableFlagLXN、及び動きベクトルmvLXN、参照インデックスrefIdxN、ListN(NはAまたはB、以下同様)を導出する。
The spatial motion vector predictor
続いて、時間予測動きベクトル候補導出部322及び422は異なる時間のピクチャの符号化ブロックからの予測動きベクトルの候補を導出し、異なる時間のピクチャの符号化ブロックの予測動きベクトル候補が利用できるかどうかを示すフラグavailableFlagLXCol、及び動きベクトルmvLXCol、参照インデックスrefIdxCol、リストListColを導出し、mvLXColを予測動きベクトルリストmvpListLXに追加する(図20のステップS303)。このステップS303の導出処理手順を後ほど詳細に説明する。
Subsequently, the temporal motion vector predictor
続いて、履歴予測動きベクトル候補導出部323及び423は履歴予測動きベクトルリストHMVPCandListに登録されている履歴予測動きベクトル候補を予測動きベクトルリストmvpListLXに追加する。(図20のステップS304)。このステップS304の登録処理手順については図41のフローチャートを用いて後ほど詳細に説明する。
Subsequently, the history motion vector predictor
続いて予測動きベクトル候補補充部325及び425は予測動きベクトルリストmvpListLXを満たすまで(0,0)等、所定の値の動きベクトルを追加する(図20のS305)。
Subsequently, the motion vector predictor
<通常マージモード導出部(通常マージ)>
図18の通常マージモード導出部302は、空間マージ候補導出部341、時間マージ候補導出部342、平均マージ候補導出部344、履歴マージ候補導出部345、マージ候補補充部346、マージ候補選択部347を含む。
<Normal merge mode derivation unit (normal merge)>
The normal merge
図24の通常マージモード導出部402は、空間マージ候補導出部441、時間マージ候補導出部442、平均マージ候補導出部444、履歴マージ候補導出部445、マージ候補補充部446、マージ候補選択部447を含む。
The normal merge
図21は本発明の実施の形態に係る動画像符号化装置の通常マージモード導出部302及び動画像復号装置の通常マージモード導出部402とで共通する機能を有するマージモード導出処理の手順を説明するフローチャートである。
FIG. 21 illustrates a procedure of a merge mode derivation process having a common function with the normal merge
以下、諸過程を順を追って説明する。なお、以下の説明においては特に断りのない限りスライスタイプslice_typeがBスライスの場合について説明するが、Pスライスの場合にも適用できる。ただし、スライスタイプslice_typeがPスライスの場合、インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予測(Pred_BI)がないので、L1に纏わる処理を省略することができる。 Hereinafter, various processes will be described step by step. In the following description, the case where the slice type slice_type is B slice will be described unless otherwise specified, but the present invention can also be applied to the case of P slice. However, when the slice type slice_type is P slice, there is only L0 prediction (Pred_L0) as an inter prediction mode, and there is no L1 prediction (Pred_L1) or bi-prediction (Pred_BI), so the processing related to L1 can be omitted.
通常マージモード導出部302及び通常マージモード導出部402では、マージ候補リストmergeCandListを備えている。マージ候補リストmergeCandListはリスト構造を成し、マージ候補リスト内部の所在を示すマージインデックスと、インデックスに対応するマージ候補を要素として格納する記憶領域が設けられている。マージインデックスの数字は0から開始され、マージ候補リストmergeCandListの記憶領域に、マージ候補が格納される。以降の処理では、マージ候補リストmergeCandListに登録されたマージインデックスiのマージ候補となる符号化ブロックは、mergeCandList[i]で表すこととし、マージ候補リストmergeCandListとは配列表記をすることで区別することとする。本実施の形態においては、マージ候補リストmergeCandListは少なくとも6個のマージ候補(インター予測情報)を登録することができるものとする。さらに、マージ候補リストmergeCandListに登録されているマージ候補数を示す変数numMergeCandに0を設定する。
The normal merge
空間マージ候補導出部341及び空間マージ候補導出部441では、動画像符号化装置の符号化情報格納メモリ115または動画像復号装置の符号化情報格納メモリ210に格納されている符号化情報から、符号化/復号対象ブロックに隣接するそれぞれの符号化ブロックA,B,C,D,Eからの空間マージ候補A,B,C,D,Eを導出して、導出された空間マージ候補をマージ候補リストmergeCandListに登録する(図21のステップS401)。ここで、A,B,C,D,Eまたは時間マージ候補Colのいずれかを示すNを定義する。符号化ブロックNのインター予測情報が空間マージ候補Nとして利用できるかどうかを示すフラグavailableFlagN、空間マージ候補NのL0の参照インデックスrefIdxL0N及びL1の参照インデックスrefIdxL1N、L0予測が行われるかどうかを示すL0予測フラグpredFlagL0NおよびL1予測が行われるかどうかを示すL1予測フラグpredFlagL1N、L0の動きベクトルmvL0N、L1の動きベクトルmvL1Nを導出する。ただし、本実施の形態においては処理対象となる符号化ブロックを含む符号化ブロックと同じ符号化ブロックに含まれる符号化ブロックを参照せずに、マージ候補を導出するので、処理対象の符号化ブロックを含む符号化ブロックと同じ符号化ブロックに含まれる空間マージ候補は導出しない。
In the space merge
続いて、時間マージ候補導出部342及び時間マージ候補導出部442では、異なる時間のピクチャからの時間マージ候補を導出して、導出された時間マージ候補をマージ候補リストmergeCandListに登録する(図21のステップS402)。時間マージ候補が利用できるかどうかを示すフラグavailableFlagCol、時間マージ候補のL0予測が行われるかどうかを示すL0予測フラグpredFlagL0ColおよびL1予測が行われるかどうかを示すL1予測フラグpredFlagL1Col、及びL0の動きベクトルmvL0Col、L1の動きベクトルmvL1Colを導出する。ステップS402の詳細な処理手順については後ほど詳細に説明する。
Then, the temporal merge
続いて、平均マージ候補導出部344及び平均マージ候補導出部444では、マージ候補リストmergeCandListから平均マージ候補を導出して、導出された平均マージ候補をマージ候補リストmergeCandListに登録する(図21のステップS403)。
Subsequently, the average merge
続いて、履歴マージ候補導出部345及び履歴マージ候補導出部445では、履歴予測動きベクトル候補リストHMVPCandListに登録されている履歴予測動きベクトル候補をマージ候補リストmergeCandListに追加する(図21のステップS404)。ステップS404の詳細な処理手順については図41のフローチャートを用いて後ほど詳細に説明する。
Subsequently, the history merge
続いて、マージ候補補充部346及びマージ候補補充部446では、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandが、最大マージ候補数maxNumMergeCandより小さい場合、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandが最大マージ候補数maxNumMergeCandを上限として追加マージ候補を導出して、マージ候補リストmergeCandListに登録する(図21のステップS405)。最大マージ候補数maxNumMergeCandを上限として、Pスライスでは、異なる参照インデックスで動きベクトルが(0,0)の値を持つ予測モードがL0予測(Pred_L0)のマージ候補を追加する。Bスライスでは、異なる参照インデックスで動きベクトルが(0,0)の値を持つ予測モードが双予測(Pred_BI)のマージ候補を追加する。
Subsequently, in the merge
続いて、マージ候補選択部347及びマージ候補補充部447では、マージ候補リストmergeCandList内に登録されているマージ候補からマージ候補を選択する。符号化側のマージ候補選択部347では、符号量とひずみ量を算出することによりマージ候補を選択し、選択されたマージ候補を示すマージ・インデックス、マージ候補のインター予測情報を動き補償予測部406に供給する。一方、復号側のマージ候補補充部447では、復号されたマージ・インデックスに基づいて、マージ候補を選択し、選択されたマージ候補を動き補償予測部406に供給する。
Subsequently, the merge
<サブブロック予測動きベクトルモード導出>
サブブロック予測動きベクトルモード導出について説明する。
<Sub-block prediction motion vector mode derivation>
Sub-block motion vector predictor derivation will be described.
図26は、本願の符号化装置におけるサブブロック予測動きベクトルモード導出部303のブロック図である。
FIG. 26 is a block diagram of the sub-block motion vector predictor
まず、アフィン継承予測動きベクトル候補導出部361において、アフィン継承予測動きベクトル候補を導出する。アフィン継承予測動きベクトル候補導出の詳細については後述する。
First, the affine succession motion vector predictor
続いて、アフィン構築予測動きベクトル候補導出部362において、アフィン構築予測動きベクトル候補を導出する。アフィン構築予測動きベクトル候補導出の詳細については後述する。
Subsequently, the affine-constructed motion vector predictor
続いて、アフィン同一予測動きベクトル候補導出部363において、アフィン同一予測動きベクトル候補を導出する。アフィン同一予測動きベクトル候補導出の詳細については後述する。
Subsequently, the same affine motion vector predictor
サブブロック動きベクトル検出部366は、サブブロック予測動きベクトルモードに適するサブブロック動きベクトルを検出し、検出したベクトルをサブブロック予測動きベクトル候補選択部367、差分演算部368に供給する。
The sub-block motion
サブブロック予測動きベクトル候補選択部367は、アフィン継承予測動きベクトル候補導出部361、アフィン構築予測動きベクトル候補導出部362、アフィン同一予測動きベクトル候補導出部363において導出されたサブブロック予測動きベクトル候補の中から、サブブロック動きベクトル検出部366から供給された動きベクトルに基づいて、サブブロック予測動きベクトル候補を選択し、選択されたサブブロック予測動きベクトル候補に関する情報をインター予測モード判定部305、差分演算部368に供給する。
The sub-block motion vector predictor
差分演算部368は、サブブロック動きベクトル検出部366から供給された動きベクトルベクトルから、サブブロック予測動きベクトル候補選択部367で選択されたサブブロック予測動きベクトルを減算した差分予測動きベクトルを、インター予測モード判定部305に供給する。
The
図27は、本願の復号装置におけるサブブロック予測動きベクトルモード導出部403のブロック図である。
FIG. 27 is a block diagram of the sub-block motion vector predictor
まず、アフィン継承予測動きベクトル候補導出部461において、アフィン継承予測動きベクトル候補を導出する。アフィン継承予測動きベクトル候補導出部461の処理は本願の符号化装置におけるアフィン継承予測動きベクトル候補導出部361の処理と同一である。
First, the affine succession motion vector predictor
続いて、アフィン構築予測動きベクトル候補導出部462において、アフィン構築予測動きベクトル候補を導出する。アフィン構築予測動きベクトル候補導出部462の処理は本願の符号化装置におけるアフィン構築予測動きベクトル候補導出部362の処理と同一である。
Subsequently, the affine-constructed motion vector predictor
続いて、アフィン同一予測動きベクトル候補導出部463において、アフィン同一予測動きベクトル候補を導出する。アフィン同一予測動きベクトル候補導出部463の処理は本願の符号化装置におけるアフィン同一予測動きベクトル候補導出部363の処理と同一である。
Then, the same affine motion vector predictor
サブブロック予測動きベクトル候補選択部467は、アフィン継承予測動きベクトル候補導出部461、アフィン構築予測動きベクトル候補導出部462、アフィン同一予測動きベクトル候補導出部463において導出されたサブブロック予測動きベクトル候補の中から、符号化装置から伝送され復号される予測動きベクトルインデックスに基づいて、サブブロック予測動きベクトル候補を選択し、選択されたサブブロック予測動きベクトル候補に関する情報を動き補償予測部406、加算演算部467に供給する。
The sub-block motion vector predictor
加算演算部467は、サブブロック予測動きベクトル候補選択部466で選択されたサブブロック予測動きベクトルに、符号化装置から伝送され復号される差分動きベクトルを加算して生成した動きベクトルを動き補償予測部406に供給する。
The
<アフィン継承予測動きベクトル候補導出>
アフィン継承予測動きベクトル候補導出部361について説明する。アフィン継承予測動きベクトル候補導出部461についてもアフィン継承予測動きベクトル候補導出部361と同様である。
<Derivation of affine succession prediction motion vector candidates>
The affine succession prediction motion vector
アフィン継承予測動きベクトル候補は、アフィン制御点の動きベクトル情報を継承する。 The affine inheritance prediction motion vector candidate inherits the motion vector information of the affine control points.
図30は、アフィン継承予測動きベクトル候補導出を説明する図である。 FIG. 30 is a diagram for explaining derivation of affine succession motion vector predictor candidates.
アフィン継承予測動きベクトル候補は、空間的に隣接する符号化済・復号済ブロックの有するアフィン制御点の動きベクトルを探索することで得られる。 Affine inherited motion vector predictor candidates are obtained by searching for motion vectors of affine control points that spatially adjacent encoded/decoded blocks have.
具体的には、符号化・復号対象ブロックの左側に隣接するブロック(A0,A1)と、符号化・復号対象ブロックの上側に隣接するブロック(B0,B1,B2)から、それぞれ最大1つのアフィンモードを探索し、アフィン継承予測動きベクトルとする。 Specifically, a maximum of one affine is provided for each of the blocks (A0, A1) adjacent to the left side of the encoding/decoding target block and the blocks (B0, B1, B2) adjacent to the upper side of the encoding/decoding target block. A mode is searched for and used as an affine succession prediction motion vector.
図34は、アフィン継承予測動きベクトル候補導出のフローチャートである。 FIG. 34 is a flowchart of deriving an affine succession motion vector predictor candidate.
まず、符号化・復号対象ブロックの左側に隣接するブロック(A0,A1)を左グループとし(S3101)、A0を含むブロックがアフィン保障を用いたブロック(アフィンモード)であるか否かを判断する(S3102)。A0がアフィンモードである場合(S3102:YES)、A0が使用したアフィンモデルを取得し(S3103)、上側に隣接するブロックの処理に移る。A0がアフィンモードでない場合(S3102:NO)、アフィン継承予測動きベクトル候補導出の対象をA0−>A1とし、A1を含むブロックからアフィンモードの取得を試みる。 First, the block (A0, A1) adjacent to the left side of the encoding/decoding target block is set as a left group (S3101), and it is determined whether the block including A0 is a block using affine security (affine mode). (S3102). When A0 is in the affine mode (S3102: YES), the affine model used by A0 is acquired (S3103), and the process of the block adjacent to the upper side is performed. When A0 is not the affine mode (S3102: NO), the target of deriving the affine succession motion vector predictor candidate is A0->A1, and the affine mode is tried to be acquired from the block including A1.
続いて、符号化・復号対象ブロックの上側に隣接するブロック(B0,B1,B2)を上グループとし(S3104)、B0を含むブロックがアフィンモードであるか否かを判断する(S3105)。B0がアフィンモードである場合(S3105:YES)、B0が使用したアフィンモデルを取得し(S3106)、処理を終了する。B0がアフィンモードでない場合(S3105:NO)、アフィン継承予測動きベクトル候補導出の対象をB0−>B1とし、B1を含むブロックからアフィンモードの取得を試みる。さらに、B1がアフィンモードでない場合(S3105:NO)、アフィン継承予測動きベクトル候補導出の対象をB1−>B2とし、B2を含むブロックからアフィンモードの取得を試みる。 Subsequently, blocks (B0, B1, B2) adjacent to the upper side of the encoding/decoding target block are set as an upper group (S3104), and it is determined whether the block including B0 is in the affine mode (S3105). If B0 is in the affine mode (S3105: YES), the affine model used by B0 is acquired (S3106), and the process ends. When B0 is not the affine mode (S3105: NO), the target of deriving the affine succession prediction motion vector candidate is set to B0->B1, and the affine mode is tried to be acquired from the block including B1. Furthermore, when B1 is not the affine mode (S3105: NO), the target of deriving the affine succession motion vector predictor candidate is B1->B2, and the affine mode is tried to be acquired from the block including B2.
このように、左側ブロックと上側ブロックにグループを分けて、左側ブロックについては、左下から左上のブロックの順にアフィンモデルを探索し、左側ブロックについては、右上から左上のブロックの順にアフィンモデルを探索することで、可能な限り異なる2つのアフィンモデルを取得することができ、アフィン予測動きベクトルのいずれかが差分動きベクトルの小さくなるアフィン予測動きベクトル候補を導出することができる。 In this way, the left block and the upper block are divided into groups, and for the left block, the affine model is searched in the order from the lower left to the upper left block, and for the left block, the affine model is searched in the order from the upper right to the upper left block. As a result, two affine models that differ as much as possible can be acquired, and an affine motion vector predictor candidate in which one of the affine motion vector predictors has a smaller difference motion vector can be derived.
<アフィン構築予測動きベクトル候補導出>
アフィン構築予測動きベクトル候補導出部362について説明する。アフィン構築予測動きベクトル候補導出部462についてもアフィン構築予測動きベクトル候補導出部362と同様である。
<Affine construction prediction motion vector candidate derivation>
The affine construction motion vector predictor
アフィン構築予測動きベクトル候補は、空間的に隣接するブロックの動き情報からアフィン制御点の動きベクトル情報を構築する。 The affine-constructed motion vector predictor candidate constructs motion vector information of affine control points from motion information of spatially adjacent blocks.
図31は、アフィン構築予測動きベクトル候補導出を説明する図である。 FIG. 31 is a diagram for explaining derivation of affine-construction motion vector predictor candidates.
アフィン構築予測動きベクトル候補は、空間的に隣接する符号化済・復号済ブロックの有する動きベクトルを組み合わせて新たなアフィンモデルを構築することで得られる。 The affine construction prediction motion vector candidate is obtained by constructing a new affine model by combining the motion vectors of the spatially adjacent encoded/decoded blocks.
具体的には、符号化・復号対象ブロックの左上側に隣接するブロック(B2,B3,A2)から左上アフィン制御点CP0の動きベクトルを導出し、符号化・復号対象ブロックの右上側に隣接するブロック(B1,B0)から右上アフィン制御点CP1の動きベクトルを導出し、符号化・復号対象ブロックの左下側に隣接するブロック(A1,A0)から左下アフィン制御点CP2の動きベクトルを導出する。 Specifically, the motion vector of the upper left affine control point CP0 is derived from the block (B2, B3, A2) adjacent to the upper left side of the encoding/decoding target block and is adjacent to the upper right side of the encoding/decoding target block. The motion vector of the upper right affine control point CP1 is derived from the block (B1, B0), and the motion vector of the lower left affine control point CP2 is derived from the block (A1, A0) adjacent to the lower left side of the encoding/decoding target block.
図35は、アフィン構築予測動きベクトル候補導出のフローチャートである。 FIG. 35 is a flowchart for deriving an affine construction motion vector predictor candidate.
まず、左上制御点CP0、右上制御点CP1、左下アフィン制御点CP2を導出する(S3201)。左上アフィン制御点CP0は、符号化・復号対象ブロックと同一の参照画像をもつ参照ブロックを、B2、B3、A2参照ブロックの優先順で探索することで算出される。右上アフィン制御点CP1は、符号化・復号対象ブロックと同一の参照画像をもつ参照ブロックを、B1、B0参照ブロックの優先順で探索することで算出される。左下アフィン制御点CP2は、符号化・復号対象ブロックと同一の参照画像をもつ参照ブロックを、A1、A0参照ブロックの優先順で探索することで算出される。 First, the upper left control point CP0, the upper right control point CP1, and the lower left affine control point CP2 are derived (S3201). The upper left affine control point CP0 is calculated by searching a reference block having the same reference image as the encoding/decoding target block in the priority order of the B2, B3, and A2 reference blocks. The upper right affine control point CP1 is calculated by searching a reference block having the same reference image as the encoding/decoding target block in the priority order of the B1 and B0 reference blocks. The lower left affine control point CP2 is calculated by searching a reference block having the same reference image as the encoding/decoding target block in the priority order of the A1 and A0 reference blocks.
アフィン構築予測動きベクトルとして、アフィン制御点3本モードを選択する場合(S3202:YES)、3つのアフィン制御点(CP0,CP1,CP2)がすべて導出されたか否かを判断する(S3203)。3つのアフィン制御点(CP0,CP1,CP2)がすべて導出された場合(S3203:YES)、3つのアフィン制御点(CP0,CP1,CP2)を用いたアフィンモデルをアフィン構築予測動きベクトルとする(S3204)。アフィン制御点3本モードを選択せず、アフィン制御点2本モードを選択した場合(S3202:NO)、2つのアフィン制御点(CP0,CP1)がすべて導出されたか否かを判断する(S3205)。2つのアフィン制御点(CP0,CP1)がすべて導出された場合(S3205:YES)、2つのアフィン制御点(CP0,CP1)を用いたアフィンモデルをアフィン構築予測動きベクトルとする(S3206)。 When the three-affine control point mode is selected as the affine construction prediction motion vector (S3202: YES), it is determined whether all three affine control points (CP0, CP1, CP2) have been derived (S3203). When all three affine control points (CP0, CP1, CP2) are derived (S3203: YES), an affine model using the three affine control points (CP0, CP1, CP2) is used as an affine construction prediction motion vector ( S3204). When the two-affine control point mode is selected without selecting the three-affine control point mode (S3202: NO), it is determined whether or not all two affine control points (CP0, CP1) have been derived (S3205). .. When all the two affine control points (CP0, CP1) are derived (S3205: YES), the affine model using the two affine control points (CP0, CP1) is set as the affine constructed prediction motion vector (S3206).
<アフィン同一予測動きベクトル候補導出>
アフィン同一予測動きベクトル候補導出部363について説明する。アフィン同一予測動きベクトル候補導出部463についてもアフィン同一予測動きベクトル候補導出部363と同様である。
<Affine same motion vector predictor derivation>
The affine same motion vector predictor
アフィン同一予測動きベクトル候補は、各アフィン制御点で同一の動きベクトルを導出することで得られる。 Affine same motion vector predictor candidates are obtained by deriving the same motion vector at each affine control point.
具体的には、アフィン構築予測動きベクトル候補導出部362・462と同様に、各アフィン制御点情報を導出し、すべてのアフィン制御点をCP0〜CP2のいずれかで同一に設定することで得られる。また、通常予測動きベクトルモードと同様に導出した時間動きベクトルをすべてのアフィン制御点に設定することでも得られる。
Specifically, similar to the affine construction motion vector predictor
<サブブロックマージモード導出>
サブブロックマージモード導出について説明する。
<Sub-block merge mode derivation>
Sub-block merge mode derivation will be described.
図28は、本願の符号化装置におけるサブブロックマージモード導出部304のブロック図である。サブブロックマージモード導出部304は、サブブロックマージ候補リストsubblockMergeCandListを備えている。これは、通常マージモード導出部302におけるマージ候補リストmergeCandListと同様のものであり、サブブロック単位で異なる候補リストとなる点のみが異なる。
FIG. 28 is a block diagram of the sub-block merge
まず、サブブロック時間マージ候補導出部381において、サブブロック時間マージ候補を導出する。サブブロック時間マージ候補導出の詳細については後述する。
First, the sub-block time merge
続いて、アフィン継承マージ候補導出部382において、アフィン継承マージ候補を導出する。アフィン継承マージ候補導出の詳細については後述する。
Then, the affine inheritance merge
続いて、アフィン構築マージ候補導出部383において、アフィン構築マージ候補を導出する。アフィン構築マージ候補導出の詳細については後述する。
Then, the affine construction merge
続いて、アフィン固定マージ候補導出部384において、アフィン固定マージ候補を導出する。アフィン固定マージ候補導出の詳細については後述する。 Then, the affine fixed merge candidate derivation unit 384 derives the affine fixed merge candidate. Details of deriving an affine fixed merge candidate will be described later.
サブブロックマージ候補選択部386は、サブブロック時間マージ候補導出部381、アフィン継承マージ候補導出部382、アフィン構築マージ候補導出部383、アフィン固定マージ候補導出部384において導出されたサブブロックマージ候補の中から、サブブロックマージ候補を選択し、選択されたサブブロックマージ候補に関する情報をインター予測モード判定部305に供給する。
The sub-block merge
図29は、本願の復号装置におけるサブブロックマージモード導出部404のブロック図である。サブブロックマージモード導出部404は、サブブロックマージ候補リストsubblockMergeCandListを備えている。これは、サブブロックマージモード導出部304と同じものである。
FIG. 29 is a block diagram of the sub-block merge
まず、サブブロック時間マージ候補導出部481において、サブブロック時間マージ候補を導出する。サブブロック時間マージ候補導出部481の処理はサブブロック時間マージ候補導出部381の処理と同一である。
First, the sub-block time merge
続いて、アフィン継承マージ候補導出部482において、アフィン継承マージ候補を導出する。アフィン継承マージ候補導出部482の処理はアフィン継承マージ候補導出部382の処理と同一である。
Then, the affine inheritance merge
続いて、アフィン構築マージ候補導出部483において、アフィン構築マージ候補を導出する。アフィン構築マージ候補導出部483の処理はアフィン構築マージ候補導出部383の処理と同一である。
Then, the affine construction merge
続いて、アフィン固定マージ候補導出部485において、アフィン固定マージ候補を導出する。アフィン固定マージ候補導出部485の処理はアフィン固定マージ候補導出部485の処理と同一である。
Then, the affine fixed merge
サブブロックマージ候補選択部486は、サブブロック時間マージ候補導出部481、アフィン継承マージ候補導出部482、アフィン構築マージ候補導出部483、アフィン固定マージ候補導出部484において導出されたサブブロックマージ候補の中から、符号化装置から伝送され復号されるインデックスに基づいて、サブブロックマージ候補を選択し、選択されたサブブロックマージ候補に関する情報を動き補償予測部406に供給する。
The sub-block merge
<サブブロック時間マージ候補導出>
サブブロック時間マージ候補導出部381の動作については後述する。
<Sub-block time merge candidate derivation>
The operation of the sub block time merge
<アフィン継承マージ候補導出>
アフィン継承マージ候補導出部382について説明する。アフィン継承マージ候補導出部482についてもアフィン継承マージ候補導出部382と同様である。
<Derivation of affine inheritance merge candidates>
The affine inheritance merge
アフィン継承マージ候補は、空間的に隣接するブロックの有するアフィンモデルからアフィン制御点のアフィンモデルを継承する。 The affine inheritance merge candidate inherits the affine model of the affine control points from the affine models of blocks spatially adjacent to each other.
図32は、アフィン継承マージ候補導出を説明する図である。アフィンマージ継承マージモード候補の導出は、アフィン継承予測動きベクトルの導出と同様に、空間的に隣接する符号化済・復号済ブロックの有するアフィン制御点の動きベクトルを探索することで得られる。 FIG. 32 is a diagram for explaining derivation of affine inheritance merge candidates. The derivation of the affine merge inheritance merge mode candidate is obtained by searching the motion vector of the affine control point of the spatially adjacent encoded/decoded blocks, similarly to the derivation of the affine inheritance prediction motion vector.
具体的には、符号化・復号対象ブロックの左側に隣接するブロック(A0,A1)と、符号化・復号対象ブロックの上側に隣接するブロック(B0,B1,B2)から、それぞれ最大1つのアフィンモードを探索し、アフィンマージモードに使用する。 Specifically, a maximum of one affine is provided for each of the blocks (A0, A1) adjacent to the left side of the encoding/decoding target block and the blocks (B0, B1, B2) adjacent to the upper side of the encoding/decoding target block. Search mode and use for affine merge mode.
図36は、アフィン継承マージ候補導出のフローチャートである。 FIG. 36 is a flowchart of deriving an affine inheritance merge candidate.
まず、符号化・復号対象ブロックの左側に隣接するブロック(A0,A1)を左グループとし(S3301)、A0を含むブロックがアフィンモードであるか否かを判断する(S3302)。A0がアフィンモードである場合(S3102:YES)、A0が使用したアフィンモデルを取得し(S3303)、上側に隣接するブロックの処理に移る。A0がアフィンモードでない場合(S3302:NO)、アフィン継承マージ候補導出の対象をA0−>A1とし、A1を含むブロックからアフィンモードの取得を試みる。 First, the block (A0, A1) adjacent to the left side of the encoding/decoding target block is set as the left group (S3301), and it is determined whether the block including A0 is in the affine mode (S3302). When A0 is in the affine mode (S3102: YES), the affine model used by A0 is acquired (S3303), and the process moves to the block adjacent to the upper side. When A0 is not in the affine mode (S3302: NO), the target of the affine inheritance merge candidate derivation is A0->A1 and the acquisition of the affine mode from the block including A1 is tried.
続いて、符号化・復号対象ブロックの上側に隣接するブロック(B0,B1,B2)を上グループとし(S3304)、B0を含むブロックがアフィンモードであるか否かを判断する(S3305)。B0がアフィンモードである場合(S3305:YES)、B0が使用したアフィンモデルを取得し(S3306)、処理を終了する。B0がアフィンモードでない場合(S3305:NO)、アフィン継承マージ候補導出の対象をB0−>B1とし、B1を含むブロックからアフィンモードの取得を試みる。さらに、B1がアフィンモードでない場合(S3305:NO)、アフィン継承マージ候補導出の対象をB1−>B2とし、B2を含むブロックからアフィンモードの取得を試みる。 Subsequently, blocks (B0, B1, B2) adjacent to the upper side of the encoding/decoding target block are set as an upper group (S3304), and it is determined whether the block including B0 is in the affine mode (S3305). If B0 is in the affine mode (S3305: YES), the affine model used by B0 is acquired (S3306), and the process ends. When B0 is not the affine mode (S3305: NO), the target of the affine inheritance merge candidate derivation is B0->B1 and the acquisition of the affine mode is attempted from the block including B1. Furthermore, when B1 is not in the affine mode (S3305: NO), the target of the affine inheritance merge candidate derivation is B1->B2, and the acquisition of the affine mode from the block including B2 is tried.
<アフィン構築マージ候補導出>
アフィン構築マージ候補導出部383について説明する。アフィン構築マージ候補導出部483についてもアフィン構築マージ候補導出部383と同様である。
<Derivation of affine construction merge candidates>
The affine construction merge
図33は、アフィン構築マージ候補導出を説明する図である。アフィン構築マージ候補は、空間的に隣接するブロックの有する動き情報及び時間符号化ブロックからアフィン制御点のアフィンモデルを構築する。 FIG. 33 is a diagram for explaining derivation of affine construction merge candidates. The affine construction merge candidate constructs an affine model of an affine control point from motion information and temporally encoded blocks that spatially adjacent blocks have.
具体的には、符号化・復号対象ブロックの左上側に隣接するブロック(B2,B3,A2)から左上アフィン制御点CP0の動きベクトルを導出し、符号化・復号対象ブロックの右上側に隣接するブロック(B1,B0)から右上アフィン制御点CP1の動きベクトルを導出し、符号化・復号対象ブロックの左下側に隣接するブロック(A1,A0)から左下アフィン制御点CP2の動きベクトルを導出し、符号化・復号対象ブロックの右下側に隣接する時間符号化ブロック(T0)から右下アフィン制御点CP3の動きベクトルを導出する。 Specifically, the motion vector of the upper left affine control point CP0 is derived from the block (B2, B3, A2) adjacent to the upper left side of the encoding/decoding target block and is adjacent to the upper right side of the encoding/decoding target block. A motion vector of the upper right affine control point CP1 is derived from the block (B1, B0), and a motion vector of the lower left affine control point CP2 is derived from the block (A1, A0) adjacent to the lower left side of the encoding/decoding target block. The motion vector of the lower right affine control point CP3 is derived from the time encoding block (T0) adjacent to the lower right side of the encoding/decoding target block.
図37は、アフィン構築マージ候補導出のフローチャートである。 FIG. 37 is a flowchart of deriving an affine construction merge candidate.
まず、左上アフィン制御点CP0、右上アフィン制御点CP1、左下アフィン制御点CP2、右下アフィン制御点CP3を導出する(S3401)。左上制御点CP0は、動き情報を有するブロックを、B2、B3、A2ブロックの優先順で探索することで算出される。右上制御点CP1は、動き情報を有するブロックを、B1、B0ブロックの優先順で探索することで算出される。左下制御点CP2は、動き情報を有するブロックを、A1、A0ブロックの優先順で探索することで算出される。右下制御点CP3は、時間ブロックの動き情報を探索することで算出される。 First, the upper left affine control point CP0, the upper right affine control point CP1, the lower left affine control point CP2, and the lower right affine control point CP3 are derived (S3401). The upper left control point CP0 is calculated by searching a block having motion information in the priority order of the B2, B3, and A2 blocks. The upper right control point CP1 is calculated by searching a block having motion information in the priority order of the B1 and B0 blocks. The lower left control point CP2 is calculated by searching a block having motion information in the priority order of the A1 and A0 blocks. The lower right control point CP3 is calculated by searching the motion information of the time block.
続いて、導出されたCP0、CP1、CP2により3本アフィン制御点によるアフィンモデルを構築可能であるか否かを判断し(S3402)、構築可能である場合(S3402:YES)、CP0、CP1、CP2による3本アフィン制御点アフィンモデルをアフィンマージ候補とする(S3403)。 Subsequently, it is determined whether or not an affine model with three affine control points can be constructed using the derived CP0, CP1, and CP2 (S3402). If it is possible (S3402: YES), CP0, CP1, The three-affine control point affine model by CP2 is set as an affine merge candidate (S3403).
続いて、導出されたCP0、CP1、CP3により3本アフィン制御点によるアフィンモデルを構築可能であるか否かを判断し(S3404)、構築可能である場合(S3404:YES)、CP0、CP1、CP3による3本アフィン制御点アフィンモデルをアフィンマージ候補とする(S3405)。 Subsequently, it is determined whether or not an affine model with three affine control points can be constructed by the derived CP0, CP1, and CP3 (S3404), and if it is possible (S3404: YES), CP0, CP1, The three-affine control point affine model by CP3 is set as an affine merge candidate (S3405).
続いて、導出されたCP0、CP2、CP3により3本アフィン制御点によるアフィンモデルを構築可能であるか否かを判断し(S3406)、構築可能である場合(S3406:YES)、CP0、CP2、CP3による3本アフィン制御点アフィンモデルをアフィンマージ候補とする(S3407)。 Subsequently, it is determined whether or not an affine model with three affine control points can be constructed by the derived CP0, CP2, CP3 (S3406), and if it is possible (S3406: YES), CP0, CP2, The three-affine control point affine model by CP3 is set as an affine merge candidate (S3407).
続いて、導出されたCP1、CP2、CP3により3本アフィン制御点によるアフィンモデルを構築可能であるか否かを判断し(S3408)、構築可能である場合(S3408:YES)、CP1、CP2、CP3による3本アフィン制御点アフィンモデルをアフィンマージ候補とする(S3409)。 Subsequently, it is judged whether or not an affine model with three affine control points can be constructed by the derived CP1, CP2, CP3 (S3408), and if it is possible (S3408: YES), CP1, CP2, The three-affine control point affine model by CP3 is set as an affine merge candidate (S3409).
続いて、導出されたCP0、CP1により2本アフィン制御点によるアフィンモデルを構築可能であるか否かを判断し(S3410)、構築可能である場合(S3410:YES)、CP0、CP1による2本アフィン制御点アフィンモデルをアフィンマージ候補とする(S3411)。 Subsequently, it is determined whether or not it is possible to construct an affine model with two affine control points by the derived CP0 and CP1 (S3410), and if it is possible (S3410: YES), two affine models by CP0 and CP1. The affine control point affine model is set as an affine merge candidate (S3411).
続いて、導出されたCP0、CP2により2本アフィン制御点によるアフィンモデルを構築可能であるか否かを判断し(S3412)、構築可能である場合(S3412:YES)、CP0、CP2による2本アフィン制御点アフィンモデルをアフィンマージ候補とする(S3413)。 Subsequently, it is determined whether or not an affine model with two affine control points can be constructed by the derived CP0 and CP2 (S3412). If it is possible (S3412: YES), two affine models by CP0 and CP2 can be constructed. The affine control point affine model is set as an affine merge candidate (S3413).
ここで、アフィンモデルを構築あるか否かは、下記の条件で判断する。 Here, whether or not the affine model is constructed is determined under the following conditions.
1.すべてのアフィン制御点の参照画像が同一である。(アフィン変換可能)
2.少なくとも1つのアフィン制御点で異なる動きベクトルをもつ。(平行移動で表現できない)
また、CP0,CP1,CP2による3本アフィン制御点アフィンモデル、CP0,CP1による2本アフィン制御点アフィンモデル以外のアフィンモデルは、3本制御アフィンモデルについては、CP0,CP1,CP2による3本アフィン制御点アフィンモデルに、2本制御アフィンモデルについては、CP0,CP1による2本アフィン制御点アフィンモデルに変換する。
1. The reference images of all affine control points are the same. (Affine conversion possible)
2. At least one affine control point has different motion vectors. (Cannot be expressed by translation)
Further, for affine models other than the three-affine control point affine model by CP0, CP1, CP2 and the two-affine control point affine model by CP0, CP1, for the three-control affine model, three-affine control points by CP0, CP1, CP2. The control point affine model is converted to the two-control affine model by the CP0 and CP1.
<アフィン固定マージ候補導出>
アフィン固定マージ候補導出部385について説明する。アフィン固定マージ候補導出部485についてもアフィン固定マージ候補導出部385と同様である。
<Affine fixed merge candidate derivation>
The affine fixed merge
アフィン固定マージ候補は、固定された動き情報でアフィン制御点の動き情報を固定する。 The affine fixed merge candidate fixes the motion information of the affine control points with the fixed motion information.
具体的には、各アフィン制御点の動きベクトルを(0,0)に固定する。 Specifically, the motion vector of each affine control point is fixed to (0,0).
<時間予測動きベクトル>
時間予測動きベクトルの説明に先行して、ピクチャの時間的な前後関係について説明する。図49(a)は、符号化対象の符号化ブロックと、符号化対象ピクチャとは時間的に異なる符号化済みのピクチャの関係を示す。符号化対象ピクチャにおいて、符号化に参照する特定の符号化済みのピクチャをColPicと定義する。ColPicはシンタックスにより特定される。
<Temporal prediction motion vector>
Prior to the description of the temporal motion vector predictor, the temporal context of the picture will be described. FIG. 49A shows the relationship between a coding block to be coded and a coded picture that is temporally different from the picture to be coded. In the picture to be coded, a specific coded picture that is referred to for coding is defined as ColPic. ColPic is specified by the syntax.
また、図49(b)は、ColPicにおいて、符号化対象の符号化ブロックと同一位置、およびその近傍に存在する、符号化済みの符号化ブロックを示す。これらの符号化ブロックT0およびT1は、符号化対象ピクチャと時間的に異なるピクチャにおける、ほぼ同一位置の符号化ブロックである。 Also, FIG. 49(b) shows the coded coding blocks that are present at the same position as the coding target coding block and in the vicinity thereof in the ColPic. These coding blocks T0 and T1 are coding blocks at substantially the same positions in a picture temporally different from the picture to be coded.
上記したピクチャの時間的な前後関係の説明は、符号化時のものであるが、復号時も同様となる。つまり、復号時は、上記の説明における符号化を復号と置き換えて、同様に説明される。 The above description of the temporal context of the picture is for encoding, but the same applies for decoding. That is, at the time of decoding, the coding in the above description is replaced with the decoding, and the same description will be made.
図17の通常予測動きベクトルモード導出部301における時間予測動きベクトル候補導出部322の動作について、図50を参照して説明する。
The operation of the temporal motion vector predictor
まず、ColPicを導出する(ステップS4201)。ColPicの導出について、図51を参照して説明する。 First, ColPic is derived (step S4201). Derivation of ColPic will be described with reference to FIG.
スライスタイプslice_typeがBスライスで、フラグcollocated_from_l0_flagが0の場合(ステップS4211のYES、ステップS4212のYES)、RefPicList1[0]、すなわち参照リストL1の参照インデックスが0のピクチャが異なる時間のピクチャcolPicとなる(ステップS4213)。そうでない場合、すなわちスライスタイプslice_typeがBスライスで前述のフラグcollocated_from_l0_flagが1の場合(ステップS4211のYES、ステップS4212のNO)、またはスライスタイプslice_typeがPスライスの場合(ステップS4211のNO、ステップS4214のYES)、RefPicList0[0]、すなわち参照リストL0の参照インデックスが0のピクチャが異なる時間のピクチャcolPicとなる(ステップS4215)。slice_typeがPスライスでない場合(ステップS4214:NO)、処理を終了する。
When the slice type slice_type is a B slice and the flag collocated_from_l0_flag is 0 (YES in step S4211 and YES in step S4212), RefPicList1[0], that is, a picture with a
再び、図50を参照する。ColPicを導出したら、符号化ブロックcolCbを導出し、符号化情報を取得する(ステップS4202)。この処理について、図52を参照して説明する。 Referring again to FIG. After deriving ColPic, the coding block colCb is derived and coding information is acquired (step S4202). This process will be described with reference to FIG.
まず、異なる時間のピクチャcolPic内で処理対象の符号化ブロックと同一位置の右下(外側)に位置する符号化ブロックを異なる時間の符号化ブロックcolCbとする(ステップS4221)。この符号化ブロックは図49の符号化ブロックT0に相当する。 First, the coding block located at the lower right (outside) of the same position as the coding block to be processed in the pictures colPic at different times is set as the coding block colCb at different times (step S4221). This coding block corresponds to the coding block T0 in FIG.
次に、異なる時間の符号化ブロックcolCbの符号化情報を取得する(ステップS4222)。異なる時間の符号化ブロックcolCbのPredModeが利用できないか、異なる時間の符号化ブロックcolCbの予測モードPredModeがイントラ予測(MODE_INTRA)である場合(ステップS4223:NO、ステップS4224:YES)、異なる時間のピクチャcolPic内で処理対象の符号化ブロックと同一位置の中央右下に位置する符号化ブロックを異なる時間の符号化ブロックcolCbとする(ステップS4225)。この符号化ブロックは図49の符号化ブロックT1に相当する。 Next, the coded information of the coded blocks colCb at different times is acquired (step S4222). If the PredMode of the coded block colCb at a different time is not available or the prediction mode PredMode of the coded block colCb of a different time is intra prediction (MODE_INTRA) (step S4223: NO, step S4224: YES), a picture at a different time The coding block located at the lower right center of the same position as the coding block to be processed in colPic is set as a coding block colCb at a different time (step S4225). This coding block corresponds to the coding block T1 in FIG.
再び、図50を参照する。次に、参照リストごとに、インター予測情報を導出する(S4203,S4204)。ここでは、符号化ブロックcolCbについて、参照リストごとの動きベクトルmvLXColと符号化情報が有効か否かを示すフラグavailableFlagLXColを導出する。LXは参照リストを示し、参照リスト0の導出ではLXはL0となり、参照リスト1の導出ではLXはL1となる。インター予測情報の導出について、図53を参照して説明する。
Referring again to FIG. Next, inter prediction information is derived for each reference list (S4203, S4204). Here, for the coding block colCb, a motion vector mvLXCol for each reference list and a flag availableFlagLXCol indicating whether or not the coding information is valid are derived. LX indicates a reference list, and LX becomes L0 when deriving the
異なる時間の符号化ブロックcolCbが利用できない場合(S4231S4231:NO)、または予測モードPredModeがイントラ予測(MODE_INTRA)の場合(S4232:NO)、フラグavailableFlagLXColとフラグpredFlagLXColを共に0とし(ステップS4233)、動きベクトルmvLXColを(0,0)として(S4234)、処理を終了する。 When the coded blocks colCb at different times cannot be used (S4231 S4231: NO) or the prediction mode PredMode is intra prediction (MODE_INTRA) (S4232: NO), both the flag availableFlagLXCol and the flag predFlagLXCol are set to 0 (step S4233), and the motion is performed. The vector mvLXCol is set to (0, 0) (S4234), and the process ends.
符号化ブロックcolCbが利用でき(S4231:Yes)、予測モードPredModeがイントラ予測(MODE_INTRA)でない場合(S4232:YES)、以下の手順でmvCol、refIdxColおよびavailableFlagColを算出する。 When the coding block colCb is available (S4231: Yes) and the prediction mode PredMode is not intra prediction (MODE_INTRA) (S4322: YES), mvCol, refIdxCol and availableFlagCol are calculated by the following procedure.
符号化ブロックcolCbのL0予測が利用されているかどうかを示すフラグPredFlagL0[xPCol][yPCol]が0の場合(S4235のYES)、符号化ブロックcolCbの予測モードはPred_L1であるので、動きベクトルmvColが符号化ブロックcolCbのL1の動きベクトルであるMvL1[xPCol][yPCol]と同じ値に設定され(S4236)、参照インデックスrefIdxColがL1の参照インデックスRefIdxL1[xPCol][yPCol]と同じ値に設定され(S4237)、リストListColがL1に設定される(S4238)。ここで、xPCol、yPColは異なる時間のピクチャcolPic内での符号化ブロックcolCbの左上の画素の位置を示すインデックスである。 When the flag PredFlagL0[xPCol][yPCol] indicating whether the L0 prediction of the coding block colCb is used is 0 (YES in S4235), the prediction mode of the coding block colCb is Pred_L1, and thus the motion vector mvCol is It is set to the same value as MvL1[xPCol][yPCol] which is the motion vector of L1 of the coding block colCb (S4236), and the reference index refIdxCol is set to the same value as the reference index RefIdxL1[xPCol][yPCol] of L1 ( S4237), and the list ListCol is set to L1 (S4238). Here, xPCol and yPCol are indices indicating the position of the upper left pixel of the coded block colCb in the pictures colPic at different times.
一方、符号化ブロックcolCbのL0予測フラグPredFlagL0[xPCol][yPCol]が0でない場合(S4235のNO)、符号化ブロックcolCbのL1予測フラグPredFlagL1[xPCol][yPCol]が0かどうかを判定する。符号化ブロックcolCbのL1予測フラグPredFlagL1[xPCol][yPCol]が0の場合(S4239のYES)、動きベクトルmvColが符号化ブロックcolCbのL0の動きベクトルであるMvL0[xPCol][yPCol]と同じ値に設定され(S4240)、参照インデックスrefIdxColがL0の参照インデックスRefIdxL0[xPCol][yPCol] と同じ値に設定され(S4241)、リストListColがL0に設定される(S4242)。 On the other hand, when the L0 prediction flag PredFlagL0[xPCol][yPCol] of the coding block colCb is not 0 (NO in S4235), it is determined whether the L1 prediction flag PredFlagL1[xPCol][yPCol] of the coding block colCb is 0. When the L1 prediction flag PredFlagL1[xPCol][yPCol] of the coding block colCb is 0 (YES in S4239), the motion vector mvCol is the same value as MvL0[xPCol][yPCol] which is the motion vector of L0 of the coding block colCb. (S4240), the reference index refIdxCol is set to the same value as the reference index RefIdxL0[xPCol][yPCol] of L0 (S4241), and the list ListCol is set to L0 (S4242).
符号化ブロックcolCbのL0予測フラグPredFlagL0[xPCol][yPCol]と符号化ブロックcolCbのL1予測フラグPredFlagL1[xPCol][yPCol]が共に0でない場合(S4235のNO,S4239のNO)、符号化ブロックcolCbのインター予測モードは双予測(Pred_BI)であるので、L0、L1の2つの動きベクトルから、一方を選択する(S4243)。 When both the L0 prediction flag PredFlagL0[xPCol][yPCol] of the coding block colCb and the L1 prediction flag PredFlagL1[xPCol][yPCol] of the coding block colCb are not 0 (NO in S4235, NO in S4239), the coding block colCb Since the inter prediction mode of is bi-prediction (Pred_BI), one is selected from the two motion vectors L0 and L1 (S4243).
図54は、符号化ブロックcolCbのインター予測モードが双予測(Pred_BI)のときの符号化ブロックのインター予測情報の導出処理手順を示すフローチャートである。 FIG. 54 is a flowchart illustrating a procedure of deriving inter prediction information of a coded block when the inter prediction mode of the coded block colCb is bi-prediction (Pred_BI).
まず、すべての参照リストに登録されているすべてのピクチャのPOCが現在の符号化対象ピクチャのPOCより小さいかどうかを判定し(S4251)、符号化ブロックcolCbのすべての参照リストであるL0及びL1に登録されているすべてのピクチャのPOCが現在の符号化対象ピクチャのPOCより小さい場合で(S4251のYES)、LXがL0、即ち符号化対象の符号化ブロックのL0の動きベクトルの予測ベクトル候補を導出している場合(S4252のYES)、符号化ブロックcolCbのL0の方のインター予測情報を選択し、LXがL1、即ち符号化対象の符号化ブロックのL1の動きベクトルの予測ベクトル候補を導出している場合(S4252のNO)、符号化ブロックcolCbのL1の方のインター予測情報を選択する。一方、符号化ブロックcolCbのすべての参照リストL0及びL1に登録されているピクチャのPOCの少なくとも1つが現在の符号化対象ピクチャのPOCより大きい場合で(S4251のNO)、フラグcollocated_from_l0_flagが0場合(S4253のYES)、符号化ブロックcolCbのL0の方のインター予測情報を選択し、フラグcollocated_from_l0_flagが1の場合(S4253のNO)、符号化ブロックcolCbのL1の方のインター予測情報を選択する。 First, it is determined whether or not the POCs of all pictures registered in all reference lists are smaller than the POCs of the current encoding target picture (S4251), and all reference lists L0 and L1 of the encoded block colCb are determined. If the POCs of all the pictures registered in are smaller than the POCs of the current picture to be coded (YES in S4251), LX is L0, that is, the motion vector prediction vector candidate of L0 of the coded block to be coded. In the case where L is derived (YES in S4252), the L0 inter prediction information of the coding block colCb is selected, and LX is L1, that is, the prediction vector candidate of the L1 motion vector of the coding block to be coded is selected. If it has been derived (NO in S4252), the inter prediction information of L1 of the coding block colCb is selected. On the other hand, when at least one of the POCs of the pictures registered in all the reference lists L0 and L1 of the coding block colCb is larger than the POC of the current picture to be coded (NO in S4251), the flag collocated_from_l0_flag is 0 ( If YES in S4253), the L0 inter prediction information of the coding block colCb is selected, and if the flag collocated_from_l0_flag is 1 (NO in S4253), the L1 inter prediction information of the coding block colCb is selected.
符号化ブロックcolCbのL0の方のインター予測情報を選択する場合(S4252のYES、S4253のYES)、動きベクトルmvColがMvL0[xPCol][yPCol]と同じ値に設定され(S4254)、参照インデックスrefIdxColがRefIdxL0[xPCol][yPCol]と同じ値に設定され(S4255)、リストListColがL0に設定される(S4256)。 When selecting the L0 inter prediction information of the coding block colCb (YES in S4252, YES in S4253), the motion vector mvCol is set to the same value as MvL0[xPCol][yPCol] (S4254), and the reference index refIdxCol is set. Is set to the same value as RefIdxL0[xPCol][yPCol] (S4255), and the list ListCol is set to L0 (S4256).
符号化ブロックcolCbのL1の方のインター予測情報を選択する場合(S4252のNO、S4253のNO)、動きベクトルmvColがMvL1[xPCol][yPCol]と同じ値に設定され(S4257)、参照インデックスrefIdxColがRefIdxL1[xPCol][yPCol]と同じ値に設定され(S4258)、リストListColがL1に設定される(S4259)。 When the inter prediction information of L1 of the coding block colCb is selected (NO in S4252, NO in S4253), the motion vector mvCol is set to the same value as MvL1[xPCol][yPCol] (S4257), and the reference index refIdxCol is set. Is set to the same value as RefIdxL1[xPCol][yPCol] (S4258), and the list ListCol is set to L1 (S4259).
図53に戻り、符号化ブロックcolCbからインター予測情報が取得できたら、フラグavailableFlagLXColとフラグpredFlagLXColを共に1とする(S4244)。 Returning to FIG. 53, when the inter prediction information can be acquired from the coding block colCb, both the flag availableFlagLXCol and the flag predFlagLXCol are set to 1 (S4244).
続いて、動きベクトルmvColをスケーリングして、動きベクトルmvLXColとする(S4245S4245)。この動きベクトルmvLXColのスケーリング演算処理手順を図55を用いて説明する。 Then, the motion vector mvCol is scaled to be a motion vector mvLXCol (S4245S4245). The scaling calculation processing procedure of this motion vector mvLXCol will be described with reference to FIG.
異なる時間のピクチャcolPicのPOCから、符号化ブロックcolCbのリストListColで参照する参照インデックスrefIdxColに対応する参照ピクチャのPOCを減算してピクチャ間距離tdを算出する(S4261)。なお、異なる時間のピクチャcolPicよりも符号化ブロックcolCbのリストListColで参照する参照ピクチャのPOCの方が表示順序で前の場合、ピクチャ間距離tdは正の値となり、異なる時間のピクチャcolPicよりも符号化ブロックcolCbのリストListColで参照する参照ピクチャのPOCの方が表示順序で後の場合、ピクチャ間距離tdは負の値となる。
td = 異なる時間のピクチャcolPicのPOC − 符号化ブロックcolCbのリストListColで参照する参照ピクチャのPOC
現在の符号化対象ピクチャのPOCから現在の符号化対象ピクチャのリストLXが参照する参照ピクチャのPOCを減算してピクチャ間距離tbを算出する(S4262)。なお、現在の符号化対象ピクチャよりも現在の符号化対象ピクチャのリストLXで参照する参照ピクチャの方が表示順序で前の場合、ピクチャ間距離tbは正の値となり、現在の符号化対象ピクチャのリストLXで参照する参照ピクチャの方が表示順序で後の場合、ピクチャ間距離tbは負の値となる。
tb = 現在の符号化 / 復号対象ピクチャのPOC − 時間マージ候補のLXの参照インデックスに対応する参照ピクチャのPOC
続いて、ピクチャ間距離tdとtbを比較し(S4263)、ピクチャ間距離tdとtbが等しい場合(S4263のYES)、次式により動きベクトルmvLXColを算出して(S4264)、本スケーリング演算処理を終了する。
mvLXCol = mvCol
一方、ピクチャ間距離tdとtbが等しくない場合(S4263のNO)、次式により変数txを算出する(S4265)。
tx = ( 16384 + Abs( td ) >> 1 ) / td
続いて、次式によりスケーリング係数distScaleFactorを算出する(S4266)。
distScaleFactor = Clip3( -4096, 4095, ( tb * tx + 32 ) >> 6 )
ここで、Clip3(x,y,z)は値zについて、最小値をx、最大値をyに制限する関数である。続いて、次式により動きベクトルmvLXColを算出して(S4267)、本スケーリング演算処理を終了する。
mvLXCol = Clip3( -32768, 32767, Sign( distScaleFactor * mvLXCol )
* ( (Abs( distScaleFactor * mvLXCol ) + 127 ) >> 8 ) )
ここで、Sign(x)は値xの符号を返す関数であり、Abs(x)は値xの絶対値を返す関数である。
The inter-picture distance td is calculated by subtracting the POC of the reference picture corresponding to the reference index refIdxCol referenced in the list ListCol of the coding block colCb from the POCs of the pictures colPic at different times (S4261). Note that when the POC of the reference picture referenced by the list ListCol of the coding block colCb is earlier than the picture colPic of different time in the display order, the inter-picture distance td becomes a positive value, and the picture colPic of different time is more than that of the picture colPic of different time. When the POC of the reference picture referenced in the list ListCol of the coding block colCb is later in the display order, the inter-picture distance td has a negative value.
td = POC of pictures colPic at different times-POC of reference pictures referenced by list ListCol of coding block colCb
The inter-picture distance tb is calculated by subtracting the POC of the reference picture referenced by the current encoding target picture list LX from the POC of the current encoding target picture (S4262). If the reference picture referenced in the current encoding target picture list LX is earlier than the current encoding target picture in the display order, the inter-picture distance tb becomes a positive value, and the current encoding target picture is displayed. When the reference picture referred to in the list LX of 1 is later in the display order, the inter-picture distance tb has a negative value.
tb = POC of the current encoding/decoding target picture-POC of the reference picture corresponding to the reference index of the LX of the temporal merge candidate
Subsequently, the inter-picture distances td and tb are compared (S4263), and when the inter-picture distances td and tb are equal (YES in S4263), the motion vector mvLXCol is calculated by the following equation (S4264), and the scaling calculation processing is performed. finish.
mvLXCol = mvCol
On the other hand, when the inter-picture distances td and tb are not equal (NO in S4263), the variable tx is calculated by the following equation (S4265).
tx = (16384 + Abs( td) >> 1) / td
Then, the scaling coefficient distScaleFactor is calculated by the following formula (S4266).
distScaleFactor = Clip3( -4096, 4095, (tb * tx + 32) >> 6)
Here, Clip3(x,y,z) is a function that limits the minimum value to x and the maximum value to y for the value z. Then, the motion vector mvLXCol is calculated by the following equation (S4267), and the scaling calculation process is ended.
mvLXCol = Clip3( -32768, 32767, Sign( distScaleFactor * mvLXCol)
* ((Abs( distScaleFactor * mvLXCol) + 127) >> 8 ))
Here, Sign(x) is a function that returns the sign of the value x, and Abs(x) is a function that returns the absolute value of the value x.
再び、図50を参照する。そして、L0の動きベクトルmvL0Colとを前述の通常予測動きベクトルモード導出部301における予測動きベクトル候補リストmvpListLXNに候補として追加する(S4205)。ただし、この追加は、参照リスト0の符号化ブロックcolCbが有効か否かを示すフラグavailableFlagL0Col=1の場合のみである。また、L1の動きベクトルmvL1Colを前述の通常予測動きベクトルモード導出部301における予測動きベクトル候補リストmvpListLXNに候補として追加する(S4205)。ただし、この追加は、参照リスト1の符号化ブロックcolCbが有効か否かを示すフラグavailableFlagL1Col=1の場合のみである。以上により、時間予測動きベクトル候補導出部322の処理を終了する。
Referring again to FIG. Then, the motion vector mvL0Col of L0 is added as a candidate to the motion vector predictor candidate list mvpListLXN in the normal motion vector predictor mode deriving unit 301 (S4205). However, this addition is performed only when the flag availableFlagL0Col=1, which indicates whether the coding block colCb of the
上記した通常予測動きベクトルモード導出部301の説明は、符号化時のものであるが、復号時も同様となる。つまり、図23の通常予測動きベクトルモード導出部401における時間予測動きベクトル候補導出部422の動作は、上記の説明における符号化を復号と置き換えて、同様に説明される。
The above description of the normal motion vector predictor
<時間マージ>
図18の通常マージモード導出部302における時間マージ候補導出部342の動作について、図56を参照して説明する。
<Time merge>
The operation of the temporal merge
まず、ColPicを導出する(ステップS4301)。次に、符号化ブロックcolCbを導出し、符号化情報を取得する(ステップS4302)。さらに、参照リストごとに、インター予測情報を導出する(S4303,S4304)。以上の処理は、時間予測動きベクトル候補導出部322におけるS4201からS4204と同じであるため、説明を省略する。
First, ColPic is derived (step S4301). Next, the coding block colCb is derived and the coding information is acquired (step S4302). Furthermore, inter prediction information is derived for each reference list (S4303, S4304). The above processing is the same as S4201 to S4204 in the temporal motion vector
次に、符号化ブロックcolCbが有効か否かを示すフラグavailableFlagColを算出する(S4305)。フラグavailableFlagL0Col、またはフラグavailableFlagL1Colが1の場合に、availableFlagColは1となる。それ以外ではavailableFlagColは0となる。 Next, a flag availableFlagCol indicating whether or not the coding block colCb is valid is calculated (S4305). When the flag availableFlagL0Col or the flag availableFlagL1Col is 1, availableFlagCol becomes 1. Otherwise, availableFlagCol is 0.
そして、L0の動きベクトルmvL0Col、およびL1の動きベクトルmvL1Colを、前述の通常マージモード導出部302におけるマージ候補リストmergeCandListに候補として追加する(S4306)。ただし、この追加は、符号化ブロックcolCbが有効か否かを示すフラグavailableFlagCol=1の場合のみである。以上により、時間マージ候補導出部342の処理を終了する。
Then, the motion vector mvL0Col of L0 and the motion vector mvL1Col of L1 are added as candidates to the merge candidate list mergeCandList in the normal merge mode derivation unit 302 (S4306). However, this addition is performed only when the flag availableFlagCol=1 indicating whether or not the coding block colCb is valid. With the above, the processing of the time merge
上記した時間マージ候補導出部342の説明は、符号化時のものであるが、復号時も同様となる。つまり、図24の通常マージモード導出部402における時間マージ候補導出部442の動作は、上記の説明における符号化を復号と置き換えて、同様に説明される。
The above description of the temporal merge
<履歴予測動きベクトル候補リストの更新>
次に、符号化側の符号化情報格納メモリ111及び復号側の符号化情報格納メモリ205に備える履歴予測動きベクトル候補リストHmvpCandListの初期化と更新方法について詳細に説明する。図38は履歴予測動きベクトル候補リスト初期化・更新処理手順を説明するフローチャートである。
<Update of history prediction motion vector candidate list>
Next, a method of initializing and updating the history motion vector predictor candidate list HmvpCandList provided in the encoding side
通常予測ベクトルモードまたは通常マージモードでインター予測を行う際に用いたインター予測情報を登録すべきインター予測情報候補mvCandとし、符号化側の符号化情報格納メモリ111及び復号側の符号化情報格納メモリ205に備える履歴予測動きベクトル候補リストHMVPCandListに登録されているインター予測情報の中に、登録すべきインター予測情報候補mvCandと同じ値のインター予測が存在する場合は履歴予測動きベクトル候補リストHMVPCandListからその要素(インター予測情報)を削除し、登録すべきインター予測情報候補mvCandと同じ値のをインター予測が存在しない場合は履歴予測動きベクトル候補リストHMVPCandListの先頭の要素(インター予測情報)を削除し、履歴予測動きベクトル候補リストHMVPCandListの最後に、登録すべきインター予測情報候補mvCandを追加する。
The inter prediction information used when performing the inter prediction in the normal prediction vector mode or the normal merge mode is set as the inter prediction information candidate mvCand to be registered, and the coding
本発明の符号化側の符号化情報格納メモリ111及び復号側の符号化情報格納メモリ205に備える履歴予測動きベクトル候補リストHMVPCandListの要素の数は6とする。
It is assumed that the history prediction motion vector candidate list HMVPCandList included in the coding
まず、スライスの先頭で履歴予測動きベクトル候補リストHMVPCandListが初期化され、履歴予測動きベクトル候補リストHMVPCandListに登録されている履歴予測動きベクトル候補の数HMVPCandNumの値は0に設定される(図38のステップS2101)。 First, the history motion vector predictor candidate list HMVPCandList is initialized at the beginning of the slice, and the number of history motion vector predictor candidates registered in the history motion vector predictor list HMVPCandList is set to 0 (see FIG. 38). Step S2101).
続いて、スライス内の符号化ブロック毎に以下の履歴予測動きベクトル候補リストHMVPCandListの更新処理を繰り返し行なう(図38のステップS2102〜S2110)。 Then, the following update processing of the history motion vector predictor candidate list HMVPCandList is repeated for each coded block in the slice (steps S2102 to S2110 in FIG. 38).
履歴予測動きベクトル候補リストHMVPCandListに登録すべきインター予測情報候補mvCandが存在するか否かを判定する。登録すべきインター予測情報候補mvCandが存在しない場合はステップS2104〜S21089ステップをスキップする(図38のステップS2103のNO)。登録すべきインター予測情報候補mvCandが存在する場合はステップS2104以下の処理を行う(図38のステップS2103のYES)。 It is determined whether or not there is an inter prediction information candidate mvCand to be registered in the history prediction motion vector candidate list HMVPCandList. When there is no inter prediction information candidate mvCand to be registered, steps S2104 to S21089 are skipped (NO in step S2103 in FIG. 38). If there is an inter prediction information candidate mvCand to be registered, the processing from step S2104 is performed (YES in step S2103 in FIG. 38).
履歴予測動きベクトル候補リストHMVPCandListからインター予測情報候補mvCandと同じ要素を確認する(図38のステップS2104)。図39はこの同一要素確認処理手順のフローチャートである。履歴予測動きベクトルインデックスHMVPIdxが0からHMVPCandNum-1まで、ステップS2122〜S2124の処理を繰り返す(図39のステップS2121〜S2125)。履歴予測動きベクトル候補リストHMVPCandList[HMVPIdx]がインター予測情報候補mvCandと同一かどうかを比較する(図39のステップS2122)。同一の場合(図39のステップS2122のYES)、sameCandをtrue(真)に設定して、本同一要素確認処理を終了する。同一でない場合(図39のステップS2122のNO)、sameCandをfalse(偽)に設定し(図39のステップS2124)、HMVPIdxを1インクリメントする。 The same element as the inter prediction information candidate mvCand is confirmed from the history prediction motion vector candidate list HMVPCandList (step S2104 in FIG. 38). FIG. 39 is a flowchart of the same element confirmation processing procedure. The process of steps S2122 to S2124 is repeated from the history motion vector predictor index HMVPIdx from 0 to HMVPCandNum-1 (steps S2121 to S2125 of FIG. 39). It is compared whether the history prediction motion vector candidate list HMVPCandList[HMVPIdx] is the same as the inter prediction information candidate mvCand (step S2122 in FIG. 39). If they are the same (YES in step S2122 of FIG. 39 ), sameCand is set to true (true), and the same element confirmation process ends. If they are not the same (NO in step S2122 in FIG. 39), sameCand is set to false (step S2124 in FIG. 39) and HMVPIdx is incremented by 1.
図38のフローチャートに戻り、インデックスtempIdxに履歴予測動きベクトル候補の数HMVPCandNumと同じ値を設定する(図38のステップS2105)。 Returning to the flowchart of FIG. 38, the index tempIdx is set to the same value as the number of historical motion vector predictor candidates HMVPCandNum (step S2105 of FIG. 38).
続いて、履歴予測動きベクトル候補リストHMVPCandListの要素をシフトする(図38のステップS2106)。図40は図38のステップS2106の履歴予測動きベクトル候補リストHMVPCandListの要素シフト処理手順のフローチャートである。まず、sameCandがtrueまたはHMVPCandNumが6かどうかを比較する(図40のステップS2141)。判定がいずれの条件も満たさない場合(図39のステップS2122のNO)、本履歴予測動きベクトル候補リストHMVPCandListの要素シフト処理を終了する。判定がいずれかの条件を満たす場合(図39のステップS2141のYES)、インデックスtempIdxの初期値をsameCandがtrue(真)ならHMVPIdxと同じ値に設定し、sameCandがfalse(偽)なら1に設定する。この初期値からHMVPCandNum-1まで、ステップS2143の要素シフト処理を繰り返す(図39のステップS2142〜S2145)。HMVPCandList[ tempIdx - 1]にHMVPCandList[ tempIdx ]の要素をコピーすることで要素をシフトし、(図39のステップS2142)tempIdxを1インクリメントする。 Subsequently, the elements of the history motion vector predictor candidate list HMVPCandList are shifted (step S2106 in FIG. 38). FIG. 40 is a flowchart of the element shift processing procedure of the history motion vector predictor candidate list HMVPCandList in step S2106 of FIG. First, it is compared whether sameCand is true or HMVPCandNum is 6 (step S2141 in FIG. 40). If the determination does not satisfy any of the conditions (NO in step S2122 in FIG. 39), the element shift process of the present history motion vector predictor candidate list HMVPCandList ends. If the determination satisfies any condition (YES in step S2141 in FIG. 39), the initial value of index tempIdx is set to the same value as HMVPIdx if sameCand is true, and is set to 1 if sameCand is false. To do. The element shift process of step S2143 is repeated from this initial value to HMVPCandNum-1 (steps S2142 to S2145 of FIG. 39). The elements of HMVPCandList[ tempIdx-1] are copied to HMVPCandList[ tempIdx-1] to shift the elements, and (step S2142 in FIG. 39) tempIdx is incremented by 1.
図38のフローチャートに戻り、履歴予測動きベクトル候補リストHMVPCandList[tempIdx]にインター予測情報候補mvCandを追加する(図38のステップS2107)。 Returning to the flowchart in FIG. 38, the inter prediction information candidate mvCand is added to the history motion vector predictor candidate list HMVPCandList[tempIdx] (step S2107 in FIG. 38).
続いて、履歴インター予測情報リストHMVPCandListに登録されている履歴インター予測情報候補数HMVPCandNumが6より小さい場合(図38のステップS2107のYES)、履歴インター予測情報候補数HMVPCandNumを1インクリメントする。 Subsequently, when the number of historical inter prediction information candidates HMVPCandNum registered in the historical inter prediction information list HMVPCandNum is smaller than 6 (YES in step S2107 of FIG. 38), the number of historical inter prediction information candidates HMVPCandNum is incremented by 1.
<履歴予測動きベクトル候補導出処理>
次に、符号化側の通常予測動きベクトルモード導出部301の履歴予測動きベクトル候補導出部323、復号側の通常予測動きベクトルモード導出部401の履歴予測動きベクトル候補導出部423で共通の処理である図20のステップS304の処理手順である履歴予測動きベクトル候補リストHMVPCandListからの履歴予測動きベクトル候補の導出方法について詳細に説明する。図41は履歴予測動きベクトル候補導出処理手順を説明するフローチャートである。
<History prediction motion vector candidate derivation process>
Next, a process common to the history motion vector predictor
まず、チェックする履歴予測動きベクトル候補の数numCheckedHMVPCandを設定する(図41のステップS2201)。チェックする履歴予測動きベクトル候補の数numCheckedHMVPCandは4または履歴インター予測情報リストHMVPCandListに登録されている履歴インター予測情報候補数HMVPCandNumのいずれか小さい値に設定される。 First, the number numCheckedHMVPCand of the history motion vector predictor candidates to be checked is set (step S2201 in FIG. 41). The number of history prediction motion vector candidates to be checked, numCheckedHMVPCand, is set to 4 or the number of history inter prediction information candidates registered in the history inter prediction information list HMVPCandList, whichever is smaller.
続いて、インデックスiに予測動きベクトルリストmvpListLXに登録されている要素(予測動きベクトル候補)の数を設定する。 Then, the number of elements (motion vector predictor candidates) registered in the motion vector predictor list mvpListLX is set in the index i.
インデックスiが予測動きベクトルリストmvpListLXの最大要素数(ここでは2とする)以上の場合(図41のステップS2203のNO)、図41のステップS2204からS2210の処理を省略し、履歴予測動きベクトル候補導出処理手順を終了する。インデックスiがインデックスiが予測動きベクトルリストmvpListLXの最大要素数より小さい場合(図41のステップS2203のYES)、図41のステップS2204からS2210の処理を行う。 When the index i is equal to or larger than the maximum number of elements (here, 2) of the motion vector predictor list mvpListLX (NO in step S2203 of FIG. 41), the processes of steps S2204 to S2210 of FIG. The derivation process procedure ends. When the index i is smaller than the maximum number of elements of the motion vector predictor list mvpListLX (YES in step S2203 of FIG. 41), the processes of steps S2204 to S2210 of FIG. 41 are performed.
続いて、インデックスjが1からチェックする履歴予測動きベクトル候補の数numCheckedHMVPCandまで、図41のステップS2205からS2209の処理を繰り返す。インデックスiが予測動きベクトルリストmvpListLXに登録されている要素(予測動きベクトル候補)の数(ここでは2)以上の場合(図41のステップS2205のNO)、図41のステップS2206からS2210の処理を省略し、履歴予測動きベクトル候補導出処理手順を終了する。インデックスiが予測動きベクトルリストmvpListLXの最大要素数より小さい場合(図41のステップS2205のNO)、図41のステップS2206からS2210の処理を行う。 Subsequently, the processes of steps S2205 to S2209 of FIG. 41 are repeated until the index j is 1 to the number of history motion vector predictor candidates to be checked numCheckedHMVPCand. When the index i is equal to or more than the number of elements (motion vector predictor candidates) registered in the motion vector predictor list mvpListLX (here, 2) (NO in step S2205 in FIG. 41), the processes in steps S2206 to S2210 in FIG. 41 are performed. The process is omitted, and the history motion vector predictor candidate derivation procedure is terminated. When the index i is smaller than the maximum number of elements of the motion vector predictor list mvpListLX (NO in step S2205 of FIG. 41), the processes of steps S2206 to S2210 of FIG. 41 are performed.
履歴インター予測情報リストHMVPCandList[j]の参照インデックスと、参照ピクチャRefPicListX[ refIdxLX ]が等しく、履歴インター予測情報リストHMVPCandList[j]のリストListLXのベクトルが予測動きベクトルリストmvpListLXのどの要素とも等しくない場合(図41のステップS2207のYES)、予測動きベクトル候補リストmvpListLX[ i ]に履歴予測動きベクトル候補HMVPCandList[j].mvLXを追加する(図41のステップS2208)。この時インデックスiを1インクリメントする。履歴インター予測情報リストHMVPCandList[j]のリストListLXのベクトルが予測動きベクトルリストmvpListLXのどの要素とも等しくない場合(図41のステップS2207のYES)、予測動きベクトル候補リストmvpListLX[ i ]に履歴予測動きベクトル候補HMVPCandList[j].mvLXを追加する(図41のステップS2208)。ステップS2207の条件を満たさない場合(図41のステップS2207のNO)、予測動きベクトル候補リストmvpListLX[ i ]に履歴予測動きベクトル候補HMVPCandList[j].mvLXを追加する処理を省略する。 When the reference index of the historical inter prediction information list HMVPCandList[j] and the reference picture RefPicListX[ refIdxLX] are equal, and the vector of the list ListLX of the historical inter prediction information list HMVPCandList[j] is not equal to any element of the motion vector predictor list mvpListLX. (YES in step S2207 of FIG. 41), the history motion vector predictor candidate HMVPCandList[j].mvLX is added to the motion vector predictor candidate list mvpListLX[i] (step S2208 of FIG. 41). At this time, the index i is incremented by 1. When the vector of the list ListLX of the history inter prediction information list HMVPCandList[j] is not equal to any element of the motion vector predictor list mvpListLX (YES in step S2207 of FIG. 41), the motion vector predictor candidate list mvpListLX[i] is set to the history motion predictor. Vector candidate HMVPCandList[j].mvLX is added (step S2208 in FIG. 41). When the condition of step S2207 is not satisfied (NO in step S2207 of FIG. 41), the process of adding the history motion vector predictor candidate HMVPCandList[j].mvLX to the motion vector predictor candidate list mvpListLX[i] is omitted.
図41のステップS2205からS2210の処理をL0とL1で双方ともに行う。 The processes of steps S2205 to S2210 of FIG. 41 are both performed at L0 and L1.
インデックスjを1インクリメントし、インデックスjが履歴予測動きベクトル候補の数numCheckedHMVPCand以下の場合、再びステップS2205以降の処理を行う。 The index j is incremented by 1, and when the index j is equal to or smaller than the number of history motion vector predictor candidates numCheckedHMVPCand, the processes from step S2205 are performed again.
<履歴マージ候補導出処理>
次に、符号化側の通常マージモード導出部302の履歴マージ候補導出部345、復号側の通常マージモード導出部401の履歴マージ候補導出部423で共通の処理である図21のステップS404の処理手順である履歴マージ候補リストHMVPCandListからの履歴マージ候補の導出方法について詳細に説明する。図42は履歴マージ候補導出処理手順を説明するフローチャートである。
<History merge candidate derivation process>
Next, the process of step S404 in FIG. 21, which is a process common to the history merge
まず、変数numSpatTempに現在のマージ候補リストに登録されている要素の数numCurrMergeCandを設定する(図42のステップS2301)。続いて、チェックする履歴予測動きベクトル候補の数numCheckedHMVPCandを設定する(図42のステップS2302〜S2304)。変数numSpatTempが5以上の場合(図42のステップS2302のYES)、チェックする履歴予測動きベクトル候補の数numCheckedHMVPCandに8から履歴インター予測情報リストHMVPCandListに登録されている履歴インター予測情報候補数HMVPCandNumを引いた値を設定する(図42のステップS2303)。変数numSpatTempが5より小さい場合(図42のステップS2302のYES)、チェックする履歴予測動きベクトル候補の数numCheckedHMVPCandに履歴インター予測情報リストHMVPCandListに登録されている履歴インター予測情報候補数HMVPCandNumの値を設定する(図42のステップS2304)。 First, the number numCurrMergeCand of elements registered in the current merge candidate list is set in the variable numSpatTemp (step S2301 in FIG. 42). Then, the number of history motion vector predictor candidates to be checked, numCheckedHMVPCand, is set (steps S2302 to S2304 in FIG. 42). When the variable numSpatTemp is 5 or more (YES in step S2302 in FIG. 42), the number of historical inter prediction information candidates registered in the historical inter prediction information list HMVPCandList, HMVPCandNum, is subtracted from 8 in numCheckedHMVPCand. The value is set (step S2303 in FIG. 42). When the variable numSpatTemp is smaller than 5 (YES in step S2302 in FIG. 42), the number of historical inter prediction information candidates registered in the historical inter prediction information list HMVPCandList is set to numCheckedHMVPCand. (Step S2304 in FIG. 42).
続いて、変数numOrigMergeCandに現在のマージ候補数numCurrMergeCandの値を設定する(図42のステップS2305)。 Then, the value of the current number of merge candidates numCurrMergeCand is set in the variable numOrigMergeCand (step S2305 in FIG. 42).
続いて、hmvpStopにfalseを設定する(図42のステップS2306)。 Subsequently, hmvpStop is set to false (step S2306 in FIG. 42).
続いて、マージ候補リストmergeCandListに履歴予測動きベクトル候補リストHMVPCandListの要素を履歴マージ候補として追加する(図42のステップS2307)。図43は図42のステップS2307のマージ候補リストmergeCandListへの履歴予測動きベクトル候補リストHMVPCandListの要素を履歴マージ候補として追加する追加手順を示すフローチャートである。 Subsequently, the elements of the history motion vector predictor candidate list HMVPCandList are added to the merge candidate list mergeCandList as history merge candidates (step S2307 in FIG. 42). FIG. 43 is a flowchart showing an additional procedure for adding an element of the history motion vector predictor candidate list HMVPCandList to the merge candidate list mergeCandList in step S2307 of FIG. 42 as a history merge candidate.
インデックスHMVPIdxの初期値を1に設定し、この初期値からHMVPCandNum-1まで、図43のステップS2322からステップS2330までの追加処理を繰り返す(図39のステップS2321〜S2329)。まず、sameMotionにfalseの値を設定する。続いて、インデックスiの初期値を0に設定し、この初期値からnumOrigMergeCand-1まで、履歴動きベクトル予測候補リストの要素HMVPCandList[HMVPCandNum- HMVPIdx]がマージ候補リストの要素mergeCandList[i]と同じ動きベクトルで同じ参照インデックスかどうかを比較し(図43のステップS2324)、同じ値の場合(図39のステップS2324のYES)、sameMotionにtrueを設定する(図43のステップS2325)。図43のステップS2323からステップS2326までの繰り返し処理が完了したらsameMotionがfalseかどうかを比較し(図43のステップS2327)、sameMotionがfalseの場合(図43のステップS2327のYES)、マージ候補リストの要素と異なる値を持つ要素が履歴予測動きベクトル候補リストHMVPCandListにあれば、マージ候補リストに追加する。マージ候補リストのnumCurrMergeCand番目のmergeCandList[numCurrMergeCand]に履歴予測動きベクトル候補リストの(HMVPCandNum - HMVPIdx)番目の要素HMVPCandList[HMVPCandNum - HMVPIdx]を追加し、numCurrMergeCandを1インクリメントする(図43のステップS2328)。numCurrMergeCandと(MaxNumMergeCand-1)を比較し、numCurrMergeCandと(MaxNumMergeCand-1)が等しい場合(図43のステップS2329のYES)、hmvpStopにtrueを設定する(図43のステップS2331)。続いて、hmvpStopがtrueかどうかを判定し、hmvpStopがtrueの場合(図43のステップS2331のYES)、本履歴マージ候補追加処理を完了する。hmvpStopがfalseの場合(図43のステップS2331のNO)、インデックスHMVPIdxを1インクリメントし、図43のステップS2321〜S2332の繰り返し処理を行う。 The initial value of the index HMVPIdx is set to 1, and the additional processing from this initial value to HMVPCandNum-1 is repeated from step S2322 to step S2330 of FIG. 43 (steps S2321 to S2329 of FIG. 39). First, set the value of false to sameMotion. Next, set the initial value of index i to 0, and from this initial value to numOrigMergeCand-1, the element HMVPCandList[HMVPCandNum-HMVPIdx] of the historical motion vector prediction candidate list moves the same as the element mergeCandList[i] of the merge candidate list. The vectors are compared to see if they have the same reference index (step S2324 in FIG. 43), and if they have the same value (YES in step S2324 in FIG. 39), true is set in sameMotion (step S2325 in FIG. 43). When the iterative process from step S2323 to step S2326 in FIG. 43 is completed, it is compared whether or not sameMotion is false (step S2327 in FIG. 43). When sameMotion is false (YES in step S2327 in FIG. 43), the merge candidate list If there is an element with a value different from the element in the historical motion vector predictor list HMVPCandList, add it to the merge candidate list. The (HMVPCandNum-HMVPIdx)th element HMVPCandList [HMVPCandNum-HMVPIdx] of the history motion vector predictor candidate list is added to the numCurrMergeCand th mergeCandList [numCurrMergeCand] of the merge candidate list, and numCurrMergeCand is incremented by 1 (step S2328 in FIG. 43). numCurrMergeCand and (MaxNumMergeCand-1) are compared, and if numCurrMergeCand and (MaxNumMergeCand-1) are equal (YES in step S2329 of FIG. 43), hmvpStop is set to true (step S2331 of FIG. 43). Subsequently, it is determined whether or not hmvpStop is true, and when hmvpStop is true (YES in step S2331 in FIG. 43), this history merge candidate addition process is completed. If hmvpStop is false (NO in step S2331 of FIG. 43), the index HMVPIdx is incremented by 1 and the repeating processing of steps S2321 to S2332 of FIG. 43 is performed.
図42のフローチャートに戻り、ステップS2307の履歴マージ候補追加処理が完了したら、本履歴マージ候補の導出処理を完了する。 Returning to the flowchart of FIG. 42, when the history merge candidate addition processing in step S2307 is completed, the history merge candidate derivation processing is completed.
<サブブロック時間マージ候補導出>
図16のサブブロックマージモード導出部304におけるサブブロック時間マージ候補導出部381の動作について、図44を参照して説明する。
<Sub-block time merge candidate derivation>
The operation of the sub block time merge
まず、符号化ブロックが8x8画素未満か否かを判定する(S4002)。 First, it is determined whether the coded block is less than 8x8 pixels (S4002).
符号化ブロックが8x8画素未満の場合(S4002:Yes)、サブブロック時間マージ候補の存在を示すフラグavailableFlagSbCol=0に設定して(S4003)、サブブロック時間マージ候補導出部の処理を終了する。ここで、シンタックスによりテンポラル動きベクトル予測が禁止されている場合、またはサブブロック時間マージが禁止されている場合には、符号化ブロックが8x8画素未満の場合(S4002:Yes)と同じ処理をする。 If the number of encoded blocks is less than 8x8 pixels (S4002: Yes), the flag availableFlagSbCol=0 indicating the existence of the sub-block time merge candidate is set (S4003), and the process of the sub-block time merge candidate derivation unit ends. Here, when temporal motion vector prediction is prohibited by the syntax or when sub-block temporal merging is prohibited, the same processing as when the coding block is less than 8x8 pixels (S4002: Yes) is performed. ..
一方、符号化ブロックが8x8画素以上の場合(S4002:No)、符号化ピクチャにおける符号化ブロックの隣接動き情報を導出する(S4004)。 On the other hand, when the coded block is 8×8 pixels or more (S4002: No), adjacent motion information of the coded block in the coded picture is derived (S4004).
符号化ブロックの隣接動き情報を導出する処理について、図45を参照して説明する。隣接動き情報を導出する処理は、前述の空間予測動きベクトル候補導出部321の処理と相似している。ただし、隣接ブロックの探索をする順番はA0,B0,B1,A1であり、B2は探索しない。まず、隣接ブロックn=A0として、符号化情報を取得する(S4052)。符号化情報とは、隣接ブロックを利用できるか否かを示すフラグavailableFlagN、参照リストごとの参照インデックスrefIdxLXN、および動きベクトルmvLXNを示す。
The process of deriving the adjacent motion information of the coding block will be described with reference to FIG. The process of deriving the adjacent motion information is similar to the process of the spatial motion vector predictor
次に、隣接ブロックnが有効か無効かを判断する(S4054)。隣接ブロックを利用できるか否かを示すフラグavailableFlagN=1であれば有効、それ以外は無効とする。 Next, it is determined whether the adjacent block n is valid or invalid (S4054). A flag indicating whether or not an adjacent block can be used is available if availableFlagN=1, otherwise it is invalid.
隣接ブロックnが有効であれば(S4054:Yes)、参照インデックスrefIdxLXNを、隣接ブロックnの参照インデックスrefIdxLXnとする(S4056)。また、動きベクトルmvLXNを、隣接ブロックnの動きベクトルmvLXnとして(S4056)、ブロックの隣接動き情報を導出する処理を終了する。 If the adjacent block n is valid (S4054: Yes), the reference index refIdxLXN is set as the reference index refIdxLXn of the adjacent block n (S4056). Further, the motion vector mvLXN is set as the motion vector mvLXn of the adjacent block n (S4056), and the process of deriving the adjacent motion information of the block ends.
一方、隣接ブロックnが無効であれば(S4106:No)、隣接ブロックn=B0として、符号化情報を取得する(S4104)。以下、同様の処理をして、B1,A1の順番にループする。隣接動き情報を導出する処理は、隣接ブロックが有効となるまでループし、全ての隣接ブロックA0,B0,B1,A1が無効であれば、ブロックの隣接動き情報を導出する処理を終了する。 On the other hand, if the adjacent block n is invalid (S4106: No), the adjacent block n=B0 is set and the coding information is acquired (S4104). Thereafter, similar processing is performed, and the loop is made in the order of B1 and A1. The process of deriving the adjacent motion information loops until the adjacent block becomes valid, and if all the adjacent blocks A0, B0, B1, and A1 are invalid, the process of deriving the adjacent motion information of the block ends.
再び、図44を参照する。隣接動き情報を導出したら(S4004)、テンポラル動きベクトルを導出する(S4006)。 Again referring to FIG. When the adjacent motion information is derived (S4004), the temporal motion vector is derived (S4006).
テンポラル動きベクトルを導出する処理について、図46を参照して説明する。まず、テンポラル動きベクトルtempMv=(0,0)として初期化する(S4062)。 The process of deriving the temporal motion vector will be described with reference to FIG. First, the temporal motion vector tempMv=(0,0) is initialized (S4062).
次に、隣接動き情報が有効か無効かを判断する(S4064)。隣接ブロックを利用できるか否かを示すフラグavailableFlagN=1であれば有効、それ以外は無効とする。隣接動き情報が無効の場合(S4064:No)、テンポラル動きベクトルを導出する処理を終了する。 Next, it is determined whether the adjacent motion information is valid or invalid (S4064). A flag indicating whether or not an adjacent block can be used is available if availableFlagN=1, otherwise it is invalid. When the adjacent motion information is invalid (S4064: No), the process of deriving the temporal motion vector ends.
一方、隣接動き情報が有効の場合(S4064:Yes)、隣接ブロックNにおいてL1予測を利用しているか否かを示すフラグpredFlagL1Nが1か否かを判断する(S4066)。predFlagL1N=0の場合(S4066:No)、次の処理(S4078)に進む。predFlagL1N=1の場合(S4066:Yes)、すべての参照リストに登録されているすべてのピクチャのPOCが、現在の符号化対象ピクチャのPOC以下か否かを判断する(S4068)。この判断が真の場合(S4068:Yes)、次の処理(S4070)に進む。 On the other hand, when the adjacent motion information is valid (S4064: Yes), it is determined whether the flag predFlagL1N indicating whether or not L1 prediction is used in the adjacent block N is 1 (S4066). If predFlagL1N=0 (S4066: No), the process advances to the next process (S4078). When predFlagL1N=1 (S4066: Yes), it is determined whether or not the POCs of all the pictures registered in all the reference lists are less than or equal to the POC of the current picture to be encoded (S4068). When this determination is true (S4068: Yes), the process proceeds to the next process (S4070).
スライスタイプslice_typeがBスライスで、フラグcollocated_from_l0_flagが0の場合(S4070:Yes、かつS4072:Yes)、ColPicと参照ピクチャRefPicList1[refIdxL1N](参照リストL1の参照インデックスrefIdxL1Nのピクチャ)が同じか否かを判断する(S4074)。この判断が真の場合(S4074:Yes)、テンポラル動きベクトルtempMv=mvL1Nとする(S4076)。この判断が偽の場合(S4074:No)、次の処理(S4078)に進む。スライスタイプslice_typeがBスライスでなく、フラグcollocated_from_l0_flagが0でない場合(S4070:No、またはS4072:No)、次の処理(S4078)に進む。 When the slice type slice_type is a B slice and the flag collocated_from_l0_flag is 0 (S4070: Yes and S4072: Yes), it is determined whether ColPic and the reference picture RefPicList1[refIdxL1N] (picture of the reference index refIdxL1N of the reference list L1) are the same. It is determined (S4074). If this determination is true (S4074: Yes), the temporal motion vector tempMv=mvL1N is set (S4076). If this determination is false (S4074: No), the process proceeds to the next process (S4078). If the slice type slice_type is not a B slice and the flag collocated_from_l0_flag is not 0 (S4070: No or S4072: No), the process proceeds to the next process (S4078).
そして、隣接ブロックNにおいてL0予測を利用しているか否かを示すフラグpredFlagL0Nが1か否かを判断する(S4078)。predFlagL0N=1の場合(S4078:Yes)、ColPicと参照ピクチャRefPicList0[refIdxL0N](参照リストL0の参照インデックスrefIdxL0Nのピクチャ)が同じか否かを判断する(S4080)。この判断が真の場合(S4080:Yes)、テンポラル動きベクトルtempMv=mvL0Nとする(S4082)。この判断が偽の場合(S4080:No)、テンポラル動きベクトルを導出する処理を終了する。 Then, it is determined whether or not the flag predFlagL0N indicating whether or not L0 prediction is used in the adjacent block N is 1 (S4078). If predFlagL0N=1 (S4078: Yes), it is determined whether ColPic and the reference picture RefPicList0[refIdxL0N] (picture of reference index refIdxL0N of the reference list L0) are the same (S4080). If this determination is true (S4080: Yes), the temporal motion vector tempMv=mvL0N is set (S4082). If this determination is false (S4080: No), the process of deriving the temporal motion vector ends.
再び、図44を参照する。次に、ColPicを導出する(S4016)。この処理は、時間予測動きベクトル候補導出部322におけるS4201と同じであるから、説明を省略する。
Again referring to FIG. Next, ColPic is derived (S4016). This processing is the same as S4201 in the temporal motion vector predictor
そして、異なる時間の符号化ブロックcolCbを設定する(S4017)。これは、異なる時間のピクチャColPic内で処理対象の符号化ブロックと同一位置の中央右下に位置する符号化ブロックを、colCbとして設定するものである。この符号化ブロックは図49の符号化ブロックT1に相当する。 Then, the coded blocks colCb at different times are set (S4017). This is to set, as colCb, the coded block located at the center lower right of the same position as the coded block to be processed in the pictures ColPic at different times. This coding block corresponds to the coding block T1 in FIG.
次に、符号化ブロックcolCbにテンポラル動きベクトルtempMvを加算した位置を、新たなcolCbとする(S4018)。符号化ブロックcolCbの左上の位置を(xColCb, yColCb)、テンポラル動きベクトルtempMvを1/16画素精度で(tempMv[0], tempMv[1])とすると、新たなcolCbの左上の位置は、以下のようになる。
xColCb = Clip3( xCtb, xCtb + CtbSizeY + 3, xcolCb + ( tempMv[0] >> 4 ) )
yColCb = Clip3( yCtb, yCtb + CtbSizeY - 1, ycolCb + ( tempMv[1] >> 4 ) )
ここで、ツリーブロックの左上の位置は(xCtb, yCtb)、ツリーブロックの大きさはCtbSizeYとする。上式に示すように、tempMv加算後の位置は、tempMv加算前に比べて大きくずれないように、ツリーブロックの大きさ程度の範囲に補正される。もしこの位置が画面外となった場合は、画面内に補正される。
Next, the position where the temporal motion vector tempMv is added to the encoded block colCb is set as a new colCb (S4018). If the upper left position of the coding block colCb is (xColCb, yColCb) and the temporal motion vector tempMv is 1/16 pixel precision (tempMv[0], tempMv[1]), the upper left position of the new colCb is become that way.
xColCb = Clip3( xCtb, xCtb + CtbSizeY + 3, xcolCb + (tempMv[0] >> 4 ))
yColCb = Clip3( yCtb, yCtb + CtbSizeY-1, ycolCb + (tempMv[1] >> 4 ))
Here, the upper left position of the tree block is (xCtb, yCtb), and the size of the tree block is CtbSizeY. As shown in the above equation, the position after the addition of tempMv is corrected within the range of the size of the tree block so as not to be significantly displaced compared to the position before the addition of tempMv. If this position is outside the screen, it is corrected within the screen.
そして、この符号化ブロックcolCbの予測モードPredModeがインター予測(MODE_INTER)か否かを判定する(S4020)。colCbの予測モードがインター予測でない場合(S4020:No)、サブブロック時間マージ候補の存在を示すフラグavailableFlagSbCol=0に設定して(S4003)、サブブロック時間マージ候補導出部の処理を終了する。 Then, it is determined whether or not the prediction mode PredMode of this coding block colCb is inter prediction (MODE_INTER) (S4020). If the prediction mode of colCb is not inter prediction (S4020: No), the flag availableFlagSbCol=0 indicating the existence of a sub-block time merge candidate is set (S4003), and the process of the sub-block time merge candidate derivation unit ends.
一方、colCbの予測モードがインター予測の場合(S4020:Yes)、参照リストごとにインター予測情報を導出する(S4022,S4023)。ここでは、colCbについて、参照リストごとの中心動きベクトルctrMvLXと、LX予測を利用しているか否かを示すフラグctrPredFlagLXを導出する。LXは参照リストを示し、参照リスト0の導出ではLXはL0となり、参照リスト1の導出ではLXはL1となる。インター予測情報の導出について、図47を参照して説明する。
On the other hand, when the prediction mode of colCb is inter prediction (S4020: Yes), inter prediction information is derived for each reference list (S4022, S4023). Here, for colCb, a central motion vector ctrMvLX for each reference list and a flag ctrPredFlagLX indicating whether or not LX prediction is used are derived. LX indicates a reference list, and LX becomes L0 when deriving the
異なる時間の符号化ブロックcolCbが利用できない場合(S4112:NO)、または予測モードPredModeがイントラ予測(MODE_INTRA)の場合(S4114:NO)、フラグavailableFlagLXColとフラグpredFlagLXColを共に0とし(ステップS4116)、動きベクトルmvColを(0,0)として(S4118)、インター予測情報の導出処理を終了する。 When the coded blocks colCb at different times cannot be used (S4112: NO) or the prediction mode PredMode is intra prediction (MODE_INTRA) (S4114: NO), both the flag availableFlagLXCol and the flag predFlagLXCol are set to 0 (step S4116), and the motion is performed. The vector mvCol is set to (0, 0) (S4118), and the inter prediction information derivation process ends.
符号化ブロックcolCbが利用でき(S4112:Yes)、予測モードPredModeがイントラ予測(MODE_INTRA)でない場合(S4114:YES)、以下の手順でmvCol、refIdxColおよびavailableFlagColを算出する。 When the coding block colCb is available (S4112: Yes) and the prediction mode PredMode is not intra prediction (MODE_INTRA) (S4114: YES), mvCol, refIdxCol and availableFlagCol are calculated by the following procedure.
符号化ブロックcolCbのLX予測が利用されているかどうかを示すフラグPredFlagLX[xPCol][yPCol]が1の場合(S4120のYES)、動きベクトルmvColが符号化ブロックcolCbのLXの動きベクトルであるMvLX[xPCol][yPCol]と同じ値に設定され(S4122)、参照インデックスrefIdxColがLXの参照インデックスRefIdxLX[xPCol][yPCol]と同じ値に設定され(S4124)、リストlistColがLXに設定される(S4126)。ここで、xPCol、yPColは異なる時間のピクチャcolPic内での符号化ブロックcolCbの左上の画素の位置を示すインデックスである。 When the flag PredFlagLX[xPCol][yPCol] indicating whether the LX prediction of the coding block colCb is used is 1 (YES in S4120), the motion vector mvCol is MvLX[ which is the LX motion vector of the coding block colCb. It is set to the same value as xPCol][yPCol] (S4122), the reference index refIdxCol is set to the same value as the reference index RefIdxLX[xPCol][yPCol] of LX (S4124), and the list listCol is set to LX (S4126). ). Here, xPCol and yPCol are indices indicating the position of the upper left pixel of the coded block colCb in the pictures colPic at different times.
一方、符号化ブロックcolCbのLX予測が利用されているかどうかを示すフラグPredFlagLX[xPCol][yPCol]が0の場合(S4120のNO)、以下の処理をする。まず、すべての参照リストに登録されているすべてのピクチャのPOCが、現在の符号化対象ピクチャのPOC以下か否かを判断する(S4128)。かつ、colCbのLY予測が利用されているかどうかを示すフラグPredFlagLY[xPCol][yPCol]が1か否かを判断する(S4128)。ここで、LY予測とはLX予測とは異なる参照リストと定義する。つまり、LX=L0ではLY=L1、LX=L1ではLY=L0となる。 On the other hand, if the flag PredFlagLX[xPCol][yPCol] indicating whether the LX prediction of the coding block colCb is used is 0 (NO in S4120), the following process is performed. First, it is determined whether or not the POCs of all the pictures registered in all the reference lists are less than or equal to the POCs of the current picture to be encoded (S4128). At the same time, it is determined whether the flag PredFlagLY[xPCol][yPCol] indicating whether the LY prediction of colCb is used is 1 (S4128). Here, LY prediction is defined as a reference list different from LX prediction. That is, LY=L1 when LX=L0 and LY=L0 when LX=L1.
この判断が真の場合(S4128:Yes)、動きベクトルmvColが符号化ブロックcolCbのLYの動きベクトルであるMvLY[xPCol][yPCol]と同じ値に設定され(S4130)、参照インデックスrefIdxColがLYの参照インデックスRefIdxLY[xPCol][yPCol]と同じ値に設定され(S4132)、リストlistColがLXに設定される(S4134)。 When this determination is true (S4128: Yes), the motion vector mvCol is set to the same value as MvLY[xPCol][yPCol] which is the LY motion vector of the coding block colCb (S4130), and the reference index refIdxCol is LY. It is set to the same value as the reference index RefIdxLY[xPCol][yPCol] (S4132), and the list listCol is set to LX (S4134).
一方、この判断が偽の場合(S4128:No)、フラグavailableFlagLXColとフラグpredFlagLXColを共に0とし(ステップS4116)、動きベクトルmvColを(0,0)として(S4118)、インター予測情報の導出処理を終了する。 On the other hand, if this determination is false (S4128: No), both the flag availableFlagLXCol and the flag predFlagLXCol are set to 0 (step S4116), the motion vector mvCol is set to (0, 0) (S4118), and the inter prediction information derivation process ends. To do.
符号化ブロックcolCbからインター予測情報が取得できたら、フラグavailableFlagLXColとフラグpredFlagLXColを共に1とする(S4136)。 When the inter prediction information can be acquired from the coding block colCb, both the flag availableFlagLXCol and the flag predFlagLXCol are set to 1 (S4136).
続いて、動きベクトルmvColをスケーリングして、動きベクトルmvLXColとする(S4138)。この処理は、時間予測動きベクトル候補導出部322におけるS4245と同じであるから、説明を省略する。
Then, the motion vector mvCol is scaled to be a motion vector mvLXCol (S4138). This process is the same as S4245 in the temporal motion vector predictor
再び、図44を参照する。参照リストごとにインター予測情報を導出したら、算出された動きベクトルmvLXColを中心動きベクトルctrMvLX、算出されたフラグpredFlagLXColをフラグctrPredFlagLXとする(S4022,S4023)。 Again referring to FIG. After deriving the inter prediction information for each reference list, the calculated motion vector mvLXCol is set as the central motion vector ctrMvLX, and the calculated flag predFlagLXCol is set as the flag ctrPredFlagLX (S4022, S4023).
そして、中心動きベクトルが有効か無効かを判断する(S4024)。ctrPredFlagL0=0かつctrPredFlagL1=0であれば無効、それ以外は無効と判断する。中心動きベクトルが無効の場合(S4024:No)、サブブロック時間マージ候補の存在を示すフラグavailableFlagSbCol=0に設定して(S4003)、サブブロック時間マージ候補導出部の処理を終了する。 Then, it is determined whether the center motion vector is valid or invalid (S4024). If ctrPredFlagL0=0 and ctrPredFlagL1=0, it is determined to be invalid, otherwise it is determined to be invalid. When the central motion vector is invalid (S4024: No), the flag availableFlagSbCol=0 indicating the existence of the sub-block time merge candidate is set (S4003), and the process of the sub-block time merge candidate derivation unit ends.
一方、中心動きベクトルが有効の場合(S4024:Yes)、サブブロック時間マージ候補の存在を示すフラグavailableFlagSbCol=1に設定して(S4025)、サブブロック動き情報を導出する(S4026)。この処理について、図48を参照して説明する。 On the other hand, when the central motion vector is valid (S4024: Yes), the flag availableFlagSbCol=1 indicating the existence of the sub block time merge candidate is set (S4025), and the sub block motion information is derived (S4026). This process will be described with reference to FIG.
まず、符号化ブロックcolCbの幅cbWidthと高さcBheightから、幅方向のサブブロック数numSbXおよび高さ方向のサブブロック数numSbYを算出する(S4152)。また、refIdxLXSbCol=0とする(S4152)。この処理以降は、予測サブブロックcolSbの単位で繰り返し処理をする。この繰り返しは、高さ方向のインデックスySbIdxを0からnumSbYまで、幅方向のインデックスxSbIdxを0からnumSbXまで変更しながら処理をする。 First, from the width cbWidth and height cBheight of the coded block colCb, the number of sub-blocks in the width direction numSbX and the number of sub-blocks in the height direction numSbY are calculated (S4152). Also, refIdxLXSbCol=0 is set (S4152). After this processing, iterative processing is performed in units of the prediction sub-block colSb. This repetition is performed while changing the index ySbIdx in the height direction from 0 to numSbY and the index xSbIdx in the width direction from 0 to numSbX.
符号化ブロックcolCbの左上の位置を(xCb,yCb)とすると、予測サブブロックcolSbの左上の位置(xSb,ySb)は、以下のように算出される。
xSb = xCb + xSbIdx * sbWidth
ySb = yCb + ySbIdx * sbHeight
次に、予測サブブロックcolSbにテンポラル動きベクトルtempMvを加算した位置を、新たなcolSbとする(S4154)。予測サブブロックcolSbの左上の位置を(xColSb, yColSb)、テンポラル動きベクトルtempMvを1/16画素精度で(tempMv[0], tempMv[1])とすると、新たなcolSbの左上の位置は、以下のようになる。
xColSb = Clip3( xCtb, xCtb + CtbSizeY + 3, xSb + ( tempMv[0] >> 4 ) )
yColSb = Clip3( yCtb, yCtb + CtbSizeY - 1, ySb + ( tempMv[1] >> 4 ) )
ここで、ツリーブロックの左上の位置は(xCtb, yCtb)、ツリーブロックの大きさはCtbSizeYとする。上式に示すように、tempMv加算後の位置は、tempMv加算前に比べて大きくずれないように、ツリーブロックの大きさ程度の範囲に補正される。もしこの位置が画面外となった場合は、画面内に補正される。
If the upper left position of the coding block colCb is (xCb,yCb), the upper left position (xSb,ySb) of the prediction sub-block colSb is calculated as follows.
xSb = xCb + xSbIdx * sbWidth
ySb = yCb + ySbIdx * sbHeight
Next, the position obtained by adding the temporal motion vector tempMv to the prediction sub-block colSb is set as a new colSb (S4154). If the upper left position of the prediction sub-block colSb is (xColSb, yColSb) and the temporal motion vector tempMv is 1/16 pixel accuracy (tempMv[0], tempMv[1]), the upper left position of the new colSb is become that way.
xColSb = Clip3( xCtb, xCtb + CtbSizeY + 3, xSb + (tempMv[0] >> 4 ))
yColSb = Clip3( yCtb, yCtb + CtbSizeY-1, ySb + (tempMv[1] >> 4 ))
Here, the upper left position of the tree block is (xCtb, yCtb), and the size of the tree block is CtbSizeY. As shown in the above equation, the position after the addition of tempMv is corrected within the range of the size of the tree block so as not to be significantly displaced compared to the position before the addition of tempMv. If this position is outside the screen, it is corrected within the screen.
そして、参照リストごとにインター予測情報を導出する(S4156,S4158)。ここでは、予測サブブロックcolSbについて、サブブロック単位で参照リストごとの動きベクトルmvLXSbColと、予測サブブロックが有効か否かを示すフラグavailableFlagLXSbColを導出する。LXは参照リストを示し、参照リスト0の導出ではLXはL0となり、参照リスト1の導出ではLXはL1となる。インター予測情報の導出は、図47のS4022,S4023と同じであるため、説明を省略する。
Then, the inter prediction information is derived for each reference list (S4156, S4158). Here, for the prediction sub-block colSb, a motion vector mvLXSbCol for each reference list and a flag availableFlagLXSbCol indicating whether the prediction sub-block is valid are derived in sub-block units. LX indicates a reference list, and LX becomes L0 when deriving the
インター予測情報を導出後(S4156,S4158)、予測サブブロックcolSbが有効か否かを判断する(S4160)。availableFlagL0SbCol=0かつavailableFlagL1SbCol=0の場合はcolSbが無効、それ以外は有効と判断する。colSbが無効の場合(S4160:No)、動きベクトルmvLXSbColを、中心動きベクトルctrMvLXとする(S4162)。さらに、LX予測を利用しているか否かを示すフラグpredFlagLXSbColを、中心動きベクトルにおけるフラグctrPredFlagLXとする(S4162)。以上により、サブブロック動き情報の導出を終了する。 After deriving the inter prediction information (S4156, S4158), it is determined whether the prediction sub-block colSb is valid (S4160). If availableFlagL0SbCol=0 and availableFlagL1SbCol=0, it is determined that colSb is invalid, and otherwise it is valid. If colSb is invalid (S4160: No), the motion vector mvLXSbCol is set as the central motion vector ctrMvLX (S4162). Furthermore, a flag predFlagLXSbCol indicating whether or not LX prediction is used is set as a flag ctrPredFlagLX in the central motion vector (S4162). With the above, the derivation of the sub-block motion information is completed.
再び、図44を参照する。そして、L0の動きベクトルmvL0SbCol、およびL1の動きベクトルmvL1SbColを、前述のサブブロックマージモード導出部304におけるサブブロックマージ候補リストsubblockMergeCandListに候補として追加する(S4028)。ただし、この追加は、サブブロック時間マージ候補の存在を示すフラグavailableSbCol=1の場合のみである。以上により、時間マージ候補導出部342の処理を終了する。
Again referring to FIG. Then, the motion vector mvL0SbCol of L0 and the motion vector mvL1SbCol of L1 are added as candidates to the subblock merge candidate list subblockMergeCandList in the above-mentioned subblock merge mode deriving unit 304 (S4028). However, this addition is performed only when the flag availableSbCol=1 indicating the existence of the sub-block time merge candidate. With the above, the process of the time merge
上記したサブブロック時間マージ候補導出部381の説明は、符号化時のものであるが、復号時も同様となる。つまり、図22のサブブロックマージモード導出部404におけるサブブロック時間マージ候補導出部481の動作は、上記の説明における符号化を復号と置き換えて、同様に説明される。
The above description of the sub-block time merge
<動き補償予測処理>
動き補償予測部306は、符号化において現在予測処理の対象となっているブロックの位置およびサイズを取得する。また、動き補償予測部306は、インター予測情報をインター予測モード判定部305から取得する。取得したインター予測情報から参照インデックスおよび動きベクトルを導出し、復号画像メモリ内の参照インデックスで特定される参照ピクチャを、動きベクトルの分だけ予測ブロックの画像信号と同一位置より移動させた位置の画像信号を取得した後に予測信号を生成する。
<Motion compensation prediction processing>
The motion compensation prediction unit 306 acquires the position and size of the block that is currently the target of prediction processing in encoding. In addition, the motion compensation prediction unit 306 acquires the inter prediction information from the inter prediction
インター予測における参照モードがL0予測やL1予測のような、単一の参照ピクチャからの予測の場合には、1つの参照ピクチャから取得した予測信号を動き補償予測信号とし、参照モードがBI予測のような、予測モードが2つの参照ピクチャからの予測の場合には、2つの参照ピクチャから取得した予測信号を重みづけ平均したものを動き補償予測信号とし、動き補償予測信号を予測方法決定部に供給する。ここでは双予測の重みづけ平均の比率を1:1とするが、他の比率を用いて重みづけ平均を行っても良い。例えば、予測対象となっているピクチャと参照ピクチャとのピクチャ間隔が近いものほど重みづけの比率が大きくなるようにしてもよい。また、重みづけ比率の算出をピクチャ間隔の組み合わせと重みづけ比率との対応表を用いて行うようにしても良い。 When the reference mode in inter prediction is prediction from a single reference picture such as L0 prediction or L1 prediction, the prediction signal acquired from one reference picture is used as the motion compensation prediction signal, and the reference mode is BI prediction. When the prediction mode is prediction from two reference pictures, the weighted average of the prediction signals obtained from the two reference pictures is used as the motion compensation prediction signal, and the motion compensation prediction signal is used by the prediction method determination unit. Supply. Here, the ratio of the weighted average of bi-prediction is set to 1:1, but the weighted average may be performed using another ratio. For example, the closer the picture interval between the picture to be predicted and the reference picture is, the larger the weighting ratio may be. Further, the weighting ratio may be calculated using a correspondence table between the combination of picture intervals and the weighting ratio.
動き補償予測部406は、符号化側の動き補償予測部306と同様の機能をもつ。動き補償予測部406は、インター予測情報を、通常予測動きベクトルモード導出部401、通常マージモード導出部402、サブブロック予測動きベクトルモード導出部403、サブブロックマージモード導出部404から、スイッチ408を介して取得する。
The motion
動き補償予測部406は、得られた動き補償予測信号を、復号画像信号重畳部207に供給する。
The motion
<予測方向について>
図57〜61は、動き補償予測の予測方向について説明するための図である。単一の参照ピクチャからの予測を行う処理を単予測と定義し、単予測の場合はL0予測またはL1予測という、参照リストに登録された2つの参照ピクチャのいずれか一方を利用した予測を行う。
<Forecast direction>
57 to 61 are diagrams for explaining the prediction direction of motion compensation prediction. The process of performing prediction from a single reference picture is defined as uni-prediction, and in the case of uni-prediction, prediction using either one of the two reference pictures registered in the reference list, which is L0 prediction or L1 prediction, is performed. ..
図57は単予測であってL0の参照ピクチャ(RefL0Pic)が符号化対象ピクチャ(CurPic)より前の時刻にある場合を示している。図58は単予測であってL0予測の参照ピクチャが符号化対象ピクチャより後の時刻にある場合を示している。同様に、図57および図58のL0予測の参照ピクチャをL1予測の参照ピクチャ(RefL1Pic)に置き換えて単予測を行うこともできる。 FIG. 57 shows a case in which the L0 reference picture (RefL0Pic) is in uni-prediction and is at a time before the encoding target picture (CurPic). FIG. 58 shows the case where the reference picture of uni-prediction and L0 prediction is at a time later than the picture to be coded. Similarly, the L0 prediction reference picture in FIGS. 57 and 58 may be replaced with the L1 prediction reference picture (RefL1Pic) to perform simple prediction.
2つの参照ピクチャからの予測を行う処理を双予測と定義し、双予測の場合はL0予測とL1予測の双方を利用してBI予測と表現する。図59は双予測であってL0予測の参照ピクチャが符号化対象ピクチャより前の時刻にあって、L1予測の参照ピクチャが符号化対象ピクチャより後の時刻にある場合を示している。図60は双予測であってL0予測の参照ピクチャとL1予測の参照ピクチャが符号化対象ピクチャより前の時刻にある場合を示している。図61は双予測であってL0予測の参照ピクチャとL1予測の参照ピクチャが符号化対象ピクチャより後の時刻にある場合を示している。このように、L0/L1の予測種別と時間の関係は、L0が過去方向、L1が未来方向とは限定されずに用いることが可能である。また双予測の場合に、同一の参照ピクチャを用いてL0予測及びL1予測のそれぞれを行ってもよい。なお、動き補償予測を単予測で行うか双予測で行うかの判断は、例えばL0予測を利用するか否か及びL1予測を利用するか否かを示す情報(例えば、フラグ)に基づき判断される。 The process of performing prediction from two reference pictures is defined as bi-prediction, and in the case of bi-prediction, it is expressed as BI prediction using both L0 prediction and L1 prediction. FIG. 59 shows a case where the reference picture for bi-prediction and L0 prediction is at a time before the current picture to be coded, and the reference picture for L1 prediction is at a later time than the current picture. FIG. 60 shows a case where bi-prediction reference pictures for L0 prediction and reference pictures for L1 prediction are at a time before the picture to be coded. FIG. 61 shows a case in which bi-prediction reference pictures for L0 prediction and reference pictures for L1 prediction are at times after the picture to be coded. As described above, the relationship between the prediction type of L0/L1 and the time can be used without being limited to L0 being the past direction and L1 being the future direction. In the case of bi-prediction, L0 prediction and L1 prediction may be performed using the same reference picture. Note that the determination as to whether the motion-compensated prediction is performed in uni-prediction or bi-prediction is made based on information (for example, a flag) indicating whether or not L0 prediction is used and whether or not L1 prediction is used. It
<参照インデックスについて>
本発明の実施の形態では、動き補償予測の精度向上のために、動き補償予測において複数の参照ピクチャの中から最適な参照ピクチャを選択することを可能とする。そのため、動き補償予測で利用した参照ピクチャを参照インデックスとして利用するとともに、参照インデックスを符号化ベクトルとともに符号化ストリーム中に符号化する。
<About reference index>
In the embodiment of the present invention, in order to improve the accuracy of motion compensation prediction, it is possible to select the optimum reference picture from a plurality of reference pictures in motion compensation prediction. Therefore, the reference picture used in the motion compensation prediction is used as a reference index, and the reference index is encoded in the encoded stream together with the encoded vector.
<通常予測動きベクトルモードに基づく動き補償処理>
動き補償部306は、図16の符号化側におけるインター予測部102でも示されるように、インター予測モード判定部305において、通常予測動きベクトルモード導出部301によるインター予測情報が選択された場合には、このインター予測情報をインター予測モード判定部305から取得し、現在処理対象となっているブロックの参照モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、予測方法決定部105に供給される。
<Motion Compensation Processing Based on Normal Prediction Motion Vector Mode>
When the inter prediction
同様に、動き補償部406は、図22の復号側におけるインター予測部203でも示されるように、復号の過程でスイッチ408が通常予測動きベクトルモード導出部401に接続された場合には、通常予測動きベクトルモード導出部401によるインター予測情報を取得し、現在処理対象となっているブロックの参照モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、復号画像信号重畳部207に供給される。
Similarly, as shown in the
<通常マージモードに基づく動き補償処理>
動き補償部306は、図16の符号化側におけるインター予測部102でも示されるように、インター予測モード判定部305において、通常マージモード導出部302によるインター予測情報が選択された場合には、このインター予測情報をインター予測モード判定部305から取得し、現在処理対象となっているブロックの参照モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、予測方法決定部105に供給される。
<Motion compensation processing based on normal merge mode>
In the motion compensation unit 306, when the inter prediction
同様に、動き補償部406は、図22の復号側におけるインター予測部203でも示されるように、復号の過程でスイッチ408が通常マージモード導出部402に接続された場合には、通常マージモード導出部402によるインター予測情報を取得し、現在処理対象となっているブロックの参照モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、復号画像信号重畳部207に供給される。
Similarly, the
<サブブロック予測動きベクトルモードに基づく動き補償処理>
動き補償部306は、図16の符号化側におけるインター予測部102でも示されるように、インター予測モード判定部305において、サブブロック予測動きベクトルモード導出部303によるインター予測情報が選択された場合には、このインター予測情報をインター予測モード判定部305から取得し、現在処理対象となっているブロックの参照モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、予測方法決定部105に供給される。
<Motion Compensation Processing Based on Sub-block Prediction Motion Vector Mode>
When the inter prediction
同様に、動き補償部406は、図22の復号側におけるインター予測部203でも示されるように、復号の過程でスイッチ408がサブブロック予測動きベクトルモード導出部403に接続された場合には、サブブロック予測動きベクトルモード導出部403によるインター予測情報を取得し、現在処理対象となっているブロックの参照モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、復号画像信号重畳部207に供給される。
Similarly, when the
<サブブロックマージモードに基づく動き補償処理>
動き補償部306は、図16の符号化側におけるインター予測部102でも示されるように、インター予測モード判定部305において、サブブロックマージモード導出部304によるインター予測情報が選択された場合には、このインター予測情報をインター予測モード判定部305から取得し、現在処理対象となっているブロックの参照モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、予測方法決定部105に供給される。
<Motion compensation processing based on sub-block merge mode>
When the inter prediction
同様に、動き補償部406は、図22の復号側におけるインター予測部203でも示されるように、復号の過程でスイッチ408がサブブロックマージモード導出部404に接続された場合には、サブブロックマージモード導出部404によるインター予測情報を取得し、現在処理対象となっているブロックの参照モード、参照インデックス、動きベクトルを導出し、動き補償予測信号を生成する。生成された動き補償予測信号は、復号画像信号重畳部207に供給される。
Similarly, when the
<アフィン変換予測に基づく動き補償処理>
通常予測動きベクトルモード、および通常マージモードでは、以下のフラグに基づいてアフィンモデルによる動き補償が利用できる。以下のフラグは、符号化処理においてインター予測モード判定部305により決定されるインター予測の条件に基づいて以下のフラグに反映され、符号化ストリーム中に符号化される。復号処理においては、符号化ストリーム中の以下のフラグに基づいてアフィンモデルによる動き補償を行うか否かを特定する。
<Motion compensation processing based on affine transformation prediction>
In the normal motion vector predictor mode and the normal merge mode, motion compensation by the affine model can be used based on the following flags. The following flags are reflected in the following flags based on the inter prediction condition determined by the inter prediction
sps_affine_enabled_flagは、インター予測において、アフィンモデルによる動き補償が利用できるかどうかを表す。sps_affine_enabled_flagが0であれば、シーケンス単位でアフィンモデルによる動き補償ではないように抑制される。また、inter_affine_flag とcu_affine_type_flag は、符号化ビデオシーケンスのCUシンタックスにおいて伝送されない。sps_affine_enabled_flagが1であれば、符号化ビデオシーケンスにおいてアフィンモデルによる動き補償を利用できる。 sps_affine_enabled_flag indicates whether or not motion compensation using an affine model can be used in inter prediction. If sps_affine_enabled_flag is 0, the motion compensation by the affine model is suppressed in sequence units. Also, inter_affine_flag and cu_affine_type_flag are not transmitted in the CU syntax of the coded video sequence. If sps_affine_enabled_flag is 1, motion compensation by an affine model can be used in the coded video sequence.
sps_affine_type_flagは、インター予測において、6パラメータアフィンモデルによる動き補償が利用できるかどうかを表す。 sps_affine_type_flag indicates whether or not motion compensation using a 6-parameter affine model can be used in inter prediction.
sps_affine_type_flagが0であれば、6パラメータアフィンモデルによる動き補償ではないように抑制される。また、cu_affine_type_flagは、符号化ビデオシーケンスのCUシンタックスにおいて伝送されない。sps_affine_type_flagが1であれば、符号化ビデオシーケンスにおいて6パラメータアフィンモデルによる動き補償を利用できる。 If sps_affine_type_flag is 0, the motion compensation is not performed by the 6-parameter affine model. Also, cu_affine_type_flag is not transmitted in the CU syntax of the coded video sequence. If sps_affine_type_flag is 1, motion compensation by a 6-parameter affine model can be used in a coded video sequence.
sps_affine_type_flagが存在しない場合には、0であるものとする。 If sps_affine_type_flag does not exist, it shall be 0.
PまたはBスライスを復号している場合、現在処理対象となっているCUにおいて、inter_affine_flagが1であれば、現在処理対象となっているCUの動き補償予測信号を生成するために、アフィンモデルによる動き補償が用いられる。 When P or B slices are decoded, if inter_affine_flag is 1 in the CU currently being processed, the affine model is used to generate the motion compensation prediction signal of the CU currently being processed. Motion compensation is used.
inter_affine_flagが0であれば、現在処理対象となっているCUにアフィンモデルは用いられない。 If inter_affine_flag is 0, the affine model is not used for the CU currently being processed.
inter_affine_flagが存在しない場合には、0であるものとする。 If inter_affine_flag does not exist, it shall be 0.
PまたはBスライスを復号している場合、現在処理対象となっているCUにおいて、cu_affine_type_flagが1であれば、現在処理対象となっているCUの動き補償予測信号を生成するために、6パラメータアフィンモデルによる動き補償が用いられる。 When decoding P or B slices, if cu_affine_type_flag is 1 in the CU currently being processed, a 6-parameter affine is used to generate the motion compensation prediction signal of the CU currently being processed. Model-based motion compensation is used.
cu_affine_type_flagが0であれば、現在処理対象となっているCUの動き補償予測信号を生成するために、4パラメータアフィンモデルによる動き補償が用いられる。 If cu_affine_type_flag is 0, motion compensation by a 4-parameter affine model is used to generate a motion compensation prediction signal of the CU currently being processed.
アフィンモデルによる動き補償では、サブブロック単位で参照インデックスや動きベクトルが導出されることから、サブブロック単位で処理対象となっている参照インデックスや動きベクトルを用いて動き補償予測信号を生成する。 In the motion compensation using the affine model, since the reference index and the motion vector are derived in the sub-block unit, the motion-compensated prediction signal is generated using the reference index and the motion vector that are the processing target in the sub-block unit.
<本発明のサブブロック時間マージ候補導出>
本発明に先行して、クワッドツリーブロックとマルチタイプツリーブロックについて説明する。クワッドツリーブロックとは、図6の601のように4つの符号化ブロックに分割される符号化ブロックのことである。マルチタイプツリーブロックとは、図6の602から605のように2つまたは3つの符号化ブロックに分割される符号化ブロックのことである。ここでは、所定の大きさで符号化・復号処理対象画像を均等分割するツリーブロックをトップツリーブロックと呼び、クワッドツリーブロックとマルチタイプツリーブロックをツリーブロックと呼ぶ。また、符号化ブロックに対するツリーブロックを親ブロックと呼ぶ。
<Sub-block time merge candidate derivation of the present invention>
Prior to the present invention, a quad tree block and a multi-type tree block will be described. The quad tree block is a coded block divided into four coded blocks as indicated by 601 in FIG. The multi-type tree block is a coded block divided into two or three coded blocks as indicated by 602 to 605 in FIG. Here, a tree block that evenly divides an image to be encoded/decoded with a predetermined size is called a top tree block, and a quad tree block and a multi-type tree block are called tree blocks. A tree block for a coded block is called a parent block.
まず、ツリーブロックが分割される場合における、サブブロック時間マージ候補導出部381の動作を説明する。図62は、符号化対象のツリーブロックを水平方向に2分割して、2つの符号化ブロックとなる様子を示す。また、符号化順に符号化ブロックのインデックス0,1を付しており、上のブロック0を符号化後、下のブロック1を符号化する。
First, the operation of the sub-block time merge
ツリーブロックにおけるサブブロック時間マージ候補導出部の動作について、図63を参照して説明する。図63は、図44のフローチャートに、ツリーブロックにおけるループ処理を追加した図である。ただし、説明の簡単化のため、図44のS4002は省略している。また、符号化対象のツリーブロックは、画像の端に接していないものとする。いま、符号化対象のツリーブロックに含まれる符号化ブロックの数numCb=2である。 The operation of the sub block time merge candidate derivation unit in the tree block will be described with reference to FIG. 63. FIG. 63 is a diagram in which loop processing in a tree block is added to the flowchart of FIG. However, in order to simplify the description, S4002 in FIG. 44 is omitted. Also, the tree block to be encoded is not in contact with the edge of the image. Now, the number of coding blocks included in the tree block to be coded is numCb=2.
まず、符号化ブロックのインデックスiCb=0に設定し、ブロック0における隣接動き情報を導出する(S6002)。S6002の処理はS4004と同じ処理である。隣接動き情報の導出では、隣接ブロックが有効か無効かを判断する(S4054)。これは、隣接ブロックが利用できるか否かを示すフラグavailableFlagNの値を取得することである。ここで、Nは隣接ブロックのいずれか1つを示す。このフラグは、インター予測情報を取得できれば1、そうでなければ0となる。
First, the index iCb of the encoded block is set to 0, and the adjacent motion information in
ブロック0において、隣接ブロックは図62(a)のようになる。隣接ブロックA0,A1,B0,B1は、いずれも符号化済みのツリーブロックに含まれるため、これらのブロックは有効か無効かを判断できる。つまり、隣接ブロックが利用できるか否かを示すフラグavailableFlagA0, availableFlagA1, availableFlagB0, availableFlagB1の値を取得できる。
In
隣接動き情報を導出したら(S6002)、図44におけるS4006からS4028の処理をする(S6004)。この処理(S6004)は、サブブロック時間マージ候補導出部381の動作において、隣接動き情報を導出する処理(S4004)を除いた処理を示す。以上で、ブロック0におけるサブブロック時間マージ候補導出部の動作は終了する。
When the adjacent motion information is derived (S6002), the processes of S4006 to S4028 in FIG. 44 are performed (S6004). This process (S6004) is a process excluding the process (S4004) of deriving the adjacent motion information in the operation of the sub-block time merge
iCb(=0)はnumCb-1(=1)より小さいので、iCb=1として図63の処理がループする。 Since iCb(=0) is smaller than numCb-1(=1), the process of FIG. 63 loops with iCb=1.
次に、iCb=1に設定し、ブロック1における隣接動き情報を導出する(S6002)。隣接動き情報の導出では、隣接ブロックが有効か無効かを判断する(S4054)。
Next, iCb=1 is set and adjacent motion information in
ブロック1において、隣接ブロックは図62(b)のようになる。隣接ブロックA0,B0は、符号化前のツリーブロックに含まれるため、無効(availableFlagA0=0, availableFlagB0=0)である。隣接ブロックA1は、符号化済みのツリーブロックに含まれるため、有効か無効かを判断できる(availableFlagA1の値を取得できる)。また、隣接ブロックB1はブロック0に含まれ、ブロック0が符号化済みであるので、有効か無効かを判断できる(availableFlagB1の値を取得できる)。
In
隣接動き情報を導出したら(S6002)、図44におけるS4006からS4028の処理をする(S6004)。以上で、ブロック1におけるサブブロック時間マージ候補導出部の動作は終了する。
When the adjacent motion information is derived (S6002), the processes of S4006 to S4028 in FIG. 44 are performed (S6004). This is the end of the operation of the sub block time merge candidate derivation unit in
iCb(=1)はnumCb-1(=1)と同じ値であるから、ループ処理が終了する。以上で、ツリーブロックの2つのブロックについて、サブブロック時間マージ候補導出部の動作は終了する。 Since iCb(=1) has the same value as numCb-1(=1), the loop processing ends. With this, the operation of the sub-block time merge candidate derivation unit is completed for the two blocks of the tree block.
本発明の第1の実施の形態に係るサブブロック時間マージ候補導出部381について説明する。本実施の形態では、サブブロック時間マージ候補導出について、並列処理を可能とする。従来のサブブロック時間マージ候補導出部381と、本発明のサブブロック時間マージ候補導出部381は、ブロック図の構成は同じであるが、処理の流れは異なる。
The sub block time merge
ツリーブロックが水平方向に2分割される場合について、サブブロック時間マージ候補導出の動作を図64を参照して説明する。いま、符号化対象のツリーブロックに含まれる符号化ブロックの数numCb=2であり、ブロック0の処理(符号化ブロックのインデックスiCb=0)とブロック1の処理(iCb=1)が並列に動作する。 An operation of deriving a sub-block time merge candidate when a tree block is divided into two in the horizontal direction will be described with reference to FIG. Now, the number of coding blocks included in the tree block to be coded is numCb=2, and the processing of block 0 (coding block index iCb=0) and the processing of block 1 (iCb=1) operate in parallel. To do.
ブロック0の処理(iCb=0)では、ブロック0における隣接動き情報を導出する(S6002a)。この隣接動き情報を導出する処理は、図45を用いて説明した前述の通りである。この処理において、隣接ブロックが有効か無効かを判断している。
In the processing of block 0 (iCb=0), adjacent motion information in
本実施形態における隣接ブロックについて、図65を参照して説明する。符号化ブロックのインデックスiCbの値にかかわらず、ツリーブロックの全ての符号化ブロックに対して、隣接ブロックは図65の位置とする。これは、ツリーブロックに対する隣接ブロックの位置と同じである。 Adjacent blocks in this embodiment will be described with reference to FIG. Regardless of the value of the index iCb of the coding block, the adjacent block is located at the position shown in FIG. 65 for all the coding blocks of the tree block. This is the same as the position of the adjacent block with respect to the tree block.
隣接ブロックA0は、常に符号化前のツリーブロックに含まれるため、常に無効(availableFlagA0=0)である。よって、隣接ブロックA0が有効か無効かの判断処理を省略してもよい。 Since the adjacent block A0 is always included in the tree block before encoding, it is always invalid (availableFlagA0=0). Therefore, the process of determining whether the adjacent block A0 is valid or invalid may be omitted.
隣接ブロックA1,B0,B1は、符号化済みのツリーブロックに含まれるため、有効か無効かを判断できる(availableFlagA1, availableFlagB0, availableFlagB1の値を取得できる)。 Since the adjacent blocks A1, B0, B1 are included in the encoded tree block, it is possible to determine whether they are valid or invalid (the values of availableFlagA1, availableFlagB0, availableFlagB1 can be acquired).
隣接動き情報を導出したら(S6002a)、図44におけるS4006からS4028の処理をする(S6004a)。以上で、ブロック0におけるサブブロック時間マージ候補導出部の動作は終了する。
When the adjacent motion information is derived (S6002a), the processes of S4006 to S4028 in FIG. 44 are performed (S6004a). Thus, the operation of the sub-block time merge candidate derivation unit in
ブロック0(iCb=0)の処理と並列に、ブロック1(iCb=1)の処理がなされる。ブロック1の処理では、ブロック1における隣接動き情報を導出する(S6002b)。隣接動き情報の導出では、図65に示す隣接ブロックが有効か無効かを判断する。この判断の結果はブロック0の判断結果と同じであるため、説明を省略する。ブロック1では隣接ブロックが有効か無効かの判断処理を省略し、ブロック0の判断結果を用いるように構成してもよい。
The process of block 1 (iCb=1) is performed in parallel with the process of block 0 (iCb=0). In the process of
また、ブロック0において、隣接ブロックから隣接動き情報を導出し(図44のS4004)、隣接動き情報を元に中心動きベクトルであるctrMvL0とctrMvL1を導出している(S4006からS4023)。ブロック0とブロック1の隣接動き情報が同一であるから、両者の中心動きベクトルも同一となる。そのため、ブロック1ではS4006からS4023の処理を省略し、ブロック0とブロック1で中心動きベクトルを共有することができる。つまり、ツリーブロック単位でS4006からS4023の処理を1回するだけでよく、処理量を大きく削減することができる。
Also, in
もし、ブロック1における隣接動き情報の導出において、隣接ブロックが図62(b)に示す位置であると仮定すると、隣接ブロックが有効か無効かを判断することはできない。ブロック1における隣接ブロックB1はブロック0に含まれるので、ブロック0の符号化が終了するまでは、隣接ブロックB1が有効か無効かを判断することはできない(availableFlagB1の値が確定していない)からである。
If it is assumed that the adjacent block is located at the position shown in FIG. 62B when deriving the adjacent motion information in
隣接動き情報を導出したら(S6002b)、図44におけるS4006からS4028の処理をする(S6004b)。上述したように、ブロック1の中心動きベクトルをブロック0と共有することで、S4006からS4023の処理を省略することができる。以上で、ブロック1におけるサブブロック時間マージ候補導出部の動作は終了する。
When the adjacent motion information is derived (S6002b), the processes of S4006 to S4028 in FIG. 44 are performed (S6004b). As described above, by sharing the central motion vector of
以上により、ツリーブロックの2つの符号化ブロックについて、サブブロック時間マージ候補導出部381の動作は終了する。
As described above, the operation of the sub-block time merge
本実施の形態では、中心動きベクトルを導出する際に、隣接ブロックの位置を以下のように変更する。すなわち、符号化対象の符号化ブロックに対する隣接ブロックの位置を、符号化対象のツリーブロック(符号化ブロックの親ブロック)に対する隣接ブロックと同じ位置とする。これにより、ツリーブロックの複数の符号化ブロックに対して、サブブロック時間マージ候補の導出処理を並列に動作させることができる。特に、サブブロック時間マージ候補の導出過程において、動きベクトルのスケーリング処理(図47のS4138)に代表される、演算量が大きい処理を並列に動作させることができる。 In this embodiment, when deriving the center motion vector, the positions of adjacent blocks are changed as follows. That is, the position of the adjacent block with respect to the encoding target coding block is set to the same position as the position of the adjacent block with respect to the encoding target tree block (parent block of the encoding block). As a result, the derivation process of the sub-block time merge candidate can be operated in parallel for a plurality of coded blocks of the tree block. In particular, in the process of deriving the sub-block time merge candidate, it is possible to operate in parallel a process having a large amount of calculation, represented by the motion vector scaling process (S4138 in FIG. 47).
なお、中心動きベクトルを導出するための符号化対象の符号化ブロックの隣接ブロックの位置を、符号化対象のツリーブロックの隣接ブロックと同じ位置にしても、サブブロック時間マージ候補は本質的にColPic上の動き情報に依存するため、符号化対象ピクチャでの隣接ブロックの位置のずれによる符号化効率の低下は抑制される。 It should be noted that even if the position of the adjacent block of the coding target block for deriving the center motion vector is set to the same position as the adjacent block of the coding target tree block, the sub-block time merge candidate is essentially ColPic. Since it depends on the above motion information, the deterioration of the coding efficiency due to the displacement of the position of the adjacent block in the current picture is suppressed.
以上のことは、クワッドツリーブロックについても同様である。次に、ツリーブロックが階層的に分割される場合におけるサブブロック時間マージ候補導出部381の動作を説明する。
The same applies to the quad tree block. Next, the operation of the sub block time merge
図66は、マルチタイプツリーブロックが階層的に分割される一例を示す。図66(a)は、マルチタイプツリーブロックがブロック0、ブロック1及びブロック2の3つの符号化ブロックに垂直方向に3分割されたマルチタイプツリーブロック(符号化ブロックでもよい)を示す。
FIG. 66 shows an example in which a multi-type tree block is hierarchically divided. FIG. 66A shows a multi-type tree block (which may be a coding block) obtained by vertically dividing the multi-type tree block into three coding blocks of
図66(b)は、ブロック2がマルチタイプツリーブロックとして、ブロック3、ブロック4及びブロック5の3つの符号化ブロックに水平方向に3分割されたマルチタイプツリーブロック(符号化ブロックでもよい)を示す。結果として、図66の例では、符号化ブロックはブロック0、ブロック2、ブロック3、ブロック4及びブロック5の5つの符号化ブロックに分割される。ブロック0とブロック2の中心動きベクトルを導出するための隣接ブロックの位置は、ブロック0とブロック2の親ブロックである図66(a)の太線で示されるマルチタイプツリーブロックの中心動きベクトルを導出するための隣接ブロックの位置である図66(a)のA0、A1、B0、B1となる。
In FIG. 66(b), the
ブロック3、ブロック4及びブロック5の隣接ブロックの位置は、ブロック3、ブロック4及びブロック5の親ブロックである図66(b)の太線で示されるマルチタイプツリーブロックの中心動きベクトルを導出するための隣接ブロックの位置である図66(b)のA0、A1、B0、B1となる。
The positions of adjacent blocks of
以上のことは、クワッドツリーブロックとマルチタイプツリーブロックとが組み合わされて階層的に分割された場合にについても同様である。 The above also applies to the case where the quad tree block and the multi-type tree block are combined and hierarchically divided.
次に、中心動きベクトルを導出するための隣接ブロックの位置の変形例について説明する。中心動きベクトルを導出するための隣接ブロックの位置は、マルチタイプツリーブロックやクワッドツリーブロックに隣接するブロックであればよい。 Next, a modification of the positions of adjacent blocks for deriving the center motion vector will be described. The position of the adjacent block for deriving the center motion vector may be a block adjacent to the multi-type tree block or the quad tree block.
図67は、中心動きベクトルを導出するための隣接ブロックの位置の変形例の一例を示す図である。図67(a)は、マルチタイプツリーブロックに好適な隣接ブロックの位置を示す。ブロックFとブロックGを隣接ブロックに追加することで、マルチタイプツリーブロックが3つの符号化ブロックに分割される場合であっても、分割された全てのブロックに隣接する隣接ブロックがあるため、中心動きベクトルの精度を向上させることができる。なお、中心動きベクトルを導出するために隣接ブロックを検索する順序(図45)は、ブロックA1の後にブロックFとブロックGを追加する。 FIG. 67 is a diagram showing an example of a modification of the positions of adjacent blocks for deriving the center motion vector. FIG. 67A shows the positions of adjacent blocks suitable for the multi-type tree block. Even if the multi-type tree block is divided into three coding blocks by adding the blocks F and G to the adjacent blocks, there is an adjacent block adjacent to all the divided blocks, The accuracy of the motion vector can be improved. The order of searching adjacent blocks to derive the center motion vector (FIG. 45) is to add block F and block G after block A1.
図67(b)は、クワッドツリーブロックに好適な隣接ブロックの位置を示す。ブロックB2を隣接ブロックに追加することで、クワッドツリーブロックが4つの符号化ブロックに分割される場合であっても、分割されたブロックに隣接する隣接ブロックの数が増加するため、中心動きベクトルの精度を向上させることができる。なお、中心動きベクトルを導出するために隣接ブロックを検索する順序(図45)は、ブロックA1の後にブロックB2を追加する。 FIG. 67(b) shows the positions of adjacent blocks suitable for the quad tree block. Even if the quadtree block is divided into four coded blocks by adding the block B2 to the adjacent block, the number of adjacent blocks adjacent to the divided block increases, so that the central motion vector The accuracy can be improved. Note that the block B2 is added after the block A1 in the order of searching for adjacent blocks to derive the center motion vector (FIG. 45).
また、中心動きベクトルを導出するための隣接ブロックの位置として図67(a)と図67(b)の両方を追加してもよい。この場合の検索順序はブロックA1の後にブロックB2、ブロックFとブロックGを追加する。もしくは、中心動きベクトルを導出するための隣接ブロックの位置としてクワッドツリーブロックであれば図67(a)を選択し、とマルチタイプツリーブロックであれば図67(b)を選択するように切り替えてもよい。 Further, both FIG. 67A and FIG. 67B may be added as the positions of adjacent blocks for deriving the center motion vector. The search order in this case is to add block B2, block F and block G after block A1. Alternatively, as shown in FIG. 67A for a quadtree block as the position of the adjacent block for deriving the center motion vector, and FIG. 67B for a multi-type tree block. Good.
図68は、中心動きベクトルを導出するための隣接ブロックの位置を切り替える変形例を説明するフローチャートである。ツリーブロックに含まれる符号化ブロックのインデックスiCb=0からiCb=numCb-1までの複数の符号化ブロックについて、以下の処理が繰り返される。 FIG. 68 is a flowchart illustrating a modification example in which the positions of adjacent blocks for deriving the center motion vector are switched. The following process is repeated for a plurality of coded blocks having index iCb=0 to iCb=numCb-1 of the coded blocks included in the tree block.
符号化ブロックiCbについて、符号化ブロックの大きさを検査する(S6030)。符号化ブロックの面積が所定値以下であれば(S6030のYes)、親ブロックに隣接するブロックを中心動きベクトルを導出するための隣接ブロックに設定する(S6031)。符号化ブロックの面積が所定値以下でなければ(S6030のNo)、符号化ブロックに隣接するブロックを中心動きベクトルを導出するための隣接ブロックに設定する(S6032)。ここでは、所定値を64とする。 The size of the encoded block iCb is checked (S6030). If the area of the encoded block is equal to or smaller than the predetermined value (Yes in S6030), the block adjacent to the parent block is set as the adjacent block for deriving the center motion vector (S6031). If the area of the encoded block is not equal to or smaller than the predetermined value (No in S6030), the block adjacent to the encoded block is set as the adjacent block for deriving the center motion vector (S6032). Here, the predetermined value is 64.
以上のように、隣接ブロックを親ブロックに隣接するブロックに設定して処理効率を優先する中心動きベクトルを導出方法と隣接ブロックを符号化ブロックに隣接するブロックに設定して中心動きベクトルの精度を優先する中心動きベクトルを導出方法とを切り替えることで、処理効率と中心動きベクトルの精度とを適切にバランスさせることができる。 As described above, the adjacent block is set to the block adjacent to the parent block and the central motion vector that gives priority to processing efficiency is derived, and the adjacent block is set to the block adjacent to the coding block to improve the accuracy of the central motion vector. By switching the priority center motion vector and the derivation method, the processing efficiency and the accuracy of the center motion vector can be appropriately balanced.
(第2の実施の形態)
本発明の第2の実施の形態に係るサブブロック時間マージ候補導出部381について説明する。本実施の形態では、符号化ブロックが所定サイズ以下である場合に、隣接ブロックの位置を変更する。従来のサブブロック時間マージ候補導出部381と、本発明のサブブロック時間マージ候補導出部381は、ブロック図の構成は同じであるが、処理の流れは異なる。
(Second embodiment)
The sub-block time merge
ツリーブロックが図69のように分割されている場合について、図70を参照して説明する。本実施の形態では、図64における隣接動き情報を導出する処理(S6002aまたはS6002b)を、図69に示す処理に置き換えることにより実現する。いま、ツリーブロックは128x128画素で、水平方向に2分割後、2分割された下側のブロックをさらに水平方向に2分割しているものとする。また、所定サイズは32x32画素とする。 A case where the tree block is divided as shown in FIG. 69 will be described with reference to FIG. In this embodiment, the processing (S6002a or S6002b) for deriving the adjacent motion information in FIG. 64 is realized by replacing the processing shown in FIG. 69. Now, it is assumed that the tree block has 128×128 pixels and is divided into two in the horizontal direction, and then the lower divided block is further divided into two in the horizontal direction. The predetermined size is 32x32 pixels.
まず、ブロック0について、符号化ブロックが所定サイズ以下か否かを判断する(S6010)。この判断では、符号化ブロックの幅または高さの少なくともどちらか一方が所定サイズ以下である場合に、真と判断する。ブロック0の幅は128画素であり、所定サイズの幅は32画素であるから、所定サイズ以下でない。同様に、ブロック0の高さは64画素であり、所定サイズの高さは32画素であるから、所定サイズ以下でない。よって、この判断(S6010)は偽となる。
First, with respect to block 0, it is determined whether the coded block is equal to or smaller than a predetermined size (S6010). In this determination, it is determined to be true when at least one of the width and the height of the encoded block is equal to or smaller than the predetermined size. Since the width of the
符号化ブロックが所定サイズ以下でないと判断され(S6010:No)、隣接ブロックn=A0として処理を開始する。このとき、隣接ブロックの位置は図69(a)のようになる。そして、隣接ブロックA0の符号化情報を取得する(S6014)。隣接ブロックA0が有効であれば(S6016:Yes)、隣接ブロックA0の参照インデックスrefIdxLXA0と動きベクトルmvLXA0を、隣接動き情報とする(S6018)。以上で、ブロック0に対する処理を終了する。
It is determined that the coded block is not equal to or smaller than the predetermined size (S6010: No), the adjacent block n=A0, and the process is started. At this time, the positions of the adjacent blocks are as shown in FIG. 69(a). Then, the coding information of the adjacent block A0 is acquired (S6014). If the adjacent block A0 is valid (S6016: Yes), the reference index refIdxLXA0 and the motion vector mvLXA0 of the adjacent block A0 are set as the adjacent motion information (S6018). This is the end of the process for
次に、ブロック1について、符号化ブロックが所定サイズ以下か否かを判断する(S6010)。ブロック1の幅は128画素であり、所定サイズの幅は32画素であるから、所定サイズ以下でない。一方、ブロック1の高さは32画素であり、所定サイズの高さは32画素であるから、所定サイズ以下である。よって、この判断(S6010)は真となる。
Next, with respect to the
符号化ブロックが所定サイズ以下であると判断され(S6010:Yes)、隣接ブロックをツリーブロックに対する位置に変更する(S6012)。このとき、隣接ブロックの位置は、図69(b)のようになる。よって、隣接ブロックn=A0として処理を開始する。そして、隣接ブロックA0の符号化情報を取得する(S6014)。ここで、図69(b)における隣接ブロックA0は、常に符号化前のツリーブロックに含まれるため、常に無効となる。よって、隣接ブロックn=B0として処理がループする。そして、隣接ブロックB0の符号化情報を取得する(S6014)。隣接ブロックB0が有効であれば(S6016:Yes)、隣接ブロックB0の参照インデックスrefIdxLXB0と動きベクトルmvLXB0を、隣接動き情報とする(S6018)。以上で、ブロック1に対する処理を終了する。
It is determined that the coded block is equal to or smaller than the predetermined size (S6010: Yes), and the adjacent block is changed to the position with respect to the tree block (S6012). At this time, the positions of the adjacent blocks are as shown in FIG. 69(b). Therefore, the process is started with the adjacent block n=A0. Then, the coding information of the adjacent block A0 is acquired (S6014). Here, since the adjacent block A0 in FIG. 69(b) is always included in the tree block before encoding, it is always invalid. Therefore, the processing loops with the adjacent block n=B0. Then, the coding information of the adjacent block B0 is acquired (S6014). If the adjacent block B0 is valid (S6016: Yes), the reference index refIdxLXB0 and the motion vector mvLXB0 of the adjacent block B0 are set as the adjacent motion information (S6018). This is the end of the process for
ブロック1の処理と並行して、ブロック2について処理をする。この処理はブロック1と同じであるため、説明を省略する。以上により、ツリーブロック内の全ての符号化ブロックについて、処理が終了する。
The
本実施の形態では、符号化ブロックが所定サイズ以下である場合に、隣接ブロックの位置を、符号化対象のツリーブロックと同じ位置とする。これにより、ツリーブロック内の複数の符号化ブロックに対して、サブブロック時間マージ候補の導出処理を並列に動作させることができる。 In the present embodiment, when the coding block is equal to or smaller than a predetermined size, the position of the adjacent block is set to the same position as the coding target tree block. As a result, the derivation process of sub-block time merge candidates can be operated in parallel for a plurality of coded blocks in the tree block.
本実施の形態では、隣接ブロックの位置を変更する条件は、符号化ブロックが所定のサイズ以下の場合としている。これは、再帰的にブロックを分割する際における再帰の回数が所定の値以上の場合としてもよい。 In the present embodiment, the condition for changing the position of the adjacent block is that the coded block is equal to or smaller than a predetermined size. This may be the case where the number of times of recursion when the block is recursively divided is a predetermined value or more.
符号化装置が、サブブロック時間マージ候補の導出において、隣接ブロックの位置を変更する条件を決定すると共に、その条件を符号化ビットストリーム内に記録する構成にしてもよい。さらに、復号装置が、符号化ビットストリーム内に記録された隣接ブロックの位置を変更する条件を用いて、隣接ブロックの位置を変更する構成にしてもよい。 In the derivation of the sub block time merge candidate, the encoding device may determine a condition for changing the position of the adjacent block and record the condition in the encoded bit stream. Further, the decoding device may be configured to change the position of the adjacent block using the condition for changing the position of the adjacent block recorded in the encoded bitstream.
本実施の形態では、符号化ブロックの幅または高さの少なくともどちらか一方が所定サイズ以下である場合に、真と判定したが、符号化ブロックの幅または高さの両方が所定サイズ以下である場合に、真と判定してもよい。符号化ブロックの幅または高さの両方が所定サイズ以下とすることで、比較すべきブロックを唯一にすることが可能となり、符号化または復号の最中に所定サイズ毎に中心動きベクトルを導出して保存することで効率よく再利用できる。これにより、例えば、エンコーダにおける符号化ブロックサイズの判定や、2パスエンコーダなどの処理を大幅に削減することができる。 In the present embodiment, when at least one of the width and the height of the coding block is less than or equal to the predetermined size, it is determined as true, but both the width and the height of the coding block are less than or equal to the predetermined size. In some cases, it may be determined to be true. By setting both the width and height of the coding block to be equal to or smaller than a predetermined size, it is possible to make only one block to be compared, and a center motion vector is derived for each predetermined size during encoding or decoding. It can be reused efficiently by saving it as As a result, for example, the determination of the coding block size in the encoder and the processing of the two-pass encoder can be significantly reduced.
上記したサブブロック時間マージ候補導出部381の説明は、符号化時のものであるが、復号時も同様となる。つまり、図22のサブブロックマージモード導出部404におけるサブブロック時間マージ候補導出部481の動作は、上記の説明における符号化を復号と置き換えて、同様に説明される。
The above description of the sub-block time merge
符号化装置が、サブブロック時間マージ候補導出の並列処理をすると共に、サブブロック時間マージ候補導出の並列処理をするか否かを示すフラグを符号化ビットストリーム内に記録する構成にしてもよい。さらに、復号装置が、符号化ビットストリーム内に記録されたサブブロック時間マージ候補導出の並列処理をするか否かを示すフラグを用いて、サブブロック時間マージ候補導出の並列処理をする構成にしてもよい。 The encoding device may perform parallel processing for deriving subblock time merge candidates, and may record a flag indicating whether or not to perform parallel processing for deriving subblock time merge candidates in the encoded bitstream. Further, the decoding apparatus is configured to perform parallel processing of sub-block time merge candidate derivation using a flag indicating whether or not to perform parallel processing of sub-block time merge candidate derivation recorded in the coded bitstream. Good.
サブブロック時間マージ候補導出の並列処理をするか否かを示すフラグを符号化または復号する単位は、シーケンス、ピクチャ、スライス、符号化ブロックのいずれでもよい。 The unit for encoding or decoding the flag indicating whether or not to perform parallel processing of sub-block time merge candidate derivation may be a sequence, a picture, a slice, or an encoded block.
以上に述べた全ての実施の形態は、複数を組み合わせても良い。 All of the above-described embodiments may be combined with each other.
以上に述べた全ての実施の形態において、画像符号化装置が出力する符号化ビットストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有している。また、この画像符号化装置に対応する画像復号装置は、この特定のデータフォーマットの符号化ビットストリームを復号することができる。 In all the embodiments described above, the encoded bit stream output by the image encoding device has a specific data format so that it can be decoded according to the encoding method used in the embodiments. doing. Also, an image decoding device corresponding to this image encoding device can decode the encoded bit stream of this specific data format.
画像符号化装置と画像復号装置の間で符号化ビットストリームをやりとりするために、有線または無線のネットワークが用いられる場合、通信路の伝送形態に適したデータ形式に符号化ビットストリームを変換して伝送してもよい。その場合、画像符号化装置が出力する符号化ビットストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する送信装置と、ネットワークから符号化データを受信して符号化ビットストリームに復元して画像復号装置に供給する受信装置とが設けられる。 When a wired or wireless network is used to exchange the encoded bitstream between the image encoding device and the image decoding device, the encoded bitstream is converted into a data format suitable for the transmission mode of the communication path. You may transmit. In that case, a transmission device that converts the encoded bit stream output by the image encoding device into encoded data in a data format suitable for the transmission mode of the communication path and transmits the encoded data to the network, and receives the encoded data from the network. A receiving device is provided that restores the encoded bitstream and supplies the encoded bitstream to the image decoding device.
送信装置は、画像符号化装置が出力する符号化ビットストリームをバッファするメモリと、符号化ビットストリームをパケット化するパケット処理部と、ネットワークを介してパケット化された符号化データを送信する送信部とを含む。受信装置は、ネットワークを介してパケット化された符号化データを受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ビットストリームを生成し、画像復号装置に提供するパケット処理部とを含む。 The transmission device includes a memory for buffering the encoded bitstream output from the image encoding device, a packet processing unit for packetizing the encoded bitstream, and a transmission unit for transmitting packetized encoded data via a network. Including and A receiving device receives a packetized encoded data via a network, a memory for buffering the received encoded data, a packet processing of the encoded data to generate an encoded bitstream, And a packet processing unit provided to the image decoding apparatus.
また、画像復号装置で復号された画像を表示する表示部を構成に追加することで、表示装置としても良い。その場合、表示部は、復号画像信号重畳部205により生成され、復号画像メモリ206に格納された復号画像信号を読み出して画面に表示する。
Further, a display unit that displays an image decoded by the image decoding device may be added to the configuration to provide a display device. In that case, the display unit reads the decoded image signal generated by the decoded image
また、撮像部を構成に追加し、撮像した画像を画像符号化装置に入力することで、撮像装置としても良い。その場合、撮像部は、撮像した画像信号をブロック分割部101に入力する。
Further, an image pickup unit may be added to the configuration, and the picked-up image may be input to the image coding apparatus to form the image pickup apparatus. In that case, the imaging unit inputs the captured image signal to the
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現しても良いのは勿論のこと、ROM(リード・オンリー・メモリ)やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによって実現しても良い。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供しても良いし、有線あるいは無線のネットワークを通してサーバから提供しても良いし、地上波あるいは衛星ディジタル放送のデータ放送として提供しても良い。 The above-described processing relating to encoding and decoding may be realized as a transmission, storage, and reception device using hardware, and is also stored in a ROM (Read Only Memory), a flash memory, or the like. It may be realized by firmware or software such as a computer. The firmware program and software program may be provided by being recorded in a computer-readable recording medium, may be provided from a server through a wired or wireless network, or terrestrial or satellite digital broadcasting data broadcasting. May be provided as.
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described above based on the embodiment. It is understood by those skilled in the art that the embodiments are exemplifications, that various modifications can be made to the combinations of the respective constituent elements and the respective processing processes, and that the modifications are within the scope of the present invention. ..
100 画像符号化装置、 101 ブロック分割部、 102 インター予測部、 103 イントラ予測部、104 復号画像メモリ、 105 予測方法決定部、 106 残差信号生成部、 107 直交変換・量子化部、 108 ビット列符号化部、 109 逆量子化・逆直交変換部、 110 復号画像信号重畳部、 111 符号化情報格納メモリ、 200 画像復号装置、 201 ビット列復号部、 202 ブロック分割部、 203 インター予測部 204 イントラ予測部、 205 符号化情報格納メモリ205 逆量子化・逆直交変換部、 207 復号画像信号重畳部、 208 復号画像メモリ。
100 image coding apparatus, 101 block division unit, 102 inter prediction unit, 103 intra prediction unit, 104 decoded image memory, 105 prediction method determination unit, 106 residual signal generation unit, 107 orthogonal transform/quantization unit, 108 bit string code Decoding unit, 109 inverse quantization/inverse orthogonal transform unit, 110 decoded image signal superimposing unit, 111 encoded information storage memory, 200 image decoding device, 201 bit string decoding unit, 202 block dividing unit, 203
Claims (1)
前記符号化対象ブロックより大きなブロックである符号化対象ツリーブロックに含まれている前記符号化対象ブロックに隣接するブロックを隣接ブロックとし、符号化済みの前記隣接ブロックの動きベクトルを前記符号化情報格納メモリから取得し、前記符号化対象ブロックと時間の異なる符号化済みのピクチャにおいて、前記符号化対象ブロックと同一の位置に前記隣接ブロックの動きベクトルを加えた位置を併置ブロックとし、前記併置ブロックにおける動きベクトルを含むサブブロック時間マージ候補を導出するサブブロック時間マージ候補導出部と、
前記サブブロック時間マージ候補導出部から導出した前記サブブロック時間マージ候補により、前記符号化対象ブロックの動き補償をする動き補償予測部とを備え、
前記サブブロック時間マージ候補導出部は、
前記隣接ブロックにおける動きベクトルを取得する際に、前記符号化対象ツリーブロックに含まれる前記隣接ブロックにおける動きベクトルの取得を制限する、
ことを特徴とする画像符号化装置。 A coded information storage memory for storing coded information coded before the block to be coded;
A block adjacent to the coding target block included in a coding target tree block that is a block larger than the coding target block is set as an adjacent block, and a motion vector of the coded adjacent block is stored in the coding information. Obtained from the memory, in a coded picture whose time is different from that of the current block to be coded, a position where the motion vector of the adjacent block is added to the same position as the current block to be coded is a co-located block, and in the co-located block, A sub-block temporal merge candidate derivation unit that derives a sub-block temporal merge candidate including a motion vector,
A motion compensation prediction unit that performs motion compensation of the encoding target block by the sub block time merge candidate derived from the sub block time merge candidate derivation unit,
The sub-block time merge candidate derivation unit,
When acquiring a motion vector in the adjacent block, restricting acquisition of a motion vector in the adjacent block included in the encoding target tree block,
An image encoding device characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018247401A JP2020108083A (en) | 2018-12-28 | 2018-12-28 | Image encoding device, image encoding method, and image encoding program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018247401A JP2020108083A (en) | 2018-12-28 | 2018-12-28 | Image encoding device, image encoding method, and image encoding program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020108083A true JP2020108083A (en) | 2020-07-09 |
Family
ID=71449563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018247401A Pending JP2020108083A (en) | 2018-12-28 | 2018-12-28 | Image encoding device, image encoding method, and image encoding program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020108083A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112532974A (en) * | 2020-11-24 | 2021-03-19 | 浙江大华技术股份有限公司 | Encoding method, apparatus and storage medium for string encoding technique |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016123081A1 (en) * | 2015-01-26 | 2016-08-04 | Qualcomm Incorporated | Sub-prediction unit based advanced temporal motion vector prediction |
WO2016201094A1 (en) * | 2015-06-11 | 2016-12-15 | Qualcomm Incorporated | Sub-prediction unit motion vector prediction using spatial and/or temporal motion information |
WO2018066927A1 (en) * | 2016-10-06 | 2018-04-12 | 엘지전자(주) | Method for processing video on basis of inter prediction mode and apparatus therefor |
-
2018
- 2018-12-28 JP JP2018247401A patent/JP2020108083A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016123081A1 (en) * | 2015-01-26 | 2016-08-04 | Qualcomm Incorporated | Sub-prediction unit based advanced temporal motion vector prediction |
WO2016201094A1 (en) * | 2015-06-11 | 2016-12-15 | Qualcomm Incorporated | Sub-prediction unit motion vector prediction using spatial and/or temporal motion information |
WO2018066927A1 (en) * | 2016-10-06 | 2018-04-12 | 엘지전자(주) | Method for processing video on basis of inter prediction mode and apparatus therefor |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112532974A (en) * | 2020-11-24 | 2021-03-19 | 浙江大华技术股份有限公司 | Encoding method, apparatus and storage medium for string encoding technique |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6763466B2 (en) | Moving image coding device, moving image coding method and moving image coding program, moving image decoding device, moving image decoding method and moving image decoding program | |
JP7405127B2 (en) | Image decoding device, image decoding method, and image decoding program | |
JP2023120329A (en) | Image decoding device, image decoding method, and image decoding program | |
JP2020108083A (en) | Image encoding device, image encoding method, and image encoding program | |
JP2020109936A (en) | Image coding device, image coding method, and image coding program | |
JP2020108081A (en) | Image encoding device, image encoding method, and image encoding program | |
JP7137744B2 (en) | Image decoding device, image decoding method and image decoding program | |
JP7308428B2 (en) | Image encoding device, image encoding method and image encoding program | |
JP7215243B2 (en) | image coding device | |
JP2020108082A (en) | Image decoding device, image decoding method, and image decoding program | |
JP7418686B2 (en) | Video encoding device, video encoding method, and video encoding program | |
JP7418687B2 (en) | Video encoding device, video encoding method, and video encoding program | |
JP7451873B2 (en) | Image encoding device, image encoding method, and image encoding program | |
JP7268409B2 (en) | Image encoding device, image encoding method and image encoding program | |
JP2020108084A (en) | Dynamic picture image encoder, dynamic picture image encoding method and dynamic picture image encoding program | |
JP2020108079A (en) | Image encoding device, image encoding method, and image encoding program | |
JP2020108085A (en) | Image encoding device, image encoding method, and image encoding program | |
JP2020108080A (en) | Image decoding device, image decoding method, and image decoding program | |
JP2020109934A (en) | Image encoding device, image encoding method, and image encoding program | |
JP2020150530A (en) | Image coding device, image coding method, and image coding program | |
JP2020141271A (en) | Image encoding device, image encoding method, and image encoding program | |
JP2020141272A (en) | Image decoding device, image decoding method, and image decoding program | |
JP2020109930A (en) | Image coding device, image coding method, and image coding program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220517 |