CN114342406A - 用于推导双向预测权重索引的方法及图像解码设备 - Google Patents

用于推导双向预测权重索引的方法及图像解码设备 Download PDF

Info

Publication number
CN114342406A
CN114342406A CN202080060741.2A CN202080060741A CN114342406A CN 114342406 A CN114342406 A CN 114342406A CN 202080060741 A CN202080060741 A CN 202080060741A CN 114342406 A CN114342406 A CN 114342406A
Authority
CN
China
Prior art keywords
control point
motion information
current block
bcw
target control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080060741.2A
Other languages
English (en)
Inventor
金在一
李善暎
申在燮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190158986A external-priority patent/KR20210001852A/ko
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Publication of CN114342406A publication Critical patent/CN114342406A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种用于推导双向预测权重索引的方法及图像解码设备。根据本公开的实施方式，提供了一种用于推导双向预测权重索引的方法，推导仿射合并候选列表中包括的被构建候选的双向预测权重索引的方法包括以下步骤：确定在当前块中设置的控制点当中是否多个目标控制点可用；如果目标控制点可用，则检查目标控制点的预测方向和参考图片；以及如果目标控制点的预测方向全部是双向的且参考图片相同时，则从目标控制点的双向预测权重索引候选推导双向预测权重索引。

Description

用于推导双向预测权重索引的方法及图像解码设备
技术领域
本发明涉及一种图像的编码和解码，并且更具体地，涉及推导双向预测权重索引的方法及视频解码设备，其中通过更有效地推导双向预测权重索引来提高编码和解码效率。
背景技术
由于视频数据的体量比语音数据或静止图像数据的体量大，因此在没有进行压缩处理的情况下存储或传输视频数据需要包括存储器在内的大量硬件资源。
因此，在存储或传输视频数据时，通常使用编码器对视频数据进行压缩以进行存储或传输。然后，解码器接收压缩的视频数据，并解压缩和再现视频数据。用于此类视频的压缩技术包括H.264/AVC和高效视频编码(HEVC)，其编码效率比H.264/AVC提高了约40％。
但是，视频的尺寸、分辨率和帧率正在逐渐增大，相应地要编码的数据量也正在增加。因此，需要比现有压缩技术具有更好编码效率和更高图像质量的新压缩技术。
发明内容
技术问题
本发明旨在提供一种改进的视频编码和解码技术以满足以上需求，并且具体地，本发明的一个方面涉及一种通过根据两个方向当中针对控制点设置的权重索引被赋予更大权重的方向来推导当前块的权重索引而提高编码和解码效率的技术。
技术方案
根据至少一个方面，本公开提供了一种推导仿射合并候选列表中包括的被构建候选的双向预测权重索引的方法。该方法包括：确定针对当前块设置的控制点当中是否多个目标控制点可用；当目标控制点可用时，检查目标控制点的预测方向和参考图片；以及当目标控制点的所有预测方向都是双向的且目标控制点的参考图片相同时，从目标控制点的双向预测权重索引候选推导被构建候选的双向预测权重索引。
根据另一方面，本公开提供了一种视频解码设备。该设备包括：确定单元，其被配置为确定针对当前块设置的控制点当中是否多个目标控制点可用；检查单元，其被配置为在目标控制点可用时检查目标控制点的预测方向和参考图片；以及推导单元，其在目标控制点的所有预测方向都是双向的且目标控制点的参考图片相同时，从目标控制点的双向预测权重索引候选推导仿射合并候选列表中所包括的被构建候选的双向预测权重索引。
技术效果
如上所述，根据本发明的实施方式，通过经由仿射预测方法更准确地表示运动，可以提高预测精度并提高编码和解码效率。
附图说明
图1是能够实现本公开的技术的视频编码设备的示例性框图。
图2示例性地示出了使用QTBTTT结构的块分区(block partitioning)结构。
图3示例性地示出了多种帧内预测模式。
图4是能够实现本公开的技术的视频解码设备的示例性框图。
图5例示了用于描述空间/时间候选块的位置的图。
图6例示了用于描述仿射模型的类型的图。
图7是用于描述使用仿射模式推导子块阵列的运动信息的方法的图。
图8是用于描述在仿射模式中使用的相邻块的位置的图。
图9是可以实现本发明的技术的预测单元的示例性框图。
图10是用于描述推导双向预测权重索引的示例的流程图。
图11至图14是用于描述推导双向预测权重索引的各种示例的流程图。
具体实施方式
在下文中，将参照附图详细描述本公开的一些实施方式。应该注意的是，在各个附图中向组成元件(constituent element)添加附图标记时，尽管这些元件在不同的附图中示出，但是相似的附图标记指代相似的元件。此外，在本公开的以下描述中，将省略并入本文的已知功能和配置的详细描述以避免混淆本公开的主题。
图1是能够实现本公开的技术的视频编码设备的示例性框图。在下文中，将参照图1描述视频编码设备和该设备的元件。
视频编码设备包括块分割器110、预测器120、减法器130、变换器140、量化器145、编码器150、逆量化器160、逆变换器165、加法器170、滤波器单元180和存储器190。
视频编码设备的每个元件可以用硬件或软件、或者硬件和软件的组合来实现。各个元件的功能可以用软件来实现，并且可以实现微处理器，以执行与各个元件相对应的软件功能。
一个视频由多幅图片组成。每幅图片被分割成多个区域，并对每个区域执行编码。例如，一幅图片被分割成一个或更多个瓦片和/或切片。这里，一个或更多个瓦片可以被定义为瓦片组。每个瓦片或切片被分割成一个或更多个编码树单元(CTU)。每个CTU按照树结构被分割成一个或更多个编码单元(CU)。应用于每个CU的信息被编码为CU的语法，共同应用于一个CTU中所包含的CU的信息被编码为CTU的语法。此外，共同应用于一个瓦块中的所有块的信息被编码为瓦片的语法或被编码为作为多个瓦片的集合的瓦片组的语法，并且应用于构成一幅图片的所有块的信息被编码在图片参数集(PPS)或图片标头中。此外，由多个图片共同参考的信息被编码在序列参数集(SPS)中。另外，由一个或更多个SPS共同参考的信息被编码在视频参数集(VPS)中。
块分割器110确定编码树单元(CTU)的尺寸。关于CTU的尺寸(CTU尺寸)的信息被编码为SPS或PPS的语法，并且被发送给视频解码设备。
块分割器110将构成视频的每幅图片分割成具有预定尺寸的多个CTU，然后使用树结构递归分割CTU。在树结构中，叶节点用作编码单元(CU)，编码单元是编码的基本单元。
树结构可以是其中节点(或父节点)被分割成具有相同尺寸的四个子节点(或孩子节点)的四叉树(QT)、其中节点被分割成两个子节点的二叉树(BT)、其中节点以1:2:1的比例被分割成三个子节点的三叉树(TT)、或者由QT结构、BT结构和TT结构中的两个或更多个的组合而形成的结构。例如，可以使用QTBT(四叉树加二叉树)结构或QTBTTT(四叉树加二叉树三叉树)结构。这里，BTTT可以统称为多类型树(MTT)。
图2示出了QTBTTT分割树结构。如图2所示，最初可以以QT结构来分割CTU。可以重复QT分割，直至分割块的尺寸达到QT中所允许的叶节点的最小块尺寸(MinQTSize)。由编码器150对指示QT结构的每个节点是否被分割成下层的四个节点的第一标志(QT_split_flag)进行编码并用信号通知视频解码设备。当QT的叶节点不大于BT中所允许的根节点的最大块尺寸(MaxBTSize)时，可以进一步以BT结构或TT结构中的一种或更多种进行分割。在BT结构和/或TT结构中，可以有多个分割方向。例如，可存在作为节点块的水平分割和垂直分割的两个方向。如图2所示，当MTT分割开始时，由编码器150对指示节点是否被分割的第二标志(mtt_split_flag)、指示分割方向(垂直或水平)的标志、和/或指示分割类型(二叉或三叉)的标志进行编码并用信号通知视频解码设备。
作为树结构的另一示例，当使用QTBTTT结构对块进行分割时，由编码器150对关于指示块已被分割的CU分割标志(split_cu_flag)和指示分割类型是QT分割的QT分割标志(split_qt_flag)的信息进行编码并用信号通知视频解码设备。当split_cu_flag的值指示块尚未被分割时，节点的块成为分割树结构中的叶节点并用作作为编码的基本单元的编码单元(CU)。当split_cu_flag的值指示块尚未被分割时，通过split_qt_flag的值区分分割类型是QT还是MTT。当分割类型为QT时，没有附加信息。当分割类型为MTT时，由编码器150对指示MTT分割方向(垂直或水平)的标志(mtt_split_cu_vertical_flag)和/或指示MTT分割类型(二叉或三叉)的标志(mtt_split_cu_binary_flag)进行编码并用信号通知视频解码设备。
作为树结构的另一示例，当使用QTBT时，可以存在两种分割类型，这两种分割类型是节点的块水平分割(即，对称水平分割)和垂直分割(即，对称垂直分割)分成相同尺寸的两个块。由编码器150对指示BT结构的每个节点是否被分割成下层的块的分割标志(split_flag)和指示分割类型的分割类型信息进行编码并发送给视频解码设备。可以存在附加类型，附加类型是将节点的块分割为两个非对称块。非对称分割类型可以包括将块以1:3的尺寸比分割为两个矩形块的类型、以及将节点的块进行对角分割的类型。
根据CTU的QTBT或QTBTTT分割，CU可以具有各种尺寸。在下文中，将与要编码或解码的CU(即，QTBTTT的叶节点)相对应的块称为“当前块”。
预测器120预测当前块以生成预测块。预测器120包括帧内预测器122和帧间预测器124。
一般来说，可以对图片中的每个当前块进行预测编码。可以使用帧内预测技术(基于来自包含当前块的图片的数据执行的)或帧间预测技术(基于来自在包含当前块的图片之前被编码的图片的数据执行的)来执行当前块的预测。帧间预测包括单向预测和双向预测二者。
帧内预测器122使用包括当前块的当前图片中位于当前块周围的像素(参考像素)来预测当前块中的像素。根据预测方向，存在多种帧内预测模式。例如，如图3所示，多个帧内预测模式可以包括非定向模式以及65个定向模式，非定向模式包括平面模式和DC模式。对于每种预测模式，以不同方式定义了要使用的相邻像素和公式。
帧内预测器122可以确定在对当前块进行编码时要使用的帧内预测模式。在一些示例中，帧内预测器122可以使用若干种帧内预测模式对当前块进行编码并且从被测模式当中选择适当的帧内预测模式来使用。例如，帧内预测器122可以使用若干被测帧内预测模式的率失真分析来计算率失真值，并且可以在被测模式当中选择具有最佳率失真特性的帧内预测模式。
帧内预测器122从多种帧内预测模式当中选择一种帧内预测模式，并使用根据所选择的帧内预测模式所确定的相邻像素(参考像素)和公式来预测当前块。由编码器150对关于所选择的帧内预测模式的信息进行编码并且发送给视频解码设备。
帧间预测器124通过运动补偿处理生成当前块的预测块。帧间预测器在比当前图片更早编码和解码的参考图片中搜索与当前块最相似的块，并基于搜索到的块生成当前块的预测块。然后，帧间预测器生成与当前图片中的当前块和参考图片中的预测块之间的位移相对应的运动向量。通常，对亮度分量执行运动估计，并且对于亮度分量和色度分量二者，使用基于亮度分量计算出的运动向量。由编码器150对包括关于用于预测当前块的参考图片的信息和关于运动向量的信息的运动信息进行编码并发送给视频解码设备。
减法器130通过从当前块中减去由帧内预测器122或帧间预测器124生成的预测块来生成残差块。
变换器140将空间域中具有像素值的残差块中的残差信号变换为频域中的变换系数。变换器140可以使用当前块的总尺寸作为变换单元来变换残差块中的残差信号。另选地，变换器可以将残差块分割为变换区和非变换区的子块，仅使用变换区的子块作为变换单元来变换残差信号。这里，变换区子块可以是基于水平轴(或垂直轴)的尺寸比为1:1的两个矩形块之一。在这种情况下，由编码器150对指示仅子块已被变换的标志(cu_sbt_flag)、方向(垂直/水平)信息(cu_sbt_horizontal_flag)和/或位置信息(cu_sbt_pos_flag)进行编码并用信号通知视频解码设备。另外，变换区子块的尺寸可以基于水平轴(或垂直轴)具有1:3的尺寸比。在这种情况下，由编码器150对用于区分分割的标志(cu_sbt_quad_flag)附加地编码用信号通知视频解码设备。
量化器145对从变换器140输出的变换系数进行量化，并且向编码器150输出量化后的变换系数。
编码器150通过使用诸如基于上下文的自适应二进制算术编码(CABAC)之类的编码方法对量化的变换系数进行编码，来生成比特流。编码器150对与块分割相关的诸如CTU尺寸、CU分割标志、QT分割标志、MTT分割方向和MTT分割类型之类的信息进行编码，使得视频解码设备与视频编码设备以相同方式分割块。
此外，编码器150对关于指示当前块是通过帧内预测还是通过帧间预测被编码的预测类型的信息进行编码，并且根据预测类型对帧内预测信息(即，关于帧内预测模式的信息)或帧间预测信息(关于参考图片和运动向量的信息)进行编码。
逆量化器160对从量化器145输出的量化变换系数进行逆量化以生成变换系数。逆变换器165将从逆量化器160输出的变换系数从频域变换到空间域并重构残差块。
加法器170将重构的残差块与预测器120生成的预测块相加，以重构当前块。重构的当前块中的像素用作下一个块的帧内预测的参考像素。
滤波器单元180对重构的像素进行滤波以减少由于基于块的预测和变换/量化而产生的块伪影、振铃伪影和模糊伪影。滤波器单元180可以包括去块滤波器182和样本自适应偏移(SAO)滤波器184。
去块滤波器180对重构的块之间的边界进行滤波，以去除由逐块编码/解码引起的块伪影，并且SAO滤波器184附加地对去块滤波后的视频进行滤波。SAO滤波器184是用于补偿由有损编码引起的重构的像素和原始像素之间的差异的滤波器。
通过去块滤波器182和SAO滤波器184滤波后的重构的块存储在存储器190中。一旦重构了一幅图片中的所有块，重构图片就被用作用于要编码的下一幅图片的帧间预测的参考图片。
图4是能够实现本公开的技术的视频解码设备的示例性功能框图。在下文中，将参照图4描述视频解码设备和该设备的元件。
视频解码设备可以包括解码器410、逆量化器420、逆变换器430、预测器440、加法器450、滤波器单元460和存储器470。
与图1的视频编码设备类似，视频解码设备的每个元件可以实现为硬件或软件，或者可以实现为硬件和软件的组合。另外，每个元件的功能可以实现为软件，并且可以实现微处理器以执行与每个元件相对应的软件的功能。
解码器410通过对从视频编码设备接收到的比特流进行解码并提取与块分割相关的信息来确定要解码的当前块，并且提取重构当前块所需的预测信息和关于残差信号的信息。
解码器410从序列参数集(SPS)或图片参数集(PPS)中提取关于CTU尺寸的信息，确定CTU的尺寸，并将图片分割成所确定尺寸的CTU。然后，解码器将CTU确定为最上层(即，树结构的根节点)，并且提取关于CTU的分割信息，以利用树结构对CTU进行分割。
例如，当使用QTBTTT结构对CTU进行分割时，首先提取与QT分割相关的第一标志(QT_split_flag)，并将每个节点分割为下层的四个节点。然后，对于与QT的叶节点相对应的节点，提取与MTT分割相关的第二标志(MTT_split_flag)和关于分割方向(垂直/水平)和/或分割类型(二叉/三叉)的信息，并且以MTT结构分割叶节点。这样，以BT或TT结构递归地分割QT的叶节点下面的每个节点。
作为另一示例，当使用QTBTTT结构对CTU进行分割时，首先提取指示CU是否被分割的CU分割标志(split_cu_flag)。如果相应的块被分割，则提取QT分割标志(split_qt_flag)。当分割类型不是QT而是MTT时，附加地提取指示MTT分割方向(垂直或水平)的标志(mtt_split_cu_vertical_flag)和/或指示MTT分割类型(二叉或三叉)的标志(mtt_split_cu_binary_flag)。在分割过程中，每个节点可以经历零次或更多次递归QT分割，然后再经历零次或更多次递归MTT分割。例如，CTU可以立即被MTT分割，或者可以仅被QT分割多次。
作为另一示例，当使用QTBT结构以及与QT分割相关的第一标志(QT_split_flag)分割CTU时，并且每个节点被分割成下层的四个节点。对于与QT的叶子节点相对应的节点，提取指示该节点是否被进一步BT分割的split_flag和分割方向信息。
一旦通过树结构分割确定了要解码的当前块，解码器410就提取关于指示当前块是经历了帧内预测还是帧间预测的预测类型的信息。当预测类型信息指示帧内预测时，解码器410提取当前块的帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时，解码器410提取帧间预测信息的语法元素，即，指示运动向量和运动向量所参考的参考图片的信息。
解码器410提取关于当前块的量化变换系数的信息作为关于残差信号的信息。
逆量化器420对量化后的变换系数进行逆量化，并将逆量化后的变换系数从频域逆变换到空间域，重构残差信号，以生成当前块的残差块。
另外，当逆变换器430仅对变换块的局部区域(子块)进行逆变换时，提取指示仅变换块的子块已被变换的标志(cu_sbt_flag)、以及关于子块的方向信息(垂直/水平)(cu_sbt_horizontal_flag)和/或子块位置信息(cu_sbt_pos_flag)。然后，通过将子块的变换系数从频域逆变换到空间域来重构残差信号。对于没有被逆变换的区域，用“0”填充残差信号。从而，创建当前块的最终残差块。
预测器440可以包括帧内预测器442和帧间预测器444。在当前块的预测类型为帧内预测时激活帧内预测器442，并且在当前块的预测类型为帧间预测时激活帧间预测器444。
帧内预测器442基于从解码器410提取的帧内预测模式的语法元素，在多个帧内预测模式当中确定当前块的帧内预测模式，并根据帧内预测模式基于当前块周围的参考像素预测当前块。
帧间预测器444基于从解码器410提取的帧内预测模式的语法元素确定当前块的运动向量和运动向量所参考的参考图片，并基于运动向量和参考图片预测当前块。
加法器450通过将从逆变换器输出的残差块和从帧间预测器或帧内预测器输出的预测块相加，来重构当前块。重构的当前块中的像素用作用于稍后要解码的块的帧内预测的参考像素。
滤波器单元460可以包括去块滤波器462和SAO滤波器464。去块滤波器462对重构的块之间的边界执行去块滤波，以去除由逐块解码引起的块伪影。SAO滤波器464对去块滤波之后的重构的块执行附加滤波，以补偿由有损编码引起的重构的像素和原始像素之间的差异。通过去块滤波器462和SAO滤波器464滤波的重构的块被存储在存储器470中。当重构了一幅图片中的所有块时，重构的图片用作用于之后要编码的图片中块的帧间预测的参考图片。
帧间预测方法可以分类为跳过模式、合并模式和自适应(或高级)运动向量预测器(AMVP)模式。
在跳过模式中，从视频编码设备用信号通知视频解码设备位于当前块周围的相邻块的运动信息候选当中的任何一条运动信息。在合并模式中，相邻块的运动信息候选当中的任何一条运动信息和关于通过预测生成的残差的信息被编码和用信号通知。在AMVP模式中，当前块的运动信息和关于通过预测生成的残差的信息被编码和用信号通知。
在跳过模式和合并模式下用信号通知的运动信息被表示为指示任何一个运动信息候选(换言之，候选列表中包括的任一个运动信息候选)的索引(合并索引)值。在AMVP模式中用信号通知的运动信息被表示为相邻块的运动信息和当前块的运动信息之间的差值(运动向量差(MVD))。
从视频编码设备用信号通知视频解码设备用于区分跳过模式和合并模式的每个标志(cu_skip_flag和merge_flag)，并且根据标志的值用信号通知视频解码设备合并索引(merge_idx)。可以以与合并模式中的方式相同的方式执行跳过模式中构建候选列表的方法或用信号通知合并索引的方法。在AMVP模式中，可以用信号通知预测方向信息(inter_pred_idc)、参考图片索引(ref_idx_l0和ref_idx_l1)、指示要用于预测当前块的运动信息候选的信息(mvp_l0_flag和mvp_l1_flag)和MVD。在这种情况下，根据预测方向的数量确定用信号通知的MVD的数量。例如，在单向预测的情况下用信号通知一个MVD，而在双向预测的情况下用信号通知两个MVD。
在跳过模式下，当前块的大小可以为2N×2N，而在合并模式下，当前块的尺寸可以为2N×2N、2N×N、N×2N或非对称分区。在当前块具有2N×2N的尺寸且全为零的变换系数时，当前块被分类为处于跳过模式。在AMVP模式下，当前块的尺寸可以这2N×2N、2N×N、N×2N，或者非对称分区。
在跳过模式、合并模式和AMVP模式下从视频编码设备用信号通知视频解码设备的各条信息如表1至表3所表示。
[表1]
Figure BDA0003521938040000101
[表2]
Figure BDA0003521938040000111
[表3]
Figure BDA0003521938040000121
在跳过模式和合并模式的候选列表中，可以包括多达四个空间候选、多达一个时间候选、组合双向候选和零运动向量候选。视频编码/解码设备可以按照空间候选→时间候选→组合双向候选→零运动向量候选的次序来构建候选列表。
图5中例示了用于空间候选和时间候选的候选块的位置。图5中的(a)例示了与当前预测块(PU)相邻的空间候选块的位置，而图5中的(b)例示了基于共定位PU的时间候选块的位置。
视频编解码设备可以按照A1→B1→B0→A0→B2的次序搜索空间候选块，以设置多达四个空间候选块。此外，视频编码/解码设备可以按照H→C的次序搜索时间候选块以设置多达一个时间候选。当新推导的候选与候选列表中已经包括的候选具有相同的运动信息时，该推导的候选的运动信息无法包括在候选列表中。也就是说，不允许重复数据(候选)。
在上述跳过模式、合并模式和AMVP模式中，由于仅使用一个运动向量来表示当前块的运动，因此可以仅表示平移运动。因此，在跳过模式、合并模式和AMVP模式中，不能处理诸如旋转运动、扩展/收缩(缩放)运动之类的各种复杂运动。
为了克服这样的限制，在本发明中，提出了使用两个或更多个运动向量来表示当前块的运动的基于仿射模型的运动补偿方法或仿射模式。
仿射模式可以分为仿射跳过模式(affine_skip)、仿射合并模式(affine_merge)和仿射AMVP模式(affine_amvp)。在仿射模式中使用的运动向量可以称为控制点运动向量(CPMV)，并且控制点(CP)可以是指与用于仿射模式的当前块相关的特定位置。
仿射模式可以根据CPMV的数量分为两种模式。在仿射模型当中，第一仿射模型是使用两个CPMV(x和y)的4参数模型(参见图6中的(a))，而第二仿射模型是使用三个CPMV的6参数模型(参见图6中的(b))CPMV(x和y)。在图6中，CP0表示首先针对当前块设置的CP(基于指配的编号的第0个CP)，CP1表示第二设置的CP(基于指配的编号的第1个CP)，CP2表示第三设置的CP(基于指配的编号的第2个CP)。vi表示为第i个905CPi设置的CPMVi。
在仿射模式下，可以执行1)根据仿射跳过模式、仿射合并模式或仿射AMVP模式推导CPMV，2)使用推导出的CPMV推导或生成当前块中所包括的子块的运动向量阵列，以及3)使用子块的运动向量阵列执行对每个子块的运动补偿。
1)根据仿射跳过模式、仿射合并模式或仿射AMVP模式推导CPMV
在仿射跳过模式和仿射合并模式中，用信号通知指示模式是否是仿射合并模式的标志(merge_subblock_flag)。merge_subblock_flag可以是指示是否从相邻块推断基于子块的帧间预测参数的标志。当merge_subblock_flag＝1(on(开启))时，用信号通知指定候选列表(基于子块的合并候选列表或仿射合并候选列表)中所包括的任一候选的索引(merge_subblock_idx)。由索引指定的候选的CPMV被推导为当前块的CPMV。下面将描述构建候选列表的方法。
表4示出了以上过程的语法结构。
[表4]
Figure BDA0003521938040000141
在仿射AMVP模式下，用信号通知指示是否应用仿射AMVP模式的标志(inter_affine_flag)，并且当inter_affine_flag＝1(on(开启))时，附加地用信号通知指示仿射模型(仿射模型的类型)的标志(cu_affine_type_flag)。当cu_affine_type_flag＝1时，仿射模型可以是6参数模型，并且当cu_affine_type_flag＝0时，仿射模型可以是4参数模型。
此外，还用信号通知用于仿射AMVP模式的运动信息。用信号通知的运动信息可以包括预测方向信息(inter_pred_idc)、参考图片索引(ref_idx_l0和ref_idx_l1)、MVP索引(mvp_l0_flag和mvp_l1_flag)和MVD。由预测方向和仿射模型确定用信号通知的MVD的数量。作为示例，当预测是单向预测并且仿射模型是4参数模型时，用信号通知两个MVD，而当预测是单向预测并且仿射模型是6参数模型时，用信号通知三个MVD。作为另一示例，当预测为双向预测并且仿射模型为4参数模型时，用信号通知四个MVD，而在预测为双向预测并且仿射模型为6参数模型时，用信号通知六个MVD。用信号通知MVD的方法与AMVP模式中的相同。
表5示出了上述过程的语法结构。
[表5]
Figure BDA0003521938040000151
2)使用推导出的CPMV推导或生成当前块中所包括的子块的运动向量阵列
在仿射模型为4参数模型时，推导2个CPMV，而在仿射模型为6参数模型时，推导3个CPMV。
在仿射模型为4参数模型时，可以使用两个推导出的CPMV(v0和v1)推导当前块(CU)中包括的子块的运动向量，如图7所示。可以使用式1执行这样的过程。
[式1]
Figure BDA0003521938040000161
式1中，mvx和mvy表示子块的运动向量，mv0x和mv0y表示CPMV0，mv1x和mv1y表示CPMV1，x和y表示位于子块的左上方的样本位置，W表示当前块的宽度，而H表示当前块的高度。
当仿射模型为6参数模型时，可以使用推导出的三个CPMV推导当前块中包括的子块的运动向量。可以使用式2执行这样的过程。
[式2]
Figure BDA0003521938040000162
在式2中，mv2x和mv2y表示CPMV2。
3)使用子块的运动向量阵列执行对每个子块的运动补偿
通过使用每个子块的运动向量执行对每个子块的运动补偿，可以预测当前块。当预测方向是双向的(inter_pred_idc＝bi)时，可以通过对每个双向预测值应用双向预测权重来生成最终预测值。
可以使用式3来执行使用双向预测权重生成最终预测值的过程。
[式3]
Pbi-pred＝((8-w)*P0+w*P1+4＞＞3
在式3中，Pbi-pred表示最终预测值，P0表示在列表0方向的预测值，P1表示在列表1方向的预测值，而w表示双向预测权重。
双向预测权重被设置为由双向预测权重索引(bcw_idx)指示的值。表6示出了bcw_idx及其双向预测权重。
[表6]
bcw_idx 0 1 2 3 4
w(L1) 4/8 5/8 3/8 10/8 -2/8
(8-w)(L0) 4/8 3/8 5/8 -2/8 10/8
在仿射AMVP模式下，可以从视频编码设备发信号通知视频解码设备bcw_idx。在仿射合并模式或仿射跳过模式中，可以从由merge_subblock_idx所指示的候选的运动信息推导bcw_idx。
4)构建候选列表的过程
在用于仿射合并模式(包括仿射跳过模式)的候选列表(基于子块的合并候选列表或仿射合并候选列表)中，可以包括子块时间候选(sub-block temporal MVP(SBTMVP)、继承候选、被构建候选和零运动向量候选。
当候选列表中当前包括的候选数量小于候选列表可以包括的最大候选数量时，可以将继承候选包括在候选列表中。当候选列表中当前包括的候选数量小于最大候选数量时，被构建候选也可以包括在候选列表中。
继承候选可以是指通过仿射模式预测的相邻块(或使用仿射模式已经预测的相邻块的运动信息)。视频编码/解码设备可以使用当前块的相邻块当中通过仿射模式已经预测出的块作为继承候选，并将这些块包括在候选列表中。
被构建候选可以是指从在一般帧间模式下已经预测出的块推导出的候选。视频编码/解码设备可以从当前块的相邻块当中在一般帧间模式下已经预测出的块生成仿射模型，并且可以使用所生成的仿射模型作为被构建候选并且允许生成的仿射模型包括在候选列表中。
图8中例示了用于推导继承候选和被构建候选的相邻块的位置。
视频编码/解码设备可以从左相邻块A0和A1推导一个继承候选，并从顶相邻块B0、B1和B2推导一个继承候选。按照A0→A1的次序搜索左相邻块，并且可以推导以仿射模式预测的第一相邻块作为继承候选。此外，可以按照B0→B1→B2的次序搜索顶相邻块，并且可以推导以仿射模式预测的第一相邻块作为继承候选。在这种情况下，当推导出的继承候选的运动是双向的时，bcw_idx也包括在相应的继承候选的运动信息中。
视频编码/解码设备可以1)针对为当前块(CU)设置的每个CP推导MV(多达四个MV)；以及2)从推导出的MV推导被构建候选，以生成仿射模型。
1)针对为当前块设置的每个CP推导MV
视频编码/解码设备可以按照预设次序搜索当前块的相邻块，并将以一般帧间模式预测的相邻块的运动信息设置为相应CP的运动信息(MV)。
可以从作为位于当前块的左上方的相邻块的B2、B3和A2当中的任意一条运动信息来设置首先针对当前块设置的CP0(左上控制点)的运动信息，并且可以从作为位于当前块的右上方的相邻块的B1和B0当中的任意一条运动信息来设置第二针对当前块设置的CP1(右上控制点)的运动信息。此外，可以从作为位于当前块的左下方的相邻块的A1和A0当中的任意一个运动信息来设置第三针对当前块设置的CP2(左下控制点)的运动信息，并且可以从作为位于当前块的右下方的并置相邻块(时间相邻块)的块RB的运动信息来设置第四针对当前块设置的CP3(右下控制点)的运动信息。
具体来说，通过一般帧间模式按照B2→B3→A2的次序已经预测的第一相邻块的运动信息可以设置为CP0的MV(运动信息)，通过一般帧间模式按照B1→B0的次序已经预测的第一相邻块的运动信息可以设置为CP1的MV，通过一般帧间模式按照A1→A0的次序已经预测的第一相邻块的运动信息可以被设置为CP2的MV，并且作为时间相邻块的块RB的运动信息可以被设置为CP3的MV。
视频编码/解码设备可以将CP当中设置有运动信息的CP设置为可用。
2)使用多达四个MV推导被构建候选(仿射模型)
视频编码/解码设备可以从设置的CP中推导多达六个仿射模型(四个6参数模型+两个4参数模型)。用于推导多达六个仿射模型的CP如下：{CP0，CP1和CP2}、{CP0，CP1和CP3}、{CP0，CP2和CP3}、{CP1，CP2和CP3}、{CP0和CP1}和{CP0和CP2}。这里，{CP0，CP1和CP2}、{CP0，CP1和CP3}、{CP0，CP2和CP3}，{CP1，CP2和CP3}、{CP0和CP1}、和{CP0和CP2}中的每一个可以各被称为“CP组”。
当CP组中包括的所有CP可用，CP的预测方向相同，并且CP的参考图片相同时，可以推导或生成相应CP组的仿射模型。{CP0，CP1和CP2}的仿射模型(第一仿射模型)可以推导为{CP0，CP1和CP2}，{CP0，CP1和CP3}的仿射模型(第二仿射模型)可以推导为{CP0，CP1和(CP3+CP0-CP1)}，{CP0，CP2和CP3}的仿射模型(第三仿射模型)可以推导为{CP0，(CP3+CP0-CP2)和CP2}，{CP1，CP2和CP3}的仿射模型(第四仿射模型)可以推导为{(CP1+CP2-CP3)，CP1和CP2}，{CP0和CP1}的仿射模型(第五仿射模型)可以推导为{CP0和CP1}，并且{CP0和CP2}的仿射模型(第六仿射模型)可以推导为{CP0和(CP2-CP0)}。
当特定CP组中包括的CP中的至少一个不可用或者预测方向和参考图片彼此不同时，可以不生成相应CP组的仿射模型。
例如，当{CP0，CP1，CP2}的所有CP可用时，所有预测方向是双向的，并且列表0的参考图片是第1个索引，并且列表1的参考图片是第0个索引，相应的仿射模型可以如下生成为{CP0，CP1和CP2}：
cu_affine_type_flag：6-parameter(6参数)，inter_pred_idc：bi(双向)，ref_idx_l0：1st idx(第1个索引)，ref_idx_l1：0th idx(第0个索引)，CPMV0：CP0，CPMV1：CP1，CPMV2：CP2，以及bcw_idx：undecided(未定)。
在这种情况下，由于CP0、CP1和CP2的bcw_idx可以彼此不同，因此需要为相应的仿射模型(被构建候选)推导一个bcw_idx的过程。
在本发明中，提出了为候选列表(仿射合并候选列表)中包括的被构建候选推导bcw_idx的方法。
图9中例示了可以实现本发明的技术的预测器120和440的示例性框图。预测器120和440中的每一个可以包括设置单元905、确定单元910、检查单元920和推导单元930，并且推导单元930可以包括组确定单元932和索引推导单元934。
设置单元905可以使用当前块的相邻块的多条运动信息当中的可用运动信息来设置CP的运动信息。此外，设置单元905可以将设置了运动信息的CP设置为可用。
确定单元910可以确定在针对当前块设置的CP当中是否有多个CP(目标控制点)是可用的(S1010)。这里，目标CP可以对应于多达六个CP组中的任何一个CP组中包括的CP。
当所有目标CP可用时，检查单元920可以检查目标CP的预测方向和参考图片(S1020)。也就是说，检查单元920可以检查或确定目标CP的所有预测方向是否是双向的以及目标CP的所有参考图片是否相同。
过程S1010和S1020可以理解为确定上述仿射模型生成条件(所有CP可用，预测方向相同，并且参考图片相同)的过程。
当所有目标CP可用时，预测方向相同并且参考图片相同时(即，当生成相应的仿射模型时)，推导单元930可以从目标CP的双向预测权重索引(双向预测权重索引候选(bcw_idxXs))中推导相应被构建候选的双向预测权重索引(以下，称为“bcw_idx”)(S1030)。
实施方式1
实施方式1是基于为当前块设置目标CP的次序推导被构建候选的bcw_idx的方法。
bcw_idxXs可以表示仿射模型中包括的目标CP的双向预测权重索引候选。当仿射模型是作为6参数模型的{CPa，CPb和CPc}时，bcw_idxXs可以包括bcw_idxa、bcw_idxb和bcw_idxc。当仿射模型是作为4参数模型的{CPa和CPb}时，bcw_idxX可以包括bcw_idxa和bcw_idxb。
视频编码/解码设备可以根据设置每个CP的次序设置bcw_idxX(S1110)。虽然在图1中示出了作为4参数仿射模型的{CP0和CP1}，但是实施方式1可以应用于作为另一4参数仿射模型的{CP0和CP2}，并且也可以应用于6参数仿射模型。
视频编码/解码设备可以推导目标CP当中为首先针对当前块设置的CP0的双向预测权重索引候选(bcw_idx0)作为被构建候选的bcw_idx(S1130)。换言之，视频编码/解码设备可以将bcw_idxX当中的bcw_idx设置为bcw_idx0，bcw_idx0是第一CP的索引。
在一些实施方式中，推导单元930还可以包括确定bcw_idxX是否相同的过程(S1120)。
bcw_idxX相同表示在列表0方向和列表1方向当中存在对特定方向应用更大权重的多个CP。因此，确定bcw_idxX是否相同的过程S1120可以是将bcw_idx赋予更大权重的预测方向与CP应用更大权重的预测方向进行匹配的过程。
当bcw_idxX相同(bcw_idx0＝bcw_idx1)时，可以推导目标CP中首先针对当前块设置的CP的bcw_idx0作为bcw_idx(S1130)。相反，当bcw_idxX不同(bcw_idx0≠bcw_idx1)时，可以推导预设索引(默认)作为bcw_idx(bcw_idx＝default(0))(S1140)。这里，预设索引可以是用于为列表0方向和列表1方向指配相同权重的索引。
实施方式2
实施方式2是根据在列表0方向和列表1方向当中被指配更大(或更少)权重的预测方向将bcw_idxX分类为多个组的方法。
组可以分为对列表0方向和列表1方向应用相同权重的组(组0，G0)、对列表1方向应用更大权重的组(组1，G1)、以及对列表0方向应用更大权重的组(组2，G2)。基于应用于列表0方向和列表1方向的权重的大小，可以为每个组赋予或指配单独的索引(组索引，bcw_group)。
表7中示出划分为多个组的组(bcw_group)和bcw_idx(bcw_idxX)。
[表7]
bcw_idx 0 1 2 3 4
bcw_group 0 1 2 1 2
w(L1) 4/8 5/8 3/8 10/8 -2/8
(8-w)(L0) 4/8 3/8 5/8 -2/8 10/8
在一些实施方式中，组还可以如下以数组的形式表示(查找表(LUT)。
Bcw_idxGLut[k]＝{0，1，2，1，2}
视频编码/解码设备可以根据设置CP的次序来设置bcw_idxX(S1210)。此外，视频编码/解码设备可以设置组(bcw_idxGLut＝{0，1，2，1和2})并且设置bcw_idxX所属的组(bcw_idxGX)(bcw_idxGX＝bcw_idxGLut{bcw_idxX})(S1210)。
视频编码/解码设备(组确定单元)可以确定bcw_idxGX所属的组是否彼此相同(S1220)。此外，视频编码/解码设备(索引推导单元)可以根据bcw_idxGX所属的组是否相同，从bcw_idxX、bcw_idxGX和预设索引(默认)中的任何一个推导bcw_idx(S1230)。这里，预设索引可以与实施方式1中描述的默认索引相同。
实施方式2可以应用于4参数仿射模型和6参数仿射模型。然而，在下文中，为了便于描述和理解，将集中描述应用于6参数仿射模型的示例来描述实施方式2。此外，将集中于6参数仿射模型当中的{CP0，CPi和CP2}仿射模型来描述实施方式2。
实施方式2-1
实施方式2-1是通过确定所有组(bcw_idxG0、bcw_idxGl和bcw_idxG2)是否彼此相同来推导bcw_idx的方法。
视频编码/解码设备可以设置bcw_idxX(X＝{0、1和2})、bcw_idxGLut和bcw_idxGX(X＝{0、1和2})(S1310)。
视频编码/解码设备可以确定所有bcw_idxGX是否相同(S1320)。当三个组全部相同(bcw_idxG0＝bcw_idxG1＝bcw_idxG2)时，bcw_idx0、bcw_idx1和bcw_idx2中的两个或更多个可以彼此相同。在这种情况下，视频编码/解码设备可以从bcw_idx0、bcw_idx1和bcw_idx2当中具有相同值的索引候选推导bcw_idx。
例如，视频编码/解码设备可以确定bcw_idx0、bcw_idx1和bcw_idx2中的任意两个是否相同(S1330至S1350)。当bcw_idx0＝bcw_idx1时(S1330)，可以将bcw_idx0推导为bcw_idx(S1360)。当bcw_idx0＝bcw_idx2时(S1340)，可以将bcw_idx0推导为bcw_idx(S1360)。当bcw_idx1＝bcw_idx2时(S1350)，可以将bcw_idx1推导为bcw_idx(S1370)。过程S1330至S1370可以是将bcw_idx设置为在具有相同值的索引候选当中首先针对当前块设置的CP的索引候选的处理。
在过程S1320中，当bcw_idxGX中的一个或更多个具有不同的值时，可以将预设索引(default(0))推导为bcw_idx(S1380)。
其中通过过程S1320和S1330将bcw_idx0推导为bcw_idx的过程S1360可以是当bcw_idx0＝bcw_idx1且bcw_idx_G0＝bcw_idxG2时将bcw_idx0推导为bcw_idx的过程。其中通过过程S1320和S1340将bcw_idx0推导为bcw_idx的过程S1360可以是在bcw_idx0＝bcw_idx2且bcw_idx_G0＝bcw_idxG1时将bcw_idx0推导为bcw_idx的过程。其中通过过程S1320和S1350将bcw_idx1推导为bcw_idx的过程S1370可以是在bcw_idx1＝bcw_idx2且bcw_idx_G1＝bcw_idxG0时将bcw_idx1推导为bcw_idx的过程。
实施方式2-1如下应用于各种仿射模型。
[表8]
L0(w0) L1(w1)
CP0 10/8 -2/8
CP1 10/8 -2/8
CP2 5/8 3/8
当仿射模型如表8所示时，bcw_idxG0＝bcw_idxG1＝bcw_idxG2＝2，并且bcw_idx0＝bcw_idx1＝4。因此，bcw_idx可以推导如下：bcw_idx＝bcw_idx0＝4(L0L1＝10/8∶-2/8)。
[表9]
L0(w0) L1(w1)
CP0 10/8 -2/8
CP1 5/8 3/8
CP2 5/8 3/8
当仿射模型如表9所示时，bcw_idxG0＝bcw_idxG1＝bcw_idxG2＝2，并且bcw_idx1＝bcw_idx2＝2。因此，bcw_idx可以推导如下：bcw_idx＝bcw_idx1＝2(L0∶L1＝5/8∶3/8)。
[表10]
L0(w0) L1(w1)
CP0 10/8 -2/8
CP1 5/8 3/8
CP2 4/8 4/8
当仿射模型如表10所示时，bcw_idxG0＝bcw_idxG1≠bcw_idxG2。因此，bcw_idx可以推导如下：bcw_idx＝默认＝0(L0∶L1＝4/8∶4/8)。
[表11]
L0(w0) L1(w1)
CP0 3/8 5/8
CP1 5/8 3/8
CP2 5/8 3/8
当仿射模型如表11所示时，bcw_idxG0≠bcw_idxG1＝bcw_idxG2。因此，bcw_idx可以推导如下：bcw_idx＝默认＝0(L0∶L1＝4/8∶4/8)。
实施方式2-2
实施方式2-2是当组(bcw_idxG0、bcw_idxG1和bcw_idxG2)中的任何一个是零组时，通过确定除了相应组之外的所有其余组是否相同来推导bcw_idx的方法。零组可以是为双向预测应用相同权重的组。
视频编码/解码设备可以设置bcw_idxX(X＝{0、1和2})、bcw_idxGLut和bcw_idxGX(X＝{0、1和2})(S1410)。
视频编码/解码设备可以确定bcw_idxGX是否彼此相同以及bcw_idxGX中的任何一组是否对应于零组(S1420)。视频编码/解码设备可以根据过程S1420中的确定结果从相同的bcw_idxGX或预设索引来推导bcw_idx。
作为示例，在过程S1420中，当bcw_idxGX当中的任意两个组彼此相同(bcw_idxG0＝bcw_idxG1)且另一组为零组(bcw_idxG2＝0)时，被指配给相同组(bcw_idxG0＝bcw_idxG1)的组索引(bcw_idxG0和bcw_idxG1)当中的第一组索引(bcw_idxG0)可以被推导为bcw_idx(S1450)。
作为另一示例，在过程S1430中，当bcw_idxG0＝bcw_idxG2且bcw_idxG1＝0时，可以将第一组索引(bcw_idxG0)推导为bcw_idx(S1450)。作为又一示例，在过程S1440中，当bcw_idxG1＝bcw_idxG2且bcw_idxG0＝0时，可以将第一组索引(bcw_idxG1)推导为bcw_idx(S1460)。
当所有bcw_idxGXs不同或在bcw_idxGX当是不存在零组时，可以将预设索引(default(0))推导为bcw_idx(S1470)。
当将实施方式2-2应用于表8至表11的各种仿射模型时，除了表10之外，可以推导出与实施方式2-1相同的结果。I在表10中所示的仿射模型的情况下，bcw_idxG0＝bcw_idxG1＝2并且bcw_idxG2＝0。因此，bcw_idx可以被推导为bcw_idx＝bcw_idxG0＝2(L0:L1＝5/8:3/8)。
实施方式3
实施方式3是从bcw_idxX指示的权重的中值或bcw_idxX指示的权重的平均值推导bcw_idx的方法。
视频编码/解码设备可以确定由bcw_idxX指示的权重的中值，并将与中值相对应的bcw_idxX推导为bcw_idx。此外，视频编码/解码设备可以确定由bcw_idxX指示的权重的平均值并且将与平均值相对应的bcw_idxX推导为bcw_idx。当不存在与权重的平均值相对应的bcw_idxX时，可以将具有最接近相应平均值的权重的bcw_idxX推导为bcw_idx。
实施方式3(使用中值)如下应用于表8至表11的各种仿射模型。
当仿射模型如表8所示时，bcw_idxXs指示的权重的中值为10/8:-2/8，因此具有相应中值的bcw_idxX为bcw_idx0和bcw_idx1。因此，bcw_idx可以被推导为bcw_idx＝bcw_idx0/bcw_idx1＝4。
当仿射模型如表9所示时，bcw_idxXs指示的权重的中值为5/8:3/8，因此具有相应中值的bcw_idxX为bcw_idx1和bcw_idx2。因此，bcw_idx可以被推导为bcw_idx＝bcw_idx1/bcw_idx2＝2。
当仿射模型如表10所示时，bcw_idxX指示的权重的中值为5/8:3/8，因此具有相应中值的bcw_idxX为bcw_idx1。因此，bcw_idx可以被推导为bcw_idx＝bcw_idx1＝2。
当仿射模型如表11所示时，bcw_idxX指示的权重的中值为5/8:3/8，并且因此具有相应中值的bcw_idxX为bcw_idx1和bcw_idx2。因此，bcw_idx可以被推导为bcw_idx＝bcw_idx1/bcw_idx2＝2。
尽管出于示例的目的描述了本发明的示例性实施方式，但是本领域技术人员将理解，在不脱离本发明的思想和范围的情况下，可以有各种修改和变型。为了简洁和清楚起见，已经描述了示例性实施方式。因此，本领域普通技术人员将理解，本发明的范围不受上述明确描述的实施方式的限制，而是包括权利要求及其等同物。
相关申请的交叉引用
本申请基于2019年6月28日提交的韩国专利申请No.10-2019-0078381和2019年12月3日提交的韩国专利申请No.10-2019-0158986并要求其优先权，通过引用将其整体并入本文中。

Claims (13)

1.一种推导包括在仿射合并候选列表中的被构建候选的双向预测权重索引的方法，该方法包括以下步骤：
确定针对当前块设置的控制点当中是否多个目标控制点可用；
当所述目标控制点可用时，检查所述目标控制点的预测方向和参考图片；以及
当所述目标控制点的所有预测方向都是双向的并且所述目标控制点的所述参考图片相同时，从所述目标控制点的双向预测权重索引候选推导所述被构建候选的双向预测权重索引。
2.根据权利要求1所述的方法，其中，推导所述双向预测权重索引的步骤包括以下步骤：
将所述目标控制点当中的针对所述当前块首先设置的目标控制点的索引候选推导为所述双向预测权重索引。
3.根据权利要求2所述的方法，其中，当所述索引候选相同时，将所述首先设置的目标控制点的索引候选推导为所述双向预测权重索引。
4.根据权利要求1所述的方法，该方法还包括以下步骤：
使用所述当前块的相邻块的多条运动信息当中的可用运动信息，设置针对所述当前块设置的所述控制点的运动信息；以及
将设置了所述运动信息的所述控制点设置为可用。
5.根据权利要求4所述的方法，其中，针对所述当前块设置的控制点包括位于所述当前块的左上角的左上控制点、位于所述当前块的右上角的右上控制点、位于所述当前块的左下角的左下控制点、以及位于所述当前块的右下角的右下控制点。
6.根据权利要求5所述的方法，其中，设置所述控制点的运动信息的步骤包括以下步骤：
将位于所述当前块的左上方的相邻块的多条运动信息当中的第一可用运动信息设置为所述左上控制点的运动信息；
将位于所述当前块的右上方的相邻块的多条运动信息当中的第一可用运动信息设置为所述右上控制点的运动信息；
将位于所述当前块的左下方的相邻块的多条运动信息当中的第一可用运动信息设置为所述左下控制点的运动信息；以及
当位于所述当前块的右下方的并置相邻块的运动信息可用时，将所述并置相邻块的所述运动信息设置为所述右下控制点的运动信息。
7.一种视频解码设备，该视频解码设备包括：
确定单元，该确定单元被配置为确定针对当前块设置的控制点当中是否多个目标控制点可用；
检查单元，该检查单元被配置为当所述目标控制点可用时，检查所述目标控制点的预测方向和参考图片；以及
推导单元，该推导单元被配置为当所述目标控制点的所有预测方向都是双向的并且所述目标控制点的所述参考图片相同时，从所述目标控制点的双向预测权重索引候选推导仿射合并候选列表中所包括的被构建候选的双向预测权重索引。
8.根据权利要求7所述的视频解码设备，其中，所述推导单元被配置为将所述目标控制点当中在所述当前块中首先设置的目标控制点的索引候选推导为所述双向预测权重索引。
9.根据权利要求8所述的视频解码设备，其中，所述推导单元被配置为当所述索引候选相同时，将所述首先设置的目标控制点的索引候选推导为所述双向预测权重索引。
10.根据权利要求7所述的视频解码设备，该视频解码设备还包括设置单元，该设置单元被配置为使用所述当前块的相邻块的多条运动信息当中的可用运动信息来设置针对所述当前块设置的控制点的运动信息，并且将设置了所述运动信息的所述控制点设置为可用。
11.根据权利要求10所述的视频解码设备，其中，针对所述当前块设置的控制点包括位于所述当前块的左上角的左上控制点、位于所述当前块的右上角的右上控制点、位于所述当前块的左下角的左下控制点、以及位于所述当前块的右下角的右下控制点。
12.根据权利要求11所述的视频解码设备，其中，所述设置单元被配置为：
将位于所述当前块的左上方的相邻块的多条运动信息当中的第一可用运动信息设置为所述左上控制点的运动信息；
将位于所述当前块的右上方的相邻块的多条运动信息当中的第一可用运动信息设置为所述右上控制点的运动信息；
将位于所述当前块的左下方的相邻块的多条运动信息当中的第一可用运动信息设置为所述左下控制点的运动信息；以及
当位于所述当前块的右下方的并置相邻块的运动信息可用时，将所述并置相邻块的运动信息设置为所述右下控制点的运动信息。
13.一种视频编码设备，该视频编码设备包括以下步骤：
确定单元，该确定单元被配置为确定针对当前块设置的控制点当中是否有多个目标控制点可用；
检查单元，该检查单元被配置为当所述目标控制点可用时，检查所述目标控制点的预测方向和参考图片；以及
推导单元，该推导单元被配置为当所述目标控制点的所有预测方向都是双向的并且所述目标控制点的所述参考图片相同时，从所述目标控制点的双向预测权重索引候选推导仿射合并候选列表中所包括的被构建候选的双向预测权重索引。
CN202080060741.2A 2019-06-28 2020-06-26 用于推导双向预测权重索引的方法及图像解码设备 Pending CN114342406A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2019-0078381 2019-06-28
KR20190078381 2019-06-28
KR1020190158986A KR20210001852A (ko) 2019-06-28 2019-12-03 양방향 예측 가중치 인덱스를 유도하는 방법 및 영상 복호화 장치
KR10-2019-0158986 2019-12-03
PCT/KR2020/008386 WO2020263027A1 (ko) 2019-06-28 2020-06-26 양방향 예측 가중치 인덱스를 유도하는 방법 및 영상 복호화 장치

Publications (1)

Publication Number Publication Date
CN114342406A true CN114342406A (zh) 2022-04-12

Family

ID=74061246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080060741.2A Pending CN114342406A (zh) 2019-06-28 2020-06-26 用于推导双向预测权重索引的方法及图像解码设备

Country Status (3)

Country Link
US (1) US20220360768A1 (zh)
CN (1) CN114342406A (zh)
WO (1) WO2020263027A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101408698B1 (ko) * 2007-07-31 2014-06-18 삼성전자주식회사 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
WO2017118409A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine merge mode prediction for video coding system
KR102431287B1 (ko) * 2016-04-29 2022-08-10 세종대학교산학협력단 영상 신호 부호화/복호화 방법 및 장치
WO2017197146A1 (en) * 2016-05-13 2017-11-16 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
CN116708841A (zh) * 2018-04-03 2023-09-05 英迪股份有限公司 对图像解码和编码的方法、非暂态计算机可读存储介质
CN116456080A (zh) * 2018-04-16 2023-07-18 联发科技股份有限公司 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置
EP3794819A4 (en) * 2018-05-23 2022-12-07 HFI Innovation Inc. METHOD AND APPARATUS FOR VIDEO CODING WITH BI-DIRECTIONAL CU WEIGHTS
WO2020181456A1 (en) * 2019-03-11 2020-09-17 Alibaba Group Holding Limited Inter coding for adaptive resolution video coding
EP4020992A4 (en) * 2019-08-22 2023-06-21 LG Electronics Inc. PICTURE CODING/DECODING METHOD AND DEVICE FOR PERFORMING WEIGHTED PREDICTION AND METHOD FOR TRANSMITTING A BIT STREAM
WO2021061400A1 (en) * 2019-09-23 2021-04-01 Alibaba Group Holding Limited Methods and apparatuses for prediction refinement with optical flow in reference picture resampling

Also Published As

Publication number Publication date
US20220360768A1 (en) 2022-11-10
WO2020263027A1 (ko) 2020-12-30

Similar Documents

Publication Publication Date Title
CN111869219B (zh) 对图像进行编码或解码的方法和装置
US11902537B2 (en) Usage of templates for decoder-side intra mode derivation
CN111602394A (zh) 视频编码解系统中的视频处理方法及装置
KR20120016991A (ko) 인터 프리딕션 방법
CN113273204B (zh) 帧间预测方法和使用该方法的图片解码装置
KR20230133829A (ko) 현재 픽처 참조 모드를 이용한 예측 방법 및 영상 복호화 장치
KR20210035036A (ko) 시간적 움직임벡터 예측자 유도 방법 및 영상 복호화 장치
US20240155134A1 (en) Method and apparatus for video coding using improved cross-component linear model prediction
CN113812147B (zh) 使用块内复制的图像编码和解码
CN115002459A (zh) 视频解码设备、视频编码设备和非暂时性计算机可读介质
KR20210001852A (ko) 양방향 예측 가중치 인덱스를 유도하는 방법 및 영상 복호화 장치
CN114342406A (zh) 用于推导双向预测权重索引的方法及图像解码设备
KR20200081207A (ko) 움직임정보 표현 방법 및 이를 이용한 영상 복호화 장치
CN113455000B (zh) 双向预测方法及视频解码设备
US20230308662A1 (en) Method and apparatus for video coding using block merging
EP4258667A1 (en) Video codec using block-based deep learning model
US20230300347A1 (en) Video codec using deep learning model based on block
CN114303372B (zh) 自适应地设置分辨率的方法及图像解码装置
US20240179303A1 (en) Video encoding/decoding method and apparatus
US20240114131A1 (en) Video encoding/decoding method and apparatus
US20240179326A1 (en) Method and apparatus for video coding using nonrectangular block splitting structure
US20230396795A1 (en) Inter prediction-based video encoding and decoding
CN117461312A (zh) 一种视频编解码方法和装置
CN117795956A (zh) 视频编码/解码方法和设备
CN117581534A (zh) 视频编码/解码方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination