CN112385229A - 虚拟时间仿射候选 - Google Patents

虚拟时间仿射候选 Download PDF

Info

Publication number
CN112385229A
CN112385229A CN201980044116.6A CN201980044116A CN112385229A CN 112385229 A CN112385229 A CN 112385229A CN 201980044116 A CN201980044116 A CN 201980044116A CN 112385229 A CN112385229 A CN 112385229A
Authority
CN
China
Prior art keywords
block
motion
video block
sub
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980044116.6A
Other languages
English (en)
Inventor
A.罗伯特
F.加尔平
T.波伊里尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP18306062.3A external-priority patent/EP3606075A1/en
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN112385229A publication Critical patent/CN112385229A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

视频编码器或解码器使用虚拟时间仿射运动候选来处理视频的部分。在一般方面，仅使用经典的时间运动缓冲器信息来创建虚拟时间仿射候选，从而避免在时间运动缓冲器中存储额外的仿射参数。基于虚拟时间仿射候选，生成用于对视频块进行编码或解码的运动场。在一个实施例中，通过调整所确定的运动场的图片顺序计数来重新缩放并置的运动候选。在另一个实施例中，执行分辨率适配以使当前运动缓冲器能够对应于参考运动缓冲器。

Description

虚拟时间仿射候选
技术领域
至少一个呈现的实施例总体上涉及一种用于视频编码或解码的方法或装置，更具体而言，涉及一种用于基于视频编码器或视频解码器的运动模型(诸如例如仿射模型)从运动补偿的预测器候选集中选择预测器候选的方法或装置。
背景技术
为了获得高压缩效率，图像和视频编码方案通常采用预测(包括运动矢量预测)和变换以利用视频内容中的空间和时间冗余。通常，使用帧内或帧间预测来利用帧内或帧间相关性，然后对原始图像和预测的图像之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重构视频，通过对应于熵编码、量化、变换和预测的逆过程来解码压缩数据。
高压缩技术的最新添加包括使用基于仿射建模的运动模型。特别地，将仿射建模用于运动补偿，以对视频图片进行编码和解码。一般而言，仿射建模是使用至少两个参数(诸如例如表示图片块的相应角部处的运动的两个控制点运动矢量(CPMV))的模型，其允许得出图片的整个块的运动场，以模拟例如旋转和相似扩大(缩放)。
发明内容
本文描述的一般方面解决了现有技术的缺点和劣势，这些方面针对编码和解码中的块形状自适应帧内预测方向。
根据第一方面，提供了一种方法。该方法包括以下步骤：为图片中被编码的视频块确定至少一个预测器候选；基于与所述至少一个预测器候选相关联的运动信息，为所述至少一个预测器候选确定一个或多个相应的控制点运动矢量；基于围绕视频块的角部子块的相邻子块，为被编码的视频块确定一个或多个相应的控制点运动矢量，其中，按顺序搜索围绕角部子块的所述相邻子块，以确定具有运动矢量的第一相邻子块并将其用作相应角部的预测器候选；基于为视频块确定的一个或多个相应的控制点运动矢量，确定相应的运动场，其中，相应的运动场标识用于预测被编码的视频块的子块的运动矢量；以及，基于相应的运动场对视频块进行编码。
根据另一个方面，提供了第二种方法。该方法包括以下步骤：为图片中被解码的视频块确定至少一个预测器候选；基于与所述至少一个预测器候选相关联的运动信息，为所述至少一个预测器候选确定一个或多个相应的控制点运动矢量；基于围绕视频块的角部子块的相邻子块，为被解码的视频块确定一个或多个相应的控制点运动矢量，其中，按顺序搜索围绕角部子块的所述相邻子块，以确定具有运动矢量的第一相邻子块并将其用作相应角部的预测器候选；基于为视频块确定的一个或多个相应的控制点运动矢量，确定相应的运动场，其中，相应的运动场标识用于预测被解码的视频块的子块的运动矢量；以及，基于相应的运动场对视频块进行解码。
根据另一个方面，提供了一种装置。该装置包括处理器。该处理器可以被配置为通过执行前述方法中的任一个来对视频块进行编码或对比特流进行解码。
根据至少一个实施例的另一个一般方面，提供了一种设备，该设备包括根据任何解码实施例的装置；和以下各项中的至少一个：(i)天线，配置为接收信号，该信号包括视频块，(ii)频带限制器，配置为将所接收的信号限制到包括该视频块的频带，或(iii)显示器，配置为显示表示该视频块的输出。
根据至少一个实施例的另一个一般方面，提供了一种非暂时性计算机可读介质，其包含根据所描述的编码实施例或变型中的任一个生成的数据内容。
根据至少一个实施例的另一个一般方面，提供了一种信号，该信号包括根据所描述的编码实施例或变型中的任一个生成的视频数据。
根据至少一个实施例的另一个一般方面，将比特流格式化以包括根据所描述的编码实施例或变型中的任一个生成的数据内容。
根据至少一个实施例的另一个一般方面，提供了一种计算机程序产品，其包括指令，当程序由计算机执行时，该指令使计算机执行所描述的解码实施例或变型的任一个。
从下面要结合附图理解的示例性实施例的详细描述中，一般方面的这些和其他方面、特征和优点将变得显而易见。
附图说明
图1示出了编码树单元和编码树概念，以表示压缩的HEVC图片。
图2示出了将编码树单元划分为编码单元、预测单元和变换单元。
图3示出了联合探索模型(Joint Exploration Model)中使用的简单仿射模型。
图4示出了基于4×4子CU的仿射运动矢量场。
图5示出了仿射帧间CU的运动矢量预测过程。
图6示出了仿射AMVP流程中创建新候选的过程。
图7示出了仿射合并模式下的运动矢量预测候选。
图8示出了仿射合并情况下仿射运动场控制点的空间推导。
图9示出了创建新的仿射候选的示例性过程。
图10示出了标准的通用视频压缩方案。
图11示出了标准的通用视频解压缩方案。
图12示出了虚拟时间候选子块。
图13示出了选择角部子块的示例性过程。
图14示出了示例性仿射模型计算。
图15示出了备选的子块候选。
图16示出了用于并置运动矢量的示例性重新缩放阶段。
图17示出了用于参考POC(图片顺序计数)选择的示例性流程图。
图18示出了取决于分辨率的运动矢量候选的示例。
图19示出了候选和仿射模型矢量之间的偏移。
图20示出了具有预编码处理和图像分区的另一种标准的通用视频压缩器。
图21示出了具有解码后处理的另一种标准的通用视频解压缩器。
图22示出了其中可以实现所描述的实施例的典型处理器布置。
图23示出了用于使用虚拟时间仿射候选来编码视频块的方法的一个实施例。
图24示出了用于使用虚拟时间仿射候选来解码视频块的方法的一个实施例。
图25示出了用于使用虚拟时间仿射候选来编码或解码视频块的装置的一个实施例。
具体实施方式
这里描述的一般方面是在视频压缩领域中。与现有的视频压缩系统相比，这些方面旨在提高压缩效率。
在HEVC视频压缩标准(H.265/HEVC高效视频编码，ITU-T H.265ITU电信标准化部门，“H系列：视听和多媒体系统，视听服务的基础设施——运动视频的编码，高效视频编码”)中，采用运动补偿的时间预测来利用视频的连续图片之间存在的冗余。
为此，将运动矢量与现在介绍的每个预测单元(PU)关联。每个CTU(编码树单元)由压缩域中的编码树表示。这是CTU的四叉树划分，其中每个叶子称为编码单元(CU)，参见图1。
然后，为每个CU提供一些帧内或帧间预测参数(预测信息)。为此，将每个CU在空间上划分为一个或多个预测单元(PU)，每个PU被分配一些预测信息。在CU级别上分配帧内或帧间编码模式，参见图2。
在HEVC中，为每个PU精确分配一个运动矢量。该运动矢量用于所考虑的PU的运动补偿的时间预测。因此，在HEVC中，将预测的块与其参考块链接的运动模型仅包括平移。
在JVET(Joint Video Exploration Team，联合视频探索团队)小组开发的联合探索模型(JEM)和后来的VTM(多功能视频编码(VVC)测试模型)中，支持了一些更丰富的运动模型以改善时间预测。为此，可以在空间上将PU划分为子PU，并且可以使用更丰富的模型为每个子PU分配专用运动矢量。
CU不再划分为PU或TU，并且一些运动数据直接分配给每个CU。在这种新的编解码器设计中，CU可以划分为子CU，并且可以为每个子CU计算运动矢量。
JEM中引入的新运动模型之一是仿射模型，其基本地包括使用仿射模型来表示CU中的运动矢量。
图3示出了所使用的运动模型。仿射运动场包括所考虑块内每个位置(x，y)的以下运动矢量分量值：
Figure BDA0002869398030000051
等式1：用于生成要预测的CU内的运动场的仿射模型
坐标(v0x,v0y)和(v1x,v1y)是用于生成仿射运动场的所谓的控制点运动矢量。点(v0x,v0y)是运动矢量左上角控制点，而点(v1x,v1y)是运动矢量右上角控制点。
实际上，为了保持复杂度合理，如图4所示，为所考虑的CU的每个4×4子块(子CU)计算运动矢量。在每个子块的中心位置，根据控制点运动矢量来计算仿射运动矢量。所获得的MV以1/16像素精度表示。
因此，仿射模式下的编码单元的时间编码包括以其自身的运动矢量对每个子块进行运动补偿预测。
请注意，具有三个控制点的模型也是可能的。
仿射运动补偿可以在JEM中以三种方式使用：仿射帧间(AF_INTER)、仿射合并和仿射模板。下面对它们进行介绍：
-仿射帧间(AF_INTER)。
在仿射帧间模式下，可以预测尺寸大于8×8的AMVP模式下的CU。这是通过比特流中的标志来用信号发送的。用于该帧间CU的仿射运动场的生成包括，确定控制点运动矢量(CPMV)，该控制点运动矢量是由解码器通过添加运动矢量差和控制点运动矢量预测(CPMVP)而获得。CPMVP是一对运动矢量候选，分别从列表(A，B，C)和(D，E)中获取，如图5所示。
最多可获得6个CPMVP(
Figure BDA0002869398030000052
的3个乘以
Figure BDA0002869398030000053
为2个)。
对于高度为H且宽度为W的块，使用等式2检查第一个CPMVP的有效性：
Figure BDA0002869398030000054
Figure BDA0002869398030000061
等式2：每个CPMVP的有效性测试
然后根据第三运动矢量
Figure BDA0002869398030000062
的值(取自位置F或G)对有效CPMVP进行排序。
Figure BDA0002869398030000063
越接近仿射运动模型给出的与
Figure BDA0002869398030000064
在相同位置的4×4子块的矢量，CPMVP越好。
对于高度为H且宽度为W的块，用等式3计算每个CPMVP的成本。在下面的等式中，X和Y分别是运动矢量的水平和垂直分量。
Figure BDA0002869398030000065
等式3：为每个CPMVP计算的成本
-仿射合并
在仿射合并模式下，CU级别的标志指示合并CU是否采用仿射运动补偿。如果采用，则在图7的候选位置的有序集合(A，B，C，D，E)之中选择已经以仿射模式编码的第一可用相邻CU。
一旦获得了仿射模式下的第一相邻CU，则获取来自相邻CU的左上角、右上角和左下角的3个运动矢量
Figure BDA0002869398030000066
(参见图8)。基于这三个矢量，如下推导当前CU的左上角和右上角的两个CPMV：
Figure BDA0002869398030000067
等式4：基于相邻CU的三个角部运动矢量推导当前CU的CPMV
当获得当前CU的控制点运动矢量
Figure BDA0002869398030000068
时，通过等式1的模型，以4×4子CU为基础计算当前CU内部的运动场。
在先前的工作中，为仿射合并模式添加了更多候选，在最多7个候选之中选择最佳候选，并在比特流中对最佳候选的索引进行编码。
另一种类型的候选称为时间仿射：
与TMVP(时间运动矢量预测器)候选相似，在参考图像中搜索仿射CU，并将其添加到候选列表。
在另一项工作中，添加了创建“虚拟”候选的新过程(参见图9)。动机是在当前CU周围没有可用的仿射CU时创建仿射候选。为此，通过获取拐角处各个子块的运动并创建“仿射”模型，来创建仿射模型。
当前，为了添加时间仿射候选，需要在时间运动缓冲器(与每个参考图片相关联)中存储以下信息：
-CU(或PU)信息：尺寸和位置
-仿射标志：告知特定CU是否是仿射的
-仿射模型参数(如果未将其直接存储在子块的运动矢量中)。
一个问题是，对于硬件解码器而言，存储该信息所需的内存非常大。
本文描述的一般方面解决的一个问题是使得能够创建虚拟时间仿射候选，避免在时间运动缓冲器中存储额外的仿射参数。
在JEM或VTM中，没有仿射时间。在JVET0021中，仿射时间需要存储额外的参数。
所描述的提出的各方面的一个基本思想是仅使用经典时间运动缓冲器信息来创建新的时间仿射候选。
与从相邻运动矢量创建虚拟仿射候选的先前过程相比，虚拟时间仿射候选方法可能具有一些差异。由于时间运动缓冲器的分辨率可能与当前运动缓冲器不同，因此可能需要进行一些适配来选择子块运动矢量。再次，由于运动缓冲器的分辨率，子块运动矢量可能离定义仿射模型的当前CU的角部更远，并且可能需要运动模型适配。在选择子块运动矢量之后，可以执行取决于当前和参考帧的参考索引的重新缩放(类似于TMVP处理)。此外，可以执行参考索引一致性的附加步骤。
所描述的各方面涉及编解码器的规范修改：语法和解码过程。
受影响的编解码器模块是图9的运动估计175、图9的运动补偿170和图10的275。
图12示出了用于计算仿射模型的子块。对于每个角部A、B和C，应用图13中所示的过程：按从0到4的顺序检查子块。一旦找到有效子块(即，具有运动矢量的子块)，则将其用于计算仿射模型。请注意，与经典的虚拟仿射相反，也可以选择块内的子块。
在备选实施例中，顺序可以不同于A0、A1、……、A4，但是在编码器和解码器之间是固定的。
在图14中，示出了为4参数仿射模型计算所得仿射模型的过程。对于6参数仿射模型，可以将3个角部一起使用。在该实施例中，A角部是强制性的。在备选实施例中，只要至少两个角部可用，就可以计算仿射运动模型。
或者，如果缺少一个角部(即没有运动矢量)，则可以再使用一个角部(例如，诸如图15中的D角部)。
在所有情况下，当缺少一个角部时，如果其他角部可用，则可以使用各种方法(诸如先前工作中描述的方法)来重构该角部。如果用于计算仿射模型的所有矢量都相等，则从候选列表中丢弃时间仿射候选。
从当前图片缓冲器的参考图片中获取候选并置子块。对于每个参考列表(列表0和列表1)，按顺序检查每个参考图片，作为并置块的潜在候选。对于给定的并置块，获取其参考图片，并在当前图片的参考列表中执行搜索。如果未找到图片，则获取第一参考图片用于当前CU。
图16示出了并置候选的重新缩放阶段。与经典时间候选的主要区别在于，当前CU的运动场的参考POC(图片顺序计数)是从Ai候选(视频块的左上运动矢量候选)中选择的。
或者，可以选择参考POC作为A、B和C之间的第一可用候选，如图17所示。
在参考POC不在当前参考图片列表的参考图像列表中的情况下，可以选择参考图片缓冲器中的第一图像的POC。
由于参考图片的运动缓冲器的分辨率可能与当前帧的运动缓冲器的分辨率不同，因此可能需要进行一些适配。
一个典型的示例是使当前运动缓冲器具有4×4的分辨率，这意味着运动矢量可用于每个4×4子块。对于参考运动缓冲器，典型分辨率为8×8。
为了根据当前块的位置选择5个可能的子块，候选是不同的(参见图18中有关Ai的示例)。
相比于4×4运动缓冲器，其中获取这些坐标处的矢量：
-A0:(x,y)
-A1:(x+4,y)
-A2:(x,y-4)
-A3:(x-4,y)
-A4:(x,y+4)
运动矢量候选坐标被适配为：
-A0:(x,y)
-A1:(x+8,y)
-A2:(x,y-8)
-A3:(x-8,y)
-A4:(x,y+8)
如果当前CU尺寸小于2×s，其中s是时间运动缓冲器分辨率(例如，此处为8)，则将仿射候选从可能候选的列表中丢弃。
如图19所示，仿射模型的候选运动矢量和支持矢量之间的偏移可能会很大，尤其是在时间运动缓冲器分辨率提高时。在图中，示出了以下情况：时间运动缓冲器是通过对原始运动缓冲器的简单子采样构建的(即，始终将4×4子块的左上运动矢量作为8×8子块的运动矢量)。
为了适应该偏移，使用用于空间仿射模型的方法来计算仿射模型，其中将模型从一个CU转移到另一个CU。
或者，根据CU的位置，可以改变候选顺序。主要思想是首先获取最接近的候选。在图18中，选择候选的顺序为：
-情况a：A0、A2、A3、A1、A4(或者可以互换A2和A3，以及互换A1和A4)
-情况b：A0、A1、A4、A2、A3(或者可以互换A1和A4，以及互换A2和A3)
-情况c：A0、A1、A2、A3、A4(或者可以互换A1和A2，以及互换A3和A4)
-情况d：A0、A3、A4、A1、A2(或者可以互换A3和A4，以及互换A1和A2)
本文档描述了各种方面，包括工具、特征、实施例、模型、方法等。这些方面中的许多方面进行了专门描述，以至少示出各自的特性，通常以可能听起来像限制的方式来描述。然而，这是为了清楚地描述，并不是限制这些方面的应用或范围。实际上，所有不同方面都可以组合和互换，以提供进一步的方面。此外，这些方面也可以与先前申请中描述的方面进行组合和互换。
可以通过多种不同的形式来实现本文档中描述和考虑的方面。下文中图20、图21、图22提供了一些实施例，但是也可以构想其他实施例，并且对图20、图21、图22的论述不限制实现方式的范围。这些方面中的至少一个方面总体上涉及视频编码和解码，并且至少另一个方面总体上涉及传输所生成或编码的比特流。这些和其他方面可以实现为方法、装置、其上存储有用于根据所描述的任何方法对视频数据进行编码或解码的指令的计算机可读存储介质、和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。
在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常但并非必须地，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。
本文描述了各种方法，每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。
本文档中描述的各种方法和其他方面可以用于修改模块，例如，图20和图21所示的视频编码器100和视频解码器200的运动估计、运动补偿、熵编码、和/或解码模块(175、170、360、145、330)。此外，本方面不限于VVC或HEVC，并且可以应用于例如其他标准和建议书(无论是预先存在的还是将来开发的)，以及任何此类标准和建议书(包括VVC和HEVC)的扩展。除非另外指出或在技术上被排除，否则本文档中描述的各方面可以单独或组合使用。
例如，在本文档中使用各种数值。特定值是出于示例目的，并且所描述的各方面不限于这些特定值。
图20示出了编码器100。可以设想该编码器100的变型。但是为了清楚起见，下面描述了编码器100，而没有描述所有预期的变型。
在被编码之前，视频序列可以经历预编码处理(101)，例如，对输入的颜色图片进行颜色变换(例如，从RGB 4：4：4转换到YCbCr 4：2：0)，或对输入的图片分量执行重新映射，以便获得对压缩更具弹性的信号分布(例如，使用颜色分量之一的直方图均衡化)。元数据可以与预处理相关联，并附加到比特流。
在编码器100中，如下所述，通过编码器元件对图片进行编码。例如，以CU为单位对要编码的图片进行分区(102)和处理。例如，使用帧内或帧间模式对每个单元进行编码。当单元以帧内模式编码时，其执行帧内预测(160)。在帧间模式下，执行运动估计(175)和运动补偿(170)。编码器决定(105)帧内模式或帧间模式中的哪一个用于对单元进行编码，并且通过例如预测模式标志指示帧内/帧间决定。例如，通过从原始图像块中减去(110)预测的块来计算预测残差。
然后，对预测残差进行变换(125)和量化(130)。对量化后的变换系数以及运动矢量和其他语法元素进行熵编码(145)以输出比特流。编码器可以跳过变换，并将量化直接应用于未变换的残差信号。编码器可以绕过变换和量化两者，即，残差被直接编码而无需应用变换或量化过程。
编码器对编码块进行解码，以提供用于进一步预测的参考。对量化后的变换系数进行解量化(140)和逆变换(150)以解码预测残差。组合(155)解码的预测残差和预测的块，重构图像块。环内滤波器(165)被应用于重构图片，以执行例如解块/SAO(样本自适应偏移)滤波以减少编码伪像。滤波后的图像被存储在参考图片缓冲器(180)。
图21示出了视频解码器200的框图。在该解码器200中，如下所述，由解码器元件对比特流进行解码。如图20所示，视频解码器200通常执行与编码遍历相对的解码遍历。编码器100通常还执行视频解码，作为对视频数据进行编码的一部分。
具体而言，解码器的输入包括可以由视频编码器100生成的视频比特流。首先，对比特流进行熵解码(230)以获得变换系数、运动矢量和其他编码信息。图片分区信息指示如何对图片进行分区。因此，解码器可以根据解码后的图片分区信息来划分(235)图片。对变换系数进行解量化(240)和逆变换(250)以解码预测残差。组合(255)解码的预测残差和预测的块，重构图像块。可以从帧内预测(260)或运动补偿预测(即帧间预测)(275)获得(270)预测的块。环内滤波器(265)被应用于重构的图像。滤波后的图像被存储在参考图片缓冲器(280)。
解码后的图片可以进一步经历解码后处理(285)，例如，逆颜色变换(例如，从YCbCr 4：2：0转换到RGB 4：4：4)或逆重新映射，该逆重新映射执行在预编码处理(101)中执行的重新映射过程的逆过程。解码后处理可以使用在预编码处理中导出并在比特流中用信号发送的元数据。
图22示出了其中实现了各个方面和实施例的系统的示例的框图。系统1000可以体现为包括以下描述的各种组件的设备，并且被配置为执行本文档中描述的一个或多个方面。这样的设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连网的家用电器、和服务器等。系统1000的元件可以单独或组合地体现在单个集成电路、多个IC和/或分立组件中。例如，在至少一个实施例中，系统1000的处理元件和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦合到其他类似系统或其他电子设备。在各种实施例中，系统1000被配置为实现本文档中描述的一个或多个方面。
系统1000包括至少一个处理器1010，该至少一个处理器1010被配置为执行加载在其中的指令，以实现例如本文档中描述的各个方面。处理器1010可以包括嵌入式存储器，输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储设备和/或非易失性存储设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附接的存储设备、和/或网络可访问的存储设备。
系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可以被包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可以包括编码和解码模块中一个或两个。另外，编码器/解码器模块1030可以被实现为系统1000的单独的元件，或者可以作为本领域技术人员已知的硬件和软件的组合并入处理器1010内。
要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以被存储在存储设备1040中，并且随后被加载到存储器1020上以被处理器1010执行。根据各种实施例，在执行本文档中描述的过程期间，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以存储各种项目中的一个或多个。这样存储的项目可以包括但不限于输入视频、解码视频或解码视频的一部分、比特流、矩阵、变量以及对等式、公式、运算和运算逻辑进行处理得到的中间或最终结果。
在几个实施例中，处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令并为编码或解码期间所需的处理提供工作存储器。然而，在其他实施例中，处理设备(例如，处理设备可以是处理器1010或编码器/解码器模块1030)外部的存储器被用于这些功能中的一个或多个。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存用于存储电视的操作系统。在至少一个实施例中，诸如RAM之类的快速外部动态易失性存储器被用作视频编码和解码操作的工作存储器，诸如用于MPEG-2、HEVC或VVC(通用视频编码)。
如框1130中所示，可以通过各种输入设备来提供对系统1000的元件的输入。这种输入设备包括但不限于(i)RF部分，其接收例如广播公司通过空中传输的RF信号；(ii)复合输入端子；(iii)USB输入端子；和/或(iv)HDMI输入端子。
在各种实施例中，框1130的输入设备具有本领域中已知的、相关的各个输入处理元件。例如，RF部分可以与以下所需的元件相关联：(i)选择所需频率(也称为选择信号，或将信号频带限制为频带)，(ii)下变频所选信号，(iii)再次频带限制到更窄的频带，以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调下变频并频带限制的信号，(v)执行纠错，以及(vi)执行解复用，以选择所需的数据分组流。各种实施例的RF部分包括一个或多个执行这些功能的元件，例如，频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能的调谐器，包括例如将接收到的信号下变频为较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收通过有线(例如线缆)介质传输的RF信号，并通过滤波、下变频和再次滤波到期望频带来执行频率选择。各种实施例重新布置上述(和其他)元件的顺序，将这些元件中的一些移除，和/或添加执行类似或不同功能的其他元件。添加元件可以包括在现有元件之间插入元件，例如插入放大器和模数转换器。在各种实施例中，RF部分包括天线。
另外，USB和/或HDMI端子可以包括相应的接口处理器，用于通过USB和/或HDMI连接将系统1000连接到其他电子设备。应当理解的是，例如，可以根据需要在单独的输入处理IC内或在处理器1010内实现输入处理的各个方面，例如里德-所罗门纠错(Reed-Solomonerror correction)。类似地，USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用后的流被提供给各种处理元件，包括例如处理器1010、以及与存储器和存储元件结合操作的编码器/解码器1030，以根据需要处理数据流，从而在输出设备上呈现。
系统1000的各种元件可以提供在集成壳体内。在集成壳体内，可以使用适当的连接布置1140，例如本领域中已知的内部总线，包括I2C总线、布线和印刷电路板，将各种元件相互连接，并在它们之间传输数据。
系统1000包括通信接口1050，其使得能够经由通信信道1060与其他设备进行通信。通信接口1050可以包括但不限于被配置为经由通信信道1060发送和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。
在各种实施例中，使用诸如IEEE 802.11的Wi-Fi网络将数据流传输到系统1000。这些实施例的Wi-Fi信号通过适于Wi-Fi通信的通信信道1060和通信接口1050而被接收。这些实施例的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的接入，以允许流应用和其他过顶(over-the-top)通信。其他实施例使用机顶盒向系统1000提供流传输的数据，该机顶盒通过输入框1130的HDMI连接来传递数据。其他实施例也使用输入框1130的RF连接向系统1000提供流传输的数据。
系统1000可以向包括显示器1100、扬声器1110和其他外围设备1120的各种输出设备提供输出信号。在实施例的各种示例中，其他外围设备1120包括以下各项中的一项或多项：独立DVR、磁盘播放器、立体声系统、照明系统、以及基于系统1000的输出提供功能的其他设备。在各种实施例中，使用诸如AV.Link、CEC或可以在有用户干预或无用户干预的情况下进行设备至设备控制的其他通信协议的信令，在系统1000与显示器1100、扬声器1110或者其他外围设备1120之间传达控制信号。输出设备可以通过各个接口1070、1080和1090经由专用连接而通信地耦合至系统1000。可替换地，输出设备可以经由通信接口1050使用通信信道1060而连接至系统1000。在例如电视的电子装置中，显示器1100和扬声器1110可以与系统1000的其他组件集成在单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如，时序控制器(T Con)芯片。
例如，如果输入1130的RF部分是单独的机顶盒的一部分，则显示器1100和扬声器1110可以可替代地与一个或多个其他组件分开。在显示器1100和扬声器1110是外部组件的各种实施例中，可以经由专用输出连接来提供输出信号，该专用输出连接包括例如HDMI端口、USB端口或COMP输出。
可以通过由处理器1010实现的计算机软件，或者通过硬件，或者通过硬件和软件的组合来实现实施例。作为非限制性示例，实施例可以由一个或多个集成电路实现。作为非限制性示例，存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，诸如光存储设备、磁存储设备、基于半导体的存储设备、固定存储器和可移除存储器。作为非限制性示例，处理器1010可以是适合于技术环境的任何类型，并且可以包括微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。
各种实现方式涉及解码。如本申请中所使用的，“解码”可以涵盖例如对接收到的编码序列执行的全部或部分过程，以便产生适合于显示的最终输出。在各种实施例中，这样的过程包括通常由解码器执行的一个或多个过程，例如，熵解码、逆量化、逆变换和差分解码。在各种实施例中，这样的过程还(或者可替代地)包括由本申请中描述的各种实现方式的解码器执行的过程。
作为进一步的示例，在一个实施例中，“解码”仅是指熵解码，在另一个实施例中，“解码”仅是指差分解码，并且在另一个实施例中，“解码”是指熵解码和差分解码的组合。基于特定描述的上下文，短语“解码过程”是旨在专门指代操作的子集还是广义上指代更广泛的解码过程将是显而易见的，相信本领域技术人员会很好地理解。
各种实现方式涉及编码。以与以上关于“解码”的讨论类似的方式，在本申请中使用的“编码”可以涵盖例如对输入视频序列执行的全部或部分过程以便产生编码的比特流。在各种实施例中，这样的过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施例中，这样的过程还(或者替代地)包括由本申请中描述的各种实现方式的编码器执行的过程。
作为进一步的示例，在一个实施例中，“编码”仅是指熵编码，在另一个实施例中，“编码”仅是指差分编码，在另一个实施例中，“编码”是指差分编码和熵编码的组合。基于特定描述的上下文，短语“编码过程”是旨在专门指代操作的子集还是广义上指代更广泛的编码过程将是显而易见的，相信本领域技术人员会很好地理解。
请注意，这里使用的语法元素是描述性术语。因此，不排除对其使用其他语法元素名称。
当附图呈现为流程图时，应当理解的是，其还提供了相应装置的框图。类似地，当附图呈现为框图时，应当理解的是，其还提供了相应方法/过程的流程图。
各种实施例涉及速率失真优化。特别地，在编码过程中，经常鉴于计算复杂度的约束，通常考虑速率和失真之间的平衡或折衷。通常将速率失真优化公式化为使速率失真函数最小化，该函数是速率和失真的加权和。存在解决速率失真优化问题的不同方法。例如，这些方法可以基于对所有编码选项的扩展测试，包括所有考虑的模式或编码参数值，并对其编码成本、和编码和解码后的重构信号的相关失真进行完整评估。也可以使用更快的方法来节省编码复杂性，特别是基于预测或预测残差信号而不是重构的信号来计算近似失真。还可以使用这两种方法的混合，诸如仅对某些可能的编码选项使用近似失真，而对其他编码选项使用完整失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用多种技术中的任何一种来执行优化，但是优化不一定是对编码成本和相关失真的完整评估。
本文描述的实现方式和方面可以例如以方法或过程、装置、软件程序、数据流或信号来实现。即使仅在单一形式的实现方式的上下文中进行讨论(例如，仅作为方法进行讨论)，所讨论的特征的实现方式也可以以其他形式(例如，装置或程序)来实现。例如，装置可以以适当的硬件、软件和固件来实现。例如，方法可以在处理器中实现，该处理器通常指的是处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信设备，诸如例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)，以及其他有助于终端用户之间进行信息通信的设备。
对“一个实施例”或“实施例”或“一个实现方式”或“实现方式”以及它们的其他变型的引用，意味着结合该实施例描述的特定特征、结构、特性等被包括在至少一个实施例中。因此，在本文档中各处出现的短语“在一个实施例中”或“在实施例中”或“在一个实现方式中”或“在实现方式中”以及任何其他变型不一定都指同一个实施例。
另外，本文档可以涉及“确定”各种信息。确定信息可以包括例如以下中的一项或多项：估计信息、计算信息、预测信息或从存储器中取回信息。
此外，本文档可以涉及“访问”各种信息。访问信息可以包括例如以下中的一项或多项：接收信息、(例如从存储器中)取回信息、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息。
另外，本文档可以涉及“接收”各种信息。与“访问”一样，接收旨在为广义术语。接收信息可以包括例如访问信息或(例如，从存储器中)取回信息中的一项或多项。此外，在诸如例如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种或另一种方式涉及“接收”。
应当理解的是，例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下，使用以下“/”、“和/或”、“中的至少一个”中的任何一个旨在包含仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这种措词旨在包含仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者仅选择第三个列出的选项(C)，或者仅选择第一个和第二个列出的选项(A和B)，或者仅选择第一个和第三个列出的选项(A和C)，或者仅选择第二个和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员清楚的那样，这可以扩展到所列那么多的项目。
另外，如本文所使用的，词语“signal(用信号发送)”尤其是指向相应解码器指示某些东西。例如，在一些实施例中，编码器用信号发送多个参数中的特定一个。以这种方式，在一个实施例中，在编码器侧和解码器侧都使用相同的参数。因此，例如，编码器可以向解码器发送(显式信令)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其他参数，则可以使用信令而无需发送(隐式信令)以简单地允许解码器知道并选择特定参数。通过避免传输任何实际函数，在各种实施例中实现了比特节省。应当理解的是，可以以多种方式来完成信令。例如，在各种实施例中，使用一个或多个语法元素、标志等将信息用信号发送给相应解码器。尽管前面涉及词语“signal(用信号发送)”的动词形式，但是词语“signal(信令)”在本文中也可以用作名词。
如对于本领域普通技术人员将明显的，实现方式可以产生被格式化以承载信息的、例如可以被存储或发送的各种信号。该信息可以包括例如用于执行方法的指令或由所描述的实现方式之一产生的数据。例如，可以将信号格式化以承载所描述的实施例的比特流。例如，可以将这种信号格式化为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码以及利用编码数据流来调制载波。信号所承载的信息可以是例如模拟或数字信息。众所周知，信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
实施例可以单独地或以任意组合包括以下特征或实体中的一个或多个，其涵盖各种不同的权利要求类别和类型：
·修改在解码器和/或编码器中应用的时间仿射候选选择过程。
·在解码器和/或编码器中启用几种高级时间仿射候选选择方法。
·在信令中插入语法元素，使解码器能够识别要使用的时间仿射候选。
·基于这些语法元素，选择时间仿射候选选择方法以在解码器处应用。
·应用时间仿射候选选择方法以在解码器处导出时间仿射候选。
·根据所讨论的任一实施例，适配编码器处的残差。
·包括一个或多个所描述的语法元素或其变型的比特流或信号。
·在信令中插入语法元素，使解码器能够以与编码器使用的方式相对应的方式适配残差。
·创建和/或发送和/或接收和/或解码包括一个或多个所描述的语法元素或其变型的比特流或信号。
·根据所描述的任一实施例执行时间仿射候选选择的电视、机顶盒、蜂窝电话、平板或其他电子设备。
·根据所描述的任一实施例执行时间仿射候选选择并显示(例如，使用显示屏、屏幕、或其他类型的显示器)所得到的图像的电视、机顶盒、蜂窝电话、平板或其他电子设备。
·调谐(例如，使用调谐器)频道以接收包括编码图像的信号、并执行根据所描述的任一实施例的时间仿射候选选择的电视、机顶盒、蜂窝电话、平板或其他电子设备。
·通过空中接收(例如，使用天线)包括编码图像的信号、并执行根据所描述的任一实施例的时间仿射候选选择的电视、机顶盒、蜂窝电话、平板或其他电子设备。
在整个本公开中，各种其他广义的和特性化的方面、实施例和权利要求也得到支持和构想。
图23示出了用于使用虚拟时间仿射候选来编码视频块的方法2300的一个实施例。该方法从开始框2301开始，并且控制前进到框2310，用于确定至少一个预测器候选。然后，控制从框2310前进到框2320，用于基于与至少一个预测器候选相关联的运动信息，为至少一个预测器候选确定一个或多个相应的控制点运动矢量。然后，控制从框2320前进到框2330，用于基于围绕视频块的角部子块的相邻子块，为被编码的视频块确定一个或多个相应的控制点运动矢量，其中，按顺序搜索围绕角部子块的所述相邻子块，以确定具有运动矢量的第一相邻子块并将其用作相应角部的预测器候选。然后，控制从框2330前进到框2340，用于基于为视频块确定的一个或多个相应的控制点运动矢量，确定相应的运动场，其中，相应的运动场标识用于预测被编码的视频块的子块的运动矢量。控制从框2340前进到框2350，用于基于相应的运动场对视频块进行编码。
图24示出了用于使用虚拟时间仿射候选来解码视频块的方法2400的一个实施例。该方法从开始框2401开始，并且控制前进到框2410，用于确定至少一个预测器候选。然后，控制从框2410前进到框2420，用于基于与至少一个预测器候选相关联的运动信息，为至少一个预测器候选确定一个或多个相应的控制点运动矢量。然后，控制从框2420前进到框2430，用于基于围绕视频块的角部子块的相邻子块，为被解码的视频块确定一个或多个相应的控制点运动矢量，其中，按顺序搜索围绕角部子块的所述相邻子块，以确定具有运动矢量的第一相邻子块并将其用作相应角部的预测器候选。然后，控制从框2430前进到框2440，用于基于为视频块确定的一个或多个相应的控制点运动矢量，确定相应的运动场，其中，相应的运动场标识用于预测被解码的视频块的子块的运动矢量。控制从框2440前进到框2450，用于基于相应的运动场对视频块进行解码。
图25示出了用于使用虚拟时间仿射候选来编码或解码视频块的装置2500的一个实施例。该装置包括处理器2510，处理器2510具有一个或多个输入和输出端口，并且可以通过一个或多个通信端口互连到存储器2520。装置2500能够执行图23或图24的方法之一或任何变型。

Claims (15)

1.一种方法，包括：
为图片中被编码的视频块确定至少一个预测器候选；
基于与所述至少一个预测器候选相关联的运动信息，为所述至少一个预测器候选确定一个或多个相应的控制点运动矢量；
基于围绕所述视频块的角部子块的相邻子块，为所述被编码的视频块确定一个或多个相应的控制点运动矢量，其中，按顺序搜索围绕角部子块的所述相邻子块，以确定具有运动矢量的第一相邻子块并将其用作相应角部的预测器候选；
基于为所述视频块确定的所述一个或多个相应的控制点运动矢量，确定相应的运动场，其中，所述相应的运动场标识用于预测所述被编码的视频块的子块的运动矢量；以及
基于所述相应的运动场对所述视频块进行编码。
2.一种用于对视频块进行编码的装置，包括：
处理器，被配置为：
为图片中被编码的视频块确定至少一个预测器候选；
基于与所述至少一个预测器候选相关联的运动信息，为所述至少一个预测器候选确定一个或多个相应的控制点运动矢量；
基于围绕所述视频块的角部子块的相邻子块，为所述被编码的视频块确定一个或多个相应的控制点运动矢量，其中，按顺序搜索围绕角部子块的所述相邻子块，以确定具有运动矢量的第一相邻子块并将其用作相应角部的预测器候选；
基于为所述视频块确定的所述一个或多个相应的控制点运动矢量，确定相应的运动场，其中，所述相应的运动场标识用于预测所述被编码的视频块的子块的运动矢量；以及
基于所述相应的运动场对所述视频块进行编码。
3.一种方法，包括：
为图片中被解码的视频块确定至少一个预测器候选；
基于与所述至少一个预测器候选相关联的运动信息，为所述至少一个预测器候选确定一个或多个相应的控制点运动矢量；
基于围绕所述视频块的角部子块的相邻子块，为所述被解码的视频块确定一个或多个相应的控制点运动矢量，其中，按顺序搜索围绕角部子块的所述相邻子块，以确定具有运动矢量的第一相邻子块并将其用作相应角部的预测器候选；
基于为所述视频块确定的所述一个或多个相应的控制点运动矢量，确定相应的运动场，其中，所述相应的运动场标识用于预测所述被解码的视频块的子块的运动矢量；以及
基于所述相应的运动场对所述视频块进行解码。
4.一种用于对视频块进行解码的装置，包括：
处理器，被配置为：
为图片中被解码的视频块确定至少一个预测器候选；
基于与所述至少一个预测器候选相关联的运动信息，为所述至少一个预测器候选确定一个或多个相应的控制点运动矢量；
基于围绕所述视频块的角部子块的相邻子块，为所述被解码的视频块确定一个或多个相应的控制点运动矢量，其中，按顺序搜索围绕角部子块的所述相邻子块，以确定具有运动矢量的第一相邻子块并将其用作相应角部的预测器候选；
基于为所述视频块确定的所述一个或多个相应的控制点运动矢量，确定相应的运动场，其中，所述相应的运动场标识用于预测所述被解码的视频块的子块的运动矢量；以及
基于所述相应的运动场对所述视频块进行解码。
5.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的装置，其中，所述顺序是所述视频块的角部子块、随后是所述角部子块的右侧、上方、左侧、和下方的子块。
6.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的装置，其中，用于找到候选运动矢量以用于确定控制点运动矢量的所述视频块的角部在左上、以及在左下或右上两者之一。
7.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的装置，其中，从当前图片缓冲器的参考图片中获取候选并置子块。
8.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的装置，其中，从所述视频块的左上运动矢量候选中选择所述运动场的图片顺序计数。
9.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的装置，其中，从所述视频块的可用情况下的左上运动矢量候选中，随后从可用情况下的右上运动矢量候选、和左下运动矢量候选中选择所述运动场的图片顺序计数。
10.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的装置，其中，如果参考图片顺序计数不在当前参考图片列表中的参考图像之中，则使用参考图片缓冲器中的第一图像的图片顺序计数。
11.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的装置，其中，通过使候选运动矢量的子块位置移位，对当前运动缓冲器执行分辨率适配以对应于参考图片缓冲器。
12.一种设备，包括：
根据权利要求4至11中的任一项所述的装置；以及
以下各项中的至少一个：
(i)天线，被配置为接收信号，所述信号包括所述视频块，(ii)频带限制器，被配置为将所接收的信号限制到包括所述视频块的频带，以及(iii)显示器，被配置为显示表示所述视频块的输出。
13.一种非暂时性计算机可读介质，其包含根据权利要求1和5至11中的任一项所述的方法或由权利要求2和5至11中的任一项所述的装置生成的数据内容，以用于使用处理器进行回放。
14.一种信号，其包括根据权利要求1和5至11中的任一项所述的方法或由权利要求2和5至11中的任一项所述的装置生成的视频数据，以用于使用处理器进行回放。
15.一种计算机程序产品，其包括指令，当所述程序由计算机执行时，所述指令使所述计算机执行根据权利要求1或权利要求3以及权利要求5至11中的任一项所述的方法。
CN201980044116.6A 2018-06-29 2019-06-14 虚拟时间仿射候选 Pending CN112385229A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18305832.0 2018-06-29
EP18305832 2018-06-29
EP18306062.3 2018-08-03
EP18306062.3A EP3606075A1 (en) 2018-08-03 2018-08-03 Virtual temporal affine motion vector candidates
PCT/US2019/037150 WO2020005572A1 (en) 2018-06-29 2019-06-14 Virtual temporal affine candidates

Publications (1)

Publication Number Publication Date
CN112385229A true CN112385229A (zh) 2021-02-19

Family

ID=67060507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980044116.6A Pending CN112385229A (zh) 2018-06-29 2019-06-14 虚拟时间仿射候选

Country Status (4)

Country Link
US (3) US11394960B2 (zh)
EP (1) EP3815373A1 (zh)
CN (1) CN112385229A (zh)
WO (1) WO2020005572A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11375202B2 (en) 2018-09-21 2022-06-28 Interdigital Vc Holdings, Inc. Translational and affine candidates in a unified list
KR20220153064A (ko) 2020-03-19 2022-11-17 에프쥐 이노베이션 컴퍼니 리미티드 비디오 데이터를 코딩하기 위한 디바이스 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017156705A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Affine prediction for video coding
CN107205149A (zh) * 2016-03-18 2017-09-26 谷歌公司 通过参考帧缓冲器跟踪的运动矢量参考选择
US20170332095A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
WO2018065397A2 (en) * 2016-10-03 2018-04-12 Thomson Licensing Method and apparatus for encoding and decoding motion information
WO2018070152A1 (en) * 2016-10-10 2018-04-19 Sharp Kabushiki Kaisha Systems and methods for performing motion compensation for coding of video data

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017147765A1 (en) 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
US10681370B2 (en) 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
CN111052739A (zh) * 2017-08-03 2020-04-21 Lg 电子株式会社 基于帧间预测模式的图像处理的方法和设备
CN111989927B (zh) * 2018-04-16 2023-05-09 联发科技股份有限公司 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017156705A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Affine prediction for video coding
TW201739252A (zh) * 2016-03-15 2017-11-01 聯發科技股份有限公司 具有仿射運動補償的視訊編碼的方法以及裝置
CN107205149A (zh) * 2016-03-18 2017-09-26 谷歌公司 通过参考帧缓冲器跟踪的运动矢量参考选择
US20170332095A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding
TW201742465A (zh) * 2016-05-16 2017-12-01 高通公司 用於視訊寫碼之仿射運動預測
WO2018065397A2 (en) * 2016-10-03 2018-04-12 Thomson Licensing Method and apparatus for encoding and decoding motion information
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
WO2018070152A1 (en) * 2016-10-10 2018-04-19 Sharp Kabushiki Kaisha Systems and methods for performing motion compensation for coding of video data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Y. CHEN ET AL: "Description of SDR, HDR and 360° video coding technology proposal by Qualcomm and Technicolor – low and high complexity versions", JVET 10TH MEETING, pages 17 - 19 *

Also Published As

Publication number Publication date
WO2020005572A1 (en) 2020-01-02
EP3815373A1 (en) 2021-05-05
US20240187568A1 (en) 2024-06-06
US20230007239A1 (en) 2023-01-05
US11394960B2 (en) 2022-07-19
US20210211650A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
US20240187568A1 (en) Virtual temporal affine candidates
CN113170210A (zh) 视频编码和解码中的仿射模式信令
CN113330747A (zh) 利用适应于加权预测的双向光流进行视频编码和解码的方法和装置
CN113170109A (zh) 视频编码/解码中通用预测的统一化的处理和语法
JP2024023456A (ja) コード化／復号化におけるデータ依存関係
US11750836B2 (en) Virtual temporal affine candidates
CN112806010A (zh) 使用预测子候选列表进行视频编码和解码的方法和装置
CN112740676A (zh) 帧内变换译码和广角帧内预测的协调
CN112335240A (zh) 使用可变权重的多参考帧内预测
US11375202B2 (en) Translational and affine candidates in a unified list
KR20220123643A (ko) 삼각형 병합 모드에서의 서브-블록 병합 후보들
EP3606075A1 (en) Virtual temporal affine motion vector candidates
US20220264147A1 (en) Hmvc for affine and sbtmvp motion vector prediction modes
US20210344925A1 (en) Block size based motion vector coding in affine mode
WO2024033116A1 (en) Geometric partition mode boundary prediction
EP3591974A1 (en) Data dependency in encoding/decoding
WO2023046518A1 (en) Extension of template based intra mode derivation (timd) with isp mode
KR20220027173A (ko) 비디오 인코딩 및 디코딩에서의 모션 벡터 예측
WO2022101018A1 (en) A method and an apparatus for encoding or decoding a video
CN113950834A (zh) 用于隐式多变换选择的变换选择
CN114270829A (zh) 局部照明补偿标志继承

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination