CN112703733A - 一统一列表中的平移和仿射候选 - Google Patents

一统一列表中的平移和仿射候选 Download PDF

Info

Publication number
CN112703733A
CN112703733A CN201980060303.3A CN201980060303A CN112703733A CN 112703733 A CN112703733 A CN 112703733A CN 201980060303 A CN201980060303 A CN 201980060303A CN 112703733 A CN112703733 A CN 112703733A
Authority
CN
China
Prior art keywords
prediction
models
model
motion vectors
control point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980060303.3A
Other languages
English (en)
Inventor
F·加尔平
T·波里尔
陈娅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN112703733A publication Critical patent/CN112703733A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Abstract

至少提出了用于高效地编码或解码视频的方法和装置。例如，基于正被编码或解码的视频的当前块的一个或多个控制点运动向量，分别为用于视频编码的一个或多个预测候选，确定一个或多个预测模型。从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第一预测模型可以是平移预测模型。还从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第二预测模型将是仿射预测模型。基于包括分别从所述一个或多个预测模型确定的所述一个或多个预测候选的候选列表，编码或解码所述视频。

Description

一统一列表中的平移和仿射候选
技术领域
本发明的实施例中的至少一者主要涉及一种用于视频编码或解码的方法或装置，且更明确地说，涉及一种用于有效地提供关于候选的统一列表以用于视频编码或解码的方法或设备，所述候选包含仿射候选和平移(即，传统)候选。
背景技术
为了实现高的共规格效果(co-SPECImpression)效率，图像和视频编码方案通常采用包括运动向量预测的预测和变换，以利用视频内容中的空间和时间冗余。通常，帧内或帧间预测用于利用帧内或帧间相关性，然后对通常表示为预测误差或预测残差的原始图像与预测图像之间的差异进行变换、量化和熵编码。为了重构所述视频，通过与熵编码、量化、变换和预测相对应的逆处理来对压缩数据进行解码。
高压缩技术的最近的补充包括使用基于仿射建模的运动模型。特别地，仿射建模用于视频图片的编码和解码的运动补偿。通常，仿射建模是一使用至少两个参数的模型，所述参数例如为表示图片的块的相应角落处的运动的两个控制点运动向量(CPMV)，其允许导出用于图片的整个块的运动场，以模拟例如旋转和相似扩大(缩放)。
发明内容
通过本文描述的一般方面来解决和解决现有技术的缺点和不利，所述一般方面针对具有用于视频编码和解码的平移和仿射运动候选的统一列表。
根据第一方面，提供了一种方法。该方法包括：基于正被编码的视频的当前块的一个或多个控制点运动向量，分别为用于视频编码的一个或多个预测候选，确定一个或多个预测模型；从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第一预测模型将是平移预测模型；从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第二预测模型将是仿射预测模型；以及基于包括分别从所述一个或多个预测模型确定的所述一个或多个预测候选的候选列表，编码所述视频。
根据另一方面，提供了第二方法。该方法包括：基于正被解码的视频的当前块的一个或多个控制点运动向量，分别为用于视频解码的一个或多个预测候选，确定一个或多个预测模型；从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第一预测模型将是平移预测模型；从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第二预测模型将是仿射预测模型；以及基于包括分别从所述一个或多个预测模型确定的所述一个或多个预测候选的候选列表，解码所述视频。
根据另一方面，提供了一种装置。所述装置包括一个或多个处理器，其中所述一个或多个处理器被配置以：基于正被编码的视频的当前块的一个或多个控制点运动向量，分别确定用于视频编码的一个或多个预测候选的一个或多个预测模型；从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第一预测模型将是平移预测模型；从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第二预测模型将为仿射预测模型；以及基于包括分别从所述一个或多个预测模型确定的所述一个或多个预测候选的候选列表，编码所述视频。
根据另一方面，提供了另一种装置。所述装置包括一个或多个处理器，其中所述一个或多个处理器被配置以：基于正被解码的所述视频的当前块的一个或多个控制点运动向量，分别确定用于所述视频解码的一个或多个预测候选的一个或多个预测模型；从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第一预测模型将是平移预测模型；从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第二预测模型将为仿射预测模型；以及基于包括分别从所述一个或多个预测模型确定的所述一个或多个预测候选的候选列表，解码所述视频。
根据至少一个实施例的另一个一般方面，所述从所述一个或多个控制点运动向量确定所述一个或多个预测模型中的第一预测模型是平移预测模型是基于所述一个或多个控制运动向量正处于帧间模式的。
根据至少一个实施例的另一个一般方面，所述从所述一个或多个控制点运动向量确定所述一个或多个预测模型中的第一预测模型将是平移预测模型是基于所述一个或多个控制点运动向量中的两者之间的相对运动小于一取决于所述当前块的高度和权重的值的。
根据至少一个实施例的另一一般方面，所述从所述一个或多个控制点运动向量确定所述一个或多个预测模型中的第二预测模型将为仿射预测模型是基于所述一个或多个控制点运动向量中的两者之间的相对运动小于一值。
根据至少一个实施例的另一一般方面，所述仿射预测模型是4参数仿射预测模型。
根据至少一个实施例的另一一般方面，所述仿射预测模型是6参数仿射预测模型。
根据至少一个实施例的另一一般方面，一个或多个语法元素被包含以指示所述候选列表的存在。
根据至少一个实施例的另一个一般方面，所述一个或多个预测模型包括AMVP模式。
根据至少一个实施例的另一个一般方面，所述一个或多个预测模型包括合并模式。
根据至少一个实施例的另一个一般方面，提供了一种设备，该设备包括根据所述解码实施例中的任意者的装置；以及以下至少一者：(i)天线，被配置成接收信号，该信号包括所述视频块，(ii)频带限制器，被配置成将所接收的信号限制到包括所述视频块的频带，或(iii)显示器，被配置成显示表示所述视频块的输出。
根据至少一个实施例的另一个一般方面，提供了一种非暂时性计算机可读介质，其包含根据所描述的编码实施例或变型中的任意者生成的数据内容。
根据至少一个实施例的另一个一般方面，提供了一种包括根据所描述的编码实施例或变型中的任意者生成的视频数据的信号。
根据至少一个实施例的另一个一般方面，比特流被格式化为包括根据所描述的编码实施例或变型中的任意者所生成的数据内容。
根据至少一个实施例的另一个一般方面，提供了一种包括指令的计算机程序产品，当计算机执行该程序时，该指令使计算机执行所描述的解码实施例或变型中的任意者。
从以下结合附图阅读的示例性实施例的详细描述中，所述一般方面的这些和其它方面、特征和优点将变得显而易见。
附图说明
图1示出了用于表示压缩HEVC图片的编码树单元和编码树概念。
图2示出了将编码树单元划分为编码单元、预测单元和变换单元。
图3示出了在联合探索模型中使用的简单仿射模型。
图4展示基于4×4子CU的仿射运动向量场。
图5示出了仿射帧间CU的运动向量预测过程。
图6示出了用于在仿射AMVP过程中创建新候选的过程。
图7示出仿射合并模式中的运动向量预测候选。
图8示出了在仿射合并的情况下仿射运动场控制点的空间推导。
图9示出了创建新仿射候选的示例性过程。
图10示出了用以创建包含仿射候选和平移候选的统一列表的示例性过程。
图11示出了示例性仿射模型决策过程。
图12示出了用于决定模型是否是平移的示例性过程。
图13示出了用6参数仿射模型和平移模型创建候选的统一列表的示例性过程。
图14示出了视频编码器的实施例的框图。
图15示出了视频解码器的实施例的框图。
图16示出了可以在其中实现本实施例的各方面的系统的框图。
具体实施方式
这里描述的一般方面是在视频压缩领域。这些方面的目的在于与现有的视频压缩系统相比，提高压缩效率。
在HEVC视频压缩标准(H.265/HEVC高效视频编码，ITU的ITU-T H.265电信标准化部门，“H系列：视听和多媒体系统，视听服务的基础设施-运动视频的编码，高效视频编码”)中，采用运动补偿时间预测来利用存在于视频的连续图片之间的冗余。
为此，将运动向量与现在引入的每个预测单元(PU)相关联。每个CTU(编码树单元)由压缩域中的编码树表示。这是关于所述CTU的四叉树划分，其中每个叶被称为编码单元(CU)，参见图1。
然后，每个CU被给予一些帧内或帧间预测参数(预测信息)。为此，将其空间地分割成一个或多个预测单元(PU)，每个PU被分配一些预测信息。参见图2，在CU层级上指派帧内或帧间编码模式。
确切地，一个运动向量被分配给HEVC中的每个PU。该运动向量用于所考虑的PU的运动补偿时间预测。因此，在HEVC中，对预测块及其参考块进行链接的运动模型简单地包括平移。因此，这通常被称为平移或传统运动预测模型。
在JVET(联合视频探索团队)组开发的联合探索模型(JEM)和后来的VTM(多功能视频编码(VVC)测试模型)中，可支持一些更丰富的运动模型，以改进时间预测。为此，可在空间上将PU划分为子PU，且可使用较丰富的模型来向每一子PU分配一专用运动向量。
CU不再被分割为PU或TU，而是直接将一些运动数据分配给每一CU。在此新的编解码器设计中，可将CU分割成子CU，且可针对每一子CU计算运动向量。
JEM中介绍的新运动模型之一是仿射模型，其基本上在于使用仿射模型来表示CU中的运动向量。
所使用的运动模型由图3示出。仿射运动场包括所考虑的块内的每个位置((x,y)的以下运动向量分量值：
Figure BDA0002976554930000061
方程式1：用于在CU内产生运动场以预测运动的仿射模型
坐标(v0x,v0y)和(v1x,v1y)是用于生成所述仿射运动场的所谓的控制点运动向量。点(v0x,v0y)是运动向量左上角控制点，并且(v1x,v1y)是运动向量右上角控制点。
实际上，为了保持合理的复杂度，如图4所示，为所考虑的CU的每个4×4子块(子CU)计算运动向量。在每个子块的中心位置处，根据所述控制点运动向量，计算仿射运动向量。所获得的MV以1/16像素精度表示。
结果，仿射模式中的编码单元的时间编码在于利用其自身的运动向量来对每个子块进行运动补偿预测。
注意，具有三个控制点的模型也是可能的。
在JEM中可以以三种方式使用仿射运动补偿：仿射帧间(AF_INTER)、仿射合并和仿射模板。它们在以下被引入：
仿射帧间(AF_INTER)。
在仿射帧间模式中，可预测AMVP模式中的CU，其具有大于8x8的大小。这通过比特流中的标志来用信号发送。用于所述帧间CU的仿射运动场的产生包含：确定控制点运动向量(CPMV)，所述CPMV是由解码器通过运动向量差与控制点运动向量预测(CPMVP)的相加而获得。该CPVMP是一对候选运动向量，分别取自列表(A，B，C)和(D，E)，如图5所示。
可以获得高达6个CPMVP(针对
Figure BDA0002976554930000071
的3乘以针对
Figure BDA0002976554930000072
的2)。
对于高度H和宽度W的块，使用方程式2检查第一CPVMP的有效性：
Figure BDA0002976554930000073
Figure BDA0002976554930000074
Figure BDA0002976554930000075
Figure BDA0002976554930000076
Figure BDA0002976554930000077
方程式2：每个CPMVP的有效性测试
然后，根据第三运动向量
Figure BDA0002976554930000078
的值(从位置F或G取得)，对有效CPVMP进行排序。最接近的
Figure BDA0002976554930000079
是由仿射运动模型针对在与
Figure BDA00029765549300000710
相同位置处的4×4子块给出的向量，因为CPVMP越好。
对于高度为H和宽度为W的块，每个CPMVP的成本用方程式3计算，在以下方程式中，X和Y分别是运动向量的水平和垂直分量。
Figure BDA0002976554930000081
Figure BDA0002976554930000082
Figure BDA0002976554930000083
方程式3：为每个CPMVP计算的成本
仿射合并
在仿射合并模式中，CU级标志指示了合并CU是否采用仿射运动补偿。如果是，那么在图7的候选位置的有序集合(A,B,C,D,E)中选择已在仿射模式中被编码的第一可用相邻CU。
一旦获得仿射模式下的第一相邻CU，那么检索来自相邻CU的左上角、右上角和左下角的3个运动向量
Figure BDA0002976554930000084
和
Figure BDA0002976554930000085
(参见图8)。基于这三个向量，当前CU的左上角和右上角的两个CPMV被导出如下：
ο
Figure BDA0002976554930000086
ο
Figure BDA0002976554930000087
方程式4：基于相邻CU的三个角运动向量，推导当前CU的CPMV
当获得了当前CU的控制点运动向量
Figure BDA0002976554930000088
和
Figure BDA0002976554930000089
时，通过方程式1的模型，基于4×4子CU，计算当前CU内的运动场。
在前期工作中，对于仿射合并模式，可添加更多候选，从最多7个候选中选择最佳候选，并且在比特流中对该最佳候选的索引进行编码。
另一种类型的候选被称为时间仿射：
类似于TMVP(时间运动向量预测值(Predictor))候选，在参考图像中搜索仿射CU并将其添加到所述候选列表。
在另一工作中，添加了用于创建“虚拟”候选的新过程(参见图9)。动机是当在当前CU周围没有仿射CU可用时，创建仿射候选。为此，通过获取在角落处的各个子块的运动并创建“仿射”模型来创建仿射模型。
当前，来自仿射运动模型的候选(基于4个参数(使用2个向量的模型)或6个参数(使用3个向量的模型))和来自经典运动模型的候选(基于使用单个向量的平移模型)在编解码器中被单独地考虑：
-对于AMVP模式，仿射预测值是与经典AMVP预测值分开构建的。在仿射运动模型的情况下，仿射标志设定为1以用信号通知将在比特流中读取2个或2个以上运动向量差(MVD)。预测值的列表对于传统平移运动模型和仿射运动模型是不同的。
-对于MERGE(合并)模式，分别构建经典运动候选和仿射运动候选，并且在比特流中设置附加仿射标记以用信号通知所述候选列表。
一个问题是：具有单独的候选/预测值列表增加了解码器设计的复杂性。此外，当仿射和平移模型很接近时，会引入一些冗余，这从存储器带宽效率来看是不令人满意的。
另一点是：与一种类型的平移候选相反，所述仿射候选可被构造或继承：
-所继承的候选需要在每个PU中保存仿射模型，然后将其变换为用于当前PU的模型。
-所构造的模型仅需要每一子块的运动向量可用，如在传统情况下那样，然后，从相邻子块的运动向量构造一仿射模型。
所述继承的情况需要存储更多的数据(每个PU的仿射模型)，因此需要更多的存储器带宽来构造所述候选列表。
因此，需要一种将在实施仿射运动模型及平移运动模型的同时，减少存储器带宽的编码/解码方法或装置。
本原理的至少一个实施例涉及一种编码/解码方法，该方法包括：通过添加适当的标准来决定候选是平移的还是仿射的，将平移(即，传统的)候选和仿射候选统一或嵌套在编解码器中的单个列表中。在该至少一个实施例的变型中，所述运动模型(即，基于3、4、5或6个参数)也根据类似的合适标准而被确定。
有利地，由于所述编码/解码方法包括确定仿射模型，所以它消除了对继承模型的需要。因此，可以减少用于存储继承模型的存储器带宽。此外，所确定的模型有利地与空间预测(使用当前帧运动向量)和时间预测(使用来自参考图片的运动向量)两者兼容。
如图10所示，现在描述与创建用于AMVP(然后被用作预测值)或MERGE模式的潜在候选的统一或嵌套列表(15)的总过程10P相关的至少一个实施例。这里没有描述选择参考图片的过程和相关联的运动向量重新缩放过程，但是可以使用诸如本领域技术人员从HEVC已知的常规过程。
示例性实施例-4参数仿射模型
如图10的过程10P所示，对于集合S中的每个项，按顺序(1-14)检查相应参考块(如图5所示)的角落V0、V1。临时创建两个子列表La和Lb，以分别存储根据它们的可能性而被排序的运动模型候选：最可能的候选被添加到La中，而另一个被添加到Lb中(例如，9-12和14)。如图10的过程10P所示，如果仅可以建立平移模型(5的“是”分支)，则将其放入列表La(13，14)中。如果可以建立平移模型(使用第一角落，3)和仿射模型(使用几个角落，3和4)(6-8)，则将它们推入用于可能最佳模型的列表La(11，当决定8为“是”时)，并将它们推入用于另一个模型的列表Lb(12)。为了决定所述最佳模型，如图11所示的示例性过程11P中所解释的以及以下所解释的那样，测试“模型是仿射的？”(8)处理所述模型有效性。测试“模型是平移的？”(5)可遵循图12所示的过程12P，并在下面进一步描述。
为了简洁起见，不在此描述仿射模型创建本身。例如，它可以遵循在本领域中已知的VVC的最新标准开发中解释的过程。
为了说明，通过使用图5中的向量和参考块符号，集合S(图10的2)的一个示例可如下：
{{A,E},{G,A},{D,B},{F,C},{At,Et},{Gt,At},{Dt,Bt},{Ft,Ct}}
在该示例性集合中，由t表示的角落是时间候选(与空间相对)。将该示例应用于图10中的示例性过程10P，被检查的第一个项是{A，E}。在此例中，在图10中，第一角落V0＝A，而第二角落V1＝E。首先，测试V0＝A的预测模式，以决定该模式是否为帧间(3)。在A的模式不是帧间(3的“否”分支)的情况下，测试该集合中的另一项(2)。在A的预测模式是帧间的情况下(3的“是”分支)，测试V1＝E的预测模式，以确定模型是否是帧间(4)。在E的模式不是帧间(4的“否”分支)的情况下，则根据V0＝A是帧间来创建平移模型(13)，并且将其推入子列表La(14)。在E的模式也是帧间(4的“是”分支)的情况下，则应用一测试“模型是平移的么？”(5)。
图10中的示例性过程10P中的所述测试“模型是平移的么？”(5)在下文中被描述。该测试基于这样的标准，即，计算代表所述角落V0和V1的相对运动幅度(该两个度量表示相应角落的运动向量之间的水平和垂直差)，并将其与值p进行比较。在该两个度量低于所述值p的情况下，所述模型被确定为是平移的。在这种情况下，根据V0＝A创建平移模型(图10的13)，并其推入子列表La(图10的14)。
在另一情况下，确定来自V0的平移模型和来自V0和V1的仿射模型两者，且用如下文所述的“模型是仿射么？”(8)来测试该仿射模型。4个度量表示V0相对于V1和V0相对于V2的相应角落的运动向量之间的水平和垂直差。在该4个度量低于相对于当前块的宽度w和高h的另一个值k的情况下，所述模型被确定为仿射的(8的“是”分支)。在此情况下，所述仿射模型被推入子列表La(11)中，且所述平移模型被推入子列表Lb(12)中。在所确定的模型不是仿射的情况下(8的“否”分支)，更可能是将所述平移模型推入子列表La(9)，且将所述仿射模型推入子列表Lb(10)。
对于列表中的每一项(空间候选或者时间候选)，重复过程10P(2)。测试V0的模型，以检查该模型是否是仿射的。
因此，基于表示当前块的角落处的相对运动幅度的标准，所述方法确定候选是仿射或平移的，并产生相关联的模型。根据特征，在所述标准低于或等于第一值(p)的情况下，所述模型是平移的，在所述标准在所述第一值(p)与第二值(k*w或k*h)之间的情况下，所述模型是仿射的，并且在所述标准高于所述第二值(k*w或k*h)的情况下，所述模型是平移的。有利地，所提出的标准允许移除过于接近平移模型的仿射模型，同时移除由于运动差异而不可靠的模型。
当然，本实施例不限于所描述的项的顺序、用于形成模型的角落、项的数量。然而，由于列表中的第一角落的序列(在示例中为A、G、D、F)给出了用于所述平移模型的唯一候选的列表，本实现方式有利地允许基于来自A、G、D、F的任一运动的各种平移模型被添加到所述候选列表。
最后，列表La和Lb以这个顺序被级联(15)。在将候选放入列表之前，在每个列表中检查该列表中每个候选的单一性。因此，与JVET中提出的将平移候选和仿射候选添加到合并模式的单个有序列表中(即，根据预定次序在列表中设置仿射和平移向量)的其它方法不同，本实施例不仅统一了候选列表，而且基于表示当前块的角落处的相对运动幅度的成本标准而根据可能性来排序了所述平移候选和仿射候选。
有利地，所提出的方法减少了用于存储和管理运动向量预测值以及用于经典和仿射运动模型补偿这两者的候选的存储器带宽。
图11示出了用以测试是否将选择仿射模型的示例性过程11P的原理。在图11中，如果角落之间的相对运动小于取决于块大小h和w的某个值，则模型被假定为仿射。该验证过程11P首先检查所述仿射模型不引起所有角落之间的大运动差(21-25)。在该测试中，V0、V1和V2表示如图10所示的角落。A.x和A.y分别表示在x和y轴上的运动向量。值h和w表示PU高度和宽度，并且k是固定常数(例如，对于具有1/16像素精度的高精度运动向量，k＝8)。
图12示出了用于确定模型是否是平移的示例性过程12P的原理。如果至少2个角落的相对运动低于一值(31-35)，则认为模型是纯平移的。p的典型值是0。所示实施例使用3个角落处的运动向量：V0、V1和V2。如下所示，V2的运动向量固有地存在于6参数模型。然而，其对于4参数模型不存在。因此，根据第一变形，首先根据仿射模型(方程式1)计算V2(或任何其它角落)，且将其用于上文所描述的过程12P中。根据第二种变形，跳过用V2的测试，因此确定模型是否是平移的仅响应V0和V1(32，33)。所述第二变型(32-35)进一步与所述6参数模型兼容。
示例性实施例-6参数仿射模型
图13示出了使用6参数仿射模型的示例性过程13P的原理。对于6参数仿射模型，总体过程类似于图11中所示且先前描述的4参数模型过程11P。首先，检查所述6参数模型。如果其不是仿射的，则检查4个参数。6参数模型的S的典型集合是：
{{A,E,G},{F,C,D},{D,B,F},{A,E,G}t,{F,C,D}t,{D,B,F}t}
示例性实施例-列表级联的变型
在本发明原理的其它非限制性方面，代替如图10或图13所示将列表Lb的所有元素级联在列表La的所有元素之后，列表La和Lb的元素可以在单独的列表创建过程期间被交错。
示例性实施例-继承的模型
根据另一变型，使用所继承的模型，通过所述模型在当前PU上的转移来代替所述模型的构造，并且测试“模型是仿射的？”由是否存在仿射模型来决定。
本申请描述了多个方面，这其中包括工具、特征、实施例、模型、方法等。这些方面中的许多方面被描述为具有特异性，并且至少为了示出个体特性，通常以可能听起来受限的方式来描述。然而，这是为了描述清楚的目的，并且不限制那些方面的应用或范围。实际上，所有不同的方面可以组合和互换以提供另外的方面。此外，这些方面也可以与在较早的文档中描述的方面组合和互换。
本文档中描述和预期的方面可以以许多不同的形式实现。以下图14、15和16提供了一些实施例，但是可以设想其他实施例，并且对图14、15和16的讨论不限制实现的广度。所述方面中的至少一个方面主要涉及视频编码和解码，并且至少一个其它方面主要涉及传送所生成或编码的比特流。这些和其它方面可以被实现为方法、装置、其上存储有用于根据所描述的任何方法来编码或解码视频数据的指令的计算机可读存储介质、和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。
在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不是必须的，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。
本文描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非所述方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。
在文档中使用各种数值。具体值是出于示例目的，并且所描述的方面不限于这些具体值。
图14示出了编码器100。可以设想该编码器100的变型，但是为了清楚起见，下面描述编码器100，而没有描述所有预期的变型。
在被编码之前，视频序列可以经历预编码处理(101)，例如，对输入颜色图片应用颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或者执行输入图片分量的重新映射，以便获得对压缩更有弹性的信号分布(例如，使用所述颜色分量之一的直方图均衡)。元数据可以与所述预处理相关联，并且被附加到比特流。
在编码器100中，如下所述，由编码器元件对图片进行编码。以例如CU为单位分区(102)并处理要编码的图片。使用例如帧内或帧间模式来编码每个单元。当以帧内模式对单元进行编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。所述编码器决定(105)使用帧内模式或帧间模式中的哪一者来对所述单元进行编码，并且通过例如预测模式标志来指示所述帧内/帧间决定。例如，通过从原始图像块中减去(110)预测块来计算预测残差。
然后，对所述预测残差进行变换(125)和量化(130)。对所量化的变换系数以及运动向量和其它语法元素进行熵编码(145)以输出比特流。所述编码器可以跳过所述变换，并直接对未变换的残差信号应用量化。所述编码器可以绕过变换和量化这两者，即，直接对所述残差进行编码而不应用所述变换或量化处理。
所述编码器对编码块进行解码，以提供用于进一步预测的参考。对所量化的变换系数进行解量化(140)和逆变换(150)以对预测残差进行解码。组合(155)所解码的预测残差和预测块，重构图像块。环内滤波器(165)被应用于所重构的图片，以执行例如解块/SAO(样本自适应偏移)滤波，从而减少编码伪像。将所滤波的图像存储在参考图片缓冲器(180)中。
图15示出了视频解码器200的框图。在解码器200中，如下所述，由解码器元件解码比特流。视频解码器200通常执行与如图20中所描述的编码过程互逆的解码过程。所述编码器100通常还执行视频解码作为编码视频数据的一部分。
特别地，所述解码器的输入包括视频比特流，其可以由视频编码器100生成。所述比特流首先被熵解码(230)以获得变换系数、运动向量和其它编码信息。图片分区信息指示所述图片如何被分区。所述解码器因此可以根据所解码的图片分区信息来划分(235)所述图片。所述变换系数被解量化(240)和逆变换(250)以解码所述预测残差。将所解码的预测残差与预测块进行组合(255)，重构图像块。所述预测块可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)。环内滤波器(265)被应用于所重构的图像。将所滤波的图像存储在参考图片缓冲器(280)中。
解码后的图片可以进一步经历解码后处理(285)，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的转换)或执行在预编码处理(101)中执行的所述重新映射过程的逆重新映射。所述解码后处理可以使用在所述预编码处理中导出并且在所述比特流中用信号发送的元数据。
图16示出了其中实现了各个方面和实施例的系统的示例的框图。系统1000可以被实现为包括以下描述的各种组件的设备，并且被配置为执行本文中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统1000的元件可以单独地或组合地被实现在单个集成电路、多个IC和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，所述系统1000经由例如通信总线或通过专用输入和/或输出端口而被通信地耦合到其他类似系统或耦合到其他电子设备。在各种实施例中，所述系统1000被配置为实现本文中描述的一个或多个方面。
所述系统1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，以用于实现例如本文中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。所述系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，这其中包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，所述存储设备1040可以包括内部存储设备、附接的存储设备和/或网络可访问的存储设备。
系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供所编码的视频或所解码的视频，并且所述编码器/解码器模块1030可以包括其自己的处理器和存储器。所述编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的模块(一个或多个)。如已知的，设备可以包括所述编码模块和解码模块中的一个或两个。另外，编码器/解码器模块1030可实施为系统1000的单独元件或可并入处理器1010内作为如所属领域的技术人员已知的硬件与软件的组合。
要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上以供处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可以在执行本文中描述的过程期间存储各种项中的一者或多者。这些存储的项可以包括但不限于输入视频、所解码的视频或该解码的视频的部分、比特流、矩阵、变量以及来自方程式、公式、运算和运算逻辑的处理的中间或最终结果。
在数个实施例中，所述处理器1010和/或所述编码器/解码器模块1030内的存储器用于存储指令，并且提供用于在编码或解码期间需要的处理的工作存储器。然而，在其它实施例中，所述处理设备(例如，所述处理设备可为所述处理器1010或所述编码器/解码器模块1030)外部的存储器用于这些功能中的一者或多者。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存用于存储电视的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作视频编码和解码操作的工作存储器，诸如用于MPEG-2、HEVC、或VVC(通用视频编码)的工作存储器。
如框1130中所示，可以通过各种输入设备来提供对系统1000的元件的输入。这样的输入设备包括但不限于：(i)接收例如由广播者通过空中传输的RF信号的RF部分，(ii)复合输入端子，(iii)USB输入端子，和/或(iv)HDMI输入端子。
在各种实施例中，框1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如，所述RF部分可以与以下所必需的元件相关联：(i)选择期望频率(也称为选择信号，或将信号频带限制到一频带)，(ii)将所选择的信号下变频，(iii)再次将频带限制到较窄频带，以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调所述下变频且频带限制的信号，(v)执行纠错，和(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括一个或多个元件以执行这些功能，例如，频率选择器、信号选择器、限带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。所述RF部分可以包括执行各种这些功能的调谐器，这些功能包括例如将所接收的信号下变频到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，所述RF部分及其相关的输入处理元件接收通过有线(例如，电缆)介质发送的RF信号，并通过滤波、下变频和再次滤波来执行到期望频带的频率选择。各种实施例重新安排上述(和其它)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件，例如插入放大器和模数转换器。在各种实施例中，所述RF部分包括天线。
另外，USB和/或HDMI终端可以包括用于通过USB和/或HDMI连接将系统1000连接到其它电子设备的相应接口处理器。应当理解，输入处理的各个方面(例如,，所罗门纠错)可以根据需要在例如单独的输入处理IC或处理器1010内实现。类似地，USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件，这其中包括例如处理器1010和编码器/解码器1030，其与存储器和存储元件结合操作以根据需要来处理所述数据流以便在输出设备上呈现。
系统1000的各种元件可以设置在集成壳体内。在该集成壳体内，各种元件可以使用合适的连接布置1140(例如，本领域已知的内部总线(包括I2C总线、布线和印刷电路板)互连并在其间传输数据。
所述系统1000包括通信接口1050，其使得能够经由通信信道1060与其他设备通信。所述通信接口1050可以包括但不限于被配置为通过通信信道1060发送和接收数据的收发器。所述通信接口1050可以包括但不限于调制解调器或网卡，并且所述通信信道1060可以例如在有线和/或无线介质内实现。
在各种实施例中，使用Wi-Fi网络(例如，IEEE 802.11)，将数据流式传输给所述系统1000。这些实施例的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050来接收。这些实施例的通信信道1060通常连接到接入点或路由器，所述接入点或路由器提供对包括因特网的外侧网络的接入以允许流式传输应用和其它云上通信。其它实施例使用通过输入框1130的HDMI连接来传递数据的机顶盒而向系统1000提供流式传输的数据。还有一些实施例使用输入框1130的RF连接而向所述系统1000提供流式传输的数据。
所述系统1000可以向各种输出设备(包括显示器1100、扬声器1110和其他外围设备1120)提供输出信号。在各实施例的各示例中，所述其它外围设备1120包括以下中的一者或多者：独立DVR、盘播放器、立体声系统、照明系统、以及基于系统1000的输出来提供功能的其他设备。
在各种实施例中，使用信令(诸如，AV.Link(AV.链路)、CEC、或在有或没有用户干预的情况下实现设备到设备控制的其他通信协议)在系统1000和显示器1100、扬声器1110或其它外围设备1120之间传送控制信号。所述输出设备可以经由通过相应接口1070、1080和1090的专用连接而通信地耦合到系统1000。作为替代，所述输出设备可以使用通信信道1060经由通信接口1050连接到系统1000。所述显示器1100和扬声器1110可以与系统1000的其它组件一起集成在电子设备(例如电视机)中的单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如定时控制器((T Con)芯片。
例如，如果输入1130的RF部分是单独机顶盒的一部分，则所述显示器1100和扬声器1110可以备选地与其它组件中的一个或多个分离。在所述显示器1100和扬声器1110是外部组件的各种实施例中，所述输出信号可以经由专用输出连接来提供，所述专用输出连接例如包括HDMI端口、USB端口或COMP输出。
这些实施例可以由处理器1010或由硬件实现的计算机软件或由硬件和软件的组合来实现。作为非限制性示例，所述实施例可以由一个或多个集成电路实现。所述存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。所述处理器1010可以是适合于技术环境的任何类型，并且作为非限制性示例，可以包含以下中的一者或多者：微处理器、通用计算机、专用计算机和基于多核架构的处理器。
各种实现方式涉及解码。如本申请中所使用的，“解码”可以包括例如对接收到的编码序列执行的全部或部分处理，以便产生适合于显示的最终输出。在各种实施例中，此类过程包括通常由解码器执行的过程中的一个或多个，例如熵解码、逆量化、逆变换和差分解码。在各种实施例中，此类过程还或替代地包含由本申请案中所描述的各种实施方案的解码器执行的过程。
作为进一步的示例，在一个实施例中，“解码”仅指熵解码，在另一实施例中，“解码”仅指差分解码，并且在另一实施例中，“解码”指熵解码和差分解码的组合。短语“解码过程”是旨在具体地指代操作的子集还是一般地指代更广泛的解码过程，这基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。
各种实现涉及编码。以与以上关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可以包括例如对输入视频序列执行的以便产生编码比特流的过程的全部或部分。在各种实施例中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施例中，此类过程还或替代地包含由本申请案中所描述的各种实施方案的编码器执行的过程。
作为进一步的示例，在一个实施例中，“编码”仅指熵编码，在另一实施例中，“编码”仅指差分编码，而在另一实施例中，“编码”指差分编码和熵编码的组合。短语“编码过程”的旨在具体地指代操作的子集还是一般地指代更广泛的编码过程，这将基于具体描述的上下文而变得清楚，并且相信是本领域技术人员所充分理解的。
注意，如本文所使用的语法元素是描述性术语。因此，它们不排除使用其它语法元素名称。
当附图被呈现为流程图时，应当理解，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应的方法/过程的流程图。
各种实施例涉及速率失真优化。特别地，在编码过程期间，通常考虑速率和失真之间的平衡或折衷，通常给出计算复杂度的约束。所述速率失真优化通常被公式化为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法来解决速率失真优化问题。例如，这些方法可以基于对所有编码选项的广泛测试，这其中包括所有考虑的模式或编码参数值，且对它们的编码成本和在编码和解码之后的重构信号的相关失真进行完整评估。还可以使用更快的方法来节省编码复杂度，特别是基于预测或预测残差信号而不是重构信号来计算近似失真。还可以使用这两种方法的混合，例如通过仅对一些可能的编码选项使用近似失真，而对其他编码选项使用完全失真。其它方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中的任何一种来执行所述优化，但是该优化不一定是对编码成本和相关失真这两者的完整评估。
本文描述的实现方式和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现的上下文中被讨论(例如，仅作为方法而被讨论)，所讨论的特征的实现也可以以其他形式(例如，装置或程序)来实现。例如，可以以适当的硬件、软件和固件来实现装置。所述方法可以在例如处理器中实现，所述处理器通常指处理设备，这其中包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和便于终端用户之间的信息通信的其他设备。
对“一个实施例”或“一实施例”或“一个实现方式”或“一实现方式”以及其它变化形式的提及意味着结合该实施例描述的特定特征、结构、特性等包含于至少一个实施例中。因此，在本文档中的各个地方出现的短语“在一个实施例中”或“在一实施例中”或“在一个实现方式中”或“在一实现方式中”以及任何其他变型的出现不一定都指同一实施例。
另外，本文档可以涉及“确定”各种信息。确定该信息可以包括例如以下一者或多者：估计该信息、计算该信息、预测该信息或从存储器检索该信息。
此外，本文档可以涉及“访问”各种信息。访问该信息可以包括例如以下一者或多者：接收该信息、检索该信息(例如，从存储器检索该信息)、存储该信息、移动该信息、复制该信息、计算该信息、确定该信息、预测该信息或估计该信息。
另外，本文档可以指“接收”各种信息。如同“访问”一样，接收旨在是广义的术语。接收所述信息可以包括例如以下一者或多者：访问该信息或(例如从存储器)检索该信息。此外，在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。
应当理解，例如在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”以及“中的至少一者”中的任意者旨在涵盖仅对第一列出的选项(A)的选择、或仅对第二列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，这样的措词旨在包括仅选择第一个列出的选项(A)、或者仅选择第二个列出的选项(B)、或者仅选择第三个列出的选项(C)、或者仅选择第一个和第二个列出的选项(A和B)、或者仅选择第一个和第三个列出的选项(A和C)、或者仅选择第二个和第三个列出的选项(B和C)、或者选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员所清楚的，这可以扩展到所列的多个项目。
此外，如本文所使用的，词语“信号”尤其是指向对应的解码器指示某物。例如，在某些实施例中，编码器发信号发送多个参数中的特定一个参数。这样，在一实施例中，在编码器侧和解码器侧使用相同的参数。因此，例如，编码器可以向解码器发送(显式地用信号发送)特定参数，使得解码器可以使用该相同的特定参数。相反，如果解码器已经具有所述特定参数以及其它参数，则可以使用信令而不进行发送(隐式地用信号发送)，以简单地允许解码器知道并选择所述特定参数。通过避免任何实际功能的传输，在各种实施例中实现了比特节省。应当理解，可以以各种方式来实现信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号发送给对应的解码器。虽然前述内容涉及词语“信号”的动词形式，但是词语“信号”在本文中也可以用作名词。
如对于本领域普通技术人员将显而易见的，实现方式可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实现方式之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。所述格式化可以包括例如对数据流进行编码并且利用所编码的数据流对载波进行调制。所述信号携带的信息可以是例如模拟或数字信息。如已知的，所述信号可以通过各种不同的有线或无线链路来传输。所述信号可以存储在处理器可读介质上。
我们描述了多个实施例。这些实施例的特征可以单独提供或以任何组合提供。此外，跨越各种权利要求类别和类型，实施例可以单独或以任意组合包括以下特征、设备或方面中的一者或多者：
·将运动模型所使用的运动补偿处理的预测指标/候选存储在应用于解码器和/或编码器的单个统一列表中。
·在解码器和/或编码器中的运动补偿方法中，独立于仿射或平移模式，对块的运动模型进行确定/构建。
·在所述信令中插入语法元素，使得所述解码器能够识别要使用的运动模型和/或运动补偿方法的。
·在所述信令中插入语法元素，使得所述解码器能够仅在AMVP模式中识别所述运动模型，且在合并模式中跳过所述信令。
·确定当前块的运动候选/预测值，所述运动候选/预测值包括至少运动向量及平移或仿射模型，此确定是基于表示所述当前块的角落处的相对运动幅度的标准的。
·基于语法，选择要在所述解码器处应用的所述运动模型方法。
·包括所描述的语法元素中的一者或多者或其变型的比特流或信号。
·在所述信令中插入使得所述解码器能够以对应于编码器所使用的方式的方式确定运动补偿的语法元素。
·创建和/或发送和/或接收和/或解码包括一个或多个所描述的语法元素或其变型的比特流或信号。
·TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其根据所描述的任何实施例在编码/解码中执行运动补偿。
·TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其根据所描述的任何实施例在编码/解码中执行运动补偿，并且显示(例如，使用监视器、屏幕或其他类型的显示器)所得到的图像。
·TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其调谐(例如，使用调谐器)信道以接收包括所编码的图像的信号，并且根据所描述的任何实施例在编码/解码中执行运动补偿。
·TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其通过空中接收(例如，使用天线)包括所编码的图像的信号，并且根据所描述的任何实施例在编码/解码中执行运动补偿。
在本公开中，还支持和预期各种其它一般化的以及特殊化的方面、实施例和权利要求。例如，本申请中描述的各种方法和其它方面可用于修改模块，例如分别如图14和图15所示的视频编码器100和解码器200的运动补偿和估计模块(170、175；和275)。此外，本发明不限于VVC或HEVC，并且可应用于例如其它标准和提案(无论是预先存在的还是将来开发的)以及任何此类标准和提案(包括VVC和HEVC)的扩展。除非另外指出或在技术上排除，本申请中描述的方面可以单独或组合使用。

Claims (15)

1.一种用于视频编码的方法，其包括：
基于正被编码的所述视频的当前块的一个或多个控制点运动向量，分别为用于所述视频编码的一个或多个预测候选确定一个或多个预测模型；
从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第一预测模型将是平移预测模型；
从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第二预测模型将是仿射预测模型；以及
基于包括分别从所述一个或多个预测模型确定的所述一个或多个预测候选的候选列表，编码所述视频。
2.一种用于视频解码的方法，其包括：
基于正被解码的所述视频的当前块的一个或多个控制点运动向量，分别为用于所述视频解码的一个或多个预测候选确定一个或多个预测模型；
从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第一预测模型将是平移预测模型；
从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第二预测模型将是仿射预测模型；以及
基于包括分别从所述一个或多个预测模型确定的所述一个或多个预测候选的候选列表，解码所述视频。
3.一种用于视频编码的装置，其包括一个或多个处理器，其中所述一个或多个处理器被配置以：
基于正被编码的所述视频的当前块的一个或多个控制点运动向量，分别确定用于所述视频编码的一个或多个预测候选的一个或多个预测模型；
从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第一预测模型将是平移预测模型；
从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第二预测模型将为仿射预测模型；以及
基于包括分别从所述一个或多个预测模型确定的所述一个或多个预测候选的候选列表，编码所述视频。
4.一种用于视频解码的装置，其包括一个或多个处理器，其中所述一个或多个处理器被配置以：
基于正被解码的所述视频的当前块的一个或多个控制点运动向量，分别确定用于所述视频解码的一个或多个预测候选的一个或多个预测模型；
从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第一预测模型将是平移预测模型；
从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第二预测模型将为仿射预测模型；以及
基于包括分别从所述一个或多个预测模型确定的所述一个或多个预测候选的候选列表，解码所述视频。
5.根据权利要求1或2所述的方法、或根据权利要求3或4所述的装置，其中所述从所述一个或多个控制点运动向量确定所述一个或多个预测模型中的第一预测模型将是平移预测模型是基于所述一个或多个控制运动向量正处于帧间模式的。
6.根据权利要求1、2和5中任一项所述的方法，或者根据权利要求3-5中任一项所述的装置，其中所述从所述一个或多个控制点运动向量确定所述一个或多个预测模型中的第一预测模型将是平移预测模型是基于所述一个或多个控制点运动向量中的两个控制点运动向量之间的相对运动小于一取决于所述当前块的高度和权重的值的。
7.根据权利要求1、2、5和6中任一项所述的方法，或者根据权利要求3-6中任一项所述的装置，其中所述从所述一个或多个控制点运动向量确定所述一个或多个预测模型中的第二预测模型将是仿射预测模型是基于所述一个或多个控制点运动向量中的两个控制点运动向量之间的相对运动小于一值的。
8.根据权利要求1、2和5到7中任一权利要求所述的方法或根据权利要求3到7中任一权利要求所述的装置，其中所述仿射预测模型是4参数仿射预测模型。
9.根据权利要求1、2和5到7中任一权利要求所述的方法或根据权利要求3到7中任一权利要求所述的装置，其中所述仿射预测模型是6参数仿射预测模型。
10.根据权利要求1、2和5-9中任一项所述的方法，或者根据权利要求3-9中任一项所述的装置，其中一个或多个语法元素被包括以指示所述候选列表的存在。
11.根据权利要求1、2和5-10中任一项所述的方法或根据权利要求3-10中任一项所述的装置，其中所述一个或多个预测模型包括AMVP模式。
12.根据权利要求1、2和5-11中任一项所述的方法，或根据权利要求3-11中任一项所述的装置，其中所述一个或多个预测模型包括合并模式。
13.一种比特流，其中所述比特流通过以下步骤而被形成：
基于正被编码的所述视频的当前块的一个或多个控制点运动向量，分别为用于所述视频编码的一个或多个预测候选，确定一个或多个预测模型；
从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第一预测模型将是平移预测模型；
从所述一个或多个控制点运动向量，确定所述一个或多个预测模型中的第二预测模型将是仿射预测模型；以及
基于包括分别从所述一个或多个预测模型确定的所述一个或多个预测候选的候选列表，编码所述视频；以及
形成包括所述编码的视频的所述比特流。
14.一种非暂时性计算机可读介质，包含根据权利要求1、2和5-12中任一项所述的方法或根据权利要求3-12中任一项所述的装置而被生成的数据内容。
15.一种计算机程序产品，包括用于在由一个或多个处理器执行时执行根据权利要求1、2和5-12中任一项所述的方法的指令。
CN201980060303.3A 2018-09-21 2019-09-04 一统一列表中的平移和仿射候选 Pending CN112703733A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18306232.2 2018-09-21
EP18306232 2018-09-21
PCT/US2019/049426 WO2020060757A1 (en) 2018-09-21 2019-09-04 Translational and affine candidates in a unified list

Publications (1)

Publication Number Publication Date
CN112703733A true CN112703733A (zh) 2021-04-23

Family

ID=67436824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980060303.3A Pending CN112703733A (zh) 2018-09-21 2019-09-04 一统一列表中的平移和仿射候选

Country Status (4)

Country Link
US (1) US11375202B2 (zh)
EP (1) EP3854078A1 (zh)
CN (1) CN112703733A (zh)
WO (1) WO2020060757A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113630601A (zh) * 2021-06-29 2021-11-09 杭州未名信科科技有限公司 一种仿射运动估计方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103843347A (zh) * 2011-10-04 2014-06-04 高通股份有限公司 用于视频译码的运动向量预测值候选剪裁移除
WO2016068685A1 (ko) * 2014-10-31 2016-05-06 삼성전자 주식회사 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법
WO2017118411A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
US20180098087A1 (en) * 2016-09-30 2018-04-05 Qualcomm Incorporated Frame rate up-conversion coding mode
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109005407B (zh) 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
EP3646598A1 (en) 2017-06-26 2020-05-06 InterDigital VC Holdings, Inc. Multiple predictor candidates for motion compensation
EP3468196A1 (en) 2017-10-05 2019-04-10 Thomson Licensing Methods and apparatuses for video encoding and video decoding
WO2019099444A1 (en) * 2017-11-14 2019-05-23 Qualcomm Incorporated Unified merge candidate list usage
CN112385229A (zh) 2018-06-29 2021-02-19 交互数字Vc控股公司 虚拟时间仿射候选
EP3850849A1 (en) 2018-09-13 2021-07-21 InterDigital VC Holdings, Inc. Improved virtual temporal affine candidates

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103843347A (zh) * 2011-10-04 2014-06-04 高通股份有限公司 用于视频译码的运动向量预测值候选剪裁移除
WO2016068685A1 (ko) * 2014-10-31 2016-05-06 삼성전자 주식회사 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법
WO2017118411A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
US20180098087A1 (en) * 2016-09-30 2018-04-05 Qualcomm Incorporated Frame rate up-conversion coding mode
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHIH-WEI HSU等: "Description of SDR video coding technology proposal by MediaTek", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11， 10TH MEETING: SAN DIEGO, US, 10–20 APR. 2018，JVET-J0018-V2.ZIP JVET-J0018.DOCX, pages 6 *
Y. CHEN等: "Description of SDR, HDR and 360° video coding technology proposal by Qualcomm and Technicolor – low and high complexity versions", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，10TH MEETING: SAN DIEGO, US, 10–20 APR. 2018，JVET-J0021-V5.ZIP JVET-J0021.DOCX, pages 14 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113630601A (zh) * 2021-06-29 2021-11-09 杭州未名信科科技有限公司 一种仿射运动估计方法、装置、设备及存储介质
CN113630601B (zh) * 2021-06-29 2024-04-02 杭州未名信科科技有限公司 一种仿射运动估计方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US11375202B2 (en) 2022-06-28
US20210352294A1 (en) 2021-11-11
EP3854078A1 (en) 2021-07-28
WO2020060757A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
CN113950834A (zh) 用于隐式多变换选择的变换选择
CN113016180A (zh) 用于视频编码和解码的虚拟管线
CN113170210A (zh) 视频编码和解码中的仿射模式信令
EP3706421A1 (en) Method and apparatus for video encoding and decoding based on affine motion compensation
US20230007239A1 (en) Virtual temporal affine candidates
CN112806011A (zh) 改进的虚拟时间仿射候选
KR20210058846A (ko) 인트라 변환 코딩 및 광각 인트라 예측의 조화
US11375202B2 (en) Translational and affine candidates in a unified list
JP2024513873A (ja) 切り替え可能な補間フィルタを用いる幾何学的分割
US20230018401A1 (en) Motion vector prediction in video encoding and decoding
WO2021122416A1 (en) Subblock merge candidates in triangle merge mode
US20220264147A1 (en) Hmvc for affine and sbtmvp motion vector prediction modes
EP3606075A1 (en) Virtual temporal affine motion vector candidates
WO2024033116A1 (en) Geometric partition mode boundary prediction
EP3861746A1 (en) Block size based motion vector coding in affine mode
WO2023194334A1 (en) Video encoding and decoding using reference picture resampling
WO2021001514A1 (en) Signaling of merge indices for triangle partitions
WO2020117628A1 (en) Method and device for picture encoding and decoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination