CN111316647B - 统一合并候选列表使用 - Google Patents

统一合并候选列表使用 Download PDF

Info

Publication number
CN111316647B
CN111316647B CN201880070688.7A CN201880070688A CN111316647B CN 111316647 B CN111316647 B CN 111316647B CN 201880070688 A CN201880070688 A CN 201880070688A CN 111316647 B CN111316647 B CN 111316647B
Authority
CN
China
Prior art keywords
affine
candidate
block
candidate list
merge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880070688.7A
Other languages
English (en)
Other versions
CN111316647A (zh
Inventor
张凯
陈建乐
张莉
M·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN111316647A publication Critical patent/CN111316647A/zh
Application granted granted Critical
Publication of CN111316647B publication Critical patent/CN111316647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Liquid Crystal Substances (AREA)
  • Vehicle Body Suspensions (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供一种视频解码器，其包含经配置以在位流中接收一或多个位的一或多个处理器，所述一或多个位指示视频数据的经编码当前块是基于统一候选列表进行编码，所述统一候选列表包含基于一或多个平移运动向量的运动向量候选者及基于一或多个仿射运动向量的运动向量候选者。在所述位流中表示的合并索引可指示所述统一候选列表中的哪个候选者与视频数据的所述经编码当前块的所述运动向量相关联。基于所述合并索引，所述一或多个处理器经配置以从所述统一候选列表选择候选者的一或多个运动向量，其中所述候选者具有对应于所述统一候选列表内的所述平移运动向量或仿射运动向量的所述运动向量中的一或多者。

Description

统一合并候选列表使用
优先权主张
本申请案主张2018年11月13日申请的美国专利申请案第16/188,774号及2017年11月14日申请的美国临时申请案第62/586,117号的权益，所述申请案的全部内容特此以引用的方式并入。
技术领域
本申请案涉及用于视频译码的装置、系统及方法。
背景技术
数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式处理装置等等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、ITU-T H.265定义的标准、高效率视频译码(HEVC)标准及这些标准的扩展中所描述的那些技术。视频装置可通过实施这些视频压缩技术而更高效地传输、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，视频切片(即，视频帧或视频帧的一部分)可分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测被编码。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。空间或时间预测产生用于待译码块的预测性块。残差数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量被编码，且残差数据指示经译码块与预测性块之间的差。经帧内译码块是根据帧内译码模式及残差数据被编码。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生可接着进行量化的残差变换系数。
发明内容
本发明涉及一种用于对视频数据的经编码当前块进行视频解码的装置。用于视频解码的所述装置可包含存储器，所述存储器经配置以存储视频数据的经重构当前块。所述装置还可包含一或多个处理器，所述一或多个处理器经配置以在位流中接收一或多个位，所述一或多个位表示旗标且指示视频数据的所述经编码当前块是基于统一候选列表进行编码，所述统一候选列表包含基于一或多个平移运动向量的运动向量候选者及基于一或多个仿射运动向量的运动向量候选者。另外，所述一或多个处理器可经配置以接收指示所述统一候选列表中的哪个候选者的合并索引。此外，所述一或多个处理器可经配置以基于所述合并索引从所述统一候选列表选择候选者的一或多个运动向量，其中所述候选者具有对应于所述统一候选列表内的所述平移运动向量或仿射运动向量的所述运动向量中的一或多者。所述一或多个处理器还可经配置以基于来自所述候选列表的所选择的所述一或多个运动向量确定视频数据的预测值块，且基于视频数据的所述预测值块重构视频数据的所述当前块。
技术还涉及一种解码视频数据的经编码当前块的方法，所述方法包括在位流中接收一或多个位，所述一或多个位表示旗标且指示视频数据的所述经编码当前块是基于统一候选列表进行编码，所述统一候选列表包含基于一或多个平移运动向量的运动向量候选者及基于一或多个仿射运动向量的运动向量候选者。另外，所述方法包含接收指示所述统一候选列表中的哪个候选者的合并索引。此外，所述方法可包含基于所述合并索引从所述统一候选列表选择候选者的一或多个运动向量，其中所述候选者具有对应于所述统一候选列表内的所述平移运动向量或仿射运动向量的所述运动向量中的一或多者。另外，所述方法可包含基于来自所述候选列表的所选择的所述一或多个运动向量确定视频数据的预测值块。在视频数据的所述预测值块的所述确定之后，所述方法可包含基于视频数据的所述预测值块重构视频数据的所述当前块。
本发明还包含一种用于对视频数据的经编码当前块进行视频解码的设备，所述设备包含用于在位流中接收一或多个位的装置，所述一或多个位表示旗标且指示视频数据的所述经编码当前块是基于统一候选列表进行编码，所述统一候选列表包含基于一或多个平移运动向量的运动向量候选者及基于一或多个仿射运动向量的运动向量候选者。另外，所述设备还包含用于接收合并索引的装置，所述合并索引指示所述统一候选列表中的哪个候选者与视频数据的所述经编码当前块的所述运动向量相关联。此外，所述设备可包含用于基于所述合并索引从所述统一候选列表选择候选者的一或多个运动向量的装置，其中所述候选者具有对应于所述统一候选列表内的所述平移运动向量或仿射运动向量的所述运动向量中的一或多者。另外，所述设备可包含用于基于来自所述候选列表的所选择的所述一或多个运动向量确定视频数据的预测值块的装置。所述设备还可包含用于基于所述视频数据的所述预测值块重构视频数据的所述当前块的装置。
本发明涉及一种用于对视频数据的经编码当前块进行视频解码的装置。用于视频解码的所述装置可包含存储器，所述存储器经配置以存储视频数据的经重构当前块。所述装置还可包含一或多个处理器，所述一或多个处理器经配置以在位流中接收一或多个位，所述一或多个位表示旗标且指示视频数据的所述经编码当前块是基于统一候选列表进行编码，所述统一候选列表包含基于一或多个平移运动向量的运动向量候选者及基于一或多个仿射运动向量的运动向量候选者。另外，所述一或多个处理器可经配置以接收指示所述统一候选列表中的哪个候选者的合并索引。此外，所述一或多个处理器可经配置以基于所述合并索引从所述统一候选列表选择候选者的一或多个运动向量，其中所述候选者具有对应于所述统一候选列表内的所述平移运动向量或仿射运动向量的所述运动向量中的一或多者。所述一或多个处理器还可经配置以基于来自所述候选列表的所选择的所述一或多个运动向量确定视频数据的预测值块，且基于视频数据的所述预测值块重构视频数据的所述当前块。
本发明还涉及一种计算机可读媒体，其上存储有指令，所述指令在由一或多个处理器执行时在一位流中接收一或多个位，所述一或多个位表示旗标且指示视频数据的所述经编码当前块是基于统一候选列表进行编码，所述统一候选列表包含基于一或多个平移运动向量的运动向量候选者及基于一或多个仿射运动向量的运动向量候选者。另外，所述指令在由一或多个处理器执行时可经配置以接收指示所述统一候选列表中的哪个候选者的合并索引。此外，所述指令在由一或多个处理器执行时可经配置以基于所述合并索引从所述统一候选列表选择候选者的一或多个运动向量，其中所述候选者具有对应于所述统一候选列表内的所述平移运动向量或仿射运动向量的所述运动向量中的一或多者。所述指令在由一或多个处理器执行时还可经配置以基于来自所述候选列表的所选择的所述一或多个运动向量确定视频数据的预测值块，且基于视频数据的所述预测值块重构视频数据的所述当前块。
本发明还涉及一种用于视频编码的装置。用于视频编码的所述装置可包含一或多个处理器，所述一或多个处理器经配置以选择对应于正常合并候选者的平移运动的一或多个运动向量。另外，所述一或多个处理器可经配置以选择对应于仿射合并候选者的仿射运动的一或多个运动向量。所述一或多个处理器可经配置以构造包括多于一个正常合并候选者及多于一个仿射合并候选者的统一候选列表。
此外，所述一或多个处理器可经配置以基于所述多于一个仿射合并候选者及所述多于一个正常合并候选者的优先排序次序，将合并索引指派到所述统一候选列表中的所述多于一个正常合并候选者中的每一者及所述多于一个仿射合并候选者中的每一者。另外，所述一或多个处理器可经配置以基于与所述统一候选列表中的所述正常合并候选者或所述仿射合并候选者相关联的成本，从所述统一候选列表的所述索引选择合并索引，且在位流中提供所述合并索引。
下文在附图及具体实施方式中阐述本发明的一或多个实例的细节。技术的各个方面的其它特征、目标及优点将从具体实施方式及附图并从权利要求书显而易见。
附图说明
图1绘示(A)合并模式及(B)AMVP模式中的空间相邻正常纯粹候选者。
图2绘示具有4个仿射参数的两点MV仿射。
图3绘示示范性Affine_Inter模式。
图4A及图4B绘示合并候选者的实例。
图5绘示具有六个参数的仿射模型(三个运动向量)。
图6绘示合并仿射候选者及正常候选者。
图7绘示从非邻近块导出的合并仿射候选者。
图8A到8E绘示统一候选列表中的示范性合并候选列表优先排序。
图9A绘示用于运用本发明中所描述的一或多种技术的视频编码的流程图。
图9B绘示用于运用本发明中所描述的一或多种技术的视频解码的流程图。
图10绘示可用以实施本发明中所描述的技术中的一或多者的示范性视频编码器。
图11绘示可用以实施本发明中所描述的技术中的一或多者的示范性视频解码器。
具体实施方式
仿射运动补偿经引入作为在HEVC的研发之后由联合视频探索小组研发的联合探索模型(JEM)中的译码工具。在JEM中，引入四参数及六参数仿射运动模型两者。这些仿射运动模型常常为归因于非平移运动(例如缩放及旋转)的运动提供译码增益的改进。然而，这些模型的当前使用是基于进入至少两个单独合并模式的因果相关性。换句话说，视频编码器及/或解码器将必须在至少两种不同合并模式中操作：(1)合并模式；及(2)仿射合并模式。另外，必须由解码器及/或编码器维持至少两个单独候选列表：(1)合并候选列表；及(2)仿射合并候选列表。两个合并模式的一个问题在于，视频编码器可能必须在合并模式中译码当前块，且将合并旗标发送到视频解码器。随后，视频编码器将检查当前块的相邻块(例如A0、B0、B1、A1及A2)是运用仿射帧间模式还是仿射合并模式进行译码。如果这些相邻块中的至少一者满足此条件，那么编码器将仿射旗标用信号发送到解码器，且解码器随后将来自仿射合并候选列表的候选者用于运动向量。作为替代性解决方案，在JEM2.0参考软件中，对于仿射合并模式，仅仅编码及传输仿射旗标。随后运用预定义检查次序A-B-C-D-E(如稍后所论述)将合并索引推断为第一可用相邻仿射模型。
为避免使用需要具有两个不同译码路径(即，合并模式译码路径及仿射合并模式译码路径)的两种不同合并模式，提议统一合并模式候选列表。具有统一合并模式候选列表促使解码器必须避免检测及解析额外旗标(即，先前设定的仿射旗标)。另外，存在一种更高效解决方案，这是因为相比维持两个单独列表：合并候选列表及仿射合并候选列表，具有一个统一候选列表存在复杂性降低。此外，可改进译码性能。
视频解码器的复杂度层级已演进，使得还可在视频解码器中执行可在视频编码器中执行的数个操作。举例来说，编码器及解码器两者均可独立于当前块的数据确定何为统一候选列表。然而，在不从编码器接收数据的情况下，关于可使用统一候选列表中的与当前块相关联的哪个候选者，视频解码器可能不会始终做出相同确定。这可能因为有时先前帧的运动向量可与当前视频块的编码或解码一起使用而出现。
上文阐述的问题的解决方案是使视频解码器使用经配置以接收包含经编码视频数据的位流的一或多个处理器，其中所述经编码视频数据包含视频数据的经编码当前块。所述位流可存储在存储器中，且“接收”可视为位流的“检索”。举例来说，视频经压缩且存储在存储器中。视频解码器可检索经压缩视频且将其解压缩，即，解码位流且重构经压缩视频。另外，一或多个处理器可经配置以在位流中接收一或多个位，所述一或多个位表示旗标且指示视频数据的经编码当前块是基于统一候选列表进行编码。统一候选列表可包含基于一或多个平移运动向量的运动向量候选者，及基于一或多个仿射运动向量的运动向量候选者。此外，一或多个处理器可经配置以响应于表示旗标的一或多个位而接收合并索引。合并索引可指示统一候选列表中的哪个候选者与视频数据的经编码当前块的运动向量相关联。一或多个处理器还可经配置以基于合并索引从统一候选列表选择候选者的一或多个运动向量，其中所述候选者具有对应于统一候选列表内的平移运动向量或仿射运动向量的运动向量中的一或多者。视频数据的预测值块可由一或多个处理器确定，且经配置以基于选自候选列表的所述或多个运动向量进行确定。一或多个处理器可接着经配置以基于视频数据的预测值块重构视频数据的当前块。
解决方案的额外上下文将参考附图且在下文具体实施方式中进行描述。
运动信息
在H.265/HEVC中，对于每一块，运动信息集合可为可用的。运动信息集合可含有用于前向及后向预测方向的运动信息。前向及后向预测方向为双向预测模式的两个预测方向，且术语“前向”及“后向”未必具有几何含义；实情为，其对应于当前图片的参考图片列表0(RefPicList0)及参考图片列表1(RefPicList1)。当仅仅一个参考图片列表可用于图片或切片时，仅仅RefPicList0可为可用的，且切片的每一块的运动信息为前向的。
对于每一预测方向，运动信息可含有参考索引及运动向量。在一些情况下，为简单起见，可以假定运动向量自身具有相关联参考索引的方式参考所述运动向量。参考索引可用于识别当前参考图片列表(RefPicList0或RefPicList1)中的参考图片。运动向量具有水平分量及竖直分量。
POC
视频译码标准中广泛使用图片次序计数(POC)以识别图片的显示次序。虽然存在一个经译码视频序列内的两个图片可具有相同POC值的情况，但经译码视频序列内通常不发生此类情况。当位流中存在多个经译码视频序列时，就解码次序来说，具有相同POC值的图片可更接近于彼此。
图片的POC值常用于参考图片列表构造及参考图片集的导出，如同HEVC及运动向量缩放中。
HEVC中的CU结构
在HEVC中，切片中的最大译码单元被称为译码树块(CTB)。CTB含有四叉树，所述四叉树的节点为译码单元。CTB的大小可在HEVC主规范中的16×16到64×64的范围内(尽管技术上可支持8×8CTB大小)。译码单元(CU)可具有与CTB相同的大小，但小到8×8。每一译码单元运用一个模式译码。当CU经帧间译码时，CU可进一步分割成两个或多于两个预测单元(PU)或当不应用另一分割时变为仅一个PU。当一个CU中存在两个PU时，其可为一半大小的矩形或具有CU的1/4或3/4大小的两个矩形大小。
当CU经帧间译码时，针对每一PU存在一个运动信息集合。另外，每一PU是运用唯一帧间预测模式来译码以导出运动信息集合。在HEVC中，最小PU大小为8×4及4×8。
HEVC中的运动预测
在HEVC标准中，对于预测单元(PU)存在两个帧间预测模式，分别命名为合并(跳过被视为合并的特殊状况)及高级运动向量预测(AMVP)模式。
在AMVP或合并模式中，针对多个运动向量预测值维持运动向量(MV)候选列表。当前PU的运动向量(以及合并模式中的参考索引)是通过从MV候选列表获取一个候选者而产生。
MV候选列表针对合并模式含有至多五(“5”)个候选者且针对AMVP模式含有仅两个候选者。合并候选者可含有运动信息集合，例如对应于两个参考图片列表(列表0及列表1)的运动向量及参考索引。如果由合并索引来识别合并候选者，那么参考图片用于当前块的预测，以及确定相关联的运动向量。然而，在AMVP模式下，对于从列表0或列表1的每一可能预测方向，需要明确地将参考索引连同针对MV候选列表的MVP索引一起用信号发送，这是因为AMVP候选者仅含有运动向量。在AMVP模式中，可进一步改进经预测运动向量。
如上文可见，合并候选者对应于整个运动信息集合，而AMVP候选者仅含有用于特定预测方向的一个运动向量及参考索引。
以类似方式从相同空间及时间相邻块导出用于两个模式的候选者。
在现在被称作多功能视频译码(VVC)的JEM中，截至2018年4月，MV候选列表可针对合并模式含有至多七(“7”)个候选者。
空间相邻候选者
尽管从块产生候选者的方法对于合并及AMVP模式来说不同，但对于特定PU(PU0)，空间MV候选者是从图1上展示的相邻块导出。
在合并模式中，可运用图1A上用编号展示的次序导出至多四个空间MV候选者，且如图1A中所示，所述次序如下：左侧(0)、上方(1)、右上方(2)、左下方(3)及左上方(4)。可应用修剪操作以移除相同MV候选者。
在AVMP模式中，如图1B中所示，相邻块被划分成两个群组：由块0及1组成的左群组及由块2、3及4组成的上群组。对于每一群组，参考与由用信号发送的参考索引指示的相同参考图片的相邻块中的潜在候选者具有待选择的最高优先权以形成群组的最终候选者。有可能所有相邻块均不含有指向相同参考图片的运动向量。因此，如果无法发现此类候选者，那么将缩放第一可用候选者以形成最终候选者，因此可补偿时间距离差。
H.265/HEVC中的运动补偿
H.265/HEVC中的运动补偿用于产生用于当前经帧间译码块的预测值。使用四分之一像素精确性运动向量，且使用用于亮度及色度分量的相邻整数像素值来内插分数位置处的像素值。
JVET活动中的仿射运动预测
在当前现有视频编解码器标准中(在VVC之前)，仅将平移运动模型应用于运动补偿预测(MCP)。而在真实世界中，存在许多种类的运动，例如放大/缩小、旋转、透视运动及其它不规则运动。如果我们利用不规则运动在此类测试序列中仅将平移运动模型应用于MCP，那么其将影响预测精确性且可导致低译码效率。
多年来，已尝试设计算法以改进MCP以获得较高译码效率。提议仿射合并及仿射帧间模式来如下处理具有4个参数的仿射运动模型：
(1)
其中(vx0,vy0)为如图2中所示的块的左上角的控制点运动向量，且(vx1,vy1)为右上角的另一控制点运动向量。仿射模式可表示为
(2)
其中w为块的宽度。在当前JEM软件中，仅将仿射运动预测应用于正方形块。然而，根据一实例，可将仿射运动预测应用于非正方形块。类似于常规平移运动译码，可针对仿射运动译码支持两个模式(即，运动信息得以用信号发送的帧间模式及运动信息得以导出的合并模式)。
仿射帧间模式
对于大小等于或大于16×16的每一CU/PU，可如下应用AF_INTER模式。如果当前CU/PU处于AF_INTER模式，那么在位流中用信号发送CU/PU层级中的仿射旗标。建构仿射运动向量预测(MVP)候选列表，其中两个候选者为{(MVP0 0,MVP0 1),(MVP1 0,MVP1 1)}。使用速率-失真成本确定(MVP0 0,MVP0 1)还是(MVP1 0,MVP1 1)被选为当前CU/PU的仿射运动向量预测。如果选择(MVPx 0,MVPx 1)，那么MV0运用MVPx 0译码为预测，且MV0运用MVPx 1译码为预测。针对位流中的当前块用信号发送指示所选择候选者在列表中的位置的索引。
仿射MVP候选列表的构造过程如下。从三个群组收集MV。举例来说，G0:{MV-A,MV-B,MV-C},G1:{MV-D,MV-E},G2{MV-F,MV-G}。块A、B、C、D、E、F及G展示在图3中。首先，获得参考目标参考图片的块的运动向量。随后，如果不可用，那么使用匹配经缩放为目标参考图片的运动向量的运动向量。
对于来自G0、G1、G2的三重(MV0,MV1,MV2)，使用仿射模型用MV0及MV1导出MV2'，随后我们可得出D(MV0,MV1,MV2)＝|MV2-MV2'|。经过来自G0、G1及G2的所有三重，找出产生最小D的三重(MV00,MV01,MV02)，随后设定MVP0 0＝MV00,MVP0 1＝MV01。如果存在多于一个可用的三重，那么找出产生第二最小D的(MV10,MV11,MV12)，随后设定MVP1 0＝MV10,MVP1 1＝MV11。如果候选者未满足，那么针对当前块导出用于非仿射预测块的MVP候选者。举例来说，用于非仿射预测块的MVP候选者为MVP_nonaff0及MVP_nonaff1。如果从三重搜索无法发现(MVP1 0,MVP1 1)，那么我们设定MVP1 0＝MVP1 1＝MVP_nonaff0。
在确定当前仿射CU/PU的MVP之后，应用仿射运动估计且发现(MV0 0,MV0 1)。随后，在位流中译码(MV0 0,MV0 1)与(MVPx 0,MVPx 1)的差。
应用上文所提及的仿射运动补偿预测以产生当前CU/PU的残差。最后，作为传统过程，将当前CU/PU的残差变换、量化及译码成位流。
仿射合并模式
在当前CU/PU以AF_MERGE模式应用时，其从有效相邻经重构块获得运用仿射模式译码的第一块。用于候选者块的选择次序是从左侧、上方、右上方、左下方到左上方，如图4A中所展示。举例来说，如果相邻的左下方块A是以如图4B中所展示的仿射模式译码，那么导出含有块A的CU/PU的左上角、右上角及左下角的运动向量v2、v3及v4。根据v2、v3及v4计算当前CU/PU上的左上角的运动向量v0。类似地，基于v2、v3及v4计算当前CU/PU的右上方的运动向量v1。
在实现当前CU/PU v0及v1的CPMV之后，根据方程式(2)中定义的简化仿射运动模型，产生当前CU/PU的MVF。随后应用仿射运动补偿的预测(“MCP”)。
为识别当前CU/PU是否运用AF_MERGE模式译码，当存在在仿射模式中译码的至少一个相邻块时，在位流中用信号发送仿射旗标。如果如图4A中所展示不存在与当前块相邻的仿射块，那么不会在位流中写入仿射旗标。
为指示仿射合并模式，在合并旗标为1的情况下用信号发送一个affine_flag。如果affine_flag为1，那么运用仿射合并模式译码当前块，且不用信号发送合并索引。如果affine_flag为0，那么运用正常合并模式译码当前块，且随后用信号发送合并索引。下表展示语法设计。
用于仿射模型的熵译码
在HEVC中，使用上下文自适应二进制算术译码(CABAC)来将符号转换为二进制化值。且此过程被称作二进制化。二进制化经由非二进制语法元素与一连串位的唯一映射来实现有效二进制算术译码，所述位被称作二进制。
在JEM2.0参考软件中，对于仿射合并模式，仅仅译码仿射旗标，且以如图4A中所示的预定义检查次序A-B-C-D-E将合并索引推断为第一可用相邻仿射模型。此检查次序类似于关于图1A所论述的检查次序。其中左侧(0)具有在块B到E之前首先进行优先排序的块A。随后，上方(1)具有接下来先于块C到E进行优先排序的块B。紧接着，右上方(2)具有先于块D到E进行优先排序的块C。左下方(3)具有先于块E进行优先排序的块D。最终，左上方(4)最后进行优先排序。
对于仿射帧间模式，针对每一预测列表对两个MVD语法进行译码，指示经导出仿射运动向量与经预测运动向量之间的运动向量差。
四参数(两个MV)仿射及六参数(三个MV)仿射
具有仿射预测的块可自适应地选择使用四参数仿射模型或六参数仿射模型。
具有六(“6”)个参数的仿射模型被定义为
(3)
具有六(“6”)个参数的仿射模型具有三个控制点。换句话说，具有六(“6”)个参数的仿射模型由如图5中所示的三个运动向量确定。MV0为左上角的第一控制点运动向量，MV1为块的右上角的第二控制点运动向量，且MV2为块的左下角的第三控制点运动向量，如图2中所示。
用三个运动向量建构的仿射模型经计算为：
(4)
还可在具有四个参数及六个参数的仿射模型之间切换。举例来说，可切换仿射运动预测方案阐述在专利公开案US2017/0332095A1中。
用于仿射建模的更多运动向量预测方法
还可使用如参考仿射合并模式(上文所阐述)所描述的导出左上角及右上角的运动向量的类似于仿射合并的方式来导出左上角、右上角及左下角的MVP。
统一合并候选列表构造的实例
如对解决方案的介绍中所概述，可将仿射合并候选者及正常合并候选者统一为统一候选列表。根据下文阐述的实例概述改进。可个别地应用以下方法。替代地，可应用其任何组合。
阐述统一合并候选列表构造过程，其可应用于常规(在介绍本发明中的新解决方案之前)平移运动合并模式及仿射运动合并模式，及/或其它类型的运动合并模式。因此，当当前块运用合并模式(merge_flag为1)进行译码时，无需用信号发送例如affine_flag的旗标来指示是否使用仿射合并。
在一个实例中，可用信号发送合并索引来指示使用统一合并候选列表中的哪个合并候选者。换句话说，合并索引可指示统一候选列表中的哪个候选者与视频数据的经编码当前块的运动向量相关联(从视频解码器的视角)。如果从视频编码器的视角，统一候选列表中的哪个候选者可与大致待编码的视频数据的当前块的运动向量相关联。
合并索引在经用信号发送时可表示为旗标。所述旗标可由一或多个位在位流中标记。另外，与统一合并候选列表或“统一候选列表”相关联的合并索引不同于其它技术。举例来说，在常规合并模式中，合并索引为可用以识别HEVC中的至多五个候选者或VVC中的至多七个候选者的索引。然而，在统一候选列表中，运动向量的候选者可识别为由平移运动(例如如同常规合并候选列表中)引起。候选者同样还可识别为由非平移运动(例如如同仿射运动中的旋转及/或缩放)引起。因此，合并索引可为从零(“0”)到七(“7”)加仿射合并候选列表中的仿射运动候选者的数目的值。在一个实例中，可存在可产生于仿射运动的至多四(“4”)个候选者。然而，随着处理器的处理能力增大，或许有可能针对仿射运动使用或识别超过四个候选者。
因此，在基于合并索引识别统一候选列表中的候选者之后，可使用与视频数据的经编码当前块的相关联的对应运动向量从统一候选列表选择候选者的一或多个运动向量。
就此而论，在视频编码器中，装置可包含一或多个处理器，其经配置以选择对应于正常合并候选者的平移运动的一或多个运动向量。一或多个处理器可经配置以选择对应于仿射合并候选者的仿射运动的一或多个运动向量。另外，一或多个处理器可用以构造包括多于一个正常合并候选者及多于一个仿射合并候选者的统一候选列表。一旦构造统一候选列表，一或多个处理器就可经配置以基于多于一个仿射合并候选者及多于一个正常合并候选者的优先排序次序，及作为优先排序的部分的速率失真成本，将合并索引指派到统一候选列表中的多于一个正常合并候选者中的每一者及多于一个仿射合并候选者中的每一者。另外，可在位流中表示统一候选列表中的每一合并索引，且还可在位流中表示统一候选列表。可由一或多个处理器提供位流中的统一候选列表及每一合并索引两者(到总线或存储器)。天线可经配置以进一步以无线方式传输位流。
所属领域的一般技术人员将认识到，一旦从统一候选列表选择候选者的一或多个运动向量，就可确定视频数据的预测值块。
关于解码，预测值块可由视频解码器用以重构当前视频块。换句话说，可存在包含经配置以存储视频数据的经重构当前块的存储器的视频解码器。视频解码器还可包含经配置以接收包含经编码视频数据的位流的一或多个处理器，其中所述经编码视频数据包含视频数据的经编码当前块。视频解码器中的一或多个处理器还可经配置以在位流中接收一或多个位，所述一或多个位表示旗标且指示视频数据的经编码当前块是基于统一候选列表进行编码，所述统一候选列表包含基于一或多个平移运动向量的运动向量候选者及基于一或多个仿射运动向量的运动向量候选者。另外，视频译码器中的一或多个处理器可经配置以响应于表示所述旗标的一或多个位而接收合并索引，所述合并索引指示统一候选列表中的哪个候选者与视频数据的经编码当前块的运动向量相关联。另外，视频解码器中的一或多个处理器可经配置以基于合并索引从统一候选列表选择候选者的一或多个运动向量，其中所述候选者具有对应于统一候选列表内的平移运动向量或仿射运动向量的运动向量中的一或多者。一旦视频解码器中的一或多个处理器从候选列表选择一或多个运动向量，一或多个处理器就可经配置以确定视频数据的预测值块，且基于视频数据的预测值块重构视频数据的当前块。
候选者在包含对应于平移运动向量的一或多个运动向量时为统一候选列表中的正常合并候选者，且在所述候选者包含对应于仿射运动的一或多个运动向量时为统一候选列表中的仿射合并候选者。
另外，来自统一列表的正常合并候选者的运动向量及从统一列表选择仿射合并候选者的运动向量可基于统一候选列表中的正常合并候选者及仿射合并候选者的优先排序次序。
在另一实例中，当前块选择常规平移运动还是仿射运动补偿可取决于合并候选列表及/或合并索引及/或空间及/或时间相邻块。举例来说，可存在关于图8A到8E进一步论述的次序依赖性。
仿射合并候选者可在合并列表构造过程期间被识别。如果当前块经译码为合并模式，且选择使用标记为仿射合并候选者的合并候选者，那么当前块可应用仿射运动补偿，其中控制点的运动信息由仿射合并候选者提供。
统一合并候选列表构造过程确定合并候选者，其中merge_index借以为合并仿射候选者。仿射合并候选者提供多个控制点的运动信息，例如运用4参数仿射模型的两个控制点、运用6参数仿射模型的三个控制点。
在一些状况下，统一合并候选列表构造过程标记(即，确定)一些合并候选者(一或多个)可被视为仿射合并候选者。
替代地，统一合并候选列表构造过程可不将候选者标记为仿射合并候选者。决定多少个仿射合并候选者包含在合并候选列表中可取决于一些条件，所述条件包含(但不限于)：空间及/或时间相邻块的可得性；空间及/或时间相邻块的译码模式；空间及/或时间相邻块的运动信息；空间及/或时间相邻块的块宽度及/或高度；当前块的块宽度及/或高度；在序列、图片或切片层级下是否允许仿射预测。空间相邻块可包含邻近及非邻近相邻块。
在一个实例中，如果相邻块X属于运用仿射预测进行译码的CU，那么从相邻块X导出一个仿射合并候选者。图6展示一实例。相邻块A属于运用仿射预测进行译码的CU块AA。随后，可从块A导出仿射合并候选者。
假设块AA的三个控制点的MV为MV0'、MV1'、MV2'；块AA的宽度及高度为W'及H'；块AA的左上像素的坐标为(x',y')；当前块的宽度及高度为W及H；当前块的左上像素的坐标为(x,y)。随后，所导出仿射合并候选者的当前块的三个控制点的MV可计算为
(5)
(6)
(7)
在一个实例中，如果相邻块X属于运用仿射预测进行译码的CU。在另一实例中，所导出仿射合并候选者的当前块的三个控制点的MV可计算为
(8)
(9)
(10)
在另一实例中，MV0及MV1通过(5)(6)或(8)(9)进行计算，且MV2随后计算为
(11)
在一个实例中，仿射合并候选者的帧间预测方向(从List0的单向预测、从List1的单向预测或双向预测)等于经仿射译码的相邻块的帧间预测方向，其中从所述帧间预测方向导出经仿射译码的相邻块。
在图6的实例中，如果经仿射译码的块AA使用从List0中的参考图片X的单向预测，那么当前块的对应仿射合并候选者还使用从List0的单向预测，且仅仅导出参考List0中的参考图片X的控制点MV；如果经仿射译码的块AA使用从List1中的参考图片Y的单向预测，那么当前块的对应仿射合并候选者还使用从List1的单向预测，且仅仅导出参考List1中的参考图片Y的控制点MV；如果经仿射译码的块AA使用从List0中的参考图片X及List1中的参考图片Y的双向预测，那么当前块的对应仿射合并候选者还使用双向预测，且导出参考List0中的参考图片X及List1中的参考图片Y两者的控制点MV。
替代地，可从合并候选列表中的多个仿射合并候选者导出帧间预测方向。在一个实例中，如果一个仿射合并候选者从相邻块X导出且附加到合并候选列表中，那么来自相邻块X的正常合并候选者未附加到合并候选列表中。
在图6的实例中，相邻块A属于运用仿射预测进行译码的CU块AA。随后，可从块A导出仿射合并候选者。但来自块A的正常合并候选者未附加到合并候选列表中。在此实例中，运动向量MV_A未附加到合并候选列表中。
在一个实例中，如果一个仿射合并候选者从相邻块X导出且附加到合并候选列表中，那么来自相邻块X的正常合并候选者在来自相邻块X的仿射合并候选者之后附加到合并候选列表中。
在图6的实例中，相邻块A属于运用仿射预测进行译码的CU块AA。随后，可从块A导出仿射合并候选者。随后，来自块A的正常合并候选者运用控制点MV(MV0、MV1、MV2)在仿射合并候选者之后附加到合并候选列表中。在此实例中，运动向量MV_A附加到合并候选列表中。
在一个实例中，来自相邻块X的正常合并候选者首先附加到合并候选者中。如果一个仿射合并候选者可从相邻块X导出，那么仿射合并候选者在来自相邻块X的正常合并候选者之后附加到合并候选列表中。
在图6的实例中，运动向量MV_A附加到合并候选列表中。随后，如果相邻块A属于运用仿射预测进行译码的CU块AA，那么仿射合并候选者可从块A导出，且在正常合并候选者之后附加到候选列表中。
在一个实例中，合并仿射候选者可从当前图片中的非邻近相邻块导出。图7展示一实例。块N为非邻近相邻块。块N属于运用仿射预测进行译码的CU块NN。随后，可从块N导出仿射合并候选者。假设块NN的三个控制点的MV为MV0'、MV1'、MV2'；块AA的宽度及高度为W'及H'；块NN的左上像素的坐标为(x',y')；当前块的宽度及高度为W及H；当前块的左上像素的坐标为(x,y)。随后，所导出仿射合并候选者的当前块的三个控制点的MV可计算为(5)(6)(7)或(8)(9)(10)。替代地，MV0及MV1通过(5)(6)或(8)(9)进行计算，且MV2随后计算为(11)。
以下情况也可为可能的：如果块X为非邻近相邻块，那么三个先前实例也是可能的。即，即使块X为非邻近相邻块，但(a)如果一个仿射合并候选者从相邻块X导出且附加到合并候选列表中，那么来自相邻块X的正常合并候选者在来自相邻块X的仿射合并候选者之后附加到合并候选列表中；(b)如果一个仿射合并候选者可从相邻块X导出，那么仿射合并候选者在来自相邻块X的正常合并候选者之后附加到合并候选列表中；及(c)合并仿射候选者可从当前图片中的非邻近相邻块导出。
考虑图7的实例，其中非邻近相邻块N属于运用仿射预测进行译码的CU块NN。随后，可从块N导出仿射合并候选者。但来自块N的正常合并候选者未附加到合并候选列表。在此实例中，运动向量MV_N未附加到合并候选列表。
替代地，在图7的实例中，仿射合并候选者可从非邻近相邻块N导出。随后，来自块N的正常合并候选者运用控制点MV(MV0、MV1、MV2)在仿射合并候选者之后附加到合并候选列表中。在此实例中，运动向量MV_N附加到合并候选列表中。替代地，在图7的实例中，运动向量MV_N附加到合并候选列表中。随后，如果非邻近相邻块N属于运用仿射预测进行译码的CU块NN，那么可从块N导出仿射合并候选者，且在正常合并候选者之后附加到候选列表中。
仿射合并候选者可经修剪。如果以下所有条件为真，那么两个仿射合并候选者是相同的：
(1)其具有相同帧间预测方向(从List0的单向预测、从List1的单向预测或双向预测)；
(2)随后，在使用从ListX的单向预测的情况下具有ListX中的相同参考图片(X为0或1)，或在使用双向预测的情况下具有ListX中的相同参考图片及ListY中的相同参考图片(Y！＝X)；
(3)在使用从ListX的单向预测的情况下针对ListX的多个控制点(例如图6中所示的MV0、MV1及MV2)具有相同运动向量，或在使用双向预测的情况下针对ListX及ListY两者的多个控制点具有相同运动向量(Y！＝X)。
替代地，如果以下所有条件为真，那么两个仿射合并候选者是相同的：
(1)其具有相同帧间预测方向(从List0的单向预测、从List1的单向预测或双向预测)；
(2)随后，在使用从ListX的单向预测的情况下具有ListX中的相同参考图片(X为0或1)，或在使用双向预测的情况下具有ListX中的相同参考图片及ListY中的相同参考图片(Y！＝X)；
(3)在使用从ListX的单向预测的情况下针对ListX的多个控制点(例如图6中所示的MV0、MV1)具有相同运动向量，或在使用双向预测的情况下针对ListX及ListY两者的多个控制点具有相同运动向量(Y！＝X)。
未将一个仿射合并候选者附加到合并候选列表，其中存在等同于所述仿射合并候选者的一个仿射合并候选者。
仿射合并候选者的插入
在一个实例中，未将一个仿射合并候选者附加到合并候选列表中以成为统一候选列表的部分，其中其具有MV0＝MV1＝MV2。
在另一实例中，未将一个仿射合并候选者附加到合并候选列表中以成为统一候选列表的部分，其中其具有MV0＝MV1。
在另一实例中，合并候选者构造过程中不允许仿射合并候选者来形成统一候选列表，其中当前块的大小低于例如8×8或16×16的整数。
此外，合并候选者构造过程中不允许仿射合并候选者来形成统一候选列表，其中Min(W,H)低于例如8或16的整数。当前块的宽度及高度分别为W及H。
另外，合并候选者构造过程中不允许仿射合并候选者来形成统一候选列表，其中Max(W,H)低于例如8或16的整数。当前块的宽度及高度分别为W及H。
仿射合并候选者及正常合并候选者的次序
在一个实例中，仿射合并候选者可在统一合并候选列表中的所有正常合并候选者之前进行优先排序。举例来说，来自相邻块A、B、C及D的仿射合并候选者可在合并候选列表中的所有正常合并候选者之前进行优先排序。应注意，仿射合并候选者及正常合并候选者的次序可自适应地变化。在一个实例中，其可取决于相邻块的运动信息/模式信息/块大小。
图8A到8E展示一些示范性合并候选列表构造检查相对次序。次序是相对的，意指出自本文的其它类型的候选者可插入在图8A到图8E中的一或多个图中的两个候选者之间。然而，两个候选者的相对次序未必改变。应注意，在本发明中，有时使用术语统一候选列表，且所述术语可与统一合并候选列表同义，这是因为统一合并候选列表包括来自仿射合并模式或合并模式的候选者，即，合并到统一合并候选列表上的候选者。然而为方便起见，所述列表也可恰好被称作统一候选列表。
在一个实例中，空间/时间邻近/非邻近相邻块被视为仿射块，其运用仿射帧间模式进行译码，或其运用合并/跳过模式进行译码，且所选择合并候选者为仿射合并候选者。替代地，其中所述块运用仿射帧间模式进行译码，而非包含合并/跳过模式的任何其它模式。
当计算CABAC上下文以用于用信号发送非合并/跳过经帧间译码块的affine_flag时，在相邻块运用合并/跳过模式进行译码的情况下将所述相邻块处理为未经仿射译码。替代地，当计算CABAC上下文以用于用信号发送非合并/跳过经帧间译码块的affine_flag时，在相邻块运用合并/跳过模式进行译码的情况下将所述相邻块处理为未经仿射译码。
在一个实例中，统一合并候选列表中的仿射合并候选者的数目不允许大于整数N。举例来说，N可为例如3或5的预定义数目。
替代地，在不同块中，N可自适应地变化。替代地，可在序列层级(例如在序列参数集(SPS)中)、在图片层级(例如在图片参数集(PPS)中)、在切片层级(例如在切片标头中)、在译码树单元(CTU)层级、译码单元(CU)层级或预测单元(PU)层级中将N从编码器用信号发送到解码器。如果统一合并候选列表中的仿射合并候选者的数目为N，那么不应将更多仿射合并候选者插入到统一合并候选列表中。替代地，如果统一合并候选列表中的仿射合并候选者的数目为N，那么必须移除合并候选列表中的一个现有仿射合并候选者，其中新的仿射合并候选者被插入到统一合并候选列表中。
图8A到8E表示包含候选者的相对优先排序次序的检查的示范性统一合并候选列表构造。来自块的正常合并候选者的相对位置是如图1A中所描述。来自块的仿射合并候选者的相对位置是如图4A中所描述。另外，在适当的情况下，图6及图7的与仿射合并候选者相关的描述可为可适用的。
举例来说，在图8A中，在来自相邻块B到E的其它正常合并候选者及仿射合并候选者之前，优先排序来自相邻块A(相对于当前块的左侧块)(参见图1A)的正常合并候选者及来自相邻块A的仿射合并候选者(参见图4A)(相对于当前块的左侧块)。检查相关联运动向量的其它块候选者次序如下：接下来，先于来自块C到E的正常合并候选者及仿射合并候选者，优先排序来自块B的正常合并候选者及仿射合并候选者两者。接下来，先于来自块D到E的正常合并候选者及仿射合并候选者，优先排序来自块C的正常合并候选者及仿射合并候选者。先于正常合并及仿射合并候选者块E，优先排序正常合并候选者及仿射合并候选者。最终，来自块E的正常合并及仿射合并候选者最后进行优先排序。
在图8B中，例如，先于来自空间相邻块A到E的仿射合并候选者，优先排序来自空间相邻块A到E的正常合并候选者。随后，先于时间仿射合并候选者，优先排序时间正常合并候选者。接下来，检查来自非邻近空间相邻块的正常合并候选者。最终，检查来自非邻近空间相邻块的仿射合并候选者。
在图8C中，例如，先于来自空间相邻块A到E的正常合并候选者，优先排序来自空间相邻块A到E的仿射合并候选者。随后，先于时间仿射合并候选者，优先排序时间正常合并候选者。接下来，检查来自非邻近空间相邻块的正常合并候选者。最终，检查来自非邻近空间相邻块的仿射合并候选者。
然而，在图8D中，例如，类似于图8C中的检查次序，在来自块A到D的仿射合并候选者及来自块A到D的正常合并候选者之后优先排序来自块E的仿射合并候选者及来自块E的正常合并候选者。随后，先于来自空间相邻块A到E的正常合并候选者，优先排序来自空间相邻块A到E的仿射合并候选者。随后，先于时间正常合并候选者优先排序时间仿射合并候选者。接下来可检查来自非邻近空间相邻块的仿射合并候选者。最终，检查来自非邻近空间相邻块的正常合并候选者。
在图8E中，例如，在来自相邻块B到E的其它合并候选者之前，优先排序来自相邻块A(相对于当前块的左侧块)(参见图4A)的仿射合并候选者及来自相邻块A(参见图1A)(相对于当前块的左侧块)的正常合并候选者。其它候选者检查次序如下：接下来，先于来自块C到E的仿射合并候选者及正常合并候选者，优先排序来自块B的仿射合并及正常合并候选者。紧接着，先于来自块D到E的仿射合并及正常合并候选者，优先排序来自上文块C的仿射合并及正常合并候选者。先于来自块E的仿射合并候选者及正常合并候选者，优先排序来自块D的仿射合并候选者及正常合并候选者。最终，来自块E的仿射合并及候选者及正常合并候选者最后进行优先排序。
图9A绘示用于运用本发明中所描述的一或多种技术的视频编码的流程图。用于对视频数据的经编码当前块进行视频编码的装置可包含一或多个处理器，其可经配置以选择对应于正常合并候选者的平移运动的一或多个运动向量1106A。另外，一或多个处理器可经配置以基于多于一个仿射合并候选者及多于一个正常合并候选者的优先排序次序，构造包括多于一个正常合并候选者及多于一个仿射合并候选者的统一候选列表，其中所述多于一个正常合并候选者及所述多于一个仿射合并候选者与统一候选列表的索引相关联1108A。此外，一或多个处理器可经配置以基于与统一候选列表中的正常合并候选者或仿射合并候选者相关联的成本，从统一候选列表的索引选择合并索引。一或多个处理器可经配置以在位流中提供所述合并索引。最终，装置可包含经配置以存储所述合并索引的存储器1116A。
图9B绘示用于运用本发明中所描述的一或多种技术的视频解码的流程图。装置可包含经配置以存储视频数据的经重构当前块的存储器1104B。用于对视频数据的经编码当前块进行视频解码的装置可包含一或多个处理器，其可经配置以在位流中接收一或多个位，所述一或多个位表示旗标且指示视频数据的经编码当前块是基于统一候选列表进行编码，所述统一候选列表包含基于一或多个平移运动向量的运动向量候选者及基于一或多个仿射运动向量的运动向量候选者1106B。另外，一或多个处理器可经配置以接收合并索引，其指示统一候选列表中的哪个候选者与视频数据的经编码当前块的运动向量相关联1108B。此外，一或多个处理器可经配置以基于合并索引从统一候选列表选择候选者的一或多个运动向量，其中所述候选者具有对应于统一候选列表内的平移运动向量或仿射运动向量的运动向量中的一或多者1110B。一或多个处理器还可经配置以基于来自候选列表的所选择的一或多个运动向量确定视频数据的预测值块1112B。一或多个处理器可经配置以基于视频数据的预测值块重构视频数据的当前块1114B。
图10为绘示可实施本发明中描述的技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧或图片内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。帧间模式(例如单向预测(P模式)或双向预测(B模式))可指若干基于时间的压缩模式中的任一者。
在图10的实例中，视频编码器20包含视频数据存储器33、分割单元35、预测处理单元41、求和器50、变换处理单元52、量化单元54、熵编码单元56。预测处理单元41包含运动估计单元(MEU)42、运动补偿单元(MCU)44及帧内预测单元46。对于视频块重构，视频编码器20还包含反量化单元58、反变换处理单元60、求和器62、滤波器单元64及经解码图片缓冲器(DPB)66。
视频编码器20内所绘示的一或多个单元可为专用集成电路(ASIC)的部分。替代地或另外，视频编码器20内所绘示的一或多个单元可实施在一个处理器中，或替代地，在其它实施例中，实施在一或多个处理器中。
如图10中所示，视频编码器20从相机接收视频数据，且将所接收的视频数据连同元数据存储在视频数据存储器33中。视频数据存储器33可存储待由视频编码器20的组件编码的视频数据。可例如从视频源18获得存储在视频数据存储器33中的视频数据。DPB 66可为存储参考视频数据以供视频编码器20(例如在帧内或帧间译码模式中)编码视频数据的参考图片存储器。视频数据存储器33及DPB 66可由例如动态随机存取存储器(DRAM)的各种存储器装置中的任一者形成，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器33及DPB 66可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器33可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
分割单元35从视频数据存储器33检索视频数据且将视频数据分割成视频块。此分割还可包含分割成切片、图块或其它较大单元以及例如根据LCU及CU的四叉树结构分割的视频块。举例来说，在不同实施例中，分割单元35可产生序列参数集(SPS)及/或图片参数集(PPS)。视频编码器20大体上绘示编码待编码的视频切片内的视频块的组件。切片可划分成多个视频块(且可能划分成被称作图块的视频块集合)。预测处理单元41可基于误差结果(例如译码速率及失真程度)，针对当前视频块选择多个可能译码模式中的一者，例如多个帧内译码模式中的一者或多个帧间译码模式中的一者。预测处理单元41可将所得的经帧内或帧间译码块提供到求和器50以产生残差块数据且提供到求和器62以重构经编码块以用作参考图片。
预测处理单元41还可为可经配置以在合并模式中操作的一或多个处理器的部分，其处理统一候选列表以预测经译码块的运动向量。
统一候选列表可包含基于选择对应于平移运动的一或多个运动向量的正常合并候选者。另外，候选列表可包含基于选择对应于仿射运动的一或多个运动向量的仿射合并候选者。一或多个正常合并候选者及一或多个仿射合并候选者可用以构造统一候选列表。统一候选列表可基于多于一个仿射合并候选者及多于一个正常合并候选者的优先排序次序或预定义次序。在一实例中，统一候选列表中的正常合并候选者及仿射合并候选者可与统一候选列表的索引相关联。可基于与统一候选列表中的正常合并候选者或仿射合并候选者相关联的成本，从统一候选列表的索引选择合并索引。视频编码器20可在位流中提供合并索引。
图8A到8E中的统一候选列表的实例可基于优先排序次序。优先排序次序可自身为预定义次序。因此，图8A到8E中的实例可为基于优先排序次序的五个不同预定义列表。替代地，其可为基于优先排序次序的五个不同动态列表。
如果编码是基于单向预测，那么所选择候选者(即，与合并索引相关联的候选者)的一或多个运动向量可用以获得用于编码的参考图片中的第一预测块。
替代地，在使用双向预测的编码期间，所选择候选者(即，在帧间模式中与合并索引相关联的候选者)的一或多个运动向量可用以获得第一参考图片中的第一预测块及第二参考图片中的第二预测块。在一实施例中，第一预测块可为最终预测块。替代地，在一实施例中，第二预测块可为最终预测块。在又一实施例中，可从第一预测块及第二预测块的组合确定最终预测。
此外，帧间模式中的预测块还可基于空间候选者块或时间候选者块的运动向量。作为一实例，使用来自空间相邻块的运动向量获得第一预测块及第二预测块。在另一实例中，基于时间相邻候选者块的运动向量获得第一预测块及第二预测块。在另一实例中，相邻候选者块在相同切片或图块或LCU或行或图片的群组内。
在另一实例中，相邻候选者块定位在一或多个先前经译码帧中。此外，第一预测块继承来自相邻候选者块的运动信息，且相邻候选者块的相对位置得以预定义。另外，根据预定规则基于相邻候选者块的运动信息获得第二预测块。
预测处理单元41内的帧内预测单元46可执行当前视频块相对于相同帧或切片中的一或多个相邻块或样本的帧内预测性译码，作为待译码以提供空间压缩的当前块。
存在可结合预测处理单元41内的运动补偿单元44使用，且可执行当前视频块相对于一或多个参考图片中的一或多个预测性块的帧间预测性译码，以提供时间压缩的运动估计单元42。
运动估计单元42可经配置以根据视频序列的预定图案确定用于视频块的运动向量。由运动估计单元42执行的运动估计为产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可指示将当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的位移。
预测性块为就像素差来说被发现紧密地匹配待译码的视频块的PU的块，所述像素差可由绝对差和(SAD)、平方差和(SSD)或其它差度量确定。在一些实例中，视频编码器20可计算存储在DPB 66中的参考图片的子整数像素位置的值。
举例来说，视频编码器20可内插所述参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行关于全像素位置及分数像素位置的运动搜索且输出具有分数像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置而计算经帧间译码切片中的视频块的PU的运动向量。
参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，参考图片列表中的每一者识别存储在DPB 66中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计(可能执行内插到子像素精确度)确定的运动向量而提取或产生预测性块。在接收到当前视频块的PU的运动向量之后，运动补偿单元44可在参考图片列表中的一者中定位运动向量所指向的预测性块。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值来形成残差视频块，从而形成像素差值。像素差值形成用于块的残差数据，且可包含亮度及色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44还可产生与视频块及视频切片相关联的语法元素以供视频解码器30用于在解码视频切片的视频块时使用。
在预测处理单元41经由帧内预测模式或帧间预测模式任一者产生用于当前视频块的最终预测性块之后，视频编码器20通过从当前视频块减去预测性块来形成残差视频块。残差块中的残差视频数据可包含在一或多个TU中且被应用于变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似变换的变换将残差视频数据变换成残差变换系数。变换处理单元52可将残差视频数据从像素域转换到变换域(例如频域)。
变换处理单元52可将所得的变换系数发送到量化单元54。量化单元54量化变换系数以进一步减少位速率。量化过程可减小与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。在另一实例中，熵编码单元56可执行所述扫描。
在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在由熵编码单元56熵编码之后，经编码位流可被传输到视频解码器30，或经存档以供视频解码器30稍后传输或检索。熵编码单元56还可对当前正译码的视频切片的运动向量及其它语法元素进行熵编码。
反量化单元58及反变换处理单元60分别应用反量化及反变换以重构像素域中的残差块以供稍后用作参考图片的参考块。运动补偿单元44可通过将残差块与参考图片列表中的一者内的参考图片中的一者的预测性块相加来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构残差块以计算子整数像素值以用于运动估计。求和器62将经重构残差块与由运动补偿单元44产生的运动补偿预测块相加以产生经重构块。
滤波器单元64对经重构块(例如求和器62的输出)进行滤波且将经滤波的经重构块存储在DPB 66中以供用作参考块。参考块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频帧或图片中的块进行帧间预测。滤波器单元64可执行任何类型的滤波，例如解块滤波、SAO滤波、ALF及/或GALF，及/或其它类型的回路滤波器。解块滤波器可例如将解块滤波应用于滤波器块边界，以从经重构视频移除块效应伪影。SAO滤波器可将偏移应用于经重构像素值，以便改进总体译码质量。还可使用额外回路滤波器(回路中或回路后)。
图11为绘示可实施本发明中所描述的技术的实例视频解码器30的框图。图11的视频解码器30可例如经配置以接收上文关于图10的视频编码器20所描述的信号发送。在图11的实例中，视频解码器30包含视频数据存储器78、熵解码单元80、预测处理单元81、反量化单元86、反变换处理单元88、求和器90及DPB 94。预测处理单元81包含运动补偿单元82及帧内预测单元84。在一些实例中，视频解码器30可执行与关于视频编码器20所描述的编码遍次大体上互逆的解码遍次。
视频解码器30内所绘示的一或多个单元可为专用集成电路(ASIC)的部分。替代地或另外，视频解码器30内所绘示的一或多个单元可实施在一个处理器中，或替代地，在其它实施例中，实施在一或多个处理器中。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联的语法元素的经编码视频位流。视频解码器30将所接收的经编码视频位流存储在视频数据存储器78中。视频数据存储器78可存储待由视频解码器30的组件解码的视频数据(例如经编码视频位流)。存储在视频数据存储器78中的视频数据可例如经由链路16、从存储装置26或从本地视频源(例如相机)或通过存取物理数据存储媒体而获得。视频数据存储器78可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。DPB94可为存储参考视频数据以供视频解码器30(例如在帧内或帧间译码模式中)解码视频数据的参考图片存储器。视频数据存储器78及DPB 94可由各种存储器装置中的任一者形成，所述存储器装置是例如DRAM、SDRAM、MRAM、RRAM或其它类型的存储器装置。视频数据存储器78及DPB 94可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器78可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频解码器30的熵解码单元80对存储在视频数据存储器78中的视频数据进行熵解码以产生经量化系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转递到预测处理单元81。视频解码器30可在视频切片层级及/或视频块层级接收语法元素。
当视频切片经译码为经帧内译码(I)切片时，预测处理单元81的帧内预测单元84可基于来自当前帧或图片的先前经解码块的用信号发送的帧内预测模式及数据来产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码切片(例如B切片或P切片)时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量及其它语法元素产生用于当前视频切片的视频块的最终预测性块。最终预测性块可从参考图片列表中的一者内的参考图片中的一者产生。
预测处理单元81还可为一或多个处理器的部分，所述一或多个处理器可经配置以在处理统一候选列表的合并模式中操作。
在此模式中，一或多个处理器可经配置以在位流中接收一或多个位，所述一或多个位表示旗标且指示视频数据的经编码当前块是基于统一候选列表进行编码，所述统一候选列表包含基于一或多个平移运动向量的运动向量候选者及基于一或多个仿射运动向量的运动向量候选者。一或多个处理器可经配置以还接收指示统一候选列表中的哪个候选者的合并索引。构造可具有统一候选列表，其包括正常合并候选者及仿射合并候选者两者。即，视频解码器还可基于相邻候选者块构造统一候选列表。解码器可接着基于合并索引从统一候选列表选择候选者的一或多个运动向量，其中所述候选者具有对应于统一候选列表内的平移运动向量或仿射运动向量的运动向量中的一或多者。此外，视频解码器可基于来自候选列表的所选择的一或多个运动向量确定视频数据的预测值块。预测值块可为上文提及的最终产生的预测块，且基于视频数据的预测值块重构视频数据的当前块。视频数据的经重构当前块可存储在存储器(例如DBP 94)中。
预测处理单元81可为可经配置以重构视频数据的当前块的一或多个处理器的部分，且可基于预测块使用统一列表中的正常合并候选者或仿射合并候选者的运动向量进行重构。
此外，用于预测的运动向量还可来自空间或时间相邻候选者块。作为一实例，使用来自相邻候选者块的运动向量产生第一预测块及第二预测块。在另一实例中，使用空间相邻块的运动向量产生第一预测块及第二预测块。在另一实例中，使用时间相邻块产生第一预测块及第二预测块。在另一实例中，相邻块在相同切片或图块或LCU或ROW或图片的群组内。
视频解码器30可基于存储在DPB 94中的参考图片使用默认构造技术来构造参考帧列表：列表0及列表1。
反量化单元86反量化(即，解量化)位流中所提供并由熵解码单元80解码的经量化变换系数。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数，以确定量化程度并同样地确定应被应用的反量化程度。反变换处理单元88将反变换(例如反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数以便在像素域中产生残差块。
在预测处理单元81使用例如帧内或帧间预测产生当前视频块的预测性块后，视频解码器30通过将来自反变换处理单元88的残差块与由运动补偿单元82产生的对应预测性块求和而形成经重构视频块。求和器90表示执行此求和运算的一或多个组件。
滤波器单元92对经重构块(例如求和器90的输出)进行滤波且将经滤波的经重构块存储在DPB 94中以供用作参考块。参考块可由运动补偿单元82用作参考块以对后续视频帧或图片中的块进行帧间预测。滤波器单元92可执行任何类型的滤波，例如解块滤波、SAO滤波、ALF及/或GALF，及/或其它类型的回路滤波器。解块滤波器可例如将解块滤波应用于滤波器块边界，以从经重构视频移除块效应伪影。SAO滤波器可将偏移应用于经重构像素值，以便改进总体译码质量。还可使用额外回路滤波器(回路中或回路后)。
所属领域的一般技术人员将认识到，取决于所述实例，本文所描述的方法中的任一者的某些动作或事件可以不同序列执行，可被添加、合并或一起省略(例如并非所有所描述动作或事件对于所述方法的实践来说均为必要的)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。
结合本文中所揭示的实例而描述的各种说明性逻辑块、模块、电路及算法步骤可被实施为电子硬件、计算机软件或两者的组合。为清楚地说明硬件与软件的此可互换性，各种说明性组件、块、模块、电路及步骤已在上文大体按其功能性加以描述。此功能性被实施为硬件还是软件取决于特定应用及强加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用而以变化的方式实施所描述的功能性，而但不应将这些实施决策解释为致使脱离本发明的范围。
因此，本文中描述的技术可以硬件、软件、固件或其任何组合来实施。这些技术可实施在多种装置中的任一者中，例如通用计算机、无线通信装置手机或具有多种用途(包含在无线通信装置手机及其它装置中的应用)的集成电路装置。可将描述为模块或组件的任何特征共同实施在集成逻辑装置中或分开实施为离散但可互操作的逻辑装置。如果以软件来实施，那么所述技术可至少部分地由包括包含当经执行时执行以上描述方法中的一或多者的指令的程序代码的计算机可读数据存储媒体实现。计算机可读数据存储媒体可形成计算机程序产品的部分，计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)，例如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等等。另外或替代地，所述技术可至少部分地由计算机可读通信媒体实现，所述计算机可读通信媒体载送或传达呈指令或数据结构的形式且可由计算机存取、读取及/或执行的程序代码，例如传播的信号或波。
程序代码或指令可由可包含一或多个处理器的处理器执行，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中所描述的技术中的任一者。通用处理器可为微处理器；但在替代例中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可被实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指以下各者中的任一者：前述结构、前述结构的任何组合，或适合于实施本文中所描述的技术的任何其它结构或设备。此外，在一些方面中，本文中描述的功能性可提供在经配置用于编码及解码的专用软件模块或硬件模块，或并入在组合式视频编码器-解码器(编解码器)中。
本文中所论述的译码技术可为实例视频编码及解码系统中的实施例。系统包含源装置，源装置提供将由目的地装置稍后解码的经编码视频数据。具体地说，源装置经由计算机可读媒体将视频数据提供到目的地装置。源装置及目的地装置可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记本计算机(即，膝上型计算机)、平板计算机、机顶盒、例如所谓的“智能”电话的电话手机、所谓的“智能”平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式处理装置等等。在一些状况下，源装置及目的地装置可经装备以用于无线通信。
目的地装置可经由计算机可读媒体接收待解码的经编码视频数据。计算机可读媒体可包括能够将经编码视频数据从源装置移动到目的地装置的任何类型的媒体或装置。在一个实例中，计算机可读媒体可包括用以使源装置能够实时地将经编码视频数据直接传输到目的地装置的通信媒体。可根据通信标准(例如无线通信协议)调制经编码视频数据，且将经编码视频数据传输到目的地装置。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于数据包的网络(例如局域网、广域网或例如互联网的全局网络)的部分。通信媒体可包含路由器、交换机、基站，或可用于促进从源装置到目的地装置的通信的任何其它设备。
在一些实例中，经编码数据可从输出接口输出到存储装置。类似地，可由输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适数字存储媒体。在另一实例中，存储装置可对应于可存储由源装置产生的经编码视频的文件服务器或另一中间存储装置。目的地装置可经由流式处理或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据传输到目的地装置的任何类型的服务器。实例文件服务器包含网页服务器(例如用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置可经由任何标准数据连接(包含互联网连接)来存取经编码视频数据。这可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如Wi-Fi连接)、有线连接(例如DSL、电缆调制解调器等等)，或两者的组合。经编码视频数据从存储装置的传输可为流式处理传输、下载传输或其组合。
本发明的技术未必限于无线应用或设定。在一个实例中，源装置包含视频源、视频编码器及输出接口。目的地装置可包含输入接口、视频解码器及显示装置。源装置的视频编码器可经配置以应用本文中所揭示的技术。在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置可从外部视频源(例如外部相机)接收视频数据。同样，目的地装置可与外部显示装置介接，而非包含集成显示装置。
视频源可包含视频捕获装置，例如视频相机、含有先前捕获的视频的视频存档，及/或用以从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源可产生基于计算机图形的数据作为源视频，或实况视频、存档视频及计算机产生的视频的组合。在一些状况下，如果视频源为视频相机，那么源装置及目的地装置可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术可总体适用于视频译码。技术可应用于无线及/或有线应用。在每一状况下，可由视频编码器编码经捕获、经预捕获或计算机产生的视频。经编码视频信息接着可由输出接口输出到计算机可读媒体上。
本发明的技术可实施在广泛多种装置或设备中，包含无线手机、集成电路(IC)或IC集(例如芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切地说，如上文所描述，各种单元可与合适的软件及/或固件一起组合在编解码器硬件单元中或由互操作性硬件单元的集合提供，硬件单元包含如上文所描述的一或多个处理器。
下文参考附图描述本发明的特定实施方案。在描述中，贯穿附图由共同参考编号指定共同特征。如本文所使用，仅仅出于描述特定实施方案的目的而使用各种术语，且所述术语并不意欲为限制性的。举例来说，除非内容以其它方式明确地指示，否则单数形式“一”及“所述”意欲同样包含复数形式。可进一步理解，术语“包括”可与“包含”互换地使用。另外，应理解，术语“其中(wherein)”可与“其中(where)”互换地使用。如本文中所使用，“示范性”可指示实例、实施方案及/或方面，且不应被视作限制或视为指示偏好或优选实施方案。如本文中所使用，用以修饰元件(例如结构、组件、操作等等)的序数术语(例如“第一”、“第二”、“第三”等等)本身不指示元件相对于另一元件的任何优先权或次序，而是仅将元件与具有相同名称的另一元件区别开(除非使用序数术语)。如本文中所使用，术语“集合”是指一或多个元件的分组，且术语“多个”是指多个元件。
如本文中所使用，“耦合”可包含“以通信方式耦合”、“电耦合”或“物理耦合”，且还可(或替代地)包含其任何组合。两个装置(或组件)可经由一个或多个其它装置、组件、导线、总线、网络(例如有线网络、无线网络或其组合)等等直接或间接耦合(例如以通信方式耦合、电耦合或物理耦合)。作为说明性非限制性实例，电耦合的两个装置(或组件)可包含在同一装置或不同装置中，且可经由电子件、一或多个连接器或电感性耦合而连接。在一些实施中，例如在电通信中以通信方式耦合的两个装置(或组件)可例如经由一或多个导线、总线、网络等等直接或间接发送及接收电信号(数字信号或模拟信号)。如本文中所使用，“直接耦合”可包含在无介入组件的情况下耦合(例如以通信方式耦合、电耦合或物理耦合)的两个装置。
如本文中所使用，“集成”可包含“制造的或出售的装置”。如果使用者购买配套或包含作为封装的部分的装置的封装，那么所述装置可集成。在一些描述中，两个装置可耦合，但未必集成(例如不同外围装置可不集成到命令装置中，但仍可“耦合”)。另一实例可为可“耦合”到处理器的本文中所描述的收发器或天线中的任一者，但未必为包含视频装置的封装的部分。当使用术语“集成”时，可从本文中所揭示的上下文(包含此段)推断出其它实例。
如本文所使用，装置之间的“无线”连接可基于各种无线技术，例如蓝牙、无线保真度(Wi-Fi)或Wi-Fi的变体(例如Wi-Fi Direct)。装置可基于不同蜂窝通信系统而“无线连接”，例如长期演进(LTE)系统、码分多址接入(CDMA)系统、全球移动通信系统(GSM)系统、无线局域网(WLAN)系统或某一其它无线系统。CDMA系统可实施宽带CDMA(WCDMA)、CDMA 1X、演进数据优化(EVDO)、时分同步CDMA(TD-SCDMA)，或某一其它版本的CDMA。另外，当两个装置处于视线内时，“无线连接”还可基于其它无线技术，例如超音波、红外线、脉冲射频电磁能量、结构化光，或用于信号处理(例如音频信号处理或射频处理)的定向到达技术。
如本文中所使用，A“及/或”B可意指“A及B”，或“A或B”，或“A及B”及“A或B”两者为可应用或可接受的。
如本文中所使用，单元可包含例如专用硬布线电路、结合可编程电路的软件及/或固件，或其组合。
术语“计算装置”在本文中一般用以是指以下各者中的任一者或全部：服务器、个人计算机、膝上型计算机、平板计算机、移动装置、蜂窝电话、智能本、超级本、掌上型计算机、个人数据助理(PDA)、无线电子邮件接收器、具多媒体互联网功能的蜂窝电话、全球定位系统(GPS)接收器、无线游戏控制器，及包含用于无线发送及/或接收信息的可编程处理器及电路的类似电子装置。
各种实例已予以描述。这些及其它实例在所附权利要求书的范围内。

Claims (10)

1.一种用于对视频数据的经编码当前块进行视频解码的装置，所述装置包括：
存储器，其经配置以存储视频数据的经重构当前块；及
一或多个处理器，其经配置以进行以下操作：
在位流中处理一或多个位，所述一或多个位表示旗标且指示视频数据的所述经编码当前块是基于统一候选列表进行编码；
构造用于所述当前块的所述统一候选列表，包括：
确定使用一个或多个平移运动向量预测的所述当前块的一个或多个临近相邻块，并且将所述一个或多个临近相邻块作为正常合并候选者与所述统一候选列表相加；
确定使用一个或多个仿射运动向量预测的所述当前块的一个或多个临近相邻块，并且将所述一个或多个临近相邻块作为仿射合并候选者与所述统一候选列表相加，使得在所述统一候选列表中临近相邻块的所述正常合并候选者优先排序于所述仿射合并候选者；
在所述位流中处理合并索引，其中所述合并索引指示所述统一候选列表中的哪个候选者将被用于形成用于所述当前块的预测值块，所述候选者是所述正常合并候选者或所述仿射合并候选者中的一项；
从所述统一候选列表选择所述候选者的一或多个运动向量，所述候选者对应于所述合并索引；
基于来自所述候选的所选择的所述一或多个运动向量形成用于所述当前块的所述预测值块；及
基于视频数据的所述预测值块重构视频数据的所述当前块。
2.根据权利要求1所述的装置，其中所述一个或多个处理器还被配置为：
确定所述当前块的一个或多个非邻近相邻块；以及
将所述非邻近相邻块作为非邻近候选者在所述仿射合并候选之后与所述统一候选列表相加。
3.根据权利要求1所述的装置，其中所述统一候选列表包含至多七个正常合并候选者，且包含至多四个仿射合并候选者。
4.根据权利要求1所述的装置，其中为了形成用于所述当前块的所述预测值块所述一或多个处理器经配置以：
当所述候选者是所述正常合并候选者中的一个正常合并候选者时，使用所述候选者的所述平移运动向量来执行时间运动补偿，以形成所述预测值块；或者
当所述候选者是所述仿射合并候选者中的一个仿射合并候选者时，使用所述候选者的所述仿射运动向量来执行仿射运动补偿，以形成所述预测值块。
5.根据权利要求4所述的装置，其中当所述候选者是所述仿射合并候选者中的一个仿射合并候选者时，所述仿射合并候选者的所选择的所述一或多个运动向量对应于四参数仿射模型或六参数仿射模型。
6.一种用于对视频数据的经编码当前块进行视频解码的方法，其包括：
在位流中处理一或多个位，所述一或多个位表示旗标且指示视频数据的所述经编码当前块是基于统一候选列表进行编码；
构造用于所述当前块的所述统一候选列表，包括：
确定使用一个或多个平移运动向量预测的所述当前块的一个或多个临近相邻块，并且将所述一个或多个临近相邻块作为正常合并候选者与所述统一候选列表相加；
确定使用一个或多个仿射运动向量预测的所述当前块的一个或多个临近相邻块，并且将所述一个或多个临近相邻块作为仿射合并候选者与所述统一候选列表相加，使得在所述统一候选列表中临近相邻块的所述正常合并候选者优先排序于所述仿射合并候选者；
在所述位流中处理合并索引，其中所述合并索引指示所述统一候选列表中的哪个候选者将被用于形成用于所述当前块的预测值块，所述候选者是所述正常合并候选者或所述仿射合并候选者中的一项；
从所述统一候选列表选择所述候选者的一或多个运动向量，所述候选者对应于所述合并索引；
基于来自所述候选的所选择的所述一或多个运动向量形成用于所述当前块的所述预测值块；及
基于视频数据的所述预测值块重构视频数据的所述当前块。
7.根据权利要求6所述的方法，还包括：
确定所述当前块的一个或多个非邻近相邻块；以及
将所述非邻近相邻块作为非邻近候选者在所述仿射合并候选之后与所述统一候选列表相加。
8.根据权利要求6所述的方法，其中所述统一候选列表包含至多七个正常合并候选者，且包含至多四个仿射合并候选者。
9.一种用于对视频数据的经编码当前块进行视频解码的设备，其包括：
用于在位流中处理一或多个位的装置，所述一或多个位表示旗标且指示视频数据的所述经编码当前块是基于统一候选列表进行编码；
用于构造用于所述当前块的所述统一候选列表的装置，包括：
用于确定使用一个或多个平移运动向量预测的所述当前块的一个或多个临近相邻块，并且将所述一个或多个临近相邻块作为正常合并候选者与所述统一候选列表相加的装置；
用于确定使用一个或多个仿射运动向量预测的所述当前块的一个或多个临近相邻块，并且将所述一个或多个临近相邻块作为仿射合并候选者与所述统一候选列表相加，使得在所述统一候选列表中临近相邻块的所述正常合并候选者优先排序于所述仿射合并候选者的装置；
用于在所述位流中处理合并索引的装置，其中所述合并索引指示所述统一候选列表中的哪个候选者将被用于形成用于所述当前块的预测值块，所述候选者是所述正常合并候选者或所述仿射合并候选者中的一项；
用于从所述统一候选列表选择所述候选者的一或多个运动向量的装置，所述候选者对应于所述合并索引；
用于基于来自所述候选的所选择的所述一或多个运动向量形成用于所述当前块的所述预测值块的装置；及
用于基于视频数据的所述预测值块重构视频数据的所述当前块的装置。
10.一种用于视频编码的装置，所述装置包括：
一或多个处理器，其经配置以进行以下操作：
构造用于视频数据的当前块的统一候选列表，包括：
确定使用一个或多个平移运动向量预测的视频数据的所述当前块的一个或多个临近相邻块，并且将所述一个或多个临近相邻块作为正常合并候选者与所述统一候选列表相加；
确定使用一个或多个仿射运动向量预测的所述当前块的一个或多个临近相邻块，并且将所述一个或多个临近相邻块作为仿射合并候选者与所述统一候选列表相加；
确定使用所述统一候选列表中的所述候选中的一个候选的所述运动向量形成用于所述当前块的预测值块；
选择与所述统一候选列表中的所述候选中的所述一个候选相对应的合并索引；及
在位流中提供所述合并索引；及
存储器，其经配置以存储所述视频数据。
CN201880070688.7A 2017-11-14 2018-11-14 统一合并候选列表使用 Active CN111316647B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762586117P 2017-11-14 2017-11-14
US62/586,117 2017-11-14
US201816188774A 2018-11-13 2018-11-13
US16/188,774 2018-11-13
PCT/US2018/060912 WO2019099444A1 (en) 2017-11-14 2018-11-14 Unified merge candidate list usage

Publications (2)

Publication Number Publication Date
CN111316647A CN111316647A (zh) 2020-06-19
CN111316647B true CN111316647B (zh) 2023-12-19

Family

ID=64572546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880070688.7A Active CN111316647B (zh) 2017-11-14 2018-11-14 统一合并候选列表使用

Country Status (6)

Country Link
US (1) US11503333B2 (zh)
EP (1) EP3711299A1 (zh)
CN (1) CN111316647B (zh)
SG (1) SG11202002881XA (zh)
TW (1) TWI795463B (zh)
WO (1) WO2019099444A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368702B2 (en) * 2018-06-04 2022-06-21 Lg Electronics, Inc. Method and device for processing video signal by using affine motion prediction
US11375202B2 (en) * 2018-09-21 2022-06-28 Interdigital Vc Holdings, Inc. Translational and affine candidates in a unified list
US11463723B2 (en) * 2018-12-26 2022-10-04 Apple Inc. Method for encoding/decoding image signal and device therefor
CN117395397A (zh) 2019-06-04 2024-01-12 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
CN114097228B (zh) 2019-06-04 2023-12-15 北京字节跳动网络技术有限公司 具有几何分割模式编解码的运动候选列表
JP7460661B2 (ja) 2019-06-06 2024-04-02 北京字節跳動網絡技術有限公司 映像符号化のための動き候補リストの構成
JP2022538064A (ja) * 2019-06-19 2022-08-31 エルジー エレクトロニクス インコーポレイティド デフォルト（ｄｅｆａｕｌｔ）マージモードに基づいて予測サンプルを導き出す映像デコーディング方法及びその装置
KR20210143325A (ko) * 2019-06-23 2021-11-26 엘지전자 주식회사 비디오/영상 코딩 시스템에서 머지 데이터 신택스의 시그널링 방법 및 장치
WO2020263467A1 (en) * 2019-06-24 2020-12-30 Alibaba Group Holding Limited Method and apparatus for motion field storage in video coding
WO2020263472A1 (en) * 2019-06-24 2020-12-30 Alibaba Group Holding Limited Method and apparatus for motion vector refinement
KR20210006306A (ko) * 2019-07-08 2021-01-18 현대자동차주식회사 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
CN114175636B (zh) 2019-07-14 2024-01-12 北京字节跳动网络技术有限公司 自适应参数集中的自适应环路滤波的指示
WO2021057996A1 (en) 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
CN111966632B (zh) * 2020-10-20 2021-02-19 浙江大华技术股份有限公司 一种流式数据存储方法、读取方法、设备及可读存储介质
CN117597921A (zh) * 2021-04-10 2024-02-23 抖音视界有限公司 用于视频处理的方法、装置和介质
CN117581542A (zh) * 2021-09-06 2024-02-20 北京达佳互联信息技术有限公司 视频编解码中针对仿射合并模式的候选导出
CN117981315A (zh) * 2021-09-24 2024-05-03 北京达佳互联信息技术有限公司 视频编码中仿射合并模式的候选推导
WO2023104083A1 (en) * 2021-12-07 2023-06-15 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023114362A1 (en) * 2021-12-16 2023-06-22 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for candidate derivation for affine merge mode in video coding
WO2023137234A1 (en) * 2022-01-17 2023-07-20 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for candidate derivation for affine merge mode in video coding
WO2023185933A1 (en) * 2022-03-30 2023-10-05 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017118411A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
WO2017148345A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Method and apparatus of video coding with affine motion compensation
CN107211156A (zh) * 2015-01-26 2017-09-26 高通股份有限公司 以子预测单元为基础的先进时间运动向量预测
CN108141605A (zh) * 2015-10-02 2018-06-08 高通股份有限公司 帧内块复制合并模式及不可用帧内块复制参考区域的填充

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107211156A (zh) * 2015-01-26 2017-09-26 高通股份有限公司 以子预测单元为基础的先进时间运动向量预测
CN108141605A (zh) * 2015-10-02 2018-06-08 高通股份有限公司 帧内块复制合并模式及不可用帧内块复制参考区域的填充
WO2017118411A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
WO2017118409A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine merge mode prediction for video coding system
WO2017148345A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Method and apparatus of video coding with affine motion compensation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jianle Chen，et al..Algorithm Description of Joint Exploration Test Model 7 (JEM 7).Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13–21 July 2017，JVET-G1001.2017,全文. *

Also Published As

Publication number Publication date
TW201931854A (zh) 2019-08-01
EP3711299A1 (en) 2020-09-23
TWI795463B (zh) 2023-03-11
WO2019099444A1 (en) 2019-05-23
SG11202002881XA (en) 2020-05-28
CN111316647A (zh) 2020-06-19
US11503333B2 (en) 2022-11-15
US20210195234A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
CN111316647B (zh) 统一合并候选列表使用
US10757417B2 (en) Affine motion compensation in video coding
US10911769B2 (en) Motion-based priority for the construction of candidate lists in video coding
US10687077B2 (en) Motion information propagation in video coding
CN111567043B (zh) 对视频数据进行译码的方法、装置和计算机可读存储介质
US20190158876A1 (en) Overlapped motion compensation for video coding
CN107534766B (zh) 于视频译码中针对子块推导运动信息方法、装置
TWI696382B (zh) 以子預測單元為基礎之先進時間運動向量預測
TW201924347A (zh) 對圖框速率上轉換(fruc)模板匹配之各種改良
WO2019075375A1 (en) MOTION VECTOR PREDICTORS USING MOTION MODELS AFFINED IN VIDEO CODING
TW201842766A (zh) 於視訊解碼器中導出運動向量資訊
US10958932B2 (en) Inter-prediction coding of video data using generated motion vector predictor list including non-adjacent blocks
US20210329239A1 (en) Methods and apparatus of video coding for triangle prediction
CN117812258A (zh) 图像解码设备、图像编码设备和发送设备
US20220014780A1 (en) Methods and apparatus of video coding for triangle prediction
CN115623206B (zh) 利用三角分区的视频编解码方法和装置
CN115699735A (zh) 使用几何分区的视频编解码方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant