CN111164973A - 译码用于视频译码的仿射预测运动信息 - Google Patents

译码用于视频译码的仿射预测运动信息 Download PDF

Info

Publication number
CN111164973A
CN111164973A CN201880062666.6A CN201880062666A CN111164973A CN 111164973 A CN111164973 A CN 111164973A CN 201880062666 A CN201880062666 A CN 201880062666A CN 111164973 A CN111164973 A CN 111164973A
Authority
CN
China
Prior art keywords
mvd
motion vector
current block
prediction
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880062666.6A
Other languages
English (en)
Other versions
CN111164973B (zh
Inventor
张凯
陈建乐
李想
钱威俊
陈义文
张莉
M·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN202311469808.XA priority Critical patent/CN117692631A/zh
Publication of CN111164973A publication Critical patent/CN111164973A/zh
Application granted granted Critical
Publication of CN111164973B publication Critical patent/CN111164973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于对视频数据进行译码的实例装置包含：存储器，其经配置以存储视频数据；及一或多个处理器，其实施于电路中且经配置以：对表示使用仿射预测进行预测的当前视频数据块的第一运动向量与用于所述第一运动向量的第一运动向量预测符MVP之间的差的第一运动向量差MVD进行译码；针对所述当前块的第二运动向量从所述第一MVD预测第二MVD；及使用仿射预测根据所述第一运动向量及所述第二运动向量对所述当前块进行译码。如此从所述第一MVD预测所述第二MVD可缩减包含经译码视频数据的位流的位率，以及提高处理效率。

Description

译码用于视频译码的仿射预测运动信息
本申请案请求2017年10月3日申请的美国临时申请案第62/567,598号及2018年10月1日申请的美国专利第16/148,738号的权益，所述申请案的全部内容特此以引用的方式并入。
技术领域
本发明涉及视频译码，且更特定来说涉及对视频数据的运动信息进行译码。
背景技术
数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、高效率视频译码(HEVC)标准、ITU-T H.265/高效率视频译码(HEVC)及这些标准的扩展中描述的那些视频译码技术。视频装置可通过实施这类视频译码技术来更有效地传输、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可分割成视频块，视频块也可被称作译码树单元(CTU)、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)的切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于相同图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测导致用于待译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块根据帧内译码模式及残余数据编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生可接着进行量化的残余变换系数。可扫描最初布置成二维阵列的经量化变换系数以便产生变换系数的一维向量，且可应用熵译码以实现更进一步压缩。
发明内容
一般来说，本发明描述关于图片间预测的技术。举例来说，本发明的技术包含用于基于块的视频译码中的仿射运动补偿的运动向量译码(编码及/或解码)。这些技术可应用于现有及/或未来视频译码标准。
在一个实例中，一种对视频数据进行译码(例如，编码或解码)的方法包含：对表示使用仿射预测进行预测的当前视频数据块的第一运动向量与用于所述第一运动向量的第一运动向量预测符(MVP)之间的差的第一运动向量差(MVD)进行译码；针对所述当前块的第二运动向量从所述第一MVD预测第二MVD；及使用仿射预测根据所述第一运动向量及所述第二运动向量对所述当前块进行译码。
在另一实例中，一种用于对视频数据进行译码(例如，编码或解码)的装置包含：存储器，其经配置以存储视频数据；及一或多个处理器，其实施于电路中且经配置以：对表示使用仿射预测进行预测的当前视频数据块的第一运动向量与用于所述第一运动向量的第一运动向量预测符(MVP)之间的差的第一运动向量差(MVD)进行译码；针对所述当前块的第二运动向量从所述第一MVD预测第二MVD；及使用仿射预测根据所述第一运动向量及所述第二运动向量对所述当前块进行译码。
在另一实例中，一种计算机可读存储媒体上存储有指令，所述指令在被执行时使处理器进行以下操作：对表示使用仿射预测进行预测的当前视频数据块的第一运动向量与用于所述第一运动向量的第一运动向量预测符(MVP)之间的差的第一运动向量差(MVD)进行译码；针对所述当前块的第二运动向量从所述第一MVD预测第二MVD；及使用仿射预测根据所述第一运动向量及所述第二运动向量对所述当前块进行译码。
在另一实例中，一种用于对视频数据进行译码(例如，编码或解码)的装置包含：译码装置，用于对表示使用仿射预测进行预测的当前视频数据块的第一运动向量与用于所述第一运动向量的第一运动向量预测符(MVP)之间的差的第一运动向量差(MVD)进行译码；预测装置，用于针对所述当前块的第二运动向量从所述第一MVD预测第二MVD；及译码装置，用于使用仿射预测根据所述第一运动向量及所述第二运动向量对所述当前块进行译码。
在以下附图及描述中阐述一或多个实例的细节。其它特征、目标及优点将从实施方式及图式以及权利要求书而显而易见。
附图说明
图1A及1B为说明用于高效率视频译码(HEVC)的合并及高级运动向量预测(AMVP)模式的空间相邻候选项的实例的概念图。
图2为说明具有用于当前块的四个仿射参数的实例两点运动向量仿射的概念图。
图3为说明用于当前块的仿射帧间预测模式的实例的概念图。
图4A及4B为说明用于当前块的仿射合并模式的实例的概念图。
图5为说明具有六个参数(三个运动向量)的实例仿射模型的概念图。
图6为说明实例视频编码及解码系统的框图，所述实例视频编码及解码系统可利用用于有效地对用于仿射预测的运动信息进行译码的本发明技术。
图7为说明视频编码器的实例的框图，所述视频编码器可实施用于对仿射预测运动信息进行编码的本发明技术。
图8为说明视频解码器30的实例的框图，所述视频解码器30可实施用于对仿射预测运动信息进行解码的本发明技术。
图9为说明用于仿射运动信息预测的运动向量差(MVD)预测的实例的概念图。
图10为说明用于具有三个运动向量的仿射预测(六参数仿射预测)的MVD预测的实例的概念图。
图11为说明用于根据本发明技术对当前视频数据块进行编码的实例方法的流程图。
图12为说明根据本发明技术对当前视频数据块进行解码的实例方法的流程图。
具体实施方式
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也称作ISO/IECMPEG-4AVC)，包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展。
最近，已由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)完成新的视频译码标准(即，ITU-T H.265/高效率视频译码(HEVC))的设计。最新的HEVC草案说明书及下文被称作HEVC WD可从phenix.int-evry.fr/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC-O1003-v2.zip获得。对HEVC的范围扩展(即，HEVC-Rext)也正由JCT-VC开发。下文被称作RExt WD6的范围扩展的工作草案(WD)可从phenix.int-evry.fr/jct/doc_end_user/documents/16_San％20Jose/wg11/JCTVC-P1005-v1.zip获得。
用于未来视频译码的新译码工具的研究正在进行中(例如，如在JVET联合视频探索小组中所研究)，且已经提议提高用于视频译码的译码效率的技术。有迹象表明，译码效率的显著提高可通过利用视频内容(尤其用于如4K的高分辨率内容)的特性来获得，其中新的专用译码工具超出H.265/HEVC。已经邀请公司及组织提交用于视频译码效率的有可能进一步提高的探索阶段的提议。
在H.265/HEVC中，对于每一块，运动信息集合可为可用的。运动信息集合可含有用于前向及后向预测方向的运动信息。前向及后向预测方向为双向预测模式的两个预测方向，且术语“前向”及“后向”未必具有几何含义；实情为其对应于当前图片的参考图片列表0(RefPicList0)及参考图片列表1(RefPicList1)。当仅一个参考图片列表可供用于图片或切片时，仅RefPicList0为可用的，且切片的每一块的运动信息始终为前向的。
对于每一预测方向，根据H.265/HEVC，运动信息必须含有参考索引及运动向量。在一些状况下，为简单起见，可以假定运动向量自身具有相关联参考索引的方式参考所述运动向量。参考索引用于识别当前参考图片列表(RefPicList0或RefPicList1)中的参考图片。运动向量具有水平分量及竖直分量。
视频译码标准中广泛使用图片次序计数(POC)以识别图片的显示次序。尽管存在一个经译码视频序列内的两个图片可具有相同POC值的状况，但经译码视频序列内通常不发生这类状况。当位流中存在多个经译码视频序列时，就解码次序而言，具有同一POC值的图片可更接近于彼此。图片的POC值通常用于参考图片列表构建、如HEVC中的参考图片集的导出及运动向量按比例调整。
在HEVC中，切片中的最大译码单元称为译码树块(CTB)。CTB含有四分树，所述四分树的节点为译码单元。CTB的大小可介于HEVC主规范中的16×16像素到64×64像素的范围(尽管技术上可支持8×8CTB大小)。译码单元(CU)可与CTB具有相同大小，且小到8×8像素。每一译码单元可运用一个模式译码。当CU经帧间译码时，CU可进一步分割成两个或多于两个预测单元(PU)或当不应用另一分割时变为仅一个PU。当两个PU存在于一个CU中时，其可为一半大小的矩形或具有CU的
Figure BDA0002426588860000041
或
Figure BDA0002426588860000042
大小的两个矩形大小。当CU经帧间译码时，针对每一PU存在一个运动信息集。另外，每一PU运用唯一帧间预测模式来译码以导出运动信息集。在HEVC中，最小PU大小为8×4及4×8。
在HEVC中，存在用于预测单元(PU)的两个帧间预测模式，被命名为合并(跳过视为合并的特殊状况)及高级运动向量预测(AMVP)模式。在AMVP或合并模式中，针对多个运动向量预测符维持运动向量(MV)候选项列表。当前PU的运动向量以及合并模式中的参考索引通过从MV候选项列表获取一个候选项而产生。
根据HEVC，MV候选项列表含有用于合并模式的最多5个候选项且仅两个用于AMVP模式的候选项。合并候选项可含有运动信息集，例如，对应于参考图片列表(列表0及列表1)及参考索引两者的运动向量。如果由合并索引来识别合并候选项，那么参考图片用于当前块的预测，以及确定相关联运动向量。然而，在针对来自列表0或列表1的每一潜在预测方向的AMVP模式下，需要明确地将参考索引连同运动向量预测符(MVP)索引发信到MV候选项列表，因为AMVP候选项仅含有运动向量。在AMVP模式中，可进一步改进经预测运动向量。
如可从上文看出，合并候选项对应于整个运动信息集，而AMVP候选项仅含有用于特定预测方向的一个运动向量及参考索引。以类似方式从相同空间及时间相邻块导出用于两个模式的候选项。
图1A及1B为说明用于HEVC的合并及AMVP模式的空间相邻候选项的实例的概念图。详细地说，图1A说明用于合并模式的空间相邻运动向量(MV)候选项，而图1B说明用于AMVP模式的空间相邻MV候选项。根据HEVC，空间MV候选项是针对特定的PU(PU0)从图1A及1B中所展示的相邻块导出的，但用于从块产生候选项的技术对于合并及AMVP模式不同。
在HEVC的合并模式中，最多四个空间MV候选项可以图1A中所展示的具有编号的次序导出，且次序如下：左侧(0)、上方(1)、右上方(2)、左下方(3)以及左上方(4)，如图1A中所展示。
在HEVC的AVMP模式中，如图1B中所展示，相邻块被划分成两个群组：包含块0及1的左群组及包含块2、3及4的上方群组。对于每一群组，参考与由发信的参考索引指示的参考图片相同的参考图片的相邻块中的潜在候选项具有待选择的最高优先级以形成群组的最终候选项。有可能相邻块均未含有指向相同参考图片的运动向量。因此，如果无法发现这个候选项，那么将按比例调整第一可用候选项以形成最终候选项。因此，可补偿时间距离差。
H.265/HEVC中的运动补偿用于产生用于当前经帧间译码块的预测符。可使用四分之一像素准确度运动向量，且分率位置处的像素值可使用用于明度及色度分量的相邻整数像素值来进行内插。
图2为说明具有用于当前块的四个仿射参数的实例两点运动向量仿射的概念图。在当前的现有视频编解码器标准中，仅将平移运动模型应用于运动补偿预测(MCP)。然而，在真实世界中，存在许多种类的运动，例如放大/缩小、旋转、透视运动及其它不规则运动。如果关于不规则运动在这类测试序列中仅应用用于MCP的平移运动模型，那么其将影响预测准确度且导致低译码效率。多年来，许多视频专家尝试设计许多算法来改进MCP以实现较高译码效率。已经提议仿射合并及仿射帧间(AMVP)模式来应对具有4个参数的如下仿射运动模型：
Figure BDA0002426588860000061
在以上等式(1)中，(vx0,vy0)为图2的当前块的左上角处的控制点运动向量，且(vx1,vy1)为图2的当前块的右上角处的另一控制点运动向量。仿射模型归结为：
Figure BDA0002426588860000062
在当前JEM软件中，仅将仿射运动预测应用于正方形块。作为自然扩展，仿射运动预测可应用于非正方形块。
图3为说明用于当前块的仿射帧间预测模式的实例的概念图。当前块可为当前CU或当前PU。在这个实例中，当前块包含标注为左上角处的“V0”及右上角处的“V1”的两个块，以及标注为A、B、C、D及E的相邻块。详细地说，“V0”块与块A、B及C相邻，而“V1”块与块D及E相邻。
对于大小等于或大于16×16的每个CU/PU，仿射帧间预测模式(AF_INTER模式)可如下加以应用。如果当前CU/PU处于AF_INTER模式，那么CU/PU电平中的仿射旗标可在位流中发信。候选项列表{(v0,v1)|v0＝{vA,vB,vc},v1＝{vD,vE}}使用相邻的有效经重建块来建置。
如图3中所展示，运动信息v0选自块A、B及/或C的运动向量。来自相邻块的运动向量根据参考列表以及相邻块的参考的POC、当前CU/PU的参考的POC及当前CU/PU的POC之间的关系而按比例调整。且从相邻块D及E选择v1的方法类似。如果候选项列表的数目小于2，那么AMVP的候选项经指配到v0及v1。当前CU/PU的速率失真优化(RDO)成本用于确定哪一(v0,v1)经选择为当前CU/PU的控制点运动向量预测(CPMVP)。且用以指示候选项列表中的CPMVP的位置的索引在位流中发信。
在确定当前仿射CU/PU的CPMVP之后，应用仿射运动估计且发现CPMV。接着，CPMV及CPMVP的差在位流中译码。应用上文所提及的仿射运动补偿预测以产生当前CU/PU的残数。最后，根据常规程序，将当前CU/PU的残数经变换、量化且译码成位流。
图4A及4B为说明用于当前块的仿射合并模式的实例的概念图。当前块可为当前CU或当前PU。在这个实例中，当前块具有标注为A、B、C、D及E的五个相邻块，如图4A中所展示。
在当前CU/PU在仿射合并模式(AF_MERGE模式)中应用时，其从A、B、C、D及E的有效相邻重建块获得运用仿射模式译码的第一块。用于候选块的选择次序是从左侧、上方、右上方、左下方到左上方，如图4A中所展示。举例来说，如果相邻的左下方块A以如图4B中所展示的仿射模式译码，那么导出含有块A的CU/PU的左上角、右上角及左下角的运动向量v2、v3及v4。当前CU/PU上的左上角的运动向量v0根据v2、v3及v4计算。类似地，当前CU/PU的右上方的运动向量v1基于v2、v3及v4计算。
在计算当前CU/PU v0及v1的CPMV之后，根据以上等式(2)中经定义的简化仿射运动模型，产生当前CU/PU的MVF。接着，应用仿射MCP。为识别当前CU/PU是否运用AF_MERGE模式译码，当存在在仿射模式中译码的至少一个相邻块时，在位流中发信仿射旗标。如果如图4A中所展示，不存在与当前块相邻的仿射块，那么仿射旗标不在位流中编写。
在HEVC中，上下文适应性二进制算术译码(CABAC)包含用于将符号转换成二进制化值的二进制化处理程序。二进制化经由非二进制语法元素与一连串位的唯一映射来实现有效二进制算术译码，所述一连串位被称作二进制位(bin)。在JEM2.0参考软件中，对于仿射合并模式，仅对仿射旗标进行译码，且推断合并索引为呈预定义检查次序A→B→C→D→E的第一可用相邻仿射模型。对于仿射帧间模式，针对每一预测列表对两个MVD语法进行译码，从而指示经导出仿射运动向量与经预测运动向量之间的运动向量差。
图5为说明具有六个参数(三个运动向量)的实例仿射模型的概念图。Zou等人的2017年5月4日申请的“用于视频译码的仿射运动预测(AFFINE MOTION PREDICTION FORVIDEO CODING)”的美国申请案第15/587,044号中描述可切换仿射运动预测方案。具有仿射预测的区段可自适应性地使用四参数仿射模型或六参数仿射模型。具有六个参数的仿射模型可定义为：
Figure BDA0002426588860000071
具有6个参数的仿射模型具有三个控制点。换句话说，具有六个参数的仿射模型是由三个运动向量(MV0、MV1及MV2)确定的，例如，如图5中所展示。MV0为当前块的左上角处的第一控制点运动向量，MV1为当前块的右上角处的第二控制点运动向量，且MV2为当前块的左下角处的第三控制点运动向量，如图5中所展示。运用三个运动向量建置的仿射模型经计算为：
Figure BDA0002426588860000081
以上等式(4)用于侧等于w的正方形块。对于具有宽度w及高度h的非正方形块(例如，矩形块)，可使用以下仿射模型：
Figure BDA0002426588860000082
与上文关于图4所描述类似的关于仿射合并导出左上角及右上角的运动向量的方式也可用于导出左上角、右上角及左下角的MVP。Chen等人的2016年10月5日申请的“用于仿射运动模型的运动向量预测(MOTION VETOR PREDICTION FOR AFFINE MOTION MODEL)”的美国临时申请案第62/404,719号中描述额外实例。
图6为说明实例视频编码及解码系统10的框图，所述实例视频编码及解码系统10可利用用于有效地对用于仿射预测的运动信息进行译码的本发明技术。如图6中所展示，系统10包含源装置12，其提供稍后将由目的地装置14解码的经编码视频数据。详细地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含台式计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能型”电话的电话手机、所谓的“智能型”平板计算机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在一些状况下，源装置12及目的地装置14可能经装备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码视频数据直接传输到目的地装置14。可根据通信标准(例如，无线通信协议)调制经编码视频数据，且将其传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或例如因特网的全域网络)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。
在一些实例中，可从输出接口22将经编码数据输出到存储装置。类似地，可通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如，硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另外实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络附加存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)而存取经编码的视频数据。此可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适于存取存储于文件服务器上的经编码视频数据的两者的组合。从存储装置的经编码视频数据的传输可为流式传输、下载传输或其组合。
本发明的技术不必限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，所述多媒体应用例如空中电视广播、有线电视传输、卫星电视传输、因特网流式传输视频传输(例如，经由HTTP动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输从而支持例如视频流式传输、视频播放、视频广播及/或视频电话的应用。
在图6的实例中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用技术以用于有效地对用于仿射预测的运动信息进行译码。在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成显示装置。
图6的所说明的系统10仅为一个实例。用于有效地对用于仿射预测的运动信息译码的技术可由任何数字视频编码及/或解码装置执行。尽管本发明的技术一般由视频编码装置执行，但所述技术也可由视频编码器/解码器(通常被称作“编解码器”)执行。此外，本发明的技术也可由视频预处理器执行。源装置12及目的地装置14仅为其中源装置12产生经译码视频数据以供用于传输到目的地装置14的这些译码装置的实例。在一些实例中，装置12、14可以大体上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持例如视频装置12、14之间的单向或双向视频传输，以用于视频流式传输、视频播放、视频广播或视频电话。
源装置12的视频源18可包含视频捕捉装置，例如摄像机、含有先前捕捉的视频的视频文件库及/或用以从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、经存档视频及计算机产生的视频的组合。在一些状况下，如果视频源18为摄像机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般可适用于视频译码，且可适用于无线及/或有线应用。在每一状况下，捕捉、预先捕捉或计算机产生的视频可由视频编码器20编码。经编码视频信息可接着由输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含暂时性媒体，例如无线广播或有线网络传输，或存储媒体(即，非暂时性存储媒体)，例如硬盘、闪存驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未展示)可例如经由网络传输从源装置12接收经编码视频数据且将经编码视频数据提供到目的地装置14。类似地，例如光盘冲压设施的媒体生产设施的计算装置可从源装置12接收经编码视频数据且产生含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，其也由视频解码器30使用，其包含描述块及其它经译码单元的特性及/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据视频译码标准操作，例如，也被称作ITU-TH.265的高效率视频译码(HEVC)标准。替代地，视频编码器20及视频解码器30可根据其它专有或行业标准(例如ITU-T H.264标准，替代地被称作MPEG-4，第10部分，高级视频译码(AVC))或这些标准的扩展而操作。然而，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2及ITU-T H.263。尽管图6中未展示，在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当MUX-DEMUX单元或其它硬件及软件以处置共同数据流或单独数据流中的音频及视频两者的编码。如果适用，那么MUX-DEMUX单元可遵照ITU H.223多路复用器协议或例如用户数据报协议(UDP)的其它协议。
视频编码器20及视频解码器30各自可实施为多种合适编码器电路中的任一者，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分以软件实施时，装置可将用于软件的指令存储于适合的非暂时性计算机可读媒体中，且使用一或多个处理器在硬件中执行所述指令，以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，编码器或解码器中的任一者可集成为各别装置中的组合式编码器/解码器(编解码器)的部分。
大体而言，根据ITU-T H.265，可将视频图片划分成可包含明度样本及色度样本两者的一连串译码树单元(CTU)(或最大译码单元(LCU))。替代地，CTU可包含单色数据(即，仅明度样本)。位流内的语法数据可定义CTU的大小，CTU就像素的数目而言为最大译码单元。切片包含按译码次序的数个连续CTU。视频图片可分割成一或多个切片。每一CTU可根据四分树而分裂成译码单元(CU)。一般来说，四分树数据结构每CU包含一个节点，其中根节点对应于CTU。如果将CU分裂成四个子CU，那么对应于所述CU的节点包含四个叶节点，所述四个叶节点中的每一者对应于所述子CU中的一者。
四分树数据结构的每一节点可提供对应CU的语法数据。举例来说，所述四分树中的节点可包含分裂旗标，从而指示是否将对应于所述节点的CU分裂成子CU。针对CU的语法元素可经递回地定义，且可取决于所述CU是否分裂成子CU。如果CU未经进一步分裂，那么其被称作叶CU。在本发明中，即使不存在原始叶CU的显式分裂，但叶CU的四个子CU也将被称作叶CU。举例来说，如果16×16大小的CU未经进一步分裂，那么尽管所述16×16CU从未经分裂，但4个8×8子CU也将被称作叶CU。
除CU不具有大小区别外，CU具有与H.264标准的宏块类似的用途。举例来说，CTU可分裂成四个子节点(也被称作子CU)，且每一子节点转而可为父节点且可分裂成另外四个子节点。被称作四分树的叶节点的最终的未分裂子节点包括译码节点，所述译码节点也被称作叶CU。与经译码位流相关联的语法数据可定义可分裂CTU的最大次数(其被称作最大CU深度)，且还可定义译码节点的最小大小。因此，位流还可定义最小译码单元(SCU)。本发明使用术语“块”以在HEVC的内容背景中指代CU、预测单元(PU)或变换单元(TU)中的任一者，或在其它标准的内容背景中指代相似数据结构(例如，H.264/AVC中的其宏块及子块)。
CU包含译码节点及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小，且大体上为正方形形状。CU的大小范围可为8×8个像素至最大大小为例如64×64像素或大于64×64像素的CTU的大小。每一CU可含有一或多个PU及一或多个TU。与CU相关联的语法数据可描述例如将CU分割成一或多个PU。分割模式可在CU经跳过或精直接模式编码、帧内预测模式编码或帧间预测模式编码之间不同。PU可被分割成非正方形形状。与CU相关联的语法数据还可描述例如根据四分树将CU分割成一或多个TU。TU可为正方形或非正方形(例如，矩形)形状。
HEVC标准允许根据TU进行变换，所述变换对于不同CU可为不同的。TU通常基于针对经分割CTU定义的给定CU内的PU(或CU的分区)的大小而设定大小，尽管可能并非总是这种状况。TU通常大小相同或小于PU(或CU的分区，例如，在帧内预测的状况下)。在一些实例中，可使用被称为“残余四分树”(RQT)的四分树结构而将对应于CU的残余样本再分为较小单元。可将RQT的叶节点称作变换单元(TU)。与TU相关联的像素差值可经变换以产生可经量化的变换系数。
叶CU在使用帧间预测进行预测时可包含一或多个预测单元(PU)。一般来说，PU表示对应于所述对应CU的全部或一部分的空间区域，且可包含用于针对PU检索及/或产生参考样本的数据。此外，PU包含与预测有关的数据。当CU经帧间模式编码时，CU的一或多个PU可包含定义例如一或多个运动向量的运动信息的数据，或PU可经跳过模式译码。定义PU的运动向量的数据可描述例如运动向量的水平分量、运动向量的竖直分量、运动向量的分辨率(例如，四分之一像素精确度或八分之一像素精确度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0或列表1)。
叶CU还可经帧内模式预测。一般来说，帧内预测涉及使用帧内模式来预测叶CU(或其分区)。视频译码器可选择叶CU的一组相邻的先前译码像素以用于预测叶CU(或其分区)。
叶CU还可包含一或多个变换单元(TU)。如上文所论述，可使用RQT(也称作TU四分树结构)来指定变换单元。举例来说，分裂旗标可指示叶CU是否经分裂成四个变换单元。接着，可将每一TU进一步分裂为其它若干子TU。当TU未进一步分裂时，可将其称作叶TU。通常，对于帧内译码，属于叶CU的所有叶TU共享相同的帧内预测模式。即，通常应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式将每一叶TU的残余值计算为CU的对应于所述TU的部分与原始块之间的差。TU不必受限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，CU的分区或CU自身可与CU的对应叶TU并置。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。
此外，叶CU的TU还可与各别四分树数据结构(被称作残余四分树(RQT))相关联。即，叶CU可包含指示所述叶CU如何被分割成TU的四分树。TU四分树的根节点通常对应于叶CU，而CU四分树的根节点通常对应于CTU(或LCU)。将RQT的未被分裂的TU称作叶TU。一般来说，除非另有指示，否则本发明分别使用术语CU及TU来指代叶CU及叶TU。
视频序列通常包含以随机存取点(RAP)图片开始的一系列视频帧或图片。视频序列可包含序列参数集(SPS)中的语法数据，所述序列参数集(SPS)包括视频序列的特性。图片的每一切片可包含描述所述各别切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作，以便对视频数据进行编码。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。
作为一实例，可针对各种大小的PU执行预测。假定特定CU的大小为2N×2N，那么可对2N×2N或N×N的PU大小执行帧内预测，且对2N×2N、2N×N、N×2N或N×N的对称PU大小执行帧间预测。也可针对2N×nU、2N×nD、nL×2N及nR×2N的PU大小执行帧间预测的不对称分割。在不对称分割中，CU的一个方向未分割，而另一方向分割成25％及75％。CU的对应于25％分区的部分由“n”其后接着由“上(Up)”、“下(Down)”、“左(Left)”或“右(Right)”的指示来指示。因此，例如，“2N×nU”是指水平地以顶部的2N×0.5N PU及底部的2N×1.5N PU分割的2N×2N CU。
在本发明中，“N×N”及“N乘N”可互换使用以指代视频块的就竖直及水平尺寸而言的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块在竖直方向上将具有16个像素(y＝16)且在水平方向上将具有16个像素(x＝16)。同样地，N×N块通常在竖直方向上具有N个像素且在水平方向上具有N个像素，其中N表示非负整数值。可按行及列来布置块中的像素。此外，块未必需要在水平方向上与在竖直方向上具有相同数目个像素。举例来说，块可包括N×M个像素，其中M未必等于N。
在使用CU的PU的帧内预测性或帧间预测性译码之后，视频编码器20可计算CU的TU的残余数据。PU可包括描述在空间域(也被称作像素域)中产生预测性像素数据的方法或模式的语法数据，且TU可包括在对残余视频数据应用变换(例如离散余弦变换(DCT)、整数变换、小波变换或在概念上类似的变换)之后变换域中的系数。所述残余数据可对应于未经编码的图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含表示CU的残余数据的经量化变换系数的TU。即，视频编码器20可计算残余数据(以残余块的形式)、变换残余块以产生变换系数的块，且接着量化变换系数以形成经量化变换系数。视频编码器20可形成包含经量化变换系数以及其它语法信息(例如，TU的分裂信息)的TU。
如上文所提及，在任何变换以产生变换系数后，视频编码器20可执行变换系数的量化。量化通常指变换系数经量化以可能缩减用以表示系数的数据的量从而提供进一步压缩的处理程序。量化处理程序可缩减与系数中的一些或所有相关联的位深度。举例来说，可在量化期间将n位值降值舍位到m位值，其中n大于m。
在量化之后，视频编码器可扫描变换系数，从而从包含经量化变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(且因此较低频率)系数置于阵列前部，及将较低能量(且因此较高频率)系数置于阵列后部。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可经熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法来对一维向量进行熵编码。视频编码器20也可对与经编码视频数据相关联的供视频解码器30用于对视频数据进行解码的语法元素进行熵编码。
为了执行CABAC，视频编码器20可将上下文模型内的上下文指配给待传输的符号。所述上下文可能涉及例如符号的相邻值是否为非零。为执行CAVLC，视频编码器20可选择用于待传输的符号的可变长度码。可将VLC中的码字构建成使得相对较短码对应于更有可能的符号，而较长码对应于较不可能的符号。以这种方式，相对于例如针对待传输的每一符号使用相等长度码字，使用VLC可实现位节省。概率确定可基于经指配到符号的上下文而进行。
一般来说，视频解码器30执行尽管与由视频编码器20执行的处理程序互逆但与其大体上类似的处理程序，以对经编码数据进行解码。举例来说，视频解码器30逆量化且逆变换所接收TU的系数以再生残余块。视频解码器30使用发信预测模式(帧内预测或帧间预测)以形成经预测块。接着视频解码器30(在逐像素基础上)使经预测块与残余块组合以再生原始块。可执行额外处理，例如执行解块处理程序以缩减沿块边界的视觉伪影。此外，视频解码器30可以尽管与视频编码器20的CABAC编码程序互逆但与其大体上类似的方式使用CABAC对语法元素进行解码。
一般来说，视频编码器20及视频解码器30可经配置以根据本发明的技术较有效地对用于仿射预测的运动信息进行译码(分别编码或解码)。视频编码器20及/或视频解码器30可经配置以单独或以任何组合应用下文所论述的各种技术中的任一者。
在一些实例中，视频编码器20及/或视频解码器30可使用一个运动向量(MV)的运动向量差(MVD)以预测运用仿射预测进行预测的块中的另一MV的MVD。所述MVD可经定义为MV与运动向量预测(MVP)之间的差：MVD＝MV-MVP。更特定地说，如果运动向量(MVx,MVy)由其水平分量(MVx)及竖直分量(MVy)表示且运动向量预测符具有分量(MVPx,MVPy)，那么MVD的水平(竖直)分量被分别定义为MV及MVP的水平(竖直)分量的差。因此，MVD可经定义为(MVDx,MVDy)，其中MVDx＝MVx-MVPx,且MVDy＝MVy-MVPy。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以使用第一MV的MVD以在仿射预测中预测一或多个其它MV的MVD。图9为说明这种MVD预测的实例的概念图。在一些实例中，视频编码器20及/或视频解码器30可经配置以使用第一MV的MVD以在仿射预测(例如，4参数仿射)中预测第二MV的MVD。图9在下文展示用于具有两个运动向量的仿射预测的MVD预测的实例，其中MVD1由MVD0预测。
图10为说明用于具有三个运动向量的仿射预测(六参数仿射预测)的MVD预测的实例的概念图。对于六参数仿射预测，视频编码器20及/或视频解码器30可使用第一MV的MVD以预测第二MV的MVD。此外，视频编码器20及/或视频解码器30可使用第一MV的MVD以在具有三个运动向量的仿射预测中预测第三MV的MVD。图10展示用于具有三个运动向量的仿射预测的MVD预测的实例，其中MVD1由MVD0预测且MVD2也由MVD0预测。
再次参考图6，在一些实例中，视频编码器20及视频解码器30可经配置成使得以上实例中的第一MV被定义为与在图3、9及10中标示为“MV0”的左上方控制点相关联的MV。替代地，视频编码器20及视频解码器30可经配置以自适应性地选择与第一MV相关联的第一控制点。举例来说，第一控制点可取决于经译码信息，例如块形状。替代地，视频编码器20及视频解码器30可隐式地导出与第一MV相关联的第一控制点。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以在任何两个MVD之间应用MVD预测以用于仿射预测。举例来说，视频编码器20及视频解码器30可从MVD1预测MVD0以用于具有两个运动向量的仿射预测。在另一实例中，视频编码器20及视频解码器30可从MVD0预测MVD1，且从MVD1预测MVD2，以用于具有三个运动向量的仿射预测。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以从MVDb预测MVDa。视频编码器20可计算MVDa'＝MVDa-MVDb，且对表示作为位流的部分的MVDa'的信息进行译码，使得视频解码器30可对所述信息进行解码以确定MVDa'。视频解码器30接着可计算MVDa＝MVDa'+MVDb。在一个实例中，对于具有四个参数的仿射预测，a＝1且b＝0。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以从MVDb预测MVDa。视频编码器20接着可计算MVDa'＝MVDa-w*MVDb，且对表示作为位流的部分的MVDa'的信息进行译码，使得视频解码器30可对所述信息进行解码以确定MVDa'。视频解码器30接着可计算MVDa＝MVDa'+w*MVDb。在这个实例中，w为加权值，例如0.5。在一个实例中，对于具有两个参数的仿射预测，a＝1且b＝0。这个实例可以整数形式实施，如当w＝0.5时，MVD1'＝MVD1-((MVD0+1)>>1)，或当w＝0.25时，MVD1'＝MVD1-((MVD0+2)>>2)。在一个实例中，视频编码器20例如在序列层级(例如序列参数集(SPS))、图片层级(例如图片参数集(PPS))、切片层级(例如在切片标头中)或块层级(例如在块标头中)下对表示作为位流的部分的w的数据进行编码。视频解码器30可进一步从对应层级的信息提取所述经发信信息。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以从多于一个的其它控制点的MVD预测一个控制点的MVD。举例来说，视频编码器20及视频解码器30可在六参数仿射模型中从MVD0及MVD1预测MVD2。作为一实例，视频编码器20可计算MVD2'＝MVD2-((MVD0+MVD1)>>1)，且对表示作为位流的部位的MVD2'的信息进行译码，使得视频解码器30可对所述信息进行解码以确定MVD2'。视频解码器30接着可使用所述信息以计算MVD2＝MVD2'+((MVD0+MVD1)>>1)。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以确定是否基于MVD值预测MVD。举例来说，视频编码器20可在|MVDbx+MVDby|<T的情况下确定从MVDb预测MVDa；否则，视频编码器20不从MVDb预测MVDa。在另一实例中，视频编码器20可在max(|MVDbx|,|MVDby|)<T的情况下确定从MVDb预测MVDa；否则，视频编码器20不从MVDb预测MVDa。在又一实例中，视频编码器20可在|MVDbx+MVDby|>T的情况下从MVDb预测MVDa；否则，视频编码器20不从MVDb预测MVDa。在又一实例中，视频编码器20可在min(|MVDbx|,|MVDby|)>T的情况下从MVDb预测MVDa；否则，视频编码器20不从MVDb预测MVDa。在以上实例中，T表示阈值，其可为固定数值或由视频编码器20发信且由视频解码器30解码。视频编码器20可对表示基于以上实例确定中的任一者是否从MVDb预测MVDa的数据进行编码，且视频解码器30可对所述经编码数据进行解码以确定是否从MVDb预测MVDa。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置成以不同方式预测MVD的水平(x)及/或竖直(y)分量。举例来说，视频编码器20及视频解码器30可从MVDa的x分量仅预测MVDb的x分量，但不从另一MVD(例如，MVDa)预测MVDb的y分量。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以基于MVP的值确定是否预测MVD。举例来说，视频编码器20可在|MVPax-MVPbx|+|MVPay-MVPby|<S的情况下确定从MVDb预测MVDa；否则，视频编码器20不从MVDb预测MVDa。在另一实例中，视频编码器20可在max(||MVPax-MVPbx|,|MVPay-MVPby|)<S的情况下确定从MVDb预测MVDa；否则，视频编码器20不从MVDb预测MVDa。在以上实例中，S表示阈值，其可为固定数值或由视频编码器20发信且由视频解码器30解码。视频编码器20可对表示基于以上实例确定中的任一者是否从MVDb预测MVDa的数据进行编码，且视频解码器30可对所述经编码数据进行解码以确定是否从MVDb预测MVDa。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以基于运动预测方法确定是否针对使用仿射预测进行预测的区段预测MVD。举例来说，如果MVP来自如上文关于图3所描述的JEM中的MVP导出方法，那么视频编码器20及视频解码器30可确定不使用MVD预测。作为另一实例，如果MVP来自类似于如上文关于美国临时申请案第62/404,719号所描述的仿射合并的MVP导出方法，那么视频编码器20及视频解码器30可确定使用MVD预测。另外或替代地，视频编码器20及视频解码器30可基于照明补偿是否用于MVP的源块而确定是否使用MVD预测。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以基于当前块的大小及/或形状确定是否预测MVD。举例来说，视频编码器20及视频解码器30可在W*H>T时确定使用MVD预测，其中W表示当前块的宽度，H表示当前块的高度，且T表示阈值。T可为固定数值或在位流中从视频编码器20发信到视频解码器30。在另一实例中，视频编码器20及视频解码器30可在W*H<T时确定使用MVD预测。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以在位流中对表示是否预测MVD(或其分量)的数据进行译码。即，视频编码器20可在位流中对表示是否预测MVD的任一或两个分量(水平及竖直)的数据进行编码，且视频解码器30可确定是否从位流的经编码数据预测MVD的任一或两个分量(通过对所述数据进行解码)。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以在位流中对表示使用哪些控制点作为用于MVD预测的参考的数据进行译码。即，视频编码器20可对所述数据进行编码，且视频解码器30可对所述数据进行解码以确定使用哪些控制点作为用于MVD预测的参考。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以在使用仿射预测进行预测的块中从一MV的MVD产生另一MV的MVP。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以使用第一MV的MVD以在仿射预测中产生一或多个其它MV的MVP。在一个实例中，视频编码器20及视频解码器30可使用第一MV的MVD以在仿射预测(例如，四参数仿射)中产生第二MV的MVP。在另一实例中，对于六参数仿射预测，视频编码器20及视频解码器30可使用第一MV的MVD以在具有三个运动向量的仿射预测中产生第二MV的MVP。另外，视频编码器20及视频解码器30可使用第一MV的MVD以在具有三个运动向量的仿射预测中产生第三MV的MVP。替代地，视频编码器20及视频解码器30可使用第二MV的MVD以在具有三个运动向量的仿射预测中产生第三MV的MVP。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以从MVD1产生MVP0以用于具有两个运动向量的仿射预测。在另一实例中，视频编码器20及/或视频解码器30可经配置以从MVD0产生MVP1，且从MVD1产生MVP2，以用于具有三个运动向量的仿射预测。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以根据MVPa＝MVP'a+MVDb计算MVPa。MVP'a表示在不考虑如上文针对用于仿射预测的AMVP及合并模式所描述的MVDb的情况下以原始方式产生的MVP。在一个实例中，对于具有四个参数(两个运动向量)的仿射预测，a＝1且b＝0。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以根据MVPa＝MVP'a+w*MVDb计算MVPa，其中w为加权值，例如0.5。在这个实例中，MVP'a为在不考虑如上文针对用于仿射预测的AMVP及合并模式所描述的MVDb的情况下以原始方式产生的MVP。在一个实例中，对于具有两个参数的仿射预测，a＝1且b＝0。这个实例可以整数形式实施，如当w＝0.5时，MVP1＝MVP'1+((MVD0+1)>>1)，或当w＝0.25时，MVP1＝MVP'1+((MVD0+2)>>2)。在一个实例中，视频编码器20确定w且在序列层级、图片层级、切片层级或块层级下在位流中发信w的值。因此，视频解码器30将从适当信息层级对w的值进行解码。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以从多个其它控制点的MVD产生一个控制点的MVP。举例来说，视频编码器20及/或视频解码器30可在六参数仿射模型中从MVD0及MVD1产生MVP2。视频编码器20及/或视频解码器30可将MVP2计算为MVP2＝MVP'2+((MVD0+MVD1)>>1)。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以使用一个控制点的MV以在使用仿射预测进行预测的区段中产生一或多个其它控制点的MV的MVP。在一个实例中，视频编码器20及/或视频解码器30可使用第一MV以在仿射预测(例如，四参数仿射)中产生第二MV的MVP。在另一实例中，对于六参数仿射预测，视频编码器20及/或视频解码器30可使用第一MV以在具有三个运动向量的仿射预测中产生第二MV的MVP，且使用第一MV以在具有三个运动向量的仿射预测中产生第三MV的MVP。替代地，对于六参数仿射预测，编码器20及/或视频解码器30可使用第二MV以在具有三个运动向量的仿射预测中产生第三MV的MVP。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以将MVPa计算为MVPa＝(MVP'a+MVb)>>1。MVP'a为在不考虑如上文在论述用于仿射预测的AMVP及合并的章节中所描述的MVb的情况下以原始方式产生的MVP。在一个实例中，对于具有四个参数的仿射预测，a＝1且b＝0。
另外或替代地，在一些实例中，视频编码器20及/或视频解码器30可经配置以将MVPa计算为MVPa＝w1*MVP'a+w2*MVb。在这个实例中，w1及w2为可具有相同或不同值的加权值，例如，w1＝w2＝0.5。MVP'a为在不考虑如在以上章节中关于用于仿射预测的AMVP及合并模式所描述的MVb的情况下以原始方式产生的MVP。在一个实例中，对于具有四个参数的仿射预测，a＝1且b＝0。这个实例可以整数形式实施，如当w1＝0.75且w2＝0.25时，MVP1＝(3*MVP'1+MV0+2)>>2。在一个实例中，视频编码器20在序列层级、图片层级、切片层级或块层级中的任一者下在位流中对用于w1及w2的数据进行编码。同样地，视频解码器30将通过在适当层级下对所述数据进行解码来确定w1及w2。
视频编码器20可进一步例如在图片标头、块标头、切片标头中将语法数据，例如基于块的语法数据、基于图片的语法数据及基于序列的语法数据发送到视频解码器30，或发送其它语法数据，例如序列参数集(SPS)、图片参数集合(PPS)或视频参数集(VPS)。
视频编码器20及视频解码器30各自可经实施为可适用的多种合适编码器或解码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，编码器或解码器中的任一者可经集成为组合式编码器/解码器(编解码器)的部分。包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器及/或无线通信装置(例如蜂窝式电话)。
图7为说明视频编码器20的实例的框图，所述视频编码器20可实施用于对仿射预测运动信息进行编码的本发明的技术。视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以缩减或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测以缩减或去除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。帧间模式(例如，单向预测(P模式)或双向预测(B模式))可指代若干基于时间的译码模式中的任一者。
如图7中所展示，视频编码器20接收待编码视频帧内的当前视频块。在图7的实例中，视频编码器20包含模式选择单元40、参考图片存储器64(其也可被称为经解码图片缓冲器(DPB))、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为了实现视频块重建，视频编码器20还包含逆量化单元58、逆变换单元60及求和器62。还可包含解块滤波器(图7中未展示)以便对块边界进行滤波，从而从经重建视频去除块效应伪影。如果需要，解块滤波器将通常对求和器62的输出进行滤波。除了解块滤波器外，还可使用额外滤波器(回路中或回路后)。为简洁起见未展示这些滤波器，但如果需要，这些滤波器可对求和器50的输出进行滤波(作为回路中滤波器)。
在编码处理程序期间，视频编码器20接收待译码的视频帧或切片。可将所述帧或切片划分成多个视频块。运动估计单元42及运动补偿单元44执行所接收视频块相对于一或多个参考帧中的一或多个块的帧间预测性编码以提供时间预测。帧内预测单元46可替代地执行所接收视频块相对于与待译码块相同的帧或切片中的一或多个邻近块的帧内预测性编码以提供空间预测。视频编码器20可执行多个译码遍次，例如以选择用于每一视频数据块的适当译码模式。
此外，分割单元48可基于对先前译码遍次中的先前分割方案的评估而将视频数据的块分割成子块。举例来说，分割单元48可初始地将帧或切片分割成CTU，且基于速率-失真分析(例如，速率-失真优化)来将所述CTU中的每一者分割成子CU。模式选择单元40可进一步产生指示将CTU分割为子CU的四分树数据结构。四分树的叶节点CU可包含一或多个PU及一或多个TU。
模式选择单元40可例如基于错误结果而选择预测模式(帧内或帧间)中的一者，且将所得经预测块提供到求和器50以产生残余数据，及提供到求和器62以重建经编码块以用作参考帧。模式选择单元40还将语法元素(例如运动向量、帧内模式指示符、分区信息及其它这类语法信息)提供到熵编码单元56。
运动估计单元42及运动补偿单元44可高度集成，但出于概念目的而单独说明。由运动估计单元42执行的运动估计为产生运动向量的处理程序，所述运动向量估计视频块的运动。举例来说，运动向量可指示在当前视频帧或图片内的视频块的PU相对于在参考帧(或其它经译码单元)内的预测性块相对于在所述当前帧(或其它经译码单元)内正经译码的当前块的位移。预测性块为就像素差而言被发现紧密地匹配待译码块的块，所述像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量确定。在一些实例中，视频编码器20可计算存储于参考图片存储器64中的参考图片的次整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分率像素位置的值。因此，运动估计单元42可执行关于全像素位置及分率像素位置的运动搜索且输出具有分率像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置而计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述列表中的每一者识别存储于参考图片存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量提取或产生预测性块。再次，在一些实例中，运动估计单元42与运动补偿单元44可在功能上集成。在接收当前视频块的PU的运动向量之后，运动补偿单元44可在参考图片列表中的一者中定位运动向量所指向的预测性块。求和器50通过从正经译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块，从而形成像素差值，如下文所论述。一般来说，运动估计单元42执行关于明度分量的运动估计，且运动补偿单元44将基于所述明度分量计算的运动向量用于色度分量与明度分量两者。运动补偿单元44可使用运动向量产生预测块，其可包含内插或以其它方式在数学上操纵由运动向量参考的预测性块的值。模式选择单元40还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在对视频切片的视频块进行解码时使用。
视频编码器20可经配置以执行上文关于图6所论述的本发明的各种技术中的任一者。举例来说，运动补偿单元44可经配置以根据HEVC使用AMVP或合并模式对用于视频数据的块的运动信息进行译码，及/或可经配置以根据本发明的技术使用仿射帧间模式或仿射合并模式对仿射运动信息或视频数据的块进行译码。
如上文所描述，作为由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测。详细地说，帧内预测单元46可确定待用以对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可例如在单独编码遍次期间使用各种帧内预测模式来对当前块进行编码，且帧内预测单元46(或在一些实例中为模式选择单元40)可从所测试模式中选择适当帧内预测模式来使用。
举例来说，帧内预测单元46可使用对各种所测试帧内预测模式的速率-失真分析来计算速率-失真值，且可在所测试模式当中选择具有最优选速率-失真特性的帧内预测模式。速率失真分析通常确定经编码块与原始、未经编码块(其经编码以产生经编码块)之间的失真(或误差)量，以及用以产生经编码块的位率(即，位的数目)。帧内预测单元46可从各种经编码块的失真及速率计算比率以确定哪一帧内预测模式展现所述块的最优选速率-失真值。
在选择用于块的帧内预测模式后，帧内预测单元46可将指示用于块的所选帧内预测模式的信息提供到熵编码单元56。熵编码单元56可对指示所选帧内预测模式的信息进行编码。视频编码器20可在所传输的位流中包含以下各者：配置数据，其可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(也称作码字映射表)；各种块的编码上下文的定义；及待用于所述上下文中的每一者的最可能的帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示。
视频编码器20通过从正被译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行所述减法运算的一或多个组件。变换处理单元52将变换(例如离散余弦变换(DCT)或概念上类似的变换)应用于残余块，从而产生包括变换系数值的视频块。可使用小波变换、整数变换、子频带变换、离散正弦变换(DST)或其它类型的变换代替DCT。在任何状况下，变换处理单元52将变换应用于残余块，从而产生变换系数的块。变换可将残余信息从像素域转换到变换域，例如频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步缩减位率。量化处理程序可缩减与系数中的一些或所有相关联的位深度。可通过调整量化参数来修改量化程度。
在量化之后，熵编码单元56对经量化的变换系数进行熵译码。举例来说，熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的状况下，上下文可基于相邻块。在通过熵编码单元56的熵编码之后，经编码位流经传输到另一装置(例如，视频解码器30)或经存档以用于稍后传输或检索。
逆量化单元58及逆变换单元60分别应用逆量化及逆变换以重建像素域中的残余块。详细地说，求和器62将经重建残余块与由运动补偿单元44或帧内预测单元46较早产生的运动补偿预测块相加，以产生用于存储于参考图片存储器64中的经重建视频块。所述经重建视频块可由运动估计单元42及运动补偿单元44使用，作为参考块以对后续视频帧中的块进行帧间译码。
图8为说明视频解码器30的实例的框图，所述视频解码器30可实施用于对仿射预测运动信息进行解码的本发明技术。在图8的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换单元78、参考图片存储器82及求和器80。在一些实例中，视频解码器30可执行大体上与关于视频编码器20(图7)所描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。
在解码处理程序期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元70对位流进行熵解码以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转递到运动补偿单元72。视频解码器30可在视频切片层级及/或视频块层级下接收语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可基于经发信帧内预测模式及来自当前帧或图片的先前经解码块的数据而产生当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B或P)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储于参考图片存储器82中的参考图片使用默认构建技术构建参考图片列表—列表0及列表1。运动补偿单元72通过解析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息，且使用预测信息产生用于正解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收语法元素中的一些以确定预测模式(例如，帧内或帧间预测)，所述预测模式用于对以下各者进行译码：视频切片的视频块、帧间预测切片类型(例如，B切片或P切片)、用于切片的参考图片中的一或多者的构建信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态及用于对当前视频切片中的视频块进行解码的其它信息。
视频解码器30可经配置以执行上文关于图6所论述的本发明的各种技术中的任一者。举例来说，运动补偿单元72可经配置以根据HEVC使用AMVP或合并模式执行运动向量预测，及/或可经配置以根据本发明的技术使用仿射帧间模式或仿射合并模式执行仿射运动信息或视频数据的块。熵解码单元70可对表示针对当前块对运动信息(例如，仿射运动信息)进行译码的方式的一或多个语法元素进行解码。
运动补偿单元72还可执行基于内插滤波器的内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间使用的内插滤波器，以计算参考块的子整数像素的内插值。在这种状况下，运动补偿单元72可从所接收的语法元素确定由视频编码器20所使用的内插滤波器并使用所述内插滤波器以产生预测性块。
逆量化单元76逆量化(即，解量化)位流中所提供且由熵解码单元70解码的经量化变换系数。逆量化处理程序可包含使用由视频解码器30针对视频切片中的每一视频块计算的量化参数QPY以确定应进行应用的量化程度及(同样地)逆量化程度。
逆变换单元78将逆变换(例如，逆DCT、逆整数变换或在概念上类似的逆变换处理程序)应用于变换系数，以便产生像素域中的残余块。
在运动补偿单元72基于运动向量及其它语法元素产生用于当前视频块的预测性块后，视频解码器30通过对来自逆变换单元78的残余块与由运动补偿单元72产生的对应预测性块求和而形成经解码视频块。求和器80表示执行所述求和运算的所述一或多个组件。如果需要，还可应用解块滤波器来对经解码块进行滤波以便去除块效应伪影。还可使用其它回路滤波器(在译码回路中或在译码回路之后)使像素转变平滑，或以其它方式改进视频质量。接着将给定帧或图片中的经解码视频块存储于参考图片存储器82中，所述参考图片存储器82存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频以供稍后在显示装置(例如图6的显示装置32)上呈现。
图11为说明用于根据本发明的技术对当前视频数据块编码的实例方法的流程图。出于实例及解释的目的，关于图6及7的视频编码器20解释图11的方法。然而，应理解，其它装置可经配置以执行所述方法或类似方法。
起初，尽管图11中未展示，但模式选择单元40可确定待用于预测当前块的预测模式。在这个实例中，假设模式选择单元40选择仿射预测模式，所述仿射预测模式包含使用至少两个运动向量的预测。因此，模式选择单元40使运动估计单元42执行运动搜索以确定第一运动向量及第二运动向量100。模式选择单元40可比较多种预测方法(例如帧内预测、帧间预测及仿射预测)之间的速率失真结果，且确定仿射预测引起各种经测试预测模式当中的最优选速率失真结果。
在运动估计单元42确定第一及第二运动向量之后，视频编码器20可计算用于第一运动向量的第一运动向量预测符(MVP)102。第一MVP可对应于相邻块的运动向量。视频编码器20接着可将第一运动向量差(MVD)计算为第一运动向量与第一运动向量预测符之间的差104。详细地说，视频编码器20可分别计算运动向量及MVD的x及y分量之间的差。
视频编码器20接着可确定用于第二运动向量的第二MVP(106)。视频编码器20可进一步将第二MVD计算为第二运动向量与第二MVD之间的差108。
运动补偿单元44还可使用仿射预测来预测当前块110以产生用于当前块的预测块。尽管出于实例的目的论述两个运动向量，但应理解，三个运动向量可用于仿射预测以产生预测块。同样地，如上文所论述，视频编码器20可根据本发明的技术产生用于第三运动向量的第三MVD及第三MVP。
在产生预测块之后，视频编码器20可计算表示当前块与预测块之间的逐像素差的残余块112。详细地说，求和器50可计算当前块与预测块之间的逐像素差。视频编码器20接着可对第一MVD、第二MVD及残余块进行编码114以对当前块进行编码。即，根据本发明的技术，视频编码器20可使用例如运动向量预测技术(例如合并模式或AMVP模式)对第一MVD进行编码，且通过从第一MVD预测第二MVD来对第二MVD进行编码。因此，为了对第二MVD进行编码，视频编码器20可对表示第一MVD与第二MVD之间的差(例如第一MVD及第二MVD的x及y分量之间的差)的数据进行编码。为了对残余块进行编码，变换处理单元52可变换残余块，量化单元54可量化所得变换块的变换系数，且熵编码单元56可对所得经量化变换系数进行熵编码。
以这种方式，图11的方法表示包含以下各者的方法的实例：对表示使用仿射预测进行预测的当前视频数据块的第一运动向量与用于第一运动向量的第一运动向量预测符(MVP)之间的差的第一运动向量差(MVD)进行译码(即，编码)；针对当前块的第二运动向量从第一MVD预测第二MVD；及根据第一运动向量及第二运动向量使用仿射预测对当前块进行译码(即，编码)。通过执行图11的方法，视频编码器20可产生相比于当执行现有技术时较带宽有效的位流，因为表示第二MVD的数据可能较少，因为第二MVD是从第一MVD预测的。
图12为说明根据本发明的技术对当前视频数据块进行解码的实例方法的流程图。出于实例的目的，图12的方法关于图6及8的视频解码器30加以解释。然而，应理解，其它装置可经配置以执行所述方法或类似方法的技术。
视频解码器30可对第一运动向量差(MVD)、第二MVD及当前块的残余块进行解码120。即，根据本发明的技术，视频解码器30可使用例如运动向量预测技术(例如合并模式或AMVP模式)对第一MVD进行解码，且通过从第一MVD预测第二MVD来对第二MVD进行解码。因此，为了对第二MVD进行解码，视频解码器30可对表示第一MVD与第二MVD之间的差(例如第一MVD及第二MVD的x及y分量之间的差)的数据进行解码。为了对残余块进行解码，熵解码单元70可对经量化变换系数进行熵解码，逆量化单元76可逆量化变换系数，且逆变换单元78可逆变换变换系数以重新产生残余块。
运动补偿单元72接着可确定用于当前块的第一运动向量的第一运动向量预测符(MVP)122且从第一MVP计算第一运动向量124。详细地说，运动补偿单元72可将第一MVD与第一MVP相加以计算第一运动向量。运动补偿单元72可类似地确定用于当前块的第二运动向量的第二MVP 126且从第二MVP计算第二运动向量128。详细地说，运动补偿单元72可将第二MVD与第二MVP相加以计算第二运动向量。在一些实例中，可包含第三运动向量，在这种状况下，熵解码单元70可对表示例如第一MVD与用于第三运动向量的第三MVD之间的差的数据进行熵解码，且运动补偿单元72可以类似方式从第三MVD及第三MVP计算第三运动向量。
运动补偿单元72接着可例如根据使用第一和第二(且可能第三)运动向量的仿射运动预测来预测当前块130。视频解码器30接着可例如通过使求和器80在逐像素基础上将预测块的值与残余块的值相加来对当前块进行解码132。
以这种方式，图12的方法表示包含以下各者的方法的实例：对表示使用仿射预测进行预测的当前视频数据块的第一运动向量与用于第一运动向量的第一运动向量预测符(MVP)之间的差的第一运动向量差(MVD)进行译码(即，解码)；针对当前块的第二运动向量从第一MVD预测第二MVD；及根据第一运动向量及第二运动向量使用仿射预测对当前块进行译码(即，解码)。通过执行图12的方法，视频解码器30可对相比于当执行现有技术时较带宽有效的位流进行解码，因为表示第二MVD的数据可能较少，因为第二MVD是从第一MVD预测的。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列执行，可添加、合并或完全省略所述动作或事件(例如，并非所有所描述的动作或事件对于所述技术的实践是必要的)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果实施于软件中，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体进行传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)或通信媒体，所述通信媒体包含例如根据通信协议促进计算机程式从一处传送到另一处的任何媒体。以这种方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可通过一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程式产品可包含计算机可读媒体。
作为实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、闪存存储器或可用于存储呈指令或数据结构形式的所要程式码且可由计算机存取的任何其它媒体。而且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术，从网站、服务器或其它远程源来传输指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实情为关于非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各者的组合也应包含于计算机可读媒体的范围内。
指令可由一或多个处理器执行，所述一或多个处理器例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、场可编程门阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可经提供在经配置以用于编码及解码的专用硬件及/或软件模块内，或并入在组合式编解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC集合(例如，芯片集)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但所述组件、模块及单元未必要求由不同硬件单元来实现。实情为，如上文所描述，各种单元可与合适的软件及/或固件一起组合在编解码器硬件单元中或由互操作硬件单元的集合提供，硬件单元包含如上文所描述的一或多个处理器。
已描述各种实例。这些及其它实例在以下权利要求书的范围内。

Claims (30)

1.一种对视频数据进行译码的方法，所述方法包括：
对表示使用仿射预测进行预测的当前视频数据块的第一运动向量与用于所述第一运动向量的第一运动向量预测符MVP之间的差的第一运动向量差MVD进行译码；
针对所述当前块的第二运动向量从所述第一MVD预测第二MVD；及
使用仿射预测根据所述第一运动向量及所述第二运动向量对所述当前块进行译码。
2.根据权利要求1所述的方法，其中所述第一MVD包含水平分量(MVDx1)及竖直分量(MVDy1)，所述第一MVP包含水平分量(MVPx1)及竖直分量(MVPy1)，所述第一运动向量包含水平分量(MVx1)及竖直分量(MVy1)，MVDx1＝MVx1-MVPx1，且MVDy1＝MVy1-MVPy1。
3.根据权利要求1所述的方法，其中对所述当前块进行译码包括根据四参数仿射模型
Figure FDA0002426588850000011
对所述当前块进行译码。
4.根据权利要求1所述的方法，其进一步包括针对所述当前块的第三运动向量从所述第一MVD或所述第二MVD中的至少一者预测第三MVD，其中对所述当前块进行译码包括使用仿射预测根据所述第一运动向量、所述第二运动向量及所述第三运动向量对所述当前块进行译码。
5.根据权利要求4所述的方法，其中对所述当前块进行译码包括根据六参数仿射模型
Figure FDA0002426588850000012
对所述当前块进行译码。
6.根据权利要求1所述的方法，其中所述第一运动向量源自所述当前块的左上角，且其中所述第二运动向量源自所述当前块的右上角。
7.根据权利要求1所述的方法，其进一步包括对定义用于所述第一运动向量及所述第二运动向量的控制点的数据进行译码。
8.根据权利要求1所述的方法，其进一步包括基于所述当前块的形状确定用于所述第一运动向量及所述第二运动向量的控制点。
9.根据权利要求1所述的方法，其进一步包括隐式地导出用于所述第一运动向量及所述第二运动向量的控制点。
10.根据权利要求1所述的方法，其进一步包括对表示用于所述第二MVD的MVD'2的数据进行译码，其中MVD'2表示所述第二MVD相对于所述第一MVD的残余值。
11.根据权利要求10所述的方法，其中所述第一MVD包括MVD1，所述第二MVD包括MVD2，w包括加权值，且MVD'2＝MVD1-w*MVD2。
12.根据权利要求10所述的方法，其中所述第一MVD包括MVD1，所述第二MVD包括MVD2，且对于加权值0.5，MVD'2＝MVD2-((MVD1+1)>>1)。
13.根据权利要求10所述的方法，其中所述第一MVD包括MVD1，所述第二MVD包括MVD2，且对于加权值0.25，MVD'2＝MVD2-((MVD1+2)>>2)。
14.根据权利要求1所述的方法，其进一步包括确定从所述第一MVD预测所述第二MVD，其中从所述第一MVD预测所述第二MVD包括响应于确定从所述第一MVD预测所述第二MVD而从所述第一MVD预测所述第二MVD。
15.根据权利要求14所述的方法，其中确定从所述第一MVD预测所述第二MVD包括基于所述当前块的形状确定从所述第一MVD预测所述第二MVD。
16.根据权利要求14所述的方法，其中确定从所述第一MVD预测所述第二MVD包括基于用于所述当前块的运动预测方法确定从所述第一MVD预测所述第二MVD。
17.根据权利要求16所述的方法，其中确定从所述第一MVD预测所述第二MVD包括确定所述运动预测方法为仿射合并模式。
18.根据权利要求1所述的方法，其中所述第二MVD包含水平分量(MVD2x)及竖直分量(MVD2y)，且其中预测所述第二MVD包括以与预测MVD2y不同的方式预测MVD2x。
19.根据权利要求1所述的方法，其进一步包括从所述第一MVD或所述第二MVD中的至少一者产生用于所述当前块的第三运动向量的第三MVP。
20.根据权利要求1所述的方法，其中所述第一MVD包括MVD1，所述方法进一步包括：
从所述当前块的一或多个相邻块的运动向量确定用于所述第二运动向量的第二中间MVP(MVP'2)；及
从MVP'2及MVD1产生用于所述第二运动向量的第二MVP(MVP2)。
21.根据权利要求1所述的方法，其进一步包括从所述第一MVD及用于所述当前块的第三运动向量的第三MVD产生用于所述第二运动向量的第二MVP，其中所述第二MVP包括MVP2，所述第一MVD包括MVD1，所述第三MVD包括MVD3，所述方法进一步包括从所述当前块的一或多个相邻块的运动向量确定用于所述第二运动向量的第二中间MVP(MVP'2)，其中产生MPV2包括以MVP2＝MVP'2+((MVD1+MVD3)>>1)形式产生MVP2。
22.根据权利要求1所述的方法，其中对所述当前块进行译码包括对所述当前块进行解码，其包括：
将所述第一MVD与所述第一MVP相加以重建所述第一运动向量；
确定用于所述第二运动向量的第二MVP；
使用来自所述第一MVD的预测重建所述第二MVD；
将所述第二MVD与所述第二MVP相加以重建所述第二运动向量；
使用所述第一运动向量及所述第二运动向量形成用于所述当前块的预测块；
对用于所述当前块的残余块进行解码；及
将所述残余块与所述预测块相加以重建所述当前块。
23.根据权利要求1所述的方法，其中对所述当前块进行译码包括对所述当前块进行编码，其包括：
从所述第一运动向量减去所述第一MVP以产生所述第一MVD；
确定用于所述第二运动向量的第二MVP；
从所述第二MVP减去所述第二运动向量以产生所述第二MVD；
对所述第一MVD进行编码；
对表示从所述第一MVD预测的所述第二MVD的数据进行编码；
使用所述第一运动向量及所述第二运动向量形成用于所述当前块的预测块；
从所述当前块减去所述预测块以产生残余块；及
对所述残余块进行编码。
24.一种用于对视频数据进行译码的装置，所述装置包括：
存储器，其经配置以存储视频数据；及
一或多个处理器，其实施于电路中且经配置以：
对表示使用仿射预测进行预测的当前视频数据块的第一运动向量与用于所述第一运动向量的第一运动向量预测符MVP之间的差的第一运动向量差MVD进行译码；
针对所述当前块的第二运动向量从所述第一MVD预测第二MVD；及
使用仿射预测根据所述第一运动向量及所述第二运动向量对所述当前块进行译码。
25.根据权利要求24所述的装置，其中所述一或多个处理器经配置以：
将所述第一MVD与所述第一MVP相加以重建所述第一运动向量；
确定用于所述第二运动向量的第二MVP；
使用来自所述第一MVD的预测重建所述第二MVD；
将所述第二MVD与所述第二MVP相加以重建所述第二运动向量；
使用所述第一运动向量及所述第二运动向量形成用于所述当前块的预测块；
对用于所述当前块的残余块进行解码；及
将所述残余块与所述预测块相加以重建所述当前块。
26.根据权利要求24所述的装置，其中所述一或多个处理器经配置以：
从所述第一运动向量减去所述第一MVP以产生所述第一MVD；
确定用于所述第二运动向量的第二MVP；
从所述第二MVP减去所述第二运动向量以产生所述第二MVD；
对所述第一MVD进行编码；
对表示从所述第一MVD预测的所述第二MVD的数据进行编码；
使用所述第一运动向量及所述第二运动向量形成用于所述当前块的预测块；
从所述当前块减去所述预测块以产生残余块；及
对所述残余块进行编码。
27.根据权利要求24所述的装置，其进一步包括经配置以显示经解码视频数据的显示器。
28.根据权利要求24所述的装置，其中所述装置包括相机、计算机、移动装置、广播接收器装置或机顶盒中的一或多者。
29.一种计算机可读存储媒体，其上存储有指令，所述指令在执行时使用于对视频数据进行译码的装置的处理器进行以下操作：
对表示使用仿射预测进行预测的当前视频数据块的第一运动向量与用于所述第一运动向量的第一运动向量预测符MVP之间的差的第一运动向量差MVD进行译码；
针对所述当前块的第二运动向量从所述第一MVD预测第二MVD；及
使用仿射预测根据所述第一运动向量及所述第二运动向量对所述当前块进行译码。
30.一种用于对视频数据进行译码的装置，所述装置包括：
译码装置，用于对表示使用仿射预测进行预测的当前视频数据块的第一运动向量与用于所述第一运动向量的第一运动向量预测符MVP之间的差的第一运动向量差MVD进行译码；
预测装置，用于针对所述当前块的第二运动向量从所述第一MVD预测第二MVD；及
译码装置，用于使用仿射预测根据所述第一运动向量及所述第二运动向量对所述当前块进行译码。
CN201880062666.6A 2017-10-03 2018-10-02 译码用于视频译码的仿射预测运动信息 Active CN111164973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311469808.XA CN117692631A (zh) 2017-10-03 2018-10-02 译码用于视频译码的仿射预测运动信息

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762567598P 2017-10-03 2017-10-03
US62/567,598 2017-10-03
US16/148,738 2018-10-01
US16/148,738 US10856003B2 (en) 2017-10-03 2018-10-01 Coding affine prediction motion information for video coding
PCT/US2018/053936 WO2019070683A1 (en) 2017-10-03 2018-10-02 CODING AFFINE PREDICTION MOVEMENT INFORMATION INFORMATION FOR VIDEO CODING

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311469808.XA Division CN117692631A (zh) 2017-10-03 2018-10-02 译码用于视频译码的仿射预测运动信息

Publications (2)

Publication Number Publication Date
CN111164973A true CN111164973A (zh) 2020-05-15
CN111164973B CN111164973B (zh) 2023-11-17

Family

ID=65896942

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880062666.6A Active CN111164973B (zh) 2017-10-03 2018-10-02 译码用于视频译码的仿射预测运动信息
CN202311469808.XA Pending CN117692631A (zh) 2017-10-03 2018-10-02 译码用于视频译码的仿射预测运动信息

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311469808.XA Pending CN117692631A (zh) 2017-10-03 2018-10-02 译码用于视频译码的仿射预测运动信息

Country Status (13)

Country Link
US (1) US10856003B2 (zh)
EP (2) EP3692715B1 (zh)
JP (1) JP7000565B2 (zh)
KR (1) KR102305990B1 (zh)
CN (2) CN111164973B (zh)
AU (1) AU2018345741B2 (zh)
BR (1) BR112020006232A2 (zh)
CA (1) CA3074701C (zh)
CL (1) CL2020000815A1 (zh)
CO (1) CO2020004110A2 (zh)
SG (1) SG11202001574YA (zh)
TW (1) TWI750415B (zh)
WO (1) WO2019070683A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609384B2 (en) * 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
US11172229B2 (en) 2018-01-12 2021-11-09 Qualcomm Incorporated Affine motion compensation with low bandwidth
EP3780616B1 (en) 2018-04-13 2024-03-06 LG Electronics Inc. Method and apparatus for inter prediction in video processing system
US11051025B2 (en) * 2018-07-13 2021-06-29 Tencent America LLC Method and apparatus for video coding
CN117528072A (zh) 2018-07-13 2024-02-06 Lg电子株式会社 解码设备、编码设备和发送用于视频的数据的设备
CN110868587B (zh) * 2018-08-27 2023-10-20 华为技术有限公司 一种视频图像预测方法及装置
WO2020060366A1 (ko) * 2018-09-22 2020-03-26 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
US11997279B2 (en) * 2018-10-10 2024-05-28 Interdigital Vc Holdings, Inc. Affine mode signaling in video encoding and decoding
US11528484B2 (en) * 2018-12-06 2022-12-13 Lg Electronics Inc. Method and apparatus for processing video signal on basis of inter prediction
CN113796084B (zh) * 2019-04-14 2023-09-15 北京字节跳动网络技术有限公司 运动矢量和预测样点细化
EP3939287A4 (en) 2019-04-25 2022-05-11 Beijing Bytedance Network Technology Co., Ltd. RESTRICTIONS ON DIFFERENCE BETWEEN MOVEMENT VECTORS
KR20220002989A (ko) * 2019-04-25 2022-01-07 오피 솔루션즈, 엘엘씨 픽처 헤더 내의 글로벌 모션 벡터의 시그널링
JP7323641B2 (ja) 2019-05-21 2023-08-08 北京字節跳動網絡技術有限公司 アフィンモードのための適応動きベクトル差分分解
CN114270860A (zh) * 2019-06-04 2022-04-01 北京达佳互联信息技术有限公司 针对仿射模式的自适应运动矢量分辨率
WO2020259681A1 (en) 2019-06-25 2020-12-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on motion vector difference
CN114128294A (zh) * 2019-07-08 2022-03-01 现代自动车株式会社 用于视频数据的帧内预测编码的方法和装置
KR20220042125A (ko) 2019-08-10 2022-04-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처 디코딩에서의 버퍼 관리
CN112204973A (zh) * 2019-09-24 2021-01-08 北京大学 视频编解码的方法与装置
JP7482220B2 (ja) 2019-10-18 2024-05-13 北京字節跳動網絡技術有限公司 サブピクチャのパラメータセットシグナリングにおける構文制約
JP7453581B2 (ja) * 2020-02-25 2024-03-21 日本電信電話株式会社 符号化方法、符号化装置及びプログラム
CN112822497B (zh) * 2020-12-01 2024-02-02 青岛大学 基于边缘计算的视频压缩编码处理方法及相关组件
US11936877B2 (en) * 2021-04-12 2024-03-19 Qualcomm Incorporated Template matching based affine prediction for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090232215A1 (en) * 2008-03-12 2009-09-17 Lg Electronics Inc. Method and an Apparatus for Encoding or Decoding a Video Signal
US20160134886A1 (en) * 2013-06-14 2016-05-12 Samsung Electronics Co., Ltd. Method for obtaining motion information
WO2017118409A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine merge mode prediction for video coding system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011223176A (ja) 2010-04-06 2011-11-04 Sony Corp 画像処理装置および方法
KR20120068743A (ko) * 2010-12-17 2012-06-27 한국전자통신연구원 인터 예측 방법 및 그 장치
KR101377528B1 (ko) * 2011-01-15 2014-03-27 에스케이텔레콤 주식회사 움직임 벡터 부호화/복호화 방법 및 장치
US9247249B2 (en) * 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
CN111526361B (zh) 2016-02-06 2022-05-13 华为技术有限公司 图像编解码方法及装置
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US10425646B2 (en) * 2017-09-07 2019-09-24 Arm Limited Method of and apparatus for processing video image data
US10440378B1 (en) * 2018-07-17 2019-10-08 Tencent America LLC Method and apparatus for history-based motion vector prediction with parallel processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090232215A1 (en) * 2008-03-12 2009-09-17 Lg Electronics Inc. Method and an Apparatus for Encoding or Decoding a Video Signal
US20160134886A1 (en) * 2013-06-14 2016-05-12 Samsung Electronics Co., Ltd. Method for obtaining motion information
WO2017118409A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine merge mode prediction for video coding system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUANG, HAN 等: "Control-Point Representation and Differential Coding Affine-Motion Compensation" *

Also Published As

Publication number Publication date
CO2020004110A2 (es) 2020-04-24
JP2020536443A (ja) 2020-12-10
TWI750415B (zh) 2021-12-21
US20190104319A1 (en) 2019-04-04
EP4429249A2 (en) 2024-09-11
US10856003B2 (en) 2020-12-01
EP3692715B1 (en) 2024-09-11
TW201924345A (zh) 2019-06-16
BR112020006232A2 (pt) 2020-10-13
EP3692715A1 (en) 2020-08-12
CN111164973B (zh) 2023-11-17
CL2020000815A1 (es) 2020-09-25
KR20200053508A (ko) 2020-05-18
WO2019070683A1 (en) 2019-04-11
KR102305990B1 (ko) 2021-09-27
CA3074701A1 (en) 2019-04-11
JP7000565B2 (ja) 2022-01-19
AU2018345741A1 (en) 2020-03-19
SG11202001574YA (en) 2020-04-29
CA3074701C (en) 2023-08-22
CN117692631A (zh) 2024-03-12
AU2018345741B2 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
CN111164973B (zh) 译码用于视频译码的仿射预测运动信息
US11503324B2 (en) Affine motion prediction for video coding
CN110301135B (zh) 解码视频数据的方法和装置以及计算机可读存储介质
CN111567043B (zh) 对视频数据进行译码的方法、装置和计算机可读存储介质
CN107431820B (zh) 视频译码中运动向量推导
CN108028929B (zh) 用于视频译码的改进双向光流
CN107211157B (zh) 用于视频译码的重叠运动补偿
US9736489B2 (en) Motion vector determination for video coding
US9426463B2 (en) Restriction of prediction units in B slices to uni-directional inter prediction
CN111164977A (zh) 视频译码中的仿射预测
US9491458B2 (en) Scalable video coding prediction with non-causal information
CN111213376A (zh) 使用基于编码结构的候选列表构建对视频数据的运动信息进行编码
US20130114717A1 (en) Generating additional merge candidates
CN114128261A (zh) 用于视频译码的组合的帧间和帧内预测模式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40023329

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant