CN109792533B - 一种解码和编码视频数据的方法及装置 - Google Patents

一种解码和编码视频数据的方法及装置 Download PDF

Info

Publication number
CN109792533B
CN109792533B CN201780060495.9A CN201780060495A CN109792533B CN 109792533 B CN109792533 B CN 109792533B CN 201780060495 A CN201780060495 A CN 201780060495A CN 109792533 B CN109792533 B CN 109792533B
Authority
CN
China
Prior art keywords
block
affine
motion vector
control point
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780060495.9A
Other languages
English (en)
Other versions
CN109792533A (zh
Inventor
陈义文
钱威俊
张莉
孙宇辰
陈建乐
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109792533A publication Critical patent/CN109792533A/zh
Application granted granted Critical
Publication of CN109792533B publication Critical patent/CN109792533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频解码器选择源仿射块。所述源仿射块为在空间上与当前块相邻的仿射译码块。另外，所述视频解码器外推所述源仿射块的控制点的运动向量以确定所述当前块的控制点的运动向量预测符。所述视频解码器将包含所述当前块的所述控制点的所述运动向量预测符的仿射运动向量预测符MVP集合插入到MVP集合候选列表中。所述视频解码器也基于在位流中发信的索引确定所述仿射MVP集合候选列表中的所选择仿射MVP集合。所述视频解码器从所述位流获得指示所述当前块的所述控制点的运动向量与所述所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差MVD。

Description

一种解码和编码视频数据的方法及装置
本申请案主张2016年10月5日申请的美国临时专利申请案第62/404,719号的权益，所述临时专利申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及用于视频译码的装置、系统和方法。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置等。数字视频装置实施视频压缩技术，例如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分先进视频译码(AVC)定义的标准、ITU-T H.265、高效率视频译码(HEVC)标准和这些标准的扩展中所描述的技术。视频装置可通过实施这些视频压缩技术更有效地传输、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频图块(即，视频帧或视频帧的一部分)分割成视频块，其也可被称作树型块、译码单元(CU)和/或译码节点。图片的经帧内译码(I)图块中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的帧间译码(P或B)图块中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。空间或时间预测导致待译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性块之间的差的残余数据来编码经帧间译码块。帧内译码块是根据帧内译码模式和残余数据编码。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而导致残余变换系数，可接着量化所述残余变换系数。
发明内容
一般来说，本发明描述与用于仿射运动预测模式的运动向量预测和运动向量重构相关的技术。所述技术可应用于现有视频编解码器中的任一个(例如，高效率视频译码(HEVC))，或可为任何未来视频译码标准中的高效译码工具。
在一个实例中，本发明描述一种解码视频数据的方法，所述方法包括：选择源仿射块，所述源仿射块为在空间上与当前块相邻的仿射译码块；外推源仿射块的控制点的运动向量以确定当前块的控制点的运动向量预测符；将包含当前块的控制点的运动向量预测符的仿射运动向量预测符(MVP)集合插入到仿射MVP集合候选列表中；基于在位流中发信的索引确定仿射MVP集合候选列表中的所选择仿射MVP集合；从位流获得指示当前块的控制点的运动向量与所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差(MVD)；和基于包含于所选择仿射MVP集合中的运动向量预测符和MVD确定当前块的控制点的运动向量；基于当前块的控制点的运动向量产生预测性块；和基于残余数据和预测性块重构当前块。
在另一实例中，本发明描述一种编码视频数据的方法，所述方法包括：选择源仿射块，所述源仿射块为在空间上与当前块相邻的仿射译码块；外推源仿射块的控制点的运动向量以确定当前块的控制点的运动向量预测符；将包含当前块的控制点的运动向量预测符的仿射运动向量预测符(MVP)集合插入到仿射MVP集合候选列表中；在仿射MVP集合候选列表中选择仿射MVP集合；在位流中发信指示当前块的控制点的运动向量与所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差(MVD)；和在位流中发信指示所选择仿射MVP集合在仿射MVP集合候选列表中的位置的索引。
在另一实例中，本发明描述一种用于解码视频数据的装置，所述装置包括：存储器，其经配置以存储视频数据；和一或多个处理电路，其经配置以：选择源仿射块，所述源仿射块为在空间上与当前块相邻的仿射译码块；外推源仿射块的控制点的运动向量以确定当前块的控制点的运动向量预测符；将包含当前块的控制点的运动向量预测符的仿射运动向量预测符(MVP)集合插入到仿射MVP集合候选列表中；基于在位流中发信的索引确定仿射MVP集合候选列表中的所选择仿射MVP集合；从位流获得指示当前块的控制点的运动向量与所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差(MVD)；和基于包含于所选择仿射MVP集合中的运动向量预测符和MVD确定当前块的控制点的运动向量；基于当前块的控制点的运动向量产生预测性块；和基于残余数据和预测性块重构当前块。
在另一实例中，本发明描述一种用于编码视频数据的装置，所述装置包括：存储器，其经配置以存储视频数据；和一或多个处理电路，其经配置以：选择源仿射块，所述源仿射块为在空间上与当前块相邻的仿射译码块；外推源仿射块的控制点的运动向量以确定当前块的控制点的运动向量预测符；将包含当前块的控制点的运动向量预测符的仿射运动向量预测符(MVP)集合插入到仿射MVP集合候选列表中；在仿射MVP集合候选列表中选择仿射MVP集合；在位流中发信指示当前块的控制点的运动向量与所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差(MVD)；和在位流中发信指示所选择仿射MVP集合在仿射MVP集合候选列表中的位置的索引。
在另一实例中，本发明描述一种用于解码视频数据的装置，所述装置包括：用于选择源仿射块的装置，所述源仿射块为在空间上与当前块相邻的仿射译码块；用于外推源仿射块的控制点的运动向量以确定当前块的控制点的运动向量预测符的装置；用于将包含当前块的控制点的运动向量预测符的仿射运动向量预测符(MVP)集合插入到仿射MVP集合候选列表中的装置；用于基于在位流中发信的索引确定仿射MVP集合候选列表中的所选择仿射MVP集合的装置；用于从位流获得指示当前块的控制点的运动向量与所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差(MVD)的装置；和用于基于包含于所选择仿射MVP集合中的运动向量预测符和MVD确定当前块的控制点的运动向量的装置；用于基于当前块的控制点的运动向量产生预测性块的装置；和用于基于残余数据和预测性块重构当前块的装置。
在另一实例中，本发明描述一种用于编码视频数据的装置，所述装置包括：用于选择源仿射块的装置，所述源仿射块为在空间上与当前块相邻的仿射译码块；用于外推源仿射块的控制点的运动向量以确定当前块的控制点的运动向量预测符的装置；用于将包含当前块的控制点的运动向量预测符的仿射运动向量预测符(MVP)集合插入到仿射MVP集合候选列表中的装置；用于在仿射MVP集合候选列表中选择仿射MVP集合的装置；用于在位流中发信指示当前块的控制点的运动向量与所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差(MVD)的装置；和用于在位流中发信指示所选择仿射MVP集合在仿射MVP集合候选列表中的位置的索引的装置。
在另一实例中，本发明描述一种存储指令的计算机可读存储媒体，所述指令在经执行时使得用于视频解码的装置的一或多个处理电路：选择源仿射块，所述源仿射块为在空间上与当前块相邻的仿射译码块；外推源仿射块的控制点的运动向量以确定当前块的控制点的运动向量预测符；将包含当前块的控制点的运动向量预测符的仿射运动向量预测符(MVP)集合插入到仿射MVP集合候选列表中；基于在位流中发信的索引确定仿射MVP集合候选列表中的所选择仿射MVP集合；从位流获得指示当前块的控制点的运动向量与所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差(MVD)；和基于包含于所选择仿射MVP集合中的运动向量预测符和MVD确定当前块的控制点的运动向量；基于当前块的控制点的运动向量产生预测性块；和基于残余数据和预测性块重构当前块。
在另一实例中，本发明描述一种存储指令的计算机可读存储媒体，所述指令在经执行时使得用于编码视频数据的装置的一或多个处理电路：选择源仿射块，所述源仿射块为在空间上与当前块相邻的仿射译码块；外推源仿射块的控制点的运动向量以确定当前块的控制点的运动向量预测符；将包含当前块的控制点的运动向量预测符的仿射运动向量预测符(MVP)集合插入到仿射MVP集合候选列表中；在仿射MVP集合候选列表中选择仿射MVP集合；在位流中发信指示当前块的控制点的运动向量与所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差(MVD)；和在位流中发信指示所选择仿射MVP集合在仿射MVP集合候选列表中的位置的索引。
在附图和以下描述中阐述本发明的一或多个方面的细节。本发明中所描述的技术的其它特征、目标和优点将从描述、图式和权利要求书显而易见。
附图说明
图1为说明可利用本发明中所描述的一或多个技术的实例视频编码和解码系统的框图。
图2A说明用于合并模式的空间相邻运动向量(MV)候选者。
图2B说明用于先进运动向量预测(AMVP)模式的空间相邻MV候选者。
图3A为说明用于导出时间运动向量预测符(TMVP)候选者的实例技术的概念图。
图3B说明运动向量按比例调整。
图4说明用于当前块的简化仿射运动模型。
图5说明每一子块的仿射运动向量场(MVF)。
图6A为说明如在AF_INTER模式中所使用的当前块和相邻块的框图。
图6B说明在4参数仿射运动模型中使用的实例仿射MVP集合候选列表。
图7A展示在AF_MERGE模式中译码当前块时使用的相邻块。
图7B说明用于AF_MERGE的候选者。
图8A说明在6参数仿射运动模型中使用的实例块。
图8B说明在6参数仿射运动模型中使用的实例仿射MVP集合候选列表。
图9说明根据本发明的技术的包含外推的MVP集合的实例仿射MVP集合候选列表。
图10说明根据本发明的技术的子块运动预测或参数预测，其中当前块的每一子块的仿射运动可从其自身相邻块的外推的运动而预测或直接继承。
图11A说明根据本发明的技术的用于4参数仿射运动模型的实例仿射MVP集合候选列表。
图11B说明根据本发明的技术的用于6参数仿射运动模型的实例仿射MVP集合候选列表。
图12为说明可实施本发明中所描述的一或多个技术的实例视频编码器的框图。
图13为说明可实施本发明中所描述的一或多个技术的实例视频解码器的框图。
图14A为说明根据本发明的技术的用于编码视频数据的实例操作的流程图。
图14B为说明根据本发明的技术的用于解码视频数据的实例操作的流程图。
图15A为说明根据本发明的技术的用于编码视频数据的实例操作的流程图。
图15B为说明根据本发明的技术的用于解码视频数据的实例操作的流程图。
图16A为说明根据本发明的技术的用于编码视频数据的实例操作的流程图。
图16B为说明根据本发明的技术的用于解码视频数据的实例操作的流程图。
图17为说明根据本发明的技术的用于编码视频数据的实例操作的流程图。
图18为说明根据本发明的技术的用于解码视频数据的实例操作的流程图。
图19A为说明根据本发明的技术的用于编码视频数据的实例操作的流程图。
图19B为说明根据本发明的技术的用于解码视频数据的实例操作的流程图。
图20A为说明根据本发明的技术的用于编码视频数据的实例操作的流程图。
图20B为说明根据本发明的技术的用于解码视频数据的实例操作的流程图。
图21A为说明根据本发明的技术的用于编码视频数据的实例操作的流程图。
图21B为说明根据本发明的技术的用于解码视频数据的实例操作的流程图。
具体实施方式
仿射运动模型的使用已被提议以提供视频数据的进一步压缩。用于块的仿射运动模型表示一系列图片中的块的旋转。块的仿射运动模型可基于块的控制点的运动向量而确定。在一些实施方案中，块的控制点为块的左上方拐角和右上方拐角。在一些实施方案中，块的控制点进一步包含块的左下方拐角。视频译码器(即，视频编码器或视频解码器)可基于块的控制点的运动向量计算块的子块的运动向量。
已提议两个主要技术用于发信块的控制点的运动向量。第一技术为仿射帧间模式。第二技术为仿射合并模式。在仿射帧间模式中，视频编码器产生当前块的仿射运动向量预测符(MVP)集合候选列表。仿射MVP集合候选列表为仿射MVP集合的列表。每一仿射MVP集合为对应于当前块的不同控制点的MVP的集合。视频编码器向视频解码器发信索引，所述索引识别仿射MVP集合候选列表中的所选择仿射MVP集合。另外，视频编码器发信当前块的控制点中的每一个的运动向量差(MVD)。控制点的运动向量可等于控制点的MVD加上所选择仿射MVP集合中的用于控制点的运动向量预测符。视频编码器也发信识别视频解码器与当前块一起使用的参考图片的参考索引。视频解码器产生相同仿射MVP集合候选列表并使用所发信索引以确定所选择仿射MVP集合。视频解码器可添加MVD到所选择仿射MVP集合的运动向量以确定当前块的控制点的运动向量。
在仿射合并模式中，视频编码器和视频解码器识别当前块的相同仿射源块。仿射源块可为在空间上与当前块相邻的仿射译码块。视频编码器和视频解码器从仿射源块的控制点的运动向量外推当前块的控制点的运动向量。举例来说，视频编码器和视频解码器可构建描述当前块内的位置的运动向量的仿射运动模型。仿射运动模型由仿射参数的集合定义。视频编码器和视频解码器可基于当前块的控制点的运动向量确定仿射参数。视频编码器和视频解码器可基于仿射源块的控制点的运动向量确定当前块的控制点的运动向量。
根据本发明的一个实例技术，当在仿射帧间模式中产生仿射MVP集合候选列表时，视频编码器可将指定仿射源块的控制点的经外推运动向量的仿射MVP集合包含于当前块的仿射MVP集合候选列表中。在此实例中，视频编码器可发信到仿射MVP集合候选列表中的索引、用于当前块的每一控制点的MVD，和参考索引。视频解码器可产生当前块的相同仿射MVP集合候选列表。另外，视频解码器使用到仿射MVP集合候选列表中的索引以识别所选择仿射MVP候选集合。视频解码器接着可使用MVD和所选择仿射MVP候选集合的运动向量预测符以确定当前块的控制点的运动向量。另外，视频解码器可使用运动向量和由参考索引指示的参考图片以产生当前块的预测性块。视频解码器可使用当前块的预测性块以重构当前块。在当前块的仿射MVP集合候选列表中包含指定仿射源块的控制点的经外推运动向量的仿射MVP集合可增加译码效率。
图1为说明可利用本发明的技术的实例视频编码和解码系统10的框图。如图1中所示，系统10包含提供稍后将由目的地装置14解码的经编码视频数据的源装置12。明确地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括广泛范围的装置中的任一个，包含台式计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、平板计算机、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置等。在一些状况下，源装置12和目的地装置14可经装备以用于无线通信。因此，源装置12和目的地装置14可为无线通信装置。源装置12为实例视频编码装置(即，用于编码视频数据的装置)。目的地装置14为实例视频解码装置(即，用于解码视频数据的装置)。
在图1的实例中，源装置12包含视频源18、经配置以存储视频数据的存储媒体19、视频编码器20和输出接口22。目的地装置14包含输入接口26、经配置以存储经编码视频数据的存储媒体28、视频解码器30和显示装置32。在其它实例中，源装置12和目的地装置14包含其它组件或布置。举例来说，源装置12可从外部视频源(例如，外部摄影机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。
图1的所说明系统10仅为一个实例。用于处理视频数据的技术可由任何数字视频编码和/或解码装置来执行。尽管本发明的技术通常由视频编码装置执行，但所述技术也可由视频编码器/解码器(通常被称为“CODEC”)执行。源装置12和目的地装置14仅为源装置12产生经译码视频数据以供传输到目的地装置14的此类译码装置的实例。在一些实例中，源装置12和目的地装置14可以大体上对称方式操作，使得源装置12和目的地装置14中的每一个包含视频编码和解码组件。因此，系统10可支持源装置12与目的地装置14之间的单向或双向视频传输，例如用于视频流式传输、视频播放、视频广播或视频电话。
源装置12的视频源18可包含视频捕捉装置，例如摄像机、含有先前捕捉的视频的视频存档，和/或用以从视频内容提供者接收视频数据的视频馈入接口。作为另一替代，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、经存档视频和计算机产生的视频的组合。源装置12可包括经配置以存储视频数据的一或多个数据存储媒体(例如，存储媒体19)。本发明中所描述的技术可大体上适用于视频译码，且可应用于无线和/或有线应用。在每一状况下，捕捉、预先捕捉或计算机产生的视频可由视频编码器20编码。输出接口22可将经编码视频信息输出到计算机可读媒体16。
输出接口22可包括各种类型的组件或装置。举例来说，输出接口22可包括无线传输器、调制解调器、有线网络连接组件(例如，以太网卡)或另一物理组件。在输出接口22包括无线接收器的实例中，输出接口22可经配置以接收根据蜂窝式通信标准(例如，4G、4G-LTE、LTE先进、5G等)调制的数据，例如位流。在其中输出接口22包括无线接收器的一些实例中，输出接口22可经配置以接收根据其它无线标准(例如，IEEE 802.11规范、IEEE 802.15规范(例如，ZigBeeTM)、BluetoothTM标准等)调制的数据，例如位流。在一些实例中，输出接口22的电路可集成于源装置12的视频编码器20和/或其它组件的电路中。举例来说，视频编码器20和输出接口22可为系统单芯片(SoC)的部分。SoC也可包含其它组件，例如，通用微处理器、图形处理单元等。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一些实例中，计算机可读媒体16包括通信媒体以使源装置12能够实时地将经编码视频数据直接传输到目的地装置14。可根据通信标准(例如，无线通信协议)调制经编码视频数据，且将其传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于封包的网络(例如局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它装备。目的地装置14可包括经配置以存储经编码视频数据和经解码视频数据的一或多个数据存储媒体。
在一些实例中，经编码数据可从输出接口22输出到存储装置。类似地，可由输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一个，例如，硬盘机、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载而从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据并将彼经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络附加存储(NAS)装置和本地磁盘机。目的地装置14可通过任何标准数据连接(包含因特网连接)而存取经编码的视频数据。此连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)或两者的组合。来自存储装置的经编码视频数据的传输可为流式传输、下载传输，或其组合。
所述技术可应用于视频译码以支持多种多媒体应用中的任一个，例如，空中电视广播、有线电视传输、有线传输、卫星电视传输、因特网流式传输视频传输(例如，HTTP动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码或其它应用或以上实例的组合。在一些实例中，系统10可经配置以支持单向或双向视频传输以支持应用(例如，视频流式传输、视频播放、视频广播和/或视频电话的应用)。
计算机可读媒体16可包含暂时性媒体，例如无线广播或有线网络传输，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(图中未示)可接收来自源装置12的经编码视频数据且(例如)经由网络传输提供经编码视频数据到目的地装置14。类似地，媒体产生设施(例如光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，可理解计算机可读媒体16包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口26接收来自计算机可读媒体16的信息。计算机可读媒体16的信息可包含由视频编码器20的视频编码器20定义的语法信息，所述语法信息也由视频解码器30使用，所述语法信息包含描述块和其它译码单元(例如，图片群组(GOP))的特性和/或处理的语法元素。输出接口26可包括各种类型的组件或装置。举例来说，输出接口26可包括无线接收器、调制解调器、有线网络连接组件(例如，以太网卡)或另一物理组件。在输入接口26包括无线接收器的实例中，输入接口26可经配置以接收根据蜂窝式通信标准(例如，4G、4G-LTE、LTE先进、5G等)调制的数据，例如，位流。在其中输出接口26包括无线接收器的一些实例中，输出接口26可经配置以接收根据其它无线标准(例如，IEEE 802.11规范、IEEE 802.15规范(例如，ZigBeeTM)、BluetoothTM标准等)调制的数据，例如位流。在一些实例中，输入接口26的电路可集成于目的地装置14的视频解码器30和/或其它组件的电路中。举例来说，视频解码器30和输入接口26可为SoC的部分。SoC也可包含其它组件，例如，通用微处理器、图形处理单元等。
存储媒体28可经配置以存储经编码视频数据，例如由输入接口26接收的经编码视频数据(例如，位流)。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一个，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30各自可实施为多种合适编码器电路中的任一个，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分以软件实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行指令以执行本发明的技术。视频编码器20和视频解码器30中的每一个可包含于一或多个编码器或解码器中，编码器或解码器中的任一个可集成为相应装置中的组合式编码器/解码器(CODEC)的部分。
在一些实例中，视频编码器20和视频解码器30可根据视频译码标准(例如现有或未来标准)来操作。实例视频译码标准包含但不限于：ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual和ITU-T H.264(也被称作ISO/IEC MPEG-4AVC)，包含其可调式视频译码(SVC)和多视图视频译码(MVC)延伸。另外，最近已由ITU-T视频译码专家组(VCEG)和ISO/IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)以及3D视频译码延伸开发联合合作小组(JCT-3V)开发新的视频译码标准，即高效率视频译码(HEVC)或ITU-T H.265，其包含其范围和屏幕内容译码延伸、3D视频译码(3D-HEVC)与多视图延伸(MV-HEVC)，和可调式延伸(SHVC)。HEVC草案规范(且下文中称作HEVC)可从2013年7月25日到8月2日在维也纳的第14次会议，王等人的ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的视频译码联合合作小组(JCT-VC)的“High Efficiency Video Coding(HEVC)Defect Report(高效率视频译码(HEVC)缺陷报告)”获得，文件JCTVC-N1003_v1可从http://phenix.int-evry.fr/jct/doc_end_user/ documents/14_Vienna/wg11/JCTVC-N1003-v1.zip获得。HEVC也在2016年12月公开为建议ITU-T H.265，系列H：视听和多媒体系统、移动视频的视听服务译码的基础架构，高效率视频译码。
ITU-T VCEG(Q6/16)和ISO/IEC MPEG(JTC 1/SC 29/WG 11)现正研究对于将具有显著超过当前HEVC标准(包含其当前延伸和针对屏幕内容译码和高动态范围译码的近期延伸)的压缩能力的压缩能力的未来视频译码技术标准化的潜在需要。所述群组正共同致力于联合合作工作(被称为联合视频探索小组(JVET))中的此探索活动，以评估由此领域中的专家建议的压缩技术设计。JVET首先在2015年10月19日到21日期间满足。参考软件的最近版本(即，联合探索模型3(JEM3))可从https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-3.0/下载。2016年5月J.陈(Chen)、E.阿史那(Alshina)、G.J.沙利文(Sullivan)、J.-R.欧姆(Ohm)、J.博伊斯(Boyce)的“AlgorithmDescription of Joint Exploration Test Model 3(联合探索测试模型3之算法描述)”JVET-C1001(下文中，“JVET-C1001”)包含联合探索测试模型3(JEM3.0)的算法描述。
在HEVC和其它视频译码规范中，视频数据包含一系列图片。图片也可被称为“帧”。图片可包含一或多个样本阵列。图片的每一相应样本阵列可包括相应色彩分量的样本阵列。在HEVC中，图片可包含三个样本阵列，表示为SL、SCb和SCr。SL为亮度样本的二维阵列(即，块)。SCb为Cb色度样本的二维阵列。SCr为Cr色度样本的二维阵列。在其它情况下，图片可为单色的，且可仅包含亮度样本阵列。
作为编码视频数据的部分，视频编码器20可编码视频数据的图片。换句话说，视频编码器20可产生视频数据的图片的经编码表示。图片的经编码表示在本文中可被称作“经译码图片”或“经编码图片”。
为产生图片的经编码表示，视频编码器20可编码图片的块。视频编码器20可将视频块的经编码表示包含于位流中。举例来说，为产生图片的经编码表示，视频编码器20可将图片的每一样本阵列分割成译码树型块(CTB)并编码CTB。CTB可为图片的样本阵列中的样本的N×N块。在HEVC主规范中，CTB的大小可介于16×16到64×64的范围(尽管技术上可支持8×8CTB大小)。
图片的译码树型单元(CTU)可包括一或多个CTB且可包括用以编码所述一或多个CTB的样本的语法结构。举例来说，每一CTU可包括亮度样本的CTB、色度样本的两个对应CTB，和用以编码CTB的样本的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单个CTB和用以编码CTB的样本的语法结构。CTU也可被称作“树型块”或“最大译码单元”(LCU)。在本发明中，“语法结构”可经定义为按指定次序一起在位流中呈现的零或多个语法元素。在一些编解码器中，经编码图片为含有图片的所有CTU的经编码表示。
为编码图片的CTU，视频编码器20可将CTU的CTB分割成一或多个译码块。译码块为样本的N×N块。在一些编解码器中，为编码图片的CTU，视频编码器20可对CTU的译码树型块递回地执行四分树分割以将CTB分割成译码块，因此命名为“译码树单元”。译码单元(CU)可包括一或多个译码块和用以编码一或多个译码块的样本的语法结构。举例来说，CU可包括具有亮度样本阵列、Cb样本阵列和Cr样本阵列的图片的亮度样本的译码块，和色度样本的两个对应译码块，和用以对译码块的样本进行编码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单个译码块和用以对译码块的样本进行译码的语法结构。
另外，视频编码器20可编码视频数据的图片的CU。在一些编解码器中，作为编码CU的部分，视频编码器20可将CU的译码块分割成一或多个预测块。预测块为供应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括CU的一或多个预测块，和用以预测所述一或多个预测块的语法结构。举例来说，PU可包括亮度样本的预测块、色度样本的两个对应预测块，和用以对预测块进行预测的语法结构。在单色图片或具有三个单独色彩平面的图片中，PU可包括单个预测块和用以预测所述预测块的语法结构。
视频编码器20可产生用于CU的预测块(例如，亮度、Cb和Cr预测块)的预测性块(例如，亮度、Cb和Cr预测性块)。视频编码器20可使用帧内预测或帧间预测以产生预测性块。如果视频编码器20使用帧内预测以产生预测性块，那么视频编码器20可基于包含CU的图片的经解码样本产生预测性块。如果视频编码器20使用帧间预测以产生当前图片的CU的预测性块，那么视频编码器20可基于参考图片(即，除当前图片外的图片)的经解码样本产生CU的预测性块。
在HEVC和特定其它编解码器中，视频编码器20使用仅仅一个预测模式(即，帧内预测或帧间预测)编码CU。因此，在HEVC和特定其它编解码器中，视频编码器20可使用帧内预测产生CU的预测性块或视频编码器20可使用帧间预测产生CU的预测性块。当视频编码器20使用帧间预测来编码CU时，视频编码器20可将CU分割成2或4个PU，或一个PU对应于整个CU。当两个PU存在于一个CU中时，两个PU可为一半大小的矩形或具有CU的1/4或3/4大小的两个矩形大小。在HEVC中，存在用于运用帧间预测模式译码的CU的八分割模式，即：PART_2N×2N、PART_2N×N、PART_N×2N、PART_N×N、PART_2N×nU、PART_2N×nD、PART_nL×2N和PART_nR×2N。当CU经帧内预测时，2N×2N和N×N为仅容许的PU形状，且在每一PU内，单个帧内预测模式经译码(而色度预测模式是在CU层级处发信)。
视频编码器20可产生CU的一或多个残余块。举例来说，视频编码器20可产生CU的亮度残余块。CU的亮度残余块中的每一样本指示CU的预测性亮度块中的一个中的亮度样本与CU的原始亮度译码块中的对应样本之间的差异。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一个中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20也可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一个的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可将CU的残余块分解为一或多个变换块。举例来说，视频编码器20可使用四分树分割以将CU的残余块分解成一或多个变换块。变换块为经应用相同变换的样本的矩形(例如，正方形或非正方形)块。CU的变换单元(TU)可包括一或多个变换块。举例来说，TU可包括亮度样本的变换块、色度样本的两个对应变换块，和用以对变换块样本进行变换的语法结构。因此，CU的每一TU可具有亮度变换块、Cb变换块和Cr变换块。TU的亮度变换块可为CU的亮度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图片或具有三个单独色彩平面的图片中，TU可包括单个变换块和用以对所述变换块的样本进行变换的语法结构。
视频编码器20可将一或多个变换应用于TU的变换块以产生用于TU的系数块。系数块可为变换系数的二维阵列。变换系数可为纯量。在一些实例中，一或多个变换将变换块从像素域转换到频域。因此，在这些实例中，变换系数可为视为在频域中的纯量。变换系数层级为表示在按比例调整变换系数值的计算之前与解码程序中的特定2维频率索引相关联的值的整数数量。
在一些实例中，视频编码器20跳过将变换应用于变换块。在此类实例中，视频编码器20可处理残余样本值，可以与变换系数相同的方式处理残余样本值。因此，在视频编码器20跳过变换的应用的实例中，变换系数和系数块的以下论述可适用于残余样本的变换块。
在产生系数块之后，视频编码器20可量化所述系数块。量化大体上指变换系数经量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在一些实例中，视频编码器20跳过量化。在视频编码器20将系数块量化之后，视频编码器20可产生指示经量化变换系数的语法元素。视频编码器20可熵编码指示经量化变换系数的语法元素中的一或多个。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。因此，经编码块(例如，经编码CU)可包含指示经量化变换系数的经熵编码语法元素。
视频编码器20可输出包含经编码视频数据的位流。换句话说，视频编码器20可输出包含视频数据的经编码表示的位流。举例来说，位流可包括形成视频数据和相关联数据的经编码图片的表示的位的序列。在一些实例中，经译码图片的表示可包含块的经编码表示。
位流可包括网络抽象层(NAL)单元的序列。NAL单元为含有NAL单元中的数据的类型的指示和含有彼数据的呈按需要穿插有模拟阻止位的原始字节序列有效负载(RBSP)的形式的字节的语法结构。NAL单元中的每一个可包含NAL单元标头且囊封RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有囊封在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。
视频解码器30可接收由视频编码器20产生的位流。如上文所提及，位流可包括视频数据的经编码表示。视频解码器30可解码位流以重构视频数据的图片。作为解码位流的部分，视频解码器30可剖析位流以从位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素重构视频数据的图片。重构视频数据的图片的过程可大体上互逆于由视频编码器20执行以编码图片的过程。举例来说，视频解码器30可使用帧间预测或帧内预测以产生用于当前CU的每一PU的一或多个预测性块，可使用PU的运动向量以确定用于当前CU的PU的预测性块。另外，视频解码器30可反量化当前CU的TU的系数块。视频解码器30可对系数块执行反变换，以重构当前CU的TU的变换块。在一些实例中，通过将当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应经解码样本，视频解码器30可重构当前CU的译码块。通过重构图片的每一CU的译码块，视频解码器30可重构图片。
图片的图块可包含图片的整数数目个CTU。图块的CTU可按扫描次序(例如光栅扫描次序)连续定序。在HEVC中，图块经定义为含于同一存取单元内的一个独立图块片段和先于下一独立图块片段(如果存在)的所有后续相关图块片段(如果存在)中的整数数目个CTU。另外，在HEVC中，图块片段定义为在图片块扫描中连续定序且含于单个NAL单元中的整数数目个译码树型单元。图片块扫描为分割图片的CTB的特定顺序定序，其中CTB在图片块中在CTB光栅扫描中经连续定序，而图片中的图片块是在图片的图片块的光栅扫描中经连续定序。图片块为图片中的特定图片块行和特定图片块列内的CTB的矩形区。图块片段标头为经译码图块片段中的含有与表示于图块片段中的第一或所有译码树型单元有关的数据元素的一部分。术语“图块标头”适用于按解码次序位于当前相关图块片段之前的独立图块片段(即，当前图块片段或最近的独立图块片段)的图块片段标头。
如上文简单提及，在HEVC中，图块中的最大译码单元称为译码树型块(CTB)或译码树型单元(CTU)。CTB含有四分树，所述四分树的节点为译码单元。CTB的大小可介于HEVC主规范中的16×16到64×64的范围(尽管技术上可支持8×8CTB大小)。然而，译码单元(CU)可与CTB具有相同大小，且小如8×8。每一译码单元是运用一个模式译码。当CU经帧间译码时，CU可进一步分割成2个或4个预测单元(PU)或当不应用另一分割区时变为仅一个PU。当两个PU存在于一个CU中时，PU可为一半大小的矩形或具有CU的1/4或3/4大小的两个矩形大小。当CU经帧间译码时，针对每一PU提供运动信息的一个集合。另外，每一PU是运用唯一帧间预测模式来译码以导出运动信息集合。在一些视频译码标准中，CU并不分成多个PU。因此，在这些视频译码标准中，不存在PU与CU之间的区别。因此，当本发明的技术应用于这些标准时，PU的论述可适用于CU。
视频译码器可对于当前块(例如，CU或PU)执行单向帧间预测或双向帧间预测。当对于当前块执行单向帧间预测时，视频译码器使用运动向量来确定参考图片中的位置。视频译码器接着可产生当前块的预测性块。预测性块可包括在由运动向量指示的位置处的参考图片中的样本的块，或从参考图片的样本内插的样本的块。当执行双向帧间预测时，视频译码器可运用第二参考图片和第二运动向量执行此过程，由此产生当前块的第二预测性块。在双向帧间预测中，由单个参考图片产生的预测性块在本文中可被称作预先预测性块。另外，在双向帧间预测中，视频译码器可基于两个预先块产生当前块的最终预测性块。在一些实例中，视频译码器可产生最终预测性块，使得最终预测性块中的每一样本为预先预测性块中的对应样本的加权平均。
为支持图片中的帧间预测，视频译码器产生图片的两个参考图片列表。图片的参考图片列表包含可供使用执行图片中的块的帧间预测的参考图片。两个参考图片列表通常被称作列表0和列表1。在一个实例中，图片的列表0中的每一参考图片按输出次序在图片之前出现。在此实例中，图片的列表1中的每一参考图片按输出次序在图片之后出现。因此，列表0中的参考图片的使用可视为第一帧间预测方向且列表1中的参考图片的使用可视为第二帧间预测方向。视频编码器20和视频解码器30运用参考图片按同一次序产生图片的列表0。同样，视频编码器20和视频解码器30运用参考图片按同一次序产生图片的列表1。因此，视频编码器20可通过发信指示参考图片在参考图片列表中的位置的参考索引向视频解码器30指示参考图片列表中的参考图片。
HEVC标准提供多个帧间预测模式，包含合并模式和先进运动向量预测(AMVP)模式。在合并模式中，视频编码器20和视频解码器30产生用于PU的匹配的合并运动向量(MV)候选列表。用于PU的合并MV候选列表包含一或多个合并候选者，其也可被称作运动向量预测符(MVP)。在HEVC中，合并MV候选列表含有达到5个合并候选者。合并MV候选列表中的每一相应合并候选者指定一或多个运动向量和一或多个参考索引。举例来说，合并候选者可指定列表0运动向量和/或列表1运动向量，且可指定列表0参考索引和/或列表1参考索引。列表0运动向量为指示列表0中的参考图片中的位置的运动向量。列表1运动向量为指示列表1中的参考图片中的位置的运动向量。视频编码器20可发信指示用于PU的所选择合并候选者在合并MV候选列表中的位置的合并索引。视频解码器30可使用合并索引以识别所选择合并候选者。视频解码器30接着可使用所选择合并候选者的运动向量和参考索引作为PU的运动向量和参考索引。
在AMVP模式中，视频编码器20产生用于PU的列表0AMVP候选列表和/或列表1AMVP候选列表，其中的任一个可被称为AMVP候选列表。视频解码器30产生匹配由视频编码器20产生的AMVP候选列表的AMVP候选列表。在HEVC中，AMVP候选列表含有两个AMVP候选者。列表0AMVP候选列表中的每一相应AMVP候选者指定相应列表0运动向量。列表1AMVP候选列表中的每一相应AMVP候选者指定相应列表1运动向量。在AMVP模式中，如果PU是从列表0单向帧间预测或经双向帧间预测，那么视频编码器20发信列表0MVP索引、列表0参考索引，和列表0运动向量差(MVD)。列表0MVP索引指定列表0AMVP候选列表中的所选择AMVP候选者的位置。列表0参考索引指定所选择列表0参考图片的位置。列表0MVD指定PU的列表0运动向量与由列表0AMVP候选列表中的所选择AMVP候选者指定的列表0运动向量之间的差。因此，视频解码器30可使用列表0MVP索引和列表0MVD以确定PU的列表0运动向量。视频解码器30接着可确定PU的包括对应于由PU的列表0运动向量识别的所选择列表0参考图片中的位置的样本的预先或最终预测性块。视频编码器20可发信用于列表1的类似语法元素且视频解码器30可以类似方式使用用于列表1的语法元素。
如上文可看到，合并候选者对应于运动信息的整个集合，而AMVP候选者仅含有用于特定预测方向的一个运动向量。合并模式和AMVP模式两者的候选者可类似地从相同空间和时间邻近块导出。
尽管从块产生候选者的方法对于合并和AMVP模式来说不同，但对于特定PU(PU0)，空间MV候选者是从图2A和图2B中展示的相邻块所导出。图2A说明用于合并模式的空间相邻MV候选者。在合并模式中，达到四个空间MV候选者可以图2A中以数字展示的次序导出，且次序如下：左(0)、上(1)、右上(2)、左下(3)和左上(4)。
图2B说明用于AMVP模式的空间相邻MV候选者。在AMVP模式中，相邻块分成两个群组：由块0和1组成的左群组，和由块2、3和4组成的上群组，如图2B所示。对于每一群组，参考与由发信的参考索引指示的相同参考图片的相邻块中的潜在候选者具有待选择的最高优先级以形成群组的最终候选者。举例来说，作为产生列表0AMVP候选列表的部分，视频译码器检查块0是否是从列表0预测，且如果如此，检查块0的列表0参考图片是否与当前PU的列表0参考图片相同。如果块0是从列表0预测且块0的列表0参考图片与当前PU的列表0参考图片相同，那么视频译码器将块0的列表0运动向量包含于列表0AMVP候选列表中。如果不是，那么视频译码器检查块0是否是从列表1预测，且如果如此，那么块0的列表1参考图片与当前PU的列表0参考图片相同。如果块0是从列表0预测且块0的列表1参考图片与当前PU的列表0参考图片相同，那么视频译码器将块0的列表1运动向量包含于列表0AMVP候选列表中。如果块0的列表1参考图片并不与当前PU的列表0参考图片相同，那么视频译码器运用块1而非块0重复此过程。
然而，如果块1并非从列表1预测或块1的列表1参考图片并不与当前PU的列表0参考图片相同，那么视频译码器确定块0是否是从列表0预测，且如果如此，那么确定块0的列表0参考图片和当前PU的列表0参考图片均为长期参考图片抑或均为短期参考图片。如果块0的列表0参考图片和当前PU的列表0参考图片均为长期参考图片或块0的列表0参考图片和当前PU的列表0参考图片均为短期参考图片，那么视频译码器可基于块0的列表0参考图片与当前PU的列表0参考图片之间的时间差按比例调整块0的列表0运动向量。视频译码器将按比例调整的列表0运动向量包含到列表0AMVP候选列表中。如果块0的列表0参考图片为长期参考图片且当前PU的列表0参考图片为短期参考图片，或反之亦然，那么视频译码器确定块0是否是从列表1预测，且如果如此，那么确定块0的列表1参考图片和当前PU的列表0参考图片均为长期参考图片抑或均为短期参考图片。如果块0的列表1参考图片和当前PU的列表0参考图片均为长期参考图片或块0的列表1参考图片和当前PU的列表0参考图片均为短期参考图片，那么视频译码器可基于块0的列表1参考图片与当前PU的列表0参考图片之间的时间差按比例调整块0的列表1运动向量。视频译码器将按比例调整的列表0运动向量包含到列表0AMVP候选列表中。如果块0的列表1参考图片为长期参考图片且当前PU的列表0参考图片为短期参考图片，或反之亦然，那么视频译码器运用块1而非块0重复此过程。
视频译码器可对于块2、3和4执行类似过程以在当前PU的列表0AMVP候选列表中包含第二候选者。另外，视频译码器可重复此整个过程(调换对于列表0与列表1的参考，和调换对于列表1与列表0的参考)，以产生当前PU的列表1AMVP候选列表。
因此，在AVMP模式中，如图2B中所示，相邻块被分成两个群组：由块0和1组成的左群组和由块2、3和4组成的上群组。对于每一群组，参考与由发信的参考索引指示的相同参考图片的相邻块中的潜在候选者具有待选择的最高优先级以形成群组的最终候选者。有可能所有相邻块均不含有指向相同参考图片的运动向量。因此，如果不能发现此候选者，那么可按比例调整第一可用候选者以形成最终候选者；因此，可补偿时间距离差。
视频译码器可将时间运动向量预测符(TMVP)候选者(如果启用和可用)包含到合并MV候选列表(在空间运动向量候选者之后)中或AMVP候选列表中。举例来说，在AMVP的情况下，如果空间相邻块不可用(例如，因为空间相邻块在图片、图块或图片块边界外部，因为空间相邻块经帧内预测，等)，那么视频译码器可在AMVP候选列表中包含TMVP候选者。在合并模式中，TMVP候选者可指定时间相邻块的列表0和/或列表1运动向量。用于合并模式中的TMVP候选者的参考索引始终设定成0。在AMVP模式中，TMVP候选者指定时间相邻块的列表0运动向量或时间相邻块的列表1运动向量。时间相邻块为参考图片中的块。对于合并模式和AMVP模式两者，用于TMVP候选者的运动向量导出的过程可为相同的。
图3A为说明用于导出TMVP候选者的实例技术的概念图。如图3A中所示，用于TMVP候选者导出的主要块位置为在共置PU外部的右下方块300。视频译码器导出TMVP候选者所藉以的时间相邻块与右下方块300共置。在图3A的实例中，右下方块300经标记为块“T”以表示“时间”视频译码器使用右下方块300而非上块或左块，以便补偿用以产生空间相邻候选者的上块和左块的偏差。如果右下方块300定位于当前CTB列外部或运动信息不可用(例如，因为与右下方块300共置的时间参考块经帧内预测)，那么右下方块300被PU的中心块302取代。
用于TMVP候选者的运动向量是从所谓的“共置图片”的共置PU导出。共置图片可在图块层级中(例如，使用collocated_ref_idx语法元素)指示。用于共置PU的运动向量称为共置MV。类似于H.264/AVC中的时间引导模式，为导出TMVP候选者运动向量，共置的MV可经按比例调整以补偿时间距离差，如图3B中所示。明确地说，在图3B中，当译码当前图片322的当前块320时，视频译码器确定共置图片324中的共置块323。共置块323的运动向量326(即，共置运动向量)指示共置参考图片328中的位置。视频译码器通过基于共置时间距离与当前时间距离之间的差按比例调整运动向量326而产生TMVP 330。共置时间距离为共置图片324与共置参考图片328之间的时间距离。当前时间距离为当前图片322与当前参考图片332之间的时间距离。
如上文所提及，视频译码器可按比例调整运动向量。当按比例调整运动向量时，假定运动向量的值与呈现时间中的图片的距离成比例。运动向量与两个图片相关联：参考图片和含有运动向量的图片(即，含有图片)。当运动向量用以预测其它运动向量时，含有图片与参考图片的距离是基于参考图片和含有图片的图片次序计数(POC)值而计算。
对于待预测的运动向量，其相关联的含有图片和参考图片可不同。因此，计算新距离(基于POC)。基于这两个POC距离按比例调整运动向量。对于空间相邻候选者，用于两个运动向量的含有图片相同，而参考图片不同。在HEVC中，对于空间和时间相邻候选者，运动向量按比例调整适用于TMVP和AMVP两者。
另外，在一些实施方案中，如果MV候选列表(例如，合并MV候选列表或AMVP候选列表)不完整，那么视频译码器可在MV候选列表的末端处产生并插入假造运动向量候选者直到MV候选列表具有需要数目个候选者。在合并模式中，存在两种类型的假造MV候选者：仅针对B图块导出的组合候选者，和零候选者。组合候选者指定来自一个合并候选者的列表0运动向量与不同合并候选者的列表1运动向量的组合。仅当第一类型(即，组合候选者)不提供足够假造候选者时，零候选者才用于运动向量预测。零候选者为指定MV的候选者，所述MV的水平和垂直分量各自等于0。
对于业已在候选列表中且具有必要运动信息的每一对候选者，通过参考列表0中的图片的第一候选者的运动向量与参考列表1中的图片的第二候选者的运动向量的组合来导出双向组合运动向量候选者。
另外，视频译码器可应用精简过程用于候选者插入。来自不同块的候选者可恰巧相同，此可降低合并/AMVP候选列表的效率。应用精简过程以解决此问题。精简过程比较当前候选列表中的一个候选者与其它，以在一定程度上避免插入相同候选者。为减小复杂度，应用仅仅受限制数目个精简过程，而非比较每一潜在候选者与所有其它现有候选者。
在HEVC中，仅仅平移运动模型应用于运动补偿预测(MCP)。然而，在真实世界中，存在许多种类的运动，例如放大/缩小、旋转、透视运动和其它不规则运动。在JEM中，简化仿射变换运动补偿预测经应用以改善译码效率。如果块遵循仿射运动模型，那么块中的位置(x,y)的MV可由以下仿射运动模型确定：
/>
在方程式(1)中，vx为块内的位置(x,y)的运动向量的水平分量，且vy为块内的位置(x,y)的运动向量的垂直分量。在方程式(1)中，a、b、c、d、e和f为参数。应注意在仿射运动模型中，块内的不同位置具有不同运动向量。
在JEM3.0中，仿射运动模型通过假定a＝e和b＝-d而简化为4参数仿射运动模型。因此，方程式(1)可如以下方程式(1')中所示而简化：
4参数仿射运动模型可由左上方控制点(V0)的运动向量和右上方控制点(V1)的运动向量表示。图4说明用于当前块400的简化仿射运动模型。如图4中所示，块的仿射运动场由控制点运动向量和/>描述。/>为当前块400的左上方控制点402的控制点运动向量。/>为当前块400的右上方控制点404的控制点运动向量。
块的运动向量场(MVF)通过以下方程式描述：
在方程式(2)中，vx为块中的位置(x,y)的运动向量的水平分量；vy为块中的位置(x,y)的运动向量的垂直分量；(v0x,v0y)为左上方拐角控制点(例如，左上方控制点402)的运动向量；(v1x,v1y)为右上方拐角控制点(例如，右上方控制点404)的运动向量；且w为块的宽度。因此，视频译码器可使用方程式(2)基于块的控制点的运动向量来“外推”位置(x,y)的运动向量。
为进一步简化运动补偿预测，应用基于块的仿射变换预测。因此，视频译码器可导出块的子块的运动向量，而非导出块中的每一位置的运动向量。在JEM中，子块为4×4块。为导出子块的运动向量，视频译码器可根据方程式(2)计算子块的中心样本的运动向量。视频译码器接着可将所计算运动向量降值舍位到1/16分率准确度。经降值舍位运动向量在本文中可被称作高准确度运动向量。接着，视频译码器可应用运动补偿内插滤波器以运用导出的运动向量产生子块中的每一个的预测(即，预测性块)。
图5说明每一子块的实例仿射运动向量场(MVF)。如图5的实例中所示，当前块500具有左上方控制点502和右上方控制点504。视频译码器可基于左上方控制点502的运动向量506和右上方控制点504的运动向量508计算当前块500的子块的运动向量。图5将子块的运动向量展示为小箭头。
在MCP之后，每一子块的高准确度运动向量经降值舍位并以与正常运动向量相同的准确度保存。在一些实例中，当所存储运动向量的精度小于高准确度运动向量时仅仅执行高准确度运动向量的降值舍位。
JEM中存在两个仿射运动模式：AF_INTER模式和AF_MERGE模式。在JEM中，AF_INTER模式可应用于具有宽度和高度均大于8的CU。在位流中在CU层级处发信仿射旗标以指示是否使用AF_INTER模式。在AF_INTER模式中，视频编码器20发信当前块的列表0参考索引和/或列表1参考索引以指示列表0参考图片和/或列表1参考图片。
在AF_INTER模式中，视频编码器20和视频解码器30各自构建当前块的一或多个候选列表(即，仿射MVP集合候选列表)。举例来说，视频编码器20和视频解码器30可各自构建列表0仿射MVP集合候选列表和/或列表1仿射MVP集合候选列表。仿射MVP集合候选列表中的每一个包含仿射MVP集合的相应集合。在4参数仿射运动模型中，列表0仿射MVP集合候选列表中的仿射MVP集合指定两个列表0运动向量(即，运动向量对)。在4参数仿射运动模型中，列表1仿射MVP集合候选列表中的仿射MVP集合指定两个列表1运动向量。
最初，视频译码器(例如，视频编码器20或视频解码器30)尝试使用相邻块运用类型的运动向量对{(v0,v1)|v0＝{vA,vB,vc},v1＝{vD,vE}}填充仿射MVP集合候选列表。图6A为说明如在AF_INTER模式中所使用的当前块600和相邻块的框图。如图6A中所示，V0选自块A、B或C的运动向量。来自相邻块的运动向量是根据参考列表以及相邻块的参考的POC、当前CU的参考的POC和当前CU的POC之间的关系而按比例调整。举例来说，假设视频译码器选择相邻块(例如，块A、B或C)的列表0运动向量作为V0。在此实例中，相邻块的列表0运动向量指示相邻块的参考图片(即，相邻块的参考)中的位置。另外，在此实例中，视频编码器20可选择并发信指示当前CU的参考图片(即，当前CU的参考)的列表0参考索引。如果相邻块的参考图片并不与当前CU的参考图片相同，那么视频译码器可基于参考时间距离与当前时间距离之间的差按比例调整相邻块的列表0运动向量。参考时间距离为相邻块的参考图片的POC与当前CU的POC之间的时间距离。当前时间距离为当前CU的POC与当前CU的参考图片的POC之间的时间距离。视频译码器可对于列表1运动向量执行类似过程。从相邻块D和E选择v1的方法是类似的。
如果候选列表中的候选者的数目小于2，那么候选列表由通过复制AMVP候选者{AMVP0,AMVP0}和{AMVP1,AMVP1}中的每一个而组成的运动向量对填补。换句话说，视频译码器可以上文所描述的方式产生两个AMVP候选者。两个AMVP候选者表示为AMVP0和AMVP1。视频译码器接着在图6B的候选列表620中包含将AMVP0指定为第一控制点的运动向量且将AMVP0指定为第二控制点的运动向量的第一仿射运动向量预测符候选者。如果在将第一仿射MVP候选者包含于候选列表620中之后候选列表中的候选者的数目仍小于2，那么视频译码器将第二仿射MVP候选者包含于候选列表620中，其中第二仿射MVP候选者将AMVP1指定为第一控制点的运动向量且将AMVP1指定为第二控制点的运动向量。
当候选列表620大于2时，视频译码器首先根据相邻运动向量的一致性(一对候选者中的两个运动向量的类似性)分类候选列表620中的候选者。视频译码器仅仅保留前两个候选者，如图6B中以直线标记“大小＝2”所示。视频编码器20可使用速率-失真成本检查以确定哪一运动向量集合候选者经选择为当前CU的控制点运动向量预测(CPMVP)。视频编码器20可在位流中发信指示候选列表620中的CPMVP的位置的索引。视频解码器30可从位流获得索引并使用所述索引以确定候选列表620中的候选者中的哪一者为CPMVP。在确定当前仿射CU的CPMVP之后，应用仿射运动估计且发现控制点运动向量(CPMV)。视频编码器20在位流中发信CPMV与CPMVP之间的差。换句话说，视频编码器20在位流中发信运动向量差(MVD)。
此外，在HEVC和JEM两者中，图片间预测语法元素inter_pred_idc发信列表0、列表1或两者是否用于块(例如，CU或PU)。对于从一个参考图片列表获得的每一MVP，对应参考图片是通过到参考图片列表的索引(ref_idx_l0/1)而发信，且MV(_x；_y)是由到MVP的索引(mvp_l0/1_flag)和其MV差(MVD)表示。MVD语法也在位流中发信以使得MV可在解码器侧处经重构。换句话说，如果块是从列表0单向预测或双向预测，那么视频编码器20发信ref_idx_l0旗标以指示列表0中的参考图片的位置，发信mvp_l0_flag以指示所选择运动向量预测符在列表0AMVP候选列表中的位置，且发信列表0MVD。如果块是从列表1单向预测或双向预测，那么视频编码器20发信ref_idx_l1旗标以指示列表1中的参考图片的位置，发信mvp_l1_flag以指示所选择运动向量预测符在列表1AMVP候选列表中的位置，且发信列表1MVD。
另外，视频编码器20可在图块标头中发信旗标(例如，mvd_l1_zero_flag)。所述旗标指示第二参考图片列表(例如，列表1)的MVD是否等于零且因此不在位流中发信。不发信第二参考图片列表的MVD可在一些情况下进一步改善译码效率。
当CU在AF_MERGE模式中译码时，视频译码器将按以下访问次序首先出现的来自有效相邻经重构块的运用仿射模式译码的块的仿射运动模型指派给CU：A→B→C→D→E。图7A展示在AF_MERGE模式中译码当前块700时使用的相邻块。如图7A中所示，对于相邻块的访问次序(即，选择次序)为从左、上方、右上方、左下方到左上方。举例来说，如果相邻块B为按在仿射模式中使用来译码的次序A→B→C→D→E的第一相邻块，那么视频译码器可使用相邻块B的仿射运动模型作为当前块的仿射运动模型。举例来说，在此实例中，对于X＝0和/或X＝1，视频译码器可外推相邻块B的左上方控制点的列表X运动向量以产生当前块700的左上方控制点的列表X运动向量，使用相邻块B的左上方控制点的列表X参考索引作为当前块700的左上方控制点的列表X参考索引，外推相邻块B的右上方控制点的列表X运动向量以产生当前块700的右上方控制点的列表X运动向量，且使用相邻块B的右上方控制点的列表X参考索引作为当前块700的右上方控制点的列表X参考索引。在此实例中，视频译码器可使用当前块700的控制点的(x,y)位置作为方程式(2)中的x和y，使用上述方程式(2)来外推相邻块B的控制点的运动向量以确定当前块700的控制点的运动向量。
如果相邻左下方块A以如图7B中所示的仿射模式译码，那么导出含有块A的当前块720的左上拐角右上拐角和左下拐角的运动向量v2、v3和v4。根据v2、v3和v4计算运动向量当前块720上的左上拐角的运动向量v0。其次，计算当前CU的右上方的运动向量v1。特定来说，首先通过如以下方程式(3)所示的运动向量v2、v3和v4构建6参数仿射运动模型，且接着通过此6参数仿射运动模型计算v0和v1。即，当与当前块720的左上方控制点的(x,y)位置(即，)一起使用时，方程式(3)中的vx为/>的运动向量的x分量(即，v0x)且方程式(3)中的xy为/>的y分量(即，v0y)。类似地，当与当前块720的右上方控制点的(x,y)位置(即，/>)一起使用时，方程式(3)中的vx为/>的运动向量的x分量(即，v1x)且方程式(3)中的xy为/>的y分量(即，v1y)。
在导出当前CU的v0和v1的CPMV之后，根据方程式(1)的简化仿射运动模型，产生当前CU的运动向量场。为识别当前CU是否运用AF_MERGE模式译码，当存在在仿射模式中译码的至少一个相邻块时在位流中发信仿射旗标。
除了JEM中的4参数仿射运动模型之外，具有6参数的仿射运动模型描述于JVET-C0062中。在6参数仿射模型中，不存在对于水平与垂直方向之间的比例因数的约束条件。三个拐角运动向量用以表示6参数模型。
图8A说明在6参数仿射运动模型中使用的实例块。图8B说明在6参数仿射运动模型中使用的实例仿射MVP集合候选列表820。以下六个方程式描述在三个拐角(如图8A中所说明的V0、V1和V2)处的运动向量的水平(x)和垂直(y)分量：
通过求解方程式(4)，6参数仿射模型可通过将解代入到方程式(1)中而确定。
类似于4参数AF_INTER模式，具有用于6参数AF_INTER模式的运动向量集合{(v0,v1,v2)|v0＝{vA,vB,vc},v1＝{vD,vE},v2＝{vF,vG}}的候选列表是使用相邻块而构建。因此，在图8B的实例中，仿射MVP集合候选列表820中的每一仿射MVP集合(即，每一候选者)包含三个运动向量。在AF_INTER模式中，视频译码器可产生图8B中所展示的类型的两个仿射MVP集合候选列表。仿射MVP集合候选列表中的一个包含指定列表0运动向量的仿射MVP集合。其它仿射MVP集合候选列表包含指定列表1运动向量的仿射MVP集合。
HEVC/JEM中的仿射运动的设计可具有以下问题。举例来说，列表0和列表1的仿射运动的相关性不用于运用仿射模式译码的块的MV预测。在另一实例中，当前块和相邻块的仿射运动的相关性不用于运用仿射模式译码的块的MV预测。在又一实例中，列表1零MVD可归因于控制点的不准确MV而损害仿射运动模型的性能。本发明描述可克服这些问题且潜在改善译码效率的技术。
在本发明的一些实例中，仿射运动模型为如方程式(1)中所示的6参数运动模型。在JEM-3.0中，用于块的仿射运动模型由控制点(V0,V1)的运动向量表示。在JVET-C0062中，用于块的仿射运动模型由控制点(V0,V1,V2)的运动向量表示。然而，可能需要通过发信方程式(1)中的参数a、b、c、d、e、f或简化的4个参数而表示仿射运动模型。仿射运动模型也可经进一步如方程式(5)所解译，其中Ox和Oy为平移偏移，Sx和Sy为在x方向和y方向中的按比例调整比且θx和θy为旋转角度。
本发明提议若干方法用以改善仿射运动预测的运动向量预测符(MVP)或参数预测。应注意视频译码器可对于方程式(1)的a、b、c、d、e、f或方程式(5)中的Ox、Oy、Sx、Sy、θx和θy的表示执行参数预测。
本发明的若干技术列于如下。
1)在列表0与列表1之间的仿射运动向量预测和仿射参数预测。
2)控制点之间的仿射运动向量预测和参数集合之间的仿射参数预测。
3)来自相邻块的仿射运动向量预测和仿射参数预测。相邻块不限于空间相邻块。实际上，在一些实例中，使用时间相邻块。
4)子块仿射运动预测和子块仿射参数预测，其中每一子块可具有其自身控制点和/或参数。
5)优化额外MVP候选者产生
6)停用用于GPB图块中的仿射帧间模式的零L1MVD。
本发明的技术可经单独地应用。替代地，可应用技术的任何组合。本发明详述以下技术中的每一个的更多细节。
如上文所提及，HEVC和JEM中的仿射运动的设计的缺点中的一个为不利用列表0与列表1的仿射运动之间的相关性。换句话说，现有方法独立地发信用于列表0和列表1的仿射控制点。采用列表0与列表1的仿射运动之间的相关性可表示增加译码效率的机会。
因此，根据本发明的技术，视频编码器20和视频解码器30可使用在一个帧间预测方向中的仿射运动模型以改善另一帧间预测方向中的仿射运动模型的发信。在特定帧间预测方向中的仿射运动模型为指定指向对应于帧间预测方向的特定参考图片列表中的参考图片中的位置的运动向量的仿射运动模型。
举例来说，为利用列表0与列表1的MV之间的相关性，视频编码器20和视频解码器30可使用列表0的MV作为列表1的MV的MV预测符，或反之亦然。视频解码器30可根据预测方向指示决定使用列表0到列表1MV预测或列表1到列表0MV预测。预测方向指示可经显式地发信或隐式地导出。
视频解码器30可使用经解码或经重构信息导出隐式预测方向指示。在一个实例中，预测方向指示依赖于每一预测方向的仿射MVP集合候选列表中的MVP(即，MVP列表)。如果一个预测方向的MVP列表含有从一些不太优选方法导出的MVP(例如，按比例调整运动向量预测符，或从运用本地照明补偿模式译码的块导出的MVP)，那么来自另一预测方向的仿射模型用以预测在当前预测方向中的仿射模型。替代地，预测方向指示可取决于多少不同MV预测符在每一列表中。
在另一实例中，如果一个预测方向的MVP列表含有从一些优选方法导出的MVP(例如，非按比例调整运动向量预测符，或其来自运用帧速率向上转换(FRUC)模式)译码的块)，那么来自当前预测方向的仿射模型用以预测其它预测方向中的仿射模型。在FRUC模式中，块的运动信息并不被发信，而是在解码侧导出。
在一个实例中，如果在用于列表1的MVP集合候选列表中存在任一低优先级MVP，那么预测方向指示经设定为列表0到列表1，且在MV预测过程中，列表0的MV用作列表1的MV的MVP。否则，如果在用于列表1的MVP集合候选列表中不存在低优先级MVP，那么预测方向指示经设定为列表1到列表0，且在MV预测过程中，列表1的MV用作列表0的MV的MVP。
在确定预测方向指示之后，根据解码器侧处的经解码或重构信息确定待替换的MVP集合候选者(具有N个候选者)。在一个实例中，待替换的MVP集合候选者为含有至少一个低优先级MVP的第一MVP集合候选者。在一个实例中，低优先级可经给定用于根据POC信息按比例调整的空间MVP、经填补AMVP MVP和时间MVP。
在一个实例中，另外，当不存在待替换的MVP集合候选者时，不执行列表0和列表1之间的仿射运动向量预测。在一些实例中，待替换的MVP集合候选者的数目N设定成1。在一个实例中，如果预测方向指示经设定为列表0到列表1MV预测，那么列表1中的待替换的MVP集合候选者的MVP分别由列表0中的对应控制点的按比例调整MV替换，或反之亦然。
在另一实例中，如果预测方向指示经设定为列表0到列表1MV预测，那么列表1中的待替换MVP集合候选者的仅仅部分MVP分别由列表0中的对应控制点的按比例调整MV替换，或反之亦然。举例来说，仅仅第一MVP(V0)被替换。
在另一实例中，如果预测方向指示经设定为列表0到列表1MV预测，那么列表1中的待替换MVP集合候选者的仅仅第一MVP(V0)分别由列表0中的对应控制点的按比例调整MV替换。列表1中的待替换MVP集合候选者的第二MVP(V1)由列表0中的第一控制点的按比例调整MV(V0)加上列表0中的第一与第二控制点的MV之间的差(V1-V0)来替换。替换6参数仿射模型的第三MVP(V2)的方法是类似的。如果预测方向指示经设定为列表1到列表0MV预测，那么列表0中的待替换MVP集合候选者的仅仅第一MVP(V0)分别由列表1中的对应控制点的按比例调整MV替换。列表0中的待替换MVP集合候选者的第二MVP(V1)是由列表1中的第一控制点的按比例调整MV(V0)加上列表1中的第一与第二控制点的MV之间的差(V1-V0)来替换。且替换6参数仿射模型的第三MVP(V2)的方法是类似的。
在一些实例中，控制点的MV可用作其它控制点的MV的MVP候选者。在一个实例中，左上方控制点(V0)的MV用作右上方控制点(V1)的MV的MVP候选者。类似地，在6参数仿射运动模型情况下，左上方控制点(V0)的MV用作右上方控制点(V1)的MV的MVP候选者。此外，可选择性地应用控制点之间的此运动向量预测。替代地，在6参数仿射模型情况下，左上方控制点(V0)的运动向量用作右上方控制点(V1)(或左下方控制点(V2))的运动向量的预测符，且通过使用4参数仿射运动模型，V0和V1的对(V0和V2的对)用以导出V2(或V1)的运动向量预测符。在一个实例中，仅仅第二MVP集合候选者经应用于控制点之间的MV预测。
在另一实例中，仿射模型可从一个控制点的运动向量和额外发信模型参数导出。发信参数包含但不限于控制点之间的运动向量差或仿射旋转度等。在一个实例中，当前块的控制点中的一个的运动向量与旋转度一起经发信用于经译码为仿射运动模式的块。对于每一仿射块，仿射运动模型是使用控制点的运动向量和旋转角度来构建。
根据本发明的特定技术，视频译码器可使用相邻外推运动向量作为用于当前仿射块的控制点的仿射运动向量预测符。举例来说，对于当前帧间块，视频译码器可利用当前帧间块的相邻仿射块(例如，在AF_INTER模式或AF_MERGE模式中编码的相邻块)(命名为源仿射块)中的一或多个的运动模型以预测用于当前帧间块的仿射运动模型(即，当前仿射运动模型)。举例来说，当前块的控制点的MVP可从相邻块的控制点外推。举例来说，对于当前块的每一相应控制点，视频译码器可使用上述方程式(2)以从源仿射块的控制点的运动向量外推当前块的相应控制点的MVP。源仿射块可为一或多个空间相邻块或时间相邻块。
在一个实例中，基于预定义访问次序(例如，A→B→C→D→E或B→A→D→C→E或图7A中展示的块的任何其它访问次序)将源仿射块确定为来自有效空间相邻块的运用仿射模式译码的第一块。
在另一实例中，源仿射块经确定为基于预定义访问次序(例如，A→B→C→D→E或B→A→D→C→E或如图7A和图7B中所示的任何其它访问次序)根据一或多个预定义优先级集合从相邻块运用仿射模式译码的第一块。不满足优先级中的任一个的那些相邻仿射块被视为不可用。
在一些实例中，源仿射块首先根据访问次序且接着根据预定义优先级次序来确定。举例来说，源仿射块可根据如下次序来确定：A(优先级1)→B(优先级1)→C(优先级1)→D(优先级1)→E(优先级1)→A(优先级2)→等。在此实例中，视频译码器首先检查块A是否在优先级集合1中；如果否，那么视频译码器检查块B是否在优先级集合1中；如果否，那么视频译码器检查块C是否在优先级集合1中；等。
在另一实例中，视频译码器可首先根据预定义优先级次序且接着根据访问次序来确定源仿射块。举例来说，A(优先级1)→A(优先级2)→B(优先级1)→B(优先级2)→C(优先级1)→C(优先级2)→等。因此，在此实例中，视频译码器首先检查块A是否在优先级集合1中；如果否，那么视频译码器检查块A是否在优先级集合2中；如果负，那么视频译码器检查块B是否在优先级集合1中；等。
在各种实例中，优先级集合以不同方式定义。各种实例优先级集合的定义如下文列出。优先级集合的以下定义可个别地应用。替代地，可应用其任何组合。
第一实例优先级集合如下文定义，其中较小数字表示较高优先级：
1.如果相邻仿射块的列表X参考图片为与当前块的列表X参考图片相同的参考图片，那么相邻仿射块在优先级集合1中，其中列表X为当前被评估的当前块的参考图片列表且X为0或1。
2.如果相邻仿射块的列表X参考图片为与当前块的列表Y参考图片相同的参考图片，那么相邻仿射块在优先级集合2中，其中列表Y为除当前被评估的当前块的参考图片列表以外的参考图片列表且Y为0或1。
在另一实例中，优先级集合经定义如下：
1.如果相邻仿射块的列表X参考图片不同于当前块的列表X参考图片，那么相邻仿射块在优先级集合1中，其中列表X为当前被评估的当前块的参考图片列表且X为0或1。
2.如果相邻仿射块的列表Y参考图片不同于当前块的列表Y参考图片，那么相邻仿射块在优先级集合2中，其中列表Y为除当前被评估的当前块的参考图片列表以外的参考图片列表且Y为0或1。
在另一实例中，优先级集合经定义如下：
1.相邻仿射块的MV差在预定义范围内。
2.相邻仿射块的MV差不在预定义范围内。
在另一实例中，优先级集合经定义如下。在此和其它实例中，较小数字可表示较高优先级。
1.如果相邻仿射块在AF_INTER模式中译码，那么相邻仿射块在优先级集合1中。
2.如果相邻仿射块在AF_MERGE模式中译码，那么相邻仿射块在优先级集合2中。
在另一实例中，相邻仿射块的优先级取决于相邻仿射块是否具有与当前仿射块相同的帧间预测方向。在另一实例中，相邻仿射块的优先级取决于相邻仿射块的大小。举例来说，具有较大大小的相邻仿射块可具有较高优先级。
在一个实例中，视频译码器选择具有与当前块相同的列表X参考图片并按以下访问次序首先出现的相邻仿射块作为列表X的源仿射块：B→A→D→C→E。在此实例中，如果无相邻仿射块可用(例如，相邻仿射块中无一者具有与当前块相同的列表X参考图片)，那么视频译码器可选择具有如同其列表Y参考图片的当前块的列表X参考图片并按以下访问次序首先出现的相邻仿射块作为源仿射块：B→A→D→C→E，在的情况下X为0或1且Y为(1-X)。
在一个实例中，在双预测仿射模型用于当前块的情况下，用于列表0和列表1的源仿射块可为不同的。换句话说，视频译码器可在评估当前块的列表0和列表1时使用不同源仿射块。上文所提及的源仿射块选择程序可个别地应用于每一参考图片列表。
在视频译码器选择源仿射块之后，视频译码器使用源仿射块的控制点的MV外推当前块的控制点的MV预测符的集合。举例来说，在4参数仿射运动模型中，视频译码器可从源仿射块的第一控制点的列表X MV外推当前块的第一控制点的列表X MV。另外，在此实例中，视频译码器可从源仿射块的第二控制点的列表X MV外推当前块的第二控制点的列表X MV。在此实例中，X为0或1且外推列表X MV的所得对被称为经外推运动向量预测符(MVP)集合且可表示为{V'0,V'1}。视频译码器可使用方程式(2)来执行外推，如在本发明中别处所描述。在6参数仿射运动模型中，视频译码器也可从源仿射块的第三控制点的列表X MV外推当前块的第三控制点的列表X MV。当前块的第三控制点的经外推列表X MV也可包含于运动向量预测符集合中且可表示为{V'0,V'1,V'2}。
视频译码器接着可将经外推列表X MVP集合(例如，用于4参数仿射运动模型的{V'0,V'1}或用于6参数仿射运动模型的{V'0,V'1,V'2})插入到列表X仿射MVP集合候选列表中。在视频译码器将经外推MVP集合插入到列表X仿射MVP集合候选列表中之后，视频译码器将常规仿射MVP集合候选者插入到列表X仿射MVP集合候选列表中。常规仿射MVP集合候选者可为根据本发明中提供的其它实例产生的仿射MVP集合候选者。视频译码器可在经外推MVP集合之后或之前将常规MVP集合候选者插入到列表X仿射MVP集合候选列表中。如果当前块经双向预测，那么视频译码器可对于列表Y执行类似过程，其中Y等于1-X。
图9说明根据本发明的技术的包含经外推MVP集合902的实例仿射MVP集合候选列表900。在图9的实例中，经外推MVP集合{V'i,V'j}(902)插入到后面有常规MVP集合候选者的仿射MVP集合候选列表900的第一位置中。视频译码器可以与候选列表620(图6B)或仿射MVP集合候选列表820(图8B)相同的方式构建仿射MVP集合候选列表900的剩余部分。
在一个实例中，外推过程可与上文使用方程式(1)或(2)所描述的AF_MERGE模式相同，此取决于4参数仿射运动模型抑或6参数仿射运动模型用以执行MV外推。替代地，可应用其它外推函数。举例来说，视频译码器可将双线性函数应用于仿射源块的控制点的运动向量以执行外推过程。
在一些实例中，除了如上文所描述选择源仿射块之外，视频译码器也选择第二源仿射块。视频译码器可通过在选择第一源极仿射块之后持续搜索源仿射块而选择第二源仿射块。视频译码器可根据上文针对选择源仿射块所描述的实例中的任一个进行搜索。视频译码器可使用第二源仿射块的控制点的MV外推当前块的控制点的第二MVP集合，且可将第二MVP集合作为仿射MVP集合候选列表中的另一MVP集合候选者插入。
在另一实例中，视频译码器在译码当前块时选择两个或多于两个源仿射块。在此实例中，视频译码器使用一些MV导出当前块的控制点的MV预测符的集合，或视频译码器将源仿射块的所有控制点作为另一MVP集合候选者插入。
根据本发明的技术，在仿射帧间模式(即，AF_INTER)或仿射合并模式(即，AF_MERGE)中，当前块的每一子块(例如4×4块)的仿射运动可从其自身相邻块的经外推运动而预测或直接继承。在一个实例中，相邻块经选择为每一子块的最邻近仿射块。换句话说，当前块可分割成多个相等大小的子块(例如，4×4子块)。对于多个子块中的每一相应子块，视频译码器可确定使用仿射运动模型预测的最接近块。在其中相应子块沿着当前块的边界的情况下，使用仿射运动模型预测的最接近块可在当前块外部。举例来说，对于当前块的左上方子块，使用仿射运动模型预测的最接近块可为左上方子块的上方和左方的块。类似地，对于当前块的右上方子块，使用仿射运动模型预测的最接近块可为在右上方子块的上方的块或在右上方子块的上方和右方的块。对于在当前块的内部中的子块，使用仿射运动模型预测的最接近块可为当前块的在子块上方或左方的另一子块。
此方法不同于子块用于JEM3.0中的方式。如上文所论述，在JEM3.0中，视频译码器仅仅基于在当前块的左上拐角和右上拐角的控制点的运动向量计算当前块的每一子块的运动向量。对比来说，根据本发明的此技术，子块的运动向量并不基于控制点的运动向量而计算，但实际上从相邻块的经外推运动而预测或直接继承。此可导致较大译码效率，这是因为子块的运动向量可从较接近子块的位置获得。
图10说明根据本发明的技术的子块运动预测或参数预测，其中当前块1000的每一子块(例如4×4块)的仿射运动可从其自身相邻块的经外推运动而预测或直接继承。如图10的实例中所示，TL子块1002的仿射运动是使用相邻块B2(1004)的经外推运动预测而TR子块1006使用相邻块B1的经外推运动。在另一实例中，子块也可使用时间相邻块的经外推运动。
在仿射帧间模式或仿射合并模式中，仿射参数(例如，当前块的每一子块(例如4×4块)的方程式(1)或(4)中的a、b、c、d、e和f可从其自身相邻块而预测或直接继承。在一个实例中，相邻块经选择为每一子块的最邻近仿射块。举例来说，如图10中所示，TL子块1002的仿射参数是使用相邻块B2(1004)预测而TR子块1006使用相邻块B1(1008)。
在JEM3.0中的仿射运动预测的当前设计中，如果当前块的仿射MVP集合候选列表的大小小于2，那么视频译码器运用通过复制AMVP候选者中的每一个组成的一或多个仿射MVP集合填补仿射MVP集合候选列表。本发明可使用术语“AMVP导出的候选者”来指通过复制AMVP候选者组成的仿射MVP集合。然而，如果控制点V0(图6A)的列表X运动向量与控制点V1的列表X运动向量在4参数仿射运动模型中相同，或控制点V0、V1和V2(图8A)的列表X运动向量在6参数仿射运动模型中相同，那么当前块的每一子块的经计算MV是相同的。当当前块的每一子块的经计算MV相同时，结果与常规运动补偿的预测相同。然而，使用仿射运动预测到达相同运动补偿的预测结果可导致与常规运动补偿的预测相比较小的译码效率。因此，将提供与常规运动补偿预测相同的结果的AMVP导出的候选者包含在仿射MVP集合候选列表中表示将可导致与常规运动补偿预测相比较好的译码效率的仿射MVP集合包含在仿射MVP集合候选列表中的丢失机会。
因此，根据本发明的技术，视频译码器添加到AMVP导出的候选者中的一或多个MVP的偏移以确保AMVP导出的候选者内的并非所有MVP均相同。将仿射MVP集合的分集包含于仿射MVP集合候选列表中可改善仿射MVP集合候选列表中的仿射MVP集合中的一个的使用导致较大译码效率的可能性。
图11A说明根据本发明的技术的用于4参数仿射运动模型的实例仿射MVP集合候选列表。图11B说明根据本发明的技术的用于6参数仿射运动模型的实例仿射MVP集合候选列表。如图11A的实例中所示，在4参数仿射运动模型的情况下，视频译码器添加到控制点V1的MVP的偏移。如图11B的实例中所示，对于6参数仿射运动模型，视频译码器添加到控制点V2的MVP的偏移。在一些实例中，偏移针对在仿射MVP集合候选列表中的不同位置处的AMVP导出的候选者是不同的。举例来说，视频译码器可使用+4作为第一AMVP导出的候选者的偏移且可使用-4作为第二AMVP导出的候选者的偏移。
在图11A的实例中，视频译码器产生当前块的列表X候选列表1100(即，仿射MVP集合)，其中X为0或1。为产生候选列表1100，视频译码器检查潜在的候选者。潜在候选者中的每一个为从块VA、VB和VC(图6A)所选择的块的列表X运动向量与从VD和VE(图6A)所选择的块的列表X运动向量的组合。如果潜在候选者中的两者块指定列表X运动向量，那么视频译码器将潜在候选者作为候选者包含于候选列表1100中。视频译码器在候选列表1100包含两个候选者之后停止添加候选者。
在检查所有潜在候选者之后，如果候选列表1100中仍存在小于2个候选者，那么视频译码器可将第一AMVP导出的候选者1102添加到候选列表1100。第一AMVP导出的候选者1102指定第一AMVP导出的运动向量预测符1104和第二AMVP导出的运动向量预测符1106。第一AMVP导出的运动向量预测符1104为当前块的第一控制点的运动向量预测符。第二AMVP导出的运动向量预测符1106为当前块的第二控制点的运动向量预测符。视频译码器以视频译码器用以导出AMVP中的第一运动向量候选者的相同方式导出第一AMVP导出的运动向量预测符1104。本发明描述用于导出上述AMVP中的运动向量候选者的技术。第二AMVP导出的运动向量预测符1106等于第一AMVP导出的运动向量预测符1104加上到第一AMVP导出的运动向量预测符1104的水平分量或垂直分量中的至少一个的第一偏移(即，Offset0)。
如果在添加第一AMVP导出的候选者1102到候选列表1100之后候选列表1100中仍存在小于2个候选者，那么视频译码器添加第二AMVP导出的候选者1108到候选列表1100。第二AMVP导出的候选者1108指定第三AMVP导出的运动向量预测符1110和第四AMVP导出的运动向量预测符1112。视频译码器以视频译码器用以导出AMVP中的第二运动向量候选者所藉以的方式相同的方式导出第三AMVP导出的运动向量预测符1110。除了视频译码器添加到第三AMVP导出的运动向量预测符1110的水平分量或垂直分量中的至少一个的第二偏移(即，Offset1)以外，第四AMVP导出的运动向量预测符1112与第三AMVP导出的运动向量预测符1110相同。如果在添加第一AMVP导出的候选者1102到候选列表1100之后候选列表1100中仍存在2个候选者，那么视频译码器不添加第二AMVP导出的候选者1108到候选列表1100。如果当前块经双向预测，那么视频译码器可重复上文针对关于列表Y运动向量产生候选列表1100所描述的过程，其中Y等于1-X。
除了使用6参数仿射运动模型外，图11B的实例展示类似过程。因此，为产生候选列表1120，视频译码器检查潜在的候选者。潜在的候选者中的每一个为从块VA、VB和VC(图8A)所选择的块的列表X运动向量、从VD和VE(图8A)所选择的块的列表X运动向量，和从VF和VG(图8A)所选择的块的列表X运动向量的组合。在检查组合中的每一个之后，如果候选列表1120中仍存在小于2个候选者，那么视频译码器可将第一AMVP导出的候选者1122添加到候选列表1120。第一AMVP导出的候选者1122指定第一AMVP导出的运动向量预测符1124(表示为图11B中的AMVP0)、第二AMVP导出的运动向量预测符1126，和第三AMVP导出的运动向量预测符1128。第一AMVP导出的运动向量预测符1124为当前块的第一控制点的运动向量预测符，第二AMVP导出的运动向量预测符1126为当前块的第二控制点的运动向量预测符，且第三AMVP导出的运动向量预测符1128为当前块的第三控制点的运动向量预测符。视频译码器以视频译码器用以导出AMVP中的第一运动向量候选者的相同方式导出第一AMVP导出的运动向量预测符1124。第二AMVP导出的运动向量预测符1128等于第一AMVP导出的运动向量预测符1126。第三AMVP导出的运动向量预测符1128等于第一AMVP导出的运动向量预测符加上到第一AMVP导出的运动向量1124的水平分量或垂直分量中的至少一个的第一偏移(即，Offset0)。
如果在添加第一AMVP导出的候选者1122到候选列表1120之后候选列表1120中仍存在小于2个候选者，那么视频译码器添加第二AMVP导出的候选者1130到候选列表1120。第二AMVP导出的候选者1130指定第四AMVP导出的运动向量预测符1132(表示为图11B中的AMVP1)、第五AMVP导出的运动向量预测符1134，和第六AMVP导出的运动向量预测符1136。视频译码器以视频译码器用以导出AMVP中的第二运动向量候选者的相同方式导出第四AMVP导出的运动向量预测符1132。第五AMVP导出的运动向量预测符1134与第四AMVP导出的运动向量1132相同。第六AMVP导出的运动向量预测符1136等于第三AMVP导出的运动向量预测符1132加上到第三AMVP导出的运动向量1132的水平分量或垂直分量中的至少一个的第二偏移(即，Offset1)。如果在添加第一AMVP导出的候选者1122到候选列表1120之后候选列表1120中存在2个候选者，那么视频译码器不添加第二AMVP导出的候选者1130到候选列表1120。如果当前块经双向预测，那么视频译码器可重复上文针对关于列表Y产生候选列表1120所描述的过程，其中Y等于1-X。
在一些实例中，来自除用于在HEVC中的MVP导出的相邻块以外的块的运动向量预测可被添加到候选列表。在一些实例中，视频译码器更新用于仿射运动运作中的全域MVP且当候选列表的大小小于2时视频译码器使用用于仿射运动的全域MVP。举例来说，视频译码器可使用可用仿射块构建全域仿射运动模型，且只要视频译码器重构仿射块便可更新全域仿射运动模型。视频译码器接着可使用此全域仿射运动模型以产生用于以下仿射块的全域MVP。
在HEVC和JEM3.0中，图块标头中的旗标mvd_l1_zero_flag指示用于第二参考图片列表(例如，列表1)的MVD是否等于零且因此并不在位流中发信以进一步改善译码效率。换句话说，图块的图块标头中的单个旗标可指示图块的所有块的所有列表1MVD等于0。使用此旗标可通过消除单独地发信用于图块的每一AMVP或AF_INTRA译码块的等于0的列表1MVD的需求而增加译码效率。
然而，根据本发明的技术，mvd_l1_zero_flag可适用于某些译码模式，且对于其它模式，即使此旗标指示MVD等于零仍忽略所述旗标。在一个实例中，此零MVD设计对于仿射运动模式停用但此零MVD设计仍保持用于常规帧间模式(AMVP模式)。换句话说，即使图块的mvd_l1_zero_flag指示图块中的所有列表1MVD等于0，视频编码器20仍可发信使用仿射运动模式编码的图块的块的列表1MVD。通过不管mvd_l1_zero_flag指示列表1MVD等于0，仍能够发信使用仿射运动模式编码的块的列表1MVD，视频编码器20可能够避免发信未使用仿射运动模式编码的块的列表1MVD同时仍能够发信使用仿射运动模式编码的块的列表1MVD。此可导致增加的译码效率。本发明在下文参看图19A和图19B描述根据此实例技术的实例操作。
图12为说明可实施本发明的技术的实例视频编码器20的框图。出于解释的目的而提供图12，且不应将所述图视为对如本发明中所广泛例示和描述的技术的限制。本发明的技术可应用于各种译码标准或方法。
在图12的实例中，视频编码器20包含预测处理单元1200、视频数据存储器1201、残余产生单元1202、变换处理单元1204、量化单元1206、反量化单元1208、反变换处理单元1210、重构单元1212、滤波器单元1214、经解码图片缓冲器1216和熵编码单元1218。预测处理单元1200包含帧间预测处理单1220和帧内预测处理单元1222。帧间预测处理单元1220可包含运动估计单元和运动补偿单元(图中未示)。
视频数据存储器1201可经配置以存储待由视频编码器20的组件编码的视频数据。存储于视频数据存储器1201中的视频数据可(例如)从视频源18获得。经解码图片缓冲器1216可为参考图片存储器，其存储用于由视频编码器20在编码视频数据(例如，在帧内或帧间译码模式中)时使用的参考视频数据。视频数据存储器1201和经解码图片缓冲器1216可由多种存储器装置中的任一个形成，例如，动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或单独存储器装置提供视频数据存储器1201和经解码图片缓冲器1216。在各种实例中，视频数据存储器1201可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。视频数据存储器1201可与图1的存储媒体19相同或为图1的存储媒体19的部分。
视频编码器20接收视频数据。视频编码器20可编码视频数据的图片的片段中的每一CTU。CTU中的每一个可与相等大小的亮度译码树型块(CTB)和图片的对应CTB相关联。作为编码CTU的部分，预测处理单元1200可执行分割以将CTU的CTB划分成逐渐较小的块。较小块可为CU的译码块。举例来说，预测处理单元1200可根据树状结构分割与CTU相关联的CTB。
视频编码器20可编码CTU的CU以产生所述CU的经编码表示(即，经译码CU)。作为编码CU的部分，预测处理单元1200可在CU的一或多个PU当中分割与CU相关联的译码块。因此，每一PU可与亮度预测块和对应的色度预测块相关联。视频编码器20和视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的亮度译码块的大小且PU的大小可指PU的亮度预测块的大小。假定特定CU的大小为2N×2N，那么视频编码器20和视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小，和用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似大小的对称PU大小。视频编码器20和视频解码器30也可支持用于帧间预测的2N×nU、2N×nD、nL×2N和nR×2N的PU大小的非对称分割。
帧间预测处理单元1220可产生用于PU的预测性数据。作为产生PU的预测性数据的部分，帧间预测处理单元1220对PU执行帧间预测。用于PU的预测性数据可包含PU的预测性块和用于PU的运动信息。取决于PU在I图块中、P图块中抑或B图块中，帧间预测处理单元1220可针对CU的PU执行不同操作。在I图块中，所有PU经帧内预测。因此，如果PU在I图块中，那么帧间预测处理单元1220并不对PU执行帧间预测。因此，对于在I模式中编码的块，经预测的块是使用空间预测从同一帧内的先前经编码的相邻块而形成。如果PU在P图块中，那么帧间预测处理单元1220可使用单向帧间预测以产生PU的预测性块。如果PU在B图块中，那么帧间预测处理单元1220可使用单向或双向帧间预测以产生PU的预测性块。
帧间预测处理单元1220可应用如在本发明中别处所描述的用于仿射运动模型的技术。举例来说，帧间预测处理单元1220可选择源仿射块，其中所述源仿射块为在空间上相邻于当前块的仿射译码块。在此实例中，帧间预测处理单元1220可外推源仿射块的控制点的运动向量以确定当前块的控制点的运动向量预测符。另外，在此实例中，帧间预测处理单元1220可将包含当前块的控制点的运动向量预测符的仿射MVP集合插入到仿射MVP集合候选列表中。在此实例中，帧间预测处理单元1220可在仿射MVP集合候选列表中选择仿射MVP集合。另外，在此实例中，帧间预测处理单元1220可在位流中发信指示当前块的控制点的运动向量与所选择仿射MVP集合中的运动向量预测符之间的差的MVD。帧间预测处理单元1220也可在位流中发信指示所选择仿射MVP集合在仿射MVP集合候选列表中的位置的索引。
帧内预测处理单元1222可通过对PU执行帧内预测而产生PU的预测性数据。PU的预测性数据可包含PU的预测性块和各种语法元素。帧内预测处理单元1222可对I图块、P图块和B图块中的PU执行帧内预测。
为对PU执行帧内预测，帧内预测处理单元1222可使用多个帧内预测模式来产生用于PU的预测性数据的多个集合。帧内预测处理单元1222可使用来自相邻PU的样本块的样本以产生PU的预测性块。对于PU、CU和CTU，假定从左到右、从上而下的编码次序，那么相邻PU可在PU上方、右上方、左上方或左边。帧内预测处理单元1222可使用各种数目的帧内预测模式，例如，33个方向性帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区的大小。
预测处理单元1200可自由帧间预测处理单元1220针对PU产生的预测性数据或由帧内预测处理单元1222针对PU产生的预测性数据中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元1200基于预测性数据的集合的速率/失真度量而选择用于CU的PU的预测性数据。选定的预测性数据的预测性块在本文中可被称作选定的预测性块。
残余产生单元1202可基于CU的译码块(例如，亮度、Cb和Cr译码块)和CU的PU的所选预测性块(例如，预测性亮度、Cb和Cr块)产生CU的残余块(例如，亮度、Cb和Cr残余块)。举例来说，残余产生单元1202可产生CU的残余块，使得残余块中的每一样本的值等于CU的译码块中的样本与CU的PU的对应所选择预测性块中的对应样本之间的差。
变换处理单元1204可执行将CU的残余块分割成CU的TU的变换块。举例来说，变换处理单元1204可执行四分树分割以将CU的残余块分割成CU的TU的变换块。因此，TU可与亮度变换块和两个色度变换块相关联。CU的TU的亮度和色度变换块的大小和位置可或可不基于CU的PU的预测块的大小和位置。被称为“残余四分树”(RQT)的四分树结构可包含与区域中的每一个相关联的节点。CU的TU可对应于RQT的分叶节点。
变换处理单元1204可通过将一或多个变换应用于TU的变换块而产生CU的每一TU的变换系数块。变换处理单元1204可将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元1204可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元1204并不将变换应用于变换块。在这些实例中，变换块可经处理为变换系数块。
量化单元1206可量化系数块中的变换系数。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，n位变换系数可在量化期间被降值舍位到m位变换系数，其中n大于m。量化单元1206可基于与CU相关联的量化参数(QP)值量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化程度。量化可引入信息的损失。因此，经量化变换系数可具有比原始变换系数低的精度。
反量化单元1208和反变换处理单元1210可分别将反量化和反变换应用于系数块，以从系数块重构残余块。重构单元1212可将经重构的残余块添加到来自由预测处理单元1200产生的一或多个预测性块的对应样本，以产生与TU相关联的经重构变换块。通过以此方式重构CU的每一TU的变换块，视频编码器20可重构CU的译码块。
滤波器单元1214可执行一或多个解块操作以减小与CU相关联的译码块中的块伪影。经解码图片缓冲器1216可在滤波器单元1214对经重构译码块执行一或多个解块操作之后，存储经重构译码块。帧间预测处理单元1220可使用含有经重构译码块的参考图片来对其它图片的PU执行帧间预测。另外，帧内预测处理单元1222可使用经解码图片缓冲器1216中的经重构译码块，以对处于与CU相同的图片中的其它PU执行帧内预测。
熵编码单元1218可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元1218可从量化单元1206接收系数块，并可从预测处理单元1200接收语法元素。熵编码单元1218可对数据执行一或多个熵编码操作以产生经熵编码的数据。举例来说，熵编码单元1218可对数据执行CABAC操作、上下文自适应可变长度译码(CAVLC)操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元1218所产生的经熵编码数据的位流。举例来说，位流可包含表示用于CU的变换系数的值的数据。
图13为说明经配置以实施本发明的技术的实例视频解码器30的框图。出于解释的目的而提供图13，且所述图并不限制如本发明中所广泛例示和描述的技术。出于解释的目的，本发明描述在HEVC译码的情况下的视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
在图13的实例中，视频解码器30包含熵解码单元1300、视频数据存储器1301、预测处理单元1302、反量化单元1304、反变换处理单元1306、重构单元1308、滤波器单元1310，和经解码图片缓冲器1312。预测处理单元1302包含运动补偿单元1314和帧内预测处理单元1316。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。
视频数据存储器1301可存储待由视频解码器30的组件解码的经编码视频数据，例如经编码视频位流。存储于视频数据存储器1301中的视频数据可(例如)从计算机可读媒体16、(例如)从本地视频源(例如摄影机)、经由视频数据的有线或无线网络通信或通过存取物理数据存储媒体而获得。视频数据存储器1301可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器1312可为参考图片存储器，其存储供视频解码器30用于(例如)以帧内或帧间译码模式解码视频数据或供输出的参考视频数据。视频数据存储器1301和经解码图片缓冲器1312可由多种存储器装置中的任一个形成，例如，动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或单独存储器装置提供视频数据存储器1301和经解码图片缓冲器1312。在各种实例中，视频数据存储器1301可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。视频数据存储器1301可与图1的存储媒体28相同或为图1的存储媒体28的部分。
视频数据存储器1301接收并存储位流的经编码视频数据(例如，NAL单元)。熵解码单元1300可从视频数据存储器1301接收经编码视频数据(例如，NAL单元)，且可剖析NAL单元以获得语法元素。熵解码单元1300可对NAL单元中的经熵编码语法元素进行熵解码。预测处理单元1302、反量化单元1304、反变换处理单元1306、重构单元1308和滤波器单元1310可基于从位流提取的语法元素而产生经解码视频数据。熵解码单元1300可执行大体上与熵编码单元1218的彼过程互逆的过程。
除了获得来自位流的语法元素之外，视频解码器30还可对CU执行重构操作。为对CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构CU的残余块。
作为对CU的TU执行重构操作的部分，反量化单元1304可反量化(例如，解量化)与TU相关联的系数块。在反量化单元1304反量化系数块之后，反变换处理单元1306可将一或多个反变换应用于系数块以便产生与TU相关联的残余块。举例来说，反变换处理单元1306可将反DCT、反整数变换、反Karhunen-Loeve(卡洛南-洛夫)变换(KLT)、反旋转变换、反定向变换或另一反变换应用于系数块。
反量化单元1304可执行本发明的特定技术。举例来说，对于视频数据的图片的CTU的CTB内的多个量化群组的至少一个相应量化群组，反量化单元1304可至少部分地基于在位流中发信的本地量化信息导出用于相应量化群组的相应量化参数。另外，在此实例中，反量化单元1304可基于用于相应量化群组的相应量化参数反量化CTU的CU的TU的变换块的至少一个变换系数。在此实例中，相应量化群组经定义为连续(在译码次序中)CU或译码块的群组，以使得相应量化群组的边界必须为CU或译码块的边界且相应量化群组的大小大于或等于阈值。视频解码器30(例如，反变换处理单元1306、重构单元1308和滤波器单元1310)可基于变换块的经反量化变换系数重构CU的译码块。
如果使用帧内预测编码PU，那么帧内预测处理单元1316可执行帧内预测以产生PU的预测性块。帧内预测处理单元1316可使用帧内预测模式来基于样本空间相邻块产生PU的预测性块。帧内预测处理单元1316可基于从位流获得的一或多个语法元素确定用于PU的帧内预测模式。
如果使用帧间预测编码PU，那么运动补偿单元1314可确定PU的运动信息。运动补偿单元1314可基于PU的运动信息而确定一或多个参考块。运动补偿单元1314可基于一或多个参考块产生PU的预测性块(例如，预测性亮度、Cb和Cr块)。
运动补偿单元1314可应用如在本发明中别处所描述的用于仿射运动模型的技术。举例来说，运动补偿单元1314可选择源仿射块，其中所述源仿射块为在空间上相邻于当前块的仿射译码块。在此实例中，运动补偿单元1314可外推源仿射块的控制点的运动向量以确定当前块的控制点的运动向量预测符。在此实例中，运动补偿单元1314将包含当前块的控制点的运动向量预测符的仿射MVP集合插入到仿射MVP集合候选列表中。另外，运动补偿单元1314基于在位流中发信的索引确定仿射MVP集合候选列表中的所选择仿射MVP集合。在此实例中，熵解码单元1300可从位流获得指示当前块的控制点的运动向量与所选择仿射MVP集合中的运动向量预测符之间的差的MVD。在此实例中，运动补偿单元1314基于包含于所选择仿射MVP集合中的运动向量预测符和MVD确定当前块的控制点的运动向量。在此实例中，运动补偿单元1314可基于当前块的控制点的运动向量产生预测性块。
重构单元1308可使用CU的TU的变换块(例如，亮度、Cb和Cr变换块)和CU的PU的预测性块(例如，亮度、Cb和Cr块)(即，可适用的帧内预测数据或帧间预测数据)来重构CU的译码块(例如，亮度、Cb和Cr译码块)。举例来说，重构单元1308可将变换块(例如，亮度、Cb和Cr变换块)的样本添加到预测性块(例如，亮度、Cb和Cr预测性块)的对应样本，以重构CU的译码块(例如，亮度、Cb和Cr译码块)。
滤波器单元1310可执行解块操作以减少与CU的译码块相关联的块伪影。视频解码器30可将CU的译码块存储于经解码图片缓冲器1312中。经解码图片缓冲器1312可提供参考图片以用于后续运动补偿、帧内预测和在显示装置(例如，图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器1312中的块对其它CU的PU执行帧内预测或帧间预测操作。
图14A为说明根据本发明的技术的用于编码视频数据的实例操作的流程图。本发明的流程图作为实例提供。根据本发明的技术的其它实例可包含更多、更少或不同动作，或动作可以不同次序执行。
如上文所描述，根据本发明的一或多种技术，用于一个帧间预测方向的仿射运动模型可用于改善用于另一帧间预测方向的仿射运动模型的发信。图14A和图14B展示根据这些技术的实例操作。
在图14A的实例中，视频编码器20基于视频数据的当前块的仿射运动模型的控制点的第一运动向量确定当前块的仿射运动模型的控制点的第二运动向量(1400)。第一运动向量对应于列表X(其中X为0或1)且第二运动向量对应于列表Y(其中Y为1-X)。在用于确定控制点的第二运动向量的一个实例中，视频编码器20首先确定控制点的列表X运动向量。视频编码器20可根据本发明中提供的实例中的任一个确定控制点的列表X运动向量。另外，给定控制点的列表X运动向量，视频编码器20可执行搜索以确定提供最佳速率-失真成本的控制点的列表Y运动向量。在此实例中，视频编码器20可发信指示控制点的列表X运动向量与控制点的列表Y运动向量之间的差的运动向量差。
另外，视频编码器20基于当前块的仿射运动模型产生预测性块(1402)。视频编码器20可根据在本说明书中别处提供的实例产生预测性块。举例来说，视频编码器20可使用当前块的仿射运动模型的控制点的列表X和列表Y运动向量以确定当前块的子块的列表X和列表Y运动向量，且可接着应用运动补偿内插滤波器以产生用于子块中的每一个的预测性块，由此产生用于当前块的预测性块。
在图14A的实例中，视频编码器20也基于预测性块产生用于解码当前块的数据(1404)。视频编码器20可根据在本发明中别处提供的实例中的任一个产生用于解码当前块的数据。举例来说，视频编码器20可产生残余数据，将变换应用于残余数据，量化经变换残余数据，且将熵编码应用于表示经量化变换残余数据的语法元素，如本发明中在别处所描述。
图14B为说明根据本发明的技术的用于解码视频数据的实例操作的流程图。在图14B的实例中，视频解码器30基于视频数据的当前块的仿射运动模型的控制点的第一运动向量确定当前块的仿射运动模型的控制点的第二运动向量(1420)。第一运动向量对应于第一参考图片列表(即，列表X，其中X为0或1)。第二运动向量对应于第二不同参考图片列表(即，列表Y，其中Y等于1-X)。在此实例中，视频解码器30可根据在本发明中提供的其它实例确定控制点的列表X运动向量。另外，在此实例中，为确定控制点的列表Y运动向量，视频解码器30可从位流获得指示控制点的列表X运动向量与控制点的列表Y运动向量之间的差的运动向量差。在此实例中，视频解码器30可将运动向量差添加到控制点的列表X运动向量以确定控制点的列表Y运动向量。
另外，视频解码器30基于当前块的仿射运动模型产生预测性块(1422)。视频解码器30可以与图14A中的视频编码器20相同的方式产生预测性块。视频解码器30可基于残余数据和预测性块重构当前块(1424)。举例来说，视频解码器30可至少部分通过添加残余数据的样本到预测性块的对应样本而重构当前块。
图15A为说明根据本发明的技术的用于编码视频数据的实例操作的流程图。如上文所论述，根据本发明的一些技术，当前块的控制点的MV可用作当前块的其它控制点的MV的MVP候选者。图15A和图15B展示根据这些技术的实例操作。
在图15A的实例中，视频编码器20基于视频数据的当前块的仿射运动模型的第一控制点的运动向量确定当前块的仿射运动模型的第二控制点的运动向量(1500)。举例来说，视频编码器20可包含作为用于预测当前块的仿射运动模型的第二控制点(例如，右上方控制点)的运动向量的候选列表中的候选者的当前块的仿射运动模型的第一控制点(例如，左上方控制点)的运动向量。候选列表中的其它候选者可包含相邻仿射译码块的对应控制点(例如，左上方控制点)的运动向量。在此实例中，视频编码器20接着可从候选列表选择候选者(例如，基于速率-失真成本)。另外，在此实例中，视频编码器20接着可使用所选择候选者的运动向量作为第二控制点的运动向量预测符。在一些实例中，视频编码器20发信指示所选择候选者的运动向量与第二控制点的运动向量预测符之间的差的MVD。
另外，视频编码器20基于当前块的仿射运动模型产生预测性块(1502)。另外，视频编码器20基于预测性块产生用于解码当前块的数据(1504)。视频编码器20可根据在本发明中别处提供的实例产生预测性块且产生用于解码当前块的数据。
图15B为说明根据本发明的技术的用于解码视频数据的实例操作的流程图。在图15B的实例中，视频解码器30基于视频数据的当前块的仿射运动模型的第一控制点的运动向量确定当前块的仿射运动模型的第二控制点的运动向量(1520)。视频解码器30可以与上文关于图15A中的视频编码器20所描述的方式相同的方式确定当前块的仿射运动模型的第二控制点的运动向量。为确定第二控制点的运动向量，视频解码器30可从位流获得指示候选列表中的所选择候选者的索引。候选列表可包含控制点的运动向量，其包含当前块的第一控制点的运动向量。在一些实例中，视频解码器30可通过添加经发信MVD到所选择候选者的运动向量而确定第二控制点的运动向量。
另外，视频解码器30基于当前块的仿射运动模型产生预测性块(1522)。视频解码器30基于预测性块重构块(1524)。视频解码器30可根据在本发明中别处提供的实例产生预测性块并重构块。举例来说，视频解码器30可基于预测性块和经解码残余数据重构块。
图16A为说明根据本发明的技术的用于编码视频数据的实例操作的流程图。如上文所论述，根据本发明的一些技术，视频译码器可使用当前块的一或多个相邻仿射块的运动模型来预测当前仿射运动模型。在图16A的实例中，视频编码器20使用单个相邻仿射块的运动模型来预测当前块的仿射运动模型的至少两个控制点(1600)。另外，视频编码器20基于当前块的仿射运动模型产生预测性块(1602)。视频编码器20接着基于预测性块产生用于解码当前块的数据(1604)。视频编码器20可根据在本发明中别处提供的实例产生数据。
图16B为说明根据本发明的技术的用于解码视频数据的实例操作的流程图。在图16B的实例中，视频解码器30使用单个相邻仿射块的运动模型来预测当前块的仿射运动模型(1620)。另外，视频解码器30基于当前块的仿射运动模型产生预测性块(1622)。视频解码器30接着可基于预测性块重构当前块(1624)。视频解码器30可根据在本发明中别处提供的实例中的任一个产生预测性块且重构当前块。
图17为说明根据本发明的技术的用于编码视频数据的实例操作的流程图。图17和图18为图16A和图16B中所概述的操作的更详细流程图。在图17的实例中，视频编码器20选择源仿射块(1700)。源仿射块为在空间上与当前块相邻的仿射译码块。视频编码器20可以各种方式选择源仿射块。举例来说，视频编码器20可确定源仿射块为以预定义访问次序访问的多个相邻块中的首先出现的仿射译码块。在一些实例中，视频编码器20可根据多个预定义优先级集合基于预定义访问次序确定源仿射块为多个相邻块的首先出现的可用仿射译码块。如果仿射译码块不在预定义优先级集合中的一个中，那么仿射译码块并不被视为可用的。优先级集合的各种实例在本发明中别处描述。
另外，视频编码器20可外推源仿射块的控制点的运动向量以确定当前块的控制点的运动向量预测符(1702)。举例来说，视频编码器20可构建由通过仿射源块的控制点的运动向量确定的仿射参数定义的仿射运动模型。视频编码器20接着可使用经构建仿射运动模型导出(或所谓的外推)当前块的控制点的运动向量。举例来说，为外推当前块的控制点的运动向量，视频编码器20可使用经构建仿射运动模型的运动向量和方程式2中的当前块的控制点的(x,y)位置以确定控制点的运动向量。
另外，视频编码器20可将包含当前块的控制点的运动向量预测符的仿射MVP集合插入到仿射MVP集合候选列表中(1704)。在一些实例中，视频编码器20也可在仿射MVP集合中包含常规仿射MVP集合。举例来说，在一个实例中，视频编码器20可将第一运动向量预测符确定为邻近于当前块的第一控制点的块的运动向量。在此实例中，视频编码器20将第二运动向量预测符确定为邻近于当前块的第二控制点的块(例如，块A、块B或块C；或图6A的块D或块E)的运动向量。在此实例中，视频编码器20将包含第一运动向量预测符和第二运动向量预测符的仿射MVP集合插入到仿射MVP集合候选列表中。
在一些实例中，视频编码器20选择第二源仿射块。第二源仿射块为在空间上与当前块相邻的不同仿射译码块。在此实例中，视频编码器20外推第二源仿射块的控制点的运动向量以确定当前块的控制点的第二运动向量预测符。另外，视频编码器20将第二仿射MVP集合插入到仿射MVP集合候选列表中。第二仿射MVP集合包含当前块的控制点的第二运动向量预测符。
随后，视频编码器20在仿射MVP集合候选列表中选择仿射MVP集合(1706)。视频编码器20可基于仿射MVP集合候选列表中的仿射MVP集合的速率-失真分析选择仿射MVP集合。
视频编码器20可在位流中发信指示当前块的控制点的运动向量与所选择仿射MVP集合中的运动向量预测符之间的差的MVD(1708)。另外，视频编码器20可在位流中发信指示所选择仿射MVP集合在仿射MVP集合候选列表中的位置的索引(1710)。
图18为说明根据本发明的技术的用于解码视频数据的实例操作的流程图。在图18的实例中，视频解码器30选择源仿射块(1800)。源仿射块为在空间上与当前块相邻的仿射译码块。视频解码器30可以与视频编码器20相同的方式选择源仿射块，如在本发明中别处所描述。
另外，视频解码器30外推源仿射块的控制点的运动向量以确定当前块的控制点的运动向量预测符(1802)。视频解码器30将包含当前块的控制点的运动向量预测符的仿射MVP集合插入到仿射MVP集合候选列表中(1804)。视频解码器30可外推控制点的运动向量且以与视频编码器20相同的方式插入仿射MVP集合，如在本发明中别处所描述。视频解码器30也可添加额外仿射MVP集合到仿射MVP集合候选列表中，如上文关于视频编码器20所描述。
另外，视频解码器30基于在位流中发信的索引确定仿射MVP集合候选列表中的所选择仿射MVP集合(1806)。视频解码器30从位流获得指示当前块的控制点的运动向量与所选择仿射MVP集合中的运动向量预测符之间的差的MVD(1808)。另外，视频解码器30基于包含于所选择仿射MVP集合中的运动向量预测符和MVD确定当前块的控制点的运动向量(1810)。举例来说，视频解码器30可添加MVD到对应运动向量预测符以确定当前块的控制点的运动向量。
视频解码器30接着可基于当前块的控制点的运动向量产生预测性块(1812)。视频解码器30可基于残余数据和预测性块重构当前块(1814)。视频解码器30可根据在本发明中别处提供的实例产生预测性块并重构当前块。
图19A为说明根据本发明的技术的用于编码视频数据的实例操作的流程图。如上文所论述，根据本发明的一些技术，在仿射帧间模式或仿射合并模式中，当前块的每一子块(例如，4×4块)的仿射参数可从子块的自身相邻块而预测或直接继承。图19A和图19B展示根据这些技术的实例操作。
在图19A的实例中，视频数据的当前块经分割成多个子块。对于多个子块中的每一相应子块，视频编码器20使用相应相邻仿射块的外推的运动以预测相应子块的仿射运动(1900)。视频编码器20可以如在本发明中别处所描述的相同方式外推相应相邻仿射块的运动。在一些实例中，为使用相应相邻仿射块的外推的运动来预测相应子块的仿射运动，视频编码器20从相邻仿射块的经外推运动预测相应子块的仿射运动。在一些情况下，相邻仿射块为当前块的另一子块。在一些实例中，为使用相应相邻仿射块的外推的运动，视频编码器20直接从相邻仿射块的经外推运动继承每一相应子块的仿射运动。换句话说，视频编码器20设定相应子块的控制点的参考索引和运动向量为等于相应相邻仿射块的控制点的运动索引和经外推运动向量。举例来说，如图10中所示，子块1002可继承仿射块1004的控制点的参考索引和经外推运动向量。
另外，视频编码器20基于子块的仿射运动产生预测性块(1902)。举例来说，对于多个子块中的每一相应子块，视频编码器20可使用相应子块的仿射运动以产生相应子块的相应预测性子块。在此实例中，视频编码器20可使用相应子块的仿射运动以按在本发明中在别处针对使用仿射运动以产生预测性块所描述的相同方式产生相应子块的相应预测性子块。举例来说，视频编码器20可使用方程式(2)来计算相应子块的运动向量的x分量和y分量。视频编码器20接着可使用相应子块的运动向量以确定相应子块的预先或最终预测性块。另外，在此实例中，视频编码器20可组合预测性子块以产生当前块的预测性块。
视频编码器20基于预测性块产生用于解码当前块的数据(1904)。视频编码器20可根据在本发明中别处提供的对应实例中的任一个产生用于解码当前块的数据。
图19B为说明根据本发明的技术的用于解码视频数据的实例操作的流程图。在图16B的实例中，视频数据的当前块经分割成多个子块。对于多个子块中的每一相应子块，视频解码器30使用相应相邻仿射块的外推的运动以预测相应子块的仿射运动(1920)。视频解码器30可以与上文关于视频编码器20所描述的方式相同的方式预测相应子块的仿射运动。在一些实例中，为使用相应相邻仿射块的外推的运动，视频解码器30从相邻仿射块的经外推运动预测每一相应子块的仿射运动。在一些实例中，为使用相应相邻仿射块的外推的运动，视频解码器30直接从相邻仿射块的经外推运动继承每一相应子块的仿射运动。
另外，视频解码器30基于子块的仿射运动产生预测性块(1922)。视频解码器30可以与上文关于视频编码器20所描述的方式相同的方式产生预测性块。视频解码器30基于预测性块重构块(1924)。举例来说，视频解码器30可重构当前块，可添加预测性块的样本到从位流解码的对应残余样本。
图20A为说明根据本发明的技术的用于编码视频数据的实例操作的流程图。如上文所论述，根据本发明的一些技术，偏移可被添加到MVP以确保MVP候选集合内的并非所有MVP相同。图20A和图20B展示根据这些技术的实例操作。
明确地说，在图20A的实例中，第一运动向量为当前块的仿射运动模型的第一控制点的运动向量。第二运动向量为当前块的仿射运动模型的第二控制点的运动向量。基于运动向量的候选列表中的候选者的总数小于2且第一运动向量和第二运动向量相同，视频编码器20添加偏移到运动向量预测符(2000)。如在本发明中别处所描述，偏移可对于候选列表中的不同位置不同。
另外，视频编码器20在候选列表中包含运动向量预测符(2002)。举例来说，视频编码器20可在运动向量预测符的阵列中包含运动向量预测符。另外，视频编码器20选择候选列表中的候选者(2004)。视频编码器20可选择候选者，以使得所选择候选者导致候选列表中的候选者当中的最佳速率-失真值。另外，视频编码器20使用所选择候选者以确定预测性块(2006)。举例来说，视频编码器20可使用由所选择候选者指定的运动向量以识别参考图片中的位置。在此实例中，视频编码器20可通过将旋转应用于在参考图片中的所识别位置处的样本的块的复本而确定预测性块。在一些实例中，视频编码器20可使用所选择候选者以确定第一预先预测性块，且也确定第二预测性块(例如，基于不同参考图片列表中的参考图片中的样本)。在此实例中，视频编码器20可将预测性块中的样本确定为第一预先预测性块和第二预先预测性块中的对应样本的加权平均值。
视频编码器20接着可基于当前块和预测性块的样本产生残余数据(2008)。举例来说，视频编码器20可产生残余数据，使得残余数据的每一样本指示当前块与预测性块中的对应样本之间的差。另外，视频编码器20在包括视频数据的经编码表示的位流中包含候选列表中的所选择候选者的指示(2010)。
图20B为说明根据本发明的技术的用于解码视频数据的实例操作的流程图。在图18B的实例中，基于运动向量的候选列表中的候选者的总数小于2且第一运动向量和第二运动向量相同，视频解码器30将偏移添加到运动向量预测符(2020)。在此实例中，第一运动向量为视频数据的当前块的仿射运动模型的第一控制点的运动向量。第二运动向量为当前块的仿射运动模型的第二控制点的运动向量。
另外，在图20B的实例中，视频解码器30在候选列表中包含运动向量预测符(2022)。视频解码器30接着可确定候选列表中的所选择候选者(2024)。另外，视频解码器30可使用所选择候选者以确定预测性块(2026)。视频解码器30接着可基于预测性块重构当前块(2028)。在一些实例中，视频解码器30可基于预测性块和残余数据重构当前块。
图21A为说明根据本发明的技术的用于编码视频数据的实例操作的流程图。如上文所提及，根据本发明的技术，mvd_l1_zero_flag可适用于某些译码模式且对于其它模式，即使mvd_l1_zero_flag指示MVD等于零仍忽略此旗标。图21A和图21B展示根据此技术的实例操作。
具体地说，在图21A的实例中，视频编码器20在位流中包含指示第二参考图片列表(例如，列表1)的运动向量差是否在位流中被发信的旗标(例如，mvd_l1_zero_flag)(2100)。基于视频数据的当前块的运动为仿射运动模式，不管旗标的值，视频编码器20在位流中包含MVD(2102)。举例来说，视频编码器20可在位流中包含指示MVD的垂直分量的语法元素和指示MVD的水平分量的第二元素。
另外，视频编码器20基于当前块的仿射运动模型产生预测性块(2104)。视频编码器20可根据在本发明中别处提供的实例中的任一个基于当前块的仿射运动模型产生预测性块。视频编码器20接着可基于预测性块产生用于解码当前块的数据(2106)。举例来说，视频编码器20可产生残余数据，将变换应用于残余数据，量化经变换残余数据，且将熵编码应用于表示经量化变换残余数据的语法元素，如本发明中在别处所描述。
图21B为说明根据本发明的技术的用于解码视频数据的实例操作的流程图。在图21B的实例中，视频解码器30从位流获得指示第二参考图片列表(例如，列表1)的运动向量差是否在位流中被发信的旗标(例如，mvd_l1_zero_flag)(2120)。
另外，在图21B的实例中，基于视频数据的当前块的运动为仿射运动模式，不管旗标的值，视频解码器30从位流获得MVD(2122)。换句话说，视频解码器30解码来自位流的MVD。在一些实例中，为从位流获得MVD，视频解码器30从位流获得指示MVD的垂直分量的第一语法元素和指示MVD的水平分量的第二语法元素。视频解码器30基于运动向量差确定用于当前块的仿射运动模型(2124)。另外，视频解码器30基于当前块的仿射运动模型产生预测性块(2126)。另外，视频解码器30基于预测性块重构块(2128)。视频解码器30可产生预测性块并根据在本发明中别处提供的实例中的任一个重构块。
为了说明的目的，本发明的某些方面已经关于HEVC标准的延伸而描述。然而，本发明中描述的技术可用于其它视频译码过程，包含当前在开发中或尚未开发的其它标准或专有视频译码过程。
如本发明中所描述的视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，视频译码可指视频编码或视频解码(在适用时)。在本发明中，短语“基于”可指示仅仅基于、至少部分地基于，或以某一方式基于。本发明可使用术语“视频单元”或“视频块”或“块”以指代一或多个样本块和用于对样本的所述一或多个块的样本进行译码的语法结构。视频单元的实例类型可包含CTU、CU、PU、变换单元(TU)、宏块、宏块分区，等等。在一些情形中，PU的论述可与宏块或宏块分割区的论述互换。视频块的实例类型可包含译码树型块、译码块和视频数据的其它类型的块。
应认识到，取决于实例，本文中所描述的技术中的任一个的某些动作或事件可以不同序列被执行、可被添加、合并或完全省去(例如，并非所有所描述动作或事件为实践所述技术所必要)。此外，在某些实例中，可例如通过多线程处理、中断处理或多个处理器同时而非顺序执移动作或事件。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或码而在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)或通信媒体(其包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体)。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理电路存取以检索指令、代码和/或数据结构以用于实施本发明中描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。并且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴缆线、光缆、双绞线、数字用户线(DSL)或无线技术(例如红外线、无线电和微波)从网站、服务器或其它远程源传输指令，那么同轴缆线、光缆、双绞线、DSL或无线技术(例如红外线、无线电和微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是实际上有关非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软碟和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘使用激光以光学方式再现数据。以上各者的组合也应包含于计算机可读媒体的范围内。
本发明中所描述的功能性可由固定功能和/或可编程处理电路执行。举例来说，指令可由固定功能和/或可编程处理电路执行。这些处理电路可包含一或多个处理器，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构中的任一个或适合于实施本文中所描述技术的任何其它结构。另外，在一些方面中，本文中所描述的功能性可提供于经配置用于编码和解码的专用硬件和/或软件模块内，或并入组合式编解码器中。此外，所述技术可完全实施于一或多个电路或逻辑元件中。处理电路可以各种方式耦合到其它组件。举例来说，处理电路可经由内部装置互连件、有线或无线网络连接或另一通信媒体耦合到其它组件。
本发明的技术可实施于多种装置或设备中，包含无线手机、集成电路(IC)或IC集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切来说，如上文所描述，可将各种单元组合于编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适的软件和/或固件来提供所述单元。
已描述各种实例。这些和其它实例在以下权利要求书的范围内。

Claims (36)

1.一种解码视频数据的方法，所述方法包括：
选择源仿射块，所述源仿射块为在空间上与当前块相邻的仿射译码块；
外推所述源仿射块的多个控制点的运动向量以确定所述当前块的多个控制点的运动向量预测符，其中，所述源仿射块的所述控制点包括位于所述源仿射块的左上方的第一控制点和位于所述源仿射块的右上方的第二控制点，并且所述源仿射块的所述第一控制点和所述第二控制点的运动矢量用于所述源仿射块的仿射预测；
将包含所述当前块的所述控制点的所述运动向量预测符的仿射运动向量预测符MVP集合插入到仿射MVP集合候选列表中；
基于在位流中发信的索引确定所述仿射MVP集合候选列表中的所选择仿射MVP集合；
从所述位流获得指示所述当前块的所述控制点的运动向量与所述所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差MVD；
以及
基于包含于所述所选择仿射MVP集合中的所述运动向量预测符和所述MVD确定所述当前块的所述控制点的运动向量；
基于所述当前块的所述控制点的所述运动向量产生预测性块；以及
基于残余数据和所述预测性块重构所述当前块。
2.根据权利要求1所述的方法，其中所述当前块的所述控制点包含所述当前块的第一控制点和所述当前块的第二控制点，所述方法进一步包括：
将第一运动向量预测符确定为邻近于所述当前块的所述第一控制点的块的运动向量；
将第二运动向量预测符确定为邻近于所述当前块的所述第二控制点的块的运动向量；
以及
将包含所述第一运动向量预测符和所述第二运动向量预测符的仿射MVP集合插入到所述仿射MVP集合候选列表中。
3.根据权利要求1所述的方法，其中所述当前块邻近于多个相邻块，且选择所述源仿射块包括：
确定所述源仿射块为按预定义访问次序访问的所述多个相邻块的首先出现的仿射译码块。
4.根据权利要求1所述的方法，其中所述当前块邻近于多个相邻块，且选择所述源仿射块包括：
根据多个预定义优先级集合基于预定义访问次序确定所述源仿射块为所述多个相邻块的首先出现的可用仿射译码块，其中如果仿射译码块不在所述预定义优先级集合中的一个中，那么所述仿射译码块并不被视为可用的。
5.根据权利要求4所述的方法，其中：
所述多个预定义优先级集合包含第一优先级集合和第二优先级集合，且
所述第一优先级集合和所述第二优先级集合经定义，以使得对于所述多个相邻块的每一相应相邻块：
如果所述相应相邻块具有与所述当前块的列表X参考图片相同的列表X参考图片，那么所述相应相邻块在所述第一优先级集合中，X为0或1；且
如果所述相应相邻块具有与所述当前块的所述列表X参考图片相同的列表Y参考图片，那么所述相应相邻块在所述第二优先级集合中，Y等于1-X。
6.根据权利要求4所述的方法，其中：
所述多个预定义优先级集合包含第一优先级集合和第二优先级集合，且
所述第一优先级集合和所述第二优先级集合经定义，以使得对于所述多个相邻块的每一相应相邻块：
如果所述相应相邻块具有与所述当前块的列表X参考图片不同的列表X参考图片，那么所述相应相邻块在所述第一优先级集合中，X为0或1；且
如果所述相应相邻块具有与所述当前块的所述列表X参考图片不同的列表Y参考图片，那么所述相应相邻块在所述第二优先级集合中，Y等于1-X。
7.根据权利要求4所述的方法，其中：
所述多个预定义优先级集合包含第一优先级集合和第二优先级集合，且
所述第一优先级集合和所述第二优先级集合经定义，以使得对于所述多个相邻块的每一相应相邻块：
如果所述相应相邻块在仿射帧间模式中经译码，那么所述相应相邻块在所述第一优先级集合中；且
如果所述相应相邻块在仿射合并模式中经译码，那么所述相应相邻块在所述第二优先级集合中。
8.根据权利要求1所述的方法，其中所述源仿射块为第一源仿射块，所述方法进一步包括：
选择第二源仿射块，所述第二源仿射块为在空间上与所述当前块相邻的不同仿射译码块；
外推所述第二源仿射块的控制点的运动向量以确定用于所述当前块的所述控制点的第二运动向量预测符；
以及
将第二仿射MVP集合插入到所述仿射MVP集合候选列表中，所述第二仿射MVP集合包含用于所述当前块的所述控制点的所述第二运动向量预测符。
9.一种编码视频数据的方法，所述方法包括：
选择源仿射块，所述源仿射块为在空间上与当前块相邻的仿射译码块；
外推所述源仿射块的多个控制点的运动向量以确定所述当前块的多个控制点的运动向量预测符，其中，所述源仿射块的所述控制点包括位于所述源仿射块的左上方的第一控制点和位于所述源仿射块的右上方的第二控制点，并且所述源仿射块的所述第一控制点和所述第二控制点的运动矢量用于所述源仿射块的仿射预测；
将包含所述当前块的所述控制点的所述运动向量预测符的仿射运动向量预测符MVP集合插入到仿射MVP集合候选列表中；
在所述仿射MVP集合候选列表中选择仿射MVP集合；
在位流中发信指示所述当前块的所述控制点的运动向量与所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差MVD；以及
在所述位流中发信指示所述所选择仿射MVP集合在所述仿射MVP集合候选列表中的位置的索引。
10.根据权利要求9所述的方法，其中所述当前块的所述控制点包含所述当前块的第一控制点和所述当前块的第二控制点，所述方法进一步包括：
将第一运动向量预测符确定为邻近于所述当前块的所述第一控制点的块的运动向量；
将第二运动向量预测符确定为邻近于所述当前块的所述第二控制点的块的运动向量；
以及
将包含所述第一运动向量预测符和所述第二运动向量预测符的仿射MVP集合插入到所述仿射MVP集合候选列表中。
11.根据权利要求9所述的方法，其中所述当前块邻近于多个相邻块，且选择所述源仿射块包括：
确定所述源仿射块为按预定义访问次序访问的所述多个相邻块的首先出现的仿射译码块。
12.根据权利要求9所述的方法，其中所述当前块邻近于多个相邻块，且选择所述源仿射块包括：
根据多个预定义优先级集合基于预定义访问次序确定所述源仿射块为所述多个相邻块的首先出现的可用仿射译码块，其中如果仿射译码块不在所述预定义优先级集合中的一个中，那么所述仿射译码块并不被视为可用的。
13.根据权利要求12所述的方法，其中：
所述多个预定义优先级集合包含第一优先级集合和第二优先级集合，且
所述第一优先级集合和所述第二优先级集合经定义，以使得对于所述多个相邻块的每一相应相邻块：
如果所述相应相邻块具有与所述当前块的列表X参考图片相同的列表X参考图片，那么所述相应相邻块在所述第一优先级集合中，X为0或1；且
如果所述相应相邻块具有与所述当前块的所述列表X参考图片相同的列表Y参考图片，那么所述相应相邻块在所述第二优先级集合中，Y等于1-X。
14.根据权利要求12所述的方法，其中：
所述多个预定义优先级集合包含第一优先级集合和第二优先级集合，且
所述第一优先级集合和所述第二优先级集合经定义，以使得对于所述多个相邻块的每一相应相邻块：
如果所述相应相邻块具有与所述当前块的列表X参考图片不同的列表X参考图片，那么所述相应相邻块在所述第一优先级集合中，X为0或1；且
如果所述相应相邻块具有与所述当前块的所述列表X参考图片不同的列表Y参考图片，那么所述相应相邻块在所述第二优先级集合中，Y等于1-X。
15.根据权利要求12所述的方法，其中：
所述多个预定义优先级集合包含第一优先级集合和第二优先级集合，且
所述第一优先级集合和所述第二优先级集合经定义，以使得对于所述多个相邻块的每一相应相邻块：
如果所述相应相邻块在仿射帧间模式中经译码，那么所述相应相邻块在所述第一优先级集合中；且
如果所述相应相邻块在仿射合并模式中经译码，那么所述相应相邻块在所述第二优先级集合中。
16.根据权利要求9所述的方法，其中所述源仿射块为第一源仿射块，所述方法进一步包括：
选择第二源仿射块，所述第二源仿射块为在空间上与所述当前块相邻的不同仿射译码块；
外推所述第二源仿射块的控制点的运动向量以确定用于所述当前块的所述控制点的第二运动向量预测符；
以及
将第二仿射MVP集合插入到所述仿射MVP集合候选列表中，所述第二仿射MVP集合包含用于所述当前块的所述控制点的所述第二运动向量预测符。
17.一种用于解码视频数据的装置，所述装置包括：
存储器，其经配置以存储所述视频数据；
以及
一或多个处理电路，其经配置以：
选择源仿射块，所述源仿射块为在空间上与当前块相邻的仿射译码块；
外推所述源仿射块的多个控制点的运动向量以确定所述当前块的多个控制点的运动向量预测符，其中，所述源仿射块的所述控制点包括位于所述源仿射块的左上方的第一控制点和位于所述源仿射块的右上方的第二控制点，并且所述源仿射块的所述第一控制点和所述第二控制点的运动矢量用于所述源仿射块的仿射预测；
将包含所述当前块的所述控制点的所述运动向量预测符的仿射运动向量预测符MVP集合插入到仿射MVP集合候选列表中；
基于在位流中发信的索引确定所述仿射MVP集合候选列表中的所选择仿射MVP集合；
从所述位流获得指示所述当前块的所述控制点的运动向量与所述所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差MVD；
以及
基于包含于所述所选择仿射MVP集合中的所述运动向量预测符和所述MVD确定所述当前块的所述控制点的运动向量；
基于所述当前块的所述控制点的所述运动向量产生预测性块；以及
基于残余数据和所述预测性块重构所述当前块。
18.根据权利要求17所述的装置，其中所述当前块的所述控制点包含所述当前块的第一控制点和所述当前块的第二控制点，所述一或多个处理电路经进一步配置以：
将第一运动向量预测符确定为邻近于所述当前块的所述第一控制点的块的运动向量；
将第二运动向量预测符确定为邻近于所述当前块的所述第二控制点的块的运动向量；以及
将包含所述第一运动向量预测符和所述第二运动向量预测符的仿射MVP集合插入到所述仿射MVP集合候选列表中。
19.根据权利要求17所述的装置，其中所述当前块邻近于多个相邻块，且所述一或多个处理电路经配置，以使得作为选择所述源仿射块的部分，所述一或多个处理电路：
确定所述源仿射块为按预定义访问次序访问的所述多个相邻块的首先出现的仿射译码块。
20.根据权利要求17所述的装置，其中所述当前块邻近于多个相邻块，且所述一或多个处理电路经配置，以使得作为选择所述源仿射块的部分，所述一或多个处理电路：
根据多个预定义优先级集合基于预定义访问次序确定所述源仿射块为所述多个相邻块的首先出现的可用仿射译码块，其中如果仿射译码块不在所述预定义优先级集合中的一个中，那么所述仿射译码块并不被视为可用的。
21.根据权利要求20所述的装置，其中：
所述多个预定义优先级集合包含第一优先级集合和第二优先级集合，且
所述第一优先级集合和所述第二优先级集合经定义，以使得对于所述多个相邻块的每一相应相邻块：
如果所述相应相邻块具有与所述当前块的列表X参考图片相同的列表X参考图片，那么所述相应相邻块在所述第一优先级集合中，X为0或1；且
如果所述相应相邻块具有与所述当前块的所述列表X参考图片相同的列表Y参考图片，那么所述相应相邻块在所述第二优先级集合中，Y等于1-X。
22.根据权利要求20所述的装置，其中：
所述多个预定义优先级集合包含第一优先级集合和第二优先级集合，且
所述第一优先级集合和所述第二优先级集合经定义，以使得对于所述多个相邻块的每一相应相邻块：
如果所述相应相邻块具有与所述当前块的列表X参考图片不同的列表X参考图片，那么所述相应相邻块在所述第一优先级集合中，X为0或1；且
如果所述相应相邻块具有与所述当前块的所述列表X参考图片不同的列表Y参考图片，那么所述相应相邻块在所述第二优先级集合中，Y等于1-X。
23.根据权利要求20所述的装置，其中：
所述多个预定义优先级集合包含第一优先级集合和第二优先级集合，且
所述第一优先级集合和所述第二优先级集合经定义，以使得对于所述多个相邻块的每一相应相邻块：
如果所述相应相邻块在仿射帧间模式中经译码，那么所述相应相邻块在所述第一优先级集合中；且
如果所述相应相邻块在仿射合并模式中经译码，那么所述相应相邻块在所述第二优先级集合中。
24.根据权利要求17所述的装置，其中所述源仿射块为第一源仿射块，所述一或多个处理电路经进一步配置以：
选择第二源仿射块，所述第二源仿射块为在空间上与所述当前块相邻的不同仿射译码块；
外推所述第二源仿射块的控制点的运动向量以确定用于所述当前块的所述控制点的第二运动向量预测符；以及
将第二仿射MVP集合插入到所述仿射MVP集合候选列表中，所述第二仿射MVP集合包含用于所述当前块的所述控制点的所述第二运动向量预测符。
25.一种用于编码视频数据的装置，所述装置包括：
存储器，其经配置以存储所述视频数据；
以及
一或多个处理电路，其经配置以：
选择源仿射块，所述源仿射块为在空间上与当前块相邻的仿射译码块；
外推所述源仿射块的多个控制点的运动向量以确定所述当前块的多个控制点的运动向量预测符，其中，所述源仿射块的所述控制点包括位于所述源仿射块的左上方的第一控制点和位于所述源仿射块的右上方的第二控制点，并且所述源仿射块的所述第一控制点和所述第二控制点的运动矢量用于所述源仿射块的仿射预测；
将包含所述当前块的所述控制点的所述运动向量预测符的仿射运动向量预测符MVP集合插入到仿射MVP集合候选列表中；
在所述仿射MVP集合候选列表中选择仿射MVP集合；
在位流中发信指示所述当前块的所述控制点的运动向量与所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差MVD；以及
在所述位流中发信指示所述所选择仿射MVP集合在所述仿射MVP集合候选列表中的位置的索引。
26.根据权利要求25所述的装置，其中所述当前块的所述控制点包含所述当前块的第一控制点和所述当前块的第二控制点，所述一或多个处理电路经进一步配置以：
将第一运动向量预测符确定为邻近于所述当前块的所述第一控制点的块的运动向量；
将第二运动向量预测符确定为邻近于所述当前块的所述第二控制点的块的运动向量；以及
将包含所述第一运动向量预测符和所述第二运动向量预测符的仿射MVP集合插入到所述仿射MVP集合候选列表中。
27.根据权利要求25所述的装置，其中所述当前块邻近于多个相邻块，且所述一或多个处理电路经配置，以使得作为选择所述源仿射块的部分，所述一或多个处理电路：
确定所述源仿射块为按预定义访问次序访问的所述多个相邻块的首先出现的仿射译码块。
28.根据权利要求25所述的装置，其中所述当前块邻近于多个相邻块，且所述一或多个处理电路经配置，以使得作为选择所述源仿射块的部分，所述一或多个处理电路：
根据多个预定义优先级集合基于预定义访问次序确定所述源仿射块为所述多个相邻块的首先出现的可用仿射译码块，其中如果仿射译码块不在所述预定义优先级集合中的一个中，那么所述仿射译码块并不被视为可用的。
29.根据权利要求28所述的装置，其中：
所述多个预定义优先级集合包含第一优先级集合和第二优先级集合，且
所述第一优先级集合和所述第二优先级集合经定义，以使得对于所述多个相邻块的每一相应相邻块：
如果所述相应相邻块具有与所述当前块的列表X参考图片相同的列表X参考图片，那么所述相应相邻块在所述第一优先级集合中，X为0或1；且
如果所述相应相邻块具有与所述当前块的所述列表X参考图片相同的列表Y参考图片，那么所述相应相邻块在所述第二优先级集合中，Y等于1-X。
30.根据权利要求28所述的装置，其中：
所述多个预定义优先级集合包含第一优先级集合和第二优先级集合，且
所述第一优先级集合和所述第二优先级集合经定义，以使得对于所述多个相邻块的每一相应相邻块：
如果所述相应相邻块具有与所述当前块的列表X参考图片不同的列表X参考图片，那么所述相应相邻块在所述第一优先级集合中，X为0或1；且
如果所述相应相邻块具有与所述当前块的所述列表X参考图片不同的列表Y参考图片，那么所述相应相邻块在所述第二优先级集合中，Y等于1-X。
31.根据权利要求28所述的装置，其中：
所述多个预定义优先级集合包含第一优先级集合和第二优先级集合，且
所述第一优先级集合和所述第二优先级集合经定义，以使得对于所述多个相邻块的每一相应相邻块：
如果所述相应相邻块在仿射帧间模式中经译码，那么所述相应相邻块在所述第一优先级集合中；且
如果所述相应相邻块在仿射合并模式中经译码，那么所述相应相邻块在所述第二优先级集合中。
32.根据权利要求25所述的装置，其中所述源仿射块为第一源仿射块，所述一或多个处理电路经进一步配置以：
选择第二源仿射块，所述第二源仿射块为在空间上与所述当前块相邻的不同仿射译码块；
外推所述第二源仿射块的控制点的运动向量以确定用于所述当前块的所述控制点的第二运动向量预测符；以及
将第二仿射MVP集合插入到所述仿射MVP集合候选列表中，所述第二仿射MVP集合包含用于所述当前块的所述控制点的所述第二运动向量预测符。
33.一种用于解码视频数据的装置，所述装置包括：
用于选择源仿射块的装置，所述源仿射块为在空间上与当前块相邻的仿射译码块；
用于外推所述源仿射块的多个控制点的运动向量以确定所述当前块的多个控制点的运动向量预测符的装置，其中，所述源仿射块的所述控制点包括位于所述源仿射块的左上方的第一控制点和位于所述源仿射块的右上方的第二控制点，并且所述源仿射块的所述第一控制点和所述第二控制点的运动矢量用于所述源仿射块的仿射预测；
用于将包含所述当前块的所述控制点的所述运动向量预测符的仿射运动向量预测符MVP集合插入到仿射MVP集合候选列表中的装置；
用于基于在位流中发信的索引确定所述仿射MVP集合候选列表中的所选择仿射MVP集合的装置；
用于从所述位流获得指示所述当前块的所述控制点的运动向量与所述所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差MVD的装置；
用于基于包含于所述所选择仿射MVP集合中的所述运动向量预测符和所述MVD确定所述当前块的所述控制点的运动向量的装置；
用于基于所述当前块的所述控制点的所述运动向量产生预测性块的装置；
以及
用于基于残余数据和所述预测性块重构所述当前块的装置。
34.一种用于编码视频数据的装置，所述装置包括：
用于选择源仿射块的装置，所述源仿射块为在空间上与当前块相邻的仿射译码块；
用于外推所述源仿射块的多个控制点的运动向量以确定所述当前块的多个控制点的运动向量预测符的装置，其中，所述源仿射块的所述控制点包括位于所述源仿射块的左上方的第一控制点和位于所述源仿射块的右上方的第二控制点，并且所述源仿射块的所述第一控制点和所述第二控制点的运动矢量用于所述源仿射块的仿射预测；
用于将包含所述当前块的所述控制点的所述运动向量预测符的仿射运动向量预测符MVP集合插入到仿射MVP集合候选列表中的装置；
用于在所述仿射MVP集合候选列表中选择仿射MVP集合的装置；
用于在位流中发信指示所述当前块的所述控制点的运动向量与所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差MVD的装置；
以及
用于在所述位流中发信指示所述所选择仿射MVP集合在所述仿射MVP集合候选列表中的位置的索引的装置。
35.一种存储指令的计算机可读存储媒体，所述指令在经执行时使得用于视频解码的装置的一或多个处理电路：
选择源仿射块，所述源仿射块为在空间上与当前块相邻的仿射译码块；
外推所述源仿射块的多个控制点的运动向量以确定所述当前块的多个控制点的运动向量预测符，其中，所述源仿射块的所述控制点包括位于所述源仿射块的左上方的第一控制点和位于所述源仿射块的右上方的第二控制点，并且所述源仿射块的所述第一控制点和所述第二控制点的运动矢量用于所述源仿射块的仿射预测；
将包含所述当前块的所述控制点的所述运动向量预测符的仿射运动向量预测符MVP集合插入到仿射MVP集合候选列表中；
基于在位流中发信的索引确定所述仿射MVP集合候选列表中的所选择仿射MVP集合；
从所述位流获得指示所述当前块的所述控制点的运动向量与所述所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差MVD；
基于包含于所述所选择仿射MVP集合中的所述运动向量预测符和所述MVD确定所述当前块的所述控制点的运动向量；
基于所述当前块的所述控制点的所述运动向量产生预测性块；以及
基于残余数据和所述预测性块重构所述当前块。
36.一种存储指令的计算机可读存储媒体，所述指令在经执行时使得用于编码视频数据的装置的一或多个处理电路：
选择源仿射块，所述源仿射块为在空间上与当前块相邻的仿射译码块；
外推所述源仿射块的多个控制点的运动向量以确定所述当前块的多个控制点的运动向量预测符，其中，所述源仿射块的所述控制点包括位于所述源仿射块的左上方的第一控制点和位于所述源仿射块的右上方的第二控制点，并且所述源仿射块的所述第一控制点和所述第二控制点的运动矢量用于所述源仿射块的仿射预测；
将包含所述当前块的所述控制点的所述运动向量预测符的仿射运动向量预测符MVP集合插入到仿射MVP集合候选列表中；
在所述仿射MVP集合候选列表中选择仿射MVP集合；
在位流中发信指示所述当前块的所述控制点的运动向量与所选择仿射MVP集合中的运动向量预测符之间的差的运动向量差MVD；以及
在所述位流中发信指示所述所选择仿射MVP集合在所述仿射MVP集合候选列表中的位置的索引。
CN201780060495.9A 2016-10-05 2017-10-05 一种解码和编码视频数据的方法及装置 Active CN109792533B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662404719P 2016-10-05 2016-10-05
US62/404,719 2016-10-05
US15/725,052 US10448010B2 (en) 2016-10-05 2017-10-04 Motion vector prediction for affine motion models in video coding
US15/725,052 2017-10-04
PCT/US2017/055350 WO2018067823A1 (en) 2016-10-05 2017-10-05 Motion vector prediction for affine motion models in video coding

Publications (2)

Publication Number Publication Date
CN109792533A CN109792533A (zh) 2019-05-21
CN109792533B true CN109792533B (zh) 2023-08-15

Family

ID=61757401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780060495.9A Active CN109792533B (zh) 2016-10-05 2017-10-05 一种解码和编码视频数据的方法及装置

Country Status (17)

Country Link
US (2) US10448010B2 (zh)
EP (2) EP3523972B1 (zh)
JP (1) JP6817425B2 (zh)
KR (1) KR102147614B1 (zh)
CN (1) CN109792533B (zh)
AU (1) AU2017340631B2 (zh)
BR (1) BR112019006838A2 (zh)
CA (1) CA3035587C (zh)
ES (1) ES2841312T3 (zh)
HU (1) HUE051174T2 (zh)
MX (1) MX2019003762A (zh)
MY (1) MY200181A (zh)
PH (1) PH12019500417A1 (zh)
RU (1) RU2718225C1 (zh)
SG (1) SG11201901632QA (zh)
TW (1) TWI696384B (zh)
WO (1) WO2018067823A1 (zh)

Families Citing this family (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
EP3432578A4 (en) * 2016-03-24 2019-11-20 LG Electronics Inc. METHOD AND APPARATUS FOR INTER-PREDICTION IN A VIDEO CODING SYSTEM
EP3456058A1 (en) * 2016-05-13 2019-03-20 VID SCALE, Inc. Bit depth remapping based on viewing parameters
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
EP4336850A3 (en) 2016-07-08 2024-04-17 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
JP6895247B2 (ja) * 2016-10-06 2021-06-30 日本放送協会 符号化装置、復号装置及びプログラム
CN109804630A (zh) * 2016-10-10 2019-05-24 夏普株式会社 对视频数据编码执行运动补偿的系统以及方法
CN110301136B (zh) 2017-02-17 2023-03-24 交互数字麦迪逊专利控股公司 在流传输视频中进行选择性感兴趣对象缩放的系统和方法
KR102628139B1 (ko) 2017-03-07 2024-01-22 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍
EP3616406B1 (en) * 2017-05-18 2024-03-20 HFI Innovation Inc. Method and apparatus of motion vector constraint for video coding
US11245921B2 (en) * 2017-06-26 2022-02-08 Interdigital Vc Holdings, Inc. Multiple predictor candidates for motion compensation
US11089317B2 (en) * 2017-08-03 2021-08-10 Lg Electronics Inc. Method and apparatus for processing video signal using affine prediction
CN109391814B (zh) * 2017-08-11 2023-06-06 华为技术有限公司 视频图像编码和解码的方法、装置及设备
US11082721B2 (en) * 2017-09-07 2021-08-03 Lg Electronics Inc. Method and apparatus for entropy-encoding and entropy-decoding video signal
US10609384B2 (en) * 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
US10856003B2 (en) 2017-10-03 2020-12-01 Qualcomm Incorporated Coding affine prediction motion information for video coding
EP3468195A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Improved predictor candidates for motion compensation
US11877001B2 (en) 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
CN109922336B (zh) * 2017-12-12 2023-07-18 华为技术有限公司 视频数据的帧间预测方法和装置
US20190208211A1 (en) 2018-01-04 2019-07-04 Qualcomm Incorporated Generated affine motion vectors
US11172229B2 (en) 2018-01-12 2021-11-09 Qualcomm Incorporated Affine motion compensation with low bandwidth
CN118042151A (zh) 2018-01-25 2024-05-14 三星电子株式会社 使用基于子块的运动补偿进行视频信号处理的方法和装置
CN111837385B (zh) 2018-01-29 2024-04-30 交互数字Vc控股公司 利用重构画面的细化进行编码和解码
KR102568879B1 (ko) * 2018-04-01 2023-08-21 엘지전자 주식회사 어파인 움직임 예측에 기반한 영상 코딩 방법 및 그 장치
CN112106369A (zh) * 2018-04-06 2020-12-18 艾锐势有限责任公司 减少双向时间预测中的运动矢量信息传输
KR102610110B1 (ko) * 2018-04-13 2023-12-06 엘지전자 주식회사 비디오 처리 시스템에서 인터 예측 방법 및 장치
WO2019203504A1 (ko) * 2018-04-15 2019-10-24 엘지전자 주식회사 비디오 처리 시스템에서 움직임 정보에 대한 저장 공간을 감소시키는 방법 및 장치
SI3780617T1 (sl) * 2018-04-24 2023-11-30 Lg Electronics Inc. Postopek in naprava za notranje napovedovanje v sistemu za kodiranje videa
US11451816B2 (en) * 2018-04-24 2022-09-20 Mediatek Inc. Storage of motion vectors for affine prediction
JP2021502771A (ja) * 2018-05-03 2021-01-28 エルジー エレクトロニクス インコーポレイティド 画像コーディングシステムにおいてブロックサイズに応じた変換を使用する画像デコード方法およびその装置
WO2019225994A1 (ko) * 2018-05-24 2019-11-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3794822A4 (en) * 2018-05-25 2022-09-28 HFI Innovation Inc. METHOD AND APPARATUS FOR DERIVING AFFINE MODE MOTION VECTOR PREDICTION FOR A VIDEO CODING SYSTEM
WO2019235822A1 (ko) * 2018-06-04 2019-12-12 엘지전자 주식회사 어파인 움직임 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
KR20210016581A (ko) 2018-06-05 2021-02-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Ibc 및 atmvp 간의 상호 작용
EP3806461A4 (en) * 2018-06-07 2022-03-16 Wilus Institute of Standards and Technology Inc. VIDEO SIGNAL PROCESSING METHOD AND APPARATUS USING ADAPTIVE MOTION VECTOR RESOLUTION
KR20230125338A (ko) * 2018-06-18 2023-08-29 엘지전자 주식회사 어파인 모션 예측을 사용하여 비디오 신호를 처리하기위한 방법 및 장치
TWI723430B (zh) 2018-06-19 2021-04-01 大陸商北京字節跳動網絡技術有限公司 不同精度的多個候選
CN112385210B (zh) * 2018-06-20 2023-10-20 寰发股份有限公司 用于视频编解码的帧间预测的方法及装置
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
EP3788782A1 (en) 2018-06-21 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Sub-block mv inheritance between color components
EP3815373A1 (en) 2018-06-29 2021-05-05 InterDigital VC Holdings, Inc. Virtual temporal affine candidates
BR112020024202A2 (pt) 2018-06-29 2021-02-17 Beijing Bytedance Network Technology Co., Ltd. método de processamento de dados de vídeo, aparelho de processamento de vídeo e meios de armazenamento e gravação legíveis por computador não transitório
GB2588531B (en) 2018-06-29 2023-02-01 Beijing Bytedance Network Tech Co Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
BR112020024162A2 (pt) * 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método de processamento de vídeo e aparelho para processar dados de vídeo, meios de armazenamento e de gravação legíveis por computador não transitórios, método para armazenar uma representação de fluxo de bits de um vídeo
CN110662064B (zh) 2018-06-29 2022-06-14 北京字节跳动网络技术有限公司 Lut中的运动候选的检查顺序
CN110662054B (zh) 2018-06-29 2023-01-06 北京字节跳动网络技术有限公司 用于视频处理的方法、装置、计算机可读存储介质
WO2020003269A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Selection of coded motion information for lut updating
CN110662052B (zh) 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
WO2020003282A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Managing motion vector predictors for video coding
CN112369035A (zh) * 2018-06-30 2021-02-12 金起佰 图像编码/解码方法和设备
JP7395518B2 (ja) * 2018-06-30 2023-12-11 オッポ広東移動通信有限公司 マージモードに基づくインター予測方法及び装置
KR20240008952A (ko) 2018-07-02 2024-01-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측 모드들을 갖는 lut들 및 비인접 블록들로부터의 인트라 모드 예측
KR20230165377A (ko) * 2018-07-02 2023-12-05 엘지전자 주식회사 어파인 예측을 이용하여 비디오 신호를 처리하기 위한 방법 및 장치
WO2020009446A1 (ko) * 2018-07-02 2020-01-09 엘지전자 주식회사 어파인 예측을 이용하여 비디오 신호를 처리하기 위한 방법 및 장치
BR112020026992A2 (pt) 2018-07-02 2021-04-06 Huawei Technologies Co., Ltd. Método de predição de vetor de movimento e aparelho relacionado
US11051025B2 (en) * 2018-07-13 2021-06-29 Tencent America LLC Method and apparatus for video coding
WO2020013569A1 (ko) * 2018-07-13 2020-01-16 엘지전자 주식회사 영상 코딩 시스템에서 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
US10715812B2 (en) * 2018-07-13 2020-07-14 Tencent America LLC Method and apparatus for video coding
US10805624B2 (en) * 2018-07-16 2020-10-13 Tencent America LLC Determination of parameters of an affine model
KR102545728B1 (ko) * 2018-07-16 2023-06-20 엘지전자 주식회사 서브블록 단위의 시간적 움직임 정보 예측을 위한 인터 예측 방법 및 그 장치
MX2021000615A (es) 2018-07-17 2021-07-02 Huawei Tech Co Ltd Señalización de modelos de movimiento.
WO2020024966A1 (en) * 2018-07-31 2020-02-06 Mediatek Inc. Method and apparatus of merge with motion vector difference for video coding
US11057617B2 (en) * 2018-08-03 2021-07-06 Tencent America LLC Method and apparatus for video coding
US10827195B2 (en) * 2018-08-03 2020-11-03 Tencent America LLC Method and apparatus for unifying adjacent merge candidates and non-adjacent merge candidates
CN110809155B (zh) 2018-08-04 2023-01-31 北京字节跳动网络技术有限公司 视频处理方法、装置和计算机可读介质
ES2949795T3 (es) * 2018-08-06 2023-10-03 Lg Electronics Inc Método y dispositivo de decodificación de imágenes basado en la predicción de movimiento afín usando un candidato de MVP afín construido en el sistema de codificación de imágenes
WO2020032609A1 (ko) * 2018-08-09 2020-02-13 엘지전자 주식회사 영상 코딩 시스템에서 어파인 머지 후보 리스트를 사용하는 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
US11140398B2 (en) * 2018-08-20 2021-10-05 Mediatek Inc. Methods and apparatus for generating affine candidates
CN117499671A (zh) * 2018-08-27 2024-02-02 华为技术有限公司 一种视频图像预测方法及装置
US10944984B2 (en) * 2018-08-28 2021-03-09 Qualcomm Incorporated Affine motion prediction
CN112004098B (zh) * 2018-08-28 2021-06-29 华为技术有限公司 候选运动信息列表的构建方法、帧间预测方法及装置
TWI729483B (zh) * 2018-09-04 2021-06-01 聯發科技股份有限公司 視訊編解碼系統的運動向量湊整統一的方法以及裝置
CN116647695A (zh) * 2018-09-06 2023-08-25 Lg电子株式会社 图像解码设备、图像编码设备和数据发送设备
TW202017377A (zh) 2018-09-08 2020-05-01 大陸商北京字節跳動網絡技術有限公司 視頻編碼和解碼中的仿射模式
CN110891176B (zh) * 2018-09-10 2023-01-13 华为技术有限公司 基于仿射运动模型的运动矢量预测方法及设备
KR102510771B1 (ko) * 2018-09-10 2023-03-16 엘지전자 주식회사 영상 코딩 시스템에서 어파인 mvp 후보 리스트를 사용하는 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
KR102568878B1 (ko) 2018-09-12 2023-08-21 엘지전자 주식회사 영상 코딩 시스템에서 서브 블록 단위의 움직임 예측에 기반한 영상 디코딩 방법 및 장치
GB2590310B (en) 2018-09-12 2023-03-22 Beijing Bytedance Network Tech Co Ltd Conditions for starting checking HMVP candidates depend on total number minus K
EP3850849A1 (en) 2018-09-13 2021-07-21 InterDigital VC Holdings, Inc. Improved virtual temporal affine candidates
EP3827586A1 (en) * 2018-09-19 2021-06-02 Beijing Bytedance Network Technology Co. Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
GB2577318B (en) * 2018-09-21 2021-03-10 Canon Kk Video coding and decoding
US11647203B2 (en) * 2018-09-21 2023-05-09 Lg Electronics Inc. Method and apparatus for deriving motion vector
US11595639B2 (en) 2018-09-21 2023-02-28 Lg Electronics Inc. Method and apparatus for processing video signals using affine prediction
US11706442B2 (en) * 2018-09-21 2023-07-18 Lg Electronics Inc. Process and apparatus for controlling compressed motion vectors
EP3840376B1 (en) 2018-09-21 2023-07-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image signal encoding/decoding method and device therefor
CN113016186A (zh) * 2018-09-21 2021-06-22 Vid拓展公司 用于基于仿射模型的视频译码的仿射运动估计
US11039157B2 (en) * 2018-09-21 2021-06-15 Tencent America LLC Techniques for simplified affine motion model coding with prediction offsets
GB2579763B (en) * 2018-09-21 2021-06-09 Canon Kk Video coding and decoding
US11375202B2 (en) * 2018-09-21 2022-06-28 Interdigital Vc Holdings, Inc. Translational and affine candidates in a unified list
US11212550B2 (en) * 2018-09-21 2021-12-28 Qualcomm Incorporated History-based motion vector prediction for affine mode
CN110944181B (zh) 2018-09-23 2023-03-10 北京字节跳动网络技术有限公司 仿射模型的多个假设
CN110944189B (zh) 2018-09-23 2023-11-28 北京字节跳动网络技术有限公司 从仿射运动预测的非仿射块
CN110944182B (zh) * 2018-09-23 2023-06-09 北京字节跳动网络技术有限公司 仿射模式中的子块的运动矢量推导
TWI822862B (zh) 2018-09-23 2023-11-21 大陸商北京字節跳動網絡技術有限公司 8參數仿射模型
TWI818086B (zh) 2018-09-24 2023-10-11 大陸商北京字節跳動網絡技術有限公司 擴展Merge預測
US11277628B2 (en) * 2018-09-24 2022-03-15 Qualcomm Incorporated Restrictions for the worst-case bandwidth reduction in video coding
US11582480B2 (en) 2018-09-25 2023-02-14 Digitalinsights Inc. Method and device for encoding or decoding image on basis of inter mode
WO2020065569A1 (en) * 2018-09-26 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Mode dependent affine inheritance
WO2020067835A1 (ko) * 2018-09-28 2020-04-02 엘지전자 주식회사 어파인 예측을 이용하여 비디오 신호를 처리하기 위한 방법 및 장치
WO2020071672A1 (ko) * 2018-10-02 2020-04-09 엘지전자 주식회사 움직임 벡터를 압축하는 방법 및 그 장치
CN116708821A (zh) 2018-10-02 2023-09-05 Lg电子株式会社 图像编解码方法、存储介质和数据发送方法
US10999589B2 (en) * 2018-10-04 2021-05-04 Tencent America LLC Method and apparatus for video coding
CN111010569B (zh) 2018-10-06 2023-02-28 北京字节跳动网络技术有限公司 Bio中的时间梯度计算的改善
WO2020075053A1 (en) * 2018-10-08 2020-04-16 Beijing Bytedance Network Technology Co., Ltd. Generation and usage of combined affine merge candidate
MX2021004008A (es) * 2018-10-08 2021-06-23 Lg Electronics Inc Método de diseño de sintaxis y aparato para realizar codificación usando sintaxis.
GB2595053B (en) 2018-10-18 2022-07-06 Canon Kk Video coding and decoding
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
CN111083487B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 仿射模式的运动信息的存储
CN111357291A (zh) * 2018-10-23 2020-06-30 北京字节跳动网络技术有限公司 从相邻块推导运动信息
WO2020084556A1 (en) * 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block motion candidate list in video coding
CN112219400B (zh) * 2018-11-06 2024-03-26 北京字节跳动网络技术有限公司 依赖位置的对运动信息的存储
US11212521B2 (en) * 2018-11-07 2021-12-28 Avago Technologies International Sales Pte. Limited Control of memory bandwidth consumption of affine mode in versatile video coding
CN116886926A (zh) 2018-11-10 2023-10-13 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
EP3857879A4 (en) 2018-11-12 2022-03-16 Beijing Bytedance Network Technology Co., Ltd. SIMPLIFICATION OF COMBINED INTER-INTRA PREDICTION
CN112970258B (zh) * 2018-11-13 2023-08-18 北京字节跳动网络技术有限公司 用于子块预测块的多假设
CN113273208A (zh) * 2018-11-14 2021-08-17 北京字节跳动网络技术有限公司 仿射预测模式的改进
CN113170192B (zh) * 2018-11-15 2023-12-01 北京字节跳动网络技术有限公司 仿射的merge与mvd
CN113039800B (zh) 2018-11-16 2024-05-10 北京字节跳动网络技术有限公司 用于基于历史的仿射参数的修剪方法
WO2020098811A1 (en) 2018-11-17 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Generalized bi directional prediction mode in video processing
WO2020103852A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Difference calculation based on patial position
WO2020103934A1 (en) * 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Construction method for inter prediction with geometry partition
WO2020109234A2 (en) * 2018-11-26 2020-06-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Inter-prediction concept using tile-independency constraints
CN113170174B (zh) * 2018-11-30 2024-04-12 寰发股份有限公司 视频编码系统中用于决定储存用运动向量的视频处理方法和装置
WO2020114517A1 (en) * 2018-12-08 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Shifting on affine parameters
CN113273205A (zh) 2018-12-21 2021-08-17 北京字节跳动网络技术有限公司 使用更高比特深度精度的运动矢量推导
CN113196773B (zh) * 2018-12-21 2024-03-08 北京字节跳动网络技术有限公司 具有运动矢量差的Merge模式中的运动矢量精度
CN111355961B (zh) 2018-12-24 2023-11-03 华为技术有限公司 一种帧间预测的方法和装置
US11463723B2 (en) * 2018-12-26 2022-10-04 Apple Inc. Method for encoding/decoding image signal and device therefor
RU2770863C1 (ru) 2018-12-28 2022-04-22 ДжейВиСиКЕНВУД Корпорейшн Устройство кодирования кадров, способ кодирования кадров, устройство декодирования кадров и способ декодирования кадров
US11102476B2 (en) * 2018-12-28 2021-08-24 Qualcomm Incorporated Subblock based affine motion model
JP7288964B2 (ja) * 2018-12-28 2023-06-08 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 動きベクトル予測因子リストを生成すること
US11503278B2 (en) * 2018-12-28 2022-11-15 Jvckenwood Corporation Device for deriving affine merge candidate
US11758125B2 (en) 2019-01-02 2023-09-12 Lg Electronics Inc. Device and method for processing video signal by using inter prediction
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Ｌｕｔ更新の起動
WO2020143772A1 (en) * 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Affine based merge with mvd
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
US10904553B2 (en) * 2019-01-22 2021-01-26 Tencent America LLC Method and apparatus for video coding
US11202089B2 (en) * 2019-01-28 2021-12-14 Tencent America LLC Method and apparatus for determining an inherited affine parameter from an affine model
EP3895429A4 (en) 2019-01-31 2022-08-10 Beijing Bytedance Network Technology Co., Ltd. CONTEXT FOR CODE AN ADAPTIVE MOTION VECTOR RESOLUTION IN AFFINE MODE
US11089325B2 (en) * 2019-02-08 2021-08-10 Qualcomm Incorporated Constrained affine motion inheritance for video coding
CN113491125A (zh) 2019-02-22 2021-10-08 北京字节跳动网络技术有限公司 基于历史的仿射模式子表
US11134262B2 (en) * 2019-02-28 2021-09-28 Tencent America LLC Method and apparatus for video coding
KR102635518B1 (ko) * 2019-03-06 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 변환된 단예측 후보의 사용
US11166015B2 (en) * 2019-03-06 2021-11-02 Tencent America LLC Method and apparatus for video coding
WO2020185429A1 (en) * 2019-03-11 2020-09-17 Alibaba Group Holding Limited Method, device, and system for determining prediction weight for merge mode
CN111698515B (zh) * 2019-03-14 2023-02-14 华为技术有限公司 帧间预测的方法及相关装置
US11343525B2 (en) 2019-03-19 2022-05-24 Tencent America LLC Method and apparatus for video coding by constraining sub-block motion vectors and determining adjustment values based on constrained sub-block motion vectors
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
CN113647108A (zh) 2019-03-27 2021-11-12 北京字节跳动网络技术有限公司 基于历史的运动矢量预测
CN113661709A (zh) * 2019-03-27 2021-11-16 北京字节跳动网络技术有限公司 仿射高级运动矢量预测中的运动信息精度对齐
KR20230165888A (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 양방향 광학 흐름 기반 비디오 코딩 및 디코딩
US11134257B2 (en) * 2019-04-04 2021-09-28 Tencent America LLC Simplified signaling method for affine linear weighted intra prediction mode
WO2020211867A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Delta motion vector in prediction refinement with optical flow process
WO2020211866A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
EP3957072A4 (en) 2019-04-19 2023-01-11 Beijing Dajia Internet Information Technology Co., Ltd. VIDEO CODING METHODS AND APPARATUS USING OPTICAL FLOW PREDICTION REFINEMENT
JP7319386B2 (ja) 2019-04-19 2023-08-01 北京字節跳動網絡技術有限公司 異なる動きベクトル微調整における勾配計算
CN113785579B (zh) 2019-04-25 2023-10-20 北京字节跳动网络技术有限公司 对运动矢量差的约束
WO2020219965A1 (en) * 2019-04-25 2020-10-29 Op Solutions, Llc Efficient coding of global motion vectors
US11432004B2 (en) 2019-04-25 2022-08-30 Hfi Innovation Inc. Method and apparatus of constraining merge flag signaling in video coding
KR20220002991A (ko) * 2019-04-25 2022-01-07 오피 솔루션즈, 엘엘씨 글로벌 모션을 갖는 프레임들에서의 적응적 모션 벡터 예측 후보들
KR20210152567A (ko) * 2019-04-25 2021-12-15 오피 솔루션즈, 엘엘씨 픽처 헤더 내의 글로벌 모션 벡터의 시그널링
CN113767637B (zh) 2019-04-28 2023-09-22 北京字节跳动网络技术有限公司 对称运动矢量差编解码
WO2020231144A1 (ko) * 2019-05-12 2020-11-19 엘지전자 주식회사 어파인 tmvp를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020233513A1 (en) * 2019-05-17 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Motion information determination and storage for video processing
WO2020233660A1 (en) * 2019-05-21 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Syntax-based motion candidate derivation in sub-block merge mode
CN111988625A (zh) * 2019-05-23 2020-11-24 腾讯美国有限责任公司 视频解码方法和装置以及计算机设备和存储介质
CN114175658A (zh) * 2019-05-26 2022-03-11 北京达佳互联信息技术有限公司 用于改进视频编解码中的运动估计的方法和装置
JP7346599B2 (ja) 2019-06-04 2023-09-19 北京字節跳動網絡技術有限公司 ビデオ・データ処理方法、装置、記憶媒体及び記憶方法
WO2020244569A1 (en) 2019-06-04 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Conditional implementation of motion candidate list construction process
CN117354507A (zh) * 2019-06-06 2024-01-05 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
KR20220023338A (ko) 2019-06-25 2022-03-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 모션 벡터 차이에 대한 제약
CN114073080A (zh) * 2019-06-26 2022-02-18 三星电子株式会社 通过考虑编码顺序来执行基于仿射模型的预测的视频编码方法及其装置以及通过考虑解码顺序来执行基于仿射模型的预测的视频解码方法及其装置
EP3996372A4 (en) * 2019-07-05 2023-06-28 LG Electronics Inc. Video encoding/decoding method and device for deriving weight index for bidirectional prediction of merge candidate, and method for transmitting bitstream
CN114128295B (zh) 2019-07-14 2024-04-12 北京字节跳动网络技术有限公司 视频编解码中几何分割模式候选列表的构建
CN112333450B (zh) * 2019-08-05 2023-07-14 腾讯美国有限责任公司 一种视频编解码的方法和装置
KR20220049520A (ko) 2019-08-23 2022-04-21 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 코딩 블록 또는 서브블록 경계에서의 디블로킹 필터링
WO2021056220A1 (zh) * 2019-09-24 2021-04-01 北京大学 视频编解码的方法与装置
CN114450959A (zh) 2019-09-28 2022-05-06 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
US11936877B2 (en) * 2021-04-12 2024-03-19 Qualcomm Incorporated Template matching based affine prediction for video coding
KR20240066273A (ko) * 2021-09-24 2024-05-14 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서 어파인 병합 모드에 대한 후보 도출
US11936903B2 (en) 2022-04-19 2024-03-19 Tencent America LLC Bilateral matching based scaling factor derivation for JMVD
US20230396797A1 (en) * 2022-06-06 2023-12-07 Tencent America LLC Translational motion vector coding in affine mode
US20240089487A1 (en) * 2022-09-09 2024-03-14 Tencent America LLC Systems and methods for subblock motion vector coding

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009096721A2 (en) * 2008-01-29 2009-08-06 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation
GB201018251D0 (en) * 2010-10-29 2010-12-15 Canon Kk Improved reference frame for video encoding and decoding
CN103430540A (zh) * 2011-03-08 2013-12-04 高通股份有限公司 在视频译码中用于双向预测帧间模式的运动向量预测符(mvp)
CN103477635A (zh) * 2010-10-08 2013-12-25 弗兰霍菲尔运输应用研究公司 支持块分割及块合并的图像编码技术
CN103843347A (zh) * 2011-10-04 2014-06-04 高通股份有限公司 用于视频译码的运动向量预测值候选剪裁移除
CN104053001A (zh) * 2013-03-15 2014-09-17 三星电子株式会社 对视频进行稳定化的方法和包括后处理电路的视频解码器
CN104365103A (zh) * 2012-06-15 2015-02-18 高通股份有限公司 视频译码中的视差向量选择
CN104662909A (zh) * 2012-09-13 2015-05-27 高通股份有限公司 用于3d视频的视图间运动预测
WO2016065873A1 (zh) * 2014-10-27 2016-05-06 华为技术有限公司 图像预测方法及相关装置
US9438910B1 (en) * 2014-03-11 2016-09-06 Google Inc. Affine motion prediction in video coding

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6990248B2 (en) * 1996-05-09 2006-01-24 Koninklijke Philips Electronics N.V. Segmented video coding and decoding method and system
GB2317525B (en) * 1996-09-20 2000-11-08 Nokia Mobile Phones Ltd A video coding system
EP2352298A1 (en) * 1997-02-13 2011-08-03 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
WO1998042134A1 (en) 1997-03-17 1998-09-24 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
US6285804B1 (en) * 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
US6735249B1 (en) * 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
US6738423B1 (en) 2000-01-21 2004-05-18 Nokia Mobile Phones Ltd. Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
US6711211B1 (en) 2000-05-08 2004-03-23 Nokia Mobile Phones Ltd. Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
KR100359115B1 (ko) 2000-05-24 2002-11-04 삼성전자 주식회사 영상 코딩 방법
EP1830578A1 (en) * 2002-01-18 2007-09-05 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
EP1800238A4 (en) 2004-09-21 2012-01-25 Euclid Discoveries Llc APPARATUS AND METHOD FOR PROCESSING VIDEO DATA
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
US8665958B2 (en) * 2008-01-29 2014-03-04 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation
US8363721B2 (en) * 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
WO2011013253A1 (ja) 2009-07-31 2011-02-03 株式会社 東芝 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置
JP2011130327A (ja) * 2009-12-21 2011-06-30 Sony Corp 画像処理装置および方法、並びにプログラム
WO2011128259A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A video decoder and a video encoder using motion-compensated prediction
US9807424B2 (en) 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
US9282338B2 (en) * 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
US9883203B2 (en) 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
CN104704819B (zh) * 2012-10-03 2016-12-21 联发科技股份有限公司 3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置
WO2014078068A1 (en) * 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
US9854168B2 (en) * 2014-03-07 2017-12-26 Futurewei Technologies, Inc. One-pass video stabilization
KR101863487B1 (ko) * 2014-05-06 2018-05-31 에이치에프아이 이노베이션 인크. 인트라 블록 카피 모드 부호화를 위한 블록 벡터 예측 방법
WO2016008157A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
KR20220162877A (ko) * 2014-10-31 2022-12-08 삼성전자주식회사 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법
RU2671307C1 (ru) * 2015-03-10 2018-10-30 Хуавэй Текнолоджиз Ко., Лтд. Способ предсказания изображений и связанное устройство
US10728571B2 (en) * 2015-08-04 2020-07-28 Lg Electronics Inc. Inter prediction method and device in video coding system
CN114866770A (zh) * 2015-08-07 2022-08-05 Lg 电子株式会社 视频编译系统中的帧间预测方法和装置
JP6559337B2 (ja) * 2015-09-23 2019-08-14 ノキア テクノロジーズ オーユー ３６０度パノラマビデオの符号化方法、符号化装置、及びコンピュータプログラム
EP3355578B1 (en) * 2015-09-24 2020-12-09 LG Electronics Inc. Motion vector predictor derivation and candidate list construction
KR102469145B1 (ko) 2015-10-13 2022-11-21 삼성전자주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
WO2017087751A1 (en) 2015-11-20 2017-05-26 Mediatek Inc. Method and apparatus for global motion compensation in video coding system
US10798403B2 (en) * 2016-01-29 2020-10-06 Sharp Kabushiki Kaisha Prediction image generation device, video decoding device, and video coding device
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
WO2017201678A1 (zh) * 2016-05-24 2017-11-30 华为技术有限公司 图像预测方法和相关设备
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009096721A2 (en) * 2008-01-29 2009-08-06 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation
CN103477635A (zh) * 2010-10-08 2013-12-25 弗兰霍菲尔运输应用研究公司 支持块分割及块合并的图像编码技术
GB201018251D0 (en) * 2010-10-29 2010-12-15 Canon Kk Improved reference frame for video encoding and decoding
CN103430540A (zh) * 2011-03-08 2013-12-04 高通股份有限公司 在视频译码中用于双向预测帧间模式的运动向量预测符(mvp)
CN103843347A (zh) * 2011-10-04 2014-06-04 高通股份有限公司 用于视频译码的运动向量预测值候选剪裁移除
CN104365103A (zh) * 2012-06-15 2015-02-18 高通股份有限公司 视频译码中的视差向量选择
CN104662909A (zh) * 2012-09-13 2015-05-27 高通股份有限公司 用于3d视频的视图间运动预测
CN104053001A (zh) * 2013-03-15 2014-09-17 三星电子株式会社 对视频进行稳定化的方法和包括后处理电路的视频解码器
US9438910B1 (en) * 2014-03-11 2016-09-06 Google Inc. Affine motion prediction in video coding
WO2016065873A1 (zh) * 2014-10-27 2016-05-06 华为技术有限公司 图像预测方法及相关装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《多视角分布式视频编码中边信息生成技术研究》;黄碧波;《中国优秀硕士学位论文全文数据库》;全文 *

Also Published As

Publication number Publication date
CA3035587C (en) 2022-07-19
EP3758378A1 (en) 2020-12-30
EP3758378B1 (en) 2022-03-09
RU2718225C1 (ru) 2020-03-31
BR112019006838A2 (pt) 2019-06-25
US11082687B2 (en) 2021-08-03
TW201817237A (zh) 2018-05-01
JP2019535192A (ja) 2019-12-05
SG11201901632QA (en) 2019-04-29
JP6817425B2 (ja) 2021-01-20
CA3035587A1 (en) 2018-04-12
MX2019003762A (es) 2019-08-12
US10448010B2 (en) 2019-10-15
AU2017340631A1 (en) 2019-03-14
PH12019500417A1 (en) 2019-06-03
HUE051174T2 (hu) 2021-03-01
AU2017340631B2 (en) 2020-11-19
US20180098063A1 (en) 2018-04-05
KR102147614B1 (ko) 2020-08-24
TWI696384B (zh) 2020-06-11
ES2841312T3 (es) 2021-07-08
CN109792533A (zh) 2019-05-21
WO2018067823A1 (en) 2018-04-12
US20200045310A1 (en) 2020-02-06
EP3523972A1 (en) 2019-08-14
EP3523972B1 (en) 2020-09-30
KR20190058503A (ko) 2019-05-29
MY200181A (en) 2023-12-12

Similar Documents

Publication Publication Date Title
CN109792533B (zh) 一种解码和编码视频数据的方法及装置
CN110024403B (zh) 一种编解码视频数据的方法、装置和计算机可读存储媒体
US11889100B2 (en) Affine motion vector prediction in video coding
US11425387B2 (en) Simplified local illumination compensation
US20190208211A1 (en) Generated affine motion vectors
US10542280B2 (en) Encoding optimization with illumination compensation and integer motion vector restriction
US9693077B2 (en) Controlling sub prediction unit (sub-PU) motion parameter inheritance (MPI) in three dimensional (3D) HEVC or other 3D coding
CN111164977B (zh) 视频译码中的仿射预测
CN111164977A (zh) 视频译码中的仿射预测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40002798

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant