CN117981302A - 局部扭曲运动预测模式的改进 - Google Patents

局部扭曲运动预测模式的改进 Download PDF

Info

Publication number
CN117981302A
CN117981302A CN202280064807.4A CN202280064807A CN117981302A CN 117981302 A CN117981302 A CN 117981302A CN 202280064807 A CN202280064807 A CN 202280064807A CN 117981302 A CN117981302 A CN 117981302A
Authority
CN
China
Prior art keywords
reference picture
picture list
warp
current block
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280064807.4A
Other languages
English (en)
Inventor
高晗
赵欣
赵亮
马杜·柏林加色·克里什南
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN117981302A publication Critical patent/CN117981302A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于编码/解码视频数据的方法，由至少一个处理器执行，包括：获取视频数据；将所述视频数据解析成块，其中，所述块与参考图像列表相关联；基于当前块和与当前块相邻的块的运动矢量，生成用于包括在参考图像列表中的当前块的第一参考图像列表和第二参考图像列表的扭曲模型；通过将所述扭曲模型应用于所述第一参考图像列表和所述第二参考图像列表中的帧来解码所述帧。

Description

局部扭曲运动预测模式的改进
相关申请的交叉引用
本申请基于2022年7月6日提交的美国临时专利申请第63/358,735号以及2022年11月9日提交的美国专利申请第17/983,975号并要求其优先权权益，其全部内容通过引用并入本文中。
技术领域
本公开整体上涉及高级图像和视频编码技术，更具体地，涉及涉及局部扭曲运动模式的编码和/或解码。
背景技术
AOMedia Video 1(AV1)是一种开放视频编解码格式，其被设计用于通过互联网进行视频传输。AV1是由开放媒体联盟(Alliance For OpenMedia，AOMedia)作为VP9的后继者而开发的，该联盟成立于2015年，包括半导体公司、视频点播供应商、视频内容生产商、软件开发公司和网络浏览器供应商。AV1项目的许多组成部分来自该联盟成员先前的研究工作。个体贡献者早在几年前就开始了实验性技术平台：Xiph/Mozilla的Daala已于2010年发布了代码，谷歌(Google)的实验性VP9演进项目VP10于2014年9月12日发布，思科(Cisco)的Thor于2015年8月11日发布。基于VP9的代码库，AV1结合了其他技术，其中一些技术是以这些实验格式开发的。AV1参考编解码器的第一个版本0.1.0于2016年4月7日发布。该联盟于2018年3月28日宣布发布AV1比特流规范，以及基于软件的参考编码器和参考解码器。2018年6月25日发布了该规范的验证版本1.0.0，并于2019年1月8日发布了该规范的带有勘误表1的验证版本1.0.0。AV1比特流规范包括参考视频编解码器。
国际电信联盟电信标准化部门(International Telegraph Union-Telecommunication Standardization Sector，ITU-T)的视频编码专家组(Video CodingExperts Group，VCEG)(Q6/16)和国际标准化组织(International Organization forStandardization，ISO)/国际电工委员会(International ElectrotechnicalCommission，IEC)的运动图像编码专家组(Moving Picture Expert Group，MPEG)(JTC 1/SC 29/WG 11)(联合技术委员会1的第29分委员会的第11工作组)分别于2013年(版本1)、2014年(版本2)、2015年(版本3)和2016年(版本4)发布了H.265/HEVC(高效视频编解码)标准。ITU-T VCEG(Q6/16)和ISO/IEC MPEG(JTC 1/SC 29/WG 11)还探索了未来视频编码技术(其可能在压缩能力方面显著优于HEVC)标准化的潜在需求。在2017年10月，ITU-T VCEG(Q6/16)和ISO/IEC MPEG(JTC 1/SC 29/WG 11)发布了关于超越HEVC(CfP)能力的视频压缩提案的联合征集(Call for Proposals on Video Compression with Capability beyondHEVC，CfP)。截至2018年2月15日，分别提交了22份关于标准动态范围(Standard DynamicRange，SDR)的CfP回复、12份关于高动态范围(High Dynamic Range，HDR)的CfP回复和12份关于360个视频类别的CfP回复。在2018年4月，在第122次MPEG/第10届联合探索委员会(Joint Video Exploration Team/Joint Video Expert Team，JVET)会议上对所有收到的CfP回复都进行了评估。这次会议的结果是，JVET正式启动了超越HEVC的下一代视频编码标准化过程。新标准被命名为多功能视频编码(Versatile Video Coding，VVC)。
发明内容
本公开的实施例涉及用于改善局部扭曲运动增量模式的视频编解码方法、设备和计算机可读介质。
根据一个或多个实施例的一个方面，视频编解码方法由至少一个处理器执行，该方法可以包括：获取包括多个块的视频数据，所述多个块中的每个块与第一参考图像列表和第二参考图像列表相关联；基于当前块和与所述当前块相邻的相邻块的运动矢量，生成用于所述当前块的所述第一参考图像列表和所述第二参考图像列表的扭曲模型；以及通过将所述扭曲模型应用于所述第一参考图像列表和所述第二参考图像列表中的帧来解码所述帧。
根据一个或多个实施例的其他方面，还提供了与视频编解码方法一致的设备/装置和非暂时性计算机可读介质。
其它实施例将在下面的描述中阐述，并且这些其它实施例部分地从描述中是明显的，和/或这些其它实施例可以通过实施本公开的所呈现的实施例来实现。
附图说明
为了更清楚地描述本公开的示例实施例的技术方案，下面简要介绍用于描述示例实施例的附图。本文的附图结合到说明书中并构成本说明书的一部分，其示出了符合本公开的实施例，并且用于与本说明书一起描述本公开的原理。显然，以下描述的附图仅示出了一些实施例。此外，普通技术人员将理解示例性实施例的各个方面可以组合在一起或单独实现。
图1示出了根据一些实施例的网络计算机环境。
图2A示出了根据一些实施例的VP9中的划分树。
图2B示出了根据一些实施例的AV1中的划分树。
图3A示出了根据一些实施例的四叉树加二叉树(quad-tree plus binary tree，QTBT)结构的块划分。
图3B示出了图3A所示的块划分的QTBT结构的相应树表示。
图4示出了根据一些实施例的多类型树(multi-type-tree，MTT)结构。
图5示出了根据一些实施例的两个参考帧的MMDV搜索点。
图6示出了根据一些实施例的用于使用局部扭曲运动预测推导块的模型参数的示例性运动样本。
图7示出了根据一些实施例的使用图5所示的两个参考帧的当前帧的MMDV搜索过程。
图8是示出根据实施例的用于视频编解码的方法的流程图。
图9是根据实施例的用于视频编解码的计算机代码的示例的框图。
图10是根据一些实施例的用于视频编解码的计算机代码的示例的框图。
图11是根据一些实施例的图1中描绘的计算机和服务器的内部和外部组件的框图。
图12是根据一些实施例的包括图1中描绘的计算机系统的示例性云计算环境的框图。
具体实施例
以下示例实施例参考附图进行详细描述。不同附图中的相同附图标记可以标识相同或相似的元件。
前述公开提供的说明和描述并不旨在详尽或将实施方式限制于所公开的精确形式。可以根据上述公开进行修改和变化，或者可以从实施方式的实践中获得修改和变化。此外，一个实施例的一个或多个特征或组件可以合并到另一个实施例中(或另一个实施例的一个或多个特征)或与另一个实施例(或另一个实施例的一个或多个特征)组合。此外，在下面提供的流程图和操作描述中，应当理解，可以省略一个或多个操作，可以添加一个或多个操作，可以同时(至少部分地)执行一个或多个操作，并且可以交换一个或多个操作的顺序。
显然，本文描述的系统和/或方法可以以不同形式的硬件、软件或硬件和软件的组合来实现。不限制用于实现这些系统和/或方法的实际专用控制硬件或软件代码的实施方式。因此，本文描述了系统和/或方法的操作和行为，而不参考特定的软件代码。应当理解，软件和硬件可以被设计成基于本文的说明书来实现系统和/或方法。
即使在权利要求中叙述了特征的特定组合和/或在说明书中公开了特征的特定组合，这些组合也不旨在限制可能的实施方式的公开。事实上，这些特征中的许多可以以权利要求中没有具体叙述和/或说明书中没有公开的方式组合。尽管下面列出的每个从属权利要求可以直接依赖于仅一个权利要求，但是可能的实施方式的公开包括每个从属权利要求与权利要求书中的每个其他权利要求的组合。
下面讨论的所提出的特征可以单独使用，也可以以任何顺序组合使用。此外，可以通过处理电路(例如，一个或多个处理器或一个或多个集成电路)来实现实施例。在一个示例中，一个或多个处理器执行存储在非暂时性计算机可读介质中的程序。
除非明确描述，否则本文使用的任何元素、行为或指令都不应被解释为关键或必要的。此外，如本文所用，冠词“一(a/an)”旨在包括一个或多个项目，并且可以与“一个或多个”互换使用。如果只旨在使用一个项目，则使用术语“一个(one)”或类似的语言。此外，如本文所用，术语“具有(has/have/having)”、“包括(include/including)”等旨在成为开放式术语。此外，除非另有明确说明，否则短语“基于”是指“至少部分基于”。此外，诸如“[A]和[B]中的至少一个”或“[A]或[B]中的至少一个”之类的表述应理解为仅包括A、仅包括B或同时包括A和B。
本文参考根据各种实施例的方法、装置(系统)和计算机可读介质的流程图图示和/或框图来描述各个方面。应当理解，流程图图示和/或框图的每个块以及流程图图示和/或框图中的块的组合可以通过计算机可读的程序指令来实现。
现在参考图1，网络计算机环境的功能框图示出了根据诸如本文所述的示例性实施例的用于编码和/或解码视频数据的视频编解码系统100(以下称为“系统”)。应当理解，图1仅提供了一个实施方式的图示，并不意味着对可以实现不同实施例的环境进行任何限制。可以基于设计和实现要求对所描述的环境进行许多修改。
系统100可以包括计算机102和服务器计算机114。计算机102可以经由通信网络110(以下称为“网络”)与服务器计算机114通信。计算机102可以包括处理器104和软件程序108，该软件程序存储在数据存储设备106上，并且能够与用户交互并与服务器计算机114通信。如下面将参照图10讨论的，计算机102可以分别包括内部组件800A和外部组件900A，并且服务器计算机114可以分别包括内部组件800B和外部组件900B。计算机102可以例如是移动设备、电话、个人数字助理、上网本、膝上型计算机、平板计算机、台式计算机或能够运行程序、访问网络和访问数据库的任何类型的计算设备。
服务器计算机114还可以在云计算服务模型中操作，例如软件即服务(Softwareas a Service，SaaS)、平台即服务(Platform as a Service，PaaS)或基础设施即服务(Infrastructure as a Service，laaS)，如下面关于图11和12所讨论的。服务器计算机114还可以位于云计算部署模型中，例如私有云、社区云、公共云或混合云。
可用于编码视频数据的服务器计算机114能够运行可与数据库112交互的视频编码程序116(以下称为“程序”)。下面参照图4更详细地说明视频编码程序方法。在一个实施例中，计算机102可以作为包括用户界面的输入设备操作，而程序116可以主要在服务器计算机114上运行。在替选实施例中，程序116可以主要在一个或多个计算机102上运行，而服务器计算机114可以用于处理和存储程序116使用的数据。应当注意，程序116可以是独立的程序，或者可以集成到更大的视频编码程序中。
然而，应该注意的是，在一些情况下，程序116的处理可以在计算机102和服务器计算机114之间以任何比例共享。在另一个实施例中，程序116可以在一个以上的计算机、服务器计算机或计算机和服务器计算机的某种组合上操作，例如，通过网络110与单个服务器计算机114通信的多个计算机102。在另一个实施例中，例如，程序116可以在通过网络110与多个客户端计算机通信的多个服务器计算机114上操作。替选地，程序可以在网络服务器上运行，该网络服务器通过网络与服务器和多个客户端计算机通信。
网络110可以包括有线连接、无线连接、光纤连接或其某种组合。通常，网络110可以是支持计算机102和服务器计算机114之间通信的连接和协议的任意组合。网络110可以包括各种类型的网络，例如，局域网(local area network，LAN)、诸如因特网的广域网(wide area network，WAN)、诸如公共交换电话网(Public Switched Telephone Network，PSTN)的电信网络、无线网络、公共交换网络、卫星网络、蜂窝网络(例如，第五代(fifthgeneration，5G)网络、长期演进(long-term evolution，LTE)网络、第三代(thirdgeneration，3G)网络、码分多址(code division multiple access，CDMA)网络等)、公共陆地移动网络(public land mobile network，PLMN)、城域网(metropolitan area network，MAN)、专用网络、自组织(ad hoc)网络、内部网、基于光纤的网络等，和/或这些或其他类型网络的组合。
图1所示的设备和网络的数量和布置作为示例提供。实际上，与图1中所示的设备和/或网络相比，可以存在其它的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或者不同布置的设备和/或网络。此外，图1所示的两个或多个设备可以在单个设备内实现，或者图1所示的单个设备可以实现为多个分布式设备。附加地或替选地，系统100的一组设备(例如，一个或多个设备)可以执行被描述为由系统100的另一组设备执行的一个或多个功能。
如前所述，AV1是一种开放的视频编码格式，专为通过互联网进行的视频传输而设计，AV1是作为VP9的继任者开发的。如图2A所示，VP9使用从64×64级别开始到4×4级别的4路划分树，对于8×8及以下的块具有一些附加限制(如图2A的上半部分所示)。应注意，指示为R的分区可以被称为递归的，因为相同的划分树可以以较低的尺度重复，直到分区达到最低的4×4级别。如图2B所示，AV1不仅将划分树扩展到10路结构，而且还将最大尺寸(在VP9/AV1术语中称为超级块)增加到从128×128开始。应注意，这可以包括VP9中不存在的4：1/1：4矩形划分(如图2A所示)。其中没有一个矩形分区可以被进一步细分。此外，AV1为使用低于8×8级别的划分增加了更多的灵活性，在某种意义上，现在2×2色度帧间预测在某些情况下成为可能。
在HEVC中，可以通过使用表示为编码树的四叉树(quad-tree，QT)结构将编码树单元(coding tree unit，CTU)分割成多个编码单元(coding unit，CU)，以适应各种局部特征。可以在CU级别做出关于是使用帧间(时间)还是帧内(空间)预测来对图像区域进行编码的决定。根据预测单元(prediction unit，PU)分割类型，每个CU可以进一步分割成一个、两个或四个PU。在一个PU内，可以应用相同的预测处理，并且可以基于PU将相关信息传输到解码器。在通过应用基于PU分割类型的预测过程获得残差块之后，可以根据另一个QT结构(如CU的编码树)，将CU划分为多个变换单元(transform unit，TU)。HEVC结构的一个关键特征是，HEVC结构具有包括CU、PU和TU在内的多重划分概念。在HEVC中，CU或TU只能是正方形的，而对于帧间预测块，PU可以是正方形或矩形。一个编码块可以进一步被分割成四个正方形子块，并且对每个子块(即，TU)执行变换。每个TU可以被进一步递归地分割(使用四叉树分割)成更小的TU，这被称为残差四叉树(Residual Quad-Tree，RQT)。在图像边界处，HEVC采用隐式四叉树分割，使得块将继续进行四叉树分割，直到其大小合适图像边界。
如图3A所示，首先由QT结构来划分编码树单元(CTU)，进一步采用二叉树(BT)结构划分QT的叶节点，形成四叉树加二叉树(QTBT)块结构。QTBT块结构消除了多重划分类型的概念。也就是说，QTBT结构消除了CU、PU和TU概念的分离，并支持CU分区形状的更大灵活性。在QTBT块结构中，CU可以具有正方形或矩形形状。在BT分割中有两种分割类型，对称水平分割和对称垂直分割。BT叶节点是CU，并且该分割用于预测和变换处理，而无需任何进一步的划分。这意味着CU、PU和TU在QTBT编码块结构中具有相同的块大小。在JVET使用的联合探索模型(joint exploration model，JEM)中，CU可以由不同颜色分量的编码块(codingblock，CB)组成。例如，在4：2：0色度格式的预测(P)切片和二进制(B)切片的情况下，一个CU可以包含一个亮度CB和两个色度CB。CU也可以由单个分量的CB组成。例如，在I切片的情况下，一个CU仅包含一个亮度CB或仅包含两个色度CB。
在QTBT划分方案中，参数包括但不限于：CTU大小(即，QT的根节点大小，类似于其在HEVC中的概念)、最小允许QT叶节点大小(即，MinQTSize)、最大允许BT根节点大小(即，MaxBTSize)、最大允许BT深度(即，MaxBTDepth)和最小允许BT叶节点大小(即，MinBTSize)。
例如，QTBT划分方案可以如下所示。CTU大小可以设置为128×128个亮度样本和两个对应的64×64的色度样本块，MinQTSize设置为16×16，MaxBTSize设置为64×64，MinBTSize(对于宽度和高度二者)设置为4×4，MaxBTDepth设置为4。QT划分可以首先应用于CTU以生成QT叶节点。QT叶节点的大小可以从16×16(即，MinQtsize)到128×128(即，CTU大小)。如果QT叶节点是128×128，它将不会被BT进一步分割，因为它的大小超过了MaxBTSize(即，64×64)。在一些实施例中，QT叶节点可以由BT进一步划分。因此，QT叶节点也是BT的根节点，并且BT深度为零。当BT深度达到MaxBTDepth(即，4)时，不考虑进一步的分割。当BT节点的宽度等于MinBTSize(即，4)时，不考虑进一步的水平分割。类似地，当BT节点的高度等于MinBTSize时，不考虑进一步的垂直分割。通过预测和变换处理进一步处理BT的叶节点，而无需任何进一步的划分。例如，在JEM中，最大CTU大小为256×256个亮度样本。
图3A示出了QTBT结构的块划分的示例，并且图3B示出了相应的树表示。实线表示QT分割，虚线表示BT分割。在BT的每个分割(即，非叶)节点中，可以将一个标志写入码流以指示使用哪种分割类型(即，水平或垂直)。例如，如图3B所示，0表示水平分割，1表示垂直分割。对于QT分割，不需要指示分割类型，因为QT分割总是水平且垂直地分割块，以产生4个大小相等的子块。
QTBT划分方案支持亮度和色度具有单独的QTBT结构的灵活性。目前，对于P切片和B切片，一个CTU中的亮度和色度CTB共享相同的QTBT结构。然而，对于I切片，亮度CTB由QTBT结构划分为CU，色度CTB由另一QTBT结构划分为色度CU。这意味着I切片中的CU由亮度分量的编码块或两个色度分量的编码块组成，而P切片或B切片中的CU由所有三个颜色分量的编码块组成。
在HEVC中，限制小块的帧间预测以减少运动补偿的存储器访问，使得不支持针对4×8和8×4块的双向预测，不支持针对4×4块的帧间预测。在JEM-7.0中实现的QTBT中，这些限制被消除。
图4示出了在VCC中的多类型树(multi-type-tree，MTT)结构，其进一步在QTBT的顶部增加了：(a)垂直的中心侧三叉树划分和(b)水平的中心侧三叉树划分。图4所示的三叉树划分的优点包括但不限于：作为四叉树和二叉树划分的补充，三叉树划分能够捕获位于块中心的对象，而四叉树和二叉树总是沿着块中心分割；以及所提出的三叉树的分区的宽度和高度总是2的幂，因此不需要附加的变换。两级树的设计主要是为了降低复杂性。理论上，遍历树的复杂度是TD，其中，T表示分割类型的数量，D是树的深度。
在合并模式下，隐式推导出的运动信息直接用于当前CU的预测样本生成。在VVC中引入了具有运动矢量差的合并模式(Merge Mode with Motion Vector Difference，MMVD)。在发送跳过标志和合并标志之后，立即将MMVD标志写入码流，以指示MMVD模式是否用于CU。在MMVD中，在选择合并候选之后，可以通过发信号通知的运动矢量差(MVD)信息进一步细化所选择的合并候选。MVD信息可以包括合并候选标志、指示运动幅度的索引和指示运动方向的索引。在合并模式下，选择合并列表中前两个合并候选标志中的一个作为MV基础。发信号通知合并候选标志以指示使用哪个标志。
距离索引指示运动幅度信息，并指示从起点开始的预定义偏移。图5示出了根据一些实施例的两个参考帧的MMDV搜索点。如图5所示，偏移可以被添加到起始MV的水平分量或垂直分量。下表1规定了距离索引和预定义偏移的关系。
表1：距离索引与预定义偏移的关系
距离IDX 0 1 2 3 4 5 6 7
偏移(以亮度样本为单位) 1/4 1/2 1 2 4 8 16 32
方向索引表示MVD相对于起点的方向。方向索引可以表示四个方向中的一个，如下表2所示。需要注意的是，MVD符号的含义可能会根据起始MV的信息而变化。当起始MV是单向预测MV或双向预测MV，两个列表都指向当前图像的同一侧(即，两个参考的图片顺序计数(picture order count，POC)都大于当前图像的POC，或者两个参考的POC都小于当前图像的POC)时，表2中的符号指示添加到起始MV的MV偏移的符号。当起始MV是双向预测MV，其中两个MV指向当前图像的不同侧(即，一个参考的POC大于当前图像的POC，而另一个参考的POC小于当前图像的POC)，并且列表0(L0)中的POC的差值大于列表1(L1)中的POC差值时，表2中的符号指示添加到起始MV的L0 MV分量上的MV偏移的符号，并且L1 MV的符号具有相反的值。如果L1中的POC的差值大于L0中的POC的差值，表2中的符号指示添加到起始MV的L1MV分量的MV偏移的符号，而L0 MV的符号具有相反的值。
根据POC在每个方向上的差值对MVD进行缩放调整。如果两个列表中POC的差值相同，则不需要缩放调整。如果L0中POC的差值大于L1中POC的差值，则对L1的MVD进行缩放调整。如果L1的POC差值大于L0的POC差值，则可以以相同的方式对L0的MVD进行缩放调整。如果起始MV是单向预测的，则将MVD添加到可用MV。
表2：方向索引指示的MV偏移的符号
方向IDX 00 01 10 11
x-轴 + – N/A N/A
y-轴 N/A N/A + –
在VVC中，除了正常的单向预测模式MVD信令和双向预测模式MVD信令之外，还可以应用用于双向MVD信令的对称MVD模式。在对称MVD模式中，可以推导出包括L0和L1二者的参考图像索引以及L1的MVD的运动信息(不发信号通知)。
对称MVD模式的解码过程如下。第一，在切片级别，推导出变量BiDirPredFlag、RefIdxSymL0和RefIdxSymL1。例如，如果mvd_l1_zero_flag为1，则BiDirPredFlag被设置为等于0。如果L0中最近的参考图像和L1中最近的参考图像形成向前和向后的参考图像对或向后和向前的参考图像对，则BiDirPredFlag设置为1，并且L0参考图像和L1参考图像都是短期参考图像。否则，BiDirPredFlag设置为0。第二，在CU级别，如果对CU是双向预测编码的并且BiDirPredFlag等于1，则将显式地发信号通知指示是否使用对称模式的对称模式标志。当对称模式标志为真(例如，等于1)时，仅显式地发信号通知mvp_l0_flag、mvp_l1_flag和MVD0。L0和L1的参考索引分别被设置为等于参考图像对。最后，MVD1被设置为等于(-MVD0)。
在AV1中，对于帧间的每个已编码块，如果当前块的模式不是跳过模式而是帧间编码模式，则发信号通知另一个标志以指示当前块是使用单个参考模式还是复合参考模式。在单个参考模式下通过一个运动矢量生成预测块。而在复合参考模式下，通过对从两个运动矢量推导出的两个预测块进行加权平均来生成预测块。下表3详细说明了针对单个参考情况可以发信号通知的模式。
表3：单个参考情况下发信号通知的模式
下表4详细说明了针对复合参考情况可以发信号通知的模式。
表4：复合参考情况下发信号通知的模式
AV1能够具有允许1/8像素运动矢量精度(或准确度)。语法可以用于如下地发信号通知参考帧L0或L1中的运动矢量差。语法mv_joint指示运动矢量差的哪些分量是非零的。语法mv_joint值为0表示没有沿水平或垂直方向的非零MVD，语法mv_joint值为1表示仅沿水平方向有非零MVD，语法mv_joint值为2表示仅沿垂直方向有非零MVD，语法mv_joint值为3表示沿水平和垂直方向都有非零MVD。语法mv_sign指示运动矢量差是正还是负。语法mv_class指示运动矢量差的等级。如下表5所示，较高的等级意味着运动矢量差具有较大的幅度。语法Hhmv_bit指示运动矢量差和每个MV等级的起始幅度之间的偏移的整数部分。语法mv_fr指示运动矢量差的前两个小数位。语法mv_hp指示运动矢量差的第三个小数位。
表5：运动矢量差的幅度等级
对于NEW_NEARMV模式和NEAR_NEWMV模式(如表4所示)，MVD的精度取决于相关联的等级和MVD的幅度。首先，只有当MVD幅度等于或小于一个像素时，才允许小数的MVD。其次，当相关联的MV等级的值等于或大于MV_CLASS_1时，仅允许一个MVD值，并且对于MV等级1(MV_CLASS_1)、MV等级2(MV_CLASS_2)、MV等级3(MV_CLASS_3)、MV等级4(MV_CLASS_4)或MV等级5(MV_CLASS_5)，每个MV等级中的MVD值被推导为4、8、16、32、64。每个MV等级中允许的MVD值如表6所示。
表6：每个MV幅度等级中的自适应MVD
MV等级 MVD的幅度
MV_CLASS_0 (0,1],{2}
MV_CLASS_1 {4}
MV_CLASS_2 {8}
MV_CLASS_3 {16}
MV_CLASS_4 {32}
MV_CLASS_5 {64}
MV_CLASS_6 {128}
MV_CLASS_7 {256}
MV_CLASS_8 {512}
MV_CLASS_9 {1024}
MV_CLASS_10 {2048}
在一些实施例中，如果使用NEW_NEARMV模式或NEAR_NEWMV模式编码当前块，则一个上下文用于发信号通知mv_joint或mv_class。如果没有使用NEW_NEARMV或NEAR_NEWMV模式编码当前块，则另一上下文用于发信号通知mv_joint或mv_class。
可以应用新的帧间编码模式(即，JOINT_NEWMV)来指示是否联合地发信号通知两个参考列表的MVD。如果帧间预测模式等于JOINT_NEWMV模式，则联合地发信号通知针对参考L0和参考L1的MVD。这样，仅一个名为joint_mvd的MVD可以被发信号通知并发送到解码器，并且针对参考L0和参考L1的增量MV可以从joint_mvd推导出。JOINT_NEWMV模式与NEAR_NEARMV模式、NEAR_NEWMV模式、NEW_NEARMV模式、NEW_NEWMV模式和GLOBAL_GLOBALMV模式一起被发信号通知。不添加附加的上下文。
当JOINT_NEWMV模式被发信号通知，并且两个参考帧和当前帧之间的POC距离不同时，基于POC距离为参考L0或参考L1缩放MVD。具体地，参考帧L0和当前帧之间的距离被记录为td0，并且参考帧L1和当前帧之间的距离被记录为td1。如果td0等于或大于td1，则joint_mvd直接用于参考L0，并且基于下面的等式(1)从joint_mvd推导出用于参考L1的mvd。
如果td1等于或大于td0，则joint_mvd直接用于参考L1，并且基于下面的等式(2)从joint_mvd推导出用于参考L0的mvd。
可以将新的帧间编码模式(即AMVDMV)添加到单个参考的情况中。当选择AMVDMV模式时，它指示自适应MVD(adaptive MVD，AMVD)被应用于发信号通知MVD。可以在JOINT_NEWMV模式下添加标志，例如amvd_flag(amvd_标志)，以指示AMVD是否应用于联合MVD编码模式。当自适应MVD分辨率应用于联合MVD编码模式时，称为联合AMVD编码，两个参考帧的MVD被联合地发信号通知，MVD的精度隐含地由MVD幅度确定。两个(或两个以上)参考帧的MVD被联合地发信号通知，并且应用常规的MVD编码。
在CWG-C012最初提出的自适应运动矢量分辨率(adaptive motion vectorresolution，AMVR)中，总共支持七个MV精度(8、4、2、1、1/2、1/4、1/8)。对于每个预测块，AVM编码器搜索所有支持的精度值，并向解码器发信号通知最佳精度。为了减少编码器运行时间，支持两个精度集。每个精度集包含4个预定义的精度。基于帧的最大精度值，在帧级自适应地选择精度集。与AV1类似，最大精度被写入在帧报头中。表7总结了基于帧级最大精度的支持的精度值。
表7：两个集中支持的MV精度
帧级最大精度 支持的MV精度
1/8 1/8,1/2,1,4
1/4 1/4,1,4,8
在AVM软件(类似于AV1)中，有一个帧级标志来指示帧的MV是否包含子像素精度。只有当cur_frame_force_integer_mv标志的值为0时，AMVR才被启用。在AMVR中，如果块的精度低于最大精度，则不发信号通知运动模型和插值滤波器。如果块的精度低于最大精度，则运动模式被推断为平移运动，并且插值滤波器被推断为常规(REGULAR)插值滤波器。类似地，如果块的精度是4像素或8像素，则不发信号通知帧内-帧间模式并将其推断为0。
运动补偿通常假设参考块和目标块之间的平移运动模型。然而，扭曲运动利用仿射模型。仿射运动模型可以由等式(3)表示。
其中，[x，y]是原始像素的坐标，[x’，y’]是参考块的扭曲坐标。根据等式(3)，最多需要六个参数来指示扭曲运动：a3和b3指示常规的平移MV；a1和b2指示沿MV的缩放比例；并且a2和b1指示旋转。
在全局扭曲运动补偿中，为每个帧间参考帧发信号通知全局运动信息，全局运动信息包括全局运动类型和多个运动参数。表9列出了全局运动类型和相关联的参数的数量。
表9：全局运动类型和相关联的参数的数量
全局运动类型 参数的数量
特性(零运动) 0
平移 2
旋转 4
缩放 4
一般仿射 6
在发信号通知参考帧索引之后，如果选择了全局运动，则与给定参考帧相关联的全局运动类型和参数被用于当前编码块。
在局部扭曲运动补偿中，当满足下列条件时，允许对帧间编码块进行局部扭曲运动。首先，当前块必须使用单个参考预测。编码块的宽度或高度必须大于或等于8。最后，相邻块中的至少一个必须使用与当前块相同的参考帧。
如果对当前块使用局部扭曲运动，则基于当前块及其相邻块的MV，通过参考投影和建模投影之间的差值的均方最小化来估计仿射模型参数。为了估计局部扭曲运动的参数，如果相邻块使用与当前块相同的参考帧，则获得相邻块中的中心样本及其在参考帧中对应样本的投影样本对。随后，通过将中心位置在一个或两个维度上移动四分之一样本来创建三个附加的样本。这些附加的样本也可以被认为是投影样本对，以确保模型参数的估计过程的稳定性。
用于推导出运动参数的相邻块的MV被称为运动样本。从使用与当前块相同参考帧的相邻块中选择运动样本。请注意，仅对使用单个参考帧的块启用扭曲运动预测模式。
图6示出了根据一些实施例的用于使用局部扭曲运动预测推导出块的模型参数的示例性运动样本。如图6所示，相邻块B0、B1和B2的MV分别被称为MV0、MV1和MV2。通过使用参考帧Ref0的单向预测来预测当前块。通过使用参考帧Ref0和Ref1的复合预测来预测相邻块B0。通过使用参考帧Ref0的单向预测来预测相邻块B1。通过使用参考帧Ref0和Ref2的复合预测来预测相邻块B2。B0的运动矢量MV0Ref0、B1的运动矢量MV1Ref0和B2的运动矢量MV2Ref0可以用作用于推导当前块的仿射运动参数的运动样本。
MMVD可以用于具有运动矢量表达方法的跳过模式或合并模式。MMVD重用VVC中的合并候选。可以从合并候选选择候选，并通过所提出的运动矢量表达方法进一步扩展候选。MMVD提供了一种新的运动矢量表达式，其简化了信令。该表达方法包括起点、运动幅度和运动方向。MMVD技术在VVC中使用合并候选列表。但是只有具有默认合并类型(MRG_TYPE_DEFAULT_N)的候选才被考虑用于MMVD的扩展。图7示出了使用例如图5所示的两个参考帧的当前帧的MMDV搜索过程。基本候选索引限定了运动矢量表达方法的起点。基本候选索引指示列表中候选中的最佳候选，如下表10所示。
表10：基本候选IDX
如果基本候选的数量等于1，则不发信号通知基本候选IDX。距离索引表示运动幅度信息。距离索引指示距离起点信息的预定义距离。预定义距离可以如下表11所示。
表11：距离IDX
方向索引表示MVD相对于起点的方向。方向索引可以表示如表12所示的四个方向。
表12：方向IDX
方向IDX 00 01 10 11
x-轴 + – N/A N/A
y-轴 N/A N/A + –
可以在发送跳过标志和合并标志之后立即发信号通知MMVD标志。如果跳过标志和合并标志为真，则解析MMVD标志。如果MMVD标志等于1，则解析MMVD语法。但是，如果MMVD标志不为1，则解析AFFINE(仿射)标志。如果AFFINE标志等于1，则为AFFINE模式。如果AFFINE标志不等于1，则在参考软件(例如，VVC测试模型(VVC Test Model，VTM))中针对跳过/合并模式解析跳过/合并索引。
在AV1中，对局部扭曲运动或局部扭曲运动模式的设计存在一些限制。例如，局部扭曲运动模式仅适用于单参考图像的情况，局部扭曲运动模型的参数必须根据与当前块和相邻块相关联的运动样本中推导出，而不考虑从相邻块推导出的运动模型，并且即使用于推导出局部扭曲运动模型参数的运动样本不精确，也不对运动样本进行调整。在一些实施例中，扭曲运动模式可以应用于复合预测模式(即，多参考图像)。在一些实施例中，可以使用与L0和L1中的参考图像相关联的相邻块和当前块的运动矢量来分别推导出用于L0和L1中的参考图像的扭曲运动参数。在一些实施例中，可以使用相邻块和当前块的MV来推导出一个或多个扭曲模型。例如，如果推导出一个扭曲模型，则使用与当前块的L0中的参考图像或当前块的L1中的参考图像具有相同参考图像的相邻块的MV。推导出的扭曲模型然后可用于针对L0和L1中的参考图像生成扭曲预测器。在另一示例中，如果推导出两个扭曲模型，则使用与当前块的L0中的参考图像具有相同参考图像的相邻块的MV来推导出L0中的参考图像的扭曲模型。此外，使用与当前块的L1中的参考图像具有相同参考图像的相邻块的MV来推导出L1中的参考图像的扭曲模型。因此，使用两个扭曲模型来相应地针对L0和L1中的参考图像生成扭曲预测器。
在一些实施例中，参考图像L0和参考图像L1的扭曲预测的加权平均值可以用作最终预测器。
在一些实施例中，可以仅针对多个参考图像中的一个参考图像推导出扭曲模式参数。
在一些实施例中，对于L0中的参考图像和L1中的参考图像，可以分别发信号通知是否应用扭曲运动模型。可以通过编码信息隐式地推导出扭曲运动模型是否应用于参考图像列表，该编码信息包括但不限于：相邻块MV、相邻块运动模型(是否应用扭曲运动模型、平移运动模型或光流运动模型)等。
在一些实施例中，扭曲运动模型可以在参考图像L0和参考图像L1之间共享或镜像。
在一些实施例中，扭曲运动可以仅应用于参考帧(或图像)之一，即，L0或L1中的参考帧。在一些实施例中，将平移运动应用于(未应用扭曲运动的)另一参考列表，并且将来自扭曲运动的预测样本和平移运动的预测样本之间的加权平均值用作当前块的最终预测。在一些实施例中，扭曲运动和帧内预测之间的加权平均值被用作当前块的最终预测。当前块的帧内预测模式可以被预先固定或写入码流中。在一个示例中，帧内预测模式被预先固定为直流(Direct Current，DC)预测模式或平滑预测模式。在一些实施例中，其他平均方法，例如扭曲运动和平移运动/帧内预测之间的楔形复合模式(wedge compound mode)被用于当前块的最终预测。
在一些实施例中，扭曲运动模型可以从一个参考图像中的相邻块或局部扭曲模式编码块继承。可以在视频编码的编码器和解码器两侧均创建扭曲模型列表。扭曲模型列表的条目是当前块的相邻块的扭曲模型。相邻块可以是但不限于：空间上相邻的邻居、空间上不相邻的邻居、时间上相邻的邻居等。扭曲模型列表的大小可以是固定的(预定义的或发信号通知的高级标志)或动态的。可以将指示哪个条目用于扭曲预测的索引写入码流中。使用周围的MV和当前MV生成的扭曲模型也可以是扭曲模型列表的条目。一个或多个(取决于不同的规则)生成的扭曲模型可以是扭曲模型列表的元素。例如，为了将扭曲模型候选插入到扭曲模型列表中，相邻块的参考图像必须与当前块的参考图像相同。可以修剪扭曲模型列表插入，使得扭曲模型列表中不允许有相同的模型。可以在编码器和/或解码器侧创建模型库。在编码块的编码/解码之后，可以动态地更新扭曲模型库。可以将来自扭曲模型库的候选插入到扭曲模型列表中。
在一些实施例中，如果使用扭曲运动模式对一个相邻块进行编解码，则可以为当前块继承相关联的扭曲运动模型参数。继承的运动模型可以用作当前块的扭曲运动模型的预测器，即扭曲运动预测器(warp motion predictor，WMP)。根据一些实施例，继承的运动模型可以用作预测器，并且该预测器可以直接用作当前块的扭曲运动模型。根据一些实施例，继承的运动模型可以用作预测器，并且针对当前块发信号通知实际扭曲运动模型参数和运动模型预测器之间的差值，即，扭曲运动差(warp motion difference，WMD)。
在一些实施例中，当从一个参考图像中的局部扭曲模式编码块继承扭曲运动模型时，通过从当前块指向参考图像中的该块的位移矢量来识别该块。可以发信号通知或隐式推导出该位移矢量。当使用多个块来推导出继承的扭曲运动模型时，可以发信号通知或基于预定义的规则来确定所选择的块。
在一些实施例中，发信号通知对从运动样本推导出的局部扭曲运动模型参数的校正(或增量值)。例如，当局部扭曲运动模型中总共有N个参数时(N可以包括但不限于N个参数中除了选定M个参数之外的2、4、6个增量值)，可以发信号通知局部扭曲运动模型中使用的实际参数。针对一个选定的扭曲运动模型参数发信号通知的增量值可以用作针对另一个选定的扭曲运动模型参数发信号通知的的增量值的预测器。在一些实施例中，当局部扭曲运动应用于复合预测模式时，针对一个参考图像发信号通知的增量值可以被用作针对另一个参考图像的增量值的预测器。
在一些实施例中，预测器可以反映增量值和/或增量值乘以比例因子。比例因子可以取决于参考图像与当前图像的距离。
在一些实施例中，可以针对运动样本中的一个或多个运动样本来发信号通知运动矢量差，并且在将相关联的运动矢量用作推导局部扭曲运动模型的运动样本之前，将该运动矢量与发信号通知的运动矢量差相加。可以使用MMVD方法来发信号通知运动矢量差。在一些实施例中，针对基于当前使用的扭曲模型推导出的子块运动矢量或基于样本的运动矢量，发信号通知运动矢量差。
图8是示出根据实施例的由至少一个处理器执行的用于视频编解码的方法810的流程图。
在一些实施方式中，图8的一个或多个处理块可以由计算机102执行。在一些实施方式中，图8的一个或多个处理块可以由与计算环境600分离或包括在计算环境600中的另一个设备或一组设备来执行。
如图8所示，方法810在操作811处可以包括获取视频数据。
方法810在操作812处可以包括将所述视频数据解析成块，其中，所述块与参考图像列表相关联。
方法810在操作813处可以包括基于当前块和与所述当前块相邻的块的运动矢量，生成用于包括在参考图像列表中的所述当前块的第一参考图像列表和第二参考图像列表的扭曲模型。
方法810在操作814处可以包括通过将所述扭曲模型应用于所述第一参考图像列表和所述第二参考图像列表中的帧来解码所述帧。
尽管图8示出了所述方法的示例块，但是在一些实施方式中，所述方法可以包括与图8中描绘的块相比的更多的块、更少的块、不同的块或不同排列的块。附加地或替选地，所述方法的两个或多个块可以并行执行。
图9是根据实施例的用于视频编码的计算机代码910的示例的框图。在实施例中，计算机代码可以是例如程序代码或计算机程序代码。根据本公开的实施例，可以提供包括至少一个处理器以及存储计算机程序代码的存储器的装置/设备。计算机程序代码可以配置为当由至少一个处理器执行时，执行本公开的任意数量的方面。
如图9所示，计算机代码910包括获取代码911、解析代码912、生成代码913和解码代码914。
获取代码911配置为使得至少一个处理器获取视频数据。
解析代码912配置为使得至少一个处理器将获得的视频数据解析成块。每个块可以与参考图像列表相关联。
生成代码913配置为使得至少一个处理器基于当前块和与当前块相邻的块的运动矢量，生成用于包括在参考图像列表中的当前块的第一参考图像列表和第二参考图像列表的扭曲模型。
解码代码914配置为使得至少一个处理器通过将扭曲模型应用于第一参考图像列表和第二参考图像列表中的帧来解码所述帧。
尽管图9示出了代码的示例块，但是在一些实施方式中，装置/设备可以包括比图9中描绘的更多的块、更少的块、不同的块或不同排列的块。附加地或替选地，可以组合装置的两个或多个块。换句话说，虽然图9示出了不同的代码的块，但是各种代码指令不需要不同，并且可以混合。
本文描述的实施例可以单独使用或以任何顺序组合使用。此外，方法(或实施例)、编码器和解码器中的每一个可以通过处理电路(例如，一个或多个处理器或一个或多个集成电路)来实现。在一个示例中，一个或多个处理器执行存储在非暂时性计算机可读介质中的程序。例如，术语块可以被解释为预测块、编码块或编码单元(即，CU)。
图10是根据说明性实施例的图1中描绘的计算机的内部和外部组件的框图500。应当理解，图10仅提供了一个实施方式的图示，并不意味着对可以实现不同实施例的环境的任何限制。可以基于设计和实现要求对所描述的环境进行许多修改。
计算机102(图1)和服务器计算机114(图1)可以包括内部组件800A、800B和外部组件900A、900B的相应集合。每个内部组件800集合包括一个或多个总线826上的一个或多个处理器820、一个或多个计算机可读随机存取存储器(random access memory，RAM)822和一个或多个计算机可读只读存储器(read-only memory，ROM)824，一个或多个操作系统828以及一个或多个计算机可读有形存储设备830。
处理器820可以以硬件、软件或硬件和软件的组合来实现。处理器820是中央处理单元(central processing unit，CPU)、图形处理单元(graphics processing unit，GPU)、加速处理单元(accelerated processing unit，APU)、微处理器、微控制器、数字信号处理器(digital signal processor，DSP)、现场可编程门阵列(field-programmable gatearray，FPGA)、专用集成电路(application-specific integrated circuit，ASIC)或其它类型的处理组件。在一些实施方式中，处理器820包括能够被编程以执行功能的一个或多个处理器。总线826包括允许在内部组件800A、800B之间通信的组件。
服务器计算机114(图1)上的一个或多个操作系统828、软件程序108(图1)和视频编码程序116(图1)可以存储在一个或多个相应的计算机可读有形存储设备830上，以便由一个或多个相应的处理器820经由一个或多个相应的RAM 822(其通常包括高速缓冲存储器)来执行。在图10所示的实施例中，每个计算机可读有形存储设备830可以是内部硬盘驱动器的磁盘存储设备。在一些实施例中，计算机可读有形存储设备830中的每一个可以是半导体存储设备，例如ROM 824、可擦可编程只读存储器(erasable programmable ROM，EPROM)、闪存、光盘、磁光盘、固态盘、压缩光盘(compact disc，CD)、数字多功能盘(digitalversatiledisc，DVD)、软盘、盒式磁带、和/或可以存储计算机程序和数字信息的其它类型的非暂时性计算机可读有形存储设备。
每个内部组件800A、800B集合还可以包括读/写(R/W)驱动器或接口832，以从一个或多个便携式计算机可读有形存储设备936读取和写入一个或多个便携式计算机可读有形存储设备936，例如CD-ROM、DVD、记忆棒、磁带、磁盘、光盘或半导体存储设备。诸如软件程序108(图1)和视频编码程序116(图1)之类的软件程序可以存储在一个或多个相应的便携式计算机可读有形存储设备936上，经由相应的R/W驱动器或接口832读取，并加载到相应的硬盘驱动器中，例如存储设备830。
每个内部组件800A、800B集合还可以包括网络适配器或接口836，例如TCP/IP适配卡；无线Wi-Fi接口卡；或者3G、4G或5G无线接口卡或其他有线或无线通信链路。服务器计算机114(图1)上的软件程序108(图1)和视频编码程序116(图1)可以经由网络(例如，互联网、局域网或其他广域网)和相应的网络适配器或接口836从外部计算机下载到计算机102(图1)和服务器计算机114。服务器计算机114上的软件程序108和视频编码程序116可以从网络适配器或接口836加载到相应的硬盘驱动器中，例如存储设备830。网络可以包括铜线、光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。
每个外部组件900A、900B集合可以包括计算机显示器920、键盘930和计算机鼠标934。外部组件900A、900B还可以包括触摸屏、虚拟键盘、触摸板、定点设备和其它人机界面设备。每个内部组件800A、800B集合还可以包括连接到计算机显示器920、键盘930和计算机鼠标934的设备驱动器840。设备驱动器840、R/W驱动器或接口832和网络适配器或接口836包括硬件和软件(存储在存储设备830和/或ROM 824中)。
需要预先理解，尽管本公开包括关于云计算的详细描述，但是本文叙述的教导的实现不限于云计算环境。与之不同，一些实施例能够结合现在已知或以后开发的任何其他类型的计算环境来实现。
云计算是一种服务交付模式，用于实现对可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储设备、应用程序、虚拟机和服务)的共享池进行便捷、按需网络访问，这些计算资源可以通过最少的管理工作或与服务提供商的交互来快速调配和释放。该云模型可以包括至少五个特征、至少三个服务模型和至少四个部署模型。
特征如下所述。
按需自助服务：云消费者可以根据需要自动地单方面提供计算能力，如服务器时间和网络存储，而不需要与服务供应商进行人工交互。
广泛的网络访问：可通过网络获得各种能力，并通过标准机制访问这些功能，这些标准机制促进了异构的瘦客户端或胖客户端平台(例如，移动电话、笔记本电脑和个人数字助理(Personal Digital Assistant，PDA))的使用。
资源池：将供应商的计算资源池化，以使用多租户模型来服务多个消费者，根据需求动态分配和重新分配不同的物理和虚拟资源。存在位置独立性的感觉，因为消费者通常不控制或了解所提供资源的确切位置，但可以在更高的抽象级别(例如，国家、州或数据中心)指定位置。
快速弹性：可以快速、弹性地调配能力，在某些情况下可以自动调配能力，以快速向外扩展，并快速释放能力以快速向内扩展。对于消费者来说，可用于配置的能力通常看起来是无限的，并且可以在任何时间以任何数量购买。
测量服务：云系统通过利用适合服务类型(例如，存储、处理、带宽和活动用户帐户)的某种抽象级别的计量功能，自动控制和优化资源使用。可以侦听、控制和报告资源使用情况，为所利用服务的提供者和消费者提供透明度。
服务模式如下所述。
软件即服务(Software as a Service，SaaS)：提供给消费者的能力是使用运行在云基础设施上的提供商的应用程序。可以通过诸如web浏览器之类的瘦客户机接口(例如，基于web的电子邮件)从各种客户机设备访问这些应用程序。消费者不管理或控制底层云基础设施，包括网络、服务器、操作系统、存储设备，甚至单个应用程序功能，有限的特定于用户的应用程序配置设置可能除外。
平台即服务(Platform as a Service，PaaS)：提供给消费者的能力是将消费者使用供应商支持的编程语言和工具创建或获得的应用程序部署到云基础设施上。消费者不管理或控制底层云基础设施(包括网络、服务器、操作系统或存储设备)，但可以控制部署的应用程序以及可能的应用程序托管环境配置。
基础设施即服务(Infrastructure as a Service，laaS)：提供给消费者的能力是提供处理、存储、网络和其他基本计算资源，消费者可以在这些计算资源中部署和运行任意软件，包括操作系统和应用程序。消费者不管理或控制底层云基础设施，但在操作系统、存储设备、部署的应用程序上进行控制，并可能受限地控制选定的网络组件(例如，主机防火墙)。
部署模式如下所述。
私有云：云基础架构仅针对组织运营。私有云可以由组织或第三方管理，也可以存在于内部部署(on-premises)或外部部署(off-premises)。
社区云：云基础架构由多个组织共享，并支持具有共同关注点(例如，任务、安全要求、策略和合规性考虑)的特定社区。社区云可以由组织或第三方管理，也可以存在于内部部署或外部部署。
公有云：云基础设施面向公众或大型行业组织，由销售云服务的组织所有。
混合云：云基础架构是两个或更多云(私有、社区或公有)的组合，这些云仍然是独立的实体，但通过标准化或专有技术绑定在一起，实现数据和应用程序的可移植性(例如，云爆发以实现云之间的负载平衡)。
云计算环境是面向服务的，并关注无状态、低耦合、模块化和语义互操作性。云计算的核心是一个由互连节点组成的网络基础设施。
参考图11，描绘了示例性的云计算环境600，其可以适合于实现所公开主题的某些实施例。如图所示，云计算环境600包括一个或多个云计算节点10，其中，云消费者可以通过云计算节点10使用本地计算设备进行通信，这些本地计算设备例如是PDA或蜂窝电话54A、台式计算机54B、膝上型计算机54C和/或汽车计算机系统54N。云计算节点10可以彼此通信。云计算节点可以在一个或多个网络中被物理地或虚拟地分组(未示出)，例如如上所述的私有云、社区云、公有云或混合云，或者它们的组合。这使得云计算环境700能够提供基础设施、平台和/或软件即服务，云消费者不需要维护本地计算设备上的资源。应当理解，图11中所示的计算设备54A-54N的类型仅用于说明，并且云计算节点10和云计算环境600可以通过任何类型的网络和/或网络可寻址连接(例如，使用网络浏览器)与任何类型的计算机化设备通信。
参照图12，示出了由云计算环境600(图11)提供的一组功能抽象层700。应该预先理解，图12中所示的组件、层和功能仅用于说明，实施例不限于此。如图所示，提供以下层和相应的功能。
硬件和软件层60包括硬件和软件组件。硬件组件的示例包括：主机61、基于精简指令集计算机(Reduced Instruction Set Computer，RISC)架构的服务器62、服务器63、刀片服务器64、存储设备65以及网络和联网组件66。在一些实施例中，软件组件包括网络应用服务器软件67和数据库软件68。
虚拟化层70提供抽象层，从抽象层可以提供虚拟实体的以下示例：虚拟服务器71、虚拟存储器72、包括虚拟专用网络的虚拟网络73、虚拟应用和操作系统74、以及虚拟客户端75。
在一个示例中，管理层80可以提供下述功能。资源供应81提供用于在云计算环境中执行任务的计算资源和其他资源的动态采购。计量和定价82提供在云计算环境中利用资源时的成本追查，以及对这些资源的消耗进行计费或开具发票。在一个示例中，这些资源可以包括应用软件许可证。安全性为云消费者和任务提供身份验证，并保护数据和其他资源。用户门户83为消费者和系统管理员提供对云计算环境的访问。服务等级管理84提供云计算资源分配和管理，使得满足所需的服务等级。服务等级协议(Service Level Agreement，SLA)规划和实现85为云计算资源提供预先安排和采购，根据SLA预期云计算资源未来的需求。
工作负载层90提供可以利用云计算环境的功能的示例。可以从该层提供的工作负载和功能的示例包括：映射和导航91、软件开发和生命周期管理92、虚拟课堂教育交付93、数据分析处理94、交易处理95、以及视频编码/解码96。视频编码/解码96可以使用从标称角度推导出的增量角度对视频数据进行编码/解码。
一些实施例可以在集成的任何可能的技术细节级别上涉及系统、方法和/或计算机可读介质。计算机可读介质可以包括在其上具有用于使处理器执行操作的计算机可读程序指令的计算机可读非暂时性存储介质(或介质)。
计算机可读存储介质可以是能够保留和存储指令以供指令执行设备使用的有形设备。计算机可读存储介质可以例如是但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适组合。计算机可读存储介质的更具体示例的非详尽列表包括以下内容：便携式计算机软盘、硬盘、RAM、ROM、EPROM或闪存、静态随机存取存储器(static RAM，SRAM)、便携式光盘只读存储器(CD-ROM)、DVD、记忆棒、软盘、例如穿孔卡或其上记录有指令的凹槽中的凸起结构的机械编码装置，以及前述项的任何合适组合。本文使用的计算机可读存储介质本身不应被解释为瞬时信号，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光缆的光脉冲)或通过导线传输的电信号。
本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者通过网络，例如互联网、局域网、广域网和/或无线网络，下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行操作的计算机可读程序代码/指令可以是汇编指令、指令集架构(instruction-set-architecture，ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路的配置数据，或者是用一种或多种编程语言的任意组合编写的源代码或目标代码，该编程语言包括面向对象的编程语言，例如Smalltalk、C++等，以及过程编程语言，例如“C”编程语言或类似的编程语言。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包，部分在用户的计算机上执行，部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，通过使用互联网服务供应商的互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令，以个性化电子电路，从而执行各个方面或操作。
这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图块中指示的功能/动作的器件。这些计算机可读程序指令也可以存储在计算机可读存储介质中，该计算机可读存储介质可以指导计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括产品，该产品包括实现流程图和/或框图块中指示的功能/动作的各个方面的指令。
计算机可读程序指令也可以被加载到计算机、其它可编程数据处理装置或其它设备上，以使得在计算机、其它可编程装置或其他设备上执行一系列操作步骤，从而产生计算机实现的过程，使得在计算机、其它可编程装置或其它设备上执行的指令实现流程图和/或框图块中指示的功能/动作。
明显的是，本文描述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限制实施方式。因此，本文描述了系统和/或方法的操作和行为，而没有参考特定的软件代码——应当理解，软件和硬件可以被设计成基于本文的描述来实现系统和/或方法。
出于说明的目的，已经给出了各个方面和实施例的描述，但是并不旨在详尽或限于所公开的实施例。即使在权利要求中叙述了特征的组合和/或在说明书中公开了特征的组合，这些组合也不旨在限制可能的实施方式的公开。事实上，这些特征中的许多可以以权利要求中没有具体叙述和/或说明书中没有公开的方式组合。尽管下面列出的每个从属权利要求可以直接依赖于仅一个权利要求，但是可能的实施方式的公开包括每个从属权利要求与权利要求书中的每个其他权利要求的组合。在不脱离所描述的实施例的范围的情况下，许多修改和变化对于本领域普通技术人员来说是明显的。选择本文使用的术语是为了最好地解释实施例的原理、对市场上发现的技术的实际应用或技术改进，或者使本领域普通技术人员能够理解本文公开的实施例。
虽然本公开已经描述了一些示例性实施例，但是其改变、排列和各种替代等同物也落入本公开的范围内。因此，应当理解，本领域技术人员将能够设计出许多系统和方法，尽管在此没有明确示出或描述，但这些系统和方法体现了本公开的原理，因此其也在本公开的精神和范围内。

Claims (20)

1.一种用于视频编解码的方法，由至少一个处理器执行，所述方法包括：
获取包括多个块的视频数据，所述多个块中的每个块与第一参考图像列表和第二参考图像列表相关联；
基于当前块和与所述当前块相邻的相邻块的运动矢量，生成用于所述当前块的所述第一参考图像列表和所述第二参考图像列表的扭曲模型；以及
通过将所述扭曲模型应用于所述第一参考图像列表和所述第二参考图像列表中的帧来解码所述帧。
2.根据权利要求1所述的方法，还包括：
确定所述相邻块的运动矢量是否具有与所述当前块的所述第一参考图像列表中的参考图像相同的参考图像或与所述当前块的所述第二参考图像列表中的参考图像相同的参考图像；以及
当确定所述相邻块的运动矢量具有相同的参考图像时，基于所述相同的参考图像生成所述扭曲模型。
3.根据权利要求1所述的方法，还包括：针对所述当前块的所述第一参考图像列表和所述第二参考图像列表生成扭曲模型预测器。
4.根据权利要求1所述的方法，还包括下述项的至少之一：
将所述扭曲模型分别应用于所述第一参考图像列表中的第一帧和所述第二参考图像列表中的第二帧；
将所述扭曲模型应用于所述第一参考图像列表或所述第二参考图像列表中的单个帧；以及
将来自所述相邻块之一的另一个扭曲模型应用于所述当前块的所述第一参考图像列表和所述第二参考图像列表中的所述帧。
5.根据权利要求1所述的方法，其中，响应于确定所述视频数据是以复合预测模式预测的，将所述扭曲模型应用于所述视频数据。
6.根据权利要求1所述的方法，还包括：接收指示增量值的信号，所述增量值用于校正所述扭曲模型的参数，其中，所述增量值是根据所述运动矢量推导出的。
7.根据权利要求1所述的方法，还包括：
生成包括所述相邻块的扭曲模型的扭曲模型列表；以及
将所生成的扭曲模型添加到与所述当前块相关联的所述扭曲模型列表中。
8.一种用于视频编解码的设备，所述设备包括：
至少一个存储器，配置为存储计算机程序代码；以及
至少一个处理器，配置为读取所述计算机程序代码并按照所述计算机程序代码的指示进行操作，所述计算机程序代码包括：
获取代码，配置为使得所述至少一个处理器获取包括多个块的视频数据，所述多个块中的每个块与第一参考图像列表和第二参考图像列表相关联；
第一生成代码，配置为使得所述至少一个处理器基于当前块和与所述当前块相邻的相邻块的运动矢量，生成用于所述当前块的所述第一参考图像列表和所述第二参考图像列表的扭曲模型；以及
解码代码，配置为使得至少一个处理器通过将所述扭曲模型应用于所述第一参考图像列表和所述第二参考图像列表中的帧来解码所述帧。
9.根据权利要求8所述的设备，所述计算机程序代码还包括：
确定代码，配置为使得所述至少一个处理器确定所述相邻块的运动矢量是否具有与所述当前块的所述第一参考图像列表中的参考图像相同的参考图像或与所述当前块的所述第二参考图像列表中的参考图像相同的参考图像，以及
第二生成代码，配置为使得所述至少一个处理器当确定所述相邻块的运动矢量具有相同的参考图像时，基于所述相同的参考图像生成所述扭曲模型。
10.根据权利要求8所述的设备，所述计算机程序代码还包括第二生成代码，所述第二生成代码配置为使得所述至少一个处理器针对所述当前块的所述第一参考图像列表和所述第二参考图像列表生成扭曲模型预测器。
11.根据权利要求8所述的设备，其中，所述解码代码还配置为使得所述至少一个处理器通过下述项的至少之一来解码所述帧：
将所述扭曲模型分别应用于所述第一参考图像列表中的第一帧和所述第二参考图像列表中的第二帧；
将所述扭曲模型应用于所述第一参考图像列表或所述第二参考图像列表中的单个帧；以及
将来自所述相邻块之一的另一个扭曲模型应用于所述当前块的所述第一参考图像列表和所述第二参考图像列表中的所述帧。
12.根据权利要求8所述的设备，其中，响应于确定所述视频数据是以复合预测模式预测的，将所述扭曲模型应用于所述视频数据。
13.根据权利要求8所述的设备，所述计算机程序代码还包括：
接收代码，配置为使得所述至少一个处理器接收指示增量值的信号，所述增量值用于校正所述扭曲模型的参数，其中，所述增量值是根据所述运动矢量推导出的。
14.根据权利要求8所述的设备，所述计算机程序代码还包括：
第三生成代码，配置为使得所述至少一个处理器生成包括所述相邻块的扭曲模型的扭曲模型列表；以及
添加代码，配置为使得所述至少一个处理器将所生成的扭曲模型添加到与所述当前块相关联的所述扭曲模型列表中。
15.一种存储指令的非暂时性计算机可读介质，当所述指令由用于视频编解码的设备的至少一个处理器执行时，使得所述至少一个处理器：
获取包括多个块的视频数据，所述多个块中的每个块与第一参考图像列表和第二参考图像列表相关联；
基于当前块和与所述当前块相邻的相邻块的运动矢量，生成用于所述当前块的所述第一参考图像列表和所述第二参考图像列表的扭曲模型；以及
通过将所述扭曲模型应用于所述第一参考图像列表和所述第二参考图像列表中的帧来解码所述帧。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述指令还使得所述至少一个处理器：
确定所述相邻块的运动矢量是否具有与所述当前块的所述第一参考图像列表中的参考图像相同的参考图像或与所述当前块的所述第二参考图像列表中的参考图像相同的参考图像；以及
当确定所述相邻块的运动矢量具有相同的参考图像时，基于所述相同的参考图像生成所述扭曲模型。
17.根据权利要求15所述的非暂时性计算机可读介质，其中，所述指令还使得所述至少一个处理器针对所述当前块的所述第一参考图像列表和所述第二参考图像列表生成扭曲模型预测器。
18.根据权利要求15所述的非暂时性计算机可读介质，其中，所述指令还使得所述至少一个处理器通过下述项的至少之一来解码所述帧：
将所述扭曲模型分别应用于所述第一参考图像列表中的第一帧和所述第二参考图像列表中的第二帧；
将所述扭曲模型应用于所述第一参考图像列表或所述第二参考图像列表中的单个帧；以及
将来自所述相邻块之一的另一个扭曲模型应用于所述当前块的所述第一参考图像列表和所述第二参考图像列表中的所述帧。
19.根据权利要求15所述的非暂时性计算机可读介质，其中，所述指令还使得所述至少一个处理器：
响应于确定所述视频数据是以复合预测模式预测的，将所述扭曲模型应用于所述视频数据。
20.根据权利要求15所述的非暂时性计算机可读介质，其中，所述指令还使得所述至少一个处理器：
接收指示增量值的信号，所述增量值用于校正所述扭曲模型的参数，其中，所述增量值是根据所述运动矢量推导出的。
CN202280064807.4A 2022-07-06 2022-11-14 局部扭曲运动预测模式的改进 Pending CN117981302A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202263358735P 2022-07-06 2022-07-06
US63/358,735 2022-07-06
US17/983,975 US20240015303A1 (en) 2022-07-06 2022-11-09 Local warp motion prediction modes
US17/983,975 2022-11-09
PCT/US2022/049778 WO2024010606A1 (en) 2022-07-06 2022-11-14 Improvements on local warp motion prediction modes

Publications (1)

Publication Number Publication Date
CN117981302A true CN117981302A (zh) 2024-05-03

Family

ID=89431020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280064807.4A Pending CN117981302A (zh) 2022-07-06 2022-11-14 局部扭曲运动预测模式的改进

Country Status (4)

Country Link
US (1) US20240015303A1 (zh)
KR (1) KR20240047456A (zh)
CN (1) CN117981302A (zh)
WO (1) WO2024010606A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
WO2022072242A1 (en) * 2020-10-01 2022-04-07 Qualcomm Incorporated Coding video data using pose information of a user

Also Published As

Publication number Publication date
US20240015303A1 (en) 2024-01-11
WO2024010606A1 (en) 2024-01-11
KR20240047456A (ko) 2024-04-12

Similar Documents

Publication Publication Date Title
US11582453B2 (en) Multi-model selection for neural network based tools in video coding
CN117981302A (zh) 局部扭曲运动预测模式的改进
CN114009010B (zh) 一种视频编码方法、计算机系统以及存储介质
US20240022756A1 (en) Local warp motion delta mode
US20240022709A1 (en) Improvements on model storage for warp extend and warp delta modes
CN115702565A (zh) 改进的交叉分量帧内预测模式
CN112449193A (zh) 对视频数据进行编解码的方法、装置、计算机设备和存储介质
CN113711598B (zh) 视频编解码的方法、设备和计算机可读介质
CN112788345B (zh) 视频数据解码方法、装置、计算机设备和存储介质
US11363277B2 (en) Methods on affine inter prediction and deblocking
US11843802B2 (en) Methods of intra picture block prediction for multi-view video compression
US11418810B2 (en) Methods of inter picture motion prediction for multi-view video compression
CN113273187B (zh) 基于仿射的具有运动矢量差(MVD)的Merge
US20220224924A1 (en) Hierarchical structure for neural network based tools in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination