CN113196772A - 块内拷贝模式和基于子块的运动矢量预测模式之间的交互 - Google Patents

块内拷贝模式和基于子块的运动矢量预测模式之间的交互 Download PDF

Info

Publication number
CN113196772A
CN113196772A CN201980077207.XA CN201980077207A CN113196772A CN 113196772 A CN113196772 A CN 113196772A CN 201980077207 A CN201980077207 A CN 201980077207A CN 113196772 A CN113196772 A CN 113196772A
Authority
CN
China
Prior art keywords
block
mode
current video
motion vector
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980077207.XA
Other languages
English (en)
Other versions
CN113196772B (zh
Inventor
张凯
张莉
刘鸿彬
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN113196772A publication Critical patent/CN113196772A/zh
Application granted granted Critical
Publication of CN113196772B publication Critical patent/CN113196772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及块内拷贝模式和基于子块的运动矢量预测模式之间的交互。提供了一种视频处理的方法，包括：在当前视频块和所述当前视频块的比特流表示之间的转换期间，在基于子块的时域运动矢量预测(SbTMVP)模式的基础上，将当前视频块划分为子块；基于所述当前视频块的空域相邻块的运动信息，在具有时域矢量的运动源图片中为子块识别对应块；基于所述对应块的编码的模式信息，从所述子块的对应块生成所述子块的运动矢量和参考索引；以及基于所述生成的运动矢量和参考索引进行所述转换。

Description

块内拷贝模式和基于子块的运动矢量预测模式之间的交互
相关申请的交叉引用
本申请要求于2018年11月29日提交的国际专利申请号PCT/CN2018/118167的优先权和权益。通过引用将国际专利申请号PCT/CN2018/118167的全部公开内容并入作为本申请的公开内容的一部分。
技术领域
本专利文件涉及视频编解码技术、装置和系统。
背景技术
尽管视频压缩有所发展，但是数字视频仍占据了互联网和其它数字通信网络上最大的带宽使用。随着能够接收和显示视频的连接的用户设备的数量增加，预计数字视频使用的带宽需求将继续增长。
发明内容
描述了涉及数字视频编解码，并且具体地涉及用于视频和图像编解码中的块内拷贝(IBC)的运动矢量推导和信令通知的设备、系统和方法。所述方法可应用于现有视频编解码标准(例如，高效视频编解码(HEVC))和未来视频编解码标准二者、或视频编解码器。
在一个代表性方面，所公开的技术可用于提供一种视频处理的方法。所述方法包括：确定块内拷贝(IBC)模式应用于视频的当前视频块，其中在所述IBC模式中，由所述当前视频块使用的至少一个参考图片是所述当前视频块所在的当前图片；作出关于禁用所述当前块的特定编解码模式的决定；基于所述决定，进行所述当前视频块和所述比特流表示之间的转换，其中所述特定编解码模式使用运动矢量和非当前图片以推导视频块的预测。
在另一代表性方面，所公开的技术可用于提供一种视频处理的方法。所述方法包括：确定当前视频块使用特定编解码模式编解码；基于所述确定，作出关于禁用所述当前块的块内拷贝(IBC)模式的决定，其中在所述IBC模式中，由所述当前视频块使用的至少一个参考图片是所述当前块所在的当前图片；基于所述决定，进行所述当前块和所述比特流表示之间的转换，其中所述特定编解码模式使用运动矢量和非当前图片以推导所述当前块的预测。
在又一代表性方面，所公开的技术可用于提供一种视频处理的方法。所述方法包括：确定当前视频块的仿射模式，其中所述当前视频块是否从相邻块继承仿射模式取决于参考列表；基于所述确定，进行视频的当前视频块与视频的比特流表示之间的转换。
在又一代表性方面，所公开的技术可以用于提供视频处理的方法。该方法包括：进行视频的当前视频块和视频的比特流表示之间的转换，其中在所述转换期间，使用块内拷贝(IBC)模式和具有运动矢量差的merge(MMVD)模式，并且其中在所述IBC模式中，所述当前视频块使用的至少一个参考图片是所述当前视频块所位于的所述当前图片，并且在所述MMVD模式中，基于merge运动候选列表来推导视频块的运动矢量，并通过至少一个运动矢量差进一步细化。
在又一代表性方面，所公开的技术可以用于提供视频处理的方法。该方法包括：进行视频的当前视频块和视频的比特流表示之间的转换，其中在所述转换期间，使用块内拷贝(IBC)模式和帧间-帧内预测模式，并且其中在所述IBC模式中，所述当前视频块使用的至少一个参考图片是所述当前视频块所位于的所述当前图片，并且在所述帧间-帧内预测模式中，至少基于帧内预测信号和帧间预测信号生成所述当前视频块的预测信号。
在又一代表性方面，所公开的技术可以用于提供视频处理的方法。该方法包括：在当前视频块和所述当前视频块的比特流表示之间的转换期间，确定不同于IBC模式的至少一个编解码方法的解码的信息，其中在所述IBC模式中，所述当前视频块使用的至少一个参考图片是所述当前视频块所位于的所述当前图片；基于所述解码的信息，确定是否在所述当前视频块的比特流表示中跳过所述当前视频块的IBC标志的信令通知，其中所述IBC标志与所述IBC模式有关；以及基于所述确定进行所述转换。
在又一代表性方面，所公开的技术可以用于提供视频处理的方法。该方法包括：在当前视频块和所述当前视频块的比特流表示之间的转换期间，其中所述当前视频块包括使用第一编解码结构树编解码的亮度分量，以及使用不同于所述第一编解码结构树的第二编解码结构树编解码的色度分量，从所述当前视频块的亮度分量的一个或多个对应块的第二运动矢量信息中推导色度块的第一运动矢量信息；基于所述第一运动矢量信息和所述第二矢量信息进行所述转换。
在又一代表性方面，所公开的技术可以用于提供视频处理的方法。该方法包括：确定是否对当前视频块应用块内拷贝(IBC)模式，在所述块内拷贝(IBC)模式中，由所述当前视频块使用的至少一个参考图片与所述当前视频块所位于的图片相同；信令通知所述IBC模式是否应用于所述当前视频块；基于确定所述IBC模式应用于所述当前视频块，避免信令通知预测模式的组的标志；以及基于所述IBC模式的应用，进行所述当前视频块的转换。
在又一代表性方面，所公开的技术可以用于提供视频处理的方法。该方法包括：解析比特流以确定是否对所述当前视频块应用块内拷贝(IBC)模式，在所述块内拷贝(IBC)模式中，由所述当前视频块使用的至少一个参考图片与所述当前视频块所位于的图片相同；基于所述IBC模式的应用，进行所述当前视频块的转换，其中基于确定将所述CPR应用于所述当前视频块，从所述比特流中排除预测模式的组的标志。
在又一代表性方面，所公开的技术可以用于提供视频处理的方法。该方法包括：在获取当前视频块的运动信息的过程中，在所述当前视频块和所述当前视频块的比特流表示之间的转换期间，其中所述当前视频块的运动信息基于所述当前视频块的至少一个相邻块的至少一个仿射模型；确定所述当前视频块的相邻块是否使用块内拷贝(IBC)模式，在所述块内拷贝(IBC)模式中，由所述相邻块使用的至少一个参考图片与所述相邻块所位于的图片相同；基于确定所述相邻块使用所述IBC模式，禁止为所述当前视频块从所述相邻块推导仿射候选；以及基于所述当前视频块的运动信息进行所述转换。
在又一代表性方面，所公开的技术可以用于提供视频处理的方法。该方法包括：在当前视频块和所述当前视频块的比特流表示之间的转换期间，在基于子块的时域运动矢量预测(SbTMVP)模式的基础上，将当前视频块划分为子块；基于所述当前视频块的空域相邻块的运动信息，在具有时域矢量的运动源图片中为子块识别对应块；基于所述对应块的编解码的模式信息，从所述子块的对应块生成所述子块的运动矢量和参考索引；基于所述生成的运动矢量和参考索引进行所述转换。
在又一代表性方面，所公开的技术可以用于提供视频处理的方法。该方法包括：在当前视频块和所述当前视频块的比特流表示之间的转换期间，在基于子块的时域运动矢量预测(SbTMVP)模式的基础上，将当前视频块划分为子块；基于所述当前视频块的空域相邻块的编解码的模式信息，在具有时域矢量的运动源图片中为子块识别对应块；从所述子块的对应块生成所述子块的运动矢量和参考索引；基于所述生成的运动矢量和参考索引进行所述转换。
在又一代表性方面，上述方法以处理器可执行代码的形式实施并存储在计算机可读程序介质中。
在又一代表性方面，公开了一种被配置或可操作以执行上述方法的设备。该设备可以包括被编程为实现该方法的处理器。
在又一代表性方面，视频解码器装置可以实现如本文中所描述的方法。
在附图、说明书和权利要求中更详细地描述了所公开技术的上述方面和特征以及其它方面和特征。
附图说明
图1示出了构建Merge候选列表的示例。
图2示出了空域候选的位置的示例。
图3示出了经受空域Merge候选的冗余检查的候选对的示例。
图4A和图4B示出了基于当前块的尺寸和形状的第二预测单元PU的位置的示例。
图5示出了用于时域Merge候选的运动矢量缩放的示例。
图6示出了用于时域Merge候选的候选位置的示例。
图7示出了生成组合的双向预测Merge候选的示例。
图8示出了构建运动矢量预测候选的示例。
图9示出了用于空域运动矢量候选的运动矢量缩放的示例。
图10示出了使用用于编解码单元(CU)的替代时域运动矢量预测(ATMVP)算法的运动预测的示例。
图11示出了具有由空域-时域运动矢量预测(STMVP)算法使用的子块和相邻块的编解码单元(CU)的示例。
图12示出了用于使用不同的MV精度进行编码的示例流程图。
图13A和13B分别示出了简化的4-参数仿射模型和简化的6-参数仿射模型的示例。
图14示出了每个子块的仿射运动矢量场(MVF)的示例。
图15A和15B分别示出了4-参数和6-参数仿射模型的示例。
图16示出了对继承的仿射候选的AF_INTER的运动矢量预测的示例。
图17示出了对构建的仿射候选的AF_INTER的运动矢量预测的示例。
图18A和18B示出了AF_MERGE仿射运动模式的示例候选。
图19示出了仿射merge模式的候选位置的示例。
图20示出了图片内块拷贝的示例。
图21示出了并置图片中的有效对应区域的示例。
图22示出了用于基于历史的运动矢量预测(HMVP)候选的编解码流的示例。
图23示出了修改的merge列表构建过程的示例。
图24示出了用于视频处理的示例方法的流程图。
图25示出了用于视频处理的另一示例方法的流程图。
图26示出了用于视频处理的又一示例方法的流程图。
图27示出了用于视频处理的又一示例方法的流程图。
图28是用于实现如本文件中所描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。
图29示出了用于视频处理的又一示例方法的流程图。
图30示出了用于视频处理的又一示例方法的流程图。
图31示出了用于视频处理的又一示例方法的流程图。
图32示出了用于视频处理的又一示例方法的流程图。
图33示出了用于视频处理的又一示例方法的流程图。
图34示出了用于视频处理的又一示例方法的流程图。
图35示出了用于视频处理的又一示例方法的流程图。
图36示出了用于视频处理的又一示例方法的流程图。
图37示出了用于视频处理的又一示例方法的流程图。
图38示出了用于视频处理的又一示例方法的流程图。
图39示出了用于视频处理的又一示例方法的流程图。
图40示出了用于视频处理的又一示例方法的流程图。
具体实施方式
由于对更高分辨率视频的需求的增加，视频编解码方法和技术在现代技术中普遍存在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且被不断改进以提供更高的编解码效率。视频编解码器将未压缩视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率确定)、编码和解码算法的复杂度、对数据丢失和错误的敏感性、编辑的简易性，随机访问和端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如，高效视频编解码(HEVC)标准(也称为H.265或MPEG-H第2部分)、待最终确定的通用视频编解码标准、或其它当前和/或未来的视频编解码标准。
所公开的技术的实施例可以应用于现有视频编解码标准(例如，HEVC，H.265)和未来的标准以改进压缩性能。在本文件中使用节标题以改进描述的可读性，并且不以任何方式将讨论或实施例(和/或实现方式)限制于仅相应的节。
在本文件中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，可以在从视频的像素表示到相应的比特流表示的转换期间应用视频压缩算法，反之亦然。
1.在HEVC/H.265中的帧间预测的示例
多年来，视频编解码标准已经显着改进，并且现在部分地提供高编解码效率和对更高分辨率的支持。诸如HEVC和H.265的最新标准基于混合视频编解码结构，其中使用时域预测加变换编解码。
1.1预测模式的示例
每个帧间预测的PU(预测单元)具有用于一个或两个参考图片列表的运动参数。在一些实施例中，运动参数包括运动矢量和参考图片索引。在其它实施例中，使用两个参考图片列表中的一个也可以通过inter_pred_idc来发出信令。在另外的实施例中，运动矢量可以被明确地编解码为相对于预测器的增量。
当CU用跳过(skip)模式编解码时，一个PU与CU相关联，并且没有显著的残差系数，没有编解码的运动矢量增量或参考图片索引。Merge模式被规定为，其从相邻的(多个)PU获得当前的PU的运动参数，包括空域和时域候选。Merge模式可以应用于任何帧间预测的PU，不仅仅用于跳过模式。Merge模式的替代是运动参数的显式传输，其中运动矢量、对于每个参考图片列表和参考图片列表使用的相应参考图片索引对每个PU被显式地用信令通知。
当信令通知指示将使用两个参考图片列表中的一个时，从一个块的样点生成PU。这被称为“单向预测”。单向预测既可用于P条带又可用于B条带。
当信令通知指示两个参考图片列表都将被使用时，从两个块的样点生成PU。这被称为“双向预测”。双向预测仅可用于B条带。
参考图片列表
在HEVC中，术语帧间预测用于表示从当前解码的图片以外的参考图片的数据元素(例如，采样值或运动向量)推导的预测。像在H.264/AVC中一样，可以从多个参考图片来预测图片。用于帧间预测的参考图片被组织在一个或多个参考图片列表中。参考图片索引标识应使用列表中的哪些参考图片来创建预测信号。
单个参考图片列表，列表0(List 0)，被用于P条带，并且两个参考图片列表，列表0(List 0)和列表1(List 1)，被用于B条带。应当注意，就捕获/显示顺序而言，列表0/1中包含的参考图片可以是来自过去和将来的图片。
1.1.1构建Merge模式的候选的示例
当使用Merge模式预测PU时，从比特流中解析指向merge候选列表中的条目的索引，并将其用于检索运动信息。此列表的构建可以根据以下步骤顺序总结为：
步骤1：初始候选推导
步骤1.1：空域候选推导
步骤1.2：对空域候选的冗余检查
步骤1.3：时域候选推导
步骤2：额外候选插入
步骤2.1：创建双向预测候选
步骤2.2：插入零运动候选
在图1中示出了基于以上总结的步骤的顺序来构建merge候选列表。对于空域merge候选推导，在位于五个不同位置的候选中最多选择四个merge候选。对于时域merge候选推导，在两个候选中最多选择一个merge候选。由于在解码器处假定每个PU的候选数量恒定，因此当候选数量未达到条带报头中用信令通知的merge候选的最大数量(MaxNumMergeCand)时，会生成额外的候选。由于候选的数量是恒定的，因此最佳merge候选的索引使用截断的一元二值化(TU)进行编码。如果CU的尺寸等于8，则当前CU的所有PU共享单个merge候选列表，其与2N×2N预测单元的merge候选列表相同。
1.1.2构建空域merge候选
在空域merge候选的推导中，在位于图2中描绘的位置中的候选中选择最多四个merge候选。推导的顺序是A1、B1、B0、A0和B2。仅当位置A1、B1、B0、A0的任何PU不可用时(例如，因为该PU属于另一个条带(slice)或片(tile))或者是帧内编解码时，才考虑位置B2。在添加位置A1处的候选之后，对剩余候选的添加进行冗余校验，该冗余校验确保具有相同运动信息的候选被排除在列表之外，从而改进编解码效率。
为了降低计算复杂度，在所提到的冗余校验中并未考虑所有可能的候选对。相反，仅考虑与图3中的箭头链接的对，并且仅当如果用于冗余校验的对应候选具有不同的运动信息时，则该候选才被添加到列表中。重复的运动信息的另一个来源是与不同于2N×2N的分割相关联的“第二PU”。作为示例，图4A和4B分别描绘了针对N×2N和2N×N的情况的第二PU。在当前PU被分割为N×2N时，位置A1处的候选不被考虑用于列表构建。在一些实施例中，通过添加该候选可能导致具有相同运动信息的两个预测单元，这对于在编解码单元中仅具有一个PU是冗余的。类似地，在当前PU被分割为2N×N时，不考虑位置B1。
1.1.3构建时域merge候选
在此步骤中，只有一个候选被添加到列表中。特别地，在该时域merge候选的推导中，基于并置(co-located)的PU来推导缩放的运动矢量，该并置的PU属于相对于给定参考图片列表内的当前图片具有最小图片顺序计数(POC)差异的图片。在条带报头中明确地信令通知用于并置的PU的推导的参考图片列表。
图5示出了用于时域merge候选(如虚线所示)的缩放的运动矢量的推导的示例，该用于时域merge候选的缩放的运动矢量是使用POC距离tb和td从并置的PU的运动矢量被缩放的，其中tb被定义为当前图片的参考图片与该当前图片之间的POC差异，并且td被定义为并置图片的参考图片与该并置图片之间的POC差异。时域merge候选的参考图片索引被设置为等于零。对于B条带，获得两个运动矢量并将其组合以产生双向预测merge候选，该两个运动矢量中的一个用于参考图片列表0(list 0)而另一个用于参考图片列表1(list 1)。
如图6所示，在属于参考帧的并置的PU(Y)中，在候选C0和C1之间选择用于时域候选的位置。如果位置C0处的PU不可用、被帧内编解码或在当前CTU之外，则使用位置C1。否则，在时域merge候选的推导中使用位置C0。
1.1.4构建附加类型的merge候选
除了空域-时域merge候选之外，还有两种额外类型的merge候选：组合的双向预测merge候选和零merge候选。通过利用空域-时域merge候选来生成组合的双向预测merge候选。组合的双向预测merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一候选的第二参考图片列表运动参数进行组合来生成组合的双向预测候选。如果这两个元组(tuple)提供不同的运动假设，则它们将形成新的双向预测候选。
图7示出了该过程的示例，其中原始列表中的具有mvL0和refIdxL0或mvL1和refIdxL1的两个候选(左侧的710)被用于创建添加到最终列表的组合的双向预测merge候选(右侧的720)。
零运动候选被插入以填充merge候选列表中的剩余条目，并且因此达到MaxNumMergeCand容量。这些候选具有零空域位移和参考图片索引，该参考图片索引从零开始并且每当新的零运动候选被添加到列表时则增加。这些候选使用的参考帧的数量是分别用于单向预测的1和用于双向预测的2。在一些实施例中，不对这些候选执行冗余校验。
在一些实施例中，依次进行以下步骤，直到merge列表已满：
(1)将变量numRef设置为：对于P条带的与列表0相关联的参考图片的数量，或者对于B条带的两个列表中的参考图片的最小数量；
(2)添加非重复的零运动候选：
对于变量i为0…numRef-1，添加默认运动候选，其中对于列表0(如果是P条带)，或者对于两个列表(如果是B条带)，MV设置为(0，0)并且参考图片索引设置为i。
(3)添加重复的零运动候选，其中MV设置为(0，0)，列表0的参考图片索引设置为0(如果是P条带)，并且两个列表的参考图片索引均设置为0(如果是B条带)。
1.2高级运动矢量预测(AMVP)的实施例
AMVP利用运动矢量与相邻PU的空域-时域相关性，该空域-时域相关性用于运动参数的显式传输。通过下述操作来构建运动矢量候选列表：首先检查左方、上方在时域上相邻PU位置的可用性，移除冗余候选，并添加零矢量，以使候选列表为恒定长度。然后，编码器可以从候选列表中选择最佳预测器，并传输指示所选候选的对应索引。与Merge索引信令类似，使用一元截断来编码最佳运动矢量候选的索引。在这种情况下要编码的最大值是2(见图8)。在以下的节中，提供了关于运动矢量预测候选的推导过程的细节。
1.2.1推导AMVP候选的示例
图8总结了运动矢量预测候选的推导过程，并且可以对每个参考图片列表以refidx作为输入来实现。
在运动矢量预测中，考虑两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。如图2之前所示的，对于空域运动矢量候选推导，最终基于位于五个不同位置的每个PU的运动矢量来推导两个运动矢量候选。
对于时域运动矢量候选推导，从基于两个不同的并置位置推导的两个候选中选择一个运动矢量候选。在生成空域-时域候选的第一列表之后，移除列表中的重复的运动矢量候选。如果潜在候选的数量大于2，则从列表中移除其在相关联的参考图片列表内的参考图片索引大于1的运动矢量候选。如果空域-时域运动矢量候选的数量小于2，则将附加的零运动矢量候选添加到列表中。
1.2.2构建空域运动向量候选
在空域运动矢量候选的推导中，在五个潜在候选中考虑最多两个候选，该五个潜在候选来自位于如图2之前所示的位置的PU，这些位置与运动Merge的那些位置相同。当前PU的左侧的推导顺序被定义为A0、A1以及缩放的A0、缩放的A1。当前PU的上侧的推导顺序被定义为B0、B1、B2、缩放的B0、缩放的B1、缩放的B2。因此，对于每一侧，存在四种可用作运动矢量候选的情况，其中两种情况不需要使用空域缩放，并且两种情况使用空域缩放。四种不同的情况总结如下。
--无空域缩放
(1)相同的参考图片列表，以及相同的参考图片索引(相同的POC)
(2)不同的参考图片列表，但是相同的参考图片索引(相同的POC)
--空域缩放
(3)相同的参考图片列表，但是不同的参考图片索引(不同的POC)
(4)不同的参考图片列表，以及不同的参考图片索引(不同的POC)
首先检查无空域缩放情况，接下来检查允许空域缩放的情况。不管参考图片列表如何，当相邻PU的参考图片的POC与当前PU的参考图片的POC不同时，考虑空域缩放。如果左方候选的所有PU都不可用或者是被帧内编解码的，则允许对上方运动矢量进行缩放，以帮助左方和上方MV候选的并行推导。否则，对上方运动矢量不允许空域缩放。
如图9中的示例所示，对于空域缩放的情况，以与时域缩放类似的方式缩放相邻PU的运动矢量。不同之处在于，当前PU的参考图片列表和索引作为输入被给定；实际缩放过程与时域缩放过程相同。
1.2.3构建时域运动向量候选
除了参考图片索引推导之外，用于时域merge候选的推导的所有过程与用于空域运动矢量候选的推导的过程相同(如图6中的示例所示)。在一些实施例中，参考图片索引被信令通知到解码器。
2.在联合探索模型(JEM)中的帧间预测方法的示例
在一些实施例中，使用称为联合探索模型(JEM)的参考软件来探索未来的视频编解码技术。在JEM中，在数个编解码工具中采用基于子块的预测，诸如仿射预测、可选时域运动矢量预测(ATMVP)、空域-时域运动矢量预测(STMVP)、双向光流(BIO)、帧速率上转换(FRUC)、局部自适应运动矢量分辨率(LAMVR)、重叠块的运动补偿(OBMC)、局部亮度补偿(LIC)和解码器侧运动矢量细化(DMVR)。
2.1基于子CU的运动向量预测的示例
在具有四叉树加二叉树(QTBT)的JEM中，每个CU可以具有针对每个预测方向的至多一个运动参数的集合。在一些实施例中，通过将大CU划分为子CU并且推导大CU的所有子CU的运动信息，在编码器中考虑两个子CU级别运动矢量预测方法。可选时域运动矢量预测(ATMVP)方法允许每个CU从比并置参考图片中的当前CU小的多个块中获取运动信息的多个集合。在空域-时域运动矢量预测(STMVP)方法中，通过使用时域运动矢量预测和空域相邻运动矢量来递归地推导子CU的运动矢量。在一些实施例中，为了保留用于子CU运动预测的更准确的运动场，可以禁用参考帧的运动压缩。
2.1.1可选时域运动向量预测(ATMVP)的示例
在ATMVP方法中，通过从小于当前CU的块中取回运动信息(包括运动矢量和参考索引)的多个集合来修改时域运动矢量预测(TMVP)方法。
图10示出了对于CU 1000的ATMVP运动预测过程的示例。ATMVP方法以两个步骤预测CU 1000内的子CU 1001的运动矢量。第一步骤是使用时域矢量识别参考图片1050中的对应块1051。参考图片1050也被称为运动源图片。第二步骤是将当前CU 1000划分为子CU1001，并从对应于每个子CU的块中获得运动矢量以及每个子CU的参考索引。
在第一步骤中，参考图片1050和对应块由当前CU 1000的空域相邻块的运动信息确定。为了避免相邻块的重复扫描过程，使用当前CU 1000的merge候选列表中的第一merge候选。第一可用运动矢量及其相关联的参考图片索引被设置为时域矢量和运动源图片的索引。这样，与TMVP相比，可以更准确地识别对应块，其中对应块(有时称为并置块)总是相对于当前CU处于右下或中心位置。
在第二步骤中，通过向当前CU的坐标添加时域矢量，由运动源图片1050中的时域矢量识别子CU 1051的对应块。对于每个子CU，其对应块的运动信息(覆盖中心样点的最小运动网格)用于推导子CU的运动信息。在识别出对应的N×N块的运动信息之后，以与HEVC的TMVP相同的方式将其转换为当前子CU的运动矢量和参考索引，在该方式中应用运动缩放和其它过程。例如，解码器检查是否满足低延迟条件(例如，当前图片的所有参考图片的POC小于当前图片的POC)并且可能使用运动矢量MVx(例如，对应于参考图片列表X的运动矢量)来预测每个子CU的运动矢量MVy(例如，其中X等于0或1并且Y等于1-X)。
2.1.2空域-时域运动矢量预测(STMVP)的示例
在STMVP方法中，按照光栅扫描顺序递归地推导子CU的运动矢量。图11示出了具有四个子块和相邻块的一个CU的示例。考虑包括四个4×4子CU A(1101)、B(1102)、C(1103)和D(1104)的8×8CU 1100。当前帧中的相邻4×4块标记为a(1111)、b(1112)、c(1113)和d(1114)。
子CU A的运动推导通过识别其两个空域邻域(neighbour)开始。第一邻域是子CUA(1101)上方的N×N块(块c 1113)。如果该块c(1113)不可用或者是帧内编解码，则检查(从左到右，从块c 1113开始)子CU A(1101)上方的其它N×N块。第二邻域是子CU A1101左侧的块(块b 1112)。如果块b(1112)不可用或者是帧内编解码，则检查子CU A 1101左侧的其它块(从上到下，从块b 1112开始)。对每个列表从相邻块获得的运动信息被缩放到给定列表的第一参考帧。接下来，通过遵循与HEVC中指定的TMVP推导相同的过程来推导子块A 1101的时域运动矢量预测(TMVP)。在块D 1104处的并置块的运动信息被相应地取回和缩放。最后，在提取和缩放运动信息之后，对每个参考列表分开平均所有可用运动矢量。平均运动矢量被指定为当前子CU的运动矢量。
2.1.3子CU运动预测模式信令通知的示例
在一些实施例中，子CU模式被启用作为附加的merge候选，并且不需要附加的语法元素来信令通知模式。添加两个附加的merge候选以合并每个CU的候选列表来表示ATMVP模式和STMVP模式。在其它实施例中，如果序列参数集指示启用了ATMVP和STMVP，则可以使用多达七个merge候选。附加merge候选的编码逻辑与HM中的merge候选的编码逻辑相同，这意味着，对于P或B条带中的每个CU，两个附加merge候选可能需要再进行两次RD校验。在一些实施例中，例如，JEM，merge索引的所有二进制数(bin)由CABAC(基于上下文的自适应二进制算术编解码)上下文编解码。在其它实施例中，例如，HEVC，仅对第一二进制数进行上下文编解码并且剩余二进制数由上下文旁路编解码。
2.2 VVC中的帧间预测方法的示例
有几种新的编解码工具用于改善帧间预测，例如用于信令通知MVD的自适应运动向量差分辨率(AMVR)、仿射预测模式、三角预测模式(TPM)、ATMVP、广义双向预测(GBI)、双向光流(BIO)。
2.2.1 VVC中的编解码块结构的示例
在VVC中，采用四叉树/二叉树/多叉树(QT/BT/TT)结构将图片分为正方形或矩形块。除了QT/BT/TT，VVC中还对I-帧采用单独的树(又称为双重编解码树)。对于单独的树，对于亮度和色度分量分别信令通知编解码块结构。
2.2.2自适应运动向量差分辨率的示例
在一些实施例中，当条带报头中的use_integer_mv_flag等于0时，以四分之一亮度样点为单位，信令通知(PU的运动矢量与预测的运动矢量之间的)运动矢量差异(MVD)。在JEM中，引入了局部自适应运动矢量分辨率(LAMVR)。在JEM中，MVD可以以四分之一亮度样点、整数亮度样点或四个亮度样点为单位进行编解码。在编解码单元(CU)级别控制MVD分辨率，并且向具有至少一个非零MVD分量的每个CU，有条件地信令通知MVD分辨率标志。
对于具有至少一个非零MVD分量的CU，信令通知第一标记，以指示是否在CU中使用四分之一亮度样点MV精度。当第一标志(等于1)指示未使用四分之一亮度样点MV精度时，信令通知另一个标志，以指示是否使用整数亮度样点MV精度或四个亮度样点MV精度。
当CU的第一MVD分辨率标志为零，或未针对CU编解码(意味着CU中的所有MVD均为零)时，四分之一亮度样点MV分辨率被用于该CU。当CU使用整数亮度样点MV精度或四个亮度样点MV精度时，该CU的AMVP候选列表中的MVP被取整到对应的精度。
在编码器中，使用CU级别RD校验来确定将哪个MVD分辨率将用于CU。换言之，对于每个MVD分辨率，执行CU级RD校验三次。为了加快编码器速度，在JEM中应用以下编码方案。
--在具有正常四分之一亮度样点MVD分辨率的CU的RD校验期间，存储该当前CU的运动信息(整数亮度样点精度)。对于具有整数亮度样点和4个亮度样点MVD分辨率的相同CU，存储的运动信息(取整后)被用作RD校验期间进一步小范围运动矢量细化的起点，使得耗时的运动估计过程不必重复三次。
--有条件地调用具有4个亮度样点MVD分辨率的CU的RD校验。对于CU，当整数亮度样点MVD分辨率的RD成本远大于四分之一亮度样点MVD分辨率的RD成本时，跳过该CU的4个亮度样点MVD分辨率的RD校验。
编码过程在图12中示出。首先，测试1/4像素MV，计算RD成本，并将RD成本表示为RDCost0，然后测试整数MV并将RD成本表示为RDCost1。如果RDCost1<th*RDCost0(其中th是正值的阈值)，则测试4像素MV；否则，跳过4像素MV。基本上，当校验整数或4像素MV时，已知1/4像素MV的运动信息和RD成本等，其可以重复使用来加速整数或4像素MV的编码过程。
2.2.3仿射运动补偿预测的示例
在HEVC中，对于运动补偿预测(MCP)仅应用平移运动模型。但是，相机和物体可以具有许多种运动，例如放大/缩小、旋转、透视运动和/或其它不规则的运动。在VVC中，应用具有4-参数仿射模型和6-参数仿射模型的简化的仿射变换运动补偿预测。如图13A-13B所示，块的仿射运动场分别由两个(使用变量a、b、e和f的4-参数仿射模型中)或三个(使用变量a、b、c、d、e和f的6-参数仿射模型中)控制点运动矢量描述。
由以下等式分别以具有4-参数仿射模型和6-参数仿射模型来描述块的运动矢量场(MVF)：
Figure BDA0003080109990000151
Figure BDA0003080109990000152
这里，(mvh 0，mvh 0)是左顶角控制点(CP)的运动矢量，(mvh 1，mvh 1)是右顶角控制点的运动矢量，并且(mvh 2，mvh 2)是左下角控制点的运动向量，(x，y)代表相对于当前块内左上角样点的代表点的坐标。CP运动矢量可以被信令通知(如在仿射AMVP模式中)或即时推导(如在仿射merge模式中)。w和h是当前块的宽度和高度。实践中，该除法是通过取整操作并右移实现。在示例中，代表点定义为子块的中心位置，例如，当子块的左上角相对于当前块内左上角样点的坐标为(xs，ys)，代表点的坐标定义为(xs+2，ys+2)。对于每个子块(例如，4×4)，代表点别用于推导整个子块的运动矢量。
图14示出了块1400的每子块的仿射MVF的示例，其中为了进一步简化运动补偿预测，应用基于子块的仿射变换预测。为了推导每个M×N子块的运动矢量，可以根据等式(1)和(2)计算每个子块的中心样点的运动矢量并将其取整至运动矢量分数精度(例如，JEM中的1/16)。然后，可以应用运动补偿插值滤波器，以利用推导的运动矢量生成每个子块的预测。1/16像素的插值滤波器通过仿射模式引入。在MCP之后，每个子块的高精度运动矢量以与正常运动矢量相同的精度被取整并保存。
仿射预测的信令通知的示例
与平移运动模型相似，由于仿射预测，也存在用于信令通知辅助信息的两种模式。它们是仿射_INTER和仿射_MERGE模式。
2.2.5 AF_INTER模式的示例
对于宽度和高度均大于8的CU，可以应用AF_INTER模式。在比特流中信令通知CU级别的仿射标志，以指示是否使用AF_INTER模式。
在此模式下，对于每个参考图片列表(列表0或列表1)，仿射AMVP候选列表按以下顺序由三种类型的仿射运动预测器构建，其中每个候选包括当前块的估计的CPMV。在编码器侧(诸如在图17中的mv0 mv1 mv2)发现的最佳CPMV与估计的CPMV之差被信令通知。另外，进一步信令通知从其推导估计的CPMV的仿射AMVP候选的索引。
1)继承的仿射运动预测器
检查顺序类似于HEVC AMVP列表构建中的空域MVP的检查顺序。首先，从进行了仿射编解码并且具有与当前块相同的参考图片的{A1，A0}中的第一个块推导左继承的仿射运动预测器。其次，从以仿射编解码并且具有与当前块中相同的参考图片的{B1，B0，B2}中的第一块推导上述继承的仿射运动预测器。在图16中示出了五个块A1，A0，B1，B0，B2。
一旦发现相邻块以仿射模式编解码，则覆盖该相邻块的编解码单元的CPMV被用于推导当前块的CPMV的预测器。例如，如果A1以非仿射模式编解码，并且A0以4-参数仿射模式编解码，则左继承的仿射MV预测器将从A0推导。在这种情况下，覆盖A0的CU的CPMV，如图18B中的左上CPMV的
Figure BDA0003080109990000161
和右上CPMV的
Figure BDA0003080109990000162
所标记的，被用于推导当前块的估计的CPMV，用
Figure BDA0003080109990000171
标记当前块的左上(坐标(x0，y0))、右上(坐标(x1，y1))和右下位置(坐标(x2，y2))。
2)构建的仿射运动预测器
构建的仿射运动预测器包括控制点运动向量(CPMV)，该控制点运动向量是从具有相同参考图片的相邻帧间编解码块推导的，如图17所示。如果当前仿射运动模型为4-参数仿射，则CPMV的数量为2，否则，如果当前仿射运动模型为6-参数仿射，则CPMV的数量为3。左上CPMV
Figure BDA0003080109990000172
由在以帧间编解码并且具有与当前块相同的参考图片的{A，B，C}组中的第一块处的MV推导。右上CPMV
Figure BDA0003080109990000173
由在以帧间编解码并且具有与当前块相同的参考图片的{D，E}组中的第一块处的MV推导。左下CPMV
Figure BDA0003080109990000174
由在以帧间编解码并且具有与当前块相同的参考图片的{F，G}组中的第一块处的MV推导。
–如果当前的仿射运动模型是4-参数仿射，则只有找到
Figure BDA0003080109990000175
和
Figure BDA0003080109990000176
二者时，才会将构建的仿射运动预测器插入候选列表，即，将
Figure BDA0003080109990000177
和
Figure BDA0003080109990000178
用作当前块的左上(坐标(x0，y0))、右上(坐标(x1，y1))位置的估计的CPMV。
–如果当前的仿射运动模型是6-参数仿射，则只有找到所有
Figure BDA0003080109990000179
Figure BDA00030801099900001710
和
Figure BDA00030801099900001711
时，才会将构建的仿射运动预测器插入候选列表，即，将
Figure BDA00030801099900001712
Figure BDA00030801099900001713
and
Figure BDA00030801099900001714
用作当前块的左上(坐标为(x0，y0))、右上(坐标为(x1，y1))和右下(坐标(x2，y2))位置的估计CPMV。
当将构建的仿射运动预测器插入候选列表时，不应用修剪过程。
3)正常AMVP运动预测器
应用以下步骤直到仿射运动预测器的数量达到最大。
1)通过将所有CPMV设置为等于
Figure BDA00030801099900001715
(如果可用)来推导仿射运动预测器。
2)通过将所有CPMV设置为等于
Figure BDA00030801099900001716
(如果可用)来推导仿射运动预测器。
3)通过将所有CPMV设置为等于
Figure BDA00030801099900001717
(如果可用)来推导仿射运动预测器。
4)如果HEVC TMVP可用，通过将所有CPMV设置为等于HEVC TMVP来推导仿射运动预测器。
5)通过将所有CPMV设置为零MV来推导仿射运动预测器。
注意，在构建仿射运动预测器中已经推导出了
Figure BDA0003080109990000181
在AF_INTER模式中，当使用4或6-参数仿射模式时，需要2或3个控制点，因此，需要为这些控制点编码2或3MVD，如图15A-15B所示。在现有实现方式中，可以如下推导MV，例如，从mvd0预测mvd1和mvd2。
Figure BDA0003080109990000182
mv1＝mv1+mvd1+mvd0
Figure BDA0003080109990000183
这里，
Figure BDA0003080109990000184
mvdi和mv1分别是预测的运动向量、运动向量差和左上像素(i＝0)、右上像素(i＝1)或左下像素(i＝2)的运动向量，如图15B所示。在一些实施例中，两个运动向量(例如，mvA(xA，yA)和mvB(xB，yB))相加等于分别将两个分量相加。例如，newMV＝mvA+mvB，意味着newMV的两个分量被分别设置为(xA+xB)和(yA+yB)。
2.2.6 AF_MERGE模式的示例
当以AF_MERGE模式应用CU时，它从有效的相邻重建块中得到以仿射模式编码的第一块。并且，如图18A所示，候选块的选择顺序是从左、上、右上、左下到左上(依次由A，B，C，D，E表示)。例如，如果如图18B中的A0所示以仿射模式对相邻的左下块进行编码，则取回包含块A的相邻CU/PU的左上角和右上角的左下角的控制点(CP)运动向量mv0 N，mv1 N和mv2 N。并且基于mv0 N，mv1 N和mv2 N计算当前CU/PU上的左上角/右上/左下的运动向量mv0 C，mv1 C和mv2 C(仅用于6-参数仿射模型)。应注意，位于左上角的子块(例如4×4块)存储mv0，如果当前块是仿射编码的，则位于右上角的子块存储mv1。如果使用6-参数仿射模型对当前块进行编码，则位于左下角的子块将存储mv2；否则(使用4-参数仿射模型)，LB存储mv2’。其它子块存储用于MC的MV。
在根据等式(1)和(2)中的仿射运动模型计算当前CU的CPMV v0和v1之后，可以生成当前CU的MVF。为了识别当前CU是否以AF_MERGE模式编码，当至少一个相邻块以仿射模式编码时，可以在比特流中信令通知仿射标志。
在一些实施例中，仿射merge候选列表可以通过以下步骤构建：
1)插入继承的仿射候选
继承的仿射候选是指从其有效领域仿射编码的块的仿射运动模型推导出的候选。在共同的基础上，如图19所示，候选位置的扫描顺序为：A1，B1，B0，A0和B2。
在推导出候选之后，进行完整修剪过程以检查是否已将相同候选插入到列表中。如果存在相同的候选，则丢弃推导出的候选。
2)插入构建的仿射候选
如果仿射merge候选列表中的候选数量小于MaxNumAffineCand(在本公开中设置为5)，则将构建的仿射候选插入到候选列表中。构建的仿射候选是指通过组合每个控制点的相邻运动信息来构建候选。
首先，从图19所示的指定的空域领域和时域领域推导出控制点的运动信息。CPk(k＝1、2、3、4)表示第k个控制点。A0，A1，A2，B0，B1，B2和B3是用于预测CPk的空域位置(k＝1、2、3)；T是用于预测CP4的时域位置。
CP1，CP2，CP3和CP4的坐标分别是(0，0)，(W，0)，(H，0)和(W，H)，其中W和H是当前块的宽度和高度。
根据以下优先级顺序获得每个控制点的运动信息：
对于CP1，检查优先级为B2->B3->A2。如果B2可用，则使用B2。否则，如果B2不可用，则使用B3。如果B2和B3都不可用，则使用A2。如果三个候选都不可用，则无法获得CP1的运动信息。
对于CP2，检查优先级为B1->B0。
对于CP3，检查优先级为A1->A0。
对于CP4，使用T。
其次，使用控制点的组合来构建仿射merge候选。
需要三个控制点的运动信息来构建6-参数仿射候选。可以从以下四个组合中的一个选择三个控制点：({CP1，CP2，CP4}，{CP1，CP2，CP3}，{CP2，CP3，CP4}，{CP1，CP3，CP4})。{CP1，CP2，CP3}，{CP2，CP3，CP4}，{CP1，CP3，CP4}的组合将转换为由左上、右上和左下控制点表示的6-参数运动模型。
需要两个控制点的运动信息来构建4-参数仿射候选。可以从以下六个组合中的一个选择两个控制点：({CP1，CP4}，{CP2，CP3}，{CP1，CP2}，{CP2，CP4}，{CP1，CP3}，{CP3，CP4})。组合{CP1，CP4}，{CP2，CP3}，{CP2，CP4}，{CP1，CP3}，{CP3，CP4}将被转换为由左上和右上控制点表示的4-参数运动模型。
按照以下顺序将构建的仿射候选的组合插入到候选列表中：
{CP1，CP2，CP3}，{CP1，CP2，CP4}，{CP1，CP3，CP4}，{CP2，CP3，CP4}，{CP1，CP2}，{CP1，CP3}，{CP2，CP3}，{CP1，CP4}，{CP2，CP4}，{CP3，CP4}
对于组合的参考列表X(X为0或1)，选择控制点中使用率最高的参考索引作为列表X的参考索引，并且指向差异参考图片的运动矢量将被缩放。
在推导出候选之后，进行完整修剪过程以检查是否已将相同候选插入到列表中。如果存在相同的候选，则丢弃推导出的候选。
3)用零运动向量填充
如果仿射merge候选列表中的候选数量小于5，则将具有零参考索引的零运动向量插入到候选列表中，直到列表已满。
在一些实施例中，对于子块merge候选列表，将4参数merge候选的MV设置为(0，0)并且将预测方向来自列表0的单向预测(对于P条带)和双向预测(对于B条带)。
2.3块内拷贝(IBC)的示例
在HEVC屏幕内容编解码扩展(SCC)中采用了块内拷贝(IBC或图片块内补偿)，也称为当前图片参考(CPR)。该工具对于屏幕内容视频的编解码非常有效，因为在相同的图片中重复的样式经常出现在文本和图形丰富的内容中。将具有相同或相似样式的先前重构的块用作预测器可以有效地减少预测误差并因此提高编解码效率。块内补偿的示例在图20中示出。
类似于HEVC SCC中的CRP的设计，在VVC中，在序列和图片级别信令通知IBC模式的使用。在序列参数集(SPS)处启用IBC模式时，可以在图片级别启用它。当在图片级别处启用IBC模式时，当前重建的图片将被视为参考图片。因此，在现有的VVC帧间模式之上无需在块级别上进行语法更改以信令通知IBC模式的信号的使用。
CPR的一些特征包括：
–其被视为正常帧间模式。因此，merge模式和跳过模式也可用于IBC模式。merge候选列表构建是统一的，包含来自相邻位置的merge候选，这些候选以IBC模式或HEVC帧间模式编解码。取决于所选的merge索引，处于merge模式或跳过模式的当前块可以合并到IBC模式编解码的领域中或合并到具有以不同图片作为参考图片的正常帧间模式编解码的领域。
–IBC模式的块向量预测和编解码方案重新使用了HEVC帧间模式下用于运动向量预测和编解码的方案(AMVP和MVD编解码)。
–IBC模式的运动向量(也称为块向量)以整数像素精度进行编解码，但由于在插值和去方块(deblocking)阶段需要四分之一像素精度，因此在解码后以1/16像素精度存储在存储器中。当用于IBC模式的运动向量预测时，存储的向量预测器将右移4。
–搜索范围：限制在当前CTU之内。
–当启用仿射模式/三角模式/GBI/加权预测时，不允许进行CPR。
2.3.1与CPR协调
在PCT/CN2018/089920中，提出了几种协调CPR(也称为IBC)的方法和一些新的编解码工具。
2.4 VVC中的merge列表设计的示例
VVC中支持三种不同的merge列表构建过程：
(1)子块merge候选列表：它包括ATMVP和仿射merge候选。仿射模式和ATMVP模式两者共享一个merge列表构建过程。在此，可以按顺序添加ATMVP和仿射merge候选。子块merge列表的尺寸在条带头中信令通知，最大值为5。
(2)单向预测TPM merge列表：对于三角预测模式，即使两个分割可以选择自己的merge候选索引，也共享两个分割的一个merge列表构建过程。当构建该merge列表时，检查该块的空域相邻块和两个时域块。从空域领域和时域块推导出的运动信息在我们的IDF中称为常规运动候选。这些常规运动候选被进一步用于推导出多个TPM候选。请注意，变换是在整个块级别进行的，即使两个分割可以使用不同的运动向量来生成自己的预测块。在一些实施例中，单向预测TPM merge列表尺寸被固定为5。
(3)常规merge列表：对于剩余的编解码块，共享一个merge列表的构建过程。在此，可以按顺序插入空域/时域/HMVP、成对组合的双向预测merge候选和零运动候选。在条带头中信令通知常规merge列表的尺寸，并且最大值为6。
子块merge候选列表
提出将所有子块相关运动候选放入除了非子块merge候选的常规merge列表之外，还放入单独的merge列表中。
将与子块相关的运动候选放入称为“子块merge候选列表”的单独的merge列表中。
在一个示例中，子块merge候选列表包括仿射merge候选、ATMVP候选和/或基于子块的STMVP候选。
在另外的示例中，将正常merge列表中的ATMVP merge候选移至仿射merge列表的第一位置。这样，新列表中的所有merge候选(即，基于子块的merge候选列表)基于子块编解码工具。
在又一个示例中，除了常规merge候选列表之外，还添加了特殊的merge候选列表，称为子块merge候选列表(又称为仿射merge候选列表)。子块merge候选列表按以下顺序填充候选：
(a)ATMVP候选(可以是可用的或不可用的)；
(b)继承的仿射候选；
(c)构建的仿射候选；
(d)填充为零MV 4-参数仿射模型
子块merge候选列表中的最大候选数量(表示为ML)如下推导出：
(1)如果ATMVP使用标志(例如，该标志可以命名为“sps_sbtmvp_enabled_flag”)为开启(等于1)，但是仿射使用标志(例如，该标志可以命名为“sps_仿射_enabled_flag”)为关闭(等于0)，则ML设置为等于1。
(2)如果ATMVP使用标志为关闭(等于0)，且仿射使用标志为OFF(等于0)，则ML设置为0。在这种情况下，不使用子块merge候选列表。
(3)否则(仿射使用标志为开启(等于1)，ATMVP使用标志为开启或关闭)，从编码器向解码器信令通知ML。有效ML为0≤ML≤5。
当构建子块merge候选列表时，首先检查ATMVP候选。如果以下任一条件为真，则跳过ATMVP候选，并且不放入子块merge候选列表中。
(1)ATMVP使用标志为关闭；
(2)任何TMVP使用标志(例如，在条带级信令通知时，该标志可以被命名为“slice_temporal_mvp_enabled_flag”)为关闭；
(3)参考列表0中的具有参考索引为0的参考图片与当前图片相同(其为CPR)。
上述示例中的ATMVP比JEM中简单得多。当生成ATMVP merge候选时，应用以下过程：
(a)按顺序检查图2所示的相邻块A1，B1，B0，A0，以找到第一个帧间编码的但不是CPR编码的块，标记为块X；
(b)初始化TMV＝(0，0)。如果存在块X的MV(标记为MVn)，则参考并置的参考图片(如在条带头中用信号通知)，将TMV设置为等于MVn。
(c)假设当前块的中心点为(x0，y0)，则在并置图片中将对应位置(x0，y0)定位为M＝(x0+MV*x，y0+MV*y)。找到覆盖M的块Z。
(i)如果Z是帧内编码的，则ATMVP不可用；
(ii)如果Z是帧间编码的，则将块Z的两个列表的MVZ_0和MVZ_1缩放为(Reflist0index 0)和(Reflist 1index 1)以作为MVdefault0，MVdefault1，并储存。
(d)对于每个8×8子块，假设其中心点为(x0S，y0S)，然后在并置图片中将对应的(x0S，y0S)位置定位为MS＝(x0S+MV*x，y0S+MV*y)。找到覆盖MS的块ZS。
(i)如果ZS是帧内编码的，则将MVdefault0、MVdefault1分配给子块；
(ii)如果ZS是帧间编码的，则块ZS的两个列表的MVZS_0和MVZS_1被缩放为(Reflist 0index 0)和(Reflist 1index 0)，并且被分配给子块。
ATMVP中的MV剪切和掩码：当在并置图片中定位诸如M或MS的对应位置时，其被剪切为在预定区域内。CTU尺寸为S×S，本示例中S＝128。假设并置的CTU的左上位置为(xCTU，yCTU)，则在(xN，yN)处的对应位置M或MS将被剪切到有效区域xCTU≤xN<xCTU+S+4；yCTU≤yN<yCTU+S。图21显示了有效区域的示例。
除了剪切，(xN，yN)还被掩码为xN＝xN&MASK，yN＝yN&MASK，其中MASK是等于
Figure BDA0003080109990000241
(2N-1)的整数，并且N＝3，以将最低3位设置为0。因此xN和yN必须是8的倍数(
Figure BDA0003080109990000242
代表按位补码运算符)。
常规merge列表
与merge列表设计不同，在VVC中，采用了基于历史的运动向量预测(HMVP)方法。在一些实施例中，组合的双向预测merge候选已经被成对的双向预测merge候选替代。
HMVP
在HMVP中，存储了先前编解码的运动信息。将先前编解码的块的运动信息定义为HMVP候选。多个HMVP候选存储在一个名为HMVP表的表中，并且在即时编码/解码处理期间维持该表。当开始对新的条带进行编码/解码时，HMVP表被清空。每当存在帧间编解码块时，相关联的运动信息就会作为新的HMVP候选添加到表的最后一个条目。整个编解码流程如图22所示。
HMVP候选可以在AMVP和merge候选列表两者的构建过程中使用。图23示出了修改的merge候选列表构建过程(以灰色高亮)。当在TMVP候选插入之后，merge候选列表未满时，可以利用存储在HMVP表中的HMVP候选来填充merge候选列表。考虑到一个块通常就运动信息而言与最近的相邻块具有更高的相关性，因此以索引的降序插入表中的HMVP候选。最先将表中的最后一个条目添加到列表中，而最后添加第一个条目。类似地，冗余移除被应用于HMVP候选。一旦可用merge候选的总数达到允许被信令通知的merge候选的最大数量，则merge候选列表构建过程终止。
2.5广义双向预测(GBi)改进的示例
提供了在一个示例中提出的广义双向预测改进(GBi)。
在一个示例中提出了GBi。提供了改进的实施例，其改进了GBi的增益-复杂度折衷，其在双向预测模式中将不相等的加权应用于来自L0和L1的预测器。在帧间预测模式下，基于速率失真优化(RDO)评估包括相等加权对(1/2，1/2)的多个加权对，并将选择的加权对的GBi索引信令通知到解码器。在merge模式下，GBi索引从相邻的CU继承。在实施例中，GBi，双向预测模式中的预测器生成在下面的等式中示出。
PGBi＝(w0*PL0+w1*PL1+RoundingOffsetGBi)>>shiftNumGBi，
这里，PGBi是GBi的最终预测因子。w0和w1是选定的GBi加权对，并且分别应用于列表0(L0)和列表1(L1)的预测器。RoundingOffsetGBi和shiftNumGBi用于归一化GBi中的最终预测器。支持的w1加权集为{-1/4，3/8，1/2，5/8，5/4}，其中五个加权分别对应一个相等的加权对和四个不相等的加权对。混合增益——即w1和w0之和——被固定为1.0。因此，对应的w0加权集为{5/4，5/8，1/2，3/8，-1/4}。加权对选择处于CU级别。
对于非低延迟图片，加权集大小从5减小为3，其中w1加权集为{3/8，1/2，5/8}，并且w0加权集为{5/8，1/2，3/8}。在本公开中，非低延迟图片的加权集大小减小应用于GBi和所有GBi测试。
在一个实施例中，提出了一种组合解决方案以进一步提高GBi性能。具体地，在实施例中，在现有GBi设计的基础上应用以下修改。
GBi编码器错误修复
为了减少GBi编码时间，在当前的编码器设计中，编码器将存储从等于4/8的GBi加权估计的单向预测运动矢量，并将其重新用于其他GBi加权的单向预测搜索。这种快速编码方法被应用于平移运动模型和仿射运动模型两者。在一个示例中，采用了6-参数仿射模型和4-参数仿射模型。当GBi加权等于4/8时，当编码器存储单向预测仿射MV时，编码器不会区分4-参数仿射模型和6-参数仿射模型。因此，在以GBi加权4/8编码之后，可以用6-参数仿射MV覆盖4-参数仿射MV。对于其他GBi加权，可以将存储的6-参数仿射MV用于4-参数仿射ME，或者可以将存储的4-参数仿射MV用于6-参数仿射ME。提出的GBi编码器错误修复是将4-参数仿射和6-参数仿射MV存储分开。当GBi加权等于4/8时，编码器将基于仿射模型类型存储这些仿射MV，并将基于仿射模型类型将对应仿射MV重用于其他GBi加权。
GBi的CU尺寸限制
在该方法中，对于小的CU禁用GBi。在帧间预测模式下，如果使用双向预测且CU区域小于128个亮度样点，则GBi被禁用，而不发信令通知。
具有GBi的Merge模式
由Merge模式，GBi索引不被信令通知。相反，其是从其所合并到的相邻块继承的。当选择TMVP候选时，则在该块中GBi被关闭。
具有GBi的仿射预测
在当前块以仿射预测编解码时，可以使用GBi。对于仿射帧间模式，信令通知GBi索引。对于仿射merge模式，GBi索引从其所合并的相邻块继承。如果选择了构建的仿射模型，则在该块中GBi被关闭。
2.6帧间-帧内预测(IIP)模式的示例
在帧间预测模式下，多假设预测将一个帧内预测和一个merge索引预测组合。这样的块被视为特殊的帧间编解码块。在merge CU中，当标志为真时，信令通知一个标志用于merge模式以从帧内候选列表中选择帧内模式。对于亮度分量，帧内候选列表从4种帧内预测模式推导出，包括DC、平面、水平和垂直模式，帧内候选列表的尺寸可以为3或4，取决于块的形状。当CU宽度大于CU高度的两倍时，水平模式不包括在帧内模式列表中，并且当CU高度大于CU宽度的两倍时，垂直模式将从帧内模式列表中移除。使用加权平均值将由帧内模式索引选择的一种帧内预测模式和由merge索引选择的一种merge索引预测组合。对于色度分量，始终应用DM，而无需额外的信令通知。
下面描述了用于组合预测的加权。当选择DC或平面模式或CB宽度或高度小于4时，将应用相等的加权。对于CB宽度和高度大于或等于4的那些CB，当选择水平/垂直模式时，首先将一个CB垂直地/水平地划分为四个等面积区域。每个加权集，表示为(w_intrai，w_interi)，其中i为1到4，并且(w_intra1，w_inter1)＝(6，2)，(w_intra2，w_inter2)＝(5，3)，(w_intra3，w_inter3)＝(3，5)，和(w_intra4，w_inter4)＝(2，6)，将应用于对应区域。(w_intra1，w_inter1)用于最接近参考样点的区域，(w_intra4，w_inter4)用于最远离参考样点的区域。然后，可以通过将两个加权预测相加并右移3位来计算组合的预测值。而且，可以保存用于预测器的帧内假设的帧内预测模式，以供随后的相邻CU参考。
在示例中的详细设计
1.如果满足所有条件，则信令通知inter_intra_flag(一个新的上下文)
a.Merge但不跳过
b.非仿射
c.非MMVD
d.W*H<64且W！＝128和H！＝128(这意味着在这里可能具有2*8色度帧内预测)
2.帧间预测可应用于三角预测；
3.对Y、Cb和Cr应用帧间预测。
4.如果inter_intra_flag开启，则会信令通知帧内预测模式(IPM)。IPM必须是{DC，Planar，Ver，Hor}中的一个。
a.涉及3个MPM。
b.如果W>2*H或H>2*W，则IPM必须是3个MPM之一，并且不信令通知MPM标志；否则，将信令通知MPM(一个新的上下文，为什么不与帧内共享同一上下文？)
i.如果MPM_flag处于开启，信令通知已选择的MPM。0、10、11代表三个MPM(旁路)；
ii.否则，在{DC，Planar，Ver，Hor}中找到一个不在MPM列表中的作为IPM。
c.MPM列表构建(与Intra MPM列表不同)
i.设置LeftIPM＝AboveIPM＝DC；
ii.如果左邻块(A2)是帧内编解码或帧间-帧内编解码的，则将leftIPM设置为左邻块的IPM；
iii.如果上邻块(B3)是帧内编解码或帧间-帧内编解码的，则将aboveIPM设置为上邻块的IPM；
iv.leftIPM＝(leftIPM>DC_IDX)？((leftIPM≤DIA_IDX)？HOR_IDX：VER_IDX)：leftIPM；
v.aboveIPM＝(aboveIPM>DC_IDX)？((aboveIPM≤DIA_IDX)？HOR_IDX：VER_IDX)：aboveIPM；
(关于广角模式呢？)
vi.如果leftIPM＝＝aboveIPM
1.如果leftIPM不是DC或平面
a.MPM[0]＝leftIPM，MPM[1]＝平面，MPM[2]＝DC
2.否则，
a.MPM[0]＝DC，MPM[1]＝平面，MPM[2]＝Ver
vii.否则
1.MPM[0]＝leftIPM，MPM[1]＝aboveIPM
2.如果leftIPM和aboveIPM中没有一个是平面，则MPM[2]＝平面
3.否则：MPM[2]＝(leftIPM+aboveIPM)<2？Ver：DC
viii.如果W>2*H
1.如果MPM[x]＝＝Hor，找到在{DC，Planar，Ver，Hor}中但不在MPM列表中的ModeX，设置MPM[x]＝ModeX；
ix.如果H>2*W
1.如果MPM[x]＝＝Ver，找到在{DC，Planar，Ver，Hor}中但不在MPM列表中的ModeX，设置MPM[x]＝ModeX
5.应当理解的是，帧间-帧内预测所使用的IPM不能用于预测帧内编解码块的IPM。
a.帧内编解码的块将帧间-帧内编解码的块当作帧间编解码的块一样处理。
6.相邻样点过滤：作为帧内预测：
a.没有对DC/VER/HOR的过滤
b.当W*H>32时对平面过滤；
c.保留PDPC
7.加权和方法
P(x，y)＝Clip((W0(x，y)*P_Intra(x，y)+W1(x，y)*P_Inter(x，y))>>3)
8.加权值(可以改进或简化)
a.如果模式＝＝DC/Planar||W<4||H<4：W0＝W1＝4；
b.如果模式＝＝HOR：
i.如果x<W/4，则W0＝6，W1＝2；
ii.如果W/4≤x＜W/2，则W0＝5，W1＝3；
iii.如果W/2≤x<3*W/4，则W0＝3，W1＝5；
iv.如果x≥3*W/4，则W0＝2，W1＝6；
c.如果模式＝＝VER：
i.如果y<H/4，则W0＝6，W1＝2；
ii.如果H/4≤y<H/2，则W0＝5，W1＝3；
iii.如果H/2≤y<3*H/4，则W0＝3，W1＝5；
iv.如果y≥3*H/4，则W0＝2，W1＝6。
2.7最终运动矢量表达(UMVE)的示例
在一些实施例中，提出了最终运动矢量表达(UMVE)。UMVE可通过提出的运动矢量表达方法用于跳过或merge模式。
UMVE与VVC中的常规merge候选列表中所包括的merge候选一样重复使用merge候选。在merge候选之中，可以选择一个基本候选，并通过提出的运动矢量表达方法对其进一步扩展。
UMVE提供了一种新的运动矢量差(MVD)表示方法，其中使用起点、运动幅度和运动方向来表示MVD。
该提出的技术照原样使用merge候选列表。但是，只有预设merge类型(MRG_TYPE_DEFAULT_N)的候选才会考虑UMVE的扩展。
基础候选索引定义起点。基本候选索引如下指示列表中候选中的最佳候选。
表1：基本候选IDX
基本候选IDX 0 1 2 3
第N个MVP 第1个MVP 第2个MVP 第3个MVP 第4个MVP
如果基本候选的数量等于1，则不信令通知基本候选IDX。
距离索引是运动幅度信息。距离索引指示距起点信息的预定义距离。预定义的距离如下：
表2：距离IDX
Figure BDA0003080109990000291
方向索引表示MVD相对于起点的方向。方向索引可以表示四个方向，如下所示。
表3：方向IDX
方向IDX 00 01 10 11
x-轴 + – N/A N/A
y-轴 N/A N/A + –
在发送跳过标志或merge标志之后立即信令通知UMVE标志。如果skip或merge标志为真(true)，则解析UMVE标志。如果UMVE标志等于1，则解析UMVE语法。但是，如果不是1，则解析仿射标志。如果仿射标志等于1，则为仿射模式；但是，如果不等于1，则将为跳过/merge模式解析跳过/merge索引。
由于UMVE候选，不需要额外的行缓冲器。因为软件的跳过/merge候选直接用作基本候选。使用输入的UMVE索引，可以在运动补偿之前确定MV的补充。无需为此保留长行缓冲区。
在当前的通用测试条件下，可以选择merge候选列表中的第一或第二merge候选作为基础候选。
UMVE被称为MVD的merge(MMVD)。
3.现有实现方式的缺点
在现有的实现方式(例如，当前的VVC设计)中，CPR存在以下问题：
(1)CPR和仿射之间的相互作用仍然不清楚。(例如，对于CPR编解码的块，可以将merge候选插入到子块merge列表或常规merge列表中)。
(2)CPR和一般双向预测之间的相互作用仍然不清楚。(例如，对于CPR编解码的块，始终使用固定的一半-一半加权值，因此，无需信令通知加权指数)。
(3)CPR和MMVD(又名UMVE)之间的相互作用仍然不清楚。
(4)CPR和帧间-帧内预测之间的相互作用仍然不清楚。
(5)ATMVP和CPR之间的相互作用仍然不清楚。
(6)尚不清楚如何将CPR与双重(单独)编解码树一起应用。
4.CPR的运动矢量推导和信令通知的示例方法
目前公开的技术的实施例克服了现有实现方式的缺点，从而提供了具有更高编解码效率的视频编解码。在为各种实现方式所描述的以下示例中阐明了，基于所公开的技术，在视频和图像编解码中的对于当前图片参考的运动矢量推导和信令通知的使用可以增强现有和未来的视频编解码标准。下面提供的公开技术的示例解释了一般概念，并且不意在被解释为限制性的。在示例中，除非明确地相反表示，否则可以组合这些示例中描述的各种特征。应当理解的是，“使用CPR的块或候选”可以表示：
(i)由块或候选使用的参考图片为CPR；或者
(ii)由块或候选使用的至少一个参考图片为CPR。
示例1.当使用仿射运动补偿时，不允许使用CPR。
(a)在一个示例中，一致性比特流不能在单个块中同时使用CPR和仿射运动补偿。
(b)在一个示例中，在解析过程中，可以首先信令通知块级别仿射启用/禁用标志。当使用仿射模式对块编解码时，无需信令通知当前块的参考图片索引是否等于当前图片所关联的参考图片索引。
(c)可替代地，可以在块级别仿射启用/禁用标志之前信令通知参考图片索引。当块使用CPR时，仿射标志的信令通知始终被跳过。
(d)可替代地，可以在块级别仿射启用/禁用标志之前信令通知参考图片索引。当用双向预测对块进行编解码并且仅有一个参考图片为当前参考图片时，可以仍信令通知仿射标志。
(i)在一个示例中，此外，要求整数运动矢量被用于这样的块。
示例2.块不能从使用CPR的相邻块继承仿射模型。
(a)在一个示例中，使用CPR的相邻块不能被用于推导子块merge候选列表中的仿射merge候选。
(i)在一个示例中，使用CPR的相邻块在子块merge候选列表构建过程中被当作不可用。
(b)在一个示例中，使用CPR的相邻块不能被用于推导仿射AMVP列表中的仿射AMVP候选。
(i)在一个示例中，使用CPR的相邻块在仿射AMVP候选列表构建过程中被当作不可用。
示例3.块是否可以从使用CPR的相邻块中继承仿射模型，可以取决于参考列表。
(a)在一个示例中，假设相邻块应用双向预测，参考列表X(X可以是0或1)中的参考图片是当前图片，并且参考列表(1-X)中的参考图片是不是当前图片，则
(i)参考参考列表X的相邻块的运动信息不能被用于推导子块merge候选列表中的仿射merge候选。
(1)在一个示例中，参考参考列表(1-X)的相邻块的运动信息可以被用于推导子块merge候选列表中的仿射merge候选。
(ii)参考参考列表X的相邻块的运动信息不能被用于推导仿射AMVP列表中的仿射AMVP候选。
(1)例如，参考参考列表X的相邻块的运动信息不能被用于推导用于参考列表X的仿射AMVP列表中的仿射AMVP候选。
(iii)参考参考列表(1-X)的相邻块的运动信息可以被用于推导仿射AMVP列表中的仿射AMVP候选。
(1)例如，参考参考列表(1-X)的相邻块的运动信息可以被用于推导用于参考列表(1-X)的仿射AMVP列表中的仿射AMVP候选。
示例4.当在块中应用GBi(两个参考图片上的GBi加权值不相等)时，不允许使用CPR。
(a)在一个示例中，一致性比特流不能在单个块中同时使用CPR和GBi。
(b)在一个示例中，如果在块中使用CPR，GBi加权指数不被信令通知并且被推断为0(在两个参考图片上的加权值相等)。
(c)在一个示例中，如果在块中应用GBi中的不相等的加权(两个参考图片上的GBi加权值不相等)，CPR指示不被信令通知并且被推断为0(不使用CPR)。
示例5.当在块中应用MMVD时，不允许使用CPR。
(a)在一个示例中，一致性比特流不能在单个块中同时使用CPR和MMVD。
(b)在一个示例中，如果在块中使用CPR，MMVD flag不被信令通知并且被推断为0(两个参考图片上的加权值相等)。
(c)在一个示例中，如果在块中应用MMVD，CPR指示不被信令通知并且被推断为0(不使用CPR)。
示例6.当在块中应用MMVD时，允许使用CPR。
(a)在一个示例中，如果基本MV候选具有至少一个参考当前图片的参考图片：
(i)在一个示例中，MMVD基于参考当前图片的MV，省略了不参考当前图片的MV(如果存在)；
(ii)在一个示例中，由MMVD信令通知的距离只能是整数。
(iii)在一个示例中，MMVD是单向预测的。
(b)在一个示例中，如果基本MV候选具有不参考当前图片的至少一个参考图片：
(i)在一个示例中，MMVD基于不参考当前图片的MV，省略了参考当前图片的MV(如果存在)。
示例7.当在块中应用帧间-帧内预测时，不允许使用CPR。
(a)在一个示例中，一致性比特流不能在单个块中同时使用CPR和帧间-帧内预测。
(b)在一个示例中，如果在块中使用CPR，则帧间-帧内预测标志不被信令通知并且被推断为0。
(c)在一个示例中，如果在块中应用帧间-帧内预测，CPR指示不被信令通知并且被推断为0(不使用CPR)。
示例8.当在块中应用帧间-帧内预测时，允许使用CPR。
(a)在一个示例中，如果进行帧间-帧内预测的merge候选具有参考当前图片的至少一个参考图片：
(i)帧间-帧内预测基于参考当前图片的MV，省略了不参考当前图片的MV(如果存在)；
(ii)在一个示例中，帧间-帧内预测的帧内预测部分可以被改变为：
(1)不进行边界过滤；
(2)不进行位置决定的预测组合(PDPC)；
(3)仅允许以下特定模式：
οMPM
οDC
ο垂直
ο水平
(iii)在一个示例中，帧间-帧内预测的帧间预测部分是单向预测的。
(b)在一个示例中，如果进行帧间-帧内预测的merge候选具有不参考当前图片的至少一个参考图片：
(i)在一个示例中，帧间-帧内预测基于不参考当前图片的MV，省略了参考当前图片的MV(如果存在)。
示例9.在ATMVP的过程中：
(a)如果相邻块使用CPR，则将其当作不可用；
(b)如果并置图片中的块使用CPR
(i)在ATMVP过程中可以将其当作不可用；
(ii)可以将其当作为可用，并且可以从该块中推导当前块或子块的MV'。
(1)在一个示例中，MV'参考当前图片，并从并置图片中的块拷贝。
示例10.当CPR被编解码为除了帧内、帧间模式(而不是在参考图片列表中被指示为特定参考图片)之外的新模式时，是否跳过对CPR模式的信令通知可以取决于其他编解码方法的解码信息。
(a)在一个示例中，其他编解码方法可以包括，例如，仿射标志、帧间-帧内预测标志、表示不等的加权的GBI索引、MMVD、ATMVP。
(b)当将另一种编解码方法中的任何一种应用于一个块时，对该块的CPR模式的信令通知被跳过。
(c)可替代地，是否跳过使用其他编解码方法的信令通知可以取决于CPR模式的解码信息。
示例11.当亮度分量和色度分量以分开的编解码结构树编解码时：
(a)在一个示例中，当色度分量被编解码时，亮度分量的对应块的MV信息(MV可以参考当前图片)可以被用作MV预测或merge候选。
(i)亮度分量的对应块可以在当前色度块中的任何位置(诸如左上、右上、左下、右下或中间)。
(1)如果颜色格式不是4：4：4，则应当缩放当前色度块以找到对应的亮度块。
(ii)在一个示例中，可能存在来自亮度分量的几个对应块的MV信息，其被剪断作为当前色度块的MV预测或merge候选。可以选择其中之一信令通知解码器或在解码器处推导。
(b)使用CPR的色度块的宽度/高度可能具有限制。
(i)在一个示例中，使用CPR的色度块的宽度/高度可以与帧内编解码的色度块受到不同的限制。
(ii)在一个示例中，对于帧内编解码的块，宽度>2&&高度>2，但是对于CPR编解码的块，宽度≥2&&高度≥2。
可以在下面描述的方法的上下文中并入上述示例，例如方法2400、2500、2600和2700，其可以在视频解码器或视频编码器处实现。
图24示出了用于视频处理的示例性方法的流程图。方法2400包括，在步骤2410，按照第一编解码规则进行当前视频块和所述当前视频块的比特流表示的转换，该第一编解码规则指定当前图片参考(CPR)在当前视频块的编解码或解码期间的适用，其中第一编解码规则指定以下至少一项：(a)在转换过程中避免同时使用CPR和仿射运动补偿；或(b)对于转换，禁用继承使用CPR进行编解码的相邻块的仿射模型；或(c)仅在满足编解码条件的情况下，对于转换，继承相邻块的仿射模型；或(d)避免同时使用CPR和广义双向预测(GBi)进行转换，其中GBi使用不等加权的参考图片；或(e)避免同时使用CPR和具有运动矢量差的merge(MMVD)模式；或(f)同时使用CPR和MMVD模式；或(g)避免同时使用CPR和帧间-帧内预测；或(h)同时使用CPR和帧间-帧内预测；或(i)同时使用可选时域运动矢量预测器。
在一些实施例中，并且在示例1的上下文中，整数精度用于编解码规则(a)。
在一些实施例中，并且在示例6的上下文中，MMVD模式包括对编解码规则(e)或(f)的单向预测。
在一些实施例中，并且在示例8的上下文中，帧间-帧内预测包括用于编解码规则(g)和(h)的帧内预测部分和帧间预测部分。在示例中，帧内预测部分不包括边界过滤。在另一示例中，帧内预测部分不包括位置决定的预测组合。在又一示例中，帧内预测部分包括最可能的模式选择、DC预测模式、水平预测模式或垂直预测模式。在又一示例中，帧间预测部分包括单向预测。
图25示出了用于视频处理的另一示例性方法的流程图。方法2500包括，在步骤2510，确定使用当前图片参考模式对当前视频块的相邻块进行编解码。
方法2500包括，在步骤2520，基于该确定，推导merge候选。在一些实施例中，并且在示例2的上下文中，merge候选包括与相邻块的第二仿射模型不同的第一仿射模型。在示例中，merge候选包括仿射merge候选，并且其中merge候选列表包括子块merge候选列表。在另一个示例中，merge候选包括仿射AMVP候选，并且其中merge候选列表包括仿射AMVP候选列表。
在一些实施例中，并且在示例9的上下文中，merge候选可以包括可选时域运动矢量预测(ATMVP)候选。
方法2500包括，在步骤2530，将merge候选列表插入merge候选列表。
方法2500包括，在步骤2540，基于merge候选列表重新构建当前视频块。
在一些实施例中，并且在示例3的上下文中，相邻块应用双向预测，并且方法2500还包括以下步骤：基于第一参考图片列表或第二参考图片列表确定merge候选的仿射模型。在示例中，第一参考图片列表包括当前视频块的当前图片，并且仿射模型基于第二参考图片列表中的至少一个图片确定。在另一示例中，merge候选包括AMVP候选，并且merge候选列表包括仿射AMVP候选列表。
图26示出了视频处理的又一示例性方法的流程图。方法2600包括，在步骤2610，通过解码当前视频块的第一编解码模式来生成解码的信息，其中该当前视频块以第一编解码模式以及不同于第一编解码模式的第二编解码模式编码。
方法2600包括，在步骤2620，基于所述解码的信息，确定是否在当前视频块的比特流表示中信令通知第一编解码模式或第二编解码模式。
方法2600包括，在步骤2630，基于该确定重新构建当前视频块。
在一些实施例中，并且在示例10的上下文中，第一编解码模式包括：仿射编解码模式、帧间-帧内预测模式、具有不等加权的广义双向预测预测模式、带有运动矢量差的merge模式或可选时域运动矢量预测模式，第二编解码模式包括CPR模式，并且比特流表示不包括CPR模式的标志。
在一些实施例中，并且在示例10的上下文中，第一编解码模式包括：当前图片参考(CPR)模式，第二编解码模式包括：仿射编解码模式、帧间-帧内预测模式、具有不等加权的广义双向预测预测模式、带有运动矢量差的merge模式或可选时域运动矢量预测模式，并且比特流表示不包括第二编解码模式的标志。
图27示出了视频处理的又一示例性方法的流程图。方法2700包括，在步骤2710，确定当前视频块包括亮度分量和色度分量，该亮度分量使用第一编解码结构树编解码并且该色度分量使用不同于所述第一编解码结构树的第二编解码结构树编解码。
方法2700包括，在步骤2720，基于该确定重新构建当前视频块。在一些实施例中，并且在示例11的上下文中，重新构建包括基于从亮度分量的一个或多个块推导的运动矢量信息解码色度分量。在示例中，亮度分量的一个或多个块是当前视频块的左上位置、右上位置、左下位置、右下位置或中间位置。在另一示例中，方法2700还包括以下步骤：当确定色度分量的颜色格式不同于4：4：4颜色格式时，缩放当前视频块以确定亮度分量的一个或多个对应块。
在一些实施例中，并且在示例11的上下文中，当前视频块使用当前图片参考(CPR)模式编解码。在示例中，当前视频块的高度和宽度的第一组限制不同于帧内编解码的视频块的高度和宽度的第二组限制，该帧内编解码的视频块不同于当前视频块。
5.公开技术的示例实现方式
图28是视频处理装置2800的框图。装置2800可用于实现本文所述的一个或多个方法。装置2800可以被实现在智能手机、平板计算机、计算机、物联网(IoT)接收器等中。装置2800可以包括一个或多个处理器2802、一个或多个存储器2804和视频处理硬件2806。处理器2802可以被配置为实现本文所述的一个或多个方法(包括但不限于方法2400、2500和2600)。存储器(多个存储器)2804可用于存储用于实现本文所述的方法和技术的数据和代码。视频处理硬件2806可用于在硬件电路中实现本文所述的一些技术。
图29示出了视频处理的又一示例性方法的流程图。方法2900包括，在步骤2910，确定块内拷贝(IBC)模式应用于视频的当前视频块，其中在所述IBC模式中，由所述当前视频块使用的至少一个参考图片是所述当前视频块所在的当前图片；在步骤2920，作出关于禁用所述当前块的特定编解码模式的决定；在步骤2930，基于所述决定，进行所述当前视频块和所述比特流表示之间的转换，其中所述特定编解码模式使用运动矢量和非当前图片以推导视频块的预测。
图30示出了视频处理的又一示例性方法的流程图。方法3000包括，在步骤3010，确定当前视频块使用特定编解码模式编解码；在步骤3020，基于所述确定，作出关于禁用所述当前块的块内拷贝(IBC)模式的决定，其中在所述IBC模式中，由所述当前视频块使用的至少一个参考图片是所述当前块所在的当前图片；在步骤3030，基于所述决定，进行所述当前块和所述比特流表示之间的转换，其中所述特定编解码模式使用运动矢量和非当前图片以推导所述当前块的预测。
图31示出了视频处理的又一示例性方法的流程图。方法3100包括，在步骤3110，确定当前视频块的仿射模式，其中所述当前视频块是否从相邻块继承仿射模式取决于参考列表；在步骤3120，基于所述确定，进行视频的当前视频块与视频的比特流表示之间的转换。
图32示出了视频处理的又一示例性方法的流程图。方法3200包括，在步骤3210，进行视频的当前视频块和视频的比特流表示之间的转换，其中在所述转换期间，使用块内拷贝(IBC)模式和带有运动矢量差的merge(MMVD)模式，并且其中在所述IBC模式中，所述当前视频块使用的至少一个参考图片是所述当前视频块所位于的所述当前图片，并且在所述MMVD模式中，基于merge运动候选列表来推导视频块的运动矢量，并通过至少一个运动矢量差进一步细化。
图33示出了视频处理的又一示例性方法的流程图。方法3300包括，在步骤3310，进行视频的当前视频块和视频的比特流表示之间的转换，其中在所述转换期间，使用块内拷贝(IBC)模式和帧间-帧内预测模式，并且其中在所述IBC模式中，所述当前视频块使用的至少一个参考图片是所述当前视频块所位于的所述当前图片，并且在所述帧间-帧内预测模式中，至少基于帧内预测信号和帧间预测信号生成所述当前视频块的预测信号。
图34示出了视频处理的又一示例性方法的流程图。方法3400包括，在步骤3410，在当前视频块和所述当前视频块的比特流表示之间的转换期间，确定不同于IBC模式的至少一个编解码方法的解码的信息，其中在所述IBC模式中，所述当前视频块使用的至少一个参考图片是所述当前视频块所位于的所述当前图片；在步骤3420，基于所述解码的信息，确定是否在所述当前视频块的比特流表示中跳过所述当前视频块的IBC标志的信令通知，其中所述IBC标志与所述IBC模式有关；以及在步骤3430，基于所述确定进行所述转换。
图35示出了视频处理的又一示例性方法的流程图。方法3500包括，在步骤3510，在当前视频块和所述当前视频块的比特流表示之间的转换期间，其中所述当前视频块包括使用第一编解码结构树编解码的亮度分量，以及使用不同于所述第一编解码结构树的第二编解码结构树编解码的色度分量，从所述当前视频块的亮度分量的一个或多个对应块的第二运动矢量信息中推导色度块的第一运动矢量信息；在步骤3520，基于所述第一运动矢量信息和所述第二矢量信息进行所述转换。
图36示出了视频处理的又一示例性方法的流程图。方法3600包括，在步骤3610，确定是否对于当前视频块应用块内拷贝(IBC)模式，其中由所述当前视频块使用的至少一个参考图片与当前视频块所位于的图片相同；在步骤3620，信令通知所述IBC模式是否应用于所述当前视频块；在步骤3630，基于确定所述IBC模式应用于所述当前视频块，避免信令通知预测模式的组的标志；以及在步骤3640，基于所述IBC模式的应用，进行所述当前视频块的转换。
图37示出了视频处理的又一示例性方法的流程图。方法3700包括，在步骤3710，解析比特流以确定是否对所述当前视频块应用块内拷贝(IBC)模式，在所述块内拷贝(IBC)模式中，由所述当前视频块使用的至少一个参考图片与所述当前视频块所位于的图片相同；在步骤3720，基于所述IBC模式的应用，进行所述当前视频块的转换，其中基于确定将所述CPR应用于所述当前视频块，从所述比特流中排除预测模式的组的标志。
图38示出了视频处理的又一示例性方法的流程图。方法3800包括，在步骤3810，在获取当前视频块的运动信息的过程中，在所述当前视频块和所述当前视频块的比特流表示之间的转换期间，其中所述当前视频块的运动信息基于所述当前视频块的至少一个相邻块的至少一个仿射模型；在步骤3820，确定所述当前视频块的相邻块是否使用块内拷贝(IBC)模式，在所述块内拷贝(IBC)模式中，由所述相邻块使用的至少一个参考图片与所述相邻块所位于的图片相同；在步骤3830，基于确定所述相邻块使用所述IBC模式，禁止为所述当前视频块从所述相邻块推导仿射候选；以及在步骤3830，基于所述当前视频块的运动信息进行所述转换。
图39示出了视频处理的又一示例性方法的流程图。方法3900包括，在步骤3910，在当前视频块和所述当前视频块的比特流表示之间的转换期间，在基于子块的时域运动矢量预测(SbTMVP)模式的基础上，将当前视频块划分为子块；在步骤3920，基于所述当前视频块的空域相邻块的运动信息，在具有时域矢量的运动源图片中为子块识别对应块；在步骤3930，基于所述对应块的编解码的模式信息，从所述子块的对应块生成所述子块的运动矢量和参考索引；在步骤3940，基于所述生成的运动矢量和参考索引进行所述转换。
图40示出了视频处理的又一示例性方法的流程图。方法4000包括，在步骤4010，在当前视频块和所述当前视频块的比特流表示之间的转换期间，在基于子块的时域运动矢量预测(SbTMVP)模式的基础上，将当前视频块划分为子块；在步骤4020，基于所述当前视频块的空域相邻块的编解码的模式信息，在具有时域矢量的运动源图片中为子块识别对应块；在步骤4030，从所述子块的对应块生成所述子块的运动矢量和参考索引；在步骤4040，基于所述生成的运动矢量和参考索引进行所述转换。
在一些实施例中，视频编解码方法可以使用在关于图28所描述的硬件平台上实现的装置来实现。
可以使用以下示例描述一些实施例。
1.1.一种用于视频处理的方法，包括：确定块内拷贝(IBC)模式应用于视频的当前视频块，其中在所述IBC模式中，由所述当前视频块使用的至少一个参考图片是所述当前视频块所在的当前图片；作出关于禁用所述当前块的特定编解码模式的决定；基于所述决定，进行所述当前视频块和所述比特流表示之间的转换；其中所述特定编解码模式使用运动矢量和非当前图片以推导视频块的预测。
1.2.如示例1.1所述的方法，其中所述转换包括将所述当前视频块编码为所述比特流表示。
1.3.如示例1.1所述的方法，其中所述转换包括解码所述当前视频块的比特流表示以生成所述当前视频块的像素值。
1.4.如示例1.1-1.3的任一项所述的方法，其中所述特定编解码模式包括仿射运动补偿模式，其中所述仿射运动补偿模式使用至少一个控制点运动矢量。
1.5.如示例1.4所述的方法，其中信令通知参考图片索引，并且响应于所述当前视频块使用所述IBC模式而跳过仿射标志的信令通知。
1.6.如示例1.4所述的方法，所述方法还包括：在信令通知仿射标志之前，信令通知参考图片索引并确定所述当前视频块是否使用双向预测模式，其中如果所述当前视频块使用双向预测模式，并且仅有一个参考图片为所述当前参考图片，则信令通知所述仿射标志；以及如果所述当前视频块使用双向预测模式，并且两者参考图片都为所述当前参考图片，则不信令通知所述仿射标志。
1.7.如示例1.6所述的方法，其中整数精度被用于所述当前视频块的运动矢量。
1.8.如示例1.1-1.7的任一项所述的方法，其中所述特定编解码模式包括GBi模式，其中在GBi模式中，不同的加权值与不同的参考图片相关。
1.9.如示例1.8所述的方法，其中响应于所述当前块中使用的IBC模式，不信令通知GBi加权指数。
1.10如示例1.8所述的方法，其中所述GBi加权指数被推断为0。
1.11.如示例1.1-1.10的任一项所述的方法，其中所述特定编解码模式包括具有运动矢量差的merge(MMVD)模式，其中在所述MMVD模式中，基于merge运动候选列表来推导视频块的运动矢量，并通过至少一个运动矢量差进一步细化。
1.12.如示例1.11所述的方法，其中响应于所述当前视频块中使用IBC模式而不信令通知MMVD标志。
1.13.如示例1.12所述的方法，其中所述MMVD标志被推断为0。
1.14.如示例1.1-1.13的任一项所述的方法，所述特定编解码模式包括组合的帧间-帧内预测(CIIP)模式，其中在所述CIIP模式中，至少基于帧内预测信号和帧间预测信号来生成所述当前视频块的预测信号。
1.15.如示例1.14所述的方法，其中响应于所述当前块中使用所述IBC模式，不信令通知所述当前视频块的CIIP标志。
1.16.如示例1.15所述的方法，其中所述CIIP标志被推断为0。
1.17.一种用于视频处理的方法，包括：确定当前视频块使用特定编解码模式编解码；基于所述确定，作出关于禁用所述当前块的块内拷贝(IBC)模式的决定，其中在所述IBC模式中，由所述当前视频块使用的至少一个参考图片是所述当前块所在的当前图片；基于所述决定，进行所述当前块和所述比特流表示之间的转换；其中所述特定编解码模式使用运动矢量和非当前图片以推导所述当前块的预测。
1.18.如示例1.17所述的方法，其中所述转换包括将所述当前视频块编码为所述比特流表示。
1.19.如示例1.17所述的方法，其中所述转换包括解码所述当前视频块的比特流表示以生成所述当前视频块的像素值。
1.20.如示例1.1-1.3的任一项所述的方法，其中所述特定编解码模式包括仿射运动补偿模式，其中所述仿射运动补偿使用至少一个控制点运动矢量。
1.21.如示例1.20所述的方法，其中所述块级的仿射标志在所述比特流中信令通知以指示对于所述当前块是否启用所述仿射运动补偿模式，并且如果所述仿射标志指示对所述当前视频块启用所述仿射运动补偿模式，则不信令通知是否应用所述IBC模式。
1.22.如示例1.17-1.19的任一项所述的方法，其中所述特定编解码模式包括GBi模式，其中在GBi模式中，不同的加权值与不同的参考图片相关。
1.23.如示例1.22所述的方法，其中响应于应用所述IBC模式，不信令通知IBC指示。
1.24.如示例1.23所述的方法，其中所述IBC指示被推断为0。
1.25.如示例1.17-1.24的任一项所述的方法，其中所述特定编解码模式包括具有运动矢量差的merge(MMVD)模式，其中在所述MMVD模式中基于merge运动候选列表推导所述当前块的运动矢量并且由至少一个运动矢量差进一步细化。
1.26.如示例1.25所述的方法，其中响应于在所述当前视频块中应用MMVD模式，不信令通知IBC指示。
1.27.如示例1.26所述的方法，其中所述IBC指示被推断为0。
1.28.如示例1.17-1.27的任一项所述的方法，所述特定编解码模式包括组合的帧间-帧内预测(CIIP)模式，其中在所述CIIP模式中，至少基于帧内预测信号和帧间预测信号来生成所述当前视频块的预测信号。
1.29.如示例1.28所述的方法，其中响应于应用所述帧间-帧内预测模式，不信令通知所述当前视频块的IBC标志。
1.30.如示例1.29所述的方法，其中所述IBC标志被推断为0。
1.31.一种用于视频处理的方法，包括：确定当前视频块的仿射模式，其中所述当前视频块是否从相邻块继承仿射模式取决于参考列表；基于所述确定，进行视频的当前视频块与视频的比特流表示之间的转换。
1.32如示例1.31所述的方法，其中所述相邻块应用双向预测，参考列表X中的参考图片是所述当前图片，并且参考列表(1-X)中的参考图片不是当前图片，其中X为0或1。
1.33.如示例1.32所述的方法，其中参考所述参考列表X的所述相邻块的运动信息不用于推导子块merge候选列表中的仿射merge候选。
1.34.如示例1.32或1.33所述的方法，其中参考所述参考列表(1-X)的所述相邻块的运动信息用于推导所述子块merge候选列表中的仿射merge候选。
1.35.如示例1.32所述的方法，其中参考所述参考列表X的所述相邻块的运动信息不用于推导仿射AMVP列表中的仿射AMVP候选。
1.36.如示例1.35所述的方法，其中参考所述参考列表X的所述相邻块的运动信息不用于推导所述参考列表X的所述仿射AMVP列表中的所述仿射AMVP候选。
1.37.如示例1.32所述的方法，其中参考所述参考列表(1-X)的所述相邻块的运动信息用于推导仿射AMVP列表中的仿射AMVP候选。
1.38.如示例1.37所述的方法，其中参考所述参考列表(1-X)的所述相邻块的运动信息用于推导所述参考列表(1-X)的所述仿射AMVP列表中的所述仿射AMVP候选。
1.39.一种用于视频处理的方法，包括：进行视频的当前视频块和视频的比特流表示之间的转换；其中在所述转换期间，使用块内拷贝(IBC)模式和具有运动矢量差的merge(MMVD)模式，其中在所述IBC模式中，所述当前视频块使用的至少一个参考图片是所述当前视频块所位于的所述当前图片，并且在所述MMVD模式中，基于merge运动候选列表来推导视频块的运动矢量，并通过至少一个运动矢量差进一步细化。
1.40.如示例1.39所述的方法，其中，所述MMVD模式使用具有参考当前图片的至少一个参考图片的基本MV候选。
1.41.如示例1.40所述的方法，其中所述MMVD基于至少一个参考所述当前图片的MV，并且如果存在不参考所述当前图片的MV则将其省略。
1.42.如示例1.41所述的方法，其中由所述MMVD信令通知的距离为整数。
1.43.如示例1.41所述的方法，其中所述MMVD是单向预测的。
1.44.如示例1.39所述的方法，其中如果所述MMVD模式使用具有不参考所述当前图片的至少一个参考图片的基本MV候选，所述MMVD基于不参考所述当前图片的至少一个MV，并且如果存在参考所述当前图片的MV则将其省略。
1.45.一种用于视频处理的方法，包括：进行视频的当前视频块和视频的比特流表示之间的转换；其中在所述转换期间，使用块内拷贝(IBC)模式和帧间-帧内预测模式，其中在所述IBC模式中，所述当前视频块使用的至少一个参考图片是所述当前视频块所位于的所述当前图片，并且在所述帧间-帧内预测模式中，至少基于帧内预测信号和帧间预测信号生成所述当前视频块的预测信号。
1.46.如示例1.45所述的方法，其中将被帧间-帧内预测的merge候选具有参考所述当前图片的至少一个参考图片。
1.47.如示例1.46所述的方法，其中所述帧间-帧内预测基于参考所述当前图片的至少一个MV，并且如果存在不参考所述当前图片的MV则将其省略。
1.48.如示例1.45所述的方法，其中所述帧间-帧内预测模式的帧内预测部分不包括边界过滤。
1.49.如示例1.45所述的方法，其中所述帧间-帧内预测模式的帧内预测部分不包括位置决定的预测组合(PDPC)。
1.50.如示例1.45所述的方法，其中所述帧间-帧内预测模式的帧内预测部分包括以下至少一个：最可能模式选择(MPM)、DC预测模式、水平预测模式或垂直预测模式。
1.51.如示例1.45所述的方法，其中所述帧间-帧内预测模式的帧间预测部分是单向预测。
1.52.如示例1.45-1.51的任一项所述的方法，其中如果将被帧间-帧内预测的merge候选具有不参考所述当前图片的至少一个参考图片，进行基于不参考所述当前图片的至少一个MV的帧间-帧内预测，并且如果存在参考所述当前图片的所述MV则将其省略。
1.53.一种用于视频处理的方法，包括：在当前视频块和所述当前视频块的比特流表示之间的转换期间，确定不同于IBC模式的至少一个编解码方法的解码的信息，其中在所述IBC模式中，所述当前视频块使用的至少一个参考图片是所述当前视频块所位于的所述当前图片；基于所述解码的信息，确定是否在所述当前视频块的比特流表示中跳过所述当前视频块的IBC标志的信令通知，其中所述IBC标志与所述IBC模式有关；以及基于所述确定进行所述转换。
1.54.如示例1.53所述的方法，其中所述转换包括将所述当前视频块编码为所述比特流表示。
1.55.如示例1.53所述的方法，其中所述转换包括将所述当前视频块的比特流表示解码为所述当前视频块以生成所述当前视频块的像素值。
1.56.如示例1.53-1.55的任一个所述的方法，还包括：如果在所述确定步骤中确定不跳过所述IBC标志的信令通知，则在所述比特流表示中信令通知所述当前视频块的所述IBC标志；否则，避免在所述比特流表示中信令通知所述当前视频块的所述IBC标志。
1.57.如示例1.53-1.56的任一个所述的方法，其中当所述编解码方法的解码信息包括以下至少一个：仿射标志、帧间-帧内预测标志、广义双向预测预测(GBi)索引、具有运动矢量差的merge(MMVD)信息、可选时域运动矢量预测(ATMVP)信息时，确定跳过所述IBC标志的信令通知。
1.58.一种用于视频处理的方法，包括：在当前视频块和所述当前视频块的比特流表示之间的转换期间，其中所述当前视频块包括使用第一编解码结构树编解码的亮度分量，以及使用不同于所述第一编解码结构树的第二编解码结构树编解码的色度分量，从所述当前视频块的亮度分量的一个或多个对应块的第二运动矢量信息中推导色度块的第一运动矢量信息；基于所述第一运动矢量信息和所述第二矢量信息进行所述转换。
1.59.如示例1.58所述的方法，其中所述转换包括将所述当前视频块编码为所述比特流表示。
1.60.如示例1.58所述的方法，其中所述转换包括将所述当前视频块的比特流表示解码为所述当前视频块以生成所述当前视频块的像素值。
1.61.如示例1.58所述的方法，其中所述第一运动矢量信息被用作MV预测或merge候选以推导所述第二运动向量信息。
1.62.如示例1.58-1.61的任一个所述的方法，其中所述亮度分量的一个或多个对应块位于所述当前视频块的左上位置、右上位置、左下位置、右下位置和/或中心位置。
1.63.如示例1.62所述的方法，还包括：确定所述色度分量的颜色格式是否不同于4：4：4的颜色格式；以及当确定所述色度分量的颜色格式不同于4：4：4的颜色格式时，缩放所述当前视频块以确定所述亮度分量的一个或多个对应块。
1.64.如示例1.58-1.60的任一个所述的方法，其中所述当前视频块使用块内拷贝(IBC)模式编解码。
1.65.如示例1.64所述的方法，其中对所述当前视频块的高度和宽度的第一组限制与对不同于所述当前视频块的帧内编解码视频块的高度和宽度的第二组限制不同。
1.66.如示例1.65所述的方法，其中当所述当前视频块使用块内拷贝模式编解码时，所述当前视频块的宽度大于2并且所述高度大于2，当所述当前视频块使用所述IBC模式编解码时，所述当前视频块的宽度大于或等于2并且所述高度大于或等于2。
1.67.一种视频系统中的装置，包括处理器和其上具有指令的非瞬时性存储器，其中当由所述处理器执行所述指令时，使得所述处理器实现如示例1.1至1.66的任一个所述的方法。
1.68.一种计算机程序产品，储存在非瞬时性计算机可读介质上，所述计算机程序产品包括程序代码，该程序代码用于执行如示例1.1至1.66中任一项所述的方法。
2.1.一种用于视频处理的方法，包括：确定是否对当前视频块应用块内拷贝(IBC)模式，在所述块内拷贝(IBC)模式中，由所述当前视频块使用的至少一个参考图片与所述当前视频块所位于的图片相同；信令通知所述IBC模式是否应用于所述当前视频块；基于确定所述IBC模式应用于所述当前视频块，避免信令通知预测模式的组的标志；以及基于所述IBC模式的应用，进行所述当前视频块的转换。
2.2.如示例2.1所述的方法，其中所述转换包括将所述当前视频块编码为所述比特流表示。
2.3.如示例2.1或2.2所述的方法，其中预测模式的所述组包括仿射模式，其中所述仿射模式使用至少一个控制点运动矢量。
2.4.如示例2.3所述的方法，其中确定是否对所述当前视频块应用所述IBC模式在信令通知仿射标志之前进行；并且所述方法还包括：如果确定对所述当前视频块应用所述IBC模式，则避免信令通知所述仿射标志；以及否则，信令通知所述仿射标志。
2.5.如示例2.4所述的方法，其中当所述仿射标志没有被信令通知时，所述仿射标志被推断为0。
2.6.如示例2.1-2.5的任一项中所述的方法，其中，预测模式的所述组包括广义双向预测(GBi)模式，其中在GBi模式中，不同的加权值与不同的参考图片相关。
2.7.如示例2.6所述的方法，其中确定是否对所述当前视频块应用所述IBC模式发生在信令通知GBi索引之前；并且所述方法还包括：如果确定所述IBC模式应用于所述当前视频块，则避免信令通知GBi加权指数，and否则，信令通知所述GBi加权指数。
2.8.如示例2.7所述的方法，其中当所述GBi加权指数没有被信令通知时，由所述GBi使用的所述参考图片的加权值被推断为0。
2.9.一种用于视频处理的方法，包括：解析比特流以确定是否对所述当前视频块应用块内拷贝(IBC)模式，在所述块内拷贝(IBC)模式中，由所述当前视频块使用的至少一个参考图片与所述当前视频块所位于的图片相同；基于所述IBC模式的应用，进行所述当前视频块的转换，其中基于确定将所述CPR应用于所述当前视频块，从所述比特流中排除预测模式的组的标志。
2.10.如示例2.9所述的方法，其中所述转换包括将所述当前视频块的比特流表示解码为所述当前视频块以生成所述当前视频块的像素值。
2.11.如示例2.9或2.10所述的方法，其中所述预测模式的所述标志被推断为0。
2.12.如示例2.9-2.11的任一项中所述的方法，其中预测模式的所述组包括以下的至少一个：仿射模式，其中使用至少一个控制点运动矢量，帧间-帧内预测模式，其中至少基于帧内预测信号和帧间预测信号生成所述当前视频块的预测信号，广义双向预测预测(GBi)模式，具有不等的加权，具有运动矢量差的merge(MMVD)模式，其中视频块的运动矢量基于merge运动候选列表推导并且由至少一个运动矢量差进一步细化，and可选时域运动矢量预测(ATMVP)模式，其中所述当前视频块的子块的运动信息基于由所述当前视频块的空域相邻块的运动信息确定的对应块。
2.13.一种视频系统中的装置，包括处理器和其上具有指令的非瞬时性存储器，其中当由所述处理器执行所述指令时，使得所述处理器实现示例2.1至2.12的任一项中所述的方法。
2.14.一种计算机程序产品，储存在非瞬时性计算机可读介质上，所述计算机程序产品包括程序代码，该程序代码用于执行如示例2.1至2.12中任一项所述的方法。
2.15.一种视频解码装置，包括处理器，其被配置为实现示例2.1至2.12的任一项中所述的方法。
2.16.一种视频编码装置，包括处理器，其被配置为实现示例2.1至2.12的任一项中所述的方法。
3.1.一种用于视频处理的方法，包括：在获取当前视频块的运动信息的过程中，在所述当前视频块和所述当前视频块的比特流表示之间的转换期间，其中所述当前视频块的运动信息基于所述当前视频块的至少一个相邻块的至少一个仿射模型，确定所述当前视频块的相邻块是否使用块内拷贝(IBC)模式，在所述块内拷贝(IBC)模式中，由所述相邻块使用的至少一个参考图片与所述相邻块所位于的图片相同；基于确定所述相邻块使用所述IBC模式，禁止为所述当前视频块从所述相邻块推导仿射候选；以及基于所述当前视频块的运动信息进行所述转换。
3.2.如示例3.1所述的方法，其中所述转换包括将所述当前视频块编码为所述比特流表示。
3.3.如示例3.1所述的方法，其中所述转换包括解码所述当前视频块的比特流表示以生成所述当前视频块的像素值。
3.4.如示例3.1-3.3的任一项中所述的方法，其中所述方法还包括：基于确定所述相邻块不使用所述IBC模式，从所述相邻块推导所述当前视频块的仿射候选。
3.5.如示例3.1-3.4的任一项中所述的方法，其中所述仿射候选包括仿射merge候选，并且其中所述仿射候选在子块merge候选列表中。
3.6.如示例3.5所述的方法，其中基于确定所述相邻块使用所述IBC模式，所述相邻块被当作不可用。
3.7.如示例3.1-3.4的任一项中所述的方法，其中所述仿射候选包括仿射高级运动矢量预测(AMVP)候选，并且其中所述仿射候选在仿射AMVP列表中。
3.8.如示例3.7所述的方法，其中基于确定所述相邻块使用所述IBC模式，所述相邻块被当作不可用。
3.9.一种视频系统中的装置，包括处理器和其上具有指令的非瞬时性存储器，其中当由所述处理器执行所述指令时，使得所述处理器实现如示例3.1至3.8的任一项中所述的方法。
3.10.一种计算机程序产品，储存在非瞬时性计算机可读介质上，所述计算机程序产品包括程序代码，该程序代码用于执行如示例3.1至3.8中任一项所述的方法。
3.11.一种视频解码装置，包括处理器，其被配置为实现如示例3.1至3.8的一个或多个所述的方法。
3.12.一种视频编码装置，包括处理器，其被配置为实现如示例3.1至3.8的一个或多个所述的方法。
4.1.一种用于视频处理的方法，包括：在当前视频块和所述当前视频块的比特流表示之间的转换期间，在基于子块的时域运动矢量预测(SbTMVP)模式的基础上，将当前视频块划分为子块；基于所述当前视频块的空域相邻块的运动信息，在具有时域矢量的运动源图片中为子块识别对应块；基于所述对应块的编解码的模式信息，从所述子块的对应块生成所述子块的运动矢量和参考索引；基于所述生成的运动矢量和参考索引进行所述转换。
4.2.如示例4.1所述的方法，其中所述运动源图片为所述当前视频块的并置的参考图片。
4.3.如示例4.1至4.2的任一项所述的方法，其中所述对应块以块内拷贝(IBC)模式编解码，其中所述对应块的参考块包括所述对应块所在的图片中的至少一个像素。
4.4.如示例4.3所述的方法，还包括：在所述转换期间将所述对应块当作不可用。
4.5.如示例4.4所述的方法，还包括：避免从所述对应块推导所述子块的所述运动矢量和所述参考图片。
4.6.如示例4.5所述的方法，还包括：将默认运动信息分配给所述当前视频块。
4.7.如示例4.3所述的方法，其中所述对应块被当作为可用的，并且从所述对应块推导所述子块的所述运动矢量和所述参考图片。
4.8.如示例4.7所述的方法，其中所述子块的运动矢量从与所述对应块相关联的运动矢量拷贝。
4.9.如示例4.1所述的方法，其中如果所述空域相邻块使用IBC模式，则该空域相邻块被当作不可用，其中所述空域相邻块的参考块包括所述空域块所在的图片中的至少一个像素。
4.10.一种用于视频处理的方法，包括：在当前视频块和所述当前视频块的比特流表示之间的转换期间，在基于子块的时域运动矢量预测(SbTMVP)模式的基础上，将当前视频块划分为子块；基于所述当前视频块的空域相邻块的编解码的模式信息，在具有时域矢量的运动源图片中为子块识别对应块；从所述子块的对应块生成所述子块的运动矢量和参考索引；基于所述生成的运动矢量和参考索引进行所述转换。
4.11.如示例4.10所述的方法，其中所述运动源图片是所述当前视频块的并置参考图片。
4.12.如示例4.10至4.11的任一项所述的方法，其中所述空域相邻块用块内拷贝(IBC)模式编解码，其中所述空域相邻块的参考块包括所述空域相邻块所在的图片中的至少一个像素。
4.13.如示例4.12所述的方法，还包括：在所述转换期间将所述空域相邻块当作不可用。
4.14.如示例4.13所述的方法，还包括：基于所述空域相邻块的运动矢量避免识别所述对应块。
4.15.如示例4.14所述的方法，还包括：分配默认运动信息以识别所述对应块。
4.16.如示例4.1至4.15的任一项所述的方法，其中所述转换包括将所述当前视频块编码为所述比特流表示。
4.17.如示例4.1至4.15的任一项所述的方法，其中所述转换包括解码所述当前视频块的比特流表示以生成所述当前视频块的像素值。
4.18.一种视频系统中的装置，包括处理器和其上具有指令的非瞬时性存储器，其中当由所述处理器执行所述指令时，使得所述处理器实现如示例4.1至4.15的任一项所述的方法。
4.19.一种计算机程序产品，储存在非瞬时性计算机可读介质上，该计算机程序产品包括用于执行示例4.1至4.15中的任一项的方法的程序代码。
4.20.一种视频解码装置，包括处理器，其被配置为实现如示例4.1至4.15的一个或多个中所述的方法。
4.21.一种视频编码装置，包括处理器，其被配置为实现如示例4.1至4.15的一个或多个中所述的方法。
从前述内容可以理解，本文已经出于说明的目的描述了本公开技术的具体实施例，但是在不脱离本发明的范围的情况下可以进行各种修改。因此，除了所附权利要求之外，本发明所公开的技术不受限制。
本专利文件描述的主题和功能操作的实现方式可以以各种系统实现，以数字电子电路实现，或者以计算机软件、固件或硬件实现，包括本说明书中公开的结构及其结构等同物，或者以它们中的一个或多个的组合实现。本说明书所描述的主题的实现方式可以实现为一个或多个计算机程序产品，即，在有形和非暂时性计算机可读介质上编码的一个或多个计算机程序指令模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组合、或者它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或者它们中的一个或多个的组合的代码。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式来部署计算机程序，包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其它单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其它程序或数据的文件的一部分中(例如，存储在标记语言文件中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。可以部署计算机程序以在一个计算机上或在位于一个站点上或分布在多个站点上并由通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
举例来说，适合于执行计算机程序的处理器包括通用和专用微处理器、以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括或可操作地耦合到用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，以从该一个或多个大容量存储设备接收数据，或将数据传递到该一个或多个大容量存储设备，或者既接收又传递数据。然而，计算机不需要具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，举例来说，包括半导体存储器设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
旨在将说明书与附图一起仅视为示例性的，其中示例性意味着示例。如本文所使用的，除非上下文另有明确指示，否则“或”的使用旨在包括“和/或”。
虽然本专利文件包含许多细节，但这些细节不应被解释为对任何发明或可要求保护的范围的限制，而是作为特定于特定发明的特定实施例的特征的描述。在本专利文件中，在分开的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以分开地或以任何合适的子组合在多个实施例中实现。此外，尽管上面的特征可以描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下，可以从所要求保护的组合中去除来自该组合的一个或多个特征，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为要求以所示的特定顺序或按顺序执行这样的操作，或者执行所有示出的操作，以实现期望的结果。此外，在本专利文件中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都要求这样的分离。
仅描述了几个实现方式和示例，并且可以基于本专利文件中描述和示出的内容来做出其它实现方式、增强和变型。

Claims (21)

1.一种用于视频处理的方法，包括：
在获取当前视频块的运动信息的过程中，在所述当前视频块和所述当前视频块的比特流表示之间的转换期间，其中所述当前视频块的运动信息基于所1.一种用于视频处理的方法，包括：
在当前视频块和所述当前视频块的比特流表示之间的转换期间，在基于子块的时域运动矢量预测(SbTMVP)模式的基础上，将当前视频块划分为子块；
基于所述当前视频块的空域相邻块的运动信息，在具有时域矢量的运动源图片中为子块识别对应块；
基于所述对应块的编码的模式信息，从所述子块的对应块生成所述子块的运动矢量和参考索引；
基于所述生成的运动矢量和参考索引进行所述转换。
2.如权利要求1所述的方法，其中所述运动源图片是所述当前视频块的并置参考图片。
3.如权利要求1-2的任一项所述的方法，其中所述对应块以块内拷贝(IBC)模式编码，其中所述对应块的参考块包括所述对应块所在的图片中的至少一个像素。
4.如权利要求3所述的方法，还包括：
在所述转换期间将所述对应块当作不可用。
5.如权利要求4所述的方法，还包括：
避免从所述对应块推导所述子块的所述运动矢量和所述参考图片。
6.如权利要求5所述的方法，还包括：
将默认运动信息分配给所述当前视频块。
7.如权利要求3所述的方法，其中所述对应块被当作为可用的，并且从所述对应块推导所述子块的所述运动矢量和所述参考图片。
8.如权利要求7所述的方法，其中所述子块的运动矢量从与所述对应块相关联的运动矢量拷贝。
9.如权利要求1所述的方法，其中如果所述空域相邻块使用IBC模式，则该空域相邻块被当作不可用，其中所述空域相邻块的参考块包括所述空域相邻块所在的图片中的至少一个像素。
10.一种用于视频处理的方法，包括：
在当前视频块和所述当前视频块的比特流表示之间的转换期间，在基于子块的时域运动矢量预测(SbTMVP)模式的基础上，将当前视频块划分为子块；
基于所述当前视频块的空域相邻块的编码的模式信息，在具有时域矢量的运动源图片中为子块识别对应块；
从所述子块的对应块生成所述子块的运动矢量和参考索引；
基于所述生成的运动矢量和参考索引进行所述转换。
11.如权利要求10所述的方法，其中所述运动源图片是所述当前视频块的并置参考图片。
12.如权利要求10-11的任一项所述的方法，其中所述空域相邻块用块内拷贝(IBC)模式编码，其中所述空域相邻块的参考块包括所述空域相邻块所在的图片中的至少一个像素。
13.如权利要求12所述的方法，还包括：
在所述转换期间将所述空域相邻块当作不可用。
14.如权利要求13所述的方法，还包括：
基于所述空域相邻块的运动矢量，避免识别所述对应块。
15.如权利要求14所述的方法，还包括：
分配默认运动信息以识别所述对应块。
16.如权利要求1-15的任一项所述的方法，其中所述转换包括将所述当前视频块编码为所述比特流表示。
17.如权利要求1-15的任一项所述的方法，其中所述转换包括解码所述当前视频块的比特流表示以生成所述当前视频块的像素值。
18.一种视频系统中的装置，包括处理器和其上具有指令的非瞬时性存储器，其中当由所述处理器执行所述指令时，使得所述处理器实现如权利要求1到15的任一项中所述的方法。
19.一种计算机程序产品，储存在非瞬时性计算机可读介质上，所述计算机程序产品包括用于执行如权利要求1到15的任一项中所述的方法的程序代码。
20.一种视频解码装置，包括处理器，其被配置为实现如权利要求1到15的一个或多个中所述的方法。
21.一种视频编码装置，包括处理器，其被配置为实现如权利要求1到15的一个或多个中所述的方法。
CN201980077207.XA 2018-11-29 2019-11-29 块内拷贝模式和基于子块的运动矢量预测模式之间的交互 Active CN113196772B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2018/118167 2018-11-29
CN2018118167 2018-11-29
PCT/CN2019/122198 WO2020108652A1 (en) 2018-11-29 2019-11-29 Interaction between intra block copy mode and sub-block based motion vector prediction mode

Publications (2)

Publication Number Publication Date
CN113196772A true CN113196772A (zh) 2021-07-30
CN113196772B CN113196772B (zh) 2024-08-02

Family

ID=70851922

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201980077180.4A Active CN113170099B (zh) 2018-11-29 2019-11-29 块内拷贝模式和帧间预测工具之间的交互
CN201980077186.1A Active CN113170181B (zh) 2018-11-29 2019-11-29 块内拷贝模式中的仿射继承方法
CN201980077207.XA Active CN113196772B (zh) 2018-11-29 2019-11-29 块内拷贝模式和基于子块的运动矢量预测模式之间的交互
CN201980077195.0A Pending CN113170167A (zh) 2018-11-29 2019-11-29 块内拷贝模式中的标志指示方法
CN202311458574.9A Pending CN117915083A (zh) 2018-11-29 2019-11-29 块内拷贝模式和帧间预测工具之间的交互

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201980077180.4A Active CN113170099B (zh) 2018-11-29 2019-11-29 块内拷贝模式和帧间预测工具之间的交互
CN201980077186.1A Active CN113170181B (zh) 2018-11-29 2019-11-29 块内拷贝模式中的仿射继承方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201980077195.0A Pending CN113170167A (zh) 2018-11-29 2019-11-29 块内拷贝模式中的标志指示方法
CN202311458574.9A Pending CN117915083A (zh) 2018-11-29 2019-11-29 块内拷贝模式和帧间预测工具之间的交互

Country Status (6)

Country Link
US (4) US11095917B2 (zh)
EP (2) EP4307681A3 (zh)
JP (2) JP7212161B2 (zh)
KR (1) KR102695787B1 (zh)
CN (5) CN113170099B (zh)
WO (4) WO2020108651A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11317099B2 (en) 2018-10-05 2022-04-26 Tencent America LLC Method and apparatus for signaling an offset in video coding for intra block copy and/or inter prediction
KR20230128587A (ko) * 2018-10-27 2023-09-05 후아웨이 테크놀러지 컴퍼니 리미티드 서브블록 병합 후보를 위한 개별적인 병합 목록 및 비디오 코딩을 위한 인트라-인터 기술 조화
EP4307681A3 (en) 2018-11-29 2024-04-03 Beijing Bytedance Network Technology Co., Ltd. Interaction between intra block copy mode and inter prediction tools
WO2020131659A2 (en) * 2018-12-17 2020-06-25 Interdigital Vc Holdings, Inc. Mmvd and smvd combination with motion and prediction models
US11758132B2 (en) * 2018-12-28 2023-09-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder and decoder, encoding method and decoding method with complexity handling for flexibly sized picture partitions
US12088809B2 (en) * 2018-12-28 2024-09-10 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium in which bitstream is stored
CN111385575A (zh) * 2018-12-29 2020-07-07 华为技术有限公司 帧间预测方法、装置以及相应的编码器和解码器
KR102443965B1 (ko) * 2019-01-01 2022-09-19 엘지전자 주식회사 히스토리 기반 모션 벡터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
WO2020140242A1 (zh) * 2019-01-03 2020-07-09 北京大学 视频处理方法和装置
US11330283B2 (en) * 2019-02-01 2022-05-10 Tencent America LLC Method and apparatus for video coding
WO2020156538A1 (en) 2019-02-03 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interaction between mv precisions and mv difference coding
CN113424533B (zh) 2019-02-14 2024-09-10 北京字节跳动网络技术有限公司 复杂度降低的解码器侧运动推导
EP3928513A4 (en) * 2019-02-20 2022-09-21 Beijing Dajia Internet Information Technology Co., Ltd. METHODS AND APPARATUS FOR ROUNDING, SHAPING AND STORING MOTION VECTOR FOR INTERPREDICTION
CN116939199A (zh) * 2019-03-11 2023-10-24 日本放送协会 图像编码装置、图像解码装置和程序
BR112021021337A2 (pt) * 2019-04-25 2022-01-18 Op Solutions Llc Codificação eficiente de vetores de movimento global
KR102627834B1 (ko) 2019-05-11 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 프로세싱에서의 코딩 툴들의 선택적 사용
JP7323641B2 (ja) 2019-05-21 2023-08-08 北京字節跳動網絡技術有限公司 アフィンモードのための適応動きベクトル差分分解
CN113940082A (zh) 2019-06-06 2022-01-14 北京字节跳动网络技术有限公司 基于子块的帧内块复制和不同编解码工具之间的交互
WO2020253650A1 (en) 2019-06-16 2020-12-24 Beijing Bytedance Network Technology Co., Ltd. Interaction between screen content coding tools and motion information
CN113950831A (zh) * 2019-06-17 2022-01-18 韩国电子通信研究院 基于帧内块复制的编/解码方法、装置和比特流存储介质
WO2020259426A1 (en) 2019-06-22 2020-12-30 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction for intra block copy mode
WO2020260280A1 (en) * 2019-06-25 2020-12-30 Interdigital Vc Holdings France, Sas Motion vector prediction in video encoding and decoding
EP3984227A4 (en) 2019-07-27 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. TOOL USE RESTRICTIONS BASED ON TYPES OF REFERENCE IMAGES
WO2021027774A1 (en) 2019-08-10 2021-02-18 Beijing Bytedance Network Technology Co., Ltd. Subpicture dependent signaling in video bitstreams
CN114365488A (zh) 2019-09-09 2022-04-15 北京字节跳动网络技术有限公司 视频编解码块的递归划分
WO2021068954A1 (en) 2019-10-12 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. High level syntax for video coding tools
CN114631317B (zh) 2019-10-18 2024-03-15 北京字节跳动网络技术有限公司 子图片的参数集信令中的语法约束
WO2021160168A1 (en) * 2020-02-14 2021-08-19 Beijing Bytedance Network Technology Co., Ltd. Reference picture resampling activation in video coding
US11622122B2 (en) * 2020-03-19 2023-04-04 FG Innovation Company Limited Video coding device and method for determining an MVP candidate list
WO2021204063A1 (en) * 2020-04-07 2021-10-14 FG Innovation Company Limited Device and method for coding video data
WO2021244419A1 (en) * 2020-05-31 2021-12-09 Beijing Bytedance Network Technology Co., Ltd. Constraint signaling using general constraint information syntax element
JP2023006877A (ja) * 2021-06-30 2023-01-18 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
WO2023038447A1 (ko) * 2021-09-08 2023-03-16 현대자동차주식회사 비디오 부호화/복호화 방법 및 장치
US20230079960A1 (en) * 2021-09-15 2023-03-16 Tencent America LLC On propagating intra prediction mode information of ibc block by using block vector
CN118355659A (zh) * 2021-09-25 2024-07-16 抖音视界有限公司 用于视频处理的方法、装置和介质
CN118303025A (zh) * 2021-10-12 2024-07-05 Lg 电子株式会社 图像解码方法及其设备
WO2023132614A1 (ko) * 2022-01-04 2023-07-13 현대자동차주식회사 머지 모드를 개선하는 비디오 부호화/복호화 방법 및 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150030073A1 (en) * 2013-07-24 2015-01-29 Qualcomm Incorporated Sub-pu motion prediction for texture and depth coding
CN107079161A (zh) * 2014-09-01 2017-08-18 寰发股份有限公司 用于屏幕内容以及视频编码的帧内图片块复制的方法
US20170289566A1 (en) * 2014-09-26 2017-10-05 Vid Scale, Inc. Intra block copy coding with temporal block vector prediction
CN107409220A (zh) * 2015-01-29 2017-11-28 Vid拓展公司 块内拷贝搜索
CN107690809A (zh) * 2015-06-11 2018-02-13 高通股份有限公司 使用空间及/或时间运动信息的子预测单元运动向量预测
US20180070105A1 (en) * 2016-09-07 2018-03-08 Qualcomm Incorporated Sub-pu based bi-directional motion compensation in video coding
US20180288430A1 (en) * 2017-03-30 2018-10-04 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-pu tmvp) for video coding
WO2018210315A1 (en) * 2017-05-18 2018-11-22 Mediatek Inc. Method and apparatus of motion vector constraint for video coding

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013228045A1 (en) * 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US9762927B2 (en) * 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
GB2519070A (en) * 2013-10-01 2015-04-15 Sony Corp Data encoding and decoding
WO2015054813A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
WO2015054811A1 (en) 2013-10-14 2015-04-23 Microsoft Corporation Features of intra block copy prediction mode for video and image coding and decoding
CN105684409B (zh) 2013-10-25 2019-08-13 微软技术许可有限责任公司 在视频和图像编码和解码中使用散列值来表示各块
KR20160075705A (ko) 2013-10-25 2016-06-29 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩에서의 해시 기반 블록 매칭
WO2015074047A1 (en) * 2013-11-18 2015-05-21 Arris Enterprises, Inc. Intra block copy for intra slices in high efficiency video coding (hevc)
US9883197B2 (en) 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US9860559B2 (en) * 2014-03-17 2018-01-02 Mediatek Singapore Pte. Ltd. Method of video coding using symmetric intra block copy
US20170195677A1 (en) * 2014-05-22 2017-07-06 Mediatek Inc. Method of Intra Block Copy with Flipping for Image and Video Coding
EP3158734A1 (en) * 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
CN106464921B (zh) 2014-06-19 2019-10-15 Vid拓展公司 用于块内复制搜索增强的方法和系统
CN105392008B (zh) * 2014-08-22 2018-09-25 中兴通讯股份有限公司 一种预测编、解码方法和相应的编、解码器和电子设备
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
US10212445B2 (en) * 2014-10-09 2019-02-19 Qualcomm Incorporated Intra block copy prediction restrictions for parallel processing
KR20160059513A (ko) * 2014-11-18 2016-05-27 광운대학교 산학협력단 스크린 콘텐츠 코딩을 위한 고속 화면 내 부호화 모드 결정 방법
US10230980B2 (en) * 2015-01-26 2019-03-12 Qualcomm Incorporated Overlapped motion compensation for video coding
US11477477B2 (en) * 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
WO2016123388A1 (en) 2015-01-29 2016-08-04 Vid Scale, Inc. Palette coding modes and palette flipping
US10638140B2 (en) * 2015-05-29 2020-04-28 Qualcomm Incorporated Slice level intra block copy and other video coding improvements
WO2016196843A1 (en) * 2015-06-03 2016-12-08 Apple Inc. Techniques for resource conservation during performance of intra block copy prediction searches
KR102539009B1 (ko) * 2015-06-08 2023-05-31 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 인트라 블록 카피 모드
US10178403B2 (en) 2015-06-23 2019-01-08 Qualcomm Incorporated Reference picture list construction in intra block copy mode
KR102264767B1 (ko) * 2015-07-27 2021-06-14 미디어텍 인크. 인트라 블록 복사 모드를 이용한 비디오 코딩을 위한 시스템의 방법
US10404992B2 (en) * 2015-07-27 2019-09-03 Qualcomm Incorporated Methods and systems of restricting bi-prediction in video coding
US20170099490A1 (en) * 2015-10-02 2017-04-06 Qualcomm Incorporated Constrained intra-prediction for block copy mode
WO2017118411A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
ES2737841B1 (es) * 2016-02-25 2021-07-27 Kt Corp Método y aparato para procesar señales de vídeo
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
US10638152B2 (en) * 2016-03-15 2020-04-28 Mediatek Inc. Method and apparatus of video coding with affine motion compensation
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
RU2710667C1 (ru) * 2016-05-28 2019-12-30 МедиаТек Инк. Способ и устройство привязки к текущему изображению для кодирования видео
US20180109814A1 (en) * 2016-10-14 2018-04-19 Mediatek Inc. Method And Apparatus Of Coding Unit Information Inheritance
US20180109810A1 (en) * 2016-10-17 2018-04-19 Mediatek Inc. Method and Apparatus for Reference Picture Generation and Management in 3D Video Compression
US10681370B2 (en) * 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US20180310017A1 (en) * 2017-04-21 2018-10-25 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-pu tmvp) for video coding
US10805630B2 (en) * 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation
US20180376148A1 (en) 2017-06-23 2018-12-27 Qualcomm Incorporated Combination of inter-prediction and intra-prediction in video coding
US10687071B2 (en) 2018-02-05 2020-06-16 Tencent America LLC Method and apparatus for video coding
KR20210016581A (ko) 2018-06-05 2021-02-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Ibc 및 atmvp 간의 상호 작용
CN110662059B (zh) 2018-06-29 2021-04-20 北京字节跳动网络技术有限公司 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
US10958934B2 (en) 2018-07-27 2021-03-23 Tencent America LLC History-based affine merge and motion vector prediction
EP4307681A3 (en) 2018-11-29 2024-04-03 Beijing Bytedance Network Technology Co., Ltd. Interaction between intra block copy mode and inter prediction tools

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150030073A1 (en) * 2013-07-24 2015-01-29 Qualcomm Incorporated Sub-pu motion prediction for texture and depth coding
CN107079161A (zh) * 2014-09-01 2017-08-18 寰发股份有限公司 用于屏幕内容以及视频编码的帧内图片块复制的方法
US20170289566A1 (en) * 2014-09-26 2017-10-05 Vid Scale, Inc. Intra block copy coding with temporal block vector prediction
CN107409220A (zh) * 2015-01-29 2017-11-28 Vid拓展公司 块内拷贝搜索
CN107690809A (zh) * 2015-06-11 2018-02-13 高通股份有限公司 使用空间及/或时间运动信息的子预测单元运动向量预测
US20180070105A1 (en) * 2016-09-07 2018-03-08 Qualcomm Incorporated Sub-pu based bi-directional motion compensation in video coding
US20180288430A1 (en) * 2017-03-30 2018-10-04 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-pu tmvp) for video coding
WO2018210315A1 (en) * 2017-05-18 2018-11-22 Mediatek Inc. Method and apparatus of motion vector constraint for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUHONG WANG: "CE4-related: Simplification of ATMVP candidate derivation", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACAO, CN, 3–12 OCT. 2018，JVET-L0198, 12 October 2018 (2018-10-12), pages 1 - 2 *

Also Published As

Publication number Publication date
CN113196772B (zh) 2024-08-02
JP2022508177A (ja) 2022-01-19
KR102695787B1 (ko) 2024-08-14
WO2020108650A1 (en) 2020-06-04
US20210160525A1 (en) 2021-05-27
CN113170181B (zh) 2023-12-08
CN117915083A (zh) 2024-04-19
CN113170099B (zh) 2024-03-29
CN113170099A (zh) 2021-07-23
US11095917B2 (en) 2021-08-17
JP2023052340A (ja) 2023-04-11
EP3871410A4 (en) 2021-12-22
EP4307681A3 (en) 2024-04-03
WO2020108652A1 (en) 2020-06-04
WO2020108651A1 (en) 2020-06-04
US11115676B2 (en) 2021-09-07
CN113170167A (zh) 2021-07-23
US20210160533A1 (en) 2021-05-27
EP4307681A2 (en) 2024-01-17
US11825113B2 (en) 2023-11-21
WO2020108649A1 (en) 2020-06-04
US20240056599A1 (en) 2024-02-15
KR20210094530A (ko) 2021-07-29
US20210377561A1 (en) 2021-12-02
CN113170181A (zh) 2021-07-23
JP7212161B2 (ja) 2023-01-24
EP3871410A1 (en) 2021-09-01

Similar Documents

Publication Publication Date Title
CN113170099B (zh) 块内拷贝模式和帧间预测工具之间的交互
CN113383554A (zh) LUT和共享Merge列表之间的交互
CN113170112A (zh) 用于具有几何分割的帧间预测的构建方法
CN110581992A (zh) 整数运动补偿
CN110662041B (zh) 视频比特流处理的方法和装置，存储视频比特流的方法和非暂时性计算机可读记录介质
CN112970258A (zh) 用于子块预测块的多假设
CN113016183A (zh) 用于空域运动候选列表的构建方法
CN113545076A (zh) 基于图片头中的信息启用bio
CN110858908A (zh) 使用空间邻居的重叠块运动补偿
CN113273205A (zh) 使用更高比特深度精度的运动矢量推导
CN113366839A (zh) 视频编解码中的细化量化步骤
CN113273208A (zh) 仿射预测模式的改进
CN113557720A (zh) 视频编解码中的多假设预测当中的自适应权重

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant