CN114365488A - 视频编解码块的递归划分 - Google Patents

视频编解码块的递归划分 Download PDF

Info

Publication number
CN114365488A
CN114365488A CN202080063234.4A CN202080063234A CN114365488A CN 114365488 A CN114365488 A CN 114365488A CN 202080063234 A CN202080063234 A CN 202080063234A CN 114365488 A CN114365488 A CN 114365488A
Authority
CN
China
Prior art keywords
block
current block
video
transform
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080063234.4A
Other languages
English (en)
Inventor
张莉
张凯
许继征
刘鸿彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN114365488A publication Critical patent/CN114365488A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频处理方法，包括：对于在视频的视频区域中的当前块与视频的编解码表示之间的转换，确定允许基于当前块的特性将当前块划分成多个变换单元。在编解码表示中省略划分的信令通知。该方法还包括基于确定来执行转换。

Description

视频编解码块的递归划分
相关申请的交叉引用
根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求于2019年9月9日提交的国际专利申请No.PCT/CN2019/104869的优先权和利益。出于全部目的，根据法律，上述申请的全部公开内容作为本申请公开内容的一部分通过引用并入。
技术领域
本专利文档涉及视频和图像的编码与解码。
背景技术
尽管视频压缩有所进步，数字视频在互联网和其他数字通信网络上仍占最大的带宽使用量。随着能够接收和显示视频的连接用户设备的数量增加，预计数字视频使用所需的带宽将继续增长。
发明内容
与数字视频编解码相关的装置、系统和方法，特别是与视频和图像的编码与解码相关的装置、系统和方法，其中帧内块复制工具用于编码或解码。
在一个示例方面，公开了一种视频处理方法。该方法包括：对于在视频的视频区域中的当前块与视频的编解码表示之间的转换，确定允许基于当前块的特性将当前块划分成多个变换单元。在编解码表示中省略划分的信令通知。该方法还包括基于确定来执行转换。
在另一示例方面，公开了一种视频处理方法。该方法包括：对于在视频的视频区域中的当前块与视频的编解码表示之间的转换，基于视频区域中的滤波后的重构参考样点，使用帧内块复制(IBC)模型来确定当前块的预测样点。该方法还包括基于确定来执行转换。
在另一示例方面，公开了一种视频处理方法。该方法包括：对于视频的当前块与视频的编解码表示之间的转换，根据规则确定指示使用帧内块复制(IBC)编解码模型的跳过模式的语法元素是否被包括在编解码表示中。规则规定语法元素的信令通知是基于当前块的维度和/或基于使用IBC编解码模型编解码的块的最大允许维度。该方法还包括基于确定来执行转换。
在另一示例方面，公开了一种视频处理方法。该方法包括：对于视频的当前块与视频的编解码表示之间的转换，确定用于编解码与低频不可分变换(LFNST)编解码模型相关联的索引的至少一个上下文。LFNST编解码模型包括：在编码期间，在正主变换与量化步骤之间应用正二次变换；或者在解码期间，在去量化步骤与逆主变换之间应用逆二次变换。正二次变换与逆二次变换的尺寸小于当前块的尺寸。基于当前块的分割类型来确定至少一个上下文，而不考虑正主变换或者逆主变换。该方法还包括根据确定来执行转换。
在另一示例方面，公开了一种视频处理方法。该方法包括：对于视频的视频区域的当前块与视频的编解码表示之间的转换，基于适用于视频区域的最大变换单元尺寸来确定是否启用帧内块复制(IBC)编解码模型。该方法还包括根据确定来执行转换。
在另一示例方面，公开了一种视频处理方法。该方法包括：对于视频的当前块与视频的编解码表示之间的转换，确定当前块的运动矢量的分量的绝对值被划分成两部分，其中，运动矢量表示为(Vx,Vy)，分量表示为Vi，Vi是Vx或者Vy。两部分中的第一部分等于|Vi|-((|Vi|>>N)<<N)，两部分中的第二部分等于|Vi|>>N，N是正整数。两部分在编解码表示中分别编解码。该方法还包括根据确定来执行转换。
在另一示例方面，公开了一种视频处理方法。该方法包括：对于视频的当前块与视频的编解码表示之间的转换，基于变换块的最大允许维度，确定关于允许当前块中的子块变换的当前块的最大维度的信息。该方法还包括根据确定来执行转换。
在另一示例方面，公开了一种视频处理方法。该方法包括：对于基于帧内块复制工具进行的、视频区域中的视频块的编解码表示与视频块之间的转换，确定允许将视频块划分成多个变换单元，其中，确定是基于视频块的编解码条件，编解码表示省略划分的信令通知；以及基于划分来执行转换。
在另一示例方面，公开了一种视频处理方法。该方法包括：对于视频区域的视频块的编解码表示与视频块之间的转换，基于视频区域的最大变换尺寸，确定帧内块复制(IBC)工具是否被启用于视频块的转换；以及基于确定来执行转换。
在另一示例方面，公开了一种视频处理方法。该方法包括：对于视频区域的视频块的编解码表示与视频块之间的转换，确定用于转换的帧内块复制(IBC)工具的信令通知是否包括在编解码表示中；以及基于确定来执行转换，其中，确定是基于视频块的宽度和/或高度以及视频区域的最大允许IBC块尺寸。
在另一示例方面，公开了一种视频处理方法。该方法包括：对于使用帧内块复制(IBC)工具进行的、在视频区域的视频块的编解码表示与视频块之间的转换，确定允许将视频块划分成多个变换单元(TU)以用于转换；以及基于确定来执行转换，其中，转换包括对多个TU使用单独的运动信息。
在另一示例方面，公开了一种视频处理方法。该方法包括：对于视频区域的视频块的编解码表示与视频块之间的转换，确定帧内块复制工具被启用于转换；以及使用帧内块复制工具来执行转换，其中，使用视频区域的滤波后的重构样点来执行视频块的预测。
在另一示例方面，公开了一种视频处理方法。该方法包括：执行包含多个视频块的视频与视频的编解码表示之间的转换，其中，至少一些视频块是使用运动矢量信息编解码的，并且其中基于运动矢量信息的绝对值的第一低有效比特，将运动矢量信息在编解码表示中表示为第一部分，以及基于比第一低有效比特更有效的剩余更高有效比特将运动矢量信息在编解码表示中表示为第二部分。
在另一示例方面，公开了一种视频处理方法。该方法包括：对于视频区域的视频块的编解码表示与视频块之间的转换，确定子块变换工具是否被启用于转换；以及基于确定来执行转换，其中，确定是基于视频区域的最大允许变换块尺寸，并且其中，基于最大允许变换块尺寸，将信令通知有条件地包括在编解码表示中。
在另一示例方面，公开了一种视频处理方法。该方法包括：对于视频区域的视频块的编解码表示与视频块之间的转换，确定在转换期间是否使用低频不可分变换(LFNST)；以及基于确定来执行转换，其中，确定是基于应用于视频块的编解码条件，并且其中，使用两个上下文将LFNST和LFNST的矩阵索引编解码在编解码表示中。
在又一代表性方面，上述方法实现为处理器可执行代码的形式并存储在计算机可读程序介质中。
在又一代表性方面，公开了配置为或可操作为执行上述方法的装置。该装置可以包括被编程为实施该方法的处理器。
在又一代表性方面，视频解码器设备可以实施如本文所述的方法。
附图、说明书和权利要求中更详细描述了本公开技术的以上和其他方面和特征。
附图说明
图1示出了Merge候选列表构建的示例推导过程。
图2示出了空域Merge候选的示例位置。
图3示出了考虑用于空域Merge候选的冗余检查的示例候选对。
图4示出了N×2N和2N×N分割的第二个PU的示例位置。
图5是用于时域Merge候选的运动矢量缩放的图示。
图6示出了时域Merge候选的候选位置C0和C1的示例。
图7示出了组合双向预测Merge候选的示例。
图8示出了运动矢量预测候选的示例推导过程。
图9是用于空域运动矢量候选的运动矢量缩放的图示。
图10示出了用于仿射Merge模式的候选位置的示例。
图11示出了修改后的Merge列表构建过程。
图12示出了基于三角分割的帧间预测的示例。
图13示出了应用第一加权因子组的CU的示例。
图14示出了运动矢量存储的示例。
图15是UMVE搜索处理的示例。
图16示出了UMVE搜索点的示例。
图17是帧内块复制工具的操作的图示。
图18示出了JEM中的二次变换的示例。
图19示出了缩减二次变换(Reduced Secondary Transform,RST)的示例。
图20是可以实现所公开技术的示例视频处理系统的框图。
图21是示例视频处理设备的框图。
图22是视频处理的示例方法的流程图。
图23是根据本技术的视频处理方法的流程图表示。
图24是根据本技术的另一视频处理方法的流程图表示。
图25是根据本技术的另一视频处理方法的流程图表示。
图26是根据本技术的另一视频处理方法的流程图表示。
图27是根据本技术的另一视频处理方法的流程图表示。
图28是根据本技术的另一视频处理方法的流程图表示。
图29是根据本技术的又一视频处理方法的流程图表示。
具体实施方式
所公开的技术的实施例可以应用于现有视频编解码标准(例如，HEVC、H.265)和未来标准以改进压缩性能。在本文档中使用章节标题以提高描述的可读性，并且不以任何方式将讨论或实施例(和/或实现方式)限制于仅相应的部分。
1.概述
本申请文件涉及视频编解码技术。具体地，本申请文件涉及帧内块复制(IBC，又称为当前图片参考(CPR))编解码。其可应用于如HEVC的现有的视频编解码标准，或待定案的标准(通用视频编解码)。其也可能适用于未来的视频编解码标准或视频编解码器。
2.背景
视频编解码标准主要是通过开发众所周知的ITU-T和ISO/IEC标准而发展起来的。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视觉，并且这两个组织联合制作了H.262/MPEG-2视频、H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中采用了时域预测加变换编解码。为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索团队(JVET)。此后，JVET采纳了许多新方法并将其引入到名为联合探索模型(JEM)的参考软件中。在2018年4月，成立了VCEG(Q6/16)与ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家小组(JVET)，以致力于目标在于相比HEVC降低50％比特率的VVC标准。
2.1 HEVC/H.265中的帧间预测
对于帧间编解码的编解码单元(CU)，可以根据分割模式利用一个预测单元(PU)、2个PU对其进行编解码。每个帧间预测的PU都有一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。两个参考图片列表之一的使用也可以使用inter_pred_idc信令通知。运动矢量可显式编解码为相对于预测器的增量。
当CU采用跳过模式编解码时，一个PU与CU相关联，并且没有显著的残差系数，没有编解码的运动矢量增量或参考图片索引。指定了一种Merge模式，通过该模式，可以从临近的PU(包括空域和时域候选)中获取当前PU的运动参数。Merge模式可以应用于任何帧间预测的PU，而不仅仅是跳过模式。Merge模式的另一种选择是运动参数的显式传输，其中运动矢量(更精确地，与运动矢量预测器相比的运动矢量差(MVD))、每个参考图片列表的对应的参考图片索引、以及参考图片列表的使用都会根据每个PU显式地信令通知。在本公开中，这样的模式被命名为高级运动矢量预测(AMVP)。
当信令通知指示要使用两个参考图片列表中的一个时，从样点的一个块中生成PU。这被称为“单向预测”。单向预测对P条带(slice)和B条带都可用。
当信令通知指示要使用两个参考图片列表时，从样点的两个块中生成PU。这被称为“双向预测”。双向预测仅对B条带可用。
下文提供了在HEVC中规定的关于帧间预测模式的细节。描述将从Merge模式开始。
2.1.1参考图片列表
在HEVC中，术语帧间预测用于表示从除了当前解码图片之外的参考图片的数据元素(例如，样点值或运动矢量)推导的预测。如在H.264/AVC中一样，可以从多个参考图片中预测图片。用于帧间预测的参考图片被组织在一个或多个参考图片列表中。参考索引标识列表中的哪些参考图片应用于创建预测信号。
单个参考图片列表(列表0)被用于P条带，并且两个参考图片列表(列表0和列表1)被用于B条带。需要注意的是，列表0/1中包含的参考图片就捕获/显示顺序而言可以是来自过去和将来的图片。
2.1.2 Merge模式
2.1.2.1 Merge模式候选的推导
当使用Merge模式来预测PU时，从比特流中解析指向Merge候选列表中的条目的索引，并将其用于检索运动信息。HEVC标准中规定了此列表的构建，并且能总结为以下步骤顺序：
·步骤1：初始候选推导
ο步骤1.1：空域候选推导
ο步骤1.2：空域候选的冗余检查
ο步骤1.3：时域候选推导
·步骤2：附加候选插入
ο步骤2.1：创建双向预测候选
ο步骤2.2：插入零运动候选
在图1中也示意性地示出了这些步骤，其示出了Merge候选列表重构的示例推导过程。对于空域Merge候选推导，在位于五个不同位置的候选中最多选择四个Merge候选。对于时域Merge候选推导，在两个候选中最多选择一个Merge候选。由于在解码器处假定每个PU的候选数为常量，因此当从步骤1获得的候选数未达到条带标头中信令通知的Merge候选的最大数目(maxNumMergeCand)时，生成附加的候选。由于候选数是恒定的，所以最佳Merge候选的索引使用截断一元二值化(TU)进行编码。如果CU的尺寸等于8，则当前CU的所有PU都共享单个Merge候选列表，这与2N×2N预测单元的Merge候选列表相同。
在下文中，详细描述与前述步骤相关联的操作。
2.1.2.2空域候选推导
在空域Merge候选的推导中，在位于图2所示位置的候选中最多选择四个Merge候选。推导顺序为A1，B1，B0，A0和B2。只有当位置A1，B1，B0，A0的任何PU不可用(例如，因为它属于另一个条带或片)或是帧内编解码时，才考虑位置B2。在增加位置A1的候选后，对剩余候选的增加进行冗余检查，其确保具有相同运动信息的候选被排除在列表之外，从而提高编解码效率。为了降低计算的复杂度，在所提到的冗余检查中并不考虑所有可能的候选对。相反，只有与图3中的箭头链接的对才会被考虑，并且只有当用于冗余检查的对应候选没有相同的运动信息时，才将候选添加到列表中。复制运动信息的另一个来源是与2Nx2N不同的分割相关的“第二PU”。例如，图4分别描述了N×2N和2N×N情况下的第二PU。当当前的PU被分割为N×2N时，对于列表构建不考虑位置A1的候选。实际上，通过添加此候选可能导致两个具有相同运动信息的预测单元，这对于在编解码单元中仅具有一个PU是冗余的。同样地，在当前PU被分割为2N×N时，不考虑位置B1。
2.1.2.3时域候选推导
在此步骤中，仅将一个候选添加至列表中。特别地，在此时域Merge候选的推导中，基于共位图片中的共位PU来推导缩放运动矢量。图5是用于时域Merge候选的运动矢量缩放的图示。如图5中虚线所示的获取时域Merge候选的缩放运动矢量，其使用POC距离tb和td从共位PU的运动矢量进行缩放，其中tb定义为当前图片的参考图片与当前图片之间的POC差，td定义为共位图片的参考图片与共位图片之间的POC差。时域Merge候选的参考图片索引设置为等于零。HEVC规范[1]中描述了缩放过程的实际实现。对于B条带，得到两个运动矢量(一个是对于参考图片列表0，另一个是对于参考图片列表1)并将其组合使其成为双向预测Merge候选。
2.1.2.4共位图片和共位PU
当启用了TMVP时(例如，slice_temporal_mvp_enabled_flag等于1)，表示并置图片的变量ColPic的推导如下：
–如果当前条带是B条带，并且信令通知的collocated_from_l0_flag等于0，则将ColPic设置为等于RefPicList1[collocated_ref_idx]。
–否则(slice_type等于B并且collocated_from_l0_flag等于1，或者slice_type等于P)，将ColPic设置为等于RefPicList0[collocated_ref_idx]。
此处，collocated_ref_idx和collocated_from_l0_flag是两个语法元素，其可以在条带标头中被信令通知。
在属于参考帧的共位PU(Y)中，在候选C0和C1之间选择时域候选的位置，如图6所示。如果位置C0处的PU不可用、是帧内编解码的或在当前编解码树单元(CTU也称为LCU，最大编解码单元)行之外，则使用位置C1。否则，位置C0被用于时域Merge候选的推导。
相关语法元素描述如下：
7.3.6.1通用条带段标头语法
Figure BDA0003539017040000091
2.1.2.5推导TMVP候选的MV
在一些实施例中，执行以下步骤以推导TMVP候选：
1)设置参考图片列表X＝0且目标参考图片为列表X中索引等于0的参考图片(例如，curr_ref)。调用并置运动矢量的推导过程，以获得指向curr_ref的列表X的MV。
2)如果当前条带为B条带，则设置参考图片列表X＝1且目标参考图片为列表X中索引等于0的参考图片(例如，curr_ref)。调用并置运动矢量的推导过程以获得指向curr_ref的列表X的MV。
在下一子章节2.1.2.5.1中描述了并置运动矢量的推导过程。
2.1.2.5.1并置运动矢量的推导过程
对于共位块，可以使用单向预测或双向预测对其进行帧内或帧间编解码。如果是帧内编解码，则将TMVP候选设置为不可用。
如果其是来自列表A的单向预测，则列表A的运动矢量被缩放至目标参考图片列表X。
如果其是双向预测，并且目标参考图片列表为X，则列表A的运动矢量被缩放至目标参考图片列表X，并且根据以下规则来确定A：
–如果没有任何参考图片具有比当前图片更大的POC值，则将A设置为等于X。
–否则，将A设置为等于collocated_from_l0_flag。
2.1.2.6附加候选插入
除了空域和时域Merge候选，还有两种附加类型的Merge候选：组合双向预测Merge候选和零Merge候选。组合双向预测Merge候选是利用空域和时域Merge候选生成的。组合双向预测Merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一候选的第二参考图片列表运动参数相结合，生成组合双向预测候选。如果这两个元组提供不同的运动假设，它们将形成新的双向预测候选。图7示出了组合双向预测Merge候选的示例。作为示例，图7示出了以下情形：其中原始列表(位于左侧)中具有mvL0和refIdxL0或具有mvL1和refIdxL1的两个候选被用于创建添加到最终列表(位于右侧)中的组合双向预测Merge候选。关于被认为用来生成这些附加Merge候选的组合，存在许多规则。
插入零运动候选以填充Merge候选列表中的其余条目，从而达到MaxNumMergeCand的容量。这些候选具有零空域位移和从零开始并且每次将新的零运动候选添加到列表中时都会增加的参考图片索引。最后，对这些候选不执行冗余检查。
2.1.3高级运动矢量预测(AMVP)
AMVP利用运动矢量与临近PU的空时相关性，其用于运动参数的显式传输。对于每个参考图片列表，首先通过检查左上方的时域临近的PU位置的可用性、去掉冗余的候选并且加上零矢量以使候选列表长度恒定来构建运动矢量候选列表。然后，编码器可以从候选列表中选择最佳的预测器，并发送指示所选候选的对应索引。与Merge索引信令通知类似，最佳运动矢量候选的索引使用截断一元进行编码。在这种情况下，要编码的最大值是2(参见图8)。在以下各章节中，提供了关于运动矢量预测候选的推导过程的细节。
2.1.3.1 AMVP候选的推导
图8概括了运动矢量预测候选的推导过程。
在运动矢量预测中，考虑了两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选的推导，基于位于图2所示的五个不同位置的每个PU的运动矢量最终推导出两个运动矢量候选。
对于时域运动矢量候选的推导，从两个候选中选择一个运动矢量候选，这两个候选是基于两个不同的共位位置推导出的。在做出第一个空时候选列表后，移除列表中重复的运动矢量候选。如果潜在候选的数目大于二，则从列表中移除相关联的参考图片列表中参考图片索引大于1的运动矢量候选。如果空时运动矢量候选的数目小于二，则会在列表中添加附加的零运动矢量候选。
2.1.3.2空域运动矢量候选
在推导空域运动矢量候选时，在五个潜在候选中最多考虑两个候选，这五个潜在候选来自位于图2所示的位置的PU，这些位置与运动Merge的位置相同。当前PU左侧的推导顺序定义为A0、A1以及缩放的A0、缩放的A1。当前PU上侧的推导顺序定义为B0、B1、B2、缩放的B0、缩放的B1、缩放的B2。因此，每侧有四种情况可以用作运动矢量候选，其中两种情况不需要使用空域缩放，且两种情况使用空域缩放。四种不同的情况概括如下：
·无空域缩放
–(1)相同的参考图片列表，以及相同的参考图片索引(相同的POC)
–(2)不同的参考图片列表，但相同的参考图片(相同的POC)
·空域缩放
–(3)相同的参考图片列表，但不同的参考图片(不同的POC)
–(4)不同的参考图片列表，以及不同的参考图片(不同的POC)
首先检查无空域缩放的情况，然后检查允许空域缩放的情况。当POC在临近PU的参考图片与当前PU的参考图片之间不同时，都会考虑空域缩放，而不管参考图片列表如何。如果左侧候选的所有PU都不可用或是帧内编解码，则允许对上述运动矢量进行缩放，以帮助左侧以及上方MV候选的并行推导。否则，不允许对上述运动矢量进行空域缩放。
在空域缩放过程中，以与时域缩放类似的方式缩放临近PU的运动矢量，如图9所示。主要区别是，给出当前PU的参考图片列表和索引作为输入；实际的缩放过程与时域缩放过程相同。
2.1.3.3时域运动矢量候选
除了参考图片索引的推导外，时域Merge候选的所有推导过程与空域运动矢量候选的推导过程相同(参见图6)。将参考图片索引信令通知给解码器。
2.2 VVC中的帧间预测方法
有几种用于改进帧间预测的新编解码工具，诸如用于信令通知MVD的自适应运动矢量差分辨率(AMVR)、运动矢量差Merge(MMVD)、三角预测模式(TPM)、组合帧内帧间预测(CIIP)、高级TMVP(ATMVP，又称为SbTMVP)、仿射预测模式、一般双向预测(GBI)、解码器侧运动矢量细化(DMVR)以及双向光流(BIO，又称为BDOF)。
VVC中支持两种不同的Merge列表构建过程：
1)子块Merge候选列表：其包括ATMVP和仿射Merge候选。仿射模式和ATMVP模式两者共享一个Merge列表构建过程。在此，可以按顺序添加ATMVP和仿射Merge候选。在条带标头中信令通知子块Merge列表尺寸，并且最大值为5。
2)常规(regular)Merge列表：对于帧间编解码块，共享一个Merge列表构建过程。在此，可以按顺序插入空域/时域Merge候选、HMVP、成对Merge候选以及零运动候选。在条带标头中信令通知常规Merge列表尺寸，并且最大值为6。MMVD、TPM、CIIP取决于常规Merge列表。
类似地，VVC中支持三种AMVP列表：
1)仿射AMVP候选列表
2)常规AMVP候选列表
2.2.1 VVC中的编解码块结构
在VVC中，采用四叉树/二叉树/三叉树(QT/BT/TT)结构，以将图片分成正方形或矩形块。
除了QT/BT/TT，对于I帧，VVC中还采用了分离树(separate tree)(又称为双重编解码树)。利用分离树，对亮度和色度分量分别信令通知编解码块结构。
另外，除了使用几种特定编解码方法(诸如，其中PU等于TU但小于CU的帧内子分割预测，以及其中PU等于CU但TU小于PU的帧间编解码块的子块变换)编解码的块之外，将CU设置为等于PU和TU。
2.2.2整个块的MERGE
2.2.2.1平移常规Merge模式的Merge列表构建
2.2.2.1.1基于历史的运动矢量预测(HMVP)
不同于Merge列表设计，在VVC中，采用了基于历史的运动矢量预测(HMVP)方法。
在HMVP中，存储了先前编解码的运动信息。将先前编解码的块的运动信息定义为HMVP候选。将多个HMVP候选存储在名为HMVP表的表中，并且在即时编码/解码过程中保持此表。当开始编码/解码新的片/LCU行/条带时，清空HMVP表。每当存在帧间编解码的块和非子块、非TPM模式时，将关联的运动信息作为新的HMVP候选添加至表的最后一个条目。图10中描绘了整体编解码流程。
2.2.2.1.2常规Merge列表构建过程
常规Merge列表(用于平移运动)的构建能概括为以下步骤顺序：
·步骤1：推导空域候选
·步骤2：插入HMVP候选
·步骤3：插入成对平均候选
·步骤4：默认运动候选
可以在AMVP和Merge候选列表构建过程中均使用HMVP候选。图11描绘了修改的Merge候选列表构建过程(以蓝色突出显示)。当Merge候选列表在插入TMVP候选之后未满时，可以利用存储在HMVP表中的HMVP候选来填充Merge候选列表。考虑到一个块在运动信息方面通常与最近的临近块具有较高的相关性，以索引降序的方式插入表中的HMVP候选。首先将表中的最后一个条目添加到列表中，而最后添加第一个条目。类似地，将冗余移除应用到HMVP候选。一旦可用Merge候选的总数达到允许信令通知的Merge候选的最大数目，则终止Merge候选列表构建过程。
需要注意的是，所有的空域/时域/HMVP候选都应当以非IBC模式进行编解码。否则，不允许将其添加到常规Merge候选列表。
HMVP表包含多达5个常规运动候选，并且每个候选都是唯一的。
2.2.2.1.2.1修剪处理
仅当用于冗余检查的对应候选不具有相同的运动信息时，才将候选添加至列表。这种比较过程称为修剪处理。
在空域候选之间的修剪处理取决于当前块的TPM的使用。
当未采用TPM模式(例如，常规Merge、MMVD、CIIP)编解码当前块时，利用用于空域Merge候选的HEVC修剪处理(例如，五个修剪)。
2.2.3三角预测模式(TPM)
在VVC中，支持三角分割模式的帧间预测。三角分割模式仅适用于8x8或更大的、且以Merge模式而非MMVD或CIIP模式编解码的CU。对于满足这些条件的CU，信令通知CU级别标志以指示是否应用三角分割模式。
如图11所描绘的，当使用了此模式时，使用对角线划分或反对角线划分来将CU均匀地划分为两个三角形分割。CU中的每个三角分割是使用其自身运动进行帧间预测；每个分割仅允许单向预测，即，每个分割具有一个运动矢量和一个参考索引。应用单向预测运动约束以确保与常规双向预测相同：每个CU仅需要两个运动补偿的预测。
图12示出了基于三角分割的帧间预测的示例。
如果CU级别标志指示使用三角分割模式编解码当前CU，那么还信令通知指示三角分割方向(对角线或反对角线)的标志以及两个Merge索引(每个分割一个)。在预测每个三角分割之后，使用具有自适应权重的混合处理来调整沿对角线或反对角线边缘的样点值。这是整个CU的预测信号，并且像其他预测模式一样，对整个CU应用变换和量化处理。最后，以4x4单元存储使用三角分割模式预测的CU运动场。
将常规Merge候选列表再次用于三角分割Merge预测，而没有额外的运动矢量修剪。对于常规Merge候选列表中的每个Merge候选，其L0或L1运动矢量中的有且只有一个用于三角预测。另外，基于其Merge索引奇偶性来选择L0与L1运动矢量的顺序。利用此种方案，能够直接使用常规Merge列表。
2.2.3.1 TPM的Merge列表构建过程
基本地，常规Merge列表构建过程能添加一些修改。
具体地，应用了以下内容：
1)如何进行修剪处理取决于当前块的TPM使用
–如果未利用TPM编解码当前块，则调用应用于空域Merge候选的HEVC 5修剪
–否则(如果利用TPM编解码当前块)，则当添加新的空域Merge候选时应用完全修剪。即，将B1与A1进行比较；将B0与A1和B1进行比较；将A0与A1、B1和B0进行比较；将B2与A1、B1、A0和B0进行比较。
2)关于是否检查来自B2的运动信息的条件取决于当前块的TPM使用
–如果未利用TPM编解码当前块，则仅当在检查B2之前具有少于4个空域Merge候选时访问和检查B2。
–否则(如果利用TPM编解码当前块)，则在添加B2之前无论具有多少可用空域Merge候选，始终访问和检查B2。
2.2.3.2自适应加权处理
在预测每个三角预测单元之后，将自适应加权处理应用于两个三角预测单元之间的对角线边缘，以推导整个CU的最终预测。以下定义了两个加权因子组：
·第一加权因子组：{7/8,6/8,4/8,2/8,1/8}和{7/8,4/8,1/8}分别用于亮度和色度样点；
·第二加权因子组：{7/8,6/8,5/8,4/8,3/8,2/8,1/8}和{6/8,4/8,2/8}分别用于亮度和色度样点。
基于比较两个三角预测单元的运动矢量来选择加权因子组。当以下任一条件为真时，使用第二加权因子组：
–两个三角预测单元的参考图片互不相同。
–两个运动矢量的水平值之差的绝对值大于16个像素。
–两个运动矢量的垂直值之差的绝对值大于16个像素。
否则，使用第一加权因子组。图13示出了示例。
2.2.3.3运动矢量存储
三角预测单元的运动矢量(图14中的Mv1和Mv2)存储在4×4网格中。对于每个4×4网格，取决于CU中4×4网格的位置，存储单向预测或双向预测运动矢量。如图14所示，单向预测运动矢量(Mv1或Mv2)存储在位于未加权的区域(即，不位于对角线边缘)的4×4网格中。另一方面，双向预测运动矢量存储在位于加权的区域的4×4网格中。根据以下规则从Mv1和Mv2推导双向预测运动矢量：
1)在Mv1和Mv2具有来自不同方向(L0或L1)的运动矢量的情形下，将Mv1和Mv2简单地组合以形成双向预测运动矢量。
2)在Mv1和Mv2二者来自相同的L0(或L1)方向的情形下，
–如果Mv2的参考图片与L1(或L0)参考图片列表中的图片相同，则将Mv2缩放至该图片。将Mv1和缩放的Mv2组合以形成双向预测运动矢量。
–如果Mv1的参考图片与L1(或L0)参考图片列表中的图片相同，则将Mv1缩放至该图片。将缩放的Mv1和Mv2组合以形成双向预测运动矢量。
–否则，仅在加权的区域存储Mv1。
2.2.4具有运动矢量差的Merge(MMVD)
在一些实施例中，最终运动矢量表达(UMVE，也称为MMVD)与提出的运动矢量表达方法被用于跳过或Merge模式。
UMVE重用与VVC中常规Merge候选列表中包含的Merge候选相同的Merge候选。在Merge候选中，可以选择基础候选，并通过所提出的运动矢量表达方法进一步扩展基础候选。
UMVE提供了新的运动矢量差(MVD)表示方法，其中使用起点、运动幅度和运动方向来表示MVD。
图15是UMVE搜索处理的示例。
图16示出了UMVE搜索点的示例。
此技术按原样使用Merge候选列表。但是只有默认Merge类型(MRG_TYPE_DEFAULT_N)的候选才被考虑用于UMVE的扩展。
基础候选索引定义了起点。基础候选索引指示列表中候选的最佳候选，如下所示。
表4基础候选IDX
基础候选IDX 0 1 2 3
第N个MVP 第一个MVP 第二个MVP 第三个MVP 第四个MVP
如果基础候选的数目等于1，则不信令通知基础候选IDX。
距离索引是运动幅度信息。距离索引指示距离起点信息的预定义的距离。预定义的距离如下所示：
表5距离IDX
距离IDX 0 1 2 3 4 5 6 7
像素距离 1/4像素 1/2像素 1像素 2像素 4像素 8像素 16像素 32像素
方向索引表示MVD相对于起始点的方向。方向索引可以表示如下所示的四个方向。
表6方向IDX
Figure BDA0003539017040000161
Figure BDA0003539017040000171
在发送跳过标志或Merge标志之后立即信令通知UMVE标志。如果跳过或Merge标志为真，则解析UMVE标志。如果UMVE标志等于1，则解析UMVE语法。但是，如果不为1，则解析AFFINE标志。如果AFFINE标志等于1，则是AFFINE模式，但是，如果不为1，则解析VTM的跳过/Merge模式的跳过/Merge索引。
由于UMVE候选而导致的附加线缓冲区是不需要的。因为软件的跳过/Merge候选被直接用作基础候选。通过使用输入UMVE索引，在运动补偿前直接判定MV的补充。不需要为此保留长线缓冲区。
在当前普通测试条件下，可以选择Merge候选列表中的第一个或第二个Merge候选作为基础候选。
UMVE也称为具有MV差的Merge(MMVD)。
2.2.5基于子块技术的MERGE
在一些实施例中，将所有子块相关运动候选放入除了非子块Merge候选的常规Merge列表之外的单独Merge列表中。
将子块相关运动候选放入名为“子块Merge候选列表”的单独Merge列表中。
在一个示例中，子块Merge候选列表包括ATMVP候选和仿射Merge候选。
按以下顺序在子块Merge候选列表中填充候选：
a.ATMVP候选(可能可用或者不可用)；
b.仿射Merge列表(包括继承的仿射候选；以及构建的仿射候选)；
c.填充为零MV 4-参数仿射模型
2.2.5.1高级时域运动矢量预测器(ATMVP)(又称为子块时域运动矢量预测器，SbTMVP)
ATMVP的基本思想是为一个块推导多组时域运动矢量预测器。每个子块分配有一组运动信息。当生成ATMVP Merge候选时，将以8x8级别而不是整个块级别进行运动补偿。
在当前设计中，ATMVP以两步预测CU中的子CU的运动矢量，并分别在以下两个子章节2.2.5.1.1和2.2.5.1.2中进行了描述。
2.2.5.1.1初始化的运动矢量推导
通过tempMv表示初始化的运动矢量。当块A1可用并且未被帧内编解码(例如，以帧间或IBC模式编解码)时，应用以下内容以推导初始化的运动矢量。
–如果以下所有条件为真，则将tempMv设置为等于列表1中的块A1的运动矢量，表示为mvL1A1：
–列表1的参考图片索引可用(不等于-1)，并且其具有与并置图片相同的POC值(例如，DiffPicOrderCnt(ColPic，RefPicList[1][refIdxL1A1])等于0)，
–与当前图片相比，所有参考图片不具有更大的POC(例如，对于当前条带的每个参考图片列表中的每个图片aPic，DiffPicOrderCnt(aPic，currPic)小于或等于0)，
–当前条带等于B条带，
–collocated_from_l0_flag等于0。
–否则，如果以下所有条件为真，则将tempMv设置为等于列表0中块A1的运动矢量，表示为mvL0A1：
–列表0的参考图片索引可用(不等于-1)，
–其具有与并置图片相同的POC值(例如，DiffPicOrderCnt(ColPic，RefPicList[0][refIdxL0A1])等于0)。
–否则，将零运动矢量用作初始化的MV。
在具有初始化的运动矢量的条带标头处信令通知的并置图片中标识对应块(具有当前块的中心位置加上取整的MV，必要时将其修剪至一定范围内)。
如果块是帧间编解码的，则转到第二步。否则，将ATMVP候选设置为不可用。
2.2.5.1.2子CU运动推导
第二步是将当前CU划分为子CU，并从对应于并置图片中的每个子CU的块获得每个子CU的运动信息。
如果以帧间模式编解码子CU的对应块，则通过调用用于并置MV的推导处理，利用运动信息来推导当前子CU的最终运动信息，该推导处理与用于常规TMVP处理的处理没有区别。基本上，如果对于单向预测或者双向预测从目标列表X预测了对应块，则利用运动矢量；否则，如果对于单向预测或者双向预测从列表Y(Y＝1-X)预测了对应块，并且NoBackwardPredFlag等于1，则利用列表Y的MV。否则，无法找到运动候选。
如果通过初始化的MV和当前子CU的位置标识的并置图片中的块是帧内或IBC编解码的，或者如上所述无法找到运动候选，则进一步适用以下规则：
将用来抓取并置图片Rcol中的运动场的运动矢量表示为MVcol。为了最小化由于MV缩放的影响，通过以下方式选择用于推导MVcol的空域候选列表中的MV：如果候选MV的参考图片是并置图片，则选择此MV并将其用作MVcol，而无需任何缩放。否则，选择具有最接近并置图片的参考图片的MV，以利用缩放推导MVcol。
一些实施例中用于并置运动矢量推导处理的相关解码过程描述如下：
8.5.2.12并置运动矢量的推导过程
此进程的输入是：
–变量currCb，规定当前编解码块，
–变量colCb，规定由ColPic规定的并置图片内的并置编解码块，
–亮度位置(xColCb，yColCb)，规定相对于由ColPic规定的并置图片的左上亮度样点的由colCb规定的并置亮度编解码块的左上样点，
–参考索引refIdxLX，其中X为0或1，
–指示子块时域Merging候选的标志sbFlag。
此进程的输出是：
–1/16分数样点精度的运动矢量预测mvLXCol，
–可用性标志availableFlagLXCol。
变量currPic规定当前图片。
将阵列predFlagL0Col[x][y]、mvL0Col[x][y]和refIdxL0Col[x][y]设置为分别等于由ColPic规定的并置图片的PredFlagL0[x][y]、MvDmvrL0[x][y]和RefIdxL0[x][y]，并且将阵列predFlagL1Col[x][y]、mvL1Col[x][y]和refIdxL1Col[x][y]设置为分别等于由ColPic规定的并置图片的PredFlagL1[x][y]、MvDmvrL1[x][y]和RefIdxL1[x][y]。
变量mvLXCol和availableFlagLXCol的推导如下：
–如果以帧内或IBC预测模式编解码colCb，则将mvLXCol的两个分量均设置为等于0，并且将availableFlagLXCol设置为等于0。
–否则，按照如下描述推导运动矢量mvCol、参考索引refIdxCol和参考列表标识符listCol：
–如果sbFlag等于0，则将availableFlagLXCol设置为等于1，并且适用以下规则：
–如果predFlagL0Col[xColCb][yColCb]等于0，则将mvCol、refIdxCol和listCol分别设置为等于mvL1Col[xColCb][yColCb]、refIdxL1Col[xColCb][yColCb]和L1。
–否则，如果predFlagL0Col[xColCb][yColCb]等于1并且predFlagL1Col[xColCb][yColCb]等于0，则将mvCol、refIdxCol和listCol分别设置为等于mvL0Col[xColCb][yColCb]、refIdxL0Col[xColCb][yColCb]和L0。
–否则(predFlagL0Col[xColCb][yColCb]等于1并且predFlagL1Col[xColCb][yColCb]等于1)，进行以下分配：
–如果NoBackwardPredFlag等于1，则将mvCol、refIdxCol和listCol分别设置为等于mvLXCol[xColCb][yColCb]、refIdxLXCol[xColCb][yColCb]和LX。
–否则，将mvCol、refIdxCol和listCol分别设置为等于mvLNCol[xColCb][yColCb]、refIdxLNCol[xColCb][yColCb]和LN，其中N为collocated_from_l0_flag的值。
–否则(sbFlag等于1)，适用以下规则：
–如果PredFlagLXCol[xColCb][yColCb]等于1，则将mvCol、refIdxCol和listCol分别设置为等于mvLXCol[xColCb][yColCb]、refIdxLXCol[xColCb][yColCb]和LX，并且将availableFlagLXCol设置为1。
–否则(PredFlagLXCol[xColCb][yColCb]等于0)，适用以下规则：
–如果对于当前条带的每个参考图片列表中的每个图片aPic的DiffPicOrderCnt(aPic,currPic)小于或等于0，并且PredFlagLYCol[xColCb][yColCb]等于1，则将mvCol、refIdxCol和listCol分别设置为等于mvLYCol[xColCb][yColCb]、refIdxLYCol[xColCb][yColCb]和LY，其中Y等于！X，其中X是用于调用此进程的X的值。将availableFlagLXCol设置为1。
–将mvLXCol的两个分量均设置为0，并将availableFlagLXCol设置为等于0。
–当availableFlagLXCol等于真(TRUE)时，按照以下描述推导mvLXCol和availableFlagLXCol：
–如果LongTermRefPic(currPic，currCb，refIdxLX，LX)不等于LongTermRefPic(ColPic，colCb，refIdxCol，listCol)，则将mvLXCol的两个分量均设置为等于0，并将availableFlagLXCol设置为等于0。
–否则，将变量availableFlagLXCol设置为等于1，将refPicList[listCol][refIdxCol]设置为具有条带的参考图片列表listCol中的参考索引refIdxCol的图片，条带包含由ColPic规定的并置图片中的编解码块colCb，并适用以下规则：
colPocDiff＝DiffPicOrderCnt(ColPic,refPicList[listCol][refIdxCol])(8-402)
currPocDiff＝DiffPicOrderCnt(currPic,RefPicList[X][refIdxLX]) (8-403)
–调用条款8.5.2.15中规定的用于并置运动矢量的时域运动缓冲区压缩进程，其中以mvCol作为输入，并以修改后的mvCol作为输出。
–如果RefPicList[X][refIdxLX]是长期参考图片，或者colPocDiff等于currPocDiff，则mvLXCol的推导如下：
mvLXCol＝mvCol (8-404)
–否则，按照如下描述将mvLXCol推导为运动矢量mvCol的缩放版本：
tx＝(16384+(Abs(td)>>1))/td (8-405)
distScaleFactor＝Clip3(-4096,4095,(tb*tx+32)>>6) (8-406)
mvLXCol＝Clip3(-131072,131071,(distScaleFactor*mvCol+128-(distScaleFactor*mvCol>＝0))>>8)) (8-407)
其中，td和tb的推导如下：
td＝Clip3(-128,127,colPocDiff) (8-408)
tb＝Clip3(-128,127,currPocDiff) (8-409)
2.3帧内块复制
HEVC屏幕内容编解码扩展(HEVC-SCC)和当前VVC测试模型(VTM-4.0)中采用了帧内块复制(IBC)(又称为当前图片参考)。IBC将运动补偿的概念从帧间编解码扩展到帧内编解码。如图17所示，当应用了IBC时，通过同一图片中的参考块预测当前块。在编码或者解码当前块之前，必须已经重构了参考块中的样点。尽管IBC对于大部分相机捕获的序列而言并不足够有效，但其示出了屏幕内容的显著编解码增益。原因是屏幕内容图片中有许多重复图案，诸如图标和文本字符。IBC能有效地移除这些重复图案之间的冗余。在HEVC-SCC中，如果选择当前图片作为其参考图片，则帧间编解码的编解码单元(CU)能应用IBC。在这种情形下，将MV重命名为块矢量(BV)，并且BV始终具有整数像素精度。为了与主配置文件HEVC兼容，在解码的图片缓冲区(DPB)中将当前图片标记为“长期”参考图片。应当注意的是，类似地，在多视角/3D视频编解码标准中，也将视图间参考图片标记为“长期”参考图片。
在BV找到其参考块之后，通过复制参考块来生成预测。可以通过从原始信号中减去参考像素来得到残差。然后可以像在其他编解码模式中一样应用变换和量化。
然而，当参考块在图片之外、或与当前块重叠、或在重构的区域之外、或在受某些约束限制的有效区域之外时，则不定义部分或全部像素值。基本上，应对此种问题有两种解决方案。一种是禁止这种情形，例如在比特流一致性方面。另一种是对那些未定义的像素值应用填充。以下子章节详细描述了解决方案。
2.3.1单个BV列表
在一些实施例中，IBC中用于Merge模式和AMVP模式的BV预测器将共享共同的预测器列表，该列表包括以下元素：
(1)2个空域临近位置(如图2中的A1，B1)
(2)5个HMVP条目
(3)默认的零矢量
由从条带标头推导的变量控制列表中候选的数目。对于Merge模式，将最多使用此列表的前6个条目；对于AMVP模式，将使用此列表的前2个条目。并且，列表符合共享的Merge列表区域要求(在SMR内共享相同的列表)。
除了上述的BV预测器候选列表之外，还能简化HMVP候选与现有Merge候选(A1，B1)之间的修剪操作。在简化处理中，将最多有2次修剪操作，因为其仅将第一HMVP候选与空域Merge候选进行比较。
对于IBC AMVP模式，还传输与列表中所选MVP相比的mv差。对于IBC Merge模式，所选MVP直接用作当前块的MV。
2.3.2 IBC的尺寸限制
在最新的VVC和VTM5中，提出了在之前的VTM和VVC版本之中、在当前比特流约束的基础上显式地使用语法约束来禁用128x128 IBC模式，这使得IBC标志的存在取决于CU尺寸<128x128。
2.3.3 IBC共享Merge列表
为了降低解码器的复杂度并支持并行编码，在一些实施例中，在CU划分树中为一个祖先节点的所有叶编解码单元(CU)共享相同的Merging候选列表，以启用对于小的跳过/Merge编解码的CU的并行处理。祖先节点被命名为Merge共享节点。在Merge共享节点处生成共享merging候选列表，假设Merge共享节点是叶CU。
更具体地说，可以应用以下内容：
-如果块具有不大于32(例如，4x8或8x4)的亮度样点，并划分为2个4x4子代块(child block)，则使用非常小的块(例如，两个临近的4x4块)之间的共享Merge列表。
-如果块具有大于32的亮度样点，但是，在划分之后，至少一个子代块小于阈值(32)，则划分的所有子代块共享相同的Merge列表(例如，三重划分的16x4或4x16或者四重划分的8x8)。
此限制仅适用于IBC Merge模式。
2.3.4语法表
7.3.8.5编解码单元语法
Figure BDA0003539017040000231
Figure BDA0003539017040000241
7.3.8.8运动矢量差语法
Figure BDA0003539017040000251
2.4最大变换块尺寸
最大亮度变换尺寸为64或者32，仅由SPS级别的标志启用。最大色度变换尺寸是从相对于最大亮度变换尺寸的色度采样比率推导的。
当CU/CB尺寸大于最大亮度转换尺寸时，可以调用从较小的TU到大的CU的贴片。
由MaxTbSizeY表示最大亮度变换尺寸。
7.3.2.3序列参数集RBSP语法
Figure BDA0003539017040000252
Figure BDA0003539017040000261
sps_max_luma_transform_size_64_flag等于1规定亮度样点的最大变换尺寸等于64。sps_max_luma_transform_size_64_flag等于0规定亮度样点的最大变换尺寸等于32。
当CtbSizeY小于64，sps_max_luma_transform_size_64_flag的值应等于0。
按照以下内容推导变量MinTbLog2SizeY、MaxTbLog2SizeY、MinTbSizeY和MaxTbSizeY：
MinTbLog2SizeY＝2 (7-27)
MaxTbLog2SizeY＝sps_max_luma_transform_size_64_flag？6:5 (7-28)
MinTbSizeY＝1<<MinTbLog2SizeY (7-29)
MaxTbSizeY＝1<<MaxTbLog2SizeY (7-30)
sps_sbt_max_size_64_flag等于0规定允许子块变换的最大CU宽度和高度是32个亮度样点。sps_sbt_max_size_64_flag等于1规定允许子块变换的最大CU宽度和高度是64个亮度样点。
MaxSbtSize＝Min(MaxTbSizeY,sps_sbt_max_size_64_flag？64:32) (7-32)
2.4.1取决于最大变换块尺寸的工具
二叉树和三叉树的划分取决于MaxTbSizeY。
7.3.8.5编解码单元语法
Figure BDA0003539017040000271
Figure BDA0003539017040000281
Figure BDA0003539017040000291
Figure BDA0003539017040000301
2.4.2帧内和帧间编解码块的解码处理
当当前帧内编解码CU的尺寸大于最大变换块尺寸时，将CU递归地划分成更小的块(PU)，直到宽度和高度都不大于最大变换块尺寸。所有的PU共享相同的帧内预测模式，但是用于帧内预测的参考样点不同。同时，将TU设置为等于PU。注意，不应以帧内子分割(ISP)模式编解码当前块。
当当前帧间编解码的CU的尺寸大于最大变换块尺寸时，将CU递归地划分成更小的块(TU)，直到宽度和高度都不大于最大变换块尺寸。所有的TU共享相同的运动信息，但是用于帧内预测的参考样点不同。
8.4.5帧内块的解码处理
8.4.5.1帧内块的一般解码处理
此进程的输入是：
样点位置(xTb0,yTb0)，规定相对于当前图片的左上样点的当前变换块的左上样点，
变量nTbW，规定当前变换块的宽度，
变量nTbH，规定当前变换块的高度，
变量predModeIntra，规定帧内预测模式，
变量cIdx，规定当前块的颜色分量。
此进程的输出是环路滤波之前的修改后的重构图片。
按照如下内容推导最大变换块的宽度maxTbWidth和高度maxTbHeight：
maxTbWidth＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/SubWidthC (8-41)
maxTbHeight＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/SubHeightC (8-42)
按照如下内容推导亮度样点位置：
(xTbY,yTbY)＝(cIdx＝＝0)？(xTb0,yTb0):(xTb0*SubWidthC,yTb0*SubHeightC)(8-43)
取决于maxTbSize，适用以下规则：
如果Inter-SubpartitionsSplitType等于ISP_NO_SPLIT，并且nTbW大于maxTbWidth或者nTbH大于maxTbHeight，则适用以下顺序步骤。
1.按照如下内容推导变量newTbW和newTbH：
newTbW＝(nTbW>maxTbWidth)？(nTbW/2):nTbW (8-44)
newTbH＝(nTbH>maxTbHeight)？(nTbH/2):nTbH (8-45)
2.以位置(xTb0，yTb0)、变换块宽度nTbW设置为等于newTbW、变换块高度nTbH设置为等于newTbH、帧内预测模式predModeIntra以及变量cIdx作为输入，调用此条款规定的帧内块的一般解码处理，输出是环路滤波之前的修改后的重构图片。
3.如果nTbW大于maxTbWidth，则以位置(xTb0，yTb0)设置为等于(xTb0+newTbW,yTb0)、变换块宽度nTbW设置为等于newTbW、变换块高度nTbH设置为等于newTbH、帧内预测模式predModeIntra以及变量cIdx作为输入，调用此条款规定的帧内块的一般解码处理，输出是环路滤波之前的修改后的重构图片。
4.如果nTbH大于maxTbHeight，则以位置(xTb0，yTb0)设置为等于(xTb0,yTb0+newTbH)、变换块宽度nTbW设置为等于newTbW、变换块高度nTbH设置为等于newTbH、帧内预测模式predModeIntra以及变量cIdx作为输入，调用此条款规定的帧内块的一般解码处理，输出是环路滤波之前的修改后的重构图片。
5.如果nTbW大于maxTbWidth并且nTbH大于maxTbHeight，则以位置(xTb0，yTb0)设置为等于(xTb0+newTbW,yTb0+newTbH)、变换块宽度nTbW设置为等于newTbW、变换块高度nTbH设置为等于newTbH、帧内预测模式predModeIntra以及变量cIdx作为输入，调用此条款规定的帧内块的一般解码处理，输出是环路滤波之前的修改后的重构图片。
否则，适用以下顺序步骤(标准帧内预测处理)：
…
8.5.8以帧间预测模式编解码的编解码块的残差信号的解码处理
此进程的输入是：
样点位置(xTb0,yTb0)，规定相对于当前图片的左上样点的当前变换块的左上样点，
变量nTbW，规定当前变换块的宽度，
变量nTbH，规定当前变换块的高度，
变量cIdx，规定当前块的颜色分量。
此进程的输出是(nTbW)×(nTbH)阵列resSamples。
按照如下内容推导最大变换块的宽度maxTbWidth和高度maxTbHeight：
maxTbWidth＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/SubWidthC (8-883)
maxTbHeight＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/SubHeightC (8-884)
按照如下内容推导亮度样点位置：
(xTbY,yTbY)＝(cIdx＝＝0)？(xTb0,yTb0):(xTb0*SubWidthC,yTb0*SubHeightC)(8-885)
取决于maxTbSize，适用以下规则：
如果nTbW大于maxTbWidth或者nTbH大于maxTbHeight，则适用以下顺序步骤。
1.按照如下内容推导变量newTbW和newTbH：
newTbW＝(nTbW>maxTbWidth)？(nTbW/2):nTbW (8-886)
newTbH＝(nTbH>maxTbHeight)？(nTbH/2):nTbH (8-887)
2.以位置(xTb0，yTb0)、变换块宽度nTbW设置为等于newTbW、变换块高度nTbH设置为等于newTbH以及变量cIdx作为输入，调用此条款规定的以帧间预测模式编解码的编解码单元的残差信号的解码处理过程，输出是环路滤波之前的修改后的重构图片。
3.当nTbW大于maxTbWidth时，以位置(xTb0，yTb0)设置为等于(xTb0+newTbW,yTb0)、变换块宽度nTbW设置为等于newTbW、变换块高度nTbH设置为等于newTbH以及变量cIdx作为输入，调用此条款规定的以帧间预测模式编解码的编解码单元的残差信号的解码处理过程，输出是修改后的重构图片。
4.当nTbH大于maxTbHeight时，以位置(xTb0，yTb0)设置为等于(xTb0,yTb0+newTbH)、变换块宽度nTbW设置为等于newTbW、变换块高度nTbH设置为等于newTbH以及变量cIdx作为输入，调用此条款规定的以帧间预测模式编解码的编解码单元的残差信号的解码处理过程，输出是环路滤波之前的修改后的重构图片。
5.当nTbW大于maxTbWidth并且nTbH大于maxTbHeight时，以位置(xTb0，yTb0)设置为等于(xTb0+newTbW,yTb0+newTbH)、变换块宽度nTbW设置为等于newTbW、变换块高度nTbH设置为等于newTbH以及变量cIdx作为输入，调用此条款规定的以帧间预测模式编解码的编解码单元的残差信号的解码处理过程，输出是环路滤波之前的修改后的重构图片。
否则，如果cu_sbt_flag等于1，则适用以下规则：
按照如下内容推导变量sbtMinNumFourths、wPartIdx和hPartIdx：
sbtMinNumFourths＝cu_sbt_quad_flag？1:2 (8-888)
wPartIdx＝cu_sbt_horizontal_flag？4:sbtMinNumFourths (8-889)
hPartIdx＝！cu_sbt_horizontal_flag？4:sbtMinNumFourths (8-890)
按照如下内容推导变量xPartIdx和yPartIdx：
如果cu_sbt_pos_flag等于0，则将xPartIdx和yPartIdx设置为等于0。
否则(cu_sbt_pos_flag等于1)，按照如下内容推导变量xPartIdx和yPartIdx：
xPartIdx＝cu_sbt_horizontal_flag？0:(4-sbtMinNumFourths) (8-891)
yPartIdx＝！cu_sbt_horizontal_flag？0:(4-sbtMinNumFourths) (8-892)
按照如下内容推导变量xTbYSub、yTbYSub、xTb0Sub、yTb0Sub、nTbWSub和nTbHSub：
xTbYSub＝xTbY+((nTbW*((cIdx＝＝0)？1:SubWidthC)*xPartIdx/4) (8-893)
yTbYSub＝yTbY+((nTbH*((cIdx＝＝0)？1:SubHeightC)*yPartIdx/4) (8-894)
xTb0Sub＝xTb0+(nTbW*xPartIdx/4) (8-895)
yTb0Sub＝yTb0+(nTbH*yPartIdx/4) (8-896)
nTbWSub＝nTbW*wPartIdx/4 (8-897)
nTbHSub＝nTbH*hPartIdx/4 (8-898)
以亮度位置(xTbYSub,yTbYSub)、变量cIdx、nTbWSub和nTbHSub作为输入，调用条款8.7.2中规定的缩放和变换处理，并且输出是(nTbWSub)×(nTbHSub)阵列resSamplesTb。
将具有x＝0..nTbW–1、y＝0..nTbH–1的残差样点resSamples[x][y]设置为等于0。
按照如下内容推导具有x＝xTb0Sub..xTb0Sub+nTbWSub–1、y＝yTb0Sub..yTb0Sub+nTbHSub–1的残差样点resSamples[x][y]：
resSamples[x][y]＝resSamplesTb[x–xTb0Sub][y–yTb0Sub] (8-899)
否则，以亮度位置(xTbY,yTbY)、变量cIdx、变换宽度nTbW和变换高度nTbH作为输入，调用条款8.7.2中规定的缩放和变换处理，并且输出是(nTbW)×(nTbH)阵列resSamples。
2.5低频不可分变换(LFNST)(又称为缩减二次变换(RST)/不可分二次变换(NSST))
在JEM中，在正主变换与量化(在编码器处)之间以及在去量化与逆主变换(在解码器侧)之间应用二次变换。如图18所示，取决于块尺寸来执行4×4(或8×8)二次变换。例如，对于每8×8块，将8×8二次变换应用于较大的块(例如，最小值(宽度、高度)>4)，将4×4二次变换应用于较小的块(例如，最小值(宽度、高度)<8)。
二次变换采用了不可分变换，因此，其又称为不可分二次变换(NSST)。共有35个变换集，并且每个变换集使用3个不可分变换矩阵(核，每个核具有16×16矩阵)。
引入缩减二次变换(RST，也称为低频不可分变换(LFNST))，并且根据帧内预测方向引入4个变换集(而不是35个变换集)映射。在本文中，16×48和16×16矩阵分别用于8×8和4×4块。为便于标注，将16×48变换表示为RST8×8，将16×16变换表示为RST4×4。VVC最近采用了此种方法。
图19示出了缩减二次变换(RST)的示例。
二次正变换和二次逆变换是独立于主变换的处理步骤。
对于编码器，首先执行主正变换，然后进行二次正变换和量化，以及CABAC比特编码。对于解码器，首先执行CABAC比特解码、逆量化以及二次逆变换，然后进行主逆变换。RST仅应用于帧内编解码的TU。
3.本文公开的技术方案所解决的示例技术问题
目前VVC设计在IBC模式和变换设计方面存在以下问题：
(1)IBC模式标志的信令通知取决于块尺寸限制，但是，IBC跳过模式标志并非如此，这使得最坏的情形没有变化(例如，一个较大的块，诸如N×128或128×N，仍然可以选择IBC模式)。
(2)在目前VVC中，假设变换块尺寸始终等于64×64，且变换块尺寸始终设置为编解码块尺寸。如何处理IBC块尺寸大于变换块尺寸的情形是未知的。
(3)IBC在相同的视频单元(例如，条带)中使用未滤波的构建样点。然而，与未滤波的样点相比，滤波后的样点(例如，经由去方块滤波器/SAO/ALF)可以具有更小的失真。使用滤波后的样点可以带来额外的编解码增益。
(4)LFNST矩阵的上下文建模取决于主变换和分割类型(单树或双树)。然而，从我们的分析来看，所选的RST矩阵与主变换具有相关性之间没有明确的依赖关系。
4.技术和实施例的示例
在此申请文件中，帧内块复制(IBC)不限于当前的IBC技术，但可以解释为使用当前条带/片/图块(brick)/子图片/图片/其他视频单元(例如，CTU行)内的参考样点的技术，而不包括传统的帧内预测方法。在一个示例中，参考样点是那些重构样点，其中未调用环路滤波处理(例如，去方块滤波器、SAO、ALF)。
VPDU尺寸可以表示为vSizeX*vSizeY。在一个示例中，使得vSizeX＝vSizeY＝min(ctbSizeY，64)，其中ctbSizeY是CTB的宽度/高度。VPDU是vSize*vSize的块，其具有相对于图片的左上角的左上位置(m*vSize，n*vSize)，其中，m、n为整数。可替代地，vSizeX/vSizeY是固定的数字，例如64。
以下详细的发明应视为解释一般概念的示例。这些发明不应以狭隘的方式加以解释。此外，这些发明可以以任意方式组合。
关于IBC的信令通知和使用
假设当前块尺寸表示为Wcurr×Hcurr，最大允许的IBC块尺寸表示为WIBCMax×HIBCMax。
1.IBC编解码块可以被划分成多个TB/TU，而无需划分信息的信令通知。将当前IBC码块尺寸表示为Wcurr×Hcurr。
a.在一个示例中，Wcurr大于第一阈值和/或Hcurr大于第二阈值，可以调用划分。因此，TB尺寸小于当前块尺寸。
i.在一个示例中，第一和/或第二阈值是最大变换尺寸，表示为MaxTbSizeY。
b.在一个示例中，可以调用递归划分直到TU/TB的宽度或高度不大于阈值。
i.在一个示例中，递归划分可以与帧间编解码的残差块使用的划分相同，例如，在每次中，如果宽度大于MaxTbSizeY，则将宽度除以一半，如果高度大于MaxTbSizeY，则将高度除以一半。
ii.可替代地，可以调用递归划分，直到TU/TB的划分宽度和高度各自不大于阈值。
c.可替代地，此外，所有的或一些TB/TU可以共享相同的运动信息(例如，BV)。
2.是否启用或禁用IBC可以取决于最大变换尺寸(例如，说明书中的MaxTbSizeY)。
a、在一个示例中，在当前亮度块维度(宽度和/或高度)或(当当前块是色度块时)对应亮度块维度(宽度和/或高度)大于亮度样点中的最大变换尺寸时，可以禁用IBC。
i.在一个示例中，当块的宽度和高度均大于亮度样点中的最大变换尺寸时，可以禁用IBC。
ii.在一个示例中，当块的宽度或者高度大于亮度样点中的最大变换尺寸时，可以禁用IBC。
b.在一个示例中，是否和/或如何信令通知使用IBC的指示可以取决于块的维度(宽度和/或高度)和/或最大变换尺寸。
i.在一个示例中，使用IBC的指示可以包括I片/条带/图块/子图片中的IBC跳过标志(例如，cu_skip_flag)。
1)在一个示例中，当Wcurr大于MaxTbSizeY和/或Hcurr大于MaxTbSizeY时，可以不信令通知cu_skip_flag。
2)可替代地，当Wcurr不大于MaxTbSizeY和/或Hcurr不大于MaxTbSizeY时，可以信令通知cu_skip_flag。
3)在一个示例中，当Wcurr大于MaxTbSizeY和/或Hcurr大于MaxTbSizeY时，可以信令通知cu_skip_flag，但其在一致性比特流中应等于0。
4)例如，此外，在当前片/条带/图块/子图片是I片/条带/图块/子图片时，可以调用上述方法。
ii.在一个示例中，使用IBC的指示可以包括IBC模式标志(例如，pred_mode_ibc_flag)。
1)在一个示例中，当Wcurr大于MaxTbSizeY和/或Hcurr大于MaxTbSizeY时，可以不信令通知pred_mode_ibc_flag。
2)可替代地，当Wcurr不大于MaxTbSizeY和/或Hcurr不大于MaxTbSizeY时，可以信令通知pred_mode_ibc_flag。
在一个示例中，当Wcurr大于MaxTbSizeY和/或Hcurr大于MaxTbSizeY时，可以信令通知pred_mode_ibc_flag，但其一致性比特流中应等于0。
iii.在一个示例中，当满足某些迫零条件时，IBC编解码块的残差块可以被强制全部为零。
1)在一个示例中，当Wcurr大于MaxTbSizeY和/或Hcurr大于MaxTbSizeY时，IBC编解码块的残差块可以被强制全部为零。
2)在一个示例中，当Wcurr大于第一阈值(例如，64/vSizeX)和/或Hcurr大于第二阈值(例如，64/vSizeY)时，IBC编解码块的残差块可以被强制全部为零。
3)可替代地，此外，对于上述情形，可以跳过编解码块标志(例如，cu_cbf、tu_cbf_cb、tu_cbf_cr、tu_cbf_luma)的信令通知。
4)可替代地，此外，编解码块标志(例如，cu_cbf、tu_cbf_cb、tu_cbf_cr、tu_cbf_luma)的信令通知可以保持不变，然而，一致性比特流应满足该标志等于0。
iv.在一个示例中，是否信令通知编解码块标志(例如，cu_cbf、tu_cbf_cb、tu_cbf_cr、tu_cbf_luma)可以取决于IBC的使用和/或关于允许的IBC尺寸的阈值。
1)在一个示例中，在当前块是IBC模式，并且Wcurr大于MaxTbSizeY和/或Hcurr大于MaxTbSizeY时，可以跳过编解码块标志(例如，cu_cbf、tu_cbf_cb、tu_cbf_cr、tu_cbf_luma)的信令通知。
2)在一个示例中，在当前块是IBC模式，并且Wcurr大于第一阈值(例如，64/vSizeX)和/或Hcurr大于第二阈值(例如，64/vSizeY)时，可以跳过编解码块标志(例如，cu_cbf、tu_cbf_cb、tu_cbf_cr、tu_cbf_luma)的信令通知。
3.是否信令通知使用IBC跳过模式的指示可以取决于当前块维度(宽度和/或高度)和最大允许的IBC块尺寸(例如，vSizeX/vSizeY)。
a.在一个示例中，当Wcurr大于WIBCMax和/或Hcurr大于HIBCMax时，可以不信令通知cu_skip_flag。
i.可替代地，当Wcurr不大于WIBCMax和/或Hcurr不大于HIBCMax时，可以信令通知cu_skip_flag。
b.可替代地，此外，在当前片/条带/图块/子图片是I片/条带/图块/子图片时，可以调用上述方法。
c.在一个示例中，WIBCMax和HIBCMax都等于64。
d.在一个示例中，WIBCMax设置为vSizeX，HIBCMax设置为vSizeY。
e.在一个示例中，WIBCMax设置为最大变换块的宽度，HIBCMax设置为等于最大变换块尺寸的高度。
关于IBC/帧间编解码块的递归划分
4.当IBC/帧间编解码块(CU)被划分成多个TB/TU且并未信令通知划分信息(例如，块尺寸大于最大变换块尺寸)，而是对整个CU信令通知一次运动信息时，提出多次信令通知或推导运动信息。
a.在一个示例中，所有TB/TU可以共享相同的AMVP/Merge标志，该标志可以被信令通知一次。
b.在一个示例中，可以为整个CU构建一次运动候选列表，然而，可以在列表中为不同的TB/TU分配不同的候选。
i.在一个示例中，可以将被分配的候选的索引编解码在比特流中。
c.在一个示例中，可以不使用当前CU内临近TB/TU的运动信息来构建运动候选列表。
i.在一个示例中，可以通过访问相对于当前CU的空域临近块(相邻或不相邻)的运动信息来构建运动候选列表。
5.当IBC/帧间编解码块(CU)被划分成多个TB/TU且并未信令通知划分信息时(例如，块尺寸大于最大变换块尺寸)，可以通过第二TU/TB中的至少一个重构或预测样点来预测第一TU/TB。
a.可以对每个TU/TB单独地进行BV验证检查。
6.当IBC/帧间编解码块(CU)被划分成多个TB/TU且并未信令通知划分信息时(例如，块尺寸大于最大变换块尺寸)，不能通过第二TU/TB中的任意重构或预测样点来预测第一TU/TB。
a.可以对整个编解码块进行BV验证检查。
关于IBC编解码块的预测块生成
7.提出将滤波后的重构参考样点用于IBC预测块生成。
a.在一个示例中，可以通过应用去方块滤波器/双边滤波器/SAO/ALF来生成滤波后的重构参考样点。
b.在一个示例中，对于IBC编解码块，至少一个参考样点是滤波之后的，并且至少一个参考样点是滤波之前的。
8.滤波后的和未滤波的重构参考样点均可以用于IBC预测块生成。
a.在一个示例中，通过应用去方块滤波器/双边滤波器/SAO/ALF来生成滤波后的重构参考样点。
b.在一个示例中，对于IBC块的预测，预测的一部分可以来自于滤波后的样点，而预测的另一部分可以来自于未滤波的样点。
9.对于IBC预测块生成，使用重构参考样点的滤波后的值还是未滤波的值是取决于重构样点的位置。
a.在一个示例中，该决定可以取决于重构样点相对于当前CTU和/或覆盖参考样点的CTU的相对位置。
b.在一个示例中，如果参考样点在当前CTU/CTB之外，或者在不同的CTU/CTB中并且与CTU边界有较大距离(例如，4像素)，则可以使用对应的滤波后的样点。
c.在一个示例中，如果参考样点在当前CTU/CTB内，则可以使用未滤波的重构样点来生成预测块。
d.在一个示例中，如果参考样点在当前VPDU之外，则可以使用对应的滤波后的样点。
e.在一个示例中，如果参考样点在当前VPDU内，则可以使用未滤波的重构样点来生成预测块。
关于MVD编解码
由(Vx，Vy)来表示运动矢量(或块矢量)，或者运动矢量差或块矢量差。
10.提出将由AbsV表示的运动矢量分量(例如Vx或Vy)的绝对值划分成两部分，其中第一部分等于AbsV–((AbsV>>N)<<N)(例如，AbsV&(1<<N)，最低有效N比特)，另一部分等于(AbsV>>N)(例如，剩余的最高有效比特)。每个部分可单独编解码。
a.在一个示例中，一个运动矢量或运动矢量差的每个分量可以单独编解码。
i.在一个示例中，第一部分用固定长度编解码进行编解码，例如N比特。
1)可替代地，可以编解码第一标志以指示第一部分是否等于0。
a.可替代地，此外，如果不是，则编解码第一部分的值减1。
ii.在一个示例中，可以利用当前MVD编解码方法来编解码具有MV/MVD标志信息的第二部分。
b.在一个示例中，一个运动矢量或运动矢量差的每个分量的第一部分可以被联合编解码，而第二部分可以单独编解码。
i.在一个示例中，Vx和Vy的第一部分可以形成为具有2N比特的新的正值(例如，(Vx<<N)+Vy)。
1)在一个示例中，可以编解码第一标志以指示新的正值是否等于0。
a.可替代地，此外，如果不是，则编解码新的正值减1。
2)可替代地，可以利用固定长度编解码或exp-golomb编解码(例如，EG-0th)来编解码新的正值。
ii.在一个示例中，可以使用当前MVD编解码方法来编解码具有MV/MVD标志信息的一个运动矢量的每个分量的第二部分。
c.在一个示例中，一个运动矢量的每个分量的第一部分可以被联合编解码，第二部分也可以被联合编解码。
d.在一个示例中，N是正值，例如1或2。
e.在一个示例中，N可以取决于用于运动矢量存储的MV精度。
i.在一个示例中，如果用于运动矢量存储的MV精度是1/2M像素，则N被设置为M。
1)在一个示例中，如果用于运动矢量存储的MV精度是1/16像素，则N等于4。
2)在一个示例中，如果用于运动矢量存储的MV精度是1/8像素，则N等于3。
3)在一个示例中，如果用于运动矢量存储的MV精度是1/4像素，则N等于2。
f.在一个示例中，N可以取决于当前运动矢量(例如，IBC中的块矢量)的MV精度。
i.在一个示例中，如果BV是1像素精度，N可以被设置为1。
关于SBT
11.是否信令通知允许子块变换的最大CU宽度和/或高度的指示可以取决于最大允许变换块尺寸。
a.在一个示例中，允许子块变换的最大CU宽度和高度是64个还是32个亮度样点(例如，sps_sbt_max_size_64_flag)可以取决于最大允许变换块尺寸的值(例如，sps_max_luma_transform_size_64_flag)。
i.在一个示例中，只有当sps_sbt_enabled_flag和sps_max_luma_transform_size_64_flag两者均为真时，才信令通知sps_sbt_max_size_64_flag。
关于LFNST矩阵索引
12.提出使用2个上下文来编解码LFNST/LFNST矩阵索引(例如，lfnst_idx)的使用，其中选择完全基于分割树的使用。
g.在一个示例中，对于单树分割使用一个上下文，对于双树则使用另一个上下文，而不考虑对主变换的依赖关系。
13.提出基于双树和/或条带类型和/或颜色分量的使用来编解码LFNST/LFNST矩阵索引(例如，lfnst_idx)的使用。
5.附加示例实施例
以粗体下划线斜体的方式突出显示更改。用[[]]括号标记删除的文本。
5.1实施例#1
表9-82利用上下文编解码的容器将ctxInc分配给语法元素
Figure BDA0003539017040000431
5.2实施例#2
7.3.8.5编解码单元语法
Figure BDA0003539017040000432
图20是示出示例视频处理系统2000的框图，其中可以实施本文所公开的各种技术。各种实施方式可以包括系统2000的一些或全部组件。系统2000可以包括用于接收视频内容的输入2002。视频内容可以原始或未压缩格式接收，例如8比特或10比特多分量像素值，或者可以压缩或编码格式接收。输入2002可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等的有线接口以及诸如Wi-Fi或蜂窝接口的无线接口。
系统2000可以包括编解码组件2004，其可实施本申请文件中所描述的各种编解码或编码方法。编解码组件2004可以降低从输入2002到编解码组件2004的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件2004的输出可以被存储，或者也可以通过连接的通信进行传输，如组件2006所示。输入2002处接收的视频的存储或通信比特流(或编解码)表示可由组件2008用于生成像素值或发送到显示接口2010的可显示视频。从比特流表示生成用户可观看视频的过程有时称为视频解压缩。此外，尽管某些视频处理操作被称为“编解码”操作或工具，但应当理解的是，编解码工具或操作被用于编码器处，并且逆向编解码结果的对应的解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文中所述的技术可实施在各种电子装置中，例如移动电话、笔记本电脑、智能手机或其他能够执行数字数据处理和/或视频显示的装置。
图21是视频处理设备2100的框图。设备2100可以用于实施本文描述的一种或多种方法。设备2100可以实施在智能手机、平板电脑、计算机、物联网(IoT)接收器等之中。设备2100可以包括一个或多个处理器2102、一个或多个存储器2104和视频处理硬件2106。处理器2102可以配置为实施本申请文件中描述的一种或多种方法。存储器(多个存储器)2104可以用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件2106可以用于在硬件电路中实现本申请文件中描述的一些技术。
在一些实施例中，以下解决方案可以实施为优选解决方案。
以下解决方案可以与在上一节中列出的项目(例如，项目1)中描述的附加技术一起实现。
1.一种视频处理方法(例如，图22中描绘的方法2200)，其包括：对于基于帧内块复制工具、视频区域中的视频块的编解码表示与视频块之间的转换，确定(2202)允许将视频块划分成多个变换单元，其中，确定是基于视频块的编解码条件，并且编解码表示省略划分的信令通知；以及基于划分来执行(2204)转换。
2.如解决方案1所述的方法，其中，编解码条件对应于视频块的维度。
3.如解决方案2所述的方法，其中，由于视频块的宽度大于第一阈值，则确定允许划分，或者由于视频块的高度大于第二阈值，则确定允许划分。
4.如解决方案3所述的方法，其中，第一阈值和/或第二阈值等于视频区域的最大变换尺寸。
5.如解决方案1-4中任一项所述的方法，其中，将划分递归地应用于视频块。
以下解决方案可以与在上一节中列出的项目(例如，项目2)中描述的附加技术一起实现。
6.一种视频处理方法，包括：对于视频区域的视频块的编解码表示与视频块之间的转换，基于视频区域的最大变换尺寸来确定帧内块复制(IBC)工具是否被启用于视频块的转换；以及基于确定来执行转换。
7.如解决方案6所述的方法，其中，视频块是色度块，并且其中最大变换尺寸对应于对应亮度块的尺寸，其中由于最大变换尺寸大于阈值而禁用IBC。
8.如解决方案6-7中任一项所述的方法，其中，由于视频块的维度或者最大变换尺寸满足标准，编解码表示中的语法元素指示是否启用IBC工具。
9.如解决方案6-8中任一项所述的方法，其中，在确定启用IBC工具时，转换还包括基于迫零条件，视频块的残差块被强制全部为零。
以下解决方案可以与在上一节中列出的项目(例如，项目3)中描述的附加技术一起实现。
10.一种视频处理方法，包括：对于视频区域的视频块的编解码表示与视频块之间的转换，确定用于转换的帧内块复制(IBC)工具的信令通知是否被包括在编解码表示中；以及基于确定来执行转换，其中，确定是基于视频块的宽度和/或高度以及视频区域的最大允许IBC块尺寸。
11.如解决方案10所述的方法，其中，由于宽度大于第一阈值或者高度大于第二阈值而未包括信令通知。
以下解决方案可以与在上一节中列出的项目(例如，项目4)中描述的附加技术一起实现。
12.一种视频处理方法，包括：对于使用帧内块复制(IBC)工具、在视频区域的视频块的编解码表示与视频块之间的转换，确定允许将视频块划分成多个变换单元(TU)以用于转换；以及基于确定来执行转换，其中，转换包括对多个TU使用单独的运动信息。
13.如解决方案12所述的方法，其中，多个TU被约束为共享相同的高级运动矢量预测器或Merge模式标志。
14.如解决方案12所述的方法，其中，在转换期间，确定多个TU中的一个TU的运动信息而不使用多个TU中的另一TU的运动信息。
以下解决方案可以与在上一节中列出的项目(例如，项目5)中描述的附加技术一起实现。
15.如解决方案12-14中任一项所述的方法，其中，从多个TU中的第二TU预测多个TU中的第一TU。
以下解决方案可以与在上一节中列出的项目(例如，项目6)中描述的附加技术一起实现。
16.如解决方案12-15中任一项所述的方法，其中，从多个TU中的第二TU预测多个TU中的第一TU被禁用。
以下解决方案可以与在上一节中列出的项目(例如，项目7)中描述的附加技术一起实现。
17.一种视频处理方法，包括：对于视频区域的视频块的编解码表示与视频块之间的转换，确定帧内块复制工具被启用于转换；以及使用帧内块复制工具来执行转换，其中，使用视频区域的滤波后的重构样点来执行视频块的预测。
18.如解决方案17所述的方法，其中，滤波后的重构样点包括通过对重构样点应用环路滤波器生成的样点，其中，环路滤波器是去方块滤波器或者双边滤波器或者样点自适应偏移或自适应环路滤波器。
以下解决方案可以与在上一节中列出的项目(例如，项目8)中描述的附加技术一起实现。
19.如解决方案17-18中任一项所述的方法，其中，基于规则，预测还选择性地使用视频区域的未滤波的重构样点。
以下解决方案可以与在上一节中列出的项目(例如，项目9)中描述的附加技术一起实现。
20.如解决方案19所述的方法，其中，规则取决于重构样点的位置。
21.如解决方案20所述的方法，其中，用于规则的重构样点的位置是重构样点相对于视频块的编解码树单元的相对位置。
以下解决方案可以与在上一节中列出的项目(例如，项目10)中描述的附加技术一起实现。
22.一种视频处理方法，包括：执行包含多个视频块的视频与视频的编解码表示之间的转换，其中，至少一些视频块是使用运动矢量信息编解码的，并且其中基于运动矢量信息的绝对值的第一低有效比特，将运动矢量信息在编解码表示中表示为第一部分，以及基于比第一低有效比特更有效的剩余更高有效比特将运动矢量信息在编解码表示中表示为第二部分。
23.如解决方案22所述的方法，其中，表示为AbsV的运动矢量V的绝对值被划分成第一部分和第二部分，第一部分等于AbsV–((AbsV>>N)<<N)或者AbsV&(1<<N)，第二部分等于(AbsV>>N)，N为整数。
24.如解决方案22-23中任一项所述的方法，其中，第一部分和第二部分在编解码表示中单独编解码。
25.如解决方案22-24中任一项所述的方法，其中，x运动矢量的第一部分与y运动矢量的第一部分在相同位置联合编解码。
26.如解决方案25所述的方法，其中，x运动矢量的第二部分与y运动矢量的第二部分单独编解码。
27.如解决方案22-26中任一项所述的方法，其中，N是用于存储运动矢量的精度的函数。
以下解决方案可以与在上一节中列出的项目(例如，项目11)中描述的附加技术一起实现。
28.一种视频处理方法，包括：对于视频区域的视频块的编解码表示与视频块之间的转换，确定子块变换工具是否被启用于转换；以及基于确定来执行转换，其中确定是基于视频区域的最大允许变换块尺寸，并且其中基于最大允许变换块尺寸，将信令通知有条件地包括在编解码表示中。
以下解决方案可以与在上一节中列出的项目(例如，项目12、13)中描述的附加技术一起实现。
29.一种视频处理方法，包括：对于视频区域的视频块的编解码表示与视频块之间的转换，确定在转换期间是否使用低频不可分变换(LFNST)；以及基于确定来执行转换，其中，确定是基于应用于视频块的编解码条件，并且其中，使用两个上下文将LFNST和LFNST的矩阵索引编解码在编解码表示中。
30.如解决方案29所述的方法，其中，编解码条件包括所使用的分割树、视频块的条带类型或者视频块的颜色分量标识。
31.如解决方案1-30中任一项所述的方法，其中，视频区域包括编解码单元，并且其中视频块对应于视频区域的亮度或色度分量。
32.如解决方案1-31中任一项所述的方法，其中，转换包括从当前视频块生成比特流表示。
33.如解决方案1-31中任一项所述的方法，其中，转换包括从比特流表示生成当前视频块的样点。
34.一种视频处理设备，包括处理器，处理器被配置为实施如解决方案1-33中任意一项或多项所述的方法。
35.一种计算机可读介质，其上存储有代码，在运行时，代码使处理器实施如解决方案1-33中任意一项或多项所述的方法。
36.一种如本文描述的方法、系统或者设备。
图23是根据本技术的视频处理方法2300的流程图表示。方法2300包括：在操作2310，对于视频的视频区域中的当前块与视频的编解码表示之间的转换，确定允许基于当前块的特性将当前块划分成多个变换单元。在编解码表示中省略划分的信令通知。方法2300包括：在操作2320，基于确定来执行转换。
在一些实施例中，当前块的特性包括当前块的维度。在一些实施例中，在当前块的宽度大于第一阈值的情况下，调用划分以用于转换。在一些实施例中，在当前块的高度大于第二阈值的情况下，调用划分以用于转换。在一些实施例中，当前块的划分包括：递归地划分当前块，直到多个变换单元中的一个变换单元的维度等于或小于阈值。在一些实施例中，将当前块的宽度递归地除以一半，直到当前块的宽度小于或等于第一阈值。在一些实施例中，将当前块的高度递归地除以一半，直到当前块的高度小于或等于第二阈值。在一些实施例中，递归地划分当前块，直到当前块的宽度小于或等于第一阈值并且当前块的高度小于或等于第二阈值。在一些实施例中，第一阈值等于视频区域的最大变换尺寸。在一些实施例中，第二阈值等于视频区域的最大变换尺寸。
在一些实施例中，多个变换单元的至少一个子集共享相同的运动信息。在一些实施例中，相同的运动信息包括用于高级运动矢量预测模式或Merge模式的语法标志，语法标志在当前块的编解码表示中被信令通知一次。在一些实施例中，在编解码表示中多次确定当前块的运动信息。在一些实施例中，为当前块构建一次运动候选列表，并且在运动候选列表中为多个变换单元分配不同的候选。在一些实施例中，在编解码表示中信令通知不同候选的索引。在一些实施例中，对于多个变换单元的变换单元，在不使用当前块内的临近变换单元的运动信息的情况下构建运动候选列表。在一些实施例中，使用当前块的空域临近块的运动信息来构建运动候选列表。在一些实施例中，基于第二变换单元中的至少一个重构样点来重构第一变换单元。在一些实施例中，对多个变换单元中的每个变换单元单独执行验证检查。在一些实施例中，在不使用其他变换单元中的任何重构样点的情况下预测第一变换单元。在一些实施例中，在重构块之后，对块执行验证检查。
图24是根据本技术的视频处理方法2400的流程图表示。方法2400包括：在操作2410，对于在视频的视频区域中的当前块与视频的编解码表示之间的转换，基于视频区域中的滤波后的重构参考样点、使用帧内块复制(IBC)模型来确定当前块的预测样点。方法2400包括：在操作2420，基于确定来执行转换。
在一些实施例中，基于滤波操作生成滤波后的重构参考样点，滤波操作包括以下中的至少一种：去方块滤波操作、双边滤波操作、样点自适应偏移(SAO)滤波操作或者自适应环路滤波操作。在一些实施例中，使用IBC模型确定当前块的预测样点还基于视频区域中的未滤波的重构参考样点。在一些实施例中，基于滤波后的重构参考样点来确定当前块的第一部分中的预测样点，并且基于未滤波的重构参考样点来确定当前块的第二部分中的预测样点。在一些实施例中，使用滤波后的重构参考样点还是使用未滤波的重构参考样点来确定块的预测样点是基于预测样点相对于当前编解码树单元或者相对于覆盖样点的编解码树单元的位置。在一些实施例中，在预测样点位于当前编解码树单元外部的情况下，使用滤波后的重构参考样点来重构预测样点。在一些实施例中，在预测样点位于编解码树单元内部，并且预测样点与编解码树单元的一个或多个边界之间具有等于或大于4个像素的距离D的情况下，使用滤波后的重构参考样点来重构预测样点。在一些实施例中，在预测样点位于当前编解码树单元内部的情况下，使用未滤波的重构参考样点重构预测样点。在一些实施例中，在预测样点位于当前虚拟流水线数据单元外部的情况下，使用滤波后的重构参考样点重构预测样点。在一些实施例中，在预测样点位于当前虚拟流水线数据单元内部的情况下，使用未滤波的重构参考样点重构预测样点。
图25是根据本技术的视频处理方法2500的流程图表示。方法2500包括：在操作2510，对于视频的当前块与视频的编解码表示之间的转换，根据规则确定指示使用帧内块复制(IBC)编解码模型的跳过模式的语法元素是否包括在编解码表示中。规则规定语法元素的信令通知是基于当前块的维度和/或基于使用IBC编解码模型编解码的块的最大允许维度。方法2500还包括：在操作2520，基于确定来执行转换。
在一些实施例中，规则规定在当前块的宽度大于最大允许宽度的情况下在编解码表示中省略语法元素。在一些实施例中，规则规定在当前块的高度大于最大允许高度的情况下在编解码表示中省略语法元素。在一些实施例中，规则规定在当前块的宽度小于或等于最大允许宽度的情况下，语法元素被包括在编解码表示中。在一些实施例中，规则规定在当前块的高度小于或等于最大允许高度的情况下，语法元素被包括在编解码表示中。
在一些实施例中，当前块是在视频的视频区域中，并且其中规则适用于视频区域包括I片、I条带、I图块或I子图片的情形。在一些实施例中，最大允许宽度或最大允许高度是64。在一些实施例中，最大允许宽度或最大允许高度等于虚拟流水线数据单元的维度。在一些实施例中，最大允许宽度或最大允许高度等于变换单元的最大维度。
图26是根据本技术的视频处理方法2600的流程图表示。方法2600包括：在操作2610，对于视频的当前块与视频的编解码表示之间的转换，确定用于编解码与低频不可分变换(LFNST)编解码模型关联的索引的至少一个上下文。LFNST编解码模型包括：在编码期间，在正主变换与量化步骤之间应用正二次变换；或者在解码期间，在去量化步骤与逆主变换之间应用逆二次变换。正二次变换与逆二次变换的尺寸小于当前块的尺寸。基于当前块的分割类型来确定至少一个上下文而不考虑正主变换或者逆主变换。方法2600还包括：在操作2620，基于确定来执行转换。
在一些实施例中，在分割类型是单树分割的情况下，只有一个上下文用于编解码索引。在一些实施例中，在分割类型是双树分割的情况下，两个上下文用于编解码索引。
在一些实施例中，基于与块关联的特性，指示低频不可分变换(LFNST)编解码模型的使用的索引被包括在编解码表示中，特性包括与当前块关联的分割类型、条带类型或颜色分量。
图27是根据本技术的视频处理方法2700的流程图表示。方法2700包括：在操作2710，对于视频的视频区域的当前块与视频的编解码表示之间的转换，基于适用于视频区域的最大变换单元尺寸来确定是否启用帧内块复制(IBC)编解码模型。方法2700还包括：在操作2720，基于确定来执行转换。
在一些实施例中，在当前块的维度或对应于当前块的亮度块的维度大于最大变换单元尺寸的情况下，禁用IBC编解码模型。在一些实施例中，在当前块的宽度或对应于当前块的亮度块的宽度大于最大变换单元宽度的情况下，禁用IBC编解码模型。在一些实施例中，在当前块的高度或对应于当前块的亮度块的高度大于最大变换高度的情况下，禁用IBC编解码模型。在一些实施例中，在编解码表示中信令通知使用IBC编解码模型的方式是基于当前块的维度和最大变换单元尺寸。在一些实施例中，信令通知IBC编解码模型的使用包括语法元素，语法元素指示IBC编解码模型的跳过模式。在一些实施例中，语法元素被包括在编解码表示中的I片、I条带、I图块或I子图片中。
在一些实施例中，信令通知IBC编解码模型的使用包括指示IBC模式的语法元素。在一些实施例中，在当前块的宽度大于最大变换单元宽度或者当前块的高度大于最大变换单元高度的情况下，在编解码表示中省略语法元素。在一些实施例中，在当前块的宽度小于或等于最大变换单元宽度或者当前块的高度小于或等于最大变换单元高度的情况下，语法元素被包括在编解码表示中。在一些实施例中，在当前块的宽度大于最大变换单元宽度或当前块的高度大于最大变换单元高度的情况下，语法元素被包括在编解码表示中并且被设置为0。
在一些实施例中，在对当前块启用IBC编解码模型的情况下，根据规则，将对应于当前块的残差块中的样点设置为0。在一些实施例中，规则规定：在当前块的宽度大于最大变换单元宽度或当前块的高度大于最大变换单元高度的情况下，将样点设置为0。在一些实施例中，规则规定：在当前块的宽度大于第一阈值或者当前块的高度大于第二阈值的情况下，将样点设置为0。在一些实施例中，第一阈值是64/vSizeX，vSizeX是虚拟流水线数据单元的宽度。在一些实施例中，第二阈值是64/vSizeY，vSizeY是虚拟流水线数据单元的高度。在一些实施例中，在编解码表示中省略编解码块的语法标志。在一些实施例中，编解码块的语法标志在编解码表示中被设置为0。
在一些实施例中，在编解码表示中信令通知用于编解码块的语法标志是基于IBC编解码模型的使用。在一些实施例中，在对当前块启用IBC编解码模型并且块的维度大于最大变换单元尺寸的情况下，在编解码表示中省略语法标志。在一些实施例中，在对当前块启用IBC编解码模型并且块的维度大于与虚拟流水线数据单元关联的阈值的情况下，在编解码表示中省略语法标志。
图28是根据本技术的视频处理方法2800的流程图表示。方法2800包括，在操作2810，对于视频的当前块与视频的编解码表示之间的转换，确定当前块的运动矢量的分量的绝对值被划分成两部分。运动矢量表示为(Vx,Vy)，分量表示为Vi，Vi是Vx或者Vy。两部分的第一部分等于|Vi|-((|Vi|>>N)<<N)，两部分的第二部分等于|Vi|>>N，N是正整数。在编解码表示中单独编解码两部分。方法2800还包括：在操作2820，基于确定来执行转换。
在一些实施例中，在编解码表示中单独信令通知两个分量Vx和Vy。在一些实施例中，第一部分以N比特固定长度编解码。在一些实施例中，分量Vx的第一部分和分量Vy的第一部分被联合编解码，并且分量Vx的第二部分和分量Vy的第二部分被单独编解码。在一些实施例中，分量Vx的第一部分和分量Vy的第一部分被编解码为具有2N比特长度的值。在一些实施例中，该值等于(Vx<<N)+Vy。在一些实施例中，使用固定长度编解码过程或者exp-golomb编解码过程来编解码该值。
在一些实施例中，分量Vx的第一部分和分量Vy的第一部分被联合编解码，并且分量Vx的第二部分和分量Vy的第二部分被联合编解码。在一些实施例中，语法标志被包括在编解码表示中以指示第一部分是否等于0。在一些实施例中，第一部分具有值K，其中，K≠0，并且值(K-1)被编解码在编解码表示中。在一些实施例中，使用运动矢量差编解码过程来编解码具有标志信息的每个分量的第二部分。在一些实施例中，N是1或2。在一些实施例中，基于用于运动矢量数据存储的运动矢量精度来确定N。在一些实施例中，在运动矢量精度为1/16像素的情况下，N为4。在一些实施例中，在运动矢量精度为1/8像素的情况下，N为3。在一些实施例中，在运动矢量精度为1/4像素的情况下，N为2。在一些实施例中，基于当前运动矢量的运动矢量精度来确定N。在一些实施例中，在运动矢量精度为1个像素的情况下，N为1。
图29是根据本技术的视频处理方法2900的流程图表示。方法2900包括，在操作2910，对于视频的当前块与视频的编解码表示之间的转换，基于变换块的最大允许维度，确定关于允许当前块中的子块变换的当前块的最大维度的信息。方法2900还包括：在操作2920，基于确定来执行转换。
在一些实施例中，允许当前块中的子块变换的当前块的最大维度对应于变换块的最大允许维度。在一些实施例中，当前块的最大维度是64或32。在一些实施例中，在条带参数集中的第一语法标志指示启用子块变换并且条带参数集中的第二语法标志指示变换块的最大允许维度是64的情况下，指示当前块的最大维度的语法标志被包括在编解码表示中。
在一些实施例中，转换包括从当前块生成编解码表示。在一些实施例中，转换包括从编解码表示生成当前块的样点。
在以上解决方案中，执行转换包括在编码或解码操作期间使用先前决定步骤的结果(例如，使用或不使用某些编解码或解码步骤)来获得转换结果。
所公开技术的一些实施例包括做出决定或确定以启用视频处理工具或模式。在一个示例中，当启用视频处理工具或模式时，编码器将在视频的块的处理中使用或实施该工具或模式，但是可以不一定基于该工具或模式的使用来修改所得比特流。也就是说，当基于决定或确定启动视频处理工具或模式时，从视频的块到视频的比特流表示的转换将使用该视频处理工具或模式。在另一示例中，当启用视频处理工具或模式时，解码器将利用已经基于视频处理工具或模式修改比特流的知识来处理比特流。也就是说，将使用基于决定或确定启用的视频处理工具或模式来执行从视频的比特流表示到视频的块之间的转换。
所公开技术的一些实施例包括做出决定或确定以禁用视频处理工具或模式。在一个示例中，当禁用视频处理工具或模式时，编码器在视频的块到视频的比特流表示之间的转换中不使用该工具或模式。在另一示例中，当禁用视频处理工具或模式时，解码器将利用并未使用视频处理工具或模式修改比特流的知识来处理比特流，该视频处理工具或模式基于决定或确定而被启用。
本申请文件中描述的公开和其他解决方案、示例、实施例、模块和功能操作能够在数字电子电路、或计算机软件、固件或硬件中实现，包括本申请文件中所公开的结构及其结构等效体，或其中一个或多个的组合。本申请文件中所公开的实施例以及其他实施例可以实现为一个或多个计算机程序产品，例如一个或多个编码在有形的且非易失的计算机可读介质上的计算机程序指令的模块，以供数据处理设备执行或控制数据处理设备的操作。计算机可读介质可以是机器可读存储装置、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理设备”包括用于处理数据的所有设备、装置和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该设备还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。传播的信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息以传输到合适的接收器设备。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。
本申请文件中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且设备也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动硬盘；磁光盘；以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路来补充，或Merge到专用逻辑电路中。
虽然本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。
同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (36)

1.一种视频处理方法，包括：
对于在视频的视频区域中的当前块与所述视频的编解码表示之间的转换，确定基于所述当前块的特性允许将所述当前块划分成多个变换单元，其中，在所述编解码表示中省略所述划分的信令通知；以及
基于所述确定来执行所述转换。
2.根据权利要求1所述的方法，其中，所述当前块的特性包括所述当前块的维度。
3.根据权利要求2所述的方法，其中，在所述当前块的宽度大于第一阈值的情况下，为所述转换调用所述划分。
4.根据权利要求2所述的方法，其中，在所述当前块的高度大于第二阈值的情况下，所述转换调用所述划分。
5.根据权利要求1-4中任一项所述的方法，其中，所述当前块的划分包括：
递归地划分所述当前块，直到所述多个变换单元中的一个变换单元的维度等于或小于阈值。
6.根据权利要求5所述的方法，其中，将所述当前块的宽度递归地除以一半，直到所述当前块的宽度小于或等于第一阈值。
7.根据权利要求5所述的方法，其中，将所述当前块的高度递归地除以一半，直到所述当前块的高度小于或等于第二阈值。
8.根据权利要求5-7中任一项所述的方法，其中，递归地划分所述当前块，直到所述当前块的宽度小于或等于第一阈值并且所述当前块的高度小于或等于第二阈值。
9.根据权利要求3、6或8中任一项所述的方法，其中，所述第一阈值等于所述视频区域的最大变换尺寸。
10.根据权利要求4、7或8中任一项所述的方法，其中，所述第二阈值等于所述视频区域的最大变换尺寸。
11.根据权利要求1-10中任一项所述的方法，其中，所述多个变换单元的至少一个子集共享相同的运动信息。
12.根据权利要求11所述的方法，其中，所述相同的运动信息包括高级运动矢量预测模式或Merge模式的语法标志，所述语法标志在所述当前块的编解码表示中被信令通知一次。
13.根据权利要求1-10中任一项所述的方法，其中，在所述编解码表示中多次确定所述当前块的运动信息。
14.根据权利要求13所述的方法，其中，为所述当前块构建一次运动候选列表，其中，在所述运动候选列表中为所述多个变换单元分配不同的候选。
15.根据权利要求14所述的方法，其中，在所述编解码表示中信令通知所述不同的候选的索引。
16.根据权利要求14或15所述的方法，其中，对于所述多个变换单元中的变换单元，在不使用所述当前块内的临近变换单元的运动信息的情况下构建所述运动候选列表。
17.根据权利要求14-16中任一项所述的方法，其中，使用所述当前块的空域临近块的运动信息来构建所述运动候选列表。
18.根据权利要求1-17中任一项所述的方法，其中，基于第二变换单元中的至少一个重构样点来重构第一变换单元。
19.根据权利要求18所述的方法，其中，对所述多个变换单元中的每个变换单元分别执行验证检查。
20.根据权利要求1-17中任一项所述的方法，其中，在不使用其他变换单元中的任何重构样点的情况下预测第一变换单元。
21.根据权利要求20所述的方法，其中，在重构所述块之后对所述块执行验证检查。
22.一种视频处理方法，包括：
对于在视频的视频区域中的当前块与所述视频的编解码表示之间的转换，基于所述视频区域中的滤波后的重构参考样点，使用帧内块复制(IBC)模型来确定所述当前块的预测样点；以及
基于所述确定来执行所述转换。
23.根据权利要求22所述的方法，其中，基于滤波操作生成所述滤波后的重构参考样点，所述滤波操作包括以下中的至少一种：去方块滤波操作、双边滤波操作、样点自适应偏移(SAO)滤波操作或者自适应环路滤波操作。
24.根据权利要求22或23所述的方法，其中，使用所述IBC模型来确定所述当前块的预测样点还基于所述视频区域中的未滤波的重构参考样点。
25.根据权利要求24所述的方法，其中，基于所述滤波后的重构参考样点来确定所述当前块的第一部分中的预测样点，基于所述未滤波的重构参考样点来确定所述当前块的第二部分中的预测样点。
26.根据权利要求24或25所述的方法，其中，使用所述滤波后的重构参考样点还是使用所述未滤波的重构参考样点来确定所述块的预测样点是基于所述预测样点相对于当前编解码树单元或者相对于覆盖所述样点的编解码树单元的位置。
27.根据权利要求26所述的方法，其中，在所述预测样点位于所述当前编解码树单元外部的情况下，使用所述滤波后的重构参考样点重构所述预测样点。
28.根据权利要求26所述的方法，其中，在所述预测样点位于编解码树单元内部，并且所述预测样点与所述编解码树单元的一个或多个边界之间具有等于或大于4个像素的距离D的情况下，使用所述滤波后的重构参考样点重构所述预测样点。
29.根据权利要求26所述的方法，其中，在所述预测样点位于所述当前编解码树单元内部的情况下，使用所述未滤波的重构参考样点重构所述预测样点。
30.根据权利要求26所述的方法，其中，在所述预测样点位于当前虚拟流水线数据单元外部的情况下，使用所述滤波后的重构参考样点重构所述预测样点。
31.根据权利要求26所述的方法，其中，在所述预测样点位于当前虚拟流水线数据单元内部的情况下，使用所述未滤波的重构参考样点重构所述预测样点。
32.根据权利要求1-31中任一项所述的方法，其中，所述转换包括从所述当前块生成所述编解码表示。
33.根据权利要求1-31中任一项所述的方法，其中，所述转换包括从所述编解码表示生成所述当前块的样点。
34.一种视频处理设备，包括：处理器，配置为实施如权利要求1-33中的任意一项或多项所述的方法。
35.一种计算机可读介质，其上存储有代码，所述代码在执行时使处理器实施如权利要求1-33中的任意一项或多项所述的方法。
36.一种计算机可读介质，存储根据权利要求1-33中任一项生成的编解码表示。
CN202080063234.4A 2019-09-09 2020-09-09 视频编解码块的递归划分 Pending CN114365488A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2019104869 2019-09-09
CNPCT/CN2019/104869 2019-09-09
PCT/CN2020/114230 WO2021047542A1 (en) 2019-09-09 2020-09-09 Recursive splitting of video coding blocks

Publications (1)

Publication Number Publication Date
CN114365488A true CN114365488A (zh) 2022-04-15

Family

ID=74866126

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080063234.4A Pending CN114365488A (zh) 2019-09-09 2020-09-09 视频编解码块的递归划分
CN202080063273.4A Pending CN114365495A (zh) 2019-09-09 2020-09-09 帧内块复制编码与解码

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202080063273.4A Pending CN114365495A (zh) 2019-09-09 2020-09-09 帧内块复制编码与解码

Country Status (6)

Country Link
US (3) US12069309B2 (zh)
EP (1) EP4011076A4 (zh)
JP (2) JP7323709B2 (zh)
KR (1) KR20220053580A (zh)
CN (2) CN114365488A (zh)
WO (2) WO2021047544A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114365488A (zh) 2019-09-09 2022-04-15 北京字节跳动网络技术有限公司 视频编解码块的递归划分
JP2022548203A (ja) * 2019-09-13 2022-11-17 アリババ グループ ホウルディング リミテッド サブブロック変換情報を信号化するための方法及び装置
KR102482781B1 (ko) * 2019-10-29 2022-12-29 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
US11930208B2 (en) * 2020-01-10 2024-03-12 Tencent America LLC Method and apparatus for signaling skip mode flag
EP4399871A1 (en) * 2021-09-07 2024-07-17 Beijing Dajia Internet Information Technology Co., Ltd. Adaptive bilateral filtering for video coding

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160100189A1 (en) * 2014-10-07 2016-04-07 Qualcomm Incorporated Intra bc and inter unification
WO2017157249A1 (en) * 2016-03-16 2017-09-21 Mediatek Inc. Method and apparatus of video data processing with restricted block size in video coding
WO2017205701A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Weighted angular prediction for intra coding
CN107925773A (zh) * 2015-06-11 2018-04-17 英迪股份有限公司 使用自适应去块滤波编码和解码图像的方法及其装置
CN108632611A (zh) * 2012-06-29 2018-10-09 韩国电子通信研究院 视频解码方法、视频编码方法和计算机可读介质
CN109076242A (zh) * 2016-05-13 2018-12-21 索尼公司 图像处理设备和方法
WO2019141012A1 (en) * 2018-01-18 2019-07-25 Mediatek Inc. Video processing methods and apparatuses for processing video data coded in large size coding units

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140018873A (ko) * 2011-04-07 2014-02-13 엘지전자 주식회사 영상 정보 부호화 방법 및 복호화 방법
CN102957907B (zh) 2011-08-31 2016-06-29 华为技术有限公司 一种变换块位置信息的获取方法和模块
US10015515B2 (en) * 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
WO2015054811A1 (en) 2013-10-14 2015-04-23 Microsoft Corporation Features of intra block copy prediction mode for video and image coding and decoding
US9554141B2 (en) * 2013-11-18 2017-01-24 Arris Enterprises, Inc. Intra block copy for intra slices in high efficiency video coding (HEVC)
EP3090553B1 (en) * 2014-01-03 2022-07-06 Microsoft Technology Licensing, LLC Block vector prediction in video and image coding/decoding
US9883197B2 (en) 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
JP2017512026A (ja) * 2014-03-04 2017-04-27 マイクロソフト テクノロジー ライセンシング，エルエルシー イントラブロックコピー予測におけるブロック反転及びスキップモード
EP3114841B1 (en) 2014-03-04 2020-06-10 Microsoft Technology Licensing, LLC Encoder-side decisions for block flipping and skip mode in intra block copy prediction
CN111432220B (zh) 2014-06-19 2022-05-06 Vid拓展公司 采用块向量导出的帧内块复制编码的方法和系统
WO2015192353A1 (en) * 2014-06-19 2015-12-23 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
US10027981B2 (en) * 2014-09-01 2018-07-17 Hfi Innovation Inc. Method of intra picture block copy for screen content and video coding
CA2959682C (en) 2014-09-30 2022-12-06 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US10212445B2 (en) * 2014-10-09 2019-02-19 Qualcomm Incorporated Intra block copy prediction restrictions for parallel processing
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
US9883187B2 (en) * 2015-03-06 2018-01-30 Qualcomm Incorporated Fast video encoding method with block partitioning
KR102051197B1 (ko) 2015-03-20 2019-12-02 미디어텍 싱가폴 피티이. 엘티디. 비디오 코딩에서의 인터 예측으로의 팔레트 코딩 방법
US10638140B2 (en) * 2015-05-29 2020-04-28 Qualcomm Incorporated Slice level intra block copy and other video coding improvements
US20160360234A1 (en) * 2015-06-03 2016-12-08 Apple Inc. Techniques For Resource Conservation During Performance Of Intra Block Copy Prediction Searches
US10306240B2 (en) 2015-06-08 2019-05-28 Vid Scale, Inc. Intra block copy mode for screen content coding
US11146794B2 (en) * 2015-07-27 2021-10-12 Mediatek Inc. Method of system for video coding using intra block copy mode
WO2017088093A1 (en) * 2015-11-23 2017-06-01 Mediatek Singapore Pte. Ltd. On the smallest allowed block size in video coding
US10560702B2 (en) * 2016-01-22 2020-02-11 Intel Corporation Transform unit size determination for video coding
US20190068967A1 (en) * 2016-02-03 2019-02-28 Sharp Kabushiki Kaisha Predicted-image generation device, video decoding device, and video coding device
CN116744023A (zh) * 2016-11-25 2023-09-12 株式会社Kt 用于对视频进行编码和解码的方法
EP3349455A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and device for coding a block of video data, method and device for decoding a block of video data
CN116708831A (zh) * 2017-04-24 2023-09-05 Sk电信有限公司 编解码视频数据的方法、发送编码视频数据比特流的方法
US11218697B2 (en) * 2017-05-26 2022-01-04 Sk Telecom Co., Ltd. Apparatus and method for video encoding or decoding supporting various block sizes
EP4102837A1 (en) 2018-04-24 2022-12-14 HFI Innovation Inc. Methods and apparatus of alternative transform skip mode for image and video coding
EP3788787A1 (en) 2018-06-05 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Interaction between ibc and atmvp
KR20210025537A (ko) 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
US10890700B2 (en) 2018-09-24 2021-01-12 Apple Inc. Electronic devices having infrared-transparent antireflection coatings
CN112868239B (zh) 2018-10-23 2023-05-30 北京字节跳动网络技术有限公司 并置的局部照明补偿和帧内块复制编解码
WO2020108574A1 (en) 2018-11-28 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Improving method for transform or quantization bypass mode
JP7212161B2 (ja) 2018-11-29 2023-01-24 北京字節跳動網絡技術有限公司 イントラブロックコピーモードとインター予測ツールとの間の相互作用
EP4383703A1 (en) * 2018-12-12 2024-06-12 Humax Co., Ltd. Video signal processing method and device using current picture reference
CN113170195B (zh) 2018-12-22 2024-09-03 北京字节跳动网络技术有限公司 具有双树分割的帧内块复制模式
US10958904B2 (en) * 2019-02-01 2021-03-23 Tencent America LLC Method and apparatus for video coding
KR20210123300A (ko) 2019-02-02 2021-10-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리
CN113366848A (zh) 2019-02-02 2021-09-07 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区重置
WO2020164628A1 (en) 2019-02-17 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction for intra block copy (ibc) mode and non-ibc inter mode
JP7405861B2 (ja) 2019-03-01 2023-12-26 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのための方向に基づく予測
CN113508581B (zh) 2019-03-04 2023-11-14 北京字节跳动网络技术有限公司 视频编解码中的帧内块复制中的实施方式方面
US11909960B2 (en) 2019-03-07 2024-02-20 Lg Electronics Inc. Method and apparatus for processing video signal
CN113826395B (zh) * 2019-04-16 2023-06-30 Lg电子株式会社 图像编码中基于矩阵的帧内预测的变换
US11212545B2 (en) * 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
EP3985968A4 (en) * 2019-06-17 2023-05-24 Electronics and Telecommunications Research Institute INTRA BLOCK COPY BASED ENCODING/DECODING METHOD, DEVICE AND BITSTREAM STORAGE DEVICE
US11303913B2 (en) * 2019-06-19 2022-04-12 Qualcomm Incorporated Decoded picture buffer indexing
CN110933408B (zh) * 2019-06-21 2020-11-10 杭州海康威视数字技术股份有限公司 预测模式的解码、编码方法及装置
EP3973704A4 (en) * 2019-06-28 2022-07-27 Beijing Dajia Internet Information Technology Co., Ltd. LOSSLESS CODING MODES FOR VIDEO CODING
KR20220024764A (ko) * 2019-07-19 2022-03-03 엘지전자 주식회사 Ibc를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11553197B2 (en) * 2019-08-05 2023-01-10 Tencent America LLC Method and apparatus for intra picture block compensation
CN114365488A (zh) 2019-09-09 2022-04-15 北京字节跳动网络技术有限公司 视频编解码块的递归划分

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632611A (zh) * 2012-06-29 2018-10-09 韩国电子通信研究院 视频解码方法、视频编码方法和计算机可读介质
US20160100189A1 (en) * 2014-10-07 2016-04-07 Qualcomm Incorporated Intra bc and inter unification
CN107925773A (zh) * 2015-06-11 2018-04-17 英迪股份有限公司 使用自适应去块滤波编码和解码图像的方法及其装置
WO2017157249A1 (en) * 2016-03-16 2017-09-21 Mediatek Inc. Method and apparatus of video data processing with restricted block size in video coding
CN109076242A (zh) * 2016-05-13 2018-12-21 索尼公司 图像处理设备和方法
WO2017205701A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Weighted angular prediction for intra coding
WO2019141012A1 (en) * 2018-01-18 2019-07-25 Mediatek Inc. Video processing methods and apparatuses for processing video data coded in large size coding units

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS: "Versatile Video Coding (Draft 6)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 15TH MEETING: GOTHENBURG, SE, 3–12 JULY 2019，JVET-O2001, 12 July 2019 (2019-07-12) *

Also Published As

Publication number Publication date
EP4011076A4 (en) 2022-11-02
WO2021047544A1 (en) 2021-03-18
EP4011076A1 (en) 2022-06-15
JP7323709B2 (ja) 2023-08-08
CN114365495A (zh) 2022-04-15
US20240089507A1 (en) 2024-03-14
WO2021047542A1 (en) 2021-03-18
US20220210411A1 (en) 2022-06-30
US11930216B2 (en) 2024-03-12
JP2022547157A (ja) 2022-11-10
US12069309B2 (en) 2024-08-20
US20220191549A1 (en) 2022-06-16
JP2023159091A (ja) 2023-10-31
KR20220053580A (ko) 2022-04-29

Similar Documents

Publication Publication Date Title
CN113056917B (zh) 为视频处理使用具有几何分割的帧间预测
CN113853783B (zh) 对帧内块复制编解码的块的块矢量的编解码
CN113170099B (zh) 块内拷贝模式和帧间预测工具之间的交互
CN113661706B (zh) 视频编码中的可选插值滤波器
CN113924771B (zh) 子块Merge模式中的语法信令
CN114365488A (zh) 视频编解码块的递归划分
CN114175636A (zh) 自适应参数集中的自适应环路滤波的指示
CN113170166B (zh) 具有几何分割的帧间预测在视频处理中有条件的应用
CN113966616A (zh) 使用临近块信息的运动候选列表构建
CN113994682A (zh) 具有默认参数的基于历史的运动矢量预测
CN113170139B (zh) 上下文自适应二进制算数编码的简化上下文建模
CN115088192A (zh) 视频数据的基于字典的编解码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination