CN118044184A - 用于执行组合帧间预测和帧内预测的方法和系统 - Google Patents

用于执行组合帧间预测和帧内预测的方法和系统 Download PDF

Info

Publication number
CN118044184A
CN118044184A CN202280063448.0A CN202280063448A CN118044184A CN 118044184 A CN118044184 A CN 118044184A CN 202280063448 A CN202280063448 A CN 202280063448A CN 118044184 A CN118044184 A CN 118044184A
Authority
CN
China
Prior art keywords
prediction signal
domain
prediction
intra
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280063448.0A
Other languages
English (en)
Inventor
廖如伶
陈杰
李新伟
叶琰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Damo Institute Hangzhou Technology Co Ltd
Original Assignee
Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Damo Institute Hangzhou Technology Co Ltd filed Critical Alibaba Damo Institute Hangzhou Technology Co Ltd
Publication of CN118044184A publication Critical patent/CN118044184A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于视频处理的方法，其中应用组合的帧间和帧内预测(CIIP)和具有色度缩放的亮度映射(LMCS)。该方法包括:获得帧间预测信号、帧内预测信号和重叠块运动补偿(OBMC)预测信号；通过对所述帧间预测信号和第一预测信号进行加权来获得中间加权预测信号，其中，所述第一预测信号为帧内预测信号和OBMC预测信号中的一预测信号；以及通过对所述中间加权预测信号和第二预测信号进行加权来获得最终预测信号，其中，所述第二预测信号为所述帧内预测信号和OBMC预测信号中的另一预测信号；其中，所述中间加权预测信号和所述第二预测信号均在映射域或原始域中。

Description

用于执行组合帧间预测和帧内预测的方法和系统
相关申请的交叉引用
本申请要求2021年9月22日提交的美国临时申请63/247，078和2022年9月13日提交的美国非临时申请17/931,676，其全部内容通过引用并入本文。
技术领域
技术领域本公开一般涉及视频处理，并且更具体地，涉及用于执行组合的帧间预测和帧内预测的方法和系统。
背景技术
视频是一组捕获视觉信息的静态图像(或“帧”)。为了减少存储内存和传输带宽，视频可以在存储或传输之前被压缩，并且在显示之前被解压缩。压缩过程通常被称为编码，而解压缩过程通常被称为解码。存在使用标准视频编码技术的各种视频编码格式，最常见的是基于预测、变换、量化、熵编码和环路滤波。指定特定视频编码格式的视频编码标准，诸如高效视频编码(HEVC/H.265)标准、通用视频编码(VVC/H.266)标准和AVS标准，由标准化组织开发。随着越来越多先进的视频编码技术在视频标准中的应用，新的视频编码标准的编码效率越来越高。
发明内容
本公开的实施例提供一种用于视频处理的方法，其中应用具有色度缩放(LMCS)的组合的帧间和帧内预测(CIIP)和亮度映射。该方法包括:获得帧间预测信号、帧内预测信号和重叠块运动补偿(OBMC)预测信号；通过对所述帧间预测信号和第一预测信号进行加权来获得中间加权预测信号，其中，所述第一预测信号为帧内预测信号和OBMC预测信号中的一预测信号；以及通过对所述中间加权预测信号和第二预测信号进行加权来获得最终预测信号，其中，所述第二预测信号为所述帧内预测信号和OBMC预测信号中的另一预测信号；其中，所述中间加权预测信号和所述第二预测信号均在映射域或原始域中。
本公开的实施例提供了一种用于执行视频数据处理的装置，其中应用组合的帧间和帧内预测(CIIP)和具有色度缩放的亮度映射(LMCS)，所述装置包括:存储器，所述存储器用于存储指令；以及一个或多个处理器，所述一个或多个处理器被配置为执行所述指令以使所述装置执行:获得帧间预测信号、帧内预测信号和重叠块运动补偿(OBMC)预测信号；通过对所述帧间预测信号和第一预测信号进行加权来获得中间加权预测信号，其中，所述第一预测信号为帧内预测信号和OBMC预测信号中的一预测信号；以及通过对所述中间加权预测信号和第二预测信号进行加权来获得最终预测信号，其中，所述第二预测信号为所述帧内预测信号和OBMC预测信号中的另一预测信号；其中，所述中间加权预测信号和所述第二预测信号均在映射域或原始域中。
本公开的实施例提供一种非暂时性计算机可读存储介质，存储用于根据方法进行处理的视频的位流，其中，对视频应用组合的帧间和帧内预测(CIIP)和具有色度缩放的亮度映射(LMCS)，并且所述方法包括:在原始域中获得帧间预测信号、在映射域中获得帧内预测信号和在原始域中获得重叠块运动补偿(OBMC)预测信号；通过在原始域中对所述帧间预测信号和OBMC预测信号进行加权来获得中间加权预测信号；将所述中间加权预测信号从所述原始域中转换到映射域中；通过在映射域中对所述中间加权预测信号和所述帧内预测信号进行加权来获得最终预测信号。
附图说明
在以下详细描述和附图中示出了本公开的实施例和各个方面。图中所示的各种特征未按比例绘制。
图1是根据本公开的一些实施例的示例视频序列的结构示意图。
图2A是示出与本公开的实施例一致的混合视频编解码系统的示例性编码过程的示意图。
图2B是示出根据本公开的实施例的混合视频编解码系统的另一示例性编码过程的示意图。
图3A是示出根据本公开的实施例的混合视频编解码系统的示例性解码过程的示意图。
图3B是示出根据本公开的实施例的混合视频编解码系统的另一示例性解码过程的示意图。
图4是根据本公开的一些实施例的用于对视频进行编码或解码的示例性装置的框图。
图5示出了根据本公开的一些实施例的VVC中的角度帧内预测模式。
图6示出了根据本公开的一些实施例的在一般最可能模式(MPM)列表的导出中使用的示范性相邻块。
图7示出了根据本公开的一些实施例的用于在解码器侧帧内模式导出(DIMD)中计算梯度的示例性像素。
图8示出了根据本公开的一些实施例的DIMD的预测混合过程。
图9示出根据本公开的一些实施例的在基于模板的帧内模式导出(TIMD)中使用的示例性模板及其参考样本。
图10示出了根据本公开的一些实施例的在组合的帧间预测和帧内预测(CIIP)权重推导中使用的上相邻块和左相邻块。
图11示出了根据本公开的一些实施例的使用位置相关帧内预测组合(PDPC)的扩展CIIP模式的示例性流程图。
图12A和图12B示出根据本公开的一些实施例的应用重叠块运动补偿(OBMC)的示例性子块。
图13示出了根据本公开的一些实施例的从包括亮度分量和色度分量的解码器的角度来看的示例性具有色度缩放的亮度映射(LMCS)架构。
图14示出了根据本公开的一些实施例的用于在CIIP中生成帧内预测值的方法的示例性流程图。
图15A示出了根据本公开的一些实施例的用于获得映射域中的最终预测信号的示例性方法的流程图。
图15B是示出根据本公开的一些实施例的所述图15A所示的映射域的最终预测信号的获得方法的表。
图16A示出了根据本公开的一些实施例的用于获得映射域中的最终预测信号的另一示例性方法的流程图。
图16B是示出根据本公开的一些实施例的图15B所示的映射域的最终预测信号的获得方法的变化的表。
图17A示出了根据本公开的一些实施例的用于获得映射域中的最终预测信号的另一示例性方法的流程图。
图17B是示出根据本公开的一些实施例的图15B所示的映射域的最终预测信号的或得方法的变化的表。
图18A示出了根据本公开的一些实施例的用于获得映射域中的最终预测信号的另一示例性方法的流程图。
图18B是示出根据本公开的一些实施例的图15B所示的映射域的最终预测信号的取得方法的变化的表。
图19A示出了根据本公开的一些实施例的用于获得映射域中的最终预测信号的另一示例性方法的流程图。
图19B是示出根据本公开的一些实施例的图15B所示的映射域的最终预测信号的取得方法的变化的表。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。以下描述参照附图，除非另有说明，其中不同附图中的相同数字表示相同或相似的元件。在示例性实施例的以下描述中阐述的实施方式并不代表与本公开一致的所有实施方式。相反，它们仅是与如所附权利要求中所述的与本公开相关的方面一致的装置和方法的示例。下面更详细地描述本公开的特定方面。如果与通过引用并入的术语和/或定义相冲突的话，以本文提供的术语和定义为准。
ITU-T视频编码专家组(ITU-T VCEG)和ISO/IEC运动图像专家组(ISO/IEC MPEG)的联合视频专家小组(JVET)目前正在开发通用视频编码(VVC/H.266)标准。VVC标准旨在将其前身高效视频编码(HEVC/H.265)标准的压缩效率提高一倍。换句话说，VVC的目标是使用一半的带宽实现与HEVC/H.265相同的主观质量。
为了使用一半带宽实现与HEVC/H.265相同的主观质量，JVET一直在使用联合探索模型(JEM)参考软件开发HEVC以外的技术。随着编码技术被纳入到JEM中，JEM实现了比HEVC高得多的编码性能。
VVC标准是最近开发的，并且继续包括提供更好压缩性能的更多编码技术。VVC基于已在现代视频压缩标准(例如HEVC、H.264/AVC、MPEG2、H.263等)中使用的相同混合视频译码系统。
视频是按时间顺序排列以存储视觉信息的一组静态图像(或“帧”)。可以使用视频采集设备(例如，相机)以时间顺序采集和存储这些图像，并且可以使用视频回放设备(例如，电视、计算机、智能手机、平板计算机、视频播放器、或任何具有显示功能的最终用户终端)显示时间序列中的此类图像。此外，在一些应用中，视频采集设备可以实时地将采集的视频发送到视频回放设备(例如，具有监视器的计算机)，例如用于监视、会议或现场广播。
为了减少此类应用所需的存储空间和传输带宽，可以在存储和传输之前对视频进行压缩，并在显示之前进行解压缩。可以通过由处理器(例如，通用计算机的处理器)或专用硬件执行的软件来实现压缩和解压缩。用于压缩的模块通常被称为“编码器”，并且用于解压缩的模块通常被称为“解码器”。编码器和解码器可以统称为“编解码器”。编码器和解码器可以被实现为各种合适的硬件、软件、或其组合中的任何一种。例如，编码器和解码器的硬件实现可以包括电路，诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑或其任何组合。编码器和解码器的软件实现可以包括固定在计算机可读介质中的程序代码、计算机可执行指令、固件或任何合适的计算机实现的算法或过程。视频压缩和解压缩可以通过各种算法或标准来实现，例如MPEG-1、MPEG-2、MPEG-4、H.26x系列等。在一些应用中，编解码器可以从第一编码标准解压缩视频，并且使用第二编码标准重新压缩解压缩的视频，在这种情况下，编解码器可以被称为“转码器”。
视频编码过程可以识别并保留可用于重建图像的有用信息，并忽略不重要的重建信息。如果忽略不重要的信息不能被完全重建，则这样的编码过程可以被称为“有损”。否则，它可以被称为“无损”。大多数编码过程都是有损的，这是为了减少所需的存储空间和传输带宽的权衡。
被编码的图像(称为“当前图像”)的有用信息包括相对于参考图像(例如，先前编码和重建的图像)的变化。这样的变化可以包括像素的位置变化、亮度变化或颜色变化，其中位置变化是最受关注的。代表对象的一组像素的位置变化可以反映对象在参考图像和当前图像之间的运动。
不参考另一图像而编码的图像(即，它是自己的参考图像)被称为“I-图像”。如果图像中的一些或所有块(块通常指代视频图像中的部分)使用具有一参考图像的帧内预测或帧间预测来预测(例如，单向预测)，则该图像称为P图像。如果图像中的至少一个块是用两个参考图像来预测的(例如，双向预测)，则图像被称为“B图像”。
图1示出了根据本公开的一些实施例的示例视频序列100的结构。视频序列100可以是实况视频或已被采集和存档的视频。视频100可以是现实生活中的视频、电脑生成的视频(例如，计算机游戏视频)或二者组合(例如，具有增强现实效果的真实视频)。视频序列100可以从视频采集设备(例如，相机)、包含先前采集的视频档案(例如，存储在存储设备中的视频文件)或从视频内容提供商接收视频的视频馈送接口(例如，视频广播收发器)输入。
如图1所示，视频序列100可以包括沿时间线在时间上布置的一系列图像，包括图像102、104、106和108。图像102-106是连续的，在图像106和108之间有更多的图像。在图1中，图像102是I-图像，其参考图像是图像102本身。图像104是P-图像，其参考图像是图像102，如箭头所示。图像106是B图像，其参考图像是图像104和108，如箭头所示。在一些实施例中，图像的参考图像(例如，图像104)可以不紧接在图像之前或之后。例如，图像104的参考图像可以是图像102之前的图像。需要说明的是，图像102-106的参考图像仅仅是示例，本公开并不限定如图1所示的参考图像的实施例。
通常，由于编解码任务的计算复杂性，视频编解码器不会一次对整个图像进行编码或解码。相反，他们可以将图像分割成基本段，并逐段对图像段进行编码或解码。在本公开中，这样的基本段被称为基本处理单元(“BPU”)。例如，图1中的结构110示出了视频序列100的图像(例如，图像102-108中的任何图像)的示例结构。在结构110中，图像被划分为4×4基本处理单元，其边界被示出为虚线。在一些实施例中，基本处理单元可以在一些视频编码标准(例如，MPEG族、H.261、H.263或H.264/AVC)中被称为“宏块”，或者在一些其它视频编码标准(例如，H.265/HEVC或H.266/VVC)中被称为“编码树单元”(“CTU”)。基本处理单元可以在图像中具有可变的大小，例如128×128、64×64、32×32、16×16、4×8、16×32或任意形状和大小的像素。可以基于编码效率和要保持在基本处理单元中的细节水平的平衡来为图像选择基本处理单元的大小和形状。
基本处理单元可以是逻辑单元，其可以包括存储在计算机存储器中(例如，在视频帧缓冲区中)的一组不同类型的视频数据。例如，彩色图像的基本处理单元可以包括表示消色差亮度信息的亮度分量(Y)、表示颜色信息的一个或多个色度分量(例如，Cb和Cr)以及相关联的语法元素，其中亮度和色度分量可以具有与基本处理单元的相同大小。在一些视频编码标准(例如，H.265/HEVC或H.266/VVC)中，亮度和色度分量可以被称为“编码树块”(“CTB”)。对基本处理单元执行的任何操作都可以对其亮度和色度分量中的每一个重复执行。
视频编码具有多个操作阶段，其示例如图2A-2B和图3A-3B所示。对于每个阶段，基本处理单元的大小对于处理仍然可能太大，因此可以进一步分为在本公开中称为“基本处理子单元”的段。在一些实施例中，基本处理子单元可以在一些视频编码标准(例如，MPEG族、H.261、H.263或H.264/AVC)中被称为“块”，或者作为一些其他视频编码标准(例如，H.265/HEVC或H.266/VVC)中的“编码单元”(“CU”)。基本处理子单元可以具有与基本处理单元相同的大小或具有比基本处理单元更小的大小。与基本处理单元类似，基本处理子单元也是逻辑单元，其可以包括存储在计算机存储器(例如，在视频帧缓冲区中)中的一组不同类型的视频数据(例如，Y、Cb、Cr和相关联的语法元素)。对基本处理子单元执行的任何操作都可以对其亮度和色度分量中的每一个重复执行。应该注意的是，可以根据处理需要将这种划分执行到进一步的级别。还应注意，不同阶段可以使用不同的方案来划分基本处理单元。
例如，在模式决策阶段(其示例在图2B中示出，编码器可以决定对基本处理单元使用什么预测模式(例如，帧内预测或帧间预测)，该基本处理单元可能太大而无法做出这样的决定。编码器可以将基本处理单元划分成多个基本处理子单元(例如，如H.265/HEVC或H.266/VVC中的CU)，并且决定每个单独的基本处理子单元的预测类型。
对于另一个示例，在预测阶段(其示例在图2A-2B中示出)，编码器可以在基本处理子单元(例如，CU)的级别上执行预测操作。但是，在某些情况下，基本处理子单元仍然可能太大而无法处理。编码器可以进一步将基本处理子单元划分成更小的段(例如，在H.265/HEVC或H.266/VVC中称为“预测块”或“PB”)，在该级别上可以执行预测操作。
对于另一个示例，在变换阶段(其示例在图2A-2B中示出)，编码器可以对残差基本处理子单元(例如，CU)执行变换操作。但是，在某些情况下，基本处理子单元仍然可能太大而无法处理。编码器可以进一步将基本处理子单元分成更小的段(例如，在H.265/HEVC或H.266/VVC中称为“变换块”或“TB”)，在该级别上可以执行变换操作。需要注意的是，同一基本处理子单元的划分方案在预测阶段和变换阶段可以不同。例如，在H.265/HEVC或H.266/VVC中，相同CU的预测块和变换块可以具有不同的大小和数量。
在图1的结构110中，将基本处理单元112进一步分为3×3个基本处理子单元，其边界以虚线示出。同一图像的不同基本处理单元可以以不同的方案划分为基本处理子单元。
在一些实施方式中，为了提供并行处理的能力以及对视频编码和解码的容错能力，可以将图像划分成用于处理的区域，使得对于图像的区域，编码或解码过程可以不依赖于来自图像的任何其他区域的信息。换句话说，图像的每个区域都可以单独处理。通过这样做，编解码器可以并行处理图像的不同区域，从而提高了编码效率。此外，当一区域的数据在处理中被损坏或在网络传输中丢失时，编解码器可以正确地编码或解码同一图像的其他区域而不依赖于被损坏或丢失的数据，从而提供容错能力。在某些视频编码标准中，可以将图像划分为不同类型的区域。例如，H.265/HEVC和H.266/VVC提供两种类型的区域:“条带(slice)”和“块片(tile)”。还应注意的是，视频序列100的不同图像可以具有用于将图像划分为区域的不同划分方案。
例如，在图1中，结构110被划分成三个区域114、116和118，其边界被示为结构110内部的实线。区域114包括四个基本处理单元。区域116和118均包括六个基本处理单元。需要说明的是，图1中110的基本处理单元、基本处理子单元和结构区域仅是示例，本公开不限制其实施例。
图2A示出了根据本公开的实施例的示例性编码过程200A的示意图。例如，编码过程200A可以由编码器执行。如图2A所示，编码器可以根据过程200A将视频序列202编码为视频位流228。类似于图1中的视频序列100，视频序列202可以包括按时间顺序排列的一组图像(称为“原始图像”)。类似于图1中的结构110，视频序列202的每个原始图像可以由编码器划分为基本处理单元、基本处理子单元或区域进行处理。在一些实施例中，编码器可以对视频序列202的每个原始图像在基本处理单元的级别上执行过程200A。例如，编码器可以以迭代方式执行过程200A，其中编码器可以在过程200A的一次迭代中对基本处理单元进行编码。在一些实施例中，编码器可以针对视频序列202的每个原始图像的区域(例如，区域114-118)并行地执行过程200A。
参考图2A，编码器可以将视频序列202的原始图像的基本处理单元(称为“原始BPU”)馈送到预测阶段204，以生成预测数据206和预测BPU 208。编码器可以从原始BPU减去预测BPU 208以生成残差BPU 210。编码器可以将残差BPU 210馈送到变换阶段212和量化阶段214以216生成量化变换系数216。编码器可以将预测数据206和量化变换系数216馈送到二进制编码阶段226以生成视频位流228。组件202、204、206、208、210、212、214、216、226和228可以被称为“前向路径”。在过程200A期间，在量化阶段214之后，编码器可以将量化变换系数216馈送到逆量化阶段218和逆变换阶段220以生成重建的残差BPU 222。编码器可以将重建的残差BPU 222添加到预测的BPU 208以生成预测参考224，其用于过程200A的下一次迭代的预测阶段204中。过程200A的组件218、220、222和224可以被称为“重建路径”。重建路径可以用于确保编码器和解码器都使用相同的参考数据进行预测。
编码器可以迭代地执行过程200A以对编码原始图像的每个原始BPU进行编码(在前向路径中)，并生成用于编码原始图像的下一个原始BPU的预测参考224(在重建路径中)。在对原始图像的所有原始BPU进行编码之后，编码器可以继续对视频序列202中的下一个图像进行编码。
参考过程200A，编码器可以接收由视频采集设备(例如，相机)生成的视频序列202。本文使用的术语“接收”可以指以任何方式接收、输入、获取、检索、获取、读取、访问或用于输入数据的任何动作。
在预测阶段204，在当前迭代时，编码器可以接收原始BPU和预测参考224，并执行预测操作以生成预测数据206和预测BPU 208。预测参考224可以从过程200A的先前迭代的重建路径生成。预测阶段204的目的是通过从预测数据206和预测参考224中提取可用于将原始BPU重建为预测BPU 208的预测数据206来减少信息冗余。
理想地，预测的BPU 208可以与原始BPU相同。然而，由于非理想的预测和重建操作，预测的BPU 208通常与原始BPU略有不同。为了记录这些差异，在生成预测BPU 208之后，编码器可以将其从原始BPU中减去以生成残差BPU 210。例如，编码器可以从原始BPU的像素的值减去预测BPU 208的对应像素的值(例如，灰度值或RGB值)。残差BPU 210的每个像素可以具有残差值作为原始BPU和预测BPU208的相应像素之间的这种相减的结果。与原始BPU相比，预测数据206和残差BPU 210可以具有更少的比特数，但是它们可以用于重建原始BPU，而不会出现明显的质量下降。因此，原始BPU被压缩。
为了进一步压缩残差BPU 210，在变换阶段212，编码器可以通过将残差BPU 210分解为一组二维“基本图案(base pattern)”来减少其空间冗余。每个基本图案与“变换系数”相关联。基本图案可以具有相同的大小(例如，残差BPU 210的大小)，每个基本图案可以表示残差BPU 210的变化频率(例如，亮度变化的频率)分量。基本图案中的任何一个都不能从任何其他基本图案的任何组合(例如，线性组合)中再现。换句话说，分解可以将残差BPU210的变化分解到频域中。这种分解类似于函数的离散傅立叶变换，其中，基本图案类似于离散傅立叶变换的基本函数(例如，三角函数)，并且变换系数类似于与基本函数相关联的系数。
不同的变换算法可以使用不同的基本图案。在变换阶段212可以使用各种变换算法，例如，离散余弦变换、离散正弦变换等。变换阶段212处的变换是可逆的。也就是说，编码器可以通过变换的逆运算(称为“逆变换”)来恢复残差BPU 210。例如，为了恢复残差BPU210的像素，逆变换可以是将基本图案的对应像素的值乘以相应的相关联系数并将乘积相加以产生加权和。对于视频编码标准，编码器和解码器都可以使用相同的变换算法(因此具有相同的基本图案)。因此，编码器可以仅记录变换系数，解码器可以从中重建残差BPU210，而无需从编码器接收基本图案。与残差BPU 210相比，变换系数可以具有更少的比特，但是它们可以用于重建残差BPU 210而没有显著的质量劣化。因此，残差BPU 210被进一步压缩。
编码器可以进一步在量化阶段214压缩变换系数。在变换过程中，不同的基本图案可以表示不同的变化频率(例如，亮度变化频率)。因为人眼通常更擅长识别低频变化，所以编码器可以忽略高频变化的信息，而不会在解码中引起明显的质量劣化。例如，在量化阶段214，编码器可以通过将每个变换系数除以整数值(称为“量化参数”)并将商四舍五入到其最接近的整数来生成量化的变换系数216。在这样的操作之后，可以将高频基本图案的一些变换系数转换为零，并且可以将低频基本图案的变换系数转换为较小的整数。编码器可以忽略零值的量化变换系数216，由此变换系数被进一步压缩。该量化处理也是可逆的，其中量化变换系数216可以在量化的逆操作(称为“逆量化”)中被重建为变换系数。
因为编码器在舍入操作中忽略了该除法的余数，所以量化阶段214可能是有损的。通常，量化阶段214可以在过程200A中贡献最多的信息损失。信息损失越大，量化变换系数216所需的比特数就越少。为了获得不同级别的信息损失，编码器可以使用不同的量化参数值或量化过程的任何其他参数。
在二进制编码阶段226，编码器可以使用二进制编码技术对预测数据206和量化变换系数216进行编码，二进制编码例如为熵编码、可变长度编码、算术编码、霍夫曼编码、上下文自适应二进制算术编码，或任何其他无损或有损压缩算法。在一些实施例中，除了预测数据206和量化变换系数216之外，编码器可以在二进制编码阶段226编码其他信息，例如，在预测阶段204使用的预测模式、预测操作的参数、在变换阶段212处的变换类型。量化过程的参数(例如，量化参数)、编码器控制参数(例如，比特率控制参数)等。编码器可以使用二进制编码阶段226的输出数据来生成视频位流228。在一些实施例中，视频位流228可以被进一步打包以用于网络传输。
参照过程200A的重建路径，在逆量化阶段218，编码器可以对量化变换系数216执行逆量化，以生成重建的变换系数。在逆变换阶段220，编码器可以基于重建的变换系数生成重建残差BPU 222。编码器可以将重建残差BPU 222添加到预测BPU 208以生成将在过程200A的下一次迭代中使用的预测参考224。
应当注意的是，过程200A的其他变体可用于对视频序列202进行编码。在一些实施例中，过程200A的阶段可以由编码器以不同的顺序执行。在一些实施例中，过程200A的一个或多个阶段可以组合成单个阶段。在一些实施例中，过程200A的单个阶段可以分为多个阶段。例如，变换阶段212和量化阶段214可以组合成单个阶段。在一些实施例中，过程200A可以包括附加的阶段。在一些实施例中，过程200A可以省略图2A中的一个或多个阶段。
图2B示出了根据本公开的实施例的另一示例编码过程200B的示意图。过程200B可以修改自过程200A。例如，过程200B可以由符合混合视频编码标准(例如，H.26x系列)的编码器使用。与过程200A相比，过程200B的前向路径还包括模式决策阶段230，并将预测阶段204分为空间预测阶段2042和时间预测阶段2044，过程200B的重建路径还另外包括环路滤波阶段232和缓冲区234。
通常，预测技术可以分为两种类型:空间预测和时间预测。空间预测(例如，帧内图像预测或“帧内预测”)可以使用来自同一图像中的一个或多个已经编码的相邻BPU的像素来预测当前BPU。也就是说，空间预测中的预测参考224可以包括相邻的BPU。空间预测可以减少图像固有的空间冗余。时间预测(例如，图像间预测或“帧间预测”)可以使用来自一个或多个已经编码的图像的区域来预测当前BPU。也就是说，时间预测中的预测参考224可以包括编码图像。时间预测可以减少图像固有的时间冗余。
参考过程200B，在前向路径中，编码器在空间预测阶段2042和时间预测阶段2044执行预测操作。例如，在空间预测阶段2042，编码器可以执行帧内预测。对于被编码的图像的原始BPU，预测参考224可以包括在同一图像中已经被编码(在前向路径中)和重建(在重建路径中)的一个或多个相邻BPU。编码器可以通过插值相邻的BPU来生成预测的BPU 208。插值技术可以包括例如线性插值或内插、多项式插值或内插等。在一些实施例中，编码器可以在像素级执行插值，例如通过插值预测BPU 208的每个像素的对应像素的值的方式。用于插值的相邻BPU可以位于相对于原始BPU的各个方向，例如在垂直方向(例如，在原始BPU的顶部)，水平方向(例如，在原始BPU的左侧)，对角线方向(例如，在原始BPU的左下、右下、左上或右上)，或在所使用的视频编码标准中定义的任何方向。对于帧内预测，预测数据206可以包括，例如，所使用的相邻BPU的位置(例如，坐标)、所使用的相邻BPU的大小、插值的参数、所使用的相邻BPU相对于原始BPU的方向等。
对于另一个示例，在时间预测阶段2044，编码器可以执行帧间预测。对于当前图像的原始BPU，预测参考224可以包括已经被编码(在前向路径中)和重建(在重建路径中)的一个或多个图像(被称为“参考图像”)。在一些实施例中，可以通过逐个BPU对参考图像进行编码和重建。例如，编码器可以将重建的残差BPU 222添加到预测BPU 208以生成重建BPU。当同一张图像的所有重建的BPU都被生成时，编码器可以生成一重建图像作为参考图像。编码器可以执行“运动估计”的操作以搜索参考图像的范围(称为“搜索窗口”)中的匹配区域。可以基于原始BPU在当前图像中的位置来确定搜索窗口在参考图像中的位置。例如，搜索窗口可以在参考图像中与当前图像中的原始BPU具有相同坐标的位置处为中心，并且可以向外延伸预定距离。当编码器在搜索窗口中识别(例如，通过使用pel递归算法、块匹配算法等)类似于原始BPU的区域时，编码器可以确定这样的区域作为匹配区域。匹配区域可以具有与原始BPU不同的大小(例如，小于、等于、大于或具有不同的形状)。因为参考图像和当前图像在时间线上在时间上分开(例如，如图1所示)，所以可以认为匹配区域随着时间的推移“移动”到原始BPU的位置。编码器可以将这种运动的方向和距离记录为“运动矢量”。当使用多个参考图像时(例如，如图1中的图像106)，编码器可以搜索匹配区域并为每个参考图像确定其相关联的运动矢量。在一些实施例中，编码器可以将权重分配给各个匹配参考图像的匹配区域的像素值。
运动估计可用于识别各种类型的运动，例如平移、旋转、缩放等。对于帧间预测，预测数据206可以包括例如匹配区域的位置(例如，坐标)、与匹配区域相关联的运动矢量、参考图像的数量、与参考图像相关联的权重等。
为了生成预测的BPU 208，编码器可以执行“运动补偿”的操作。运动补偿可以用于基于预测数据206(例如，运动向量)和预测参考224来重建预测的BPU 208。例如，编码器可以根据运动矢量移动参考图像的匹配区域，其中编码器可以预测当前图像的原始BPU。当使用多个参考图像时(例如，如图1中的图像106)，编码器可以根据匹配区域的各个运动矢量和平均像素值来移动参考图像的匹配区域。在一些实施例中，如果编码器已经将权重分配给各个匹配参考图像的匹配区域的像素值，则编码器可以将移动的匹配区域的像素值的加权和相加。
在一些实施例中，帧间预测可以是单向的或双向的。单向帧间预测可以使用相对于当前图像在相同时间方向上的一个或多个参考图像。例如，图1中的图像104是单向帧间预测图像，其中参考图像(即，图像102)在图像104之前。双向帧间预测可以在相对于当前图像的两个时间方向上使用一个或多个参考图像。例如，图1中的图像106是双向帧间预测图像，其中参考图像(即，图像104和108)相对于图像104在两个时间方向上。
仍然参考过程200B的前向路径，在空间预测2042和时间预测阶段2044之后，在模式决策阶段230，编码器可以为过程200B的当前迭代选择预测模式(例如，帧内预测或帧间预测之一)。例如，编码器可以执行速率失真优化技术，其中编码器可以根据候选预测模式的比特率和候选预测模式下的重建参考图像的失真来选择预测模式以最小化成本函数的值。根据所选择的预测模式，编码器可以生成相应的预测BPU 208和预测数据206。
在过程200B的重建路径中，如果在前向路径中已经选择了帧内预测模式，则在生成预测参考224(例如，在当前图像中已经编码和重建的当前BPU)之后，编码器可以将预测参考224直接馈送到空间预测阶段2042以用于以后的使用(例如，用于插值当前图像的下一BPU)。如果在前向路径中已经选择了帧间预测模式，则在生成预测参考224(例如，其中所有BPU都已被编码和重建的当前图像)之后，编码器可以将预测参考224馈送到环路滤波器阶段232。在该阶段，编码器可以将环路滤波器应用于预测参考224，以减少或消除由帧间预测引入的失真(例如，块状伪影)。编码器可以在环路滤波器阶段232处应用各种环路滤波器技术，例如去块、采样自适应补偿、自适应环路滤波器等。可以将经环路滤波的参考图像存储在缓冲区234(或“经解码的图像缓冲区”)中以供以后使用(例如，用作视频序列202的未来图像的帧间预测参考图像)。编码器可以将一个或多个参考图像存储在缓冲区234中，以在时间预测阶段2044处使用。在一些实施例中，编码器可以在二进制编码阶段226处编码环路滤波器的参数(例如，环路滤波器强度)以及量化变换系数216、预测数据206和其他信息。
图3A示出了根据本公开的实施例的示例性解码过程300A的示意图。过程300A可以是对应于图2A中的压缩过程200A的解压缩过程。在一些实施例中，过程300A可以类似于过程200A的重建路径。解码器可以根据过程300A将视频位流228解码成视频流304。视频流304可以非常类似于视频序列202。然而，由于压缩和解压缩过程中的信息丢失(例如，图2A-2B中的量化阶段214)，通常，视频流304与视频序列202不同。类似于图2A-2B中的过程200A和200B，解码器可以在基本处理单元(BPU)级别对在视频位流228中编码的每个图像执行过程300A。例如，解码器可以以迭代方式执行过程300A，其中解码器可以在过程300A的一次迭代中对基本处理单元进行解码。在一些实施例中，解码器可以针对在视频位流228中编码的每个图像的区域(例如，区域114-118)并行地执行过程300A。
如图3A所示，解码器可以将与编码图像的基本处理单元(称为“编码BPU”)相关联的视频位流228的一部分馈送到二进制解码阶段302，在二进制解码阶段302，解码器可以将该部分解码成预测数据206和量化变换系数216。解码器可以将量化变换系数216馈送到逆量化阶段218和逆变换阶段220以生成重建残差BPU222。解码器可以将预测数据206馈送到预测阶段204以生成预测BPU 208。解码器可以将重建残差BPU222添加到预测BPU 208以生成预测参考224。在一些实施例中，预测参考224可以存储在缓冲区(例如，计算机存储器中的解码图像缓冲区)中。解码器可以将预测参考224馈送到预测阶段204，用于在过程300A的下一次迭代中执行预测操作。
解码器可以迭代地执行过程300A，以解码编码图像的每个编码BPU，并生成用于编码图像的下一个编码BPU的预测参考224。在解码编码图像的所有编码BPU之后，解码器可以将该图像输出到视频流304以供显示，并且继续解码视频位流228中的下一个编码图像。
在二进制解码阶段302，解码器可以执行编码器使用的二进制编码技术(例如，熵编码、可变长度编码、算术编码、霍夫曼编码、上下文自适应二进制算术编码或任何其他无损压缩算法)的逆运算。在一些实施例中，除了预测数据206和量化的变换系数216，解码器可以在二进制解码阶段302解码其他信息，例如预测模式、预测操作的参数、变换类型、量化过程的参数(例如，量化参数)、编码器控制参数(例如，比特率控制参数)等。在一些实施例中，如果视频位流228通过网络以包的形式传输，则解码器可以在将视频位流228馈送到二进制解码级302之前对其进行解包。
图3B示出了根据本公开的实施例的另一示例解码过程300B的示意图。过程300B可以修改自过程300A。例如，过程300B可以由符合混合视频编码标准(例如，H.26x系列)的解码器使用。与过程300A相比，过程300B额外地将预测阶段204划分为空间预测阶段2042和时间预测阶段2044，并且额外地包括环路滤波阶段232和缓冲区234。
在过程300B中，对于在解码的编码图像(称为“当前图像”)的编码基本处理单元(称为“当前BPU”)，由解码器从二进制解码阶段302解码的预测数据206可以包括各种类型的数据，这取决于编码器使用什么预测模式来编码当前BPU。例如，如果编码器使用帧内预测来编码当前BPU，则预测数据206可以包括指示帧内预测、帧内预测操作的参数等的预测模式指示符(例如，标志值)。帧内预测操作的参数可以包括例如用作参考的一个或多个相邻BPU的位置(例如，坐标)、相邻BPU的大小、插值的参数、相邻BPU相对于原始BPU的方向等。对于另一示例，如果由编码器使用的帧间预测来编码当前BPU，则预测数据206可以包括指示帧间预测、帧间预测操作的参数等预测模式指示符(例如，标志值)。帧间预测操作的参数可以包括例如与当前BPU相关联的参考图像的数量、分别与参考图像相关联的权重、相应参考图像中的一个或多个匹配区域的位置(例如，坐标)、分别与所述匹配区域相关联的一个或多个运动矢量等。
基于预测模式指示符，解码器可以决定是在空间预测阶段2042执行空间预测(例如，帧内预测)还是在时间预测阶段2044执行时间预测(例如，帧间预测)，执行这种空间预测或时间预测的细节在图2B中描述，其不会在下文中重复。在执行这样的空间预测或时间预测之后，解码器可以生成预测的BPU 208，解码器可以添加预测的BPU 208和重建残差BPU222以生成预测参考224，如图3A中所述。
在过程300B中，解码器可以将预测参考224馈送到空间预测阶段2042或时间预测阶段2044，用于在过程300B的下一次迭代中执行预测操作。例如，如果在空间预测阶段2042使用帧内预测解码当前BPU，则在生成预测参考224(例如，解码的当前BPU)之后，解码器可以将预测参考224直接馈送到空间预测阶段2042以供以后使用(例如，用于插值当前图像的下一个BPU)。如果在时间预测阶段2044使用帧间预测解码当前BPU，则在生成预测参考224(例如，其中所有BPU都被解码的参考图像)之后，编码器可以将预测参考224馈送到环路滤波器阶段232以减少或消除失真(例如，块状伪影)。解码器可以如图2B所示的方式将环路滤波器应用于预测参考224。环路滤波的参考图像可以存储在缓冲区234(例如，计算机存储器中的解码图像缓冲区)中供以后使用(例如，用作视频位流228的未来编码图像的预测间参考图像)。解码器可以将一个或多个参考图像存储在缓冲区234中，以在时间预测阶段2044处使用。在一些实施例中，当预测数据206的预测模式指示符指示帧间预测被用于编码当前BPU时，预测数据可以进一步包括环路滤波器的参数(例如，环路滤波器强度)。
图4是根据本公开的实施例的用于对视频进行编码或解码的示例装置400的框图。如图4所示，装置400可以包括处理器402。当处理器402执行本文所述的指令时，装置400可以成为用于视频编码或解码的专用机器。处理器402可以是能够操纵或处理信息的任何类型的电路。例如，处理器402可以包括任何数量的中央处理单元(或“CPU”)、图形处理单元(或“GPU”)、神经处理单元(“NPU”)、微控制器单元(“MCU”)、光学处理器中、可编程逻辑控制器、微处理器、数字信号处理器、知识产权(IP)核心、可编程逻辑阵列(PLA)、可编程阵列逻辑(PAL)、通用阵列逻辑(GAL)、复杂可编程逻辑器件(CPLD)，一种现场可编程门阵列(FPGA)、片上系统(SoC)、专用集成电路(ASIC)等的任意组合。在一些实施例中，处理器402还可以是被分组为单个逻辑组件的一组处理器。例如，如图4所示，处理器402可以包括多个处理器，包括处理器402a、处理器402b和处理器402n。
装置400还可以包括被配置为存储数据(例如，指令集、计算机代码、中间数据等)的存储器404。例如，如图4所示，所存储的数据可以包括程序指令(例如，用于实现过程200A、200B、300A或300B中的阶段)和用于处理的数据(例如，视频序列202、视频位流228或视频流304)。处理器402可以访问用于处理的程序指令和数据(例如，经由总线410)，并且执行程序指令以对用于处理的数据执行操作或操纵。存储器404可以包括高速随机存取存储设备或非易失性存储设备。在一些实施例中，存储器404可以包括任意数量的随机存取存储器(RAM)、只读存储器(ROM)、光盘、磁盘、硬盘驱动器、固态驱动器、闪存驱动器、安全数字(SD)卡、记忆棒、紧凑型闪存(CF)卡等的任意组合。存储器404也可以是被分组为单个逻辑组件的一组存储器(图4中未示出)。
总线410可以是在装置400内部的组件之间传输数据的通信设备，诸如内部总线(例如，CPU-存储器总线)、外部总线(例如，通用串行总线端口、外围组件互连快速端口)，或者类似物。
为了便于解释而不引起歧义，在本公开中，处理器402和其他数据处理电路统称为“数据处理电路”。数据处理电路可以完全实现为硬件，或者实现为软件、硬件或固件的组合。此外，数据处理电路可以是单个单独模块，或者可以完全或部分地组合到装置400的任何其他部件中。
装置400还可以包括网络接口406，以提供与网络(例如，因特网、内联网、局域网、移动通信网络等)的有线或无线通信。在一些实施例中，网络接口406可以包括任何数量的网络接口控制器(NIC)、射频(RF)模块、应答器、收发器、调制解调器、路由器、网关、有线网络适配器、无线网络适配器、蓝牙适配器、红外适配器、近场通信(“NFC”)适配器、蜂窝网络芯片等的任意组合。
在一些实施例中，可选地，装置400可以进一步包括外围接口408，以提供到一个或多个外围设备的连接。如图4所示，外围设备可以包括，但不限于，光标控制设备(例如，鼠标、触摸板或触摸屏)、键盘、显示器(例如，阴极射线管显示器、液晶显示器、或发光二极管显示器)、视频输入设备(例如，相机或耦合到视频档案的输入接口)等。
应当注意，视频编解码器(例如，执行过程200A、200B、300A或300B的编解码器)可以被实现为装置400中的任何软件或硬件模块的任何组合。例如，过程200A、200B、300A或30013的一些或所有阶段可以被实现为装置400的一个或多个软件模块，诸如可以被加载到存储器404中的程序实例。对于另一示例，过程200A、200B、300A或300B的一些或全部阶段可以被实现为装置400的一个或多个硬件模块，诸如专用数据处理电路(例如，FPGA、ASIC、NPU等)。
在VVC中提供多个帧内预测模式。图5示出了根据本公开的一些实施例的VVC中的角度帧内预测模式。如图5所示，为了捕获自然视频中呈现的任意边缘方向，VVC中的角度帧内预测模式的数量从HEVC中使用的33扩展到65，其中不在HEVC中的方向模式以虚线箭头描绘。
VVC标准实现两种非角度帧内预测模式:DC和平面模式(如在HEVC中)。在DC帧内预测模式中，块的参考样本的平均样本值用于预测生成。在VVC中，仅沿着矩形块的较长侧的参考样本用于计算平均值，而对于正方形块，左侧和上方两侧的参考样本被使用。在平面模式中，获得预测样本值作为4个参考样本值的加权平均值。参考样本在与当前样本相同的行或列中，且参考样本在相对于当前块的左下及右上位置上。65个角度模式和两个非角度模式可以被称为常规帧内预测模式。
在一些实施例中，提出了最可能模式(MPM)列表。如上所述，在VVC中存在67个角模式。如果分别对每个块的预测模式进行编码，则需要7比特来对这67种模式进行编码。因此，在VVC中采用构建MPM列表的方法。在图像和视频编码中，相邻块之间通常具有很强的相关性，因此相邻块的帧内预测模式相同或相似的可能性很高。因此，基于左相邻块和上相邻块的帧内预测模式来构建MPM列表。在VVC中，其MPM列表的长度为6。为了保持生成MPM列表的复杂度较低，使用从两个可用的相邻帧内预测模式导出的具有6个MPM的帧内预测模式编码方法。
统一的6-MPM列表，也被称为基本MPM(PMPM)列表，用于帧内块，而不管是否应用MRL(多参考线)和ISP(帧内子分区)编码工具。基于左侧和上方相邻块的帧内模式来构造MPM列表。假设左侧块的帧内模式被表示为“左”并且上方块的帧内模式被表示为“上”，统一6-MPM列表被构造如下。当相邻块不可用时，帧内预测模式被默认设置为“平面(Planar)”。如果左侧和上方两个模式都是非角度模式，则MPM列表被设置为{平面，DC，V，H，V-4，v4}，其中V被称为垂直模式，并且H被称为水平模式。如果左侧和上方的模式之一是角度模式，并且另一个是非角度模式，则模式Max被设置为左侧和上方中的较大模式，并且MPM列表被设置为{平面，Max，Max-1，Max-2，Max-l，Max+2}。如果左侧和上方都是角度模式并且二者不同，则模式“Max”被设置为左和上中的较大模式，并且模式“Min”被设置为左和上中的较小模式。如果Max-Min等于1，则MPM列表被设置为{平面，左，上，Min-1，Max+1，Min-2}；否则，如果Max-Min大于或等于62，则MPM列表被设置为{平面，左，上，Min+1，max-1，Min+2}。如果Max-Min等于2，则MPM列表被设置为{平面，左，上方，Min+1，Min-1，Max+1}；否则，MPM列表被设置为{平面，左，上，Min-1，Min+1，Max-1}。如果左侧和上方都是角度模式的并且它们是相同的，则MPM列表被设置为{平面，左，左-1，左+1，左-2，左+2}。此外，MPM索引码字的第一个二进制位是CABAC(基于上下文的自适应二进制算术编码)上下文编码。对应于当前帧内块是启用MRL、启用ISP、还是正常帧内块，总共使用三个上下文。对于61个非MPM模式的熵译码，使用TBC(截断二进制码)。
在一些实施例中，可以使用二级MPM方法。基本MPM(PMPM)列表包括6个条目，并且二级MPM(SMPM)列表包括16个条目。首先构建具有22个条目的一般MPM列表，其中前6个条目被包括在PMPM列表中，并且其余条目形成SMPM列表。一般MPM列表中的第一个条目是平面模式。然后，将相邻块的帧内预测模式添加到列表中。图6示出了根据本公开的一些实施例的在一般MPM列表的推导中使用的示例性相邻块。如图6所示，使用左(L)、上(A)、左下(BL)、右上(AR)和左上(AL)相邻块的帧内预测模式。如果CU块垂直方向，那么相邻块的次序为A、L、BL、AR、AL。否则，即，如果CU块是水平方向，那么相邻块的次序为L、A、BL、AR、AL。然后将两个解码器侧帧内预测模式添加到列表中。然后，通过从列表的前两个可用角度模式添加偏移而导出的角度模式被添加到列表中。最后，如果列表不完整，则添加默认模式，直到列表完整，即具有22个条目。根据本公开的一些实施例，默认模式列表定义为{DC，V，H，V-4，V+4，14，22，42，58，10，26，38，62，6，30，34，66，2，48，52，16}。
对于解码器，首先解析PMPM标志。如果PMPM标志等于1，则解析PMPM索引以确定选择PMPM列表的哪个条目；否则，解析SMPM标志以确定是否解析剩余模式的SMPM索引。
在一些实施例中，提供了位置相关帧内预测组合(PDPC)。在VVC中，通过PDPC方法进一步修改帧内预测的结果。PDPC在没有信号通知的情况下应用于以下帧内预测模式:平面、DC、小于或等于水平模式的帧内角度模式、以及大于或等于垂直模式的帧内角度模式。如果当前块是BDPCM(块差分脉冲编码调制)模式或者MRL索引大于0，则不应用PDPC。
使用帧内预测模式(例如，DC、平面或角度模式)和基于以下等式的参考样本的线性组合来预测预测样本pred(x'，y'):
pred(x',y')＝Clip(0,(1<<BitDepth)-1,(wL×R-l,y'+wT×Rx',-1+(64-wL-wT)×pred(x',y')+32)>>6)
其中Rx'，-1和R-l，y'分别表示位于当前样本(x'，y')的上边界和左边界的参考样本。PDPC权重和比例因子取决于预测模式和块大小。
此外，提供了一种解码器侧帧内预测模式推导(DIMD)方法。在DIMD方法中，不经由位流发送亮度帧内预测模式。相反，执行纹理梯度处理以导出两个最佳模式。在编码器侧和解码器侧使用相同的方式。通常计算两个导出模式和平面模式的预测值，且将三个预测值的加权平均值用作当前块的最终预测值。
DIMD模式被用作备选帧内预测模式，并且针对每个块用信号发送标志以指示是否使用DIMD模式。如果标志为真(例如，标志等于1)，则当前块使用DIMD模式，并且BDPCM标志、MIP(矩阵加权帧内预测)标志、ISP标志和MRL索引被推断为0。在这种情况下，跳过整个帧内预测模式的解析。如果标志为假(例如，标志等于0)，那么当前块不使用DIMD模式且其它帧内预测模式的解析正常继续。
为了导出两个帧内预测模式并确定每个模式的权重，通过执行纹理梯度处理来构建直方图。
图7示出了根据本公开的一些实施例的用于计算DIMD中的梯度的示例性样本。如图7所示，为了构建块的DIMD直方图，对块周围的第二相邻行的L形模板的样本710执行梯度分析。对于模板的每个可用的重建样本，通过应用如下水平和垂直Sobel滤波器来执行水平梯度和垂直梯度Gx和Gy:
和/>水平和垂直Sobel滤波器具有滤波器窗口720，如图7所示。
对于模板中的每个样本，为其计算水平梯度Gx和垂直梯度Gy，使用Gx和Gy进一步计算梯度的强度(G)和方向(O)如下:
G＝|Gx|+|Gy|和/>
梯度O的方向被转换成最接近的帧内角度预测模式，并且用于索引首先被初始化为零的直方图。该帧内角度预测模式下的直方图值增加G。处理完模板中的所有样本后，对于每个帧内角度预测模式，直方图可以包含梯度的累积强度值。具有最大和第二大振幅值的两个模式被选择并分别标记为M1和M2，并用于随后的预测融合过程。如果直方图中的最大幅度值为0，则选择平面模式作为当前块的帧内预测模式。
在DIMD中，对应于两个最大直方图幅度值M1和M2的两个帧内预测角度模式与平面模式组合以生成当前块的最终预测值。
应用预测混合作为上述三个预测值的加权平均值。平面模式的权重固定为21/64(约等于1/3)。剩余的权重43/64(近似等于2/3)在M1和M2之间分配，分配与M1和M2的幅值成比例。图8示出了根据本公开的一些实施例的DIMD的预测混合过程。如图8所示，ampl(M1)和ampl(M2)分别表示M1和M2的振幅值。
DIMD模式仅用于亮度块。如果当前亮度块选择DIMD模式，则当前块的帧内预测模式被存储为M1，用于选择当前块的低频不可分离变换(LFNST)集合、推导相邻亮度块的最可能模式(MPM)列表、以及共同定位的色度块的直接模式(DM)的推导。
此外，在一些实施例中，可以使用另一解码器侧帧内预测模式推导方法(诸如使用MPM的基于模板的帧内模式推导(TIMD))。CU的帧内预测模式在编码器侧和解码器侧处均利用基于模板的方法导出，而不是用信号通知的方法。从MPM列表构建候选，并且候选模式可以是如VVC中的67个帧内预测模式或者扩展到131个帧内预测模式。图9示出了根据本公开的一些实施方案的TIMD中使用的示例性模板和参考样本。如图9所示，使用针对每个候选模式的模板的参考样本920来生成模板910的预测样本。计算一值为模板的预测样本与重建样本之间的绝对变换差之和(SATD)。选择具有SATD的最小值的帧内预测模式做为TIMD模式并且用于当前CU的帧内预测。
TIMD模式用作CU的附加帧内预测方法。在序列参数集(SPS)中用信号通知标志以启用/停用TIMD。当标志为真(例如，标志等于1)时，用信号通知CU级别标志以指示是否使用TIMD。在MIP标志之后用信号通知TIMD标志。如果TIMD标志为真(例如，TIMD标志等于1)，那么与亮度帧内预测模式有关的剩余语法元素(包含MRL、ISP及用于亮度帧内预测模式的正常解析阶段)全部被跳过。
由于在TIMD中帧内预测模式的数量扩展为131，因此在存储当前块的帧内预测模式时，使用表将131个模式映射到VVC中的原始的67个帧内预测模式。
提供了一种组合的帧间和帧内预测(CIIP)。在VVC中，当CU是合并模式编码U，如果CU含有至少64个亮度样本(即，CU宽度乘以CU高度等于或大于64)，且如果CU宽度及CU高度都小于128个亮度样本，则用信号通知额外标志以指示是否将CIIP模式应用于当前CU。CIIP预测组合了帧间预测器与帧内预测器。使用应用于常规合并模式的相同帧间预测过程来导出CIIP模式Pinter中的帧间预测值，并且在利用平面模式的常规帧内预测过程之后导出帧内预测值Pintra。图10示出了根据本公开的一些实施例的在CIIP权重推导中使用的上方和左侧相邻块。使用加权平均来组合帧内和帧间预测结果，其中根据上方和左侧相邻块的编码模式来计算权重值(如图10所示)。
帧内预测值和帧间预测值的权重(wIntra，wInter)自适应地设置如下:如果上方和左侧相邻块都是帧内编码，则将(wIntra，wInter)设置为等于(3，1)。如果这些块中的一个是帧内编码的，则权重是相同的，即，被设置为等于(2，2)。如果上方和左侧邻居都不是帧内编码的，则权重被设置为等于(1，3)。CIIP预测值基于以下确定:
PCIIP＝(wInter*Pinter+wIntra*Pintra+2)>>2
对于色度分量，在没有额外信号通知的情况下应用DM模式。
在一些实施例中，可以使用用于帧内和帧间模式的多假设预测。在合并CU中，针对合并模式用信号通知一标志以在标志为真时从帧内候选者列表选择帧内预测模式。对于亮度分量，从包括DC、平面、水平和垂直模式的4种帧内预测模式导出帧内候选列表。使用加权平均来组合由帧内预测模式索引选择的一个帧内预测模式和由合并索引选择的一个帧间预测模式。用于组合预测的权重描述如下。当选择DC或平面模式或CU宽度或高度小于4时，应用相等的权重。对于具有大于或等于4的CU宽度和高度的那些CU，当选择水平/垂直模式时，首先将一个CU垂直或水平分割成四个相等大小的区域。每个权重集，表示为(wIntrai，wInteri)，其中i从1到4，并且将(wIntra1，wInter1)＝(6，2)，(wIntra2，wInter2)＝(5，3)，(wIntra3，wInter3)＝(3，5)和(wIntra4，wInter4)＝(2，6)应用于对应的区域。(wIntra1，wInter1)是最接近参考样本的区域，(wIntra4，wInter4)是最远离参考样本的区域。可以通过对两个加权预测值求和并右移多个位来计算组合预测结果，其中通过两个权重之和的对数来获得位数。在该示例中，通过对两个加权预测值求和并右移3位来获得组合预测值。在一些实施例中，当两个权重的和等于1时，由于1的对数为0，因此可以通过直接对两个加权预测值求和来获得组合预测值。而不需要右移。例如，每个权重集可以是(wIntral，wInter1)＝(6/8，2/8)，(wIntra2，wInter2)＝(5/8，3/8)，(wIntra3，wInter3)＝(3/8，5/8)，(wIntra4，wInter4)＝(2/8，6/8)，(wIntra1，wInter1)用于最接近参考样本的区域，并且(wIntra4，wInter4)用于最远离参考样本的区域。
在一些实施例中，可以使用CIIP_PDPC模式。在CIIP_PDPC中，使用上(Rx，-1)和左(-1，Ry)重建样本来细化常规合并模式的预测。该细化继承了位置相关预测组合(PDPC)方案。图11示出了根据本公开的一些实施例的CIIP_PDPC的示例性流程图。请参考图11，WT和WL是取决于如在PDPC中定义的块中的采样位置的加权值。
CIIP_PDPC模式与CIIP模式一起用信号通知。当CIIP标志为真时，进一步用信号通知另一标志(即CIIP_PDPC标志)以指示是否使用CIIP_PDPC。
在一些实施例中，在H.263中提出了重叠块运动补偿(OBMC)。当OBMC用于增强压缩模型(ECM)时，对除了CU的右边界和底部边界之外的所有运动补偿(MC)块边界执行OBMC。此外，OBMC被应用于亮度和色度分量。在ECM中，MC块对应于编码块。当用子CU模式(例如SbTMVP(基于子块的时间运动向量预测)或仿射模式)编码CU时，CU的每一子块为MC块。为了以均匀方式处理CU边界，在子块级别对所有MC块边界执行OBMC，其中子块大小被设定为等于4×4。当OBMC应用于当前子块时，除了当前运动向量之外，四个连接的相邻子块的运动向量(如果可用且与当前运动向量不相同)也用于导出当前子块的预测块。基于多个运动矢量的这些多个预测块被组合以生成当前子块的最终预测信号。
基于相邻子块的运动向量的预测块被表示为PN，其中N指示相邻上、下、左和右子块的索引。基于当前子块的运动矢量的预测块被表示为PC。当PN是基于包含与当前子块相同的运动信息的相邻子块的运动信息时，不从PN执行OBMC。否则，将PN的每个样本添加到PC中的相同样本。注意，可以在将PN添加到PC之前将加权因子应用于PN。图12A和图12B示出了根据本公开的一些实施例的应用OBMC的示例性子块。例如，图12A示出在当前CU的CU/PU边界处的子块的OBMC中使用的运动向量。如图12A所示，对于上边界PN1的子块，在PN1的OBMC中使用上相邻子块1201的运动矢量；对于左边界PN2的子块，在PN2的OBMC中使用左相邻子块1202的运动矢量；并且对于左上角PN3处的子块，在PN3的OBMC中使用左相邻子块1203和上相邻子块1204的运动向量。图12B示出用于当前CU的ATMVP(替代时间运动向量预测)中的子块的OBMC中使用的运动向量。在ATMVP中，每个子块是一个MC块。如图12B所示，对于子块PN，在PN的OBMC中使用四个相邻子块1205、1206、1207和1208的运动向量。
在VVC中，在环路滤波器之前添加被称为具有色度缩放的亮度映射(LMCS)的编码工具作为新的处理块。LMCS具有两个主要分量:1)对于亮度分量，基于自适应分段线性模型的亮度分量的环内映射；2)对于色度分量，应用依赖于亮度的色度残差缩放。图13示出了根据本公开的一些实施例的从包括亮度分量和色度分量的解码器的角度来看的示例性LMCS架构。在图13的示例中，处理块1302、1304和1306指示在映射域中应用处理的位置，其包括逆量化和逆变换1302、亮度帧内预测1304、以及通过将亮度预测与亮度残差相加而重建亮度分量1306。处理块1310至1318指示在原始(即，非映射)域中应用处理的位置，其包括环路滤波器1310(例如，去块、ALF和SAG)、运动补偿预测1312、色度帧内预测1314、通过将色度预测与色度残差相加的色度分量的重建1316、并且在解码图像缓冲器(DPB)中将解码图像作为参考图像的存储1318。处理块1322、1324和1326是新的LMCS功能块，其包括亮度信号的前向映射1322、亮度信号的逆映射1324和亮度相关的色度缩放处理1326。与VVC中的大多数其他工具一样，可以使用SPS标志在序列级别启用/禁用LMCS。
在当前设计中，CIIP模式仅应用于合并模式。也就是说，CIIP模式的帧间预测只能从合并模式导出。然而，合并模式的预测可能不准确，尤其是对于那些运动不同于其相邻块的块。在这种情况下，CIIP模式的性能可能降低。
为了提高CIIP模式的预测精度，本公开提出了将CIIP模式应用于常规帧间模式的方法。
图14示出了根据本公开的一些实施例的用于在CIIP中生成帧内预测值的方法1400的示例性流程图。方法1400可以由诸如编码器(例如，通过图2A的过程200A或图2B的过程200B)、解码器(例如，通过图3A的过程300A或图3B的300B)或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，一个或多个处理器(例如，图4的处理器402)可以执行方法1400。在一些实施例中，方法1400可以由包含在计算机可读介质中的计算机程序产品来实现，该计算机程序产品包括由计算机(例如，图4的装置400)执行的计算机可执行指令，诸如程序代码。如图14所示，方法1400可以包括以下步骤1402至1408。
在步骤1402，系统可以确定是否为目标块启用了CIIP模式。在一些实施例中，在位流中用信号通知标志以指示用于目标块的模式。举例来说，当确定块是用常规帧间模式编码且不是用合并模式编码时，用信号通知第一标志以指示块是否用CIIP模式编码。使用常规帧间模式和CIIP模式编码(而不是使用合并模式)的块称为CIIP_INTER模式。当CIIP_INTER模式应用于块时，一些其它帧间预测模式，例如局部照明补偿模式(localillumination compensation mode)、具有CU级别权重的双向预测模式、仿射模式、对称运动向量差模式、自适应运动向量分辨率模式或多假设帧间预测模式可能被禁用。
在一些实施例中，第一标志在整个常规帧间模式语法结构的结尾处被解码。在本实例中，仅在禁用局部照明补偿模式、具有CU级别权重的双向预测模式、仿射模式或多假设帧间预测模式时，用信号通知第一标志。
在一些实施例中，第一标志在整个常规帧间模式语法结构的开始处被解码。当第一标志指示应用CIIP_INTER模式(举例来说，第一标志为真)时，禁用局部照明补偿模式、具有CU级权重的双向预测模式、仿射模式或多假设帧间预测模式，且不用信号通知这些模式的相关语法。
在步骤1404，利用使用运动矢量预测值和用信号通知的运动矢量差获得的运动矢量来生成CIIP模式的帧间预测值(也称为帧间预测信号)。因此，用于具有与其相邻块不同的运动的块的CIIP的帧间预测可以更准确。
在一些实施例中，CIIP模式与具有运动矢量差的合并模式(称为MMVD)组合。利用MMVD模式(称为CIIP_MMVD)来预测CIIP模式的帧间预测。在一些实施例中，对于用MMVD模式编码的块，在步骤1402中，解码一第二标志，该第二标志指示块是否用CIIP_MMVD模式。在一些实施例中，对于以CIIP模式编码的块，在步骤1404，对指示是否使用CIIP_MMVD模式预测帧间预测的第三标志进行解码。
在步骤1406，生成CIIP的帧内预测值(也称为帧内预测信号)。在一些实施例中，使用TIMD或DIMD方法而不是平面模式来导出CIIP模式的帧内预测。在一些实施例中，当启用CIIP_INTER或CIIP_MMVD模式时，使用TIMD或DIMD模式导出帧内预测。也就是说，使用TIMD或DIMD方法来导出帧内预测模式。此外，帧内预测模式被传播到利用CIIP模式编码的相邻块。
在步骤1408，通过对帧间预测值和帧内预测值进行加权来获得目标块的最终预测值(也称为最终预测信号)。
因此，CIIP模式可以应用于各种模式。对于运动不同于其相邻块的块，CIIP的帧间预测可以更准确，并且CIIP的性能得到改善。
在一些实施例中，当使用CIIP和LMCS模式对块进行编码时，总是应用OBMC模式。图15A示出了根据本公开的一些实施例的用于获得映射域中的最终预测信号的示例性方法1500的流程图。方法1500可以由编码器(例如，通过图2A的过程200A或图2B的过程200B)、解码器(例如，通过图3A的过程300A或图3B的300B)或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，处理器(例如，图4的处理器402)可以执行方法1500。在一些实施例中，方法1500可以由包含在计算机可读介质中的计算机程序产品来实现，该计算机程序产品包括由计算机(例如，图4的装置400)执行的计算机可执行指令，诸如程序代码。如图15A所示，方法1500可以包括以下步骤1502至1510。
在步骤1502，获得帧间预测信号和帧内预测信号。使用应用于常规合并模式的相同的帧间预测处理来获得帧间预测信号。如图14所示，可以用在步骤1402至1406中获得帧间预测值和帧内预测值相同的步骤来获得帧间预测信号和帧内预测信号。与图13所示一致，在原始域中获得帧间预测信号(例如，块1312)，并且在映射域中获得帧内预测信号(例如，块1304)。
在步骤1504，将帧间预测信号从原始域转换到映射域。因此，帧间预测信号和帧内预测信号都在同一域，即映射域。
在步骤1506，通过在映射域中对帧内和帧间预测信号进行加权来获得加权预测信号。
在步骤1508，获得OBMC预测信号。使用来自相邻块的运动获得OBMC预测信号，并且OBMC预测信号在原始域中。
在步骤1510，通过对加权预测信号和OBMC预测信号进行加权来获得最终预测信号。
方法1500也可以在图1中的表1中示出。如图15B所示。如图15A和15B所示，在方法1500中，在步骤1506在映射域中获得加权预测信号，而在原始域中获得OBMC。OBMC预测信号在加权之前不被转换到映射域。因此，通过对不同域中的两个信号进行加权来获得最终预测信号。
为改进用CIIP、OBMC和LMCS模式编码的块的加权过程，本公开提出了用于改进加权过程的方法。例如，将加权过程中使用的预测信号转换到同一域中，例如，两个预测信号都在映射域中，或者两个预测信号都在原始域中。
在一些实施例中，帧间预测信号、帧内预测信号和OBMC预测信号中的两个预测信号可以被加权以获得中间预测信号。然后，可以将第三预测信号和中间预测信号进一步进行加权，以获得最终预测信号。最终的预测信号在映射域中。
例如，在第一加权处理中，可以首先对帧间预测信号和帧内预测信号进行加权，以获得中间预测信号(例如，一加权的预测信号)。然后，在第二加权处理中，对中间预测信号(例如，所述加权的预测信号)和OBMC预测信号进行加权以获得最终预测信号。在另一示例中，在第一加权处理中，可以首先对帧间预测信号和OBMC预测信号进行加权以获得中间预测信号(例如，细化的预测信号)。然后，在第二加权处理中，对中间预测信号(例如，所述细化的预测信号)和帧内预测信号进行加权以获得最终预测信号。在另一示例中，在第一加权处理中，可以首先对帧内预测信号和OBMC预测信号进行加权以获得中间预测信号(例如，细化的预测信号)。然后，在第二加权处理中，对中间预测信号(例如，所述细化的预测信号)和帧间预测信号进行加权，以获得最终预测信号。预测信号可以在原始域和映射域之间转换，使得在第一加权处理和第二加权处理中加权的两个预测信号可以在相同的域中。
具体的细节将在下文中进一步描述。
在一些实施例中，用信号通知的OBMC预测在加权之前被转换到映射域。图16A示出了根据本公开的一些实施例的用于获得映射域中的最终预测信号的另一示例性方法1600的流程图。方法1600可以由编码器(例如，通过图2A的过程200A或图2B的过程200B)、解码器(例如，通过图3A的过程300A或图3B的300B)或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，处理器(例如，图4的处理器402)可以执行方法1600。在一些实施例中，方法1600可以由包含在计算机可读介质中的计算机程序产品来实现，该计算机程序产品包括由计算机(例如，图4的装置400)执行的计算机可执行指令，诸如程序代码。如图16A所示，方法1600可以包括以下步骤1602至1610。
在步骤1602，获得帧间预测信号和帧内预测信号。使用应用于常规合并模式的相同帧间预测的处理来获得帧间预测信号。例如，如图14所示，可以使用步骤1402至1406中获得帧间预测值和帧内预测值的相同的帧内预测过程来获得帧间预测信号和帧内预测信号。在原始域中获得帧间预测信号，并且在映射域中获得帧内预测信号。
在步骤1604，将帧间预测信号从原始域转换到映射域。因此，帧间预测信号和帧内预测信号都在同一域，即映射域。
在步骤1606，通过在映射域中对帧内和帧间预测信号进行加权来获得加权预测信号。
在步骤1608，获得OBMC预测信号并将其转换到映射域。使用来自原始域中的相邻块的运动来获得OBMC预测信号。在转换之后，OBMC预测信号也在映射域中。
步骤1610，在映射域将加权后的预测信号和OBMC预测信号进行加权，得到最终的预测信号。通过方法1600，用于加权处理的加权预测信号和OBMC预测信号都在映射域中。由于加权预测信号和OBMC预测信号在同一域中，因此加权过程可以更有效和准确。
方法1600可以在图16B中的表2中示出，其中与图15B所示的表1的不同之处以斜体、粗体和/或删除线示出。
取代在映射域中执行加权，在一些实施例中提出了在原始域中执行加权。图17A示出了根据本公开的一些实施例的用于获得映射域中的最终预测信号的另一示例性方法1700的流程图。方法1700可以由编码器(例如，通过图2A的过程200A或图2B的过程200B)、解码器(例如，通过图3A的过程300A或图3B的300B)或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，处理器(例如，图4的处理器402)可以执行方法1700。在一些实施例中，方法1700可以由包含在计算机可读介质中的计算机程序产品来实现，该计算机程序产品包括由计算机(例如，图4的装置400)执行的计算机可执行指令，诸如程序代码。如图17A所示，方法1700可以包括以下步骤1702至1710。
在步骤1702，获得帧间预测信号和帧内预测信号。使用与应用于常规合并模式的相同帧间预测的处理来获得帧间预测信号。例如，请参考图14，可以用与步骤1402至1406中获得帧间预测值和帧内预测值相同的步骤来获得帧间预测信号和帧内预测信号。在原始域中获得帧间预测信号，以及在映射域中获得帧内预测信号。
在步骤1704，将帧内预测信号从映射域转换到原始域。因此，帧内预测信号处于原始域中。帧间预测信号和帧内预测信号都在同一域中，即，在该示例中为原始域。
在步骤1706，通过在原始域中对帧内和帧间预测信号进行加权来获得加权预测信号。由于帧间预测信号和帧内预测信号都在原始域中，所以加权预测信号也在原始域中获得。
在步骤1708，获得OBMC预测信号。使用来自相邻块的运动获得OBMC预测信号，并且OBMC预测信号在原始域中。
步骤1710，将加权预测信号和OBMC预测信号在原域进行加权，得到最终预测信号，并转换到映射域。
在方法1700中，不是将帧间预测信号从原始域转换到映射域，而是将帧内预测信号从映射域转换到原始域，以确保帧间预测信号和帧内预测信号都在同一域中。因此，与OBMC预测信号相同，在原始域中获得加权预测信号。由于加权预测信号和OBMC预测信号在同一域中，因此加权过程可以更有效和准确。最终的预测信号在原域中得到后，转换到映射域。
方法1700可以在图17B中的表3中示出，其中与图15B所示的表1的差异以斜体、粗体和/或删除线示出。
在一些实施例中，提出了一种在加权之前将加权预测信号从映射域转换到原始域的方法。图18A示出了根据本公开的一些实施例的用于获得映射域中的最终预测信号的另一示例性方法1800的流程图。方法1800可以由编码器(例如，通过图2A的过程200A或图2B的过程200B)、解码器(例如，通过图3A的过程300A或图3B的300B)或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，处理器(例如，图4的处理器402)可以执行方法1800。在一些实施例中，方法1800可以由包含在计算机可读介质中的计算机程序产品来实现，该计算机程序产品包括由计算机(例如，图4的装置400)执行的计算机可执行指令，诸如程序代码。如图18A所示，方法1800可以包括以下步骤1802至1810。
在步骤1802，获得帧间预测信号和帧内预测信号。使用与应用于常规合并模式的相同帧间预测处理来获得帧间预测信号。例如，如图14所示，可以用与在步骤1402至1406中获得帧间预测值和帧内预测值相同步骤来获得帧间预测信号和帧内预测信号。在原始域中获得帧间预测信号，以及在映射域中获得帧内预测信号。
在步骤1804，将帧间预测信号从原始域转换到映射域。因此，帧间预测信号和帧内预测信号都在同一域，即映射域。
在步骤1806，通过在映射域中对帧内预测信号和帧间预测信号进行加权来获得加权预测信号，并将其转换到原始域。
在步骤1808，获得OBMC预测信号。使用来自相邻块的运动获得OBMC预测信号，并且OBMC预测信号在原始域中。因此，加权预测信号和OBMC预测信号都在同一域，即原始域。
步骤1810，将加权的预测信号和OBMC预测信号在原始域进行加权，得到最终预测信号，并将其转换到映射域。通过方法1800，用于加权处理的加权预测信号和OBMC预测信号都在原始域中。在原始域中获得最终预测信号之后，将最终预测信号转换到映射域。利用相同域中的加权预测信号和OBMC预测信号，加权过程可以更高效和准确。
方法1800可以在图18B中的表4中示出，其中与图15B中所示的表1的差异以斜体、粗体和/或删除线示出。
在一些实施例中，提出了一种在帧内预测信号之前将OBMC预测信号和帧间预测信号进行加权的方法。图19A示出了根据本公开的一些实施例的用于获得映射域中的最终预测信号的另一示例性方法1900的流程图。方法1900可以由编码器(例如，通过图2A的过程200A或图2B的过程200B)、解码器(例如，通过图3A的过程300A或图3B的300B)或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，处理器(例如，图4的处理器402)可以执行方法1900。在一些实施例中，方法1900可以由包含在计算机可读介质中的计算机程序产品来实现，该计算机程序产品包括由计算机(例如，图4的装置400)执行的计算机可执行指令，诸如程序代码。如图19A所示，方法1900可以包括的以下步骤1902至1908。
在步骤1902，获得帧间预测信号和帧内预测信号。使用与应用于常规合并模式的相同帧间预测处理来获得帧间预测信号。例如，如图14所示，可以用与在步骤1402至1406中获得帧间预测值和帧内预测值的步骤来获得帧间预测信号和帧内预测信号。在原始域中获得帧间预测信号，并且在映射域中获得帧内预测信号。
在步骤1904，获得OBMC预测信号。使用来自相邻块的运动获得OBMC预测信号，其中OBMC预测信号在原始域中。
在步骤1906，通过在原始域中对帧间预测信号和OBMC预测信号进行加权来获得细化的帧间预测信号，并将其转换到映射域。因此，首先在原始域中获得细化的帧间预测，然后将其转换为映射域。
在步骤1908，通过在映射域中对细化的帧间预测信号和帧内预测信号进行加权来获得最终预测信号。由于在步骤1906中，细化的帧间预测信号被转换到映射域，所以细化的帧间预测和帧内预测信号都在同一域(即，映射域)中。因此，加权过程可以更加高效和准确。
方法1900可以在图19B中的表5中示出，其中与图15B中所示的表1的差异以斜体、粗体和/或删除线示出。
在一些实施例中，对于用CIIP模式编码的块，禁用OBMC模式。举例来说，当用CIIP编码块时，不发信通知指示是否应用OBMC模式的标志，且推断该标志为假，即禁用OBMC模式。在一些实施例中，用信号通知指示是否应用OBMC模式的标志，且该标志的值为假。也可以为块启用LMCS。
在一些实施例中，当针对块、帧、图像、条带或块片启用LMCS时，禁用CIIP。因此，LMCS和CIIP不能同时启用。例如，指示是否应用CIIP模式的标志不被用信号通知，并且该标志被推断为假，即，CIIP模式被禁用。在一些实施例中，用信号通知指示是否应用CIIP模式的标志，且标志的值为假。可针对当前块、帧、图像、条带或块片启用OBMC。
上述实施例可以以任何组合进行组合。
可以使用以下条款进一步描述实施例:
1、一种用于视频处理的方法，其中应用组合的帧间和帧内预测(CIIP)和具有色度缩放的亮度映射(LMCS)，所述方法包括:
获得帧间预测信号、帧内预测信号和重叠块运动补偿(OBMC)预测信号；
通过对所述帧内预测信号及OBMC预测信号中的第一预测信号和所述帧间预测信号进行加权来获得中间加权预测信号；以及
通过对所述中间加权预测信号和所述帧内预测信号及OBMC预测信号中的第二预测信号进行加权来获得最终预测信号；
其中，所述中间加权预测信号和所述第二预测信号均在映射域或原始域中。
2、根据条款1所述的方法，其中，获得所述帧间预测信号、所述帧内预测信号和所述OBMC预测信号还包括:
在原始域中获得帧间预测信号；
在映射域中获得帧内预测信号；以及
在原始域中获取OBMC预测信号。
3、根据条款2所述的方法，其中，通过对所述帧内预测信号及OBMC预测信号中的第一预测信号和所述帧间预测信号进行加权来获得中间加权预测信号包括:
将所述帧间预测信号从所述原始域转换到所述映射域；以及
通过在映射域中对转换的帧间预测信号和帧内预测信号进行加权来获得中间加权预测信号；以及
其中，通过对述帧内预测信号和所述OBMC预测信号中的第二预测信号和所述中间加权预测信号进行加权得到最终预测信号进一步包括:
将所述OBMC预测信号从所述原始域转换到所述映射域；以及
通过在映射域中对所述中间加权预测信号和OBMC预测信号进行加权来获得最终预测信号。
4、根据条款2所述的方法，其中，通过所述帧内预测信号及OBMC预测信号中的第一预测信号和所述帧间预测信号进行加权来获得中间加权预测信号包括:
将所述帧间预测信号从所述原始域转换到所述映射域；以及
通过在映射域中对转换的帧间预测信号和所述帧内预测信号进行加权来获得中间加权预测信号；以及
其中，通过对所述帧内预测信号及OBMC预测信号中的第二预测信号和中间加权预测信号进行加权得到最终预测信号进一步包括:
将所述中间加权预测信号从映射域转换到原始域；
通过在原始域中对中间加权预测信号和OBMC预测信号进行加权来获得中间最终预测信号；以及
通过将中间最终预测信号从原始域转换到映射域来获得最终预测信号。
5、根据条款2所述的方法，其中，通过对所述帧内预测信号及所述OBMC预测信号中的第一预测信号和所述帧间预测信号进行加权来获得所述中间加权预测信号包括:
将所述帧内预测信号从所述映射域转换到所述原始域；以及
通过在原始域中对所述帧间预测信号和转换后的帧内预测信号进行加权来获得所述中间加权预测信号；并且
其中，通过对帧内预测信号及OBMC预测信号中的第二预测信号和中间加权预测信号进行加权来获得最终预测信号进一步包括:
通过在原始域中对所述中间加权预测信号和所述OBMC预测信号进行加权来获得中间最终预测信号；以及
通过将所述中间最终预测信号从原始域转换到映射域来获得所述最终预测信号。
6、根据条款2所述的方法，其中，通过对所述帧内预测信号及所述OBMC预测信号中的第一预测信号和所述帧间预测信号进行加权来获得所述中间加权预测信号包括:
通过在原始域中对所述帧间预测信号和所述OBMC预测信号进行加权来获得中间加权预测信号；以及
其中，通过对帧内预测信号及OBMC预测信号中的第二预测信号和所述中间加权预测信号进行加权得到最终预测信号进一步包括:
将所述中间加权预测信号从所述原始域转换到所述映射域；以及
通过在映射域中对转换的中间加权预测信号和帧内预测信号进行加权来获得最终预测信号。
7、根据条款1至6中任一项所述的方法，其中，使用应用于常规合并模式的帧间预测处理来获得帧间预测信号。
8、根据条款1至7中任一项所述的方法，其中，使用来自相邻块的运动来获得所述OBMC预测信号。
9、一种用于视频处理的方法，包括:
接收与目标块相关联的位流；
确定所述目标块是否使用组合的帧间和帧内预测(CIIP)模式进行编码；
当利用所述CIIP模式对所述当前块进行编码时，确定不应用重叠块运动补偿(OBMC)模式；以及
利用CIIP模式和具有色度缩放的亮度映射(LMCS)来处理所述目标块。
10、一种用于视频处理的方法，包括:
接收与目标块相关联的位流；
确定是否针对所述目标块启用了具有色度缩放的亮度映射(LMCS)；
响应于所述LMCS被启用，确定未使用组合的帧间和帧内预测(CIIP)模式；以及
用LMCS和重叠块运动补偿(OBMC)模式处理所述目标块。
11、一种用于视频处理的方法，包括:
确定针对目标块启用组合的帧间和帧内预测(CIIP)模式；
确定具有运动矢量的帧间预测值，其中，使用运动矢量预测值和用信号通知的运动矢量差来获得所述运动矢量；
确定帧内预测值；以及
通过对所述帧间预测值和帧内预测值进行加权来获得所述目标块的最终预测值。
12、根据条款11所述的方法，其中，所述目标块利用常规帧间模式进行编码，并且不利用合并模式进行编码。
13、根据条款12所述的方法，其中，除了常规帧间模式之外的帧间模式被禁用。
14、根据条款13所述的方法，其中，所述帧间模式包括以下各项中的一项或多项:局部照明补偿模式、具有编码单元级别权重的双向预测模式、仿射模式、对称运动矢量差模式、自适应运动矢量分辨率模式、或多假设帧间预测模式。
15、根据条款12至14中任一项所述的方法，其中确定针对所述目标块启用所述CIIP模式还包括:
基于一标志确定针对所述目标块启用所述CIIP模式。
16、根据条款15所述的方法，其中，在常规帧间模式语法结构的开始处对所述标志进行解码。
17、根据条款15所述的方法，其中，在常规帧间模式语法结构的结尾处对所述标志进行解码。
18.根据项11至17中任一项所述的方法，其中，使用具有运动矢量差的合并模式(MMVD)方法来生成所述帧间预测值。
19、根据条款11至18中任一项所述的方法，其中，使用基于模板的帧内模式推导(TIMD)方法或解码器侧帧内模式推导(DIMD)方法来生成所述帧内预测值。
20、一种存储位流的非暂时性计算机可读介质，包括:
与编码视频数据相关联的标志，所述标志指示经组合的帧间和帧内预测(CIIP)，所述标志用于所述经编码视频数据，其中目标块以常规帧间模式编码且不以合并模式译码，并且所述标志被配置为使解码器使用CIIP模式对目标块进行解码，并且禁用除常规帧间模式之外的帧间模式。
22、根据条款20所述的非暂时性计算机可读介质，其中所述标志在常规帧间模式语法结构的开始处。
23、根据条款20所述的非暂时性计算机可读介质，其中，所述标志位于常规帧间模式语法结构的末尾。
24、一种存储位流的非暂时性计算机可读介质，包括:
与编码视频数据相关联的标志，所述标志指示目标块用组合的帧间和帧内预测(CIIP)来编码，且所述CIIP组合了合并模式和运动矢量差(MMVD)模式，所述标志被配置为使解码器使用CIIP模式对所述目标块进行解码并且使用所述MMVD模式获得帧间预测值。
25、一种存储位流的非暂时性计算机可读介质，包括:
与编码视频数据相关联的标志，所述标志指示使用组合的帧间和帧内预测(CIIP)来进行帧间预测，所述CIIP组合了合并模式和运动矢量差(MMVD)模式，所述标志被配置为使解码器使用CIIP模式对所述目标块进行解码且使用所述MMVD模式获得帧间预测值。
26、一种存储位流的非暂时性计算机可读介质，包括:
与编码的视频数据相关联并且指示组合的帧间和帧内预测(CIIP)模式是否被启用的第一标志；以及
与所述编码的视频数据相关联且指示是否应用重叠块运动补偿(OBMC)模式的第二标志，
其中，当第一标志为真时，第二标志被推断为假。
27、一种存储位流的非暂时性计算机可读介质，包括:
与编码视的频数据相关联且指示是否启用具有色度缩放的亮度映射(LMCS)的第一标志；及
与所述编码的视频数据相关联且指示是否启用组合的帧间和帧内预测(CIIP)的第二标志，
其中，当第一标志为真时，第二标志被推断为假。
28、一种存储位流的非暂时性计算机可读介质，包括:
与编码视频数据相关联且指示是否启用具有色度缩放的亮度映射(LMCS)的第一标志；及
与所述编码视频数据相关联且指示是否启用组合的帧间和帧内预测(CIIP)的第二标志，
其中，当所述第一标志和所述第二标志均为真时，解码器被配置为执行:
获得原始域中的帧间预测信号、映射域中的帧内预测信号和原始域中的重叠块运动补偿(OBMC)预测信号；
通过在所述原始域中对所述帧间预测信号和所述OBMC预测信号进行加权，获得中间加权预测信号；
将所述中间加权预测信号从所述原始域转换到所述映射域；以及
通过在映射域中对转换的中间加权预测信号和帧内预测信号进行加权来获得最终预测信号。
29、一种用于执行视频数据处理的装置，其中应用组合的帧间和帧内预测(CIIP)和具有色度缩放的亮度映射(LMCS)，所述装置包括:
用于存储指令的存储器；以及
一个或多个处理器，其被配置为执行所述指令以使所述装置执行:
获得帧间预测信号、帧内预测信号和重叠块运动补偿(OBMC)预测信号；
通过对所述帧内预测信号及OBMC预测信号中的第一预测信号和帧间预测信号进行加权来获得中间加权预测信号；以及
通过对所述帧内预测信号及OBMC预测信号中的第二预测信号和所述中间加权预测信号进行加权来获得最终预测信号；
其中，所述中间加权预测信号和所述第二预测信号均在映射域或原始域中。
30、根据条款29所述的装置，其中，所述一个或多个处理器还被配置为执行所述指令以使所述装置执行:
在原始域中获得帧间预测信号；
在映射域中获得帧内预测信号；以及
在原始域中获取OBMC预测信号。
31、根据条款30所述的装置，其中，所述一个或多个处理器还被配置为执行所述指令以使所述装置执行:
将所述帧间预测信号从原始域转换到映射域；
通过在映射域中对转换后的帧间预测信号和所述帧内预测信号进行加权来获得中间加权预测信号；
将所述所述OBMC预测信号从所述原始域转换到所述映射域；以及
通过在映射域中对所述中间加权预测信号和所述OBMC预测信号进行加权来获得最终预测信号。
32、根据条款30所述的装置，其中，所述一个或多个处理器还被配置为执行所述指令以使所述装置执行:
将所述帧间预测信号从所述原始域转换到所述映射域；以及
通过在映射域中对转换后的帧间预测信号和帧内预测信号进行加权来获得中间加权预测信号；
将所述中间加权预测信号从映射域转换到原始域；
通过在原始域中对所述中间加权预测信号和所述OBMC预测信号进行加权来获得中间最终预测信号；以及
通过将所述中间最终预测信号从原始域转换到映射域来获得最终预测信号。
33、根据条款30所述的装置，其中，所述一个或多个处理器还被配置为执行所述指令以使所述装置执行:
将所述帧内预测信号从映射域转换到原始域；
通过在原始域中对所述帧间预测信号和转换后的帧内预测信号进行加权来获得中间加权预测信号；
通过在原始域中对所述中间加权预测信号和所述OBMC预测信号进行加权，得到中间最终预测信号；
通过将所述中间最终预测信号从原始域转换到映射域来获得最终预测信号。
34、根据条款30所述的装置，其中，所述一个或多个处理器还被配置为执行所述指令以使所述装置执行:
通过在原始域中所述对帧间预测信号和所述OBMC预测信号进行加权，获得中间加权预测信号；
将所述中间加权预测信号从所述原始域转换到所述映射域；以及
通过在映射域中对转换的中间加权预测信号和所述帧内预测信号进行加权来获得最终预测信号。
35、根据条款29至34中任一项所述的装置，其中，使用应用于常规合并模式的帧间预测处理来获得所述帧间预测信号。
36、根据项29至35中任一项所述的装置，其中，使用来自相邻块的运动来获得所述OBMC预测信号。
37、一种用于执行视频数据处理的装置，所述装置包括:
用来存储指令的存储器；以及
一个或多个处理器，其被配置为执行所述指令以使所述装置执行:
接收与目标块相关联的位流；
确定所述目标块是否使用组合的帧间和帧内预测(CIIP)模式进行编码；
当使用所述CIIP模式对所述当前块进行编码时，确定不应用重叠块运动补偿(OBMC)模式；以及
使用CIIP模式和具有色度缩放的亮度映射(LMCS)来处理所述目标块。
38、一种用于执行视频数据处理的装置，所述装置包括:
存储器，其被配置为存储指令；以及
一个或多个处理器，其被配置为执行所述指令以使所述装置执行:
接收与目标块相关联的位流；
确定是否针对所述目标块启用了具有色度缩放的亮度映射(LMCS)；
响应于所述LMCS被启用，确定组合的帧间和帧内预测(CIIP)模式未被应用；以及
使用所述LMCS和重叠块运动补偿(OBMC)模式处理所述目标块。
39、一种用于执行视频数据处理的装置，所述装置包括:
存储器，其被配置为存储指令；以及
一个或多个处理器，其被配置为执行所述指令以使所述装置执行:
确定针对目标块启用组合的帧间和帧内预测(CIIP)模式；
确定具有运动矢量的帧间预测值，其中，所述运动矢量使用运动矢量预测值和用信号通知的运动矢量差来获得；
确定一帧内预测值；以及
通过对所述帧间预测值和所述帧内预测值进行加权来获得所述目标块的最终预测值。
40、根据条款39所述的装置，其中，所述目标块利用常规帧间模式进行编码，而不利用合并模式进行编码。
41、根据条款40所述的装置，其中，禁用除常规帧间模式之外的帧间模式。
42、根据条款41所述的装置，其中，所述帧间模式包括以下各项中的一项或多项:局部照明补偿模式、具有编码单元级别权重的双向预测模式、仿射模式、对称运动矢量差模式、自适应运动矢量分辨率模式、或多假设帧间预测模式。
43、根据条款40至42中任一项所述的装置，其中，所述一个或多个处理器还被配置为执行所述指令以使所述装置执行:
基于一标志确定针对所述目标块启用所述CIIP模式。
44、根据条款43所述的装置，其中，所述标志在常规帧间模式语法结构的开始处被解码。
45、根据条款44所述的装置，其中，所述标志在常规帧间模式语法结构的结尾处被解码。
46、根据条款39至45中任一项所述的装置，其中，使用具有运动矢量差的合并模式(MMVD)方法来生成所述帧间预测值。
47、根据条款39至46中任一项所述的装置，其中，使用基于模板的帧内模式推导(TIMD)方法或解码器侧帧内模式推导(DIMD)方法来生成所述帧内预测值。
在一些实施例中，还提供了一种包括指令的非暂时性计算机可读存储介质。在一些实施例中，介质可存储视频位流的具有指示所应用的预测模式的一或多个标志的全部或部分，应用图14到图19有关的模式。在一些实施例中，介质可以存储可以由设备(诸如所公开的编码器和解码器)执行的指令，用于执行上述方法。非暂时性介质的常见形式包括例如软盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、FLASH-EPROM或任何其他闪存、NVRAM、高速缓存、寄存器、任何其他存储芯片或盒式磁带及其联网版本。该设备可以包括一个或多个处理器(CPU)、输入/输出接口、网络接口和/或存储器。
需要说明的是，这里的“第一”、“第二”等关系术语仅用于将一个实体或操作与另一个实体或操作进行区分，并不要求或暗示这些实体或操作之间的任何实际关系或顺序。此外，“包括”、“具有”、“包含”和“包括”等词语在含义上是等同的并且是开放式的，因为在这些词语中的任何一个之后的一个或多个项目并不意味着是这样的一个或多个项目的详尽列表，或者意味着仅限于所列出的一个或多个项目。
如本文所用，除非另有特别说明，否则术语“或”涵盖所有可能的组合，除非不可行。例如，如果声明数据库可以包括A或B，则除非另有特别说明或不可行，否则数据库可以包括A，或B，或A和B。作为第二示例，如果声明数据库可以包括A、B或C，则除非另有特别说明或不可行，否则数据库可以包括A，或B，或C，或A和B，或A和C，或B和C，或者A和B和C。
应当理解，上述实施例可以通过硬件、或软件(程序代码)、或硬件和软件的组合来实现。如果由软件实现，则其可以存储在上述计算机可读介质中。当由处理器执行时，软件可以执行所公开的方法。本公开中描述的计算单元和其他功能单元可以通过硬件、或软件、或硬件和软件的组合来实现。本领域普通技术人员还将理解，上述模块/单元中的多个模块/单元可以被组合为一个模块/单元，并且上述模块/单元中的每一个可以被进一步划分为多个子模块/子单元。
在前述说明书中，已经参考可以随实现而变化的许多具体细节描述了实施例。可以对所描述的实施例进行某些调整和修改。通过考虑本文公开的本申请的说明书和实践，其他实施方案对于本领域技术人员来说是显而易见的。说明书和实施例仅被认为是示例性的，本申请的真实范围和精神由所附权利要求指示。图中所示的步骤序列也旨在仅用于说明性目的，并且不旨在限于任何特定的步骤序列。因此，本领域技术人员可以理解，这些步骤可以以不同的顺序执行，同时实现相同的方法。
在附图和说明书中，已经公开了示例性实施例。然而，可以对这些实施例进行许多变化和修改。因此，尽管采用了特定术语，但它们仅在一般和描述性意义上使用，而不是为了限制的目的。

Claims (19)

1.一种用于视频处理的方法，其中该方法应用组合的帧间和帧内预测(CIIP)和具有色度缩放的亮度映射(LMCS)，所述方法包括:
获得帧间预测信号、帧内预测信号和重叠块运动补偿(OBMC)预测信号；
通过对所述帧间预测信号和第一预测信号进行加权来获得中间加权预测信号，其中，所述第一预测信号为帧内预测信号和OBMC预测信号中的一预测信号；以及
通过对所述中间加权预测信号和第二预测信号进行加权来获得最终预测信号，其中，所述第二预测信号为所述帧内预测信号和OBMC预测信号中的另一预测信号；
其中，所述中间加权预测信号和所述第二预测信号均在映射域或原始域中。
2.根据权利要求1所述的方法，其中，获得所述帧间预测信号、所述帧内预测信号和所述OBMC预测信号进一步包括:
在原始域中获得所述帧间预测信号；
在映射域中获得所述帧内预测信号；以及
在原始域中获得所述OBMC预测信号。
3.根据权利要求2所述的方法，其中通过对所述帧间预测信号和第一预测信号进行加权来获得中间加权预测信号，其中，所述第一预测信号为帧内预测信号和OBMC预测信号中的一预测信号包括:
将所述帧间预测信号从所述原始域转换到所述映射域；以及
通过在映射域中对转换的帧间预测信号和所述帧内预测信号进行加权来获得所述中间加权预测信号；以及
其中，通过对所述中间加权预测信号和第二预测信号进行加权来获得最终预测信号，其中，所述第二预测信号为所述帧内预测信号和OBMC预测信号中的另一预测信号进一步包括:
将所述OBMC预测信号从所述原始域转换到所述映射域；以及
通过在所述映射域中对所述中间加权预测信号和所述OBMC预测信号进行加权来获得所述最终预测信号。
4.根据权利要求2所述的方法，其中通过对所述帧间预测信号和第一预测信号进行加权来获得中间加权预测信号，其中，所述第一预测信号为帧内预测信号和OBMC预测信号中的一预测信号包括:
将所述帧间预测信号从所述原始域转换到所述映射域；以及
通过在映射域中对转换的帧间预测信号和所述帧内预测信号进行加权来获得所述中间加权预测信号；以及
其中，通过对所述中间加权预测信号和第二预测信号进行加权来获得最终预测信号，其中，所述第二预测信号为所述帧内预测信号和OBMC预测信号中的另一预测信号进一步包括:
将所述中间加权预测信号从映射域转换到原始域；
通过在原始域中对所述中间加权预测信号和所述OBMC预测信号进行加权，获得中间最终预测信号；
通过将所述中间最终预测信号从所述原始域转换到所述映射域来获得最终预测信号。
5.根据权利要求2所述的方法，其中通过对所述帧间预测信号和第一预测信号进行加权来获得中间加权预测信号，其中，所述第一预测信号为帧内预测信号和OBMC预测信号中的一预测信号包括:
将所述帧内预测信号从所述映射域转换到所述原始域；以及
通过在原始域中对所述帧间预测信号和转换后的帧内预测信号进行加权来获得所述中间加权预测信号；并且
其中，通过对所述中间加权预测信号和第二预测信号进行加权来获得最终预测信号，其中，所述第二预测信号为所述帧内预测信号和OBMC预测信号中的另一预测信号进一步包括:
通过在原始域中对所述中间加权预测信号和所述OBMC预测信号进行加权来获得中间最终预测信号；以及
通过将所述中间最终预测信号从所述原始域转换到所述映射域来获得所述最终预测信号。
6.根据权利要求2所述的方法，其中通过对所述帧间预测信号和第一预测信号进行加权来获得中间加权预测信号，其中，所述第一预测信号为帧内预测信号和OBMC预测信号中的一预测信号包括:
通过在所述原始域中对所述帧间预测信号和所述OBMC预测信号进行加权来获得所述中间加权预测信号；以及
其中，通过对所述中间加权预测信号和第二预测信号进行加权来获得最终预测信号，其中，所述第二预测信号为所述帧内预测信号和OBMC预测信号中的另一预测信号进一步包括:
将所述中间加权预测信号从所述原始域转换到所述映射域；以及
通过在所述映射域中对转换的中间加权预测信号和所述帧内预测信号进行加权来获得所述最终预测信号。
7.根据权利要求1所述的方法，其中，使用应用于常规合并模式的帧间预测处理来获得所述帧间预测信号。
8.根据权利要求1所述的方法，其中，使用来自相邻块的运动来获得所述OBMC预测信号。
9.一种用于执行视频数据处理的装置，其中应用组合的帧间和帧内预测(CIIP)和具有色度缩放的亮度映射(LMCS)，所述装置包括:
存储器，所述存储器用于存储指令；以及
一个或多个处理器，所述一个或多个处理器被配置为执行所述指令以使所述装置执行:
获得帧间预测信号、帧内预测信号和重叠块运动补偿(OBMC)预测信号；
通过对所述帧间预测信号和第一预测信号进行加权来获得中间加权预测信号，其中，所述第一预测信号为帧内预测信号和OBMC预测信号中的一预测信号；以及
通过对所述中间加权预测信号和第二预测信号进行加权来获得最终预测信号，其中，所述第二预测信号为所述帧内预测信号和OBMC预测信号中的另一预测信号；
其中，所述中间加权预测信号和所述第二预测信号均在映射域或原始域中。
10.根据权利要求9所述的装置，其中，所述一个或多个处理器还被配置为执行所述指令以使所述装置执行:
在原始域中获得所述帧间预测信号；
在映射域中获得所述帧内预测信号；以及
在原始域中获得所述OBMC预测信号。
11.根据权利要求10所述的装置，其中，所述一个或多个处理器还被配置为执行所述指令以使所述装置执行:
将所述帧间预测信号从所述原始域转换到所述映射域；以及
通过在映射域中对转换的帧间预测信号和所述帧内预测信号进行加权来获得所述中间加权预测信号；
将所述OBMC预测信号从所述原始域转换到所述映射域；以及
通过在所述映射域中对所述中间加权预测信号和所述OBMC预测信号进行加权来获得所述最终预测信号。
12.根据权利要求10所述的装置，其中，所述一个或多个处理器还被配置为执行所述指令以使所述装置执行:
将所述帧间预测信号从所述原始域转换到所述映射域；以及
通过在映射域中对转换的帧间预测信号和所述帧内预测信号进行加权来获得所述中间加权预测信号；
将所述中间加权预测信号从映射域转换到原始域；
通过在原始域中对所述中间加权预测信号和所述OBMC预测信号进行加权，获得中间最终预测信号；
通过将所述中间最终预测信号从所述原始域转换到所述映射域来获得最终预测信号。
13.根据权利要求10所述的装置，其中，所述一个或多个处理器还被配置为执行所述指令以使所述装置执行:
将所述帧内预测信号从所述映射域转换到所述原始域；以及
通过在原始域中对所述帧间预测信号和转换后的帧内预测信号进行加权来获得所述中间加权预测信号；
通过在原始域中对所述中间加权预测信号和所述OBMC预测信号进行加权来获得中间最终预测信号；以及
通过将所述中间最终预测信号从所述原始域转换到所述映射域来获得所述最终预测信号。
14.根据权利要求10所述的装置，其中，所述一个或多个处理器还被配置为执行所述指令以使所述装置执行:
通过在所述原始域中对所述帧间预测信号和所述OBMC预测信号进行加权来获得所述中间加权预测信号；
将所述中间加权预测信号从所述原始域转换到所述映射域；以及
通过在所述映射域中对转换的中间加权预测信号和所述帧内预测信号进行加权来获得所述最终预测信号。
15.根据权利要求9所述的装置，其中，使用应用于常规合并模式的帧间预测处理来获得所述帧间预测信号。
16.根据权利要求9所述的装置，其中，使用来自相邻块的运动来获得所述OBMC预测信号。
17.一种非暂时性计算机可读存储介质，存储用于根据方法进行处理的视频的位流，其中，对视频应用组合的帧间和帧内预测(CIIP)和具有色度缩放的亮度映射(LMCS)，并且所述方法包括:
获得帧间预测信号、帧内预测信号和重叠块运动补偿(OBMC)预测信号；
通过对所述帧间预测信号和第一预测信号进行加权来获得中间加权预测信号，其中，所述第一预测信号为帧内预测信号和OBMC预测信号中的一预测信号；以及
通过对所述中间加权预测信号和第二预测信号进行加权来获得最终预测信号，其中，所述第二预测信号为所述帧内预测信号和OBMC预测信号中的另一预测信号；
其中，所述中间加权预测信号和所述第二预测信号均在映射域或原始域中。
18.根据权利要求17所述的非临时性计算机可读存储介质，其中，获得所述帧间预测信号、所述帧内预测信号和所述OBMC预测信号还包括:
在原始域中获得所述帧间预测信号；
在映射域中获得所述帧内预测信号；以及
在原始域中获取所述OBMC预测信号。
19.根据权利要求18所述的非临时性计算机可读存储介质，
通过对所述帧间预测信号和第一预测信号进行加权来获得中间加权预测信号，其中，所述第一预测信号为帧内预测信号和OBMC预测信号中的一预测信号包括:
将所述帧间预测信号从所述原始域转换到所述映射域；以及
通过在映射域中对转换的帧间预测信号和所述帧内预测信号进行加权来获得所述中间加权预测信号；以及
其中，通过对所述中间加权预测信号和第二预测信号进行加权来获得最终预测信号，其中，所述第二预测信号为所述帧内预测信号和OBMC预测信号中的另一预测信号进一步包括:
将所述OBMC预测信号从所述原始域转换到所述映射域；以及
通过在所述映射域中对所述中间加权预测信号和所述OBMC预测信号进行加权来获得所述最终预测信号。
CN202280063448.0A 2021-09-22 2022-09-22 用于执行组合帧间预测和帧内预测的方法和系统 Pending CN118044184A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163247078P 2021-09-22 2021-09-22
US63/247,078 2021-09-22
US17/931,676 2022-09-13
US17/931,676 US20230090025A1 (en) 2021-09-22 2022-09-13 Methods and systems for performing combined inter and intra prediction
PCT/SG2022/050682 WO2023048646A2 (en) 2021-09-22 2022-09-22 Methods and systems for performing combined inter and intra prediction

Publications (1)

Publication Number Publication Date
CN118044184A true CN118044184A (zh) 2024-05-14

Family

ID=85573549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280063448.0A Pending CN118044184A (zh) 2021-09-22 2022-09-22 用于执行组合帧间预测和帧内预测的方法和系统

Country Status (4)

Country Link
US (1) US20230090025A1 (zh)
KR (1) KR20240072191A (zh)
CN (1) CN118044184A (zh)
WO (1) WO2023048646A2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11943432B2 (en) * 2021-04-26 2024-03-26 Tencent America LLC Decoder side intra mode derivation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10523964B2 (en) * 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
EP3878178A1 (en) * 2018-11-05 2021-09-15 InterDigital VC Holdings, Inc. Video encoding or decoding using block extension for overlapped block motion compensation
MX2021008911A (es) * 2019-02-01 2021-08-24 Beijing Bytedance Network Tech Co Ltd Se?alizacion de informacion de reformacion en bucle utilizando conjuntos de parametros.
WO2020256086A1 (en) * 2019-06-21 2020-12-24 Panasonic Intellectual Property Corporation Of America System and method for video coding

Also Published As

Publication number Publication date
WO2023048646A3 (en) 2023-06-22
KR20240072191A (ko) 2024-05-23
US20230090025A1 (en) 2023-03-23
WO2023048646A9 (en) 2023-08-10
WO2023048646A2 (en) 2023-03-30
WO2023048646A8 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
CN116506635B (zh) 用于对图像执行逐步解码刷新处理的方法和系统
CN114902670B (zh) 用信号通知子图像划分信息的方法和装置
JP2022538747A (ja) ルマ及びクロマ信号を処理するための方法及びシステム
US20220417511A1 (en) Methods and systems for performing combined inter and intra prediction
US12003751B2 (en) High level syntax control of loop filter
CN114868393A (zh) 执行环绕运动补偿的方法
US20220141459A1 (en) Offset-based refinement of intra prediction (orip) of video coding
CN115836525B (zh) 用于从多个交叉分量进行预测的视频编码、解码方法和设备
CN116418983B (zh) 用于在调色板模式下对视频数据进行编码的方法和装置
CN116918333A (zh) 用于跨分量样值偏移补偿的方法、装置和非暂时性计算机可读介质
CN117296312A (zh) 用于交叉分量样本自适应偏移的方法和系统
JP2022548204A (ja) 変換スキップモードで映像データを符号化するための方法及び装置
US20230090025A1 (en) Methods and systems for performing combined inter and intra prediction
WO2023131208A1 (en) Fusion of video prediction modes
CN115398897B (zh) 用于导出时间运动信息的方法和装置
CN116601960A (zh) 使用自适应环路滤波器的方法及其系统
CN118075450A (zh) 双向预测校正系统和方法
CN115552900A (zh) 用信号通知最大变换大小和残差编码的方法
US20210084293A1 (en) Method and apparatus for coding video data
CN115443655A (zh) 用于处理视频编码中自适应颜色变换和低频不可分离变换的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination