CN118318437A - 用于视频编解码的跨分量预测的方法和装置 - Google Patents

用于视频编解码的跨分量预测的方法和装置 Download PDF

Info

Publication number
CN118318437A
CN118318437A CN202280079091.5A CN202280079091A CN118318437A CN 118318437 A CN118318437 A CN 118318437A CN 202280079091 A CN202280079091 A CN 202280079091A CN 118318437 A CN118318437 A CN 118318437A
Authority
CN
China
Prior art keywords
samples
luminance
chroma
sample
luminance samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280079091.5A
Other languages
English (en)
Inventor
郭哲玮
修晓宇
朱弘正
陈漪纹
陈伟
闫宁
高晗
王祥林
于冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Publication of CN118318437A publication Critical patent/CN118318437A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开内容提供了一种用于对视频数据进行解码的方法。该方法包括：从比特流中获得视频数据的视频块；基于对应于视频块的色度样点的亮度样点的边缘信息将亮度样点分类到多个样点组中的一个样点组中，其中，亮度样点是从视频块的亮度样点中的一个或多个亮度样点中获得的；以及通过将对应于所分类的样点组的多个线性预测模型中的一个线性预测模型应用于亮度样点来预测色度样点。

Description

用于视频编解码的跨分量预测的方法和装置
技术领域
概括地说，本公开内容的各方面涉及视频编解码和压缩，并且更具体地，涉及用于跨分量预测技术的方法和装置。
背景技术
各种视频编解码技术可以被用于压缩视频数据。视频编解码是根据一个或多个视频编解码标准执行的。例如，视频编解码标准包括通用视频编解码(VVC)、高效视频编解码(H.265/HEVC)、高级视频编解码(H.264/AVC)、移动图像专家组(MPEG)编解码等。视频编解码通常采用利用视频图像或序列中存在的冗余的预测方法(例如，帧间预测、帧内预测等)。视频编解码技术的一个重要目标是将视频数据压缩成使用较低比特率的形式，同时避免或最小化视频质量的下降。
为了减少跨分量冗余，通常在视频编解码标准中使用跨分量线性模型(CCLM)预测模式，其中色度样点是基于同一CU的经重建亮度样点来预测的。在现有的CCLM或多模型LM(MMLM)预测模式中，一个或多个线性预测模型被用于根据亮度样点被分类到其中的一个或多个样点组进行预测。现有的CCLM或MMLM预测模式中的分类通常可以考虑亮度DC值，在其它方面留下了可以进一步提高编解码效率的潜在空间。
发明内容
下面给出了根据本公开内容的一个或多个方面的简要概括，以便提供对这样的方面的基本理解。该概括不是所有预期方面的广泛综述，并且既不旨在标识所有方面的关键或重要元素，也不旨在描绘任何或所有方面的范围。其唯一目的是以简化形式给出一个或多个方面的一些概念，作为稍后给出的更详细的描述的前序。
根据实施例，提供了一种用于对视频数据进行解码的方法。该方法包括：从比特流中获得视频数据的视频块；基于对应于视频块的色度样点的亮度样点的边缘信息将亮度样点分类到多个样点组中的一个样点组中，其中，亮度样点是从视频块的亮度样点中的一个或多个亮度样点中获得的；以及通过将对应于所分类的样点组的多个线性预测模型中的一个线性预测模型应用于亮度样点来预测色度样点。
根据实施例，提供了一种用于对视频数据进行编码的方法。该方法包括：从视频帧中获得视频数据的视频块；基于对应于视频块的色度样点的亮度样点的边缘信息将亮度样点分类到多个样点组中的一个样点组中，其中，亮度样点是从视频块的亮度样点中的一个或多个亮度样点中获得的；以及通过将对应于所分类的样点组的多个线性预测模型中的一个线性预测模型应用于亮度样点来预测色度样点。
根据实施例，提供了一种计算机系统，其包括一个或多个处理器以及存储计算机可执行指令的一个或多个存储设备，计算机可执行指令当被执行时使一个或多个处理器执行操作，该操作包括：从比特流中获得视频数据的视频块；基于对应于视频块的色度样点的亮度样点的边缘信息将亮度样点分类到多个样点组中的一个样点组中，其中，亮度样点是从视频块的亮度样点中的一个或多个亮度样点中获得的；以及通过将对应于所分类的样点组的多个线性预测模型中的一个线性预测模型应用于亮度样点来预测色度样点。
通过使用所提出的基于边缘信息的分类器或度量进行分类，可以在分类中考虑丰富的信息，并且可以提高编解码效率。本公开内容的其它优点在以下描述中将是显而易见的。
附图说明
将在下文结合附图描述所公开的各方面，附图被提供以说明而非限制所公开的各方面。
图1示出通用的基于块的混合视频编码系统的框图。
图2A至2E示出五种拆分类型，包括四元分割、水平二元分割、垂直二元分割、水平三元分割和垂直三元分割。
图3示出基于块的视频解码器的总体框图。
图4示出CCLM模式中涉及的当前块的左侧样点和上方样点以及当前块的样点的位置的示例。
图5示出基于值Threshold(门限)将相邻样点分类到两个组中的示例。
图6示出基于拐点将相邻样点分类到两个组中的示例。
图7示出根据本公开内容的一个或多个方面的用于对视频数据进行解码的方法的工作流。
图8示出根据本公开内容的一个或多个方面的用于对视频数据进行编码的方法的工作流。
图9示出根据本公开内容的一个或多个方面的示例性计算系统。
具体实施方式
现在将参考若干示例实现方式来讨论本公开内容。应当理解的是，讨论这些实现方式仅仅用于使得本领域技术人员能够更好地理解并从而实现本公开内容的实施例，而并非暗示对本公开内容的范围的任何限制。
VVC标准的第一版本于2020年7月定稿，与上一代视频编解码标准HEVC相比，其提供了大约50％的比特率节省或者同等的感知质量。尽管VVC标准与其以前的标准相比提供了显著的编解码改进，但是有证据表明，利用额外的编解码工具可以实现更优越的编解码效率。最近，在ITU-T VECG和ISO/IEC MPEG的合作下，联合视频探索团队(JVET)开始对能够比VVC实现编解码效率的大幅度增强的先进技术的探索。2021年4月，建立了一个名为增强型压缩模型(ECM)的软件代码库，用于未来的视频编解码探索工作。ECM参考软件基于由JVET为VVC开发的VVC测试模型(VTM)，其中进一步扩展和/或改进了若干现有的模块(例如，帧内/帧间预测、变换、环路滤波器等)。将来，任何超出VVC标准的新编解码工具都需要被集成到ECM平台中，并且使用JVET公共测试条件(CTC)进行测试。
与所有之前的视频编解码标准类似，ECM建立在基于块的混合视频编解码框架之上。图1示出通用的基于块的混合视频编码系统的框图。输入视频信号被逐块(被称为编码单元(CU))处理。在ECM-1.0中，CU可以多达128x128像素。然而，与VVC相同，一个编码树单元(CTU)基于四叉树/二叉树/三叉树被拆分成各CU，以适应的不同局部特性。在多类型树结构中，一个CTU首先按照四叉树结构被分割。然后，每个四叉树叶节点可以按照二叉树和三叉树结构被进一步分割。如图2A、2B、2C、2D和2E中所示，存在五种拆分类型：四元分割、垂直二元分割、水平二元分割、垂直扩展四元分割和水平扩展四元分割。在图1中，可以执行空间预测和/或时间预测。空间预测(或“帧内预测”)使用来自同一视频图片/条带中的已编码的相邻块的样点(其被称为参考样点)的像素来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测(也被称为“帧间预测”或“运动补偿预测”)使用来自已编码的视频图片的经重建像素来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。通常通过一个或多个运动矢量(MV)发信号通知针对给定CU的时间预测信号，一个或多个MV指示当前CU与其时间参考之间的运动的量和方向。而且，如果支持多个参考图片，则另外发送一个参考图片索引，该参考图片索引被用于识别时间预测信号来自参考图片存储中的哪个参考图片。在空间和/或时间预测之后，编码器中的模式决策框例如基于率失真优化方法来选择最佳预测模式。然后，从当前视频块中减去预测块；并且使用变换对预测残差进行去相关并且量化。经量化残差系数被反量化和逆变换，以形成经重建残差，然后将经重建残差添加回预测块以形成CU的经重建信号。此外，在经重建CU被放入参考图片存储中并被用于对未来的视频块进行编码之前，可以将环路滤波(诸如去块滤波器、样点自适应偏移(SAO)和自适应环路滤波器(ALF))应用于经重建CU。为了形成输出视频比特流，编码模式(帧间或帧内)、预测模式信息、运动信息和经量化残差系数均被发送到熵编码单元，以被进一步压缩和打包以形成比特流。
图3示出基于块的视频解码器的总体框图。视频比特流首先在熵解码单元处被熵解码。编码模式和预测信息被发送到空间预测单元(如果是帧内编码的话)或时间预测单元(如果是帧间编码的话)，以形成预测块。残差变换系数被发送到反量化单元和逆变换单元以重建残差块。然后将预测块和残差块相加在一起。经重建块在其被存储在参考图片存储中之前可以进一步经过环路滤波。然后将参考图片存储中的经重建视频发送出去以驱动显示设备，以及被用于预测未来的视频块。
为了减少跨分量冗余，在VVC中使用跨分量线性模型(CCLM)预测模式，其中色度样点是通过使用以下线性模型基于同一CU的经重建亮度样点来预测的：
predC(i,j)＝α·recL′(i,j)+β (1)
其中，predC(i,j)表示CU中的预测色度样点，并且recL'(i,j)表示同一CU的通过对经重建亮度样点recL(i,j)进行下采样获得的经下采样的重建亮度样点，并且α和β是线性模型参数，这些线性模型参数是从最多四个相邻色度样点及其对应的经下采样的亮度样点导出的，这些样点可以被称为相邻亮度-色度样点对。假设当前色度块具有W×H的尺寸，则按如下方式获得W’和H’：
当应用LM模式时，W’＝W，H’＝H；
当应用LM-A模式时，W’＝W+H；
当应用LM-L模式时，H’＝H+W；
其中，在LM模式中，CU的上方样点和左侧样点一起被用于计算线性模型系数；在LM_A模式中，仅CU的上方样点被用于计算线性模型系数；并且在LM_L模式中，仅CU的左侧样点被用于计算线性模型系数。
如果色度块的上方相邻样点的位置被表示为S[0,-1]…S[W’-1,-1]，并且色度块的左侧相邻样点的位置被表示为S[-1,0]…S[-1,H’-1]，则按如下方式选择四个相邻色度样点的位置：
-当应用LM模式并且上方相邻样点和左侧相邻样点都可用时，选择S[W’/4,-1]、S[3*W’/4,-1]、S[-1,H’/4]、S[-1,3*H’/4]作为四个相邻色度样点的位置；
-当应用LM-A模式或仅上方相邻样点可用时，选择S[W’/8,-1]、S[3*W’/8,-1]、S[5*W’/8,-1]、S[7*W’/8,-1]作为四个相邻色度样点的位置；
-当应用LM-L模式或仅左侧相邻样点可用时，选择S[-1,H’/8]、S[-1,3*H’/8]、S[-1,5*H’/8]、S[-1,7*H’/8]作为四个相邻色度样点的位置。
通过下采样操作获得与所选择的位置相对应的四个相邻亮度样点并将所获得的四个相邻亮度样点比较四次以找到两个较大的值：x0 A和x1 A以及两个较小的值：x0 B和x1 B。与这两个较大值和两个较小值相对应的色度样点值被分别表示为y0 A、y1 A、y0 B和y1 B。然后，按如下方式导出Xa,、Xb、Ya和Yb：
最后，根据以下等式获得线性模型参数α和β：
β＝Yb-α·Xb (4)
图4示出CCLM模式中涉及的当前块的左侧样点和上方样点以及当前块的样点的位置的示例，包括CU中的N×N色度块的左侧样点和上方样点的位置以及CU中的2N×2N亮度块的左侧样点和上方样点的位置。
用于计算参数α的除法运算是利用查找表实现的。为了减少用于存储该表所需的存储量，通过指数符号表达diff值(最大值与最小值之间的差)和参数α。例如，利用4比特有效部分和指数来近似diff。因此，用于1/diff的表被简化成如下的用于该有效数字的16个值的16个元素：
DivTable[]＝{0,7,6,5,5,4,4,3,3,2,2,1,1,1,1,0} (5)
这样做的益处在于既降低了计算的复杂度，又降低了用于存储所需表要求的存储器尺寸。
除了上方模板和左侧模板可以一起被用于计算线性模型系数之外，它们还可以在其它2种LM模式(被称为LM_A和LM_L模式)中交替使用。
在LM_T模式中，仅上方模板被用于计算线性模型系数。为了获得更多样点，将上方模板扩展至(W+H)个样点。在LM_L模式中，仅左侧模板被用于计算线性模型系数。为了获得更多样点，将左侧模板扩展至(H+W)个样点。
在LM_LT模式中，左侧模板和上方模板被用于计算线性模型系数。
为了匹配4:2:0视频序列的色度样点位置，对亮度样点应用两种类型的下采样滤波器，从而在水平方向和垂直方形上都实现2比1的下采样比率。通过SPS级标志规定下采样滤波器的选择。两种下采样滤波器如下文所述，它们分别对应于“类型0”和“类型2”内容。
注意的是，当上部参考线位于CTU边界处时，仅一条亮度线(帧内预测中的一般线缓存器)被用于产生下采样亮度样点。
该参数计算是作为解码过程的部分而非仅作为编码器搜索操作来执行的。因此，不使用语法向解码器传达α值和β值。
对于色度帧内模式编码，对色度帧内模式编码允许总共8个帧内模式。那些模式包括五种传统帧内模式和三种跨分量线性模型模式(CCLM、LM_A和LM_L)。色度模式信令和导出过程如表1中所示。色度模式编码直接取决于对应的亮度块的帧内预测模式。由于在I切片中启用了针对亮度分量和色度分量的单独块分割结构，因此一个色度块可以对应于多个亮度块。因此，对于色度DM模式，直接继承对应的亮度块的帧内预测模式覆盖当前色度块的中心位置。
表1当CCLM时启用从亮度模式导出色度预测模式
如表2中所示，无论sps_cclm_enabled_flag的值如何，都使用单个二值化表。
表2用于色度预测模式的统一二值化表
在表2中，第一个二进制指示其是常规模式(0)还是LM模式(1)。如果其是LM模式，则下一二进制指示其是否是LM_CHROMA(0)。如果其不是LM_CHROMA，则下一二进制指示其是LM_L(0)还是LM_A(1)。对于这种情况，当sps_cclm_enabled_flag为0时，可以在熵编码之前忽略对应的intra_chroma_pred_mode的二值化表的第一二进制。或者，换句话说，第一二进制被推断为0，并且因此未被编码。该单个二值化表被用于sps_cclm_enabled_flag等于0和1的两种情况。表22中的前两个二进制利用其自己的上下文模型进行上下文编码，并且其余二进制进行旁路编码。
此外，为了减少双树中的亮度-色度时延，当64×64亮度编码树节点采用非拆分(Not Split)(并且ISP不被用于64×64CU)或QT进行分割时，允许32×32/32×16色度编码树节点中的色度CU按以下方式使用CCLM：
如果32×32色度节点不是拆分的或分割的QT拆分，则32×32节点中的所有色度CU都可以使用CCLM。
如果32×32色度节点采用水平BT进行分割，并且32×16子节点不拆分或使用垂直BT拆分，则32×16色度节点中的所有色度CU都可以使用CCLM。
在所有其它亮度和色度编码树拆分条件下，针对色度CU不允许CCLM。
在ECM开发期间，去除了α和β的简化导出(最小-最大近似)。相反，下采样亮度样点与因果色度样点的因果重建数据进行线性最小二乘求解，以导出模型参数α和β。
其中，RecC(i)和Rec’L(i)指示目标块周围的经重建色度样点和下采样亮度样点，I指示相邻数据的总样点数。
在ECM-1.0中，提出了多模型LM(MMLM)预测模式，其中色度样点是通过使用如下两个线性模型基于同一CU的经重建亮度样点来预测的：
其中，predC(i,j)表示CU中的预测色度样点，并且recL′(i,j)表示同一CU的下采样重建亮度样点。Threshold(门限)被计算为相邻重建亮度样点的平均值。图5示出基于值Threshold将相邻样点分类到两个组中的示例。对于每组，参数αi和βi(其中i分别等于1和2)从来自两个样点的亮度值与色度值之间的直线关系导出，这两个样点是组内的最小亮度样点A(XA，YA)和最大亮度样点B(XB，YB)。这里XA、YA是针对样点A的x坐标值(即，亮度值)和y坐标值(即，色度值)，并且XB、YB是针对样点B的x坐标值和y坐标值。线性模型参数α和β是根据以下等式获得的。
β＝yA-αxA (11)
这样的方法也被称为最小-最大方法。可以避开上述等式中的除法，而用乘法和移位来代替。
对于具有正方形形状的编码块，直接应用上述两个等式。对于非正方形的编码块，首先对较长边界的相邻样点进行子采样，以具有与较短边界相同的样点数量。
除了上方模板和左侧模板一起被用于计算线性模型系数的场景之外，两个模板还可以在其它两种MMLM模式(被称为MMLM_A模式和MMLM_L模式)中交替使用。
在MMLM_A模式中，仅上方模板中的像素样点被用于计算线性模型系数。为了获得更多样点，将上方模板扩展至(W+W)的尺寸。在MMLM_L模式中，仅左侧模板中的像素样点被用于计算线性模型系数。为了获得更多样点，将左侧模板扩展至(H+H)的尺寸。
注意的是，当上部参考线位于CTU边界处时，仅一个亮度行(其被存储在行缓冲器中用于帧内预测)被用于产生下采样亮度样点。
对于色度帧内模式编解码而言，对色度帧内模式编解码允许总共11个帧内模式。那些模式包括五种传统帧内模式和六种跨分量线性模型模式(CCLM、LM_A、LM_L、MMLM、MMLM_A和MMLM_L)。色度模式信令和导出过程如表中所示。色度模式编解码直接取决于对应的亮度块的帧内预测模式。由于在I切片中启用了针对亮度分量和色度分量的单独块分割结构，因此一个色度块可以对应于多个亮度块。因此，对于色度DM模式，直接继承对应的亮度块的帧内预测模式覆盖当前色度块的中心位置。
表3当MMLM启用时从亮度模式导出色度预测模式
MMLM和LM模式也可以以自适应方式一起使用。对于MMLM，两个线性模型如下：
其中，predC(i,j)表示CU中的预测色度样点，并且recL′(i,j)表示同一CU的下采样重建亮度样点。门限(Threshold)可以基于亮度和色度平均值以及亮度和色度的最小值和最大值一起来简单地确定。图6示出了基于由箭头指示的拐点T将相邻样点分类到两个组中的示例。线性模型参数α1和β1从来自两个样点的亮度值与色度值之间的直线关系导出，这两个样点是最小亮度样点A(XA，YA)和门限(XT，YT)。线性模型参数α2和β2从来自两个样点的亮度值与色度值之间的直线关系导出，这两个样点是最大亮度样点B(XB，YB)和门限(XT，YT)。这里XA、YA是针对样点A的x坐标值(即，亮度值)和y坐标值(即，色度值)，并且XB、YB是针对样点B的x坐标值和y坐标值。每组的线性模型参数αi和βi(分别等于1和2)是根据以下等式获得的。
β1＝YA-α1XA
β2＝YT-α2XT (13)
对于具有正方形形状的编码块，直接应用上述等式。对于非正方形的编码块，首先对较长边界的相邻样点进行子采样，以具有与较短边界相同的样点数量。
除了上方模板和左侧模板一起被用于确定线性模型系数的场景之外，这两个模板还可以在其它两种MMLM模式(分别被称为MMLM_A模式和MMLM_L模式)中交替使用。
在MMLM_A模式中，仅上方模板中的像素样点被用于计算线性模型系数。为了获得更多样点，将上方模板扩展至(W+W)的尺寸。在MMLM_L模式中，仅左侧模板中的像素样点被用于计算线性模型系数。为了获得更多样点，将左侧模板扩展至(H+H)的尺寸。
注意的是，当上部参考线位于CTU边界处时，仅一个亮度行(其被存储在行缓冲器中用于帧内预测)被用于产生下采样亮度样点。
对于色度帧内模式编解码，有被用来选择LM模式(CCLM、LM_A和LM_L)或多模型LM模式(MMLM、MMLM_A和MMLM_L)的一个条件检查。该条件检查如下：
其中，BlkSIzeThresLM表示LM模式的最小块尺寸，并且BlkSizeThresMMpredC(i,j)表示MMLM模式的最小块尺寸。符号d表示预先确定的门限值。在一个示例中，d可以取值为0。在另一示例中，d可以取值为8。
对于色度帧内模式编解码，对色度帧内模式编解码允许总共8个帧内模式。那些模式包括五种传统帧内模式和三种跨分量线性模型模式。色度模式信令和导出过程如表1中所示。值得注意的是，对于给定CU，如果该给点CU是在线性模型模式下编码的，那么基于上述条件检查来确定该线性模型模式是传统的单模型LM模式还是MMLM模式。与表3中所示的情况不同，没有将发信号通知的单独MMLM模式。色度模式编解码直接取决于对应的亮度块的帧内预测模式。由于在I切片中启用了针对亮度分量和色度分量的单独块分割结构，因此一个色度块可以对应于多个亮度块。因此，对于色度DM模式，直接继承对应的亮度块的帧内预测模式覆盖当前色度块的中心位置。
在现有的CCLM或MMLM设计中，相邻重建亮度-色度样点对基于值Threshold(门限)被分类到一个或多个样点组中，该值Threshold仅考虑亮度DC值。也就是说，亮度-色度样点对通过仅考虑亮度样点的强度来分类。然而，亮度分量通常保留丰富的纹理，并且当前亮度样点可以与相邻亮度样点高度相关，这样的样点间相关性(AC相关性)可以有利于亮度-色度样点对的分类，并且可以带来额外的编解码效率。
本公开内容的重点是通过引入考虑亮度边缘或AC信息的分类器来提高亮度分量和色度分量的编解码效率。除了现有的带分类的MMLM之外，本公开内容还提供了示例提出的分类器。针对不同样点组生成线性预测模型的过程可能类似于CCLM或MMLM(例如，经由最小二乘法或简化的最小-最大方法等)，但具有不同的分类度量。
在本公开内容的一个方面中，第一分类器可以被用于对(例如，相邻亮度-色度样点对的)相邻亮度样点和/或对应于将被预测的色度样点的亮度样点进行分类。对应于色度样点的亮度样点可以通过下采样操作获得，以匹配4:2:0视频序列的对应的色度样点的位置。例如，对应于色度样点的亮度样点可以通过对对应于色度样点的多于一个(例如，4个)经重建亮度样点(例如，位于色度样点周围)执行下采样操作来获得。替代地，例如，在4:4:4视频序列的情况下，可以直接从经重建亮度样点中获得亮度样点。替代地，亮度样点可以从位于对应的色度样点的相应的同位位置处的经重建亮度样点中的相应的经重建亮度样点中获得。例如，将被分类的亮度样点可以从对应于色度样点的四个经重建亮度样点中的一个经重建亮度样点获得，该经重建亮度样点位于四个经重建亮度样点的左上方位置处，其可以被视为色度样点的同位位置。第一分类器可以根据亮度样点的边缘强度对亮度样点进行分类。例如，可以选择一个方向(例如，0度、45度或90度等)来计算边缘强度。方向可以由当前样点和沿该方向的相邻样点(例如，位于当前样点的右上方45度的相邻样点)形成。可以通过从当前样点中减去相邻样点来计算边缘强度。边缘强度可以通过M-1个门限被量化成M个段中的一个段，并且第一分类器可以使用M个类别对当前样点进行分类。替代地或另外地，N个方向可以由当前样点和沿N个方向的N个相邻样点形成。可以通过分别从当前样点中减去N个相邻样点来计算N个边缘强度。类似地，如果N个边缘强度中的每个边缘强度可以通过M-1个门限被量化成M个段中的一个段，则第一分类器可以使用MN个类别对当前样点进行分类。
在本公开内容的另一方面中，第二分类器可以被用于根据局部模式进行分类。例如，当前亮度样点Y0可以与其相邻的N个亮度样点Yi进行比较。如果Y0的值大于Yi的值，则可以将分数加1，否则，可以将分数减1。分数可以被量化以形成K个类别。第二分类器可以将当前样点分类到K个类别中的一个类别中。例如，相邻亮度样点可以从位于当前亮度样点上方、左侧、右侧和下方的四个邻居(即，没有对角线邻居)获得。
在本公开内容的一个或多个方面中，可以组合多个第一分类器、第二分类器或本文描述的第一分类器或第二分类器或其它分类器的不同实例。例如，第一分类器可以与现有的基于MMLM门限的分类器组合。对于另一示例，第一分类器的实例A可以与第一分类器的另一实例B组合，其中实例A和实例B采用不同的方向(例如，分别采用垂直方向和水平方向)。
本领域技术人员将认识到的是，尽管VVC标准中的现有CCLM设计被用作描述中的基础CCLM方法，但是本公开内容中描述的提出的跨分量方法也可以被应用于采用相似设计精神的其它预测编解码工具。例如，对于AV1标准中来自亮度的色度(CfL)，也可以通过将亮度/色度样点对划分成多个样点组来应用所提出的方法。
本领域技术人员将认识到的是，Y/Cb/Cr在视频编解码领域中也可以被表示为Y/U/V。例如，如果视频数据是具有RGB格式的，则也可以通过简单地将YUV符号映射到GBR来应用所提出的方法。
图7示出根据本公开内容的一个或多个方面的用于对视频数据进行解码的方法700的工作流。方法700可以使用本文描述的分类器中的任何一个分类器或其任何组合，并且可以由(例如，图3的)视频解码器使用。在步骤710处，可以从比特流中获得视频数据的视频块(例如，CU)。例如，可以接收视频数据的亮度样点的经编码块。可以对亮度样点的经编码块进行解码以获得经重建亮度样点。在步骤720处，可以基于亮度样点的边缘信息将亮度样点分类到多个样点组中的一个样点组中。亮度样点可以对应于视频块的将被预测的色度样点，并且可以从经重建亮度样点中的一个或多个经重建亮度样点中获得。例如，可以对经重建亮度样点执行或不执行下采样操作，以获得亮度样点。例如，可以通过使用本文描述的分类器中的一个分类器或其任何组合来执行分类。在步骤730处，可以通过将对应于所分类的样点组的多个线性预测模型中的一个线性预测模型应用于亮度样点来预测色度样点。
在实施例中，将亮度样点分类到多个样点组中的一个样点组中可以进一步基于亮度样点的强度值(例如，结合现有的基于MMLM门限的分类器)。
在实施例中，多个样点组中的每个样点组可以对应于多个线性预测模型中的不同线性预测模型。
在实施例中，边缘信息可以包括亮度样点的边缘的方向和强度。
在实施例中，将亮度样点分类到多个样点组中的一个样点组中可以包括基于沿亮度样点的一个方向的边缘的强度或沿亮度样点的不同方向的边缘的多个强度将亮度样点分类到多个样点组中的一个样点组中。
在实施例中，方法700可以包括基于相邻亮度样点的边缘信息将视频块周围的相邻亮度样点分类到多个样点组中。多个线性预测模型中的每个线性预测模型可以例如通过最小二乘法或简化的最小-最大方法等从被分类到对应于该线性预测模型的样点组中的相邻亮度样点和对应于被分类到样点组中的相邻亮度样点的相邻色度样点导出(例如，相邻的亮度-色度样点对，其中的亮度样点被分类到对应于该线性预测模型的样点组中)。
图8示出根据本公开内容的一个或多个方面的用于对视频数据进行编码的方法800的工作流。方法800可以使用本文描述的分类器中的任何一个分类器或其任何组合，并且可以由(例如，图1的)视频编码器使用。在步骤810处，可以从视频帧中获得视频数据的视频块。例如，可以对视频数据的亮度样点的块进行编码以获得亮度样点的经编码块。可以对亮度样点的经编码块进行解码以获得经重建亮度样点。在步骤820处，可以基于对应于色度样点的亮度样点的边缘信息将亮度样点分类到多个样点组中的一个样点组中，其中，亮度样点是从经重建亮度样点中的一个或多个经重建亮度样点中获得的。在步骤830处，可以通过将对应于分类样点组的多个线性预测模型中的一个线性预测模型应用于亮度样点来预测色度样点。
图9示出根据本公开内容的一个或多个方面的示例性计算系统900。计算系统900可以包括至少一个处理器910。计算系统900还可以包括至少一个存储设备920。存储设备920可以存储计算机可执行指令，当计算机可执行指令被执行时，使处理器910执行上文参考图7和图8描述的方法700和800的步骤。处理器910可以是通用处理器，或者还可以被实现为计算设备的组合，例如，DSP与微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合、或者任何其它这样的配置。存储设备920可以存储输入数据、输出数据、由处理器910生成的数据和/或由处理器910执行的指令。
应当认识到的是，存储设备920可以存储计算机可执行指令，当计算机可执行指令被执行时，使处理器910执行根据如结合图1-8描述的本公开内容的实施例的任何操作。
本公开内容的实施例可以被体现在计算机可读介质(诸如非暂时性计算机可读介质)中。非暂时性计算机可读介质可以包括指令，当指令被执行时，使一个或多个处理器执行根据如结合图1-8描述的本公开内容的实施例的任何操作。例如，指令当被执行时，可以使一个或多个处理器接收比特流并且执行如上文描述的解码操作。对于另一示例，指令当被执行时，可以使一个或多个处理器执行如上文描述的编码操作以及发送包括与预测色度样点相关联的经编码视频信息的比特流。
应当认识到的是，上述方法中的所有操作仅仅是示例性的，并且本公开内容不限于方法中的任何操作或这些操作的序列顺序，并且应当涵盖相同或类似概念下的所有其它等同物。
还应当认识到的是，上述方法中的所有模块都可以以各种方法实现。这些模块可以被实现为硬件、软件或其组合。此外，这些模块中的任何模块都可以在功能上被进一步划分成子模块或被组合在一起。
提供先前描述，以使本领域的任何技术人员均能实施本文描述的各个方面。对于本领域技术人员而言，对这些方面的各种修改将是显而易见的，并且本文定义的一般原理可以被应用于其它方面。因此，权利要求并非旨在被限定于本文所示的各方面。本领域的普通技术人员已知的或稍后将会知道的、贯穿本公开内容描述的各个方面的元素的所有结构和功能等效物通过引用的方式被明确地并入本文，并且旨在被权利要求所涵盖。

Claims (18)

1.一种用于对视频数据进行解码的方法，包括：
从比特流中获得所述视频数据的视频块；
基于对应于所述视频块的色度样点的亮度样点的边缘信息将所述亮度样点分类到多个样点组中的一个样点组中，其中，所述亮度样点是从所述视频块的亮度样点中的一个或多个亮度样点中获得的；以及
通过将对应于所分类的样点组的多个线性预测模型中的一个线性预测模型应用于所述亮度样点来预测所述色度样点。
2.根据权利要求1所述的方法，其中，所述将所述亮度样点分类到所述多个样点组中的所述一个样点组中是进一步基于所述亮度样点的强度值的。
3.根据权利要求1所述的方法，其中，所述多个样点组中的每个样点组对应于所述多个线性预测模型中的不同线性预测模型。
4.根据权利要求1所述的方法，其中，所述边缘信息包括所述亮度样点的边缘的方向和强度。
5.根据权利要求4所述的方法，其中，所述将所述亮度样点分类到所述多个样点组中的所述一个样点组中包括：
基于沿所述亮度样点的一个方向的边缘的强度将所述亮度样点分类到所述多个样点组中的所述一个样点组中。
6.根据权利要求3所述的方法，还包括：
基于所述相邻亮度样点的边缘信息将所述视频块周围的相邻亮度样点分类到所述多个样点组中；并且
其中，所述多个线性预测模型中的每个线性预测模型是从被分类到对应于该线性预测模型的样点组中的相邻亮度样点和对应于被分类到所述样点组中的所述相邻亮度样点的相邻色度样点导出的。
7.根据权利要求1所述的方法，其中，所述亮度样点是通过以下项中的任一项获得的：
对所述视频块的所述亮度样点中的对应于所述色度样点的多于一个的亮度样点进行下采样；或
取回所述视频块的所述亮度样点中的在与所述色度样点同位的位置处的一个亮度样点。
8.一种用于对视频数据进行编码的方法，包括：
从视频帧中获得所述视频数据的视频块；
基于对应于所述视频块的色度样点的亮度样点的边缘信息将所述亮度样点分类到多个样点组中的一个样点组中，其中，所述亮度样点是从所述视频块的亮度样点中的一个或多个亮度样点中获得的；以及
通过将对应于所分类的样点组的多个线性预测模型中的一个线性预测模型应用于所述亮度样点来预测所述色度样点。
9.根据权利要求8所述的方法，其中，所述将所述亮度样点分类到所述多个样点组中的所述一个样点组中是进一步基于所述亮度样点的强度值的。
10.根据权利要求8所述的方法，其中，所述多个样点组中的每个样点组对应于所述多个线性预测模型中的不同线性预测模型。
11.根据权利要求8所述的方法，其中，所述边缘信息包括所述亮度样点的边缘的方向和强度。
12.根据权利要求11所述的方法，其中，所述将所述亮度样点分类到所述多个样点组中的所述一个样点组中包括：
基于沿所述亮度样点的一个方向的边缘的强度将所述亮度样点分类到所述多个样点组中的所述一个样点组中。
13.根据权利要求10所述的方法，还包括：
基于所述相邻亮度样点的边缘信息将所述视频块周围的相邻亮度样点分类到所述多个样点组中；并且
其中，所述多个线性预测模型中的每个线性预测模型是从被分类到对应于该线性预测模型的样点组中的相邻亮度样点和对应于被分类到所述样点组中的所述相邻亮度样点的相邻色度样点导出的。
14.根据权利要求8所述的方法，其中，所述亮度样点是通过以下项中的任一项获得的：
对所述视频块的所述亮度样点中的对应于所述色度样点的多于一个的亮度样点进行下采样；或
取回所述视频块的所述亮度样点中的在与所述色度样点同位的位置处的一个亮度样点。
15.一种计算机系统，包括：
一个或多个处理器；以及
一个或多个存储设备，其存储计算机可执行指令，所述计算机可执行指令在被执行时，使所述一个或多个处理器执行根据权利要求1-14中任一项所述的方法的操作。
16.一种计算机程序产品，其存储计算机可执行指令，所述计算机可执行指令在被执行时，使一个或多个处理器执行根据权利要求1-14中任一项所述的方法的操作。
17.一种计算机可读介质，其存储计算机可执行指令，所述计算机可执行指令在被执行时，使一个或多个处理器接收比特流并且基于所述比特流执行根据权利要求1-7中任一项所述的方法的操作。
18.一种计算机可读介质，其存储计算机可执行指令，所述计算机可执行指令在被执行时，使一个或多个处理器执行根据权利要求8-14中任一项所述的方法的操作并且发送包括与所预测的色度样点相关联的经编码视频信息的比特流。
CN202280079091.5A 2021-12-09 2022-12-05 用于视频编解码的跨分量预测的方法和装置 Pending CN118318437A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163287898P 2021-12-09 2021-12-09
US63/287,898 2021-12-09
PCT/US2022/051829 WO2023107378A1 (en) 2021-12-09 2022-12-05 Method and apparatus for cross-component prediction for video coding

Publications (1)

Publication Number Publication Date
CN118318437A true CN118318437A (zh) 2024-07-09

Family

ID=86731067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280079091.5A Pending CN118318437A (zh) 2021-12-09 2022-12-05 用于视频编解码的跨分量预测的方法和装置

Country Status (2)

Country Link
CN (1) CN118318437A (zh)
WO (1) WO2023107378A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3284259A1 (en) * 2015-04-17 2018-02-21 VID SCALE, Inc. Chroma enhancement filtering for high dynamic range video coding
MX2020001290A (es) * 2017-08-03 2020-03-12 Sharp Kk Sistemas y metodos para particionar bloques de video en un corte de interprediccion de datos de video.
GB2567249A (en) * 2017-10-09 2019-04-10 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
US11190790B2 (en) * 2018-04-01 2021-11-30 Lg Electronics Inc. Parallel processing method for color component of video signal, and device therefor
CN116320454A (zh) * 2019-01-03 2023-06-23 华为技术有限公司 色度块的预测方法和装置

Also Published As

Publication number Publication date
WO2023107378A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
TWI737201B (zh) 用於發信合併工具的方法及裝置
US11032555B2 (en) Effective prediction using partition coding
US11265540B2 (en) Apparatus and method for applying artificial neural network to image encoding or decoding
JP5289440B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP6157614B2 (ja) エンコーダ、デコーダ、方法、及びプログラム
CN110999297A (zh) 在图像或视频编码系统中处理图像的方法和装置
WO2020035064A1 (en) Shared candidate list
CN112042187A (zh) 隐式变换设置
KR20200020859A (ko) 비디오 인코딩 및 디코딩에서 가장 가능성있는 모드(mpm) 정렬 및 시그널링을 위한 방법 및 장치
EP2846544A1 (en) Method and apparatus for encoding multi-view images, and method and apparatus for decoding multi-view images
US11936890B2 (en) Video coding using intra sub-partition coding mode
CN115176475A (zh) 多参考线色度预测
US10999604B2 (en) Adaptive implicit transform setting
CN110913215B (zh) 一种预测模式的选择方法及装置、可读存储介质
TWI821103B (zh) 在視訊編解碼系統中使用邊界匹配進行重疊塊運動補償的方法和裝置
CN117837145A (zh) 使用模板匹配细化候选选择
CN118318437A (zh) 用于视频编解码的跨分量预测的方法和装置
WO2023133312A1 (en) Method and apparatus for cross-component prediction for video coding
US12034921B2 (en) Apparatus and method for applying artificial neural network to image encoding or decoding
KR102140271B1 (ko) 문턱값 기반 부호화 단위 분할을 이용한 고속 인트라 부호화 방법 및 장치
WO2024088340A1 (en) Method and apparatus of inheriting multiple cross-component models in video coding system
TWI737141B (zh) 視訊編碼中用於畫面內分區之轉換類型分配方法和裝置
WO2024074129A1 (en) Method and apparatus of inheriting temporal neighbouring model parameters in video coding system
WO2024074131A1 (en) Method and apparatus of inheriting cross-component model parameters in video coding system
WO2023154410A1 (en) Method and apparatus for cross-component prediction for video coding

Legal Events

Date Code Title Description
PB01 Publication