CN117478895A - 数据处理方法、装置、设备 - Google Patents

数据处理方法、装置、设备 Download PDF

Info

Publication number
CN117478895A
CN117478895A CN202210849250.7A CN202210849250A CN117478895A CN 117478895 A CN117478895 A CN 117478895A CN 202210849250 A CN202210849250 A CN 202210849250A CN 117478895 A CN117478895 A CN 117478895A
Authority
CN
China
Prior art keywords
pixel
pixels
classification
reconstruction
color component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210849250.7A
Other languages
English (en)
Inventor
张瀚
张洪彬
匡伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210849250.7A priority Critical patent/CN117478895A/zh
Priority to PCT/CN2023/091040 priority patent/WO2024016775A1/zh
Publication of CN117478895A publication Critical patent/CN117478895A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例提供了一种数据处理方法、装置、设备,该方法包括:确定视频数据中的待编码块所对应的分类模式信息;分类模式信息包括待编码块中的颜色分量像素对应的扩展同位亮度重建像素和目标分类模式;扩展同位亮度重建像素属于以颜色分量像素的真实同位亮度重建像素为中心的目标区域;根据扩展同位亮度重建像素和目标分类模式,确定颜色分量像素对应的边界类别;基于边界类别对颜色分量像素的重建像素进行补偿,得到补偿后的重建像素,通过补偿后的重建像素对待编码块进行编码处理。采用本申请实施例,可以提高颜色分量像素所对应的边界补偿的类别准确性,进而可以提升视频数据的整体编码性能。

Description

数据处理方法、装置、设备
技术领域
本申请涉及视频编码技术,尤其涉及一种数据处理方法、装置、设备。
背景技术
在观看视频数据时通常需要对视频数据进行压缩,压缩后的数据可以称之为视频码流,视频码流通过有线或者无线网络传输至用户端,再进行解码观看。整个视频编码流程可以包括块划分、预测、变换、量化、编码等过程。在视频编码阶段中,当整帧图像重建出来之后,可以对重建图像中的像素值进行滤波、补偿,以对重建图像中的像素值进行调整,以进一步提高图像质量。然而,目前视频编码的补偿方法中,由于分类时所使用的同位亮度分量的位置是固定不变的,者会造成最终的类别准确性过低,进而影响视频数据的整体编码性能。
发明内容
本申请实施例提供一种数据处理方法、装置、设备,可以提高颜色分量像素所对应的边界补偿的类别准确性,进而可以提升视频数据的整体编码性能。
本申请实施例一方面提供了一种数据处理方法,包括:
确定视频数据中的待编码块所对应的分类模式信息;分类模式信息包括待编码块中的颜色分量像素对应的扩展同位亮度重建像素和目标分类模式;扩展同位亮度重建像素属于以颜色分量像素的真实同位亮度重建像素为中心的目标区域;
根据扩展同位亮度重建像素和目标分类模式,确定颜色分量像素对应的边界类别;
基于边界类别对颜色分量像素的重建像素进行补偿,得到补偿后的重建像素,通过补偿后的重建像素对待编码块进行编码处理。
本申请实施例一方面提供了一种数据处理方法,包括:
对视频数据中的待解码块进行解码处理,得到待解码块对应的分类模式信息;分类模式信息包括颜色分量像素对应的扩展同位亮度重建像素和目标分类模式;扩展同位亮度重建像素属于以颜色分量像素的真实同位亮度重建像素为中心的目标区域;
根据扩展同位亮度重建像素和目标分类模式,确定颜色分量像素对应的边界类别;
根据边界类别对应的补偿值,重建待解码块中的颜色分量像素。
本申请实施例一方面提供了一种数据处理装置,包括:
分类模式信息确定模块,用于确定视频数据中的待编码块所对应的分类模式信息;分类模式信息包括待编码块中的颜色分量像素对应的扩展同位亮度重建像素和目标分类模式;扩展同位亮度重建像素属于以颜色分量像素的真实同位亮度重建像素为中心的目标区域;
第一类别确定模块,用于根据扩展同位亮度重建像素和目标分类模式,确定颜色分量像素对应的边界类别;
编码处理模块,用于基于边界类别对颜色分量像素的重建像素进行补偿,得到补偿后的重建像素,通过补偿后的重建像素对待编码块进行编码处理。
本申请实施例一方面提供了一种数据处理装置,包括:
解码处理模块,用于对视频数据中的待解码块进行解码处理,得到待解码块对应的分类模式信息;分类模式信息包括颜色分量像素对应的扩展同位亮度重建像素和目标分类模式;扩展同位亮度重建像素属于以颜色分量像素的真实同位亮度重建像素为中心的目标区域;
第二类别确定模块,用于根据扩展同位亮度重建像素和目标分类模式,确定颜色分量像素对应的边界类别;
像素重建模块,用于根据边界类别对应的补偿值,重建待解码块中的颜色分量像素。
本申请实施例一方面提供了一种计算机设备,包括存储器和处理器,存储器与处理器相连,存储器用于存储计算机程序,处理器用于调用计算机程序,以使得该计算机设备执行本申请实施例中上述一方面提供的方法。
本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序适于由处理器加载并执行,以使得具有处理器的计算机设备执行本申请实施例中上述一方面提供的方法。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述一方面提供的方法。
本申请实施例中,在对视频数据进行编码处理时,可以确定视频数据中的待编码块所对应的分类模式信息;该分类模式信息包括待编码块中的颜色分量像素对应的扩展同位亮度重建像素和目标分类模式;扩展同位亮度重建像素属于以颜色分量像素的真实同位亮度重建像素为中心的目标区域。进而可以根据扩展同位亮度重建像素和目标分类模式,确定颜色分量像素对应的边界类别;基于边界类别对颜色分量像素的重建像素进行补偿,得到补偿后的重建像素,通过补偿后的重建像素对待编码块进行编码处理。可见,在视频数据的编码阶段中,可以引入扩展同位亮度重建像素进行边界分类,可以提高颜色分量像素所对应的边界补偿的类别准确性,进而可以提升视频数据的整体编码性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种编码框架的结构示意图;
图2是本申请实施例提供的一种环路滤波流程示意图;
图3是本申请实施例提供的一种跨分量样点自适应补偿的基本流程示意图;
图4是本申请实施例提供的一种跨分量样点自适应补偿中的带类型分类样本的位置示意图;
图5是本申请实施例提供的一种跨分量样点自适应补偿中的边界类型的分类模式示意图;
图6是本申请实施例提供的一种跨分量自适应环路滤波的框架示意图;
图7是本申请实施例提供的一种跨分量自适应环路滤波滤波器的形状示意图;
图8是本申请实施例提供的一种数据处理系统的结构示意图;
图9是本申请实施例提供的一种数据处理方法的流程示意图;
图10是本申请实施例提供的一种扩展同位亮度重建像素的选择区域的示意图;
图11是本申请实施例提供的一种扩展分类模式的示意图;
图12是本申请实施例提供的一种扩展同位亮度重建像素模式覆盖范围的示意图;
图13是本申请实施例提供的一种扩展同位亮度重建像素的位置及其对应分类模式的示意图;
图14是本申请实施例提供的一种使用覆盖范围填充扩展同位亮度重建像素的不可用区域的示意图;
图15是本申请实施例提供的另一种数据处理方法的流程示意图;
图16是本申请实施例提供的一种数据处理装置的结构示意图;
图17是本申请实施例提供的另一种数据处理装置的结构示意图;
图18是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了更清楚地理解本申请实施例提供的技术方案,在此先对本申请实施例涉及的基础概念进行介绍:
视频编码。视频编码是指对视频数据的图像帧中的像素进行编码,得到编码比特流(也可以称为视频码流)的过程,也可以是指通过特定的压缩技术将某个视频格式的文件转换成另一种视频格式文件的过程。本申请实施例是在目前视频编码技术中的增强的压缩模型(Enhanced Compression Model,ECM)的基础上所提出的技术方案,ECM是对通用视频编码(Versatile Video Coding,VVC)的环路滤波部分进行了改进,也就是除了继续使用VVC中已有的环路滤波器之外,还额外引入了多种环路滤波器。下面对ECM的编码框架以及ECM的环路滤波过程进行描述。
请参见图1,图1是本申请实施例提供的一种编码框架的结构示意图。图1所示的编码框架为基于块的混合编码框架,视频数据中的整张图像帧(例如,图像帧10a)可以划分为多个块(例如,可以为编码树块(Coding Tree Block,CTB),或者可以为编码树单元(CodingTree Unit,CTU)),并以块为单位进行预测(Prediction)、变换(Transform)、量化(Quantization)、环路滤波(Loop filter)、熵编码(Entropy Coding)等编码过程,每个块都有各自对应的编码参数。预测可以是指不直接对当前信号(即需要进行编码的对象,如待编码的图像帧、块、像素等)进行编码,而是利用前面的一个或多个信号对下一个信号进行预测,然后对实际值与预测值之间的差值进行编码,以达到编码的目的。
其中,预测可以包括帧内预测(Intra prediction)和帧间预测(Interprediction)。帧内预测是指由已完成编码的相邻像素预测当前待编码块中的像素值,以达到有效去除视频数据中的空间冗余的目的。
帧间预测是利用视频数据的时域相关性,使用邻近的已编码图像帧的像素预测当前待编码图像帧的像素,以达到去除视频数据中的时域冗余的目的;其中,帧间预测过程主要涉及运动估计(Motion estimation)和运动补偿(Motioncompensation),运动估计是指在参考图像帧(已编码图像帧)中找到当前待编码块的最佳匹配参考块,使用运动向量(Motion Vector)表示最佳匹配参考块与当前待编码块(待编码图像帧中的任一个需要进行编码的块,即还未完成编码的块)之间的位置关系;运动补偿是指对最佳匹配参考块与当前待编码块之间的差值进行编码传输。
变换是指对视频数据中的待编码图像帧进行正交变换以去除空间像素之间的相关性,正交变换使得原先分布在每个像素上的能量集中到频域的少数几个低频系数上,这代表了图像的大部分信息。频率系数的这种特性有利于采用基于人的HVS(人眼视觉特性)特性进行量化的方法。其中,变换方式可以包括但不限于:K-L变换(Karhunen-LoeveTransform)、离散余弦变换(Discrete Cosine Transform,DCT)、离散小波变换(DiscreteWavelet Transformation,DWT)。
量化是指降低视频数据表示精度的过程,通过量化可以减少需要编码的数据量,量化是一种有损压缩技术。量化可以包括矢量量化和标量量化,矢量量化是对一组数据联合量化,标量量化独立量化每一个输入数据。
环路滤波可以去除或减小以块为单位的编码过程中所产生的各种类型的编码失真,如块与块之间边界的不连续造成的块效应、振铃效应、图像内容纹理或者边界的过度平滑等。具体的,由于对待编码图像帧进行变换后的量化过程是一个有损过程,会造成视频数据的信息损失,在经过反量化(InvQuantization)和反变换(InvTransform)后恢复的块(可以称为重建块)与原始块之间存在一定的误差,可能会造成最终恢复的图像帧(重建图像帧)呈现方块化,而方块化的图像帧对于后续的图像帧预测存在极大的影响,因此可以使用环路滤波进行去方块化。
解码图像缓冲器(Decoded Picture Buffer)用于存储编码阶段中所有的重建图像帧。
熵编码是指利用信源的信息熵进行码率压缩的方式,能够去除经预测和变换后仍然存在的统计冗余信息;熵编码可以提高视频压缩比,且该熵编码属于无损压缩,因此通过熵编码压缩后的视频数据可以在解码端无失真的重建出原始视频数据。常用的熵编码方法可以包括但不限于:变长编码和基于上下文的二值化算术编码(Content Adaptive BinaryArithmetic Coding,CABAC)。其中:
变长编码可以采用不同长度的码字表示需要编码的差值(即通过环路滤波后的重建像素值与待编码块中的原始像素值之间的差值,原始像素值为待编码块中的任一个像素值)或系数。需要根据符号出现的概率设计码长,如出现概率大的残差或系数分配短码字,出现概率小的分配长码字。常用的包括指数哥伦布编码(exp-Golomb)和算术编码。
CABAC可以包括以下几个步骤:
①二值化:CABAC使用二进制算数编码,这意味着仅仅有两个数字(1或0)被编码。一个非二进制的数值符号,比如一个转换系数或者运动矢量,在算术编码之前会首先被二值化或者转化成二进制码字。这个过程类似于将一个数值转化成可变长码字,但是这个二进制码字在传输之前会通过算术编码器进行进一步的编码。
②上下文模型选择:上下文模型就是一个概率模型,这个模型是根据最近的被编码的数据符号的统计数字而选择的一个模型。这个模型保存了每个“bin”是1或者0的概率。
③算术编码:算术编码器根据选择的概率模型对每一个“bin”进行编码。
④概率更新:被选中的上下文模型会根据实际的编码值而去更新。例如,如果“bin”的值是1,那么1的频率计数会增加。
为了更清楚地理解前述图1所示的编码框架中的环路滤波过程,下面通过图2对环路滤波过程进行详细描述。
请参见图2,图2是本申请实施例提供的一种环路滤波流程示意图。如图2所示,该环路滤波过程可以包括亮度映射色度缩放(luma mapping with chroma scaling,LMCS)、去块效应滤波(Deblocking Filter,DBF)、双边带滤波(Bilateral filter,BIF)、色度分量双边带滤波(Bilateral filter on chroma,BIF-Chroma)、样点自适应补偿(SampleAdaptive Offset,SAO)、跨分量样点自适应补偿(Cross-Component Sample AdaptiveOffset,CCSAO)、自适应环路滤波(Adaptive Loop Filtering,ALF)、跨分量自适应环路滤波(Cross-Component Adaptive Loop Filtering,CC-ALF)等多个模块。其中,双边带滤波、色度分量双边带滤波、样点自适应补偿、跨分量样点自适应补偿是并行操作的,其产生的补偿值(修正值)可以同时加入到经过去块效应滤波的重建像素上。其中:
(1)亮度映射色度缩放(LMCS):LMCS并不针对特定类型的编码失真,其通过使用更好的样本取值区间达到提升编码效率的目的。
(2)去块效应滤波(DBF):DBF用来减少由编码过程引起的失真,具体用于减轻由于基于块的操作引起的块与块之间边界的不连续。
(3)双边带滤波(BIF):BIF是一种非线性的滤波方法,是结合图像帧的空间邻近度和像素值相似度的一种折中处理,同时考虑需要被滤波的重建像素的空域信息和灰度相似性,以达到保留块与块之间的边界并去噪的目的。其中,本申请实施例中的重建像素是指在编码阶段对待编码块中的像素进行重建所生成的结果,该重建像素可以包括亮度重建像素(例如,Y分量像素)和色度重建像素(例如,U分量像素、V分量像素),此处的Y、U、V是指YUV颜色空间中的三个颜色分量;当然,本申请实施例除了采用YUV颜色空间之外,还可以采用其余颜色空间,如YCbCr颜色空间(Y是指亮度分量,Cb是指蓝色色度分量,Cr是指红色色度分量),本申请实施例对实际使用的颜色空间不做限定。
(4)色度分量双边带滤波(BIF-Chroma):BIF-Chroma与前述BIF的主要区别在于,BIF是对重建像素的全部三个颜色分量均进行双边带滤波处理,而BIF-Chroma是仅对色度重建像素(即重建像素在色度分量上的重建值)进行双边带滤波处理。
(5)样点自适应补偿(SAO):SAO是通过为每一个像素样本自适应的补偿一个偏移值以减轻由于量化操作导致的与待编码块中的原始像素的差异。具体的,可以通过将输入的重建像素分为不同的类别,为每个类别生成对应的补偿值(offset),并将补偿值加到属于对应类别的重建像素上,从而达到减少重建像素与原始像素差异的目的。其中,在SAO分类时,只使用当前待处理的颜色分量的重建值进行分类,如输入重建像素在色度分量上的重建值(色度重建像素)时,SAO仅对输入的色度重建像素进行分类。
(6)跨分量样点自适应补偿(CCSAO):CCSAO与SAO类似,同样可以通过将输入的重建像素分为不同的类别,为每个类别生成对应的补偿值,并将补偿值加到属于对应类别的重建像素上从而达到减少重建像素与原始像素差异的目的。需要说明的是,CCSAO对任一待处理颜色分量都可以使用重建像素的全部三个颜色分量的重建值进行分类,如CCSAO输入色度重建像素时可以使用同一个像素的全部色度重建像素和亮度重建像素来进行分类。
其中,请参见图3,图3是本申请实施例提供的一种跨分量样点自适应补偿的基本流程示意图。如图3所示,经过去块效应滤波(DBF)的重建像素可以包括三个颜色分量上的像素值,此处以YUV颜色空间中的三个颜色分量为例,该三个颜色分量可以包括亮度重建像素(Y分量像素)和色度重建像素(U分量像素、V分量像素)。
其中,经过DBF的Y分量像素输入SAO后,可以对经过DBF的Y分量像素进行样点自适应补偿,得到Y分量像素对应的补偿值1;与此同时,经过DBF的Y分量像素还可以输入至CCSAO,对经过DBF的Y分量像素进行跨分量样点自适应补偿,得到Y分量像素对应的补偿值2;进而可以将SAO输出的补偿值1和CCSAO输出的补偿值2都添加到经过DBF的Y分量像素上,得到补偿后的Y分量像素。
需要说明的是,为方便理解,本申请实施例仅以SAO和CCSAO为例进行描述,实际应用中补偿后的Y分量像素还可以添加BIF和BIF-Chroma的补偿值,即经过去块效应滤波的Y分量像素可以依次输入BIF和BIF-Chroma,并输出各自对应的补偿值。同理,经过DBF的U分量像素和V分量像素都可以执行与前述Y分量像素相同的操作,得到补偿后的U分量像素,以及补偿后的V分量像素,此处不再进行赘述。
可以理解的是,CCSAO可以包括带补偿(BO)与边界补偿(EO)两种补偿类型。其中:
①CCSAO中的BO类型:
对于BO类型,CCSAO可以直接根据重建像素的像素值进行分类。具体的,对于任一亮度/色度重建像素,都可以同时使用对应的三个颜色分量的重建像素{同位Y像素,同位U像素,同位V像素}进行分类,此处的同位Y像素,同位U像素,同位V像素可以理解为输入重建像素所在位置在三个颜色分量上的重建像素。上述三个用于分类的重建像素首先被划分到各自的带类别{bandY,bandU,bandV}中,然后根据三个颜色分量的带类别生成一个联合的类别指标作为当前输入的重建像素的BO类别。
对于每一个BO类别,都可以生成一个补偿值,然后将该补偿值相加到前述输入的重建像素上,该CCSAO BO的处理过程可以如下述公式(1)所示:
其中,{Ycol,Ucol,Vcol}分别表示用来分类的三个颜色分量的同位重建像素,Ycol表示亮度分量上的同位重建像素,UcolVcol表示色度分量上的同位重建像素;{NY,NU,NV}表示三个颜色分量进行带划分时的带类别总数,BD表示像素值比特深度,i表示三个颜色分量联合生成的类别索引,也是指当前输入的重建像素的BO类别;Crec和Crec分别表示CCSAO前后的重建像素;σCCSAO[i]表示带类别i对应的补偿值。
对于用来进行分类的三个颜色分量的同位重建像素,同位色度重建像素(Ucol,Vcol)为真实的同位色度重建像素(也可以称为同位色度分量);同位亮度重建像素(Ycol)则可以从如图4所示的以真实的同位亮度重建像素为中心的3*3的区域中选择。
图4是本申请实施例提供的一种跨分量样点自适应补偿中的带类型分类样本的位置示意图。如图4所示的区域20d表示位置4的真实同位亮度重建像素(即真实的同位Y像素),区域20a表示以真实同位亮度重建像素为中心的尺寸为3*3的目标区域,区域20b和区域20c均表示位置4的同位色度重建像素,其中,区域20b表示同位U像素,区域20c表示同位V像素。
对于CCSAO BO类型,其对应参数即同位亮度重建像素的位置、三个颜色分量所对应的带类别总数以及每个BO类别的补偿值都需要通过率失真优化(Rate-DistortionOptimization,RDO)过程决策并传送至解码端。其中,对于图4所示的区域20a中任一可能的同位亮度重建像素位置,都可以进行率失真优化,得到每个可能的同位亮度重建像素位置的率失真损失,将率失真损失最小的同位亮度重建像素位置作为最终传输至解码端的同位亮度重建像素的位置。
②CCSAO中的EO类型:
与样点自适应补偿(SAO)类似,CCSAO同样可以使用基于边界的分类方法。目前的CCSAO可以支持4种不同的边界补偿(EO)分类模式,请参见图5,图5是本申请实施例提供的一种跨分量样点自适应补偿中的边界类型的分类模式示意图。如图5所示,CCSAO中4种不同的边界补偿(EO)分类模式分别如区域30a所示的水平分类模式、区域30b所示的竖直分类模式、区域30c所示的对角分类模式以及区域30d所示的反对角分类模式;对于每一种EO分类模式,任意一个输入的亮度重建像素或色度重建像素,首先都需要计算其对应的同位亮度重建像素(如图5所示的位置c)与相邻像素(如图5所示的位置a和位置b)之间的差值,通过比较该差值与一个预定义好的阈值(Th)得到当前待处理的重建像素的EO类别。可以理解的是,各个分类模式都分别规定了同位亮度重建像素与两个相邻像素(a和b)之间的位置关系,这两个相邻像素是用于计算与同位亮度重建像素之间的差值的。
其中,与SAO不同的是,CCSAO EO分类时对于输入的不同颜色分量的重建值,仅使用对应的真实同位亮度重建像素进行分类;该CCSAO EO的处理过程可以如下述公式(2)所示:
其中,“?:”为一种条件语句,如(表达式1)?(表达式2):(表达式3)表示若表达式1为真,则整个条件表达式的值为表达式2的值,若表达式1为假,则整个条件表达式的值为表达式3的值。Ea表示图5所示的位置a(相邻像素)与位置c(同位亮度重建像素)之间的差值(为便于理解,此处的差值可以称为第一差值),Eb表示图5所示的位置b与位置c之间的差值(为便于理解,此处的差值可以称为第二差值);iB表示表示EO类型中使用的带类别,classidx是指当前输入的重建像素的EO类别,即CCSAO的EO类别是由基于边界的类别与带类别联合生成的,σCCSAO[classidx]表示边界类型classidx对应的补偿值。其中,iB的计算过程可以如下述公式(3)所示:
其中,“cur”表示当前输入的待处理的颜色分量重建像素,“col1”、“col2”分别表示在其它两个颜色分量上的同位重建像素。如果当前输入的待处理的颜色分量重建像素为亮度重建像素,则“col1”、“col2”分别为在U分量和V分量上的同位重建像素的重建值。如果当前输入的待处理的颜色分量重建像素为U分量上的同位重建像素,则“col1”、“col2”分别为在Y分量和V分量上的同位重建像素的重建值。
对于CCSAO EO类型,编码端需要通过率失真优化(RDO)从图5所示的4种分类模式中选择最优分类模式。从预定义的一系列候选阈值中选择最佳阈值Th并将对应的索引传送至解码端。编码端同样需要通过RDO从“cur”、“col1”、“col2”中选择用来产生带类别的重建像素的重建值,并传送至解码端。换言之,对于图5所示的4种分类模式,都可以对其进行率失真优化,得到每种分类模式分别对应的率失真损失,将率失真损失最小的分类模式作为最终传输至解码端的最优分类模式;对于公式(3)中的“cur”、“col1”、“col2”,同样可以分别进行率失真优化,将率失真损失最小的颜色分量作为用来产生带类别的重建像素的重建值并传输至解码端。
对于需要编码的视频数据,不同的视频内容可以使用不同的CCSAO分类器,并且一幅图像中不同的位置也可以使用不同的分类器。每一个分类器的类型及参数都需要在slice(条带)级显式地传送至解码端。在编码树单元(CTU)级,需要指示当前CTU是否使用CCSAO,如果使用CCSAO,需要进一步指示对应的分类器的选择,其中,CCSAO中每帧最多支持4组不同的分类器。需要说明的是,若针对某一个编码树单元,未使用CCSAO的率失真损失小于使用CCSAO的率失真损失,则可以确定对该编码树单元不使用CCSAO;若未使用CCSAO的率失真损失大于使用CCSAO的率失真损失,则可以确定对该编码树单元使用CCSAO,并进一步执行分类器的选择。
(7)自适应环路滤波(ALF):ALF是一种维纳滤波器,根据不同视频分量的内容自适应的决定滤波器系数,从而减少重建颜色分量和原始颜色分量之间的均方误差(MeanSquare Error,MSE);维纳滤波器作为一种自适应滤波器,可以为不同特性的视频内容产生不同的滤波系数,因此ALF需要首先将视频内容进行分类,并为各个类别的视频内容使用对应的滤波器。ALF的输入是经过DBF和BIF、BIF-Chroma、SAO以及CCSAO滤波的重建像素值,输出的是经过增强的重建亮度图像和重建色度图像;亮度重建像素的ALF可以支持25种不同类别的滤波器,每个色度重建像素的ALF最多可以支持8种不同类别的滤波器。
其中,对于亮度重建像素,ALF会在子块级(例如,该子块级可以为4*4的亮度块)自适应地使用不同的滤波器,即需要将每个4*4的像素块划分为25类中的一类。亮度像素块的分类索引C是由该像素块的方向性特征D(Directionality)和量化的活动性特征(Activity)共同得到的;其中,分类索引C可以如下述公式(4)所示:
其中,为计算方向性特征D和量化的活动性特征首先可以计算4*4的像素块内的每个像素的水平、竖直、对角和反对角的梯度值,具体如下述公式(5)至公式(8)所示:
Hk,l=|2R(k,l)-R(k-1,l)-R(k+1,l)| (5)
Vk,l=|2R(k,l)-R(k,l-1)-R(k,l+1)| (6)
D0k,l=|2R(k,l)-R(k-1,l-1)-R(k+1,l+1)| (7)
D1k,l=|2R(k,l)-R(k-1,l+1)-R9k+1,l-1)| (8)
其中,公式(5)中的Hk,l表示(k,l)位置的水平像素梯度值,公式(6)中的Vk,l表示(k,l)位置的竖直像素梯度值,公式(7)中的D0k,l表示(k,l)位置的对角像素梯度值,公式(8)中的D2k,l表示(k,l)位置的反对角像素梯度值;R(k,l)表示(k,l)位置经过ALF滤波之前的重建像素值。
基于公式(5)至公式(8)所示的像素梯度值,每个4*4的像素块的整体水平、竖直、对角和反对角的梯度计算如下述公式(9)和公式(10)所示:
其中,i和j表示4*4像素块中左上角像素的坐标,gh表示4*4像素块对应的整体水平像素梯度值,gv表示4*4像素块对应的整体竖直像素梯度值,gd0表示4*4像素块对应的整体对角像素梯度值,gd1表示4*4像素块对应的整体反对角像素梯度值。
进一步地,在得到像素块的像素梯度值之后,各个像素块的水平像素梯度值与竖直像素梯度值中的最大值可以记为最小值可以记为各个像素块的对角像素梯度值与反对角像素梯度值中的最大值可以记为/>最小值可以记为/>
方向性特征D可以通过上述水平像素梯度值与竖直像素梯度值中的最大值最小值/>以及对角像素梯度值与反对角像素梯度值中的最大值/>最小值/>推导得到,其推导步骤可以如下:
步骤1:如果与/>同时成立,那么方向性特征D设置为0;其中,t1可以表示为预先设置的参数。
步骤2:如果则转到步骤3,否则转到步骤4。
步骤3:如果则方向性特征D设置为2,否则方向性特征D设置为1。
步骤4:如果则方向性特征D设置为4,否则方向性特征D设置为3。
其中,t1和t2为基于实际需求预先设置的参数,本申请对此不做限定。
量化的活动性特征在量化之前可以记为活动性特征A,活动性特征A是由如下公式(11)计算得到的:
其中,活动性特征A可以被量化到[0-4]的区间,以得到量化的活动性特征
需要说明的是,在对每个4*4的亮度块(包括由前述像素块中的每个像素的亮度重建像素所组成的块)进行滤波之前,可以根据当前亮度块的像素梯度值按照表1的规则对滤波器系数和对应的限幅值进行几何变换,该几何变换可以包括但不限于:不变(Notransformation)、对角变换(Diagonal)、竖直翻转(Vertical flip)以及旋转变换(Rotation),该表1可以如下表示:
表1
梯度值 几何变换
gd1<gd0并且gh<gv 不变
gd1<gd0并且gv≤gh 对角变换
gd0≤gd1并且gh<gv 竖直翻转
gd0≤gd1并且gv≤gh 旋转变换
其中,对滤波器系数进行几何变换等效于在系数不变的情况下对像素值进行几何变换再进行滤波。几何变换的目的是为了尽可能的对齐不同像素块内容的方向性,从而减少ALF所需的分类数目,使不同的像素共享相同的滤波器系数。引入几何变换可以在不增加ALF滤波器数目的情况下,将真实的分类从25类提高到100类,提升了其自适应性。
(8)跨分量自适应环路滤波(CC-ALF):CC-ALF与前述ALF类似,同样是一种维纳滤波器,其作用也是类似的,此处不再进行赘述。CC-ALF只作用于色度重建像素,CC-ALF输入是经过DBF和BIF、BIF-Chroma、SAO以及CCSAO滤波之后,ALF之前的亮度重建像素,输出的是对应色度重建像素的修正值;CC-ALF同样首先需要将视频内容进行分类,并为各个类别的视频内容使用对应的滤波器,每个色度重建像素的CC-ALF可以最多支持4种不同类别的滤波器。CC-ALF可以利用亮度重建像素和色度重建像素之间的相关性,通过对亮度重建像素的线性滤波得到色度重建像素的修正值,该修正值与经过ALF的色度重建像素相加,作为最终重建的色度像素。
CC-ALF通过对亮度重建像素进行线性滤波,为每个色度重建像素生成对应的修正值,该CC-ALF的实现流程以及该CC-ALF与ALF的关系可以参见图6,图6是本申请实施例提供的一种跨分量自适应环路滤波的框架示意图,本申请实施例以YCbCr颜色空间为例进行描述。如图6所示,经过BIF、BIF-Chroma、SAO、CCSAO产生的补偿值,并将各自产生的补偿值同时加入到经过去块效应滤波的重建像素上,由此可以得到补偿后的亮度分量像素(如Y分量像素RY)、补偿后的蓝色色度分量像素Cb以及补偿后的红色色度分量像素Cr。
补偿后的亮度分量像素RY可以输入亮度分量上的ALF,通过ALF输出最终的亮度分量像素Y;补偿后的亮度分量像素RY输入蓝色色度分量上的CC-ALF,通过CC-ALF处理输出蓝色色度分量Cb上的重建像素,并计算CC-ALF输出的蓝色色度分量像素值与经过去块效应滤波的蓝色色度分量像素值之间的差值ΔRCb;补偿后的亮度分量像素RY输入红色色度分量上的CC-ALF,通过CC-ALF处理输出红色色度分量Cr上的重建像素,并计算CC-ALF输出的红色色度分量像素值与经过去块效应滤波的红色色度分量像素值之间的差值ΔRCr
补偿后的蓝色色度分量像素和补偿后的红色色度分量像素可以输入色度分量上的ALF,通过ALF可以输出蓝色色度分量上的重建像素,并与ΔRCb相加得到最终的蓝色色度分量像素Cb;通过ALF可以输出红色色度分量上的重建像素,并与ΔRCr相加得到最终的红色色度分量像素Cr。
其中,CC-ALF的滤波过程可以如下述公式(12)所示:
其中,RY为经过BIF、BIF-Chroma、SAO、CCSAO处理后,并将其对应的补偿值同时加入到经过去块效应滤波的重建像素而得到的重建样本,(x,y)为色度分量像素f(此处的色度分量像素可以为重建后的色度分量像素,可以称为色度重建像素)的样本位置,(xC,yC)是由色度分量像素f得到的亮度分量像素(此处的亮度分量像素也可以称为亮度重建像素),Sf是CC-ALF滤波器在亮度分量上支持的滤波区域,cf(x0,y0)是色度分量像素f对应的滤波器系数。(x0,y0)是亮度分量像素对应的偏移位置。其中,亮度分量像素f对应的位置是由色度分量像素的坐标根据视频数据对应的亮度和色度的缩放关系经过变换得到的。ΔRf(x,y)表示色度分量像素f经过CC-ALF处理后在(x,y)位置上的修正值。
请参见图7,图7是本申请实施例提供的一种跨分量自适应环路滤波滤波器的形状示意图。CC-ALF可以支持如图7所示的3*4菱形滤波器,如图7所示的黑色圆可以表示为CC-ALF滤波器支持的亮度分量像素,白色虚线圆可以表示为色度分量像素f的样本位置(x,y)。
需要说明的是,与ALF相比,CC-ALF的滤波器系数取消了对称性的限制,使其可以灵活的适应多种亮度分量和色度分量的相对关系。此外,为了减少需要传输的滤波器系数,在当前编码框架的设计中,CC-ALF对其滤波器系数有如下两个限制:
①CC-ALF的全部系数的和限制为0;因此,对于3*4的菱形滤波器,只需要计算并传输7个滤波器系数,中心位置的滤波器系数可以根据该条件在解码端自动推断得出。②每个需要传输的滤波器系数的绝对值必须为2的次方,且最多能用6比特表示;因此,CC-ALF的滤波器系数的绝对值取值为{0,2,4,8,16,32,64},该设计可以使用移位操作来代替乘法运算,减少乘法运算的次数。其中,与亮度ALF支持子块级分类与自适应选择不同,CC-ALF仅支持CTU级分类与自适应选择。对每个色度分量像素,一个CTU内的全部色度分量像素属于同一类别,该CTU可以使用相同的滤波器。
一个自适应参数集(Adaptation Parameter Set,APS),可以包含最多25组亮度ALF滤波器系数与对应的限幅值索引,每个色度分量像素最多支持8组色度ALF滤波器系数与对应的限幅值索引,每个色度分量像素最多支持4组CC-ALF滤波器系数。为了节省码率,对于亮度ALF滤波器,不同类别的滤波器系数可以进行合并(Merge),多个类别共用一组滤波器系数。编码端会通过率失真优化(RDO)决定哪些类别的系数可以合并。在条带头(SliceHeader)中会标记当前条带使用的APS的索引。CC-ALF支持CTU级别的自适应,对于有多个滤波器的情况,在CTU级别会为每个色度分量像素自适应的选择是否使用CC-ALF以及所使用的滤波器的索引。
请参见图8,图8是本申请实施例提供的一种数据处理系统的结构示意图。如图8所示,该数据处理系统可以包括编码设备40a(编码端)和解码设备40b(解码端),编码设备40a可以是终端设备,也可以是服务器,解码设备40b可以是终端设备,也可以是服务器,编码设备40a与解码设备40b之间可以通过有线通信的方式建立直接地连接,或者可以通过无线通信的方式建立间接地通信连接。
其中,终端设备可以包括但不限于:智能手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备(例如智能手表、智能手环等)、智能语音交互设备、智能家电(例如智能电视等)、车载设备、VR设备(如VR头盔、VR眼镜等)等。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
(1)对于编码设备40a:
编码设备40a可以获取视频数据,该视频数据可以通过场景捕获的方式来获取得到。场景捕获视频数据是指通过编码设备40a关联的捕获设备采集真实世界的视觉场景以得到视频数据;其中,捕获设备可以用于为编码设备40a提供视频数据的获取服务,捕获设备可以包括但不限于以下任一种:摄像设备、传感设备、扫描设备。
其中,摄像设备可以包括普通摄像头、立体摄像头、以及光场摄像头等,传感设备可以包括激光设备、雷达设备等,扫描设备可以包括三维激光扫描设备等;编码设备40a关联的捕获设备可以是指设置于编码设备40a中的硬件组件,例如捕获设备是终端设备的摄像头、传感器等,编码设备40a关联的捕获设备也可以是指与编码设备40a相连接的硬件装置,例如与服务器相连接的摄像头等。
编码设备40a可以对视频数据中的图像帧进行编码处理,得到视频数据对应的编码比特流。其中,本申请实施例主要是针对环路滤波中的CCSAO的EO类型,在CCSAO EO分类时,编码设备40a可以输入待处理的重建像素的扩展同位亮度重建像素(也可以称为广义同位亮度重建像素,即以真实的同位亮度重建像素为中心的目标区域范围中的某一个亮度重建像素)来进行CCSAO EO分类,与此同时,还可以使用除水平、竖直、对角、反对角四种分类模式之外其余可用分类模式进行CCSAO EO分类,并计算每个EO类别的补偿值,通过对待编码块中的原始像素与添加了补偿值后的重建像素之间的差值进行编码以得到编码比特流。进一步地,编码设备40a可以将得到的编码比特流传输至解码设备40b。
(2)对于解码设备40b:
解码设备40b接收到编码设备40a传输的压缩码流(编码比特流)后,可以对编码比特流进行解码处理,重建视频数据中的图像帧像素。特别地,解码设备40b可以通过解析编码比特流中与分类模式相关的语法元素确定当前所用的分类模式,然后根据编码设备40a和解码设备40b一致设置的模式定义确定进行CCSAO EO分类的扩展同位亮度重建像素位置以及目标分类模式(即实际使用的分类模式);或者解码设备40b可以通过解析编码比特流中的扩展同位亮度重建像素位置相关语法元素确定扩展同位亮度重建像素位置,进而可以通过解析编码比特流中的分类模式相关语法元素确定所选的目标分类模式。进一步地,解码设备40b可以通过扩展同位亮度重建像素位置和真实分类模式,重建视频数据中的图像帧像素。
本申请实施例中,编码设备可以输入颜色分量像素的扩展同位亮度重建像素进行CCSAO EO分类,与此同时,还可以使用扩展分类模式(包括除前述水平、竖直、对角、反对角四种分类模式之外其余可用分类模式)进行CCSAO EO分类,可以提高像素的CCSAO EO的类别准确性,进而可以提高视频数据的编码性能;解码设备可以为视频数据中的图像帧像素解析得到扩展同位亮度重建像素位置和真实分类模式,可以提升视频数据的解码性能。可以理解的是,本申请实施例描述的数据处理系统是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例的技术方案的限定,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
请参见图9,图9是本申请实施例提供的一种数据处理方法的流程示意图。可以理解地,该数据处理方法可以由计算机设备执行,该计算机设备可以为图8所示的编码设备40a,因此该数据处理方法对应于编码方法。其中,如图9所示,该数据处理方法可以包括以下步骤S101至步骤S103:
步骤S101,确定视频数据中的待编码块所对应的分类模式信息;分类模式信息包括待编码块中的颜色分量像素对应的扩展同位亮度重建像素和目标分类模式;扩展同位亮度重建像素属于以颜色分量像素的真实同位亮度重建像素为中心的目标区域。
具体的,当计算机设备对视频数据进行编码处理时,可以对该视频数据进行分帧处理,得到该视频数据对应的视频序列;该视频序列可以由视频数据中的图像帧构成,且视频序列中的图像帧是按照各个图像帧在视频数据中的时间先后顺序排列的。对于视频数据中的待编码图像帧,可以将该待编码图像帧划分为多个块(可以为编码数块,或者为编码树单元),该待编码图像帧中当前待处理的块可以称为待编码块。
可以理解的是,视频编码过程是以块为单位进行的,因此在对待编码块进行编码时,该待编码块可以执行变换、量化、预测、环路滤波、熵编码等编码操作,其具体的实现流程可以参见前述图1至图7所示的描述。本申请实施例提出的技术方案主要是针对环路滤波中的CCSAO EO分类处理过程,不同于现有的视频编码框架中,仅使用固定的真实同位亮度重建像素,以及前述图5所示的4种分类模式(也可以称为基础分类模式)进行CCSAO EO分类,本申请实施例提出了使用扩展同位亮度重建像素(可以从以真实同位亮度重建像素为中心的目标区域中选择,也可以称为广义同位亮度重建像素)进行CCSAO EO分类,或者使用扩展分类模式(除图5所示的4种分类模式之外的其余可用分类模式)进行CCSAO EO分类,或者同时使用扩展同位亮度重建像素以及扩展分类模式进行CCSAO EO分类,下面将以待编码块中的任一个颜色分量像素为例,对CCSAO EO分类处理过程进行详细描述。
本申请实施例中,对于待编码块中的每一个原始的颜色分量像素,可以执行前述图2所示的环路滤波流程,也就是说,输入CCSAO的颜色分量像素实质上是待编码块中的原始颜色分量像素经过去块效应滤波的重建像素;对于输入CCSAO的颜色分量像素,计算机设备可以获取该颜色分量像素对应的真实同位亮度重建像素,将真实同位亮度重建像素作为区域中心,确定具有目标尺寸的目标区域,从目标区域内确定颜色分量像素对应的扩展同位亮度重建像素,即扩展同位亮度重建像素可以为目标区域中的任意一个亮度重建像素;可以获取颜色分量像素对应的候选分类模式集合,在候选分类模式集合中确定颜色分量像素对应的目标分类模式,将扩展同位亮度重建像素和目标分类模式添加至待编码块对应的分类模式信息。
其中,目标尺寸可以用于表示目标区域的覆盖范围,如目标区域可以为3*3,该目标区域可以认为是扩展同位亮度重建像素的选择区域;颜色分量像素对应的扩展同位亮度重建像素是从目标区域中选择的最优亮度重建像素。请参见图10,图10是本申请实施例提供的一种扩展同位亮度重建像素的选择区域的示意图。如图10所示的位置c0可以表示为颜色分量像素对应的真实同位亮度重建像素,该位置c0为目标区域的中心;该目标区域可以包括位置0至位置7,以及真实同位亮度重建像素本身所在位置c0,颜色分量像素对应的扩展同位亮度重建像素可以是从位置0至位置7中选择的最优亮度重建像素,或者是从位置0至位置7以及位置c0中选择的最优亮度重建像素。
其中,目标分类模式可以是从候选分类模式集合中选择的最优分类模式;该候选分类模式集合可以是指扩展同位亮度重建像素在目标区域中的每一个可能的位置,计算与周边相邻像素之间的差值所用的所有可能的分类模式的集合;当使用扩展同位亮度重建像素进行CCSAO EO分类时,该候选分类模式集合中的不同分类模式的覆盖区域可以不做限定,如不同分类模式的覆盖区域的尺寸可以为5*5。那么在此情形下,当扩展同位亮度重建像素为目标区域中的任一个亮度重建像素时,候选分类模式集合可以包括基础分类模式和扩展分类模式,或者候选分类模式可以包括扩展分类模式。
具体的,若扩展同位亮度重建像素为目标区域中除真实同位亮度重建像素之外的其余任一亮度重建像素,如图10所示的位置1至位置7中的任一位置的亮度重建像素,则此时的候选分类模式可以仅包括基础分类模式,或者仅包括扩展分类模式,或者同时包括基础分类模式和扩展分类模式;若扩展同位亮度重建像素为目标区域中的真实同位亮度重建像素,如图10所示的位置c0,则此时的候选分类模式可以仅包括扩展分类模式。其中,基础分类模式可以包括水平分类模式,竖直分类模式,对角分类模式以及反对角分类模式,如前述图5所示的分类模式;扩展分类模式是指除基础分类模式之外的可用分类模式,如图11所示的扩展分类模式。
请参见图11,图11是本申请实施例提供的一种扩展分类模式的示意图。本申请提出的扩展分类模式可以如图11所示的扩展分类模式50a至扩展分类模式50r所示的16种分类模式,颜色分量像素对应的目标分类模式可以为该图11所示的任一种扩展分类模式,即可以从图11所示的所有扩展分类模式中选择该颜色分量像素对应的目标分类模式。
需要说明的是,使用扩展分类模式进行CCSAO EO分类时可以仅对色度分量像素使用,或者对全部颜色分量像素(色度分量像素和亮度分量像素)使用,或者仅对亮度分量像素使用,本申请对此不做限定。
待编码块中的颜色分量像素可以为亮度分量像素,或者可以为色量分量像素,如在使用扩展同位亮度重建像素进行CCSAO EO分类时可以仅对色度分量像素使用,或者可以对全部颜色分量像素(色度分量像素和亮度分量像素)使用,或者也可以仅对亮度分量像素使用,本申请对此不做限定。
可以理解地,不管当前输入的待处理的颜色分量像素是亮度分量像素,还是色度分量像素,都是通过计算其对应的同位亮度重建像素来进行CCSAO EO分类的,而在计算颜色分量像素对应的同位亮度重建像素,尤其是计算色度分量像素对应的同位亮度重建像素时,实际计算得到的同位亮度重建像素的位置与颜色分量像素的实际位置可能会存在一定的偏差,因此通过使用扩展同位亮度重建像素进行CCSAO EO分类,可以提高颜色分量像素的CCSAO EO分类准确性。其中,在实际的应用场景中,基于码率方面的考虑,也可以选择仅对色度分量像素使用扩展同位亮度重建像素进行CCSAO EO分类,这都是本申请实施例提出的技术方案所支持的。
在一个或多个实施例中,当使用扩展同位亮度重建像素进行CCSAO EO分类时,若不同分类模式的覆盖区域不能超过当前现有的CCSAO EO分类时不同分类模式所覆盖的范围,即不同分类模式的覆盖区域不能超过以真实同位亮度重建像素为中心的目标区域,那么不同分类模式的覆盖区域可以参见图12,图12是本申请实施例提供的一种扩展同位亮度重建像素模式覆盖范围的示意图。如图12所示的位置c0表示颜色分量像素对应的真实同位亮度重建像素,区域60a表示扩展同位亮度重建像素的不可用区域,区域60b为各个分类模式规定的覆盖区域;也就是说,候选分类模式集合中的各个分类模式中所规定的扩展同位亮度重建像素的两个相邻元素的位置都需要在区域60b中,而不能超出区域60b的范围,即超出区域60b范围的区域即为不可用区域。
可选地,当各个分类模式规定的覆盖区域为目标区域时,可以将目标区域中除顶点位置之外的亮度重建像素,确定为颜色分量像素对应的候选亮度像素集合,此处的候选亮度像素集合可以包括目标区域的十字形区域中的亮度重建像素,如图10所示的位置1、位置3、位置4、位置6以及位置c0。按照候选亮度像素集合中的每一个亮度重建像素,分别对颜色分量像素执行率失真优化处理,得到候选亮度像素集合中每一个亮度重建像素分别对应的第一率失真损失;将最小的第一率失真损失所对应的亮度重建像素(最优亮度重建像素),确定为颜色分量像素对应的扩展同位亮度重建像素。
此外,在各个分类模式所规定的覆盖区域为目标区域的前提下,可以根据扩展同位亮度重建像素的位置限制可用分类模式,如可以根据扩展同位亮度重建像素在目标区域中的位置,确定颜色分量像素对应的候选分类模式集合,此时候选分类模式集合中的分类模式的覆盖范围小于或等于目标区域;当扩展同位亮度重建像素为如图10所示的位置1、位置3、位置4、位置6中的任一个时,扩展同位亮度重建像素的每一个可能的位置所对应的候选分类模式集合可以包括水平分类模式或竖直分类模式;当扩展同位亮度重建像素为如图10所示的位置c0(即真实同位亮度重建像素)时,候选分类模式集合可以包括水平分类模式、竖直分类模式、对角分类模式、反对角分类模式,即图5所示的4种分类模式。按照候选分类模式集合中的每一个分类模式,分别对颜色分量像素执行率失真优化处理,得到候选分类模式集合中的每一个分类模式分别对应的第二率失真损失;将最小的第二率失真损失所对应的分类模式(最优分类模式),确定为颜色分量像素对应的目标分类模式。
其中,请参见图13,图13是本申请实施例提供的一种扩展同位亮度重建像素的位置及其对应分类模式的示意图。如图13所示,当扩展同位亮度重建像素为图10所示的位置1时,其对应的分类模式如图13所示的水平分类模式70a;当扩展同位亮度重建像素为图10所示的位置3时,其对应的分类模式如图13所示的竖直分类模式70b;当扩展同位亮度重建像素为图10所示的位置4时,其对应的分类模式如图13所示的竖直分类模式70c;当扩展同位亮度重建像素为图10所示的位置6时,其对应的分类模式如图13所示的水平分类模式70d。
可选地,在各个分类模式所规定的覆盖区域为目标区域的前提下,若扩展同位亮度重建像素为目标区域中的任一个亮度重建像素,且候选分类模式集合中不同分类模式的覆盖范围大于目标区域,则可以将目标区域中的边界像素填充至目标区域的相邻区域,得到模式覆盖范围;该模式覆盖范围用于从候选分类模式集合中确定目标分类模式。换言之,当不同分类模式的覆盖区域超过现有CCSAO EO分类的不同分类模式所覆盖的范围,即各个分类模式的覆盖区域超过目标区域时,可以使用现有CCSAO EO分类的不同分类模式所覆盖范围填充扩展同位亮度重建像素的不可用区域,也就是说可以复制目标区域中的边界像素填充扩展同位亮度重建像素的不可用区域。
请参见图14,图14是本申请实施例提供的一种使用覆盖范围填充扩展同位亮度重建像素的不可用区域的示意图。如图14所示的区域61b表示现有CCSAOEO分类的不同分类模式所覆盖的范围,或者可以是指扩展同位亮度重建像素的可用区域(例如,目标区域),区域61a表示扩展同位亮度重建像素的不可用区域。当候选分类模式集合中的分类模式的覆盖范围大于区域61b(目标区域)时,可以将区域61b中的各个边界像素分别填充至区域61a中与对应边界像素相邻的区域中;例如,可以将区域61b中的边界像素P0填充至区域61a中与边界像素P0相邻的区域中,将区域61b中的边界像素P1填充至区域61a中与边界像素P1相邻的区域中。
需要说明的是,颜色分量像素对应的候选亮度像素集合可以包括目标区域中的全部或部分亮度重建像素,如可以根据实际应用场景中的限制条件,从目标区域中选择任意位置的亮度重建像素作为颜色分量像素对应的候选亮度像素集合,本申请对此不做限定。
步骤S102,根据扩展同位亮度重建像素和目标分类模式,确定颜色分量像素对应的边界类别。
具体的,在确定了颜色分量像素对应的扩展同位亮度重建像素和目标分类模式之后,为便于理解,扩展同位亮度重建像素可以记为c,真实同位亮度重建像素可以记为c0。由于边界类别可以由基于边界的类别与带类别联合生成,所以此处的扩展同位亮度重建像素可以仅使用于计算颜色分量像素的边界类别,或者可以仅使用于计算颜色分量像素的带类别,或者可以使用于计算颜色分量像素的带类别和边界类别。
下面以颜色分量像素为亮度分量像素为例,当扩展同位亮度重建像素使用于计算颜色分量像素的带类别(可以记为iB)和边界类别(可以记为classidx)时,计算机设备可以根据目标分类模式确定扩展同位亮度重建像素c对应的第一相邻像素(可以记为a)和第二相邻像素(可以记为b);获取第一相邻像素与扩展同位亮度重建像素c之间的第一差值(可以记为Ea),以及获取第二相邻像素与扩展同位亮度重建像素之间的第二差值(可以记为Eb);获取与真实同位亮度重建像素相对应的第一同位色度像素和第二同位色度像素,即颜色分量像素在两个色度分量上的重建像素;基于扩展同位亮度重建像素、第一同位色度像素以及第二同位色度像素,确定亮度分量像素所属的带类别iB;根据带类别iB,第三差值以及第四差值,确定颜色分量像素对应的边界类别classidx
其中,颜色分量像素所属的带类别iB的获取过程可以包括:可以获取扩展同位亮度重建像素(此时的扩展同位亮度重建像素相当于公式(3)所示的cur)与亮度分量上的带类别总数(可以记为Ncur)的第一乘积,获取第一同位色度像素(可以记为col1)与第一色度分量上的带类别总数(可以记为Ncol1)的第二乘积,以及获取第二同位色度像素(可以记为col2)与第二色度分量上的带类别总数(可以记为Ncol2)的第三乘积;基于像素值比特深度(可以记为BD)分别与第一乘积、第二乘积以及第三乘积之间的数值关系,确定亮度分量像素所属的带类别iB。例如,在YUV颜色空间中,亮度分量为Y,第一色度分量可以为U,第二色度分量可以为V,本申请对使用的颜色空间不做限定。换言之,在计算颜色分量像素所属的带类别时,使用的是亮度分量像素对应的扩展同位亮度重建像素、真实的同位色度分量像素;在计算颜色分量像素所属的边界类别时,使用的是亮度分量像素对应的扩展同位亮度重建像素。
下面以颜色分量像素为亮度分量像素为例,当扩展同位亮度重建像素仅使用于计算颜色分量像素的边界类别classidx时,计算机设备可以根据目标分类模式确定扩展同位亮度重建像素对应的第一相邻像素和第二相邻像素;获取第一相邻像素与扩展同位亮度重建像素之间的第一差值,以及获取第二相邻像素与扩展同位亮度重建像素之间的第二差值;获取与真实同位亮度重建像素相对应的第一同位色度像素和第二同位色度像素;基于真实同位亮度重建像素、第一同位色度像素以及第二同位色度像素,确定亮度分量像素所属的带类别;根据带类别,第一差值以及第二差值,确定颜色分量像素对应的边界类别。换言之,在计算颜色分量像素所属的带类别时,使用的是亮度分量像素对应的真实同位亮度重建像素(即经过去块效应滤波的亮度重建像素本身)、真实的同位色度分量像素;在计算颜色分量像素所属的边界类别时,使用的是亮度分量像素对应的扩展同位亮度重建像素。
下面以颜色分量像素为亮度分量像素为例,当扩展同位亮度重建像素仅使用于计算颜色分量像素的带类别iB时,计算机设备可以根据目标分类模式确定真实同位亮度重建像素对应的第三相邻像素a和第四相邻像素b;获取第三相邻像素与真实同位亮度重建像素之间的第三差值Ea,以及获取第四相邻像素与真实同位亮度重建像素之间的第四差值Eb;获取与真实同位亮度重建像素相对应的第一同位色度像素和第二同位色度像素;基于扩展同位亮度重建像素、第一同位色度像素以及第二同位色度像素,确定亮度分量像素所属的带类别;根据带类别,第三差值以及第四差值,确定颜色分量像素对应的边界类别。换言之,在计算颜色分量像素所属的带类别时,使用的是亮度分量像素对应的扩展同位亮度重建像素、真实的同位色度分量像素;在计算颜色分量像素所属的边界类别时,使用的是真实同位亮度重建像素。
可选地,颜色分量像素还可以为色度分量像素(例如,U分量像素、V分量像素),在确定颜色分量的边界类别时,同样可以执行与前述亮度分量像素相同的操作。例如,在YUV颜色空间中,颜色分量像素为U分量像素,此时的U分量像素对应的真实的同位U分量重建像素(可以记为cur),同位亮度分量像素(可以记为col1)可以为真实同位亮度重建像素,也可以为扩展同位亮度重建像素,同位V分量重建像素为真实的同位U分量重建像素。需要说明的是,边界类别classidx的实现流程可以如前述公式(2)所示,带类别iB的获取过程可以如前述公式(3)所示,在此不再进行赘述。
步骤S103,基于边界类别对颜色分量像素的重建像素进行补偿,得到补偿后的重建像素,通过补偿后的重建像素对待编码块进行编码处理。
具体的,计算机设备可以计算边界类别classidx对应的补偿值,即经过CCSAO输出的边界类别classidx所对应的补偿值,如公式(2)所示的σCCSAO[classidx],该补偿值可以增加至颜色分量像素的重建像素,得到补偿后的重建像素。换言之,基于边界类别classidx对应的补偿值,对颜色分量像素的重建像素进行补偿,以得到该颜色分量像素对应的补偿后的重建像素。其中,颜色分量像素的重建像素可以是指经过去块效应滤波所输出的像素;补偿后的重建像素可以是指在CCSAO中使用待处理的颜色分量像素对应的扩展同位亮度重建像素,经过CCSAO EO后输出的重建像素,如前述公式(2)中的C′rec,此处不再对补偿后的重建像素的实现流程进行描述。
进一步地,在使用扩展同位亮度重建像素进行CCSAO EO分类时,颜色分量像素对应的扩展同位亮度重建像素的位置,以及计算第一差值和第二差值的目标分类模式均需要进行编码处理并传送至解码端(如图8所对应实施例中的解码设备40b)。
在一个或多个实施例中,计算机设备可以为颜色分量像素对应的扩展同位亮度重建像素设置位置语法元素,为颜色分量像素对应的目标分类模式设置模式语法元素;对于待编码块中的颜色分量像素,不同的颜色分量像素可以属于不同的边界类别,每一个边界类别都可以对应一个补偿值,进而可以将视频数据中各个边界类别对应的补偿值进行求和,并对补偿总值进行编码处理,可以得到该补偿总值对应的编码结果,进而可以将待编码块中每个颜色分量像素分别对应的位置语法元素、模式语法元素以及补偿总值对应的编码结果,确定为待编码块对应的编码比特流,该编码比特流可以传输至解码端。换言之,计算机设备可以对扩展同位亮度重建像素的位置单独进行编码,如扩展同位亮度重建像素的位置可以通过专用语法元素(即位置语法元素)来进行索引;目标分类模式可以复用现有的CCSAO EO分类中用于标识分类模式的语法元素(即模式语法元素)。
在一个或多个实施例中,计算机设备可以为颜色分量像素对应的扩展同位亮度重建像素和目标分类模式设置联合语法元素;基于联合语法元素和视频数据中各个边界类别所对应的补偿总值,确定待编码块的编码比特流,该编码比特流可以传输至解码端。换言之,颜色分量像素对应的扩展同位亮度重建像素可以结合其对应的相邻像素(包括第一相邻像素和第二相邻像素)共同进行编码,如可以将颜色分量像素对应的扩展同位亮度重建像素的每一个可能的位置,以及每个位置对应的可用分类模式作为CCSAO EO分类中的新模式,进而可以复用现有的CCSAO EO中的标识分类模式的语法元素(联合语法元素)进行传输;因此,对于颜色分量像素对应的扩展同位亮度重建像素和目标分类模式,可以设置共同的联合语法元素。
需要说明的是,对于待编码块中的颜色分量像素,可以选择使用扩展同位亮度重建像素进行CCSAO EO分类,也可以选择不使用扩展同位亮度重建像素进行CCSAO EO分类;若不使用扩展同位亮度重建像素时的率失真损失小于使用扩展同位亮度重建像素时的率失真损失,则可以选择不使用扩展同位亮度重建像素进行CCSAO EO分类;若不使用扩展同位亮度重建像素时的率失真损失大于使用扩展同位亮度重建像素时的率失真损失,则可以选择使用扩展同位亮度重建像素进行CCSAO EO分类。
可选地,在视频数据的编码过程中,可以通过一个标志位来标识是否使用扩展同位亮度重建像素(此处的扩展同位亮度重建像素特指图10所示的位置0至位置7中的任一位置上的亮度重建像素)和扩展分类模式,该标志位可以称为分类标识字段。例如,若选择使用扩展同位亮度重建像素和扩展分类模式进行CCSAO EO分类,则该分类标识字段可以设置为第一标识值;若选择不使用扩展同位亮度重建像素和扩展分类模式进行CCSAO EO分类,则该分类标识字段可以设置为第二标识值。此处的第一标识值和第二标识值可以为不同的标识值,第一标识值和第二标识值均可以包括但不限于:符号、数值、标号等。
上述分类标识字段可以在HLS(High Level Syntax高层语法)中进行传输,该分类标识字段可以存放在序列参数集(Sequence Parameter Set,SPS),或者图像头部(PictureHeader),或者条带头部(SliceHeader),或者APS中,本申请对此不做限定。若分类标识字段存放在SPS中,则分类标识字段用于表示视频数据是否使用扩展同位亮度重建像素和扩展分类模式;若分类标识字段存放在PictureHeader中,则分类标识字段用于表示当前图像帧是否使用扩展同位亮度重建像素和扩展分类模式;若分类标识字段存放在SliceHeader中,则分类标识字段用于表示当前条带是否使用扩展同位亮度重建像素和扩展分类模式;若分类标识字段存放在APS中,则分类标识字段用于表示环路滤波是否使用扩展同位亮度重建像素和扩展分类模式。
可选地,是通过不同的标志位来标识是否使用扩展同位亮度重建像素和扩展分类模式进行CCSAO EO分类,此时的分类标识字段可以包括扩展同位亮度标识字段和扩展模式标识字段。例如,若选择使用扩展同位亮度重建像素进行CCSAO EO分类,则该扩展同位亮度标识字段可以设置为第一标识值;若选择不使用扩展同位亮度重建像素进行CCSAO EO分类,则该扩展同位亮度标识字段可以设置为第二标识值。若选择使用扩展分类模式进行CCSAO EO分类,则该扩展模式标识字段同样可以设置为第一标识值;若选择不使用扩展分类模式进行CCSAO EO分类,则该扩展模式标识字段同样可以设置为第二标识值。扩展同位亮度标识字段和扩展模式标识字段均可以在HLS中进行传输,该分类标识字段可以存放在SPS,或者PictureHeader,或者SliceHeader,或者APS中。
需要说明的是,当确定对视频数据使用扩展同位亮度重建像素和扩展分类模式中的一种或两种方式进行CCSAO EO分类时,可以将分类标识字段设置为第一标识值,那么后续可以按照本申请实施例的技术方案对视频数据进行编码处理;若确定对视频数据不使用扩展同位亮度重建像素和扩展分类模式,可以将分类标识字段设置为第二标识值,那么后续可以按照现有方式对视频数据进行编码处理。
本申请实施例中,编码设备可以通过输入颜色分量像素对应的扩展同位亮度重建像素进行CCSAO EO分类,与此同时,还可以使用扩展分类模式(包括除前述水平、竖直、对角、反对角四种分类模式之外其余可用分类模式)进行CCSAO EO分类,可以提高颜色分量像素的CCSAO EO的类别准确性,进而可以提高视频数据的整体编码性能。
请参见图15,图15是本申请实施例提供的另一种数据处理方法的流程示意图。可以理解地,该数据处理方法可以由计算机设备执行,该计算机设备可以为图8所示的解码设备40b,因此该数据处理方法对应于解码方法。其中,如图15所示,该数据处理方法可以包括以下步骤S201至步骤S203:
步骤S201,对视频数据中的待解码块进行解码处理,得到待解码块对应的分类模式信息;分类模式信息包括颜色分量像素对应的扩展同位亮度重建像素和目标分类模式;扩展同位亮度重建像素属于以颜色分量像素的真实同位亮度重建像素为中心的目标区域。
具体的,计算机设备可以解析颜色分类像素对应的位置语法元素,得到颜色分量像素对应的扩展同位亮度重建像素;解析颜色分类像素对应的模式语法元素,得到颜色分量像素对应的目标分类模式,将扩展同位亮度重建像素和目标分类模式确定为待解码块对应的分类模式信息。换言之,计算机设备可以解析位置语法元素(扩展同位亮度重建像素位置相关语法元素)以确定扩展同位亮度重建像素的位置,通过解析模式语法元素(分类模式相关语法元素)以确定目标分类模式,然后以扩展同位亮度重建像素的位置为中心,与目标分类模式所覆盖区域的周围像素计算差值进行边界分类。
在一个或多个实施例中,计算机设备可以解析颜色分类像素对应的联合语法元素,得到颜色分类像素对应的扩展同位亮度重建像素和目标分类模式,将扩展同位亮度重建像素和目标分类模式确定为待解码块对应的分类模式信息。换言之,计算机设备可以解析联合语法元素(分类模式相关的语法元素),然后根据编码端和解码端一致设置的模式定义可以确定进行分类的扩展同位亮度重建像素的位置以及目标分类模式。
在解析待解码块中的颜色分量像素所对应的分类模式信息之前,计算机设备可以首先解析视频数据对应的序列参数集中的分类标识字段;若分类标识字段为第一标识值,则确定视频数据使用了扩展同位亮度重建像素;若分类标识字段为第二标识值,则确定视频数据未使用扩展同位亮度重建像素。举例来说,若解析视频数据对应的序列参数集中的分类标识字段为第一标识值,则表示该视频数据中使用了扩展同位亮度重建像素和扩展分类模式;而在对视频数据中的某个图像帧进行解码处理时,解析得到PictureHeader中的分类标识字段为第二标识值,则表示当前处理的图像帧没有使用扩展同位亮度重建像素和扩展分类模式。
可选地,若分类标识字段包括针对扩展同位亮度重建像素的扩展同位亮度标识字段和针对扩展分类模式的扩展模式标识字段,可以先依次解析扩展同位亮度标识字段和扩展模式标识字段,基于解析结果来确定视频数据是否使用了扩展同位亮度重建像素和扩展分类模式;若解析到的结果为视频数据使用了扩展同位亮度重建像素和扩展分类模式中的一种或两种进行CCSAO,则可以按照本申请实施例提供的技术方案进行后续解码处理;若解析到的结果为视频数据未使用扩展同位亮度重建像素和扩展分类模式进行CCSAO EO分类,则可以按照现有方案进行后续解码处理。
步骤S202,根据扩展同位亮度重建像素和目标分类模式,确定颜色分量像素对应的边界类别。
其中,步骤S202的实现过程可以参见前述图9所对应实施例中的步骤S102,此处不再进行赘述。
步骤S203,根据边界类别对应的补偿值,重建待解码块中的颜色分量像素。
具体的,计算机设备可以根据边界类别对应的补偿值,可以确定补偿后的重建像素,通过该补偿后的重建像素可以重建待解码块中的颜色分量像素。具体的,可以解析得到视频数据中各个边界类别所对应的补偿总值,通过解析得到的目标分类模式和扩展同位亮度重建像素,可以确定当前待解码块中的颜色分量像素对应的边界类别,进而可以从补偿总值中确定该边界类别对应的补偿值,即单个边界类别对应的补偿值,通过单个边界类别对应的补偿值,可以重建属于该边界类别的颜色分量像素。
需要说明的是,视频数据的解码处理过程与视频数据的编码处理过程互为逆过程,因此对视频数据的解码处理过程可以参见前述图9所对应实施例中的描述,此处不再进行赘述。
本申请实施例中,编码设备可以通过输入颜色分量像素对应的扩展同位亮度重建像素进行CCSAO EO分类,与此同时,还可以使用扩展分类模式(包括除前述水平、竖直、对角、反对角四种分类模式之外其余可用分类模式)进行CCSAO EO分类,可以提高颜色分量像素的CCSAO EO的类别准确性,进而可以提高视频数据的整体解码性能。
请参见图16,图16是本申请实施例提供的一种数据处理装置的结构示意图;该数据处理装置可以是运行于编码设备中的计算机程序(包括程序代码),例如,该数据处理装置为编码设备中的一个应用软件。请参见图16,该数据处理装置1可以包括分类模式信息确定模块11,第一类别确定模块12,编码处理模块13;
分类模式信息确定模块11,用于确定视频数据中的待编码块所对应的分类模式信息;分类模式信息包括待编码块中的颜色分量像素对应的扩展同位亮度重建像素和目标分类模式;扩展同位亮度重建像素属于以颜色分量像素的真实同位亮度重建像素为中心的目标区域;
第一类别确定模块12,用于根据扩展同位亮度重建像素和目标分类模式,确定颜色分量像素对应的边界类别;
编码处理模块13,用于基于边界类别对颜色分量像素的重建像素进行补偿,得到补偿后的重建像素,通过补偿后的重建像素对待编码块进行编码处理。
在一个或多个实施例中,分类模式信息确定模块11具体用于:
获取视频数据中的待编码块所包含的颜色分量像素,以及获取颜色分量像素对应的真实同位亮度重建像素;
将真实同位亮度重建像素作为区域中心,确定具有目标尺寸的目标区域,从目标区域内确定颜色分量像素对应的扩展同位亮度重建像素;
获取颜色分量像素对应的候选分类模式集合,在候选分类模式集合中确定颜色分量像素对应的目标分类模式,将扩展同位亮度重建像素和目标分类模式添加至待编码块对应的分类模式信息。
在一个或多个实施例中,分类模式信息确定模块11从目标区域内确定颜色分量像素对应的扩展同位亮度重建像素,包括:
将目标区域中除顶点位置之外的亮度重建像素,确定为颜色分量像素对应的候选亮度像素集合;
按照候选亮度像素集合中的每一个亮度重建像素,分别对颜色分量像素执行率失真优化处理,得到候选亮度像素集合中每一个亮度重建像素分别对应的第一率失真损失;
将最小的第一率失真损失所对应的亮度重建像素,确定为颜色分量像素对应的扩展同位亮度重建像素。
在一个或多个实施例中,分类模式信息确定模块11获取颜色分量像素对应的候选分类模式集合,在候选分类模式集合中确定颜色分量像素对应的目标分类模式,包括:
根据扩展同位亮度重建像素在目标区域中的位置,确定颜色分量像素对应的候选分类模式集合;候选分类模式集合中的分类模式的覆盖范围小于或等于目标区域,候选分类模式集合包括水平分类模式和竖直分类模式;
按照候选分类模式集合中的每一个分类模式,分别对颜色分量像素执行率失真优化处理,得到候选分类模式集合中的每一个分类模式分别对应的第二率失真损失;
将最小的第二率失真损失所对应的分类模式,确定为颜色分量像素对应的目标分类模式。
在一个或多个实施例中,扩展同位亮度重建像素为目标区域中的任一个亮度重建像素;
数据处置装置1还用于:
若候选分类模式集合存在分类模式的覆盖范围大于目标区域,则将目标区域中的边界像素填充至目标区域的相邻区域,得到模式覆盖范围;模式覆盖范围用于从候选分类模式集合中确定目标分类模式。
在一个或多个实施例中,当扩展同位亮度重建像素为目标区域中的任一个亮度重建像素时,候选分类模式集合包括基础分类模式和扩展分类模式,或者候选分类模式集合包括扩展分类模式;基础分类模式包括水平分类模式,竖直分类模式,对角分类模式以及反对角分类模式,扩展分类模式是指除基础分类模式之外的可用分类模式。
在一个或多个实施例中,颜色分量像素包括亮度分量像素,或者色度分量像素。
在一个或多个实施例中,颜色分量像素包括亮度分量像素;第一类别确定模块12具体用于:
根据目标分类模式确定扩展同位亮度重建像素对应的第一相邻像素和第二相邻像素;
获取第一相邻像素与扩展同位亮度重建像素之间的第一差值,以及获取第二相邻像素与扩展同位亮度重建像素之间的第二差值;
获取与真实同位亮度重建像素相对应的第一同位色度像素和第二同位色度像素;
基于扩展同位亮度重建像素、第一同位色度像素以及第二同位色度像素,确定亮度分量像素所属的带类别;
根据带类别,第一差值以及第二差值,确定颜色分量像素对应的边界类别。
其中,第一类别确定模块12基于扩展同位亮度重建像素、第一同位色度像素以及第二同位色度像素,确定亮度分量像素所属的带类别,包括:
获取扩展同位亮度重建像素与亮度分量上的带类别总数的第一乘积,获取第一同位色度像素与第一色度分量上的带类别总数的第二乘积,以及获取第二同位色度像素与第二色度分量上的带类别总数的第三乘积;
基于像素值比特深度分别与第一乘积、第二乘积以及第三乘积之间的数值关系,确定亮度分量像素所属的带类别。
在一个或多个实施例中,颜色分量像素包括亮度分量像素;第一类别确定模块12具体用于:
根据目标分类模式确定扩展同位亮度重建像素对应的第一相邻像素和第二相邻像素;
获取第一相邻像素与扩展同位亮度重建像素之间的第一差值,以及获取第二相邻像素与扩展同位亮度重建像素之间的第二差值;
获取与真实同位亮度重建像素相对应的第一同位色度像素和第二同位色度像素;
基于真实同位亮度重建像素、第一同位色度像素以及第二同位色度像素,确定亮度分量像素所属的带类别;
根据带类别,第一差值以及第二差值,确定颜色分量像素对应的边界类别。
在一个或多个实施例中,颜色分量像素包括亮度分量像素;第一类别确定模块12具体用于:
根据目标分类模式确定真实同位亮度重建像素对应的第三相邻像素和第四相邻像素;
获取第三相邻像素与真实同位亮度重建像素之间的第三差值,以及获取第四相邻像素与真实同位亮度重建像素之间的第四差值;
获取与真实同位亮度重建像素相对应的第一同位色度像素和第二同位色度像素;
基于扩展同位亮度重建像素、第一同位色度像素以及第二同位色度像素,确定亮度分量像素所属的带类别;
根据带类别,第三差值以及第四差值,确定颜色分量像素对应的边界类别。
在一个或多个实施例中,编码处理模块13通过补偿后的重建像素对待编码块进行编码处理,包括:
为扩展同位亮度重建像素设置位置语法元素,为目标分类模式设置模式语法元素;
确定边界类别对应的补偿值,基于位置语法元素、模式语法元素以及补偿值,得到待编码块的编码比特流,将编码比特流传输至解码端。
在一个或多个实施例中,编码处理模块13通过补偿后的重建像素对待编码块进行编码处理,包括:
为扩展同位亮度重建像素和目标分类模式设置联合语法元素;
确定边界类别对应的补偿值,基于联合语法元素和补偿值,得到待编码块的编码比特流,将编码比特流传输至解码端。
根据本申请实施例,图16所示的数据处理装置1中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,该数据处理装置1也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
本申请实施例中,编码设备可以通过输入颜色分量像素对应的扩展同位亮度重建像素进行CCSAO EO分类,与此同时,还可以使用扩展分类模式(包括除前述水平、竖直、对角、反对角四种分类模式之外其余可用分类模式)进行CCSAO EO分类,可以提高颜色分量像素的CCSAO EO的类别准确性,进而可以提高视频数据的整体编码性能。
请参见图17,图17是本申请实施例提供的另一种数据处理装置的结构示意图;该数据处理装置可以是运行于解码设备中的计算机程序(包括程序代码),例如,该数据处理装置为解码设备中的一个应用软件。请参见图17,该数据处理装置2可以包括解码处理模块21,第二类别确定模块22,像素重建模块23;
解码处理模块21,用于对视频数据中的待解码块进行解码处理,得到待解码块对应的分类模式信息;分类模式信息包括颜色分量像素对应的扩展同位亮度重建像素和目标分类模式;扩展同位亮度重建像素属于以颜色分量像素的真实同位亮度重建像素为中心的目标区域;
第二类别确定模块22,用于根据扩展同位亮度重建像素和目标分类模式,确定颜色分量像素对应的边界类别;
像素重建模块23,用于根据边界类别对应的补偿值,重建待解码块中的颜色分量像素。
在一个或多个实施例中,解码处理模块21具体用于:
解析颜色分类像素对应的位置语法元素,得到颜色分量像素对应的扩展同位亮度重建像素;
解析颜色分类像素对应的模式语法元素,得到颜色分量像素对应的目标分类模式,将扩展同位亮度重建像素和目标分类模式确定为待解码块对应的分类模式信息。
在一个或多个实施例中,解码处理模块21具体用于:
解析颜色分类像素对应的联合语法元素,得到颜色分类像素对应的扩展同位亮度重建像素和目标分类模式,将扩展同位亮度重建像素和目标分类模式确定为待解码块对应的分类模式信息。
其中,该数据装置2还用于:
解析视频数据对应的序列参数集中的分类标识字段;
若分类标识字段为第一标识值,则确定视频数据使用了扩展同位亮度重建像素;
若分类标识字段为第二标识值,则确定视频数据未使用扩展同位亮度重建像素。
根据本申请实施例,图17所示的数据处理装置2中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,该数据处理装置2也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
本申请实施例中,编码设备可以通过输入颜色分量像素对应的扩展同位亮度重建像素进行CCSAO EO分类,与此同时,还可以使用扩展分类模式(包括除前述水平、竖直、对角、反对角四种分类模式之外其余可用分类模式)进行CCSAO EO分类,可以提高颜色分量像素的CCSAO EO的类别准确性,进而可以提高视频数据的整体解码性能。
进一步地,请参见图18,图18是本申请实施例提供的一种计算机设备的结构示意图。如图18所示,该计算机设备1000可以为终端设备,还可以为服务器,本申请对此不做限定。为便于理解,本申请以计算机设备为终端设备为例,该计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,该计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图18所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
其中,该计算机设备1000中的网络接口1004还可以提供网络通讯功能,且可选用户接口1003还可以包括显示屏(Display)、键盘(Keyboard)。在图18所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口。
当计算机设备1000为编码设备时,处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
确定视频数据中的待编码块所对应的分类模式信息;分类模式信息包括待编码块中的颜色分量像素对应的扩展同位亮度重建像素和目标分类模式;扩展同位亮度重建像素属于以颜色分量像素的真实同位亮度重建像素为中心的目标区域;
根据扩展同位亮度重建像素和目标分类模式,确定颜色分量像素对应的边界类别;
基于边界类别对颜色分量像素的重建像素进行补偿,得到补偿后的重建像素,通过补偿后的重建像素对待编码块进行编码处理。
当计算机设备1000为解码设备时,处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
对视频数据中的待解码块进行解码处理,得到待解码块对应的分类模式信息;分类模式信息包括颜色分量像素对应的扩展同位亮度重建像素和目标分类模式;扩展同位亮度重建像素属于以颜色分量像素的真实同位亮度重建像素为中心的目标区域;
根据扩展同位亮度重建像素和目标分类模式,确定颜色分量像素对应的边界类别;
根据边界类别对应的补偿值,重建待解码块中的颜色分量像素。
应当理解,本申请实施例中所描述的计算机设备1000可执行前文图9或图15所对应实施例中对数据处理方法的描述,也可执行前文图16所对应实施例中对数据处理装置1或者前文图17所对应实施例中对数据处理装置2的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且计算机可读存储介质中存储有前文提及的数据处理装置1或云处理装置2所执行的计算机程序,且计算机程序包括计算机指令,当处理器执行计算机指令时,能够执行前文图9或图15所对应实施例中对数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。作为示例,计算机指令可被部署在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行,分布在多个地点且通过通信网络互连的多个计算设备可以组成区块链系统。
此外,需要说明的是:本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或者计算机程序可以包括计算机指令,该计算机指令可以存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器可以执行该计算机指令,使得该计算机设备执行前文图9或图15所对应实施例中对数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节,请参照本申请方法实施例的描述。
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储器(Read-Only Memory,ROM)或随机存储器(Random Access Memory,RAM)等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (20)

1.一种数据处理方法,其特征在于,包括:
确定视频数据中的待编码块所对应的分类模式信息;所述分类模式信息包括所述待编码块中的颜色分量像素对应的扩展同位亮度重建像素和目标分类模式;所述扩展同位亮度重建像素属于以所述颜色分量像素的真实同位亮度重建像素为中心的目标区域;
根据所述扩展同位亮度重建像素和所述目标分类模式,确定所述颜色分量像素对应的边界类别;
基于所述边界类别对所述颜色分量像素的重建像素进行补偿,得到补偿后的重建像素,通过所述补偿后的重建像素对所述待编码块进行编码处理。
2.根据权利要求1所述的方法,其特征在于,所述确定视频数据中的待编码块所对应的分类模式信息,包括:
获取视频数据中的待编码块所包含的颜色分量像素,以及获取所述颜色分量像素对应的真实同位亮度重建像素;
将所述真实同位亮度重建像素作为区域中心,确定具有目标尺寸的目标区域,从所述目标区域内确定所述颜色分量像素对应的扩展同位亮度重建像素;
获取所述颜色分量像素对应的候选分类模式集合,在所述候选分类模式集合中确定所述颜色分量像素对应的目标分类模式,将所述扩展同位亮度重建像素和所述目标分类模式添加至所述待编码块对应的分类模式信息。
3.根据权利要求2所述的方法,其特征在于,所述从所述目标区域内确定所述颜色分量像素对应的扩展同位亮度重建像素,包括:
将所述目标区域中除顶点位置之外的亮度重建像素,确定为所述颜色分量像素对应的候选亮度像素集合;
按照所述候选亮度像素集合中的每一个亮度重建像素,分别对所述颜色分量像素执行率失真优化处理,得到所述候选亮度像素集合中每一个亮度重建像素分别对应的第一率失真损失;
将最小的第一率失真损失所对应的亮度重建像素,确定为所述颜色分量像素对应的扩展同位亮度重建像素。
4.根据权利要求3所述的方法,其特征在于,所述获取所述颜色分量像素对应的候选分类模式集合,在所述候选分类模式集合中确定所述颜色分量像素对应的目标分类模式,包括:
根据所述扩展同位亮度重建像素在所述目标区域中的位置,确定所述颜色分量像素对应的候选分类模式集合;所述候选分类模式集合中的分类模式的覆盖范围小于或等于所述目标区域,所述候选分类模式集合包括水平分类模式和竖直分类模式;
按照所述候选分类模式集合中的每一个分类模式,分别对所述颜色分量像素执行率失真优化处理,得到所述候选分类模式集合中的每一个分类模式分别对应的第二率失真损失;
将最小的第二率失真损失所对应的分类模式,确定为所述颜色分量像素对应的目标分类模式。
5.根据权利要求2所述的方法,其特征在于,所述扩展同位亮度重建像素为所述目标区域中的任一个亮度重建像素;
所述方法还包括:
若所述候选分类模式集合存在分类模式的覆盖范围大于所述目标区域,则将所述目标区域中的边界像素填充至所述目标区域的相邻区域,得到模式覆盖范围;所述模式覆盖范围用于从所述候选分类模式集合中确定所述目标分类模式。
6.根据权利要求2所述的方法,其特征在于,当所述扩展同位亮度重建像素为所述目标区域中的任一个亮度重建像素时,所述候选分类模式集合包括基础分类模式和扩展分类模式,或者候选分类模式集合包括扩展分类模式;所述基础分类模式包括水平分类模式,竖直分类模式,对角分类模式以及反对角分类模式,所述扩展分类模式是指除所述基础分类模式之外的可用分类模式。
7.根据权利要求1所述的方法,其特征在于,所述颜色分量像素包括亮度分量像素,或者色度分量像素。
8.根据权利要求1所述的方法,其特征在于,所述颜色分量像素包括亮度分量像素;
所述根据所述扩展同位亮度重建像素和所述目标分类模式,确定所述颜色分量像素对应的边界类别,包括:
根据所述目标分类模式确定所述扩展同位亮度重建像素对应的第一相邻像素和第二相邻像素;
获取所述第一相邻像素与所述扩展同位亮度重建像素之间的第一差值,以及获取所述第二相邻像素与所述扩展同位亮度重建像素之间的第二差值;
获取与所述真实同位亮度重建像素相对应的第一同位色度像素和第二同位色度像素;
基于所述扩展同位亮度重建像素、所述第一同位色度像素以及所述第二同位色度像素,确定所述亮度分量像素所属的带类别;
根据所述带类别,所述第一差值以及所述第二差值,确定所述颜色分量像素对应的边界类别。
9.根据权利要求8所述的方法,其特征在于,所述基于所述扩展同位亮度重建像素、所述第一同位色度像素以及所述第二同位色度像素,确定所述亮度分量像素所属的带类别,包括:
获取所述扩展同位亮度重建像素与亮度分量上的带类别总数的第一乘积,获取所述第一同位色度像素与第一色度分量上的带类别总数的第二乘积,以及获取所述第二同位色度像素与第二色度分量上的带类别总数的第三乘积;
基于像素值比特深度分别与所述第一乘积、所述第二乘积以及所述第三乘积之间的数值关系,确定所述亮度分量像素所属的带类别。
10.根据权利要求1所述的方法,其特征在于,所述颜色分量像素包括亮度分量像素;
所述根据所述扩展同位亮度重建像素和所述目标分类模式,确定所述颜色分量像素对应的边界类别,包括:
根据所述目标分类模式确定所述扩展同位亮度重建像素对应的第一相邻像素和第二相邻像素;
获取所述第一相邻像素与所述扩展同位亮度重建像素之间的第一差值,以及获取所述第二相邻像素与所述扩展同位亮度重建像素之间的第二差值;
获取与所述真实同位亮度重建像素相对应的第一同位色度像素和第二同位色度像素;
基于所述真实同位亮度重建像素、所述第一同位色度像素以及所述第二同位色度像素,确定所述亮度分量像素所属的带类别;
根据所述带类别,所述第一差值以及所述第二差值,确定所述颜色分量像素对应的边界类别。
11.根据权利要求1所述的方法,其特征在于,所述颜色分量像素包括亮度分量像素;
所述根据所述扩展同位亮度重建像素和所述目标分类模式,确定所述颜色分量像素对应的边界类别,包括:
根据所述目标分类模式确定所述真实同位亮度重建像素对应的第三相邻像素和第四相邻像素;
获取所述第三相邻像素与所述真实同位亮度重建像素之间的第三差值,以及获取所述第四相邻像素与所述真实同位亮度重建像素之间的第四差值;
获取与所述真实同位亮度重建像素相对应的第一同位色度像素和第二同位色度像素;
基于所述扩展同位亮度重建像素、所述第一同位色度像素以及所述第二同位色度像素,确定所述亮度分量像素所属的带类别;
根据所述带类别,所述第三差值以及所述第四差值,确定所述颜色分量像素对应的边界类别。
12.根据权利要求1-11任一项所述的方法,其特征在于,所述通过所述补偿后的重建像素对所述待编码块进行编码处理,包括:
为所述扩展同位亮度重建像素设置位置语法元素,为所述目标分类模式设置模式语法元素;
确定所述边界类别对应的补偿值,基于所述位置语法元素、所述模式语法元素以及所述补偿值,得到所述待编码块的编码比特流,将所述编码比特流传输至解码端。
13.根据权利要求1-11任一项所述的方法,其特征在于,所述通过所述补偿后的重建像素对所述待编码块进行编码处理,包括:
为所述扩展同位亮度重建像素和所述目标分类模式设置联合语法元素;
确定所述边界类别对应的补偿值,基于所述联合语法元素和所述补偿值,得到所述待编码块的编码比特流,将所述编码比特流传输至解码端。
14.一种数据处理方法,其特征在于,包括:
对视频数据中的待解码块进行解码处理,得到所述待解码块对应的分类模式信息;所述分类模式信息包括所述颜色分量像素对应的扩展同位亮度重建像素和目标分类模式;所述扩展同位亮度重建像素属于以所述颜色分量像素的真实同位亮度重建像素为中心的目标区域;
根据所述扩展同位亮度重建像素和所述目标分类模式,确定所述颜色分量像素对应的边界类别;
根据所述边界类别对应的补偿值,重建所述待解码块中的颜色分量像素。
15.根据权利要求14所述的方法,其特征在于,所述对视频数据中的待解码块进行解码处理,得到所述待解码块对应的分类模式信息,包括:
解析所述颜色分类像素对应的位置语法元素,得到所述颜色分量像素对应的扩展同位亮度重建像素;
解析所述颜色分类像素对应的模式语法元素,得到所述颜色分量像素对应的目标分类模式,将所述扩展同位亮度重建像素和所述目标分类模式确定为所述待解码块对应的分类模式信息。
16.根据权利要求14所述的方法,其特征在于,所述对视频数据中的待解码块进行解码处理,得到所述待解码块对应的分类模式信息,包括:
解析所述颜色分类像素对应的联合语法元素,得到所述颜色分类像素对应的扩展同位亮度重建像素和目标分类模式,将所述扩展同位亮度重建像素和所述目标分类模式确定为所述待解码块对应的分类模式信息。
17.根据权利要求14-16任一项所述的方法,其特征在于,还包括:
解析视频数据对应的序列参数集中的分类标识字段;
若所述分类标识字段为第一标识值,则确定所述视频数据使用了扩展同位亮度重建像素;
若所述分类标识字段为第二标识值,则确定所述视频数据未使用所述扩展同位亮度重建像素。
18.一种数据处理装置,其特征在于,包括:
分类模式信息确定模块,用于确定视频数据中的待编码块所对应的分类模式信息;所述分类模式信息包括所述待编码块中的颜色分量像素对应的扩展同位亮度重建像素和目标分类模式;所述扩展同位亮度重建像素属于以所述颜色分量像素的真实同位亮度重建像素为中心的目标区域;
第一类别确定模块,用于根据所述扩展同位亮度重建像素和所述目标分类模式,确定所述颜色分量像素对应的边界类别;
编码处理模块,用于基于所述边界类别对所述颜色分量像素的重建像素进行补偿,得到补偿后的重建像素,通过所述补偿后的重建像素对所述待编码块进行编码处理。
19.一种数据处理装置,其特征在于,包括:
解码处理模块,用于对视频数据中的待解码块进行解码处理,得到所述待解码块对应的分类模式信息;所述分类模式信息包括所述颜色分量像素对应的扩展同位亮度重建像素和目标分类模式;所述扩展同位亮度重建像素属于以所述颜色分量像素的真实同位亮度重建像素为中心的目标区域;
第二类别确定模块,用于根据所述扩展同位亮度重建像素和所述目标分类模式,确定所述颜色分量像素对应的边界类别;
像素重建模块,用于根据所述边界类别对应的补偿值,重建所述待解码块中的颜色分量像素。
20.一种计算机设备,其特征在于,包括存储器和处理器;
所述存储器与所述处理器相连,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使得所述计算机设备执行权利要求1至13任一项所述的方法,或者执行权利要求14至17任一项所述的方法。
CN202210849250.7A 2022-07-19 2022-07-19 数据处理方法、装置、设备 Pending CN117478895A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210849250.7A CN117478895A (zh) 2022-07-19 2022-07-19 数据处理方法、装置、设备
PCT/CN2023/091040 WO2024016775A1 (zh) 2022-07-19 2023-04-27 数据处理方法、装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210849250.7A CN117478895A (zh) 2022-07-19 2022-07-19 数据处理方法、装置、设备

Publications (1)

Publication Number Publication Date
CN117478895A true CN117478895A (zh) 2024-01-30

Family

ID=89616950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210849250.7A Pending CN117478895A (zh) 2022-07-19 2022-07-19 数据处理方法、装置、设备

Country Status (2)

Country Link
CN (1) CN117478895A (zh)
WO (1) WO2024016775A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9161041B2 (en) * 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
KR101530782B1 (ko) * 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
WO2019194647A1 (ko) * 2018-04-06 2019-10-10 가온미디어 주식회사 필터 정보 기반의 적응적 루프 필터링 방법, 그를 이용한 영상 부호화 및 복호화 방법
CN116320454A (zh) * 2019-01-03 2023-06-23 华为技术有限公司 色度块的预测方法和装置
CN113099221B (zh) * 2021-02-22 2023-06-02 浙江大华技术股份有限公司 跨分量样点自适应补偿方法、编码方法及相关装置
CN113099230B (zh) * 2021-02-22 2022-09-06 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
WO2024016775A1 (zh) 2024-01-25

Similar Documents

Publication Publication Date Title
RU2676410C1 (ru) Способ и устройство для оптимизации кодирования/декодирования компенсационных смещений для набора восстановленных выборок изображения
WO2020262396A1 (en) Systems and methods for reducing a reconstruction error in video coding based on a cross-component correlation
JP6334006B2 (ja) ビデオ符号化用の高コンテンツ適応型品質回復フィルタ処理のためのシステムおよび方法
US10834396B2 (en) Bilateral filter for predicted video data
US20180041778A1 (en) Geometry transformation-based adaptive loop filtering
CN116647688A (zh) 视频译码中使用交叉分量线性模型进行帧内预测
CN103348677A (zh) 像素层级自适应帧内平滑化
CN111713112B (zh) 用于图像划分的方法及装置、编码、解码视频序列图像的方法及装置
JP2017508415A (ja) 画像符号化/復号方法及び装置
US10412415B2 (en) Method and apparatus for decoding/encoding video signal using transform derived from graph template
US20240056582A1 (en) Encoding method, decoding method, and decoder
CN113099221B (zh) 跨分量样点自适应补偿方法、编码方法及相关装置
CN114885158A (zh) 位置相关预测组合的模式相关和大小相关块级限制的方法和装置
WO2021070427A1 (en) Systems and methods for reducing a reconstruction error in video coding based on a cross-component correlation
CN117296312A (zh) 用于交叉分量样本自适应偏移的方法和系统
CN113767636B (zh) 帧内模式编解码的方法和系统
US20230319267A1 (en) Video coding method and video decoder
US20230269385A1 (en) Systems and methods for improving object tracking in compressed feature data in coding of multi-dimensional data
JP2024520401A (ja) 方法、電子装置、コンピュータ可読ストレージ媒体、コンピュータプログラム、およびビットストリーム
JP2024521804A (ja) 成分間サンプル適応オフセットにおけるコーディングの強化
CN117478895A (zh) 数据处理方法、装置、设备
WO2021049126A1 (en) Systems and methods for reducing a reconstruction error in video coding based on a cross-component correlation
US20230336734A1 (en) Virtual boundary processing for ccsao, bilateral filter and adaptive loop filter for video coding
WO2022209828A1 (en) Systems and methods for autoencoding residual data in coding of a multi-dimensional data
US20240283936A1 (en) Image encoding/decoding method, method for transmitting bitstream, and recording medium storing bitstream

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication