CN115988223A - 帧内预测模式的确定、图像编码以及图像解码方法 - Google Patents

帧内预测模式的确定、图像编码以及图像解码方法 Download PDF

Info

Publication number
CN115988223A
CN115988223A CN202211678831.5A CN202211678831A CN115988223A CN 115988223 A CN115988223 A CN 115988223A CN 202211678831 A CN202211678831 A CN 202211678831A CN 115988223 A CN115988223 A CN 115988223A
Authority
CN
China
Prior art keywords
chroma
prediction mode
value
intra
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211678831.5A
Other languages
English (en)
Inventor
黄勃
丁林
吴国洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202211678831.5A priority Critical patent/CN115988223A/zh
Publication of CN115988223A publication Critical patent/CN115988223A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了一种帧内预测模式的确定方法、图像编码方法、图像解码方法、电子设备以及存储介质,涉及图像处理技术领域。其中,帧内预测模式的确定方法包括:针对待编码图像中的编码块,使用第一色度帧内预测模式确定所述编码块中的像素对应的候选色度预测值;利用所述候选色度预测值,确定第二色度帧内预测模式中目标系数的系数值,以得到确定系数值后的第二色度帧内预测模式;所述第二色度帧内预测模式用于根据像素的亮度值预测色度值。本申请的方案能够降低图像编码的耗时,同时,减少图像编码所需占用的资源,以及提高编码效率。

Description

帧内预测模式的确定、图像编码以及图像解码方法
技术领域
本申请涉及图像处理技术领域,尤其涉及一种帧内预测模式的确定方法。本申请同时涉及一种图像编码方法、一种图像解码方法、一种电子设备以及一种存储介质。
背景技术
视频编码技术是一种将原始视频格式的文件转换成另一种视频格式文件的技术。视频编码技术往往不仅仅可应用于对视频帧进行编码,而且还可以应用于对视频帧之外的其他图像类型的图像进行编码,但在视频编码技术的应用过程中,往往存在图像编码耗时较长的问题。
以AOMedia Video 1(AV1)视频编码技术为例,作为一种通过因特网进行视频传输而设计的视频编码技术,AV1视频编码技术因为具有较好压缩性能以及较高的保真度,而得到了广泛的应用,但AV1视频编码技术在应用过程中也存在图像编码耗时较长的问题。
因此,如何降低图像编码的耗时,成为了视频编码技术应用过程中不得不面临的技术问题。
发明内容
本申请实施例提供了一种帧内预测模式的确定方法、一种图像编码方法、一种图像解码方法、一种电子设备以及一种存储介质,以降低图像编码的耗时。
第一方面,本申请实施例提供了一种帧内预测模式的确定方法,包括:
针对待编码图像中的编码块,使用第一色度帧内预测模式确定编码块中的像素对应的候选色度预测值;
利用候选色度预测值,确定第二色度帧内预测模式中目标系数的系数值,以得到确定系数值后的第二色度帧内预测模式;第二色度帧内预测模式用于根据像素的亮度值预测色度值。
第二方面,本申请实施例提供了一种图像编码方法,包括:
针对待编码图像中的编码块,使用第一色度帧内预测模式确定编码块中的像素对应的候选色度预测值;
利用候选色度预测值,确定第二色度帧内预测模式中目标系数的系数值,第二色度帧内预测模式用于根据像素的亮度值预测色度值;
在多种色度帧内预测模式中确定目标色度帧内预测模式;多种色度帧内预测模式中至少包括确定系数值后的第二色度帧内预测模式;
依据目标色度帧内预测模式,对编码块进行编码处理。
第三方面,本申请实施例提供了一种图像解码方法,包括:
解码通过对目标图像进行编码获得的数据流,确定在对目标图像中的编码块进行编码时所依据的目标色度帧内预测模式;目标色度帧内预测模式在包括确定系数值后的第一色度帧内预测模式的多种色度帧内预测模式中确定,第一色度帧内预测模式用于根据像素的亮度值预测色度值;第一色度帧内预测模式中目标系数的系数值依据编码块中的像素对应的候选色度预测值获得,候选色度预测值使用第二色度帧内预测模式对编码块进行色度预测获得;
至少依据目标色度帧内预测模式,构建目标图像对应的重建图像。
第四方面,本申请实施例提供一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,处理器在执行计算机程序时实现本申请任一实施例提供的方法。
第五方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现本申请任一实施例提供的方法。
与相关技术相比,本申请具有如下优点:
依据本申请的技术方案,针对待编码图像中的编码块,先使用第一色度帧内预测模式确定编码块中的像素对应的候选色度预测值,然后,再利用候选色度预测值来确定第二色度帧内预测模式中目标系数的系数值,即可得到确定系数值后的第二色度帧内预测模式。由于在得到确定系数值后的第二色度帧内预测模式的过程中,利用候选色度预测值,即可确定出第二色度帧内预测模式中目标系数的系数值,因此,在确定系数值的过程中所需利用的参数相对较少,从而系数值的确定过程也会变得相对较为简单,降低了系数值确定过程所需消耗的时长,也即是说,得到确定系数值后的第二色度帧内预测模式所需的耗时降低。
另外,得到确定系数值后的第二色度帧内预测模式所需的耗时降低,进一步可以降低图像编码的耗时,提高编码效率。同时,由于系数值确定过程中所需的计算量降低,本申请的技术方案还能够减少图像编码所需占用的资源。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本申请公开的一些实施方式,而不应将其视为是对本申请范围的限制。
图1示出了本申请实施例中提供的一种帧内预测模式的确定过程的示意图;
图2示出了本申请实施例中提供的一种帧内预测模式的确定方法的流程图;
图3示出了本申请实施例中提供的一种图像编码方法的流程图;
图4示出了本申请实施例中提供的一种图像解码方法的流程图;
图5示出了本申请实施例中提供的一种帧内预测模式的确定装置的结构框图;
图6示出了本申请实施例中提供的一种图像编码装置的结构框图;
图7示出了本申请实施例中提供的一种图像解码装置的结构框图;
图8示出了本申请实施例中提供的一种电子设备的框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本申请的构思或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的,而非限制性的。
为便于理解本申请实施例的技术方案,以下对本申请实施例的相关技术进行说明。以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合,其均属于本申请实施例的保护范围。
本申请实施例中涉及到对图像进行编码、解码以及在编码的过程中确定帧内预测模式的方案。在编码过程中将图像作为待编码图像,待编码图像可以是视频帧,也可以是除视频帧之外的其他图像类型的图像。
待编码图像对应有图像格式,一种示例中,图像格式是亮度色度(YUV)格式,其中,Y表示像素的亮度(Luminance或Luma)分量,像素的亮度分量即为像素的灰度值,亮度也可称为明亮度;U和V表示像素的色度(Chrominance或Chroma)分量,色度分量用于描述像素的色彩及饱和度,决定像素的颜色。具体的,U表示像素的蓝色色度分量,V表示像素的红色色度分量。
YUV格式进一步可以是YUV420格式、YUV422格式或YUV444格式,其中,在YUV444格式中每一个Y对应一个U和V,在YUV422格式中每两个Y对应一个U和V,在YUV420格式中每四个Y对应一个U和V。以一示例进行说明,待编码图像的大小表示为W(Wide,宽)*H(Height,高),此时,该待编码图像中具有W*H个像素,包括在宽边的W个像素以及在长边的H个像素。在待编码图像的图像格式是YUV420时,待编码图像中的W*H个像素对应W*H个亮度值,待编码图像中的W*H个像素在蓝色色度分量对应(W/4)*(H/4)个色度值,待编码图像中的W*H个像素在红色色度分量对应(W/4)*(H/4)个色度值。在待编码图像的图像格式是YUV422时,待编码图像中的W*H个像素对应W*H个亮度值,待编码图像中的W*H个像素在蓝色色度分量对应(W/2)*(H/2)个色度值,待编码图像中的W*H个像素在红色色度分量对应(W/2)*(H/2)个色度值。在待编码图像的图像格式是YUV444时,待编码图像中的W*H个像素对应W*H个亮度值,待编码图像中的W*H个像素在蓝色色度分量对应W*H个色度值,待编码图像中的W*H个像素在红色色度分量对应W*H个色度值。
帧内预测是指利用同一待编码图像内已重建的像素对待重建的像素进行预测,帧内预测具体可分为亮度帧内预测以及色度帧内预测。亮度帧内预测用于对编码块进行亮度预测,以得到像素对应的亮度预测值,色度帧内预测用于对编码块进行色度预测,以得到像素对应的色度预测值。其中,色度帧内预测包括对像素的蓝色色度进行色度预测,以及对像素的红色色度进行色度预测。
视频编码技术中通常包括多种帧内预测模式,在对待编码图像进行编码的过程中,会从多种帧内预测模式中,选出具有较好压缩性能以及较高的保真度的优选帧内预测模式,来执行待编码图像的编码工作。具体的,亮度预测利用亮度帧内预测模式实现,色度预测利用色度帧内预测模式实现。其中,亮度帧内预测模式包括但不限于亮度DC(直流)帧内预测模式、亮度Smooth(平滑)帧内预测模式以及多种亮度角度帧内预测模式。本申请实施例中,从多种亮度帧内预测模式中确定出一种用于对编码块进行编码处理的优选亮度帧内预测模式,记为目标亮度帧内预测模式。色度帧内预测模式包括但不限于CFL(ChromaFrom Luma,使用亮度预测色度)帧内预测模式、色度DC(直流)帧内预测模式、色度Smooth(平滑)帧内预测模式以及多种色度角度帧内预测模式。本申请实施例中,从多种色度帧内预测模式中确定出一种用于对编码块进行编码处理的优选色度帧内预测模式。
本申请实施例中,在对待编码图像进行编码时,可先将待编码图像划分成若干个不重叠的编码单元(Super Block,超级块),并将编码单元进一步划分为更小的编码块(Code Block),然后,再以编码块为编码单位来对待编码图像进行编码处理。在一示例中,可以将待编码图像划分成多个大小为正方形或矩形的编码块,其中,正方形的编码块的大小可以为:32(W)x32(H)、16(W)x16(H)或8(W)x8(H)等,矩形的编码块的大小可以为:32(W)x16(H)、16(W)x32(H)、16(W)x8(H)或者8(W)x16(H)等。需要说明的是,本申请实施例中对超级块以及编码块的划分方式不做具体限定。
本申请实施例中,亮度预测值是指使用亮度帧内预测模式对编码块的像素进行亮度预测获得的亮度值,亮度真实值是指编码块中的像素对应的真实的亮度值,像素对应的亮度真实值与亮度预测值之间的差值记为亮度残差值,通过对亮度残差值进行变换、量化等处理得到亮度残差系数。进一步,通过对亮度残差系数进行反变换、反量化等处理得到重建亮度残差值,基于亮度预测值以及重建亮度残差值可以构建重建亮度值,例如,将亮度预测值与重建亮度残差值之和作为重建亮度值。在确定目标亮度帧内预测模式后,对应获得的亮度预测值也即是目标亮度重建值,目标亮度帧内预测模式对应的亮度残差系数记为目标亮度残差系数。
本申请实施例中,色度预测值是指使用色度帧内预测模式对编码块的像素进行色度预测获得的色度值,将使用第一色度帧内预测模式确定出的色度预测值记为候选色度预测值。色度真实值是指编码块中的像素对应的真实的色度值,像素对应的色度真实值与色度预测值之间的差值记为色度残差值,通过对色度残差值进行变换、量化等处理得到色度残差系数。进一步,通过对色度残差系数进行反变换、反量化等处理得到重建色度残差值,基于色度预测值以及重建色度残差值可以构建重建色度值,例如,将色度预测值与重建色度残差值之和作为重建色度值。在确定目标色度帧内预测模式后,对应获得的色度预测值也即是目标色度重建值,目标色度帧内预测模式对应的色度残差系数记为目标色度残差系数。
其中,变换、量化、反量化以及反变换是指对色度残差值或者亮度残差值进行DFT(Discrete Fourier Transform,离散傅里叶变换)、DCT(Discrete Cosine Transform,离散余弦变换)等操作。
在确定目标亮度帧内预测模式以及目标色度帧内预测模式后,即可依据目标亮度帧内预测模式以及目标色度帧内预测模式来对编码块进行编码处理,以得到对应的数据流。在一示例中,数据流是二值化(0或者1)的比特流,此时,依据目标亮度帧内预测模式以及目标色度帧内预测模式来对编码块进行编码处理,以得到对应的数据流可以是指,对目标亮度帧内预测模式、目标色度帧内预测模式进行编码,以及对目标亮度残差系数以及目标色度残差系数进行熵编码(Entropy Coding)或统计编码,以得到二值化的比特流。也即是说,比特流中不仅仅包括目标亮度残差系数以及目标色度残差系数的信息,也包括目标亮度帧内预测模式、目标色度帧内预测模式的信息。
在确定目标亮度帧内预测模式的过程中,亮度率失真代价(Rate-DistortionCost,RD Cost)是重要的依据,其是亮度率失真优化(Rate Distortion Optimization)的参数,用于反映亮度重建值与亮度真实值之间的失真程度,以及编码亮度帧内预测模式、对应的残差系数等所需消耗的比特数。其中,亮度率失真优化的过程是指,在多种亮度帧内预测模式中选取亮度率失真代价符合预设需求的亮度帧内预测模式作为目标亮度帧内预测模式的过程。在确定目标亮度帧内预测模式的过程中,色度率失真代价是重要的依据,其是色度率失真优化的参数,用于反映色度重建值与色度真实值之间的失真程度,以及编码色度帧内预测模式、对应的残差系数等所需消耗的比特数。其中,色度率失真优化的过程是指,在多种色度帧内预测模式中选取色度率失真代价符合预设需求的色度帧内预测模式作为目标色度帧内预测模式的过程。
由于在对待编码图像进行编码的过程中,往往会从多种帧内预测模式中选出能够确保较好压缩性能以及较高的保真度的优选帧内预测模式,来执行待编码图像的编码工作,并且由于根据像素的亮度值预测色度值的色度帧内预测模式(第二色度帧内预测模式),能够降低图像解码的复杂性以及使重建图像具有较高的保真度,因此,在很多视频编码技术中(例如:AV1视频编码技术),会将第二色度帧内预测模式作为多种色度帧内预测模式中的一种色度帧内预测模式。另外,由于第二色度帧内预测模式能够降低图像解码的复杂性以及使重建图像具有较高的保真度,因此,在部分场景下,也可以在确定第二色度帧内预测模式中目标系数的系数值后,利用确定系数值后的第二色度帧内预测模式,对编码块进行编码处理。
其中,根据像素的亮度值预测色度值是指,基于像素对应的亮度值与像素对应的色度值之间的相关性,利用像素对应的亮度值来预测像素对应的色度值。具体的,可以先建立像素对应的亮度值和像素对应的色度值之间的线性模型y=αx+β,然后,再通过该线性模型(y=αx+β)以及像素对应的亮度值来实现像素对应的色度值的预测。其中,y=αx+β中的y用于表示像素对应的色度值,x用于表示像素对应的亮度值(对于YUV444格式的待编码图像)或者像素对应的亮度值的下采样值(对于YUV422、YUV420格式的待编码图像),α即为目标系数,β为线性模型中的另一参数。
但在相关技术中,确定目标系数的系数值的过程往往伴随着较大的计算量,以及较为冗长的运算时长,从而导致该部分视频编码技术在应用过程中会存在图像编码耗时较长的问题。然而在一些场景下,具有降低图像编码的耗时需求,因此,如何降低图像编码的耗时成为了该部分视频编码技术在应用过程中不得不面临的技术问题。
有鉴于此,本申请实施例提出了一种帧内预测模式的确定方法,并且,提供了相应的图像编码方法和图像解码方法。
为了更清楚地展示本申请实施例中提供的帧内预测模式的确定方法,首先介绍一下本申请实施例中提供的帧内预测模式的确定方法的一个应用示例。该示例的具体实现过程可参照图1,示出的帧内预测模式的确定过程如下:
具有图像编码功能的编码器在确定帧内预测模式的过程中,会先执行亮度帧内预测操作。亮度帧内预测操作是指,针对待编码图像中的编码块,使用多种亮度帧内预测模式确定编码块中的像素对应的亮度预测值,以及计算多种亮度帧内预测模式对应的亮度残差值,并将获得的数据存储在预先配置的数据存储器中。
在获得每一种亮度帧内预测模式对应的亮度残差值后,编码器会依次对相应的亮度残差值进行变换、量化处理,以得到该种亮度帧内预测模式对应的亮度残差系数。在获得一种亮度帧内预测模式对应的亮度残差系数后,编码器会依次对相应的亮度残差系数进行反量化、反变换处理,以得到该种亮度帧内预测模式对应的重建亮度残差值。
在得到每一种亮度帧内预测模式对应的重建亮度残差值后,编码器会执行数据重建操作。此时的数据重建操作是指,基于该种亮度帧内预测模式对应的重建亮度残差值以及亮度残差值,来计算该种亮度帧内预测模式对应的亮度重建值。在获得每一种亮度帧内预测模式对应的亮度重建值后,编码器可以按照光栅方式,将该种亮度帧内预测模式对应的亮度重建值存储在预先配置的数据存储器中,直至得到多种亮度帧内预测模式对应的亮度重建值。
在确定出多种亮度帧内预测模式对应的亮度重建值后,编码器会进一步执行率失真优化操作。此时,编码器会针对多种亮度帧内预测模式进行率失真优化,以确定出目标亮度帧内预测模式。需要说明的是,为了能够降低目标色度帧内预测模式的确定过程所需消耗的时长,进而降低图像编码的耗时,在确定多种亮度帧内预测模式对应的亮度重建值的过程中,编码器可进一步执行色度帧内预测操作。在执行色度帧内预测操作的过程中,编码器会先针对待编码图像中的编码块,使用第一色度帧内预测模式来确定编码块中的像素对应的候选色度预测值,并将候选色度预测值存储在预先配置的数据存储器中。也即是说,在确定目标亮度帧内预测的过程中,利用第一色度帧内预测模式对编码块进行色度预测,以获得候选色度预测值。
其中,第一色度帧内预测模式是色度直流帧内预测模式,当然,第一色度帧内预测模式也可以是除色度直流帧内预测模式以及第二色度帧内预测模式之外的其他色度帧内预测模式。
在确定出候选色度预测值后,编码器会进一步执行系数值计算操作,系数值计算操作是指,利用候选色度预测值,来确定第二色度帧内预测模式中目标系数的系数值,以得到确定系数值后的第二色度帧内预测模式。由于利用候选色度预测值,即可确定出第二色度帧内预测模式中目标系数的系数值,因此,在确定系数值的过程中所需利用的参数相对较少,从而系数值的确定过程也会变得相对较为简单,降低了系数值确定过程所需消耗的时长。
其中,利用候选色度预测值,来确定第二色度帧内预测模式中目标系数的系数值可以是指,利用候选色度预测值以及目标亮度重建值,来确定系数值,以得到确定系数值后的第二色度帧内预测模式。第二色度帧内预测模式包括CFL色度帧内预测模式。由于在确定目标亮度帧内预测的过程中,即可获得候选色度预测值,因此,在利用候选色度预测值以及目标亮度重建值来确定系数值时,候选色度预测值以及目标亮度重建值均可以直接获得,这样能够降低利用候选色度预测值以及目标亮度重建值来确定系数值时所需的耗时。
需要说明的是,为了进一步降低确定目标色度帧内预测模式所需消耗的时长,在确定候选色度预测值的过程中,即可针对除第一色度帧内预测模式以及第二色度帧内预测模式之外的其他色度帧内预测模式,来确定编码块中的像素对应的色度预测值以及色度残差值,并在获得确定系数值后的第二色度帧内预测模式后,进一步针对确定系数值后的第二色度帧内预测模式,来确定编码块中的像素对应的色度预测值以及色度残差值。
由于编码器在执行亮度帧内预测操作时,在获得一种亮度帧内预测模式对应的亮度残差系数的过程中,即可对开始执行下一种亮度帧内预测模式对应的亮度残差系数的获得过程,并且在执行亮度帧内预测操作的过程中,即可进一步执行色度帧内预测操作,在执行色度帧内预测操作时,在获得一种色度帧内预测模式对应的色度预测值以及色度残差值的过程中,即可对开始执行下一种色度帧内预测模式对应的色度预测值以及色度残差值的获得过程。因此,编码器无需等待前一操作执行完毕或者前一获得过程执行完毕,即可进一步执行下一操作或者下一获得过程,从而减少了确定目标色度帧内预测模式所需的时长,提高了编码效率。
在获得每一种色度帧内预测模式对应的色度残差值后,编码器会依次对相应的色度残差值进行变换、量化处理,以得到该种色度帧内预测模式对应的色度残差系数。在获得一种色度帧内预测模式对应的色度残差系数后,编码器会依次对相应的色度残差系数进行反量化、反变换处理,以得到该种色度帧内预测模式对应的重建色度残差值。
在得到每一种色度帧内预测模式对应的重建色度残差值后,编码器会进行数据重建处理。此时的数据重建处理是指,基于该种色度帧内预测模式对应的重建色度残差值以及色度残差值,来计算该种色度帧内预测模式对应的色度重建值。在获得每一种色度帧内预测模式对应的色度重建值后,编码器可以按照光栅方式,将该种色度帧内预测模式对应的色度重建值存储在预先配置的数据存储器中,直至得到多种色度帧内预测模式对应的色度重建值。
在确定出多种色度帧内预测模式对应的色度重建值后,编码器会进一步进行率失真优化操作。此时,编码器会针对多种色度帧内预测模式进行率失真优化,以确定出目标色度帧内预测模式。
由于在得到确定系数值后的第二色度帧内预测模式的过程中,利用候选色度预测值,即可确定出第二色度帧内预测模式中目标系数的系数值,因此,在确定系数值的过程中所需利用的参数相对较少,从而系数值的确定过程也会变得相对较为简单,降低了系数值确定过程所需消耗的时长,也即是说,得到确定系数值后的第二色度帧内预测模式所需的耗时降低。
另外,得到确定系数值后的第二色度帧内预测模式所需的耗时降低,进一步可以降低图像编码的耗时,提高编码效率。同时,由于系数值确定过程中所需的计算量降低,本申请的技术方案还能够减少图像编码所需占用的资源。
此外,由于目标色度帧内预测模式可以使色度重建值与色度真实值之间的失真程度较低,进而可以对待编码图像具有更高的压缩率,且能够使重建图像具有较高的保真度,因此,本申请的技术方案能够在降低图像编码的耗时的同时,确保对待编码图像具有更高的压缩率,以及使重建图像具有较高的保真度。
需要说明的是,本申请实施例中提供的帧内预测模式的确定方法的上述应用示例,是为了便于理解而并非用于限定本申请实施例中提供的帧内预测模式的确定方法。具体的,本申请实施例中提供的帧内预测模式的确定方法的应用场景不做具体限定。
本申请的帧内预测模式的确定方案以及编码和解码方案,对应的执行主体均可以是应用程序、服务、实例、软件形态的功能模块、虚拟机(Virtual Machine,VM)、容器或云服务器等,或者具有数据处理功能的硬件设备(如服务器、终端设备)或硬件芯片(如CPU(Central Processing Unit,中央处理器)、GPU(Graphics Processing,图形处理器)、FPGA(Field Programmable Gate Array,现场可编程逻辑门阵列)、NPU(Neural-networkProcessing Unit,网络处理器)、AI(Artificial Intelligence,人工智能)加速卡或DPU(Data Processing Unit,数据处理器))等。其中,实现帧内预测模式的确定的装置、实现图像编码的装置或实现图像解码的装置均可以部署在本地计算设备或提供算力、存储和网络资源的云计算平台上,云计算平台对外提供服务的模式可以是IaaS(Infrastructure as aService,基础设施即服务)、PaaS(Platform as a Service,平台即服务)、SaaS(Software-as-a-service,软件即服务)或DaaS(Data-as-a-service,数据即服务)。以平台提供SaaS软件即服务(Software-as-a-Service)为例,云计算平台可以利用自身的计算资源提供帧内预测模式的确定、图像编码或图像解码功能,具体的应用架构可以根据服务需求进行搭建。
下面以具体实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合,其均属于本申请实施例的保护范围,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2示出了本申请实施例中提供的一种帧内预测模式的确定方法200的流程图,可以包括步骤S201-S202。
在步骤S201中,针对待编码图像中的编码块,使用第一色度帧内预测模式确定编码块中的像素对应的候选色度预测值。
在一示例中,待编码图像可以为视频帧,编码块的大小可以为8*8。按照编码方式可以进一步将视频帧划分I帧(Intra coded frames,关键帧)、P帧(Predicted frames,前向参考帧)以及B帧(Bi directional predicted frames,双向参考帧),具体的,I帧采用帧内预测编码方式,P帧采用帧间预测编码方式,B帧采用双向时间预测编码方式。其中,对I帧采用帧内预测编码方式时,会涉及到依据亮度帧内预测模式以及色度帧内预测模式对编码块进行编码处理,在对P帧采用帧间预测编码方式以及对B帧采用双向时间预测编码方式时,也往往会涉及到依据亮度帧内预测模式以及色度帧内预测模式对编码块进行编码处理。也即是说,视频帧一般是I帧,也可能是P帧或B帧。
使用第一色度帧内预测模式确定编码块中的像素对应的色度预测值是指,利用第一色度帧内预测模式对编码块进行色度预测,以获得候选色度预测值。第一色度帧内预测模式可以是编码块对应的多种色度帧内预测模式中除去第二色度帧内预测模式外的其他一种色度帧内预测模式。
一种可能的实现方式中,作为一种技术成熟且可以快速实现的色度帧内预测模式,色度直流帧内预测模式常常被选作第一色度帧内预测模式,也即是说,第一色度帧内预测模式包括色度直流帧内预测模式。在第一色度帧内预测模式是色度直流帧内预测模式时,使用第一色度帧内预测模式确定编码块中的像素对应的色度预测值是指,至少利用色度直流帧内预测模式对编码块进行色度预测,以获得候选色度预测值。由于色度直流帧内预测模式可以快速实现,将色度直流帧内预测模式作为第一色度帧内预测模式,能够提高目标色度帧内预测模式的确定速度。
在获得候选色度预测值后,可以进一步执行步骤S202,在步骤S202中,利用候选色度预测值,确定第二色度帧内预测模式中目标系数的系数值,以得到确定系数值后的第二色度帧内预测模式;第二色度帧内预测模式用于根据像素的亮度值预测色度值。
根据像素的亮度值预测色度值是指,基于像素对应的亮度值与像素对应的色度值之间的相关性,来利用像素对应的亮度值预测像素对应的色度值。利用像素对应的亮度值与像素对应的色度值之间的相关性可以降低系数值的复杂度,在一示例中,利用候选色度预测值,确定第二色度帧内预测模式中目标系数的系数值可以是指,利用候选色度预测值以及亮度重建值,确定系数值。此外,为了使确定出的系数值更为准确,可以将目标亮度重建值用于系数值的确定,此时,利用候选色度预测值,确定第二色度帧内预测模式中目标系数的系数值是指,利用候选色度预测值以及目标亮度重建值,确定系数值。
第二色度帧内预测模式可以是指CFL帧内预测模式,CFL帧内预测模式需要依据像素对应的亮度重建值与像素对应的色度预测值之间的线性模型,以及像素对应的亮度重建值,来预测像素对应的色度预测值。CFL帧内预测模式包括两个不同的线性模型:第一线性模型以及第二线性模型。第一线性模型为:Cfl(α)=Clip(Round(α×LumaAC÷26)+ChromaDC),其中,Cfl(α)用于表示CFL帧内预测模式对应的色度预测值,LumaAC用于表示目标亮度重建值或者目标亮度重建值的下采样值,α为目标系数,ChromaDC用于表示色度直流帧内预测模式对应的色度预测值。第二线性模型为:Predcfl=Clip(ChromaDC+ScaledLuma),其中,Predcfl用于表示CFL帧内预测模式对应的色度预测值,α为目标系数,ChromaDC用于表示色度直流帧内预测模式对应的色度预测值,ScaledLuma为针对目标亮帧内预测模式计算得到的亮度缩放数值。
具体的,ScaledLuma=Round2Signed(2*α*(Down_Sample_Sum-LumaAvg),6),其中,
Figure BDA0004018248910000101
Down_Sample_Sum为目标亮度重建值的下采样值之和,LumaAvg为目标亮度重建值的均值。
在第二色度帧内预测模式为CFL帧内预测模式时,可依据第一线性模型来确定目标系数的系数值,也即是说,可利用直流色度帧内预测模式对应的色度预测值以及目标亮度重建值,来确定系数值。另外,在获得确定系数值后的第二色度帧内预测模式后,需要利用第二线性模型来确定CFL帧内预测模式对应的色度预测值。
由于在利用第二线性模型来确定CFL帧内预测模式对应的色度预测值时,要用到目标亮度重建值的下采样值之和以及目标亮度重建值的均值,为了进一步降低目标色度帧内预测模式的确定过程所需消耗的时长,在确定各亮度帧内预测模式对应的亮度重建值时候,均可以进一步计算出该亮度帧内预测模式对应的亮度重建值的下采样值之和以及亮度重建值的均值。这样,在目标色度帧内预测模式确定后,即可立即获得目标亮度重建值的下采样值之和以及目标亮度重建值的均值,从而可以降低目标色度帧内预测模式的确定过程所需消耗的时长。
其中,目标亮度帧内预测模式是指在多种亮度帧内预测模式中确定的用于对编码块进行编码处理的优选亮度帧内预测模式,其可以使亮度重建值与亮度真实值之间的失真程度较低,进而使待编码图像的压缩率更高,且重建图像具有较高的保真度。
一种可能的实现方式中,在利用候选色度预测值以及目标亮度重建值确定系数值的情况下,会先确定针对编码块的目标亮度帧内预测模式。在一示例中,为了能够降低目标色度帧内预测模式的确定过程所需消耗的时长,从而降低图像编码的耗时,可以在确定目标亮度帧内预测的过程中,利用第一色度帧内预测模式对编码块进行色度预测,以获得候选色度预测值。由于相对于依次确定目标亮度帧内预测模式和获得候选色度预测值而言,在确定目标亮度帧内预测的过程中获得候选色度预测值,能够降低确定目标亮度帧内预测和获得候选色度预测值所需消耗的时长,进而可以降低目标色度帧内预测模式的确定过程所需消耗的时长,从而降低了图像编码的耗时。
一种可能的实现方式中,为了使亮度重建值与亮度真实值之间的失真程度较低,确定目标亮度帧内预测模式可以是指,先使用多种亮度帧内预测模式确定编码块中的像素对应的亮度预测值,然后,再基于多种亮度帧内预测模式对应的亮度预测值,确定多种亮度帧内预测模式对应的亮度重建值,在确定多种亮度帧内预测模式对应的亮度重建值后,进一步基于亮度率失真代价,在多种亮度帧内预测模式中确定目标亮度帧内预测模式。其中,亮度率失真代价至少依据编码块中的像素对应的亮度真实值以及多种亮度帧内预测模式对应的亮度重建值获得。
一种可能的实现方式中,利用候选色度预测值,确定第二色度帧内预测模式中目标系数的系数值可以为先利用第二色度帧内预测模式对应的线性模型、编码块中的像素对应的色度真实值以及候选色度预测值,构建色度残差矩阵的表达式,然后,再利用色度残差矩阵的表达式,确定系数值。其中,线性模型中包括目标系数,色度残差矩阵中的元素用于表示色度真实值与第二色度帧内预测模式对应的色度预测值之间的差值,即,色度残差矩阵中的元素用于表示编码块中的像素对应的色度残差值。
在利用候选色度预测值以及目标亮度重建值来确定系数值下,构建色度残差矩阵的表达式的方式为利用候选色度预测值以及目标亮度重建值,确定系数值可以为先利用第二色度帧内预测模式对应的线性模型、编码块中的像素对应的色度真实值、目标亮度重建值以及候选色度预测值,构建色度残差矩阵的表达式。
具体的,在第二色度帧内预测模式为CFL帧内预测模式时,第二色度帧内预测模式对应的线性模型为第一线性模型:Cfl(α)=Clip(Round(α×LumaAC÷26)+ChromaDC)。在不考虑Clip()函数,且对LumaAC以及ChromaDC矩阵化处理后,可以将第一线性模型变换为:
Figure BDA0004018248910000111
其中,PREDCFL(α)用于表示针对CFL帧内预测模式对应的色度预测值构建的矩阵;LUMAAC用于表示针对目标亮度重建值或者目标亮度重建值的下采样值构建的矩阵;PREDDC用于表示针对色度直流帧内预测模式对应的色度预测值构建的矩阵。
另外,由于色度残差值是指编码块中的像素对应的色度真实值与编码块中的像素对应的色度预测值之间的差值,因此,可利用编码块中的像素对应的色度真实值以及编码块中的像素对应的色度预测值,构建出色度残差矩阵的表达式:
Figure BDA0004018248910000112
Figure BDA0004018248910000113
其中,DIFFCFL(α)用于表示色度残差矩阵,其为针对编码块中的像素对应的色度残差值构建的矩阵;SRC为针对编码块中的像素对应的色度真实值构建的矩阵。通过构建色度残差矩阵的表达式来求解目标系数的系数值,能够降低目标系数的系数值的过程中所需利用到的参数,从而可以使目标系数的系数值的确定过程中的计算量降低。
基于构建出的色度残差矩阵的表达式来求解目标系数的系数值过程,实际上就是找出优选的系数值的过程,为了降低求解目标系数的系数值过程,可以认为优选的系数值可以使色度残差矩阵中的元素平方和的误差平方和取极小值。此时,利用色度残差矩阵的表达式,确定系数值可以为先基于色度残差矩阵的表达式,构建用于计算色度残差矩阵中的元素平方和的误差平方和的表达式,然后,再确定误差平方和的表达式取极小值时目标系数的取值,并在确定误差平方和的表达式取极小值时目标系数的取值之后,基于误差平方和的表达式取极小值时目标系数的取值,确定系数值。其中,误差平方和的表达式中包括目标系数。
具体的,可以将色度残差矩阵的表达式
Figure BDA0004018248910000121
Figure BDA0004018248910000122
变化为公式:DIFF(γ)=Y-γ*X,其中,X=LUMAAC
Figure BDA0004018248910000123
此时,基于色度残差矩阵的表达式,构建出的误差平方和的表达式为:
Figure BDA0004018248910000124
Figure BDA0004018248910000125
其中,SSE(Y-γ*X)为色度残差矩阵中的元素平方和的误差平方和,(i,j)表示色度残差矩阵中的第i行第j个的元素。在构建出误差平方和的表达式后,确定误差平方和的表达式取极小值时目标系数的取值的过程如下:首先,对J(γ)求偏导得到:
Figure BDA0004018248910000126
其次,另
Figure BDA0004018248910000127
并求解
Figure BDA0004018248910000128
时γ的取值,也即是说,求解
Figure BDA0004018248910000129
时γ的取值。再次,在求解得到
Figure BDA00040182489100001210
后,利用公式
Figure BDA00040182489100001211
计算得到
Figure BDA00040182489100001212
Figure BDA00040182489100001213
其中,α1以及α2分别是α的优选取值和次优选取值。最后,依据α1以及α2确定系数值。具体过程为:针对蓝色色度分量以及红色色度分量分别确定系数值。
由于像素具有蓝色色度分量以及红色色度分量,对于蓝色色度分量以及红色色度分量均需要确定出系数值,也即是说,需要分别利用上述过程计算对应于蓝色色度分量的α1以及α2,以及对应于红色色度分量的α1以及α2。在确定出对应于蓝色色度分量的α1以及α2,以及对应于红色色度分量的α1以及α2后,确定蓝色色度分量以及红色色度分量各自对应的系数值的方式可以为:在对应于蓝色色度分量的α1以及对应于红色色度分量的α1同时为0时,需要将对应于蓝色色度分量的α2确定为对应于蓝色色度分量的系数值,以及将对应于红色色度分量的α2确定为对应于红色色度分量的系数值。在对应于蓝色色度分量的α1以及对应于红色色度分量的α1不同时为0时,需要将对应于蓝色色度分量的α1确定为对应于蓝色色度分量的系数值,以及将对应于红色色度分量的α1确定为对应于红色色度分量的系数值。
一种可能的实现方式中,在得到确定系数值后的第二色度帧内预测模式之后,可以在多种色度帧内预测模式中确定目标色度帧内预测模式,以用于对编码块进行编码处理;多种色度帧内预测模式中至少包括确定系数值后的第二色度帧内预测模式。
目标色度帧内预测模式是指在多种色度帧内预测模式中确定的用于对编码块进行编码处理的优选色度帧内预测模式,其可以使色度重建值与色度真实值之间的失真程度较低,进而可以对待编码图像具有更高的压缩率,且能够使重建图像具有较高的保真度。
一种可能的实现方式中,为了使色度重建值与色度真实值之间的失真程度较低,在多种色度帧内预测模式中确定目标色度帧内预测模式可以为先使用多种色度帧内预测模式确定编码块中的像素对应的色度预测值,然后,再基于多种色度帧内预测模式对应的色度预测值,确定多种色度帧内预测模式对应的色度重建值,在确定多种色度帧内预测模式对应的色度重建值后,进一步基于色度率失真代价,在多种色度帧内预测模式中确定目标色度帧内预测模式。其中,色度率失真代价至少依据编码块中的像素对应的色度真实值以及多种色度帧内预测模式对应的色度重建值获得。
由于像素具有蓝色色度分量以及红色色度分量,对于蓝色色度分量以及红色色度分量均需要确定出目标色度帧内预测模式,以确保各自色度分量对应的色度重建值与色度真实值之间的失真程度较低。并且针对蓝色色度分量确定出的目标色度帧内预测模式与针对红色色度分量确定出的目标色度帧内预测模式也很有可能并不相同。因此,在一示例中,在多种色度帧内预测模式中确定目标色度帧内预测模式是指,针对编码块中的像素的蓝色色度分量,确定目标色度帧内预测模式,以及针对编码块中的像素的红色色度分量,确定目标色度帧内预测模式。
一种可能的实现方式中,为了能够尽可能的提升图像编码效率,在部分编码场景下,在得到确定系数值后的第二色度帧内预测模式之后,还可以直接利用确定系数值后的第二色度帧内预测模式,对编码块进行编码处理。
本申请实施例中提供的帧内预测模式的确定方法,先使用第一色度帧内预测模式确定编码块中的像素对应的候选色度预测值,然后,再利用候选色度预测值来确定第二色度帧内预测模式中目标系数的系数值,在确定第二色度帧内预测模式中目标系数的系数值后,即可得到确定系数值后的第二色度帧内预测模式。
由于在得到确定系数值后的第二色度帧内预测模式的过程中,利用候选色度预测值,即可确定出第二色度帧内预测模式中目标系数的系数值,因此,在确定系数值的过程中所需利用的参数相对较少,从而系数值的确定过程也会变得相对较为简单,降低了系数值确定过程所需消耗的时长,也即是说,得到确定系数值后的第二色度帧内预测模式所需的耗时降低。
另外,得到确定系数值后的第二色度帧内预测模式所需的耗时降低,进一步可以降低图像编码的耗时,提高编码效率。同时,由于系数值确定过程中所需的计算量降低,本申请实施例中提供的帧内预测模式的确定方法还能够减少图像编码所需占用的资源。
与本申请实施例中提供的帧内预测模式的确定方法相对应地,本申请实施例中还提供一种图像编码方法,参照图3,图3示出了本申请实施例中提供的一种图像编码方法300的流程图,可以包括步骤S301-S304。
在步骤301中,针对待编码图像中的编码块,使用第一色度帧内预测模式确定编码块中的像素对应的候选色度预测值。
在步骤302中,利用候选色度预测值,确定第二色度帧内预测模式中目标系数的系数值,第二色度帧内预测模式用于根据像素的亮度值预测色度值。
在步骤303中,在多种色度帧内预测模式中确定目标色度帧内预测模式;多种色度帧内预测模式中至少包括确定系数值后的第二色度帧内预测模式。
在步骤304中,依据目标色度帧内预测模式,对编码块进行编码处理。
依据目标色度帧内预测模式,对编码块进行编码处理是指,对目标亮度帧内预测模式、目标色度帧内预测模式进行编码,以及对目标亮度残差系数以及目标色度残差系数进行熵编码或统计编码,以得到对应的数据流,例如:二值化的比特流。
本申请实施例中提供的图像编码方法,先使用第一色度帧内预测模式确定编码块中的像素对应的候选色度预测值,然后,再利用候选色度预测值来确定第二色度帧内预测模式中目标系数的系数值,在确定第二色度帧内预测模式中目标系数的系数值后,即可在至少包括确定系数值后的第二色度帧内预测模式的多种色度帧内预测模式中,确定出目标色度帧内预测模式,以用于对编码块进行编码处理。
由于利用候选色度预测值,即可确定出第二色度帧内预测模式中目标系数的系数值,因此,在确定系数值的过程中所需利用的参数相对较少,降低了系数值确定过程所需消耗的时长,进一步可以降低图像编码的耗时,提高编码效率。同时,由于系数值确定过程中所需的计算量降低,本申请实施例中提供的图像编码方法还能够减少图像编码所需占用的资源。
与本申请实施例中提供的帧内预测模式的确定方法以及图像编码方法相对应地,本申请实施例中还提供一种图像编码方法,参照图4,图4示出了本申请实施例中提供的一种图像解码方法400的流程图,可以包括步骤S401-S402。
在步骤S401中,解码通过对目标图像进行编码获得的数据流,确定在对目标图像中的编码块进行编码时所依据的目标色度帧内预测模式;目标色度帧内预测模式在包括确定系数值后的第一色度帧内预测模式的多种色度帧内预测模式中确定,第一色度帧内预测模式用于根据像素的亮度值预测色度值;第一色度帧内预测模式中目标系数的系数值依据编码块中的像素对应的候选色度预测值获得,候选色度预测值使用第二色度帧内预测模式对编码块进行色度预测获得。
对目标图像进行编码获得数据流的过程可以为先将目标图像确定待编码图像,然后,再针对待编码图像中的编码块,确定目标亮度帧内预测模式、目标色度帧内预测模式、目标亮度残差系数以及目标色度残差系数,并对目标亮度帧内预测模式、目标色度帧内预测模式进行编码,以及对目标亮度残差系数以及目标色度残差系数进行熵编码或统计编码,以得到对应的数据流,例如:二值化的比特流。因此,解析通过对目标图像进行编码获得的数据流,不仅可以获得目标色度帧内预测模式,还可以获得目标亮度帧内预测模式、目标亮度残差系数以及目标色度残差系数。
在步骤S402中,至少依据目标色度帧内预测模式,构建目标图像对应的重建图像。
至少依据目标色度帧内预测模式,构建目标图像对应的重建图像可以为目标亮度帧内预测模式、目标色度帧内预测模式、目标亮度残差系数以及目标色度残差系数,构建待重建块中的像素对应的亮度重建值以及色度重建值,待重建块与编码块相对应。
本申请实施例中提供的图像解码方法,由于在对目标图像进行编码获得数据流的阶段,会针对待编码图像中的编码块,先使用第二色度帧内预测模式确定编码块中的像素对应的候选色度预测值,然后,再利用候选色度预测值来确定第一色度帧内预测模式中目标系数的系数值,在确定第一色度帧内预测模式中目标系数的系数值后,即可在至少包括确定系数值后的第一色度帧内预测模式的多种色度帧内预测模式中,确定出目标色度帧内预测模式,以用于对编码块进行编码处理。
由于利用候选色度预测值,即可确定出第一色度帧内预测模式中目标系数的系数值,因此,在确定系数值的过程中所需利用的参数相对较少,降低了系数值确定过程所需消耗的时长,进一步可以降低图像编码的耗时,提高编码效率。同时,随着图像编码的耗时降低,图像编码和图像解码的整体过程的耗时也会降低。
与本申请实施例提供的帧内预测模式的确定方法相对应地,本申请实施例还提供一种帧内预测模式的确定装置,该装置如图5所示。图5示出了本申请实施例中提供的一种帧内预测模式的确定装置500的结构框图,该帧内预测模式的确定装置可以包括:
色度预测值确定模块501,用于针对待编码图像中的编码块,使用第一色度帧内预测模式确定编码块中的像素对应的候选色度预测值;
系数值确定模块502,用于利用候选色度预测值,确定第二色度帧内预测模式中目标系数的系数值,以得到确定系数值后的第二色度帧内预测模式;第二色度帧内预测模式用于根据像素的亮度值预测色度值。
一种可能的实现方式中,该装置还包括目标模式确定模块,用于在多种色度帧内预测模式中确定目标色度帧内预测模式,以用于对编码块进行编码处理;多种色度帧内预测模式中至少包括确定系数值后的第二色度帧内预测模式。
一种可能的实现方式中,第一色度帧内预测模式包括色度直流帧内预测模式;色度预测值确定模块501包括:
色度预测值确定子模块,用于至少利用色度直流帧内预测模式对编码块进行色度预测,以获得候选色度预测值。
一种可能的实现方式中,系数值确定模块502包括:
第一系数值确定子模块,用于利用候选色度预测值以及目标亮度重建值,确定系数值;目标亮度重建值依据目标亮度帧内预测模式获得。
一种可能的实现方式中,该帧内预测模式的确定装置还包括:
目标模式确定子模块,用于在利用候选色度预测值以及目标亮度重建值,确定系数值之前,确定针对编码块的目标亮度帧内预测模式;
色度预测值确定模块501包括:色度预测值确定子模块,用于在确定目标亮度帧内预测的过程中,利用第一色度帧内预测模式对编码块进行色度预测,以获得候选色度预测值。
一种可能的实现方式中,色度预测值确定子模块包括:
亮度预测值确定子模块,用于使用多种亮度帧内预测模式确定编码块中的像素对应的亮度预测值;
亮度重建值确定子模块,用于基于多种亮度帧内预测模式对应的亮度预测值,确定多种亮度帧内预测模式对应的亮度重建值;
亮度帧内预测模式选择子模块,用于基于亮度率失真代价,在多种亮度帧内预测模式中确定目标亮度帧内预测模式;亮度率失真代价至少依据编码块中的像素对应的亮度真实值以及多种亮度帧内预测模式对应的亮度重建值获得。
一种可能的实现方式中,目标模式确定模块包括:
色度预测值确定子模块,用于使用多种色度帧内预测模式确定编码块中的像素对应的色度预测值;
色度重建值确定子模块,用于基于多种色度帧内预测模式对应的色度预测值,确定多种色度帧内预测模式对应的色度重建值;
色度帧内预测模式选择子模块,用于基于色度率失真代价,在多种色度帧内预测模式中确定目标色度帧内预测模式;色度率失真代价至少依据编码块中的像素对应的色度真实值以及多种色度帧内预测模式对应的色度重建值获得。
一种可能的实现方式中,系数值确定模块502包括:
色度残差矩阵构建子模块,用于利用第二色度帧内预测模式对应的线性模型、编码块中的像素对应的色度真实值以及候选色度预测值,构建色度残差矩阵的表达式;线性模型中包括目标系数,色度残差矩阵中的元素用于表示色度真实值与第二色度帧内预测模式对应的色度预测值之间的差值;
第二系数值确定子模块,用于利用色度残差矩阵的表达式,确定系数值。
一种可能的实现方式中,色度残差矩阵构建子模块包括:
误差平方和构建子模块,用于基于色度残差矩阵的表达式,构建用于计算色度残差矩阵中的元素平方和的误差平方和的表达式;误差平方和的表达式中包括目标系数;
取值确定子模块,用于确定误差平方和的表达式取极小值时目标系数的取值;
第三系数值确定子模块,用于基于误差平方和的表达式取极小值时目标系数的取值,确定系数值。
一种可能的实现方式中,目标模式确定模块503包括:第一目标色度帧内预测模式子模块,用于针对编码块中的像素的蓝色色度分量,确定目标色度帧内预测模式。
一种可能的实现方式中,目标模式确定模块503包括:第一目标色度帧内预测模式子模块,用于针对编码块中的像素的红色色度分量,确定目标色度帧内预测模式。
与本申请实施例提供的图像编码方法相对应地,本申请实施例还提供一种图像编码装置,该装置如图6所示。图6示出了本申请实施例中提供的一种图像编码装置600的结构框图,该图像编码装置可以包括:
色度预测值确定模块601,用于针对待编码图像中的编码块,使用第一色度帧内预测模式确定编码块中的像素对应的候选色度预测值;
系数值确定模块602,用于利用候选色度预测值,确定第二色度帧内预测模式中目标系数的系数值,第二色度帧内预测模式用于根据像素的亮度值预测色度值;
目标模式确定模块603,用于在多种色度帧内预测模式中确定目标色度帧内预测模式;多种色度帧内预测模式中至少包括确定系数值后的第二色度帧内预测模式;
编码处理模块604,用于依据目标色度帧内预测模式,对编码块进行编码处理。
与本申请实施例提供的图像解码方法相对应地,本申请实施例还提供一种图像解码装置,该装置如图7所示。图7示出了本申请实施例中提供的一种图像解码装置700的结构框图,该图像解码装置可以包括:
数据流解码模块701,用于解码通过对目标图像进行编码获得的数据流,确定在对目标图像中的编码块进行编码时所依据的目标色度帧内预测模式;目标色度帧内预测模式在包括确定系数值后的第一色度帧内预测模式的多种色度帧内预测模式中确定,第一色度帧内预测模式用于根据像素的亮度值预测色度值;第一色度帧内预测模式中目标系数的系数值依据编码块中的像素对应的候选色度预测值获得,候选色度预测值使用第二色度帧内预测模式对编码块进行色度预测获得;
图像重建模块702,用于至少依据目标色度帧内预测模式,构建目标图像对应的重建图像。
图8为用来实现本申请实施例的电子设备的框图。如图8所示,该电子设备包括:存储器801和处理器802,存储器801内存储有可在处理器802上运行的计算机程序。处理器802执行该计算机程序时实现上述实施例中的方法。存储器801和处理器802的数量可以为一个或多个。
该电子设备还包括:
通信接口803,用于与外界设备进行通信,进行数据交互传输。
如果存储器801、处理器802和通信接口803独立实现,则存储器801、处理器802和通信接口803可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器801、处理器802及通信接口803集成在一块芯片上,则存储器801、处理器802及通信接口803可以通过内部接口完成相互间的通信。
本申请实施例提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现本申请实施例中提供的方法。
本申请实施例还提供了一种芯片,该芯片包括,包括处理器,用于从存储器中调用并运行存储器中存储的指令,使得安装有芯片的通信设备执行本申请实施例提供的方法。
本申请实施例还提供了一种芯片,包括:输入接口、输出接口、处理器和存储器,输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连,处理器用于执行存储器中的代码,当代码被执行时,处理器用于执行申请实施例提供的方法。
应理解的是,上述处理器可以是中央处理器(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是,处理器可以是支持进阶精简指令集机器(Advanced RISC Machines,ARM)架构的处理器。
进一步地,可选的,上述存储器可以包括只读存储器和随机存取存储器,还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以包括只读存储器(Read-OnlyMemory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以包括随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用。例如,静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic Random Access Memory,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。
应理解的是,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器,磁盘或光盘等。
以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种帧内预测模式的确定方法,包括:
针对待编码图像中的编码块,使用第一色度帧内预测模式确定所述编码块中的像素对应的候选色度预测值;
利用所述候选色度预测值,确定第二色度帧内预测模式中目标系数的系数值,以得到确定系数值后的第二色度帧内预测模式;所述第二色度帧内预测模式用于根据像素的亮度值预测色度值。
2.根据权利要求1所述的方法,其中,在得到确定系数值后的第二色度帧内预测模式之后,所述方法还包括:
在多种色度帧内预测模式中确定目标色度帧内预测模式,以用于对所述编码块进行编码处理;所述多种色度帧内预测模式中至少包括所述确定系数值后的第二色度帧内预测模式。
3.根据权利要求1所述的方法,其中,所述第一色度帧内预测模式包括色度直流帧内预测模式;所述针对待编码图像中的编码块,使用第一色度帧内预测模式确定所述编码块中的像素对应的候选色度预测值包括:
至少利用所述色度直流帧内预测模式对所述编码块进行色度预测,以获得所述候选色度预测值。
4.根据权利要求1或3所述的方法,其中,所述利用所述候选色度预测值,确定第二色度帧内预测模式中目标系数的系数值包括:
利用所述候选色度预测值以及目标亮度重建值,确定所述系数值;所述目标亮度重建值依据目标亮度帧内预测模式获得。
5.根据权利要求4所述的方法,其中,在所述利用所述候选色度预测值以及目标亮度重建值,确定所述系数值之前,所述方法还包括:
确定针对编码块的目标亮度帧内预测模式;
所述针对待编码图像中的编码块,使用第一色度帧内预测模式确定所述编码块中的像素对应的候选色度预测值包括:
在确定所述目标亮度帧内预测的过程中,利用所述第一色度帧内预测模式对所述编码块进行色度预测,以获得所述候选色度预测值。
6.根据权利要求5所述的方法,其中,所述确定针对编码块的目标亮度帧内预测模式包括:
使用多种亮度帧内预测模式确定所述编码块中的像素对应的亮度预测值;
基于所述多种亮度帧内预测模式对应的亮度预测值,确定所述多种亮度帧内预测模式对应的亮度重建值;
基于亮度率失真代价,在所述多种亮度帧内预测模式中确定所述目标亮度帧内预测模式;所述亮度率失真代价至少依据所述编码块中的像素对应的亮度真实值以及所述多种亮度帧内预测模式对应的亮度重建值获得。
7.根据权利要求2所述的方法,其中,所述在多种色度帧内预测模式中确定目标色度帧内预测模式包括:
使用所述多种色度帧内预测模式确定所述编码块中的像素对应的色度预测值;
基于所述多种色度帧内预测模式对应的色度预测值,确定所述多种色度帧内预测模式对应的色度重建值;
基于色度率失真代价,在所述多种色度帧内预测模式中确定所述目标色度帧内预测模式;所述色度率失真代价至少依据所述编码块中的像素对应的色度真实值以及所述多种色度帧内预测模式对应的色度重建值获得。
8.根据权利要求1所述的方法,其中,所述利用所述候选色度预测值,确定第二色度帧内预测模式中目标系数的系数值包括:
利用所述第二色度帧内预测模式对应的线性模型、所述编码块中的像素对应的色度真实值以及所述候选色度预测值,构建色度残差矩阵的表达式;所述线性模型中包括所述目标系数,所述色度残差矩阵中的元素用于表示所述色度真实值与所述第二色度帧内预测模式对应的色度预测值之间的差值;
利用所述色度残差矩阵的表达式,确定所述系数值。
9.根据权利要求8所述的方法,其中,所述利用所述色度残差矩阵的表达式,确定所述系数值包括:
基于所述色度残差矩阵的表达式,构建用于计算所述色度残差矩阵中的元素平方和的误差平方和的表达式;所述误差平方和的表达式中包括所述目标系数;
确定所述误差平方和的表达式取极小值时所述目标系数的取值;
基于所述误差平方和的表达式取极小值时所述目标系数的取值,确定所述系数值。
10.根据权利要求2所述的方法,其中,所述在多种色度帧内预测模式中确定目标色度帧内预测模式包括:
针对所述编码块中的像素的蓝色色度分量,确定所述目标色度帧内预测模式。
11.根据权利要求2所述的方法,其中,所述在多种色度帧内预测模式中确定目标色度帧内预测模式包括:
针对所述编码块中的像素的红色色度分量,确定所述目标色度帧内预测模式。
12.一种图像编码方法,包括:
针对待编码图像中的编码块,使用第一色度帧内预测模式确定所述编码块中的像素对应的候选色度预测值;
利用所述候选色度预测值,确定第二色度帧内预测模式中目标系数的系数值,所述第二色度帧内预测模式用于根据像素的亮度值预测色度值;
在多种色度帧内预测模式中确定目标色度帧内预测模式;所述多种色度帧内预测模式中至少包括确定系数值后的第二色度帧内预测模式;
依据所述目标色度帧内预测模式,对所述编码块进行编码处理。
13.一种图像解码方法,包括:
解码通过对目标图像进行编码获得的数据流,确定在对所述目标图像中的编码块进行编码时所依据的目标色度帧内预测模式;所述目标色度帧内预测模式在包括确定系数值后的第一色度帧内预测模式的多种色度帧内预测模式中确定,所述第一色度帧内预测模式用于根据像素的亮度值预测色度值;所述第一色度帧内预测模式中目标系数的系数值依据所述编码块中的像素对应的候选色度预测值获得,所述候选色度预测值使用第二色度帧内预测模式对所述编码块进行色度预测获得;
至少依据所述目标色度帧内预测模式,构建所述目标图像对应的重建图像。
14.一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器在执行所述计算机程序时实现权利要求1-13中任一项所述的方法。
15.一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-13中任一项所述的方法。
CN202211678831.5A 2022-12-26 2022-12-26 帧内预测模式的确定、图像编码以及图像解码方法 Pending CN115988223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211678831.5A CN115988223A (zh) 2022-12-26 2022-12-26 帧内预测模式的确定、图像编码以及图像解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211678831.5A CN115988223A (zh) 2022-12-26 2022-12-26 帧内预测模式的确定、图像编码以及图像解码方法

Publications (1)

Publication Number Publication Date
CN115988223A true CN115988223A (zh) 2023-04-18

Family

ID=85957477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211678831.5A Pending CN115988223A (zh) 2022-12-26 2022-12-26 帧内预测模式的确定、图像编码以及图像解码方法

Country Status (1)

Country Link
CN (1) CN115988223A (zh)

Similar Documents

Publication Publication Date Title
US9699458B2 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
WO2022104498A1 (zh) 帧内预测方法、编码器、解码器以及计算机存储介质
US10368071B2 (en) Encoding data arrays
BR112014010885B1 (pt) Método e dispositivo para otimizar a codificação/decodificação de deslocamentos de compensação para um conjunto de amostras reconstruídas de uma imagem e meio de armazenamento legível por computador para implementação de tal método
WO2021004153A1 (zh) 图像预测方法、编码器、解码器以及存储介质
JP2009027698A (ja) 画像フレームの非フレームエッジブロックの表現における改良された圧縮
WO2021139572A1 (zh) 编码方法、解码方法、编码器、解码器以及存储介质
US10542277B2 (en) Video encoding
WO2022052533A1 (zh) 编码方法、解码方法、编码器、解码器以及编码系统
JP2024503193A (ja) フレーム内予測方法、装置、及びデコーダとエンコーダ
WO2021134635A1 (zh) 变换方法、编码器、解码器以及存储介质
WO2022067805A1 (zh) 图像预测方法、编码器、解码器以及计算机存储介质
WO2022022622A1 (zh) 图像编码方法、图像解码方法及相关装置
CN115988223A (zh) 帧内预测模式的确定、图像编码以及图像解码方法
WO2024140682A1 (zh) 帧内预测模式的确定、图像编码以及图像解码方法
WO2021134327A1 (zh) 变换方法、编码器、解码器以及存储介质
CN107667529B (zh) 用于有效地对数据进行嵌入式压缩的方法、装置和计算机可读记录介质
CN113395520A (zh) 解码预测方法、装置及计算机存储介质
CN116347089B (zh) Jpeg图像处理方法及其装置、电子设备、存储介质
WO2023193254A1 (zh) 解码方法、编码方法、解码器以及编码器
WO2022266971A1 (zh) 编解码方法、编码器、解码器以及计算机存储介质
CN112313950A (zh) 视频图像分量的预测方法、装置及计算机存储介质
WO2022217442A1 (zh) 系数编解码方法、编码器、解码器以及计算机存储介质
US20220046231A1 (en) Video encoding/decoding method and device
WO2024007120A1 (zh) 编解码方法、编码器、解码器以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination