CN112839234B - 屏幕内容编码标准帧内图像码率的估计方法 - Google Patents

Abstract

一种屏幕内容编码标准帧内图像码率的估计方法，由确定视频图像纹理特征、确定视频图像颜色特征、确定图像类型、获得纹理简单图像模型参数、估计纹理简单图像码率、获得纹理复杂图像模型参数、估计纹理复杂图像码率步骤组成。由于本发明采用确定图像类型步骤、获得纹理简单图像模型参数步骤、估计纹理简单图像码率步骤、获得纹理复杂图像模型参数步骤、估计纹理复杂图像码率步骤，考虑了屏幕内容视频图像内容的纹理特征和颜色特征，解决了估计视频编码比特数的方法需要部分编码的方式来预测最终编码完毕的比特数、复杂度较高的技术问题。本发明具有码率估计准确、模型参数计算简单等优点，可用于视频编码、视频通信等技术领域。

Description

屏幕内容编码标准帧内图像码率的估计方法

技术领域

本发明涉及视频编码技术领域，具体涉及到屏幕视频标准帧内图像编码码率的估计方法。

背景技术

随着计算机技术和多媒体技术的快速发展，屏幕内容视频逐渐出现在人们的生活中。所谓的屏幕内容一般指信息终端设备的屏幕上显示的内容，通过录制屏幕生成屏幕内容视频。通常包括文本、图形、图表和图标等由计算机生成的图像内容，以及摄像机拍摄的自然图像内容，属于自然和计算机生成图像混合形成的一类视频。屏幕内容视频在教育、医疗、交通等领域已经得到了广泛应用，例如在线直播教学、远程医疗和路况监控系统等。考虑屏幕内容视频的内容特性，在高效视频编码标准的基础上，出现了HEVC针对屏幕内容视频的扩展标准，简称屏幕内容编码(SCC)。SCC的目的是在满足传输带宽的要求下提供具有更高质量的重建视频，在保证重建视频质量的前提下，尽可能地压缩存储或传输视频所需要的比特数。因此估计SCC编码后的比特数对于后续的拉格朗日率失真优化、码率控制、以及重建视频的质量评估具有重要的意义。

视频图像的真实编码比特数在编码完成后才可以获得，因此估计视频编码比特数的方法往往需要部分编码的方式来预测最终编码完毕的比特数，该方法主要采用量化后的变换系数、熵编码信息、预测信息等特征得到图像的码率估计值。但是这种方法由于需要部分编码操作，复杂度较高，对于实时性要求较高的应用，例如在线直播教育和远程实时医疗等应用不适用。

屏幕内容视频与自然视频在图像内容特性上具有较大不同。例如计算机生成的屏幕内容通常为包含较少的颜色，甚至会出现单色的线条，其区域的边缘也比较锋利，运动的变化通常不连续不规则等。因此现有的针对自然视频内容的码率估计方法并不适用于SCC。

SCC引入了一些新的编码技术，例如帧内块拷贝模式、调色板模式、自适应颜色变换等，这些新的编码技术要求需要针对SCC研究对应的码率估计方法。而通过检索发现目前还未见可以有效估计屏幕内容编码标准帧内图像码率的方法。

发明内容

本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种码率估计准确、模型参数计算简单、高效的屏幕内容编码标准帧内图像码率的估计方法。

解决上述技术问题所采用的技术方案是由下述步骤组成：

(1)确定视频图像纹理特征

1)确定视频图像分量标准差

输入视频，视频图像的帧宽为N₁帧高为N₂，按照块划分方式对视频图像进行划分，每一个视频图像块为一个基本单元，基本单元的宽和高为w，根据已知的确定图像标准差的方法，按式(1)确定视频图像亮度分量Y、色度分量Cb、色度分量Cr的标准差，每个视频图像亮度分量Y、色度分量Cb、色度分量Cr的每个基本单元的标准差按式(2)确定；当视频图像的第k个基本单元在色度分量Cb和色度分量Cr上的标准差满足式(3)判定其为颜色复杂块：

S(f,c,k)≥t(c) (3)

其中S(f,c)表示视频第f幅帧内图像第c个分量的标准差值，S(f,c,k)表示第f幅帧内图像第c个分量中第k个基本单元标准差值，分量c取1代表亮度分量Y、分量c取2代表色度分量Cb、分量c取3代表色度分量Cr，x(f,c,k,e)表示第f幅帧内图像第c个分量中第k个基本单元中第e个像素的像素值，t(c)表示第c个色度分量判断颜色复杂块的标准差阈值参数，其中色度分量Cb取值为6，色度分量Cr取值为8，f、k、e为有限的正整数，int()为下取整函数。

2)确定分量的对比度特征

将视频帧内图像的亮度分量Y、色度分量Cb、色度分量Cr围绕边界进行扩展，填充的行数和列数均为1，填充像素值与分量边界像素值相同，填充后分量的行数为N₂+2，列数为N₁+2；根据已知的确定图像对比度的方法，按式(4)得到视频帧内图像的亮度分量Y、色度分量Cb、色度分量Cr的对比度值，每个视频帧内图像的亮度分量Y、色度分量Cb、色度分量Cr分别按式(5)确定第f幅帧内图像第c个分量上每个像素值与周围8临近像素值之差的平方和：

其中D(f,c)表示视频第f幅帧内图像第c个分量的对比度值，K(f,c)表示第f幅帧内图像第c个分量上每个像素值与周围8临近像素值之差的平方和，x(f,c,i,j)第f幅帧内图像第c个分量中第i行第j列的像素值。

3)确定分量梯度特征

按式(6)、(7)、(8)确定视频图像亮度分量Y的梯度值矩阵、色度分量Cb的梯度值矩阵、色度分量Cr的梯度值矩阵：

其中T(X_c)表示第c个分量的视频图像的梯度值矩阵，T_x(X_c)和T_y(X_c)表示水平和垂直方向的梯度值矩阵，X_c表示第c个分量的视频图像的像素值矩阵，

表示卷积运算。

4)用标准差均值、对比度均值、梯度均值确定视频图像纹理特征

按式(9)得视频图像亮度分量Y、色度分量Cb、色度分量Cr的标准差均值

按式(10)得视频图像亮度分量Y、色度分量Cb、色度分量Cr的对比度均值

按式(11)得视频图像亮度分量Y、色度分量Cb、色度分量Cr的梯度均值

其中N_c表示视频图像第c个分量的像素总数。

(2)确定视频图像颜色特征

1)确定色度分量复杂块比例和

按式(12)确定视频图像色度分量的复杂块所占比例和P(f)；按式(13)确定色度分量Cb和色度分量Cr上复杂块所占比例P(f,c)：

P(f)＝P(f,2)+P(f,3) (12)

其中M(c)为统计的视频帧内图像中色度分量Cb和色度分量Cr上的颜色复杂块个数。

2)确定色度分量颜色等级数量和

用式(14)确定色度分量Cb和色度分量Cr的颜色等级数量和，用式(15)确定每个色度分量上满足条件的颜色等级总数，统计色度分量Cb、色度分量Cr的像素直方图，按式(16)判断色度分量c中颜色等级r所包含像素数是否大于0.0005N₁×N₂：

Q(f)＝Q(f,2)+Q(f,3) (14)

Q(f,c,r)＝1|H(f,c,r)＞0.0005N₁×N₂ (16)

其中Q(f)表示视频第f幅帧内图像色度分量Cb和色度分量Cr满足条件的颜色等级数量和，Q(f,c)表示统计视频第f幅帧内图像第c个分量满足式(16)的颜色等级总数，Q(f,c,r)表示视频第f幅帧内图像第c个分量中颜色等级r包含的像素数是否大于0.0005N₁×N₂，若满足则设其值为1，不满足则其值为0，H(f,c,r)表示视频第f幅帧内图像色度分量Cb和色度分量Cr第r个颜色等级所对应的像素个数，l表示颜色等级总数。

(3)确定图像类型

第f幅帧内图像满足

此图像被分类为纹理复杂图像，否则判定为纹理简单图像，其中Z_s为复杂度分类阈值参数，Z_s∈[20,25]。

(4)获得纹理简单图像模型参数

对于纹理简单图像，按式(17)和式(18)分别获得用于码率估计的模型参数α和模型参数θ₁：

其中p₁，p₂，p₃，p₄，p₅，p₆，p₇，p₈为模型参数，p₁∈[-1370,-1365]，p₂∈[-275，-270]，p₃∈[925,930]，p₄∈[-100，-90]，p₅∈[-10，-2]，p₆∈(0,0.7]，p₇∈[-0.05,0)p₈∈(0，0.0001]。

(5)估计纹理简单图像码率

按式(19)得到纹理简单图像的第一种码率估计值R_s,bpp,rec，第一种码率估计值R_s,bpp,rec的单位是像素每比特：

其中QP表示用于编码的量化参数。

按式(20)得到纹理简单图像的第二种码率估计值R_s,bit,rec，第二种码率估计值R_s,bit,rec的单位是比特：

(6)获得纹理复杂图像模型参数

对于纹理复杂图像，按式(21)和式(22)分别获得用于码率估计的两个模型参数β和θ₂：

其中q₁，q₂，q₃，q₄，q₅，q₆，q₇为模型参数，q₁∈[1,26]，q₂∈[-1,0)，q₃∈[0.001,0.007]，q₄∈(0,0.002]，q₅∈[-0.1,0)，q₆∈[-2×10^-10,0)，q₇∈(0,0.00002]。

(7)估计纹理复杂图像码率

按式(23)得到纹理复杂图像的第一种码率估计值R_o,bpp,rec，第一种码率估计值R_o,bpp,rec的单位是像素每比特：

R_o,bpp,rec＝βexp(θ₂QP) (23)

其中exp()是以自然常数e为底的指数函数。

按式(24)得到纹理复杂图像的第二种码率估计值R_o,bit,rec，第二种码率估计值R_o,bit,rec的单位是比特：

R_o,bit,rec＝N₁×N₂×βexp(θ₂QP) (24)

在本发明的确定图像类型步骤(3)中所述的Z_s最佳取值为22。

在本发明的获得纹理简单图像模型参数步骤(4)中，所述的p₁最佳取值为-1368.73，p₂最佳取值为-272.17，p₃最佳取值为927,44，p₄最佳取值为-96.02，p₅最佳取值为-6.00，p₆最佳取值为0.38，p₇最佳取值为-0.03，p₈最佳取值为0.000071。

在本发明的获得纹理复杂图像模型参数步骤(6)中，q₁最佳取值为13.71，q₂最佳取值为-0.403，q₃最佳取值为0.003，q₄最佳取值为0.001，q₅最佳取值为-0.05，q₆最佳取值为-0.915×10^-10，q₇最佳取值为0.000006。

由于本发明采用确定图像类型步骤、获得纹理简单图像模型参数步骤、估计纹理简单图像码率步骤、获得纹理复杂图像模型参数步骤、估计纹理复杂图像码率步骤，考虑了屏幕内容视频图像内容的纹理特征和颜色特征，解决了估计视频编码比特数的方法需要部分编码的方式来预测最终编码完毕的比特数、复杂度较高的技术问题。本发明具有码率估计准确、模型参数计算简单等优点，可用于视频编码、视频通信等技术领域。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下述的实施例。

实施例1

本实施例的屏幕内容编码标准帧内图像码率的估计方法由以下步骤组成(参见图1)：

(1)确定视频图像纹理特征

1)确定视频图像分量标准差

输入视频，视频图像的帧宽为N₁帧高为N₂，按照块划分方式对视频图像进行划分，每一个视频图像块为一个基本单元，基本单元的宽和高为w，根据已知的确定图像标准差的方法，按式(1)确定视频图像亮度分量Y、色度分量Cb、色度分量Cr的标准差，每个视频图像亮度分量Y、色度分量Cb、色度分量Cr的每个基本单元的标准差按式(2)确定；当视频图像的第k个基本单元在色度分量Cb和色度分量Cr上的标准差满足式(3)判定其为颜色复杂块：

S(f,c,k)≥t(c) (3)

其中S(f,c)表示视频第f幅帧内图像第c个分量的标准差值，S(f,c,k)表示第f幅帧内图像第c个分量中第k个基本单元标准差值，分量c取1代表亮度分量Y、分量c取2代表色度分量Cb、分量c取3代表色度分量Cr，x(f,c,k,e)表示第f幅帧内图像第c个分量中第k个基本单元中第e个像素的像素值，t(c)表示第c个色度分量判断颜色复杂块的标准差阈值参数，其中色度分量Cb取值为6，色度分量Cr取值为8，f、k、e为有限的正整数，int()为下取整函数，本实施例的f取值为1。

2)确定分量的对比度特征

将视频帧内图像的亮度分量Y、色度分量Cb、色度分量Cr围绕边界进行扩展，填充的行数和列数均为1，填充像素值与分量边界像素值相同，填充后分量的行数变为N₂+2，列数变为N₁+2；根据已知的求解图像对比度的方法，按式(4)得到视频帧内图像的亮度分量Y、色度分量Cb、色度分量Cr的对比度值，每个视频帧内图像的亮度分量Y、色度分量Cb、色度分量Cr分别按式(5)确定第f幅帧内图像第c个分量上每个像素值与周围8临近像素值之差的平方和：

其中D(f,c)表示视频第f幅帧内图像第c个分量的对比度值，K(f,c)表示第f幅帧内图像第c个分量上每个像素值与周围8临近像素值之差的平方和，x(f,c,i,j)第f幅帧内图像第c个分量中第i行第j列的像素值。

3)确定分量梯度特征

按式(6)、(7)、(8)确定视频图像亮度分量Y的梯度值矩阵、色度分量Cb的梯度值矩阵、色度分量Cr的梯度值矩阵：

其中T(X_c)表示第c个分量的视频图像的梯度值矩阵，T_x(X_c)和T_y(X_c)表示水平和垂直方向的梯度值矩阵，X_c表示第c个分量的视频图像的像素值矩阵，

表示卷积运算。

4)用标准差均值、对比度均值、梯度均值确定视频图像纹理特征

按式(9)得视频图像亮度分量Y、色度分量Cb、色度分量Cr的标准差均值

按式(10)得视频图像亮度分量Y、色度分量Cb、色度分量Cr的对比度均值

按式(11)得视频图像亮度分量Y、色度分量Cb、色度分量Cr的梯度均值

其中N_c表示视频图像第c个分量的像素总数。

(2)确定视频图像颜色特征

1)确定色度分量复杂块比例和

按式(12)确定视频图像色度分量的复杂块所占比例和P(f)；按式(13)确定色度分量Cb和色度分量Cr上复杂块所占比例P(f,c)：

P(f)＝P(f,2)+P(f,3) (12)

其中M(c)为统计的视频帧内图像中色度分量Cb和色度分量Cr上的颜色复杂块个数。

2)确定色度分量颜色等级数量和

用式(14)确定色度分量Cb和色度分量Cr的颜色等级数量和，用式(15)确定每个色度分量上满足条件的颜色等级总数，统计色度分量Cb、色度分量Cr的像素直方图，按式(16)判断色度分量c中颜色等级r所包含像素数是否大于0.0005N₁×N₂：

Q(f)＝Q(f,2)+Q(f,3) (14)

Q(f,c,r)＝1|H(f,c,r)＞0.0005N₁×N₂ (16)

其中Q(f)表示视频第f幅帧内图像色度分量Cb和色度分量Cr满足条件的颜色等级数量和，Q(f,c)表示统计视频第f幅帧内图像第c个分量满足式(16)的颜色等级总数，Q(f,c,r)表示视频第f幅帧内图像第c个分量中颜色等级r包含的像素数是否大于0.0005N₁×N₂，若满足则设其值为1，不满足则其值为0，H(f,c,r)表示视频第f幅帧内图像色度分量Cb和色度分量Cr第r个颜色等级所对应的像素个数，l表示颜色等级总数，本实施例的l取值为256，通过确定色度分量颜色等级数量和，可以表征屏幕内容视频图像的颜色分布特征。

(3)确定图像类型

第f幅帧内图像满足

此图像被分类为纹理复杂图像，否则判定为纹理简单图像，其中Z_s为复杂度分类阈值参数，Z_s∈[20,25]，本实施例Z_S取值为22。

(4)获得纹理简单图像模型参数

对于纹理简单图像，按式(17)和式(18)分别获得用于码率估计的模型参数α和模型参数θ₁：

其中p₁，p₂，p₃，p₄，p₅，p₆，p₇，p₈为模型参数，p₁∈[-1370,-1365]，p₂∈[-275，-270]，p₃∈[925,930]，p₄∈[-100，-90]，p₅∈[-10，-2]，p₆∈(0,0.7]，p₇∈[-0.05,0)p₈∈(0，0.0001]。本实施例p₁取值为-1368.73，p₂取值为-272.17，p₃取值为927,44，p₄取值为-96.02，p₅取值为-6.00，p₆取值为0.38，p₇取值为-0.03，p₈取值为0.000071。

(5)估计纹理简单图像码率

按式(19)得到纹理简单图像的第一种码率估计值R_s,bpp,rec，第一种码率估计值R_s,bpp,rec的单位是像素每比特：

其中QP表示用于编码的量化参数，本实施例中每个视频帧内图像QP取值分别为12,17,22,27,32,37。

按式(20)得到纹理简单图像的第二种码率估计值R_s,bit,rec，第二种码率估计值R_s,bit,rec的单位是比特：

(6)获得纹理复杂图像模型参数

对于纹理复杂图像，按式(21)和式(22)分别获得用于码率估计的两个模型参数β和θ₂：

其中q₁，q₂，q₃，q₄，q₅，q₆，q₇为模型参数，q₁∈[1,26]，q₂∈[-1,0)，q₃∈[0.001,0.007]，q₄∈(0,0.002]，q₅∈[-0.1,0)，q₆∈[-2×10^-10,0)，q₇∈(0,0.00002]。本实施例q₁取值为13.71，q₂取值为-0.403，q₃取值为0.003，q₄取值为0.001，q₅取值为-0.05，q₆取值为-0.915×10^-10，q₇取值为0.000006。

(7)估计纹理复杂图像码率

按式(23)得到纹理复杂图像的第一种码率估计值R_o,bpp,rec，第一种码率估计值R_o,bpp,rec的单位是像素每比特：

R_o,bpp,rec＝βexp(θ₂QP) (23)

其中exp()是以自然常数e为底的指数函数。

按式(24)得到纹理复杂图像的第二种码率估计值R_o,bit,rec，第二种码率估计值R_o,bit,rec的单位是比特：

R_o,bit,rec＝N₁×N₂×βexp(θ₂QP) (24)

完成屏幕内容编码标准帧内图像码率的估计方法。

实施例2

本实施例的屏幕内容编码标准帧内图像码率的估计方法由以下步骤组成：

(1)确定视频图像纹理特征

该步骤与实施例1相同。

(2)确定视频图像颜色特征

该步骤与实施例1相同。

(3)确定图像类型

第f幅帧内图像满足

此图像被分类为纹理复杂图像，否则判定为纹理简单图像，其中Z_s为复杂度分类阈值参数，Z_s∈[20,25]，本实施例Z_s取值为20。

(4)获得纹理简单图像模型参数

对于纹理简单图像，按式(17)和式(18)分别获得用于码率估计的模型参数α和模型参数θ₁：

其中p₁，p₂，p₃，p₄，p₅，p₆，p₇，p₈为模型参数，p₁∈[-1370,-1365]，p₂∈[-275，-270]，p₃∈[925,930]，p₄∈[-100，-90]，p₅∈[-10，-2]，p₆∈(0,0.7]，p₇∈[-0.05,0)p₈∈(0，0.0001]。本实施例p₁取值为-1370，p₂取值为-275，p₃取值为925，p₄取值为-100，p₅取值为-10，p₆取值为0.2，p₇取值为-0.05，p₈取值为0.00001。

(5)估计纹理简单图像码率

该步骤与实施例1相同。

(6)获得纹理复杂图像模型参数

对于纹理复杂图像，按式(21)和式(22)分别获得用于码率估计的两个模型参数β和θ₂：

其中q₁，q₂，q₃，q₄，q₅，q₆，q₇为模型参数，q₁∈[1,26]，q₂∈[-1,0)，q₃∈[0.001,0.007]，q₄∈(0,0.002]，q₅∈[-0.1,0)，q₆∈[-2×10^-10,0)，q₇∈(0,0.00002]。本实施例q₁取值为1，q₂取值为-1，q₃取值为0.001，q₄取值为0.0001，q₅取值为-0.1，q₆取值为-2×10^-10，q₇取值为0.000001。

(7)估计纹理复杂图像码率

该步骤与实施例1相同。

完成屏幕内容编码标准帧内图像码率的估计方法。

实施例3

本实施例的屏幕内容编码标准帧内图像码率的估计方法由以下步骤组成：

(1)确定视频图像纹理特征

该步骤与实施例1相同。

(2)确定视频图像颜色特征

该步骤与实施例1相同。

(3)确定图像类型

第f幅帧内图像满足

此图像被分类为纹理复杂图像，否则判定为纹理简单图像，其中Z_s为复杂度分类阈值参数，Z_s∈[20,25]，本实施例Z_s取值为25。

(4)获得纹理简单图像模型参数

对于纹理简单图像，按式(17)和式(18)分别获得用于码率估计的模型参数α和模型参数θ₁：

其中p₁，p₂，p₃，p₄，p₅，p₆，p₇，p₈为模型参数，p₁∈[-1370,-1365]，p₂∈[-275，-270]，p₃∈[925,930]，p₄∈[-100，-90]，p₅∈[-10，-2]，p₆∈(0,0.7]，p₇∈[-0.05,0)p₈∈(0，0.0001]。本实施例p₁取值为-1365，p₂取值为-270，p₃取值为930，p₄取值为-90，p₅取值为-2，p₆取值为0.7，p₇取值为-0.01，p₈取值为0.0001。

(5)估计纹理简单图像码率

该步骤与实施例1相同。

(6)获得纹理复杂图像模型参数

对于纹理复杂图像，按式(21)和式(22)分别获得用于码率估计的两个模型参数β和θ₂：

其中q₁，q₂，q₃，q₄，q₅，q₆，q₇为模型参数，q₁∈[1,26]，q₂∈[-1,0)，q₃∈[0.001,0.007]，q₄∈(0,0.002]，q₅∈[-0.1,0)，q₆∈[-2×10^-10,0)，q₇∈(0,0.00002]。本实施例q₁取值为26，q₂取值为-0.1，q₃取值为0.007，q₄取值为0.002，q₅取值为-0.01，q₆取值为-1×10^-10，q₇取值为0.00002。

(7)估计纹理复杂图像码率

该步骤与实施例1相同。

完成屏幕内容编码标准帧内图像码率的估计方法。

为了验证本发明的有益效果，发明人采用本发明实施例1的方法对屏幕内容编码标准国际制定组织推荐的4个标准视频，车内人员与数据表(PeopleInVehicle_Spreadsheet)、任务控制剪切3(MissionControlClip3)、电路布局展示(CircuitLayoutPresentation)、英语文件编辑(EnglishDocumentEditing)进行了实验，实验如下：

选择屏幕内容编码标准国际制定组织推荐的编码器HM16.17+SCM8.6，在量化参数QP分别设置为12、17、22、27、32、37，编码视频的第一幅图像，第一幅图像类型为帧内图像，编码后即可获得图像的真实码率值。使用本发明实施例1的方法得到不同视频在不同量化参数设置下的估计码率值。

方法运行的主要软硬件环境为：Windows 10操作系统，内存8.00GB。

采用式(25)、(26)所示的PR_s,bpp、PR_s,bit分别衡量本发明实施例1的方法对于纹理简单图像在像素每比特bpp、比特bit两个指标下的码率估计准确度：

其中R_s,bpp,real、R_s,bit,real分别表示HM16.17+SCM8.6编码完纹理简单图像后得到的图像真实的像素每比特bpp、比特bit。

采用式(27)、(28)所示的PR_o,bpp、PR_o,bit分别衡量本发明实施例1的方法对于纹理复杂图像在像素每比特bpp、比特bit两个指标下的码率估计准确度：

其中R_o,bpp,real、R_o,bit,real分别表示HM16.17+SCM8.6编码完纹理复杂图像后得到的图像真实的像素每比特bpp、比特bit。

从式(19)(20)和(23)(24)可以看出，两个码率指标像素每比特bpp、比特bit之间是等比例换算关系，对于同样的一幅视频图像在同样的量化参数设置下，本发明实施例1的方法在像素每比特bpp、比特bit两个指标下对应的两个码率估计准确度是一样的，即PR_s,bpp＝PR_s,bit，PR_o,bpp＝PR_o,bit。

采用运行时间评判方法的复杂度，如式(29)、(30)所示，采用RTB_s,bpp、RTB_s,bit分别衡量本发明实施例1的方法对于纹理简单图像在像素每比特bpp、比特bit两个指标下估计码率值时的复杂度变化。

其中RT_s,bpp,real、RT_s,bit,real分别表示HM16.17+SCM8.6编码完纹理简单图像后得到的图像真实像素每比特bpp、比特bit需要运行的时间，RT_s,bpp、RT_s,bit分别表示本发明实施例1的方法得到的纹理简单图像像素每比特bpp、比特bit估计值需要运行的时间。

如式(31)、(32)所示，采用RTB_o,bpp、RTB_o,bit分别衡量本发明实施例1的方法对于纹理复杂图像在像素每比特bpp、比特bit两个指标下估计码率值时的复杂度变化。

其中RT_o,bpp,real、RT_o,bit,real分别表示HM16.17+SCM8.6编码完纹理复杂图像后得到的图像真实像素每比特bpp、比特bit需要运行的时间，RT_o,bpp、RT_o,bit分别表示本发明实施例1的方法得到的纹理复杂图像像素每比特bpp、比特bit估计值需要运行的时间。

使用实施例1的方法，对车内人员与数据表、任务控制剪切3、电路布局展示、英语文件编辑进行图像类型判断，车内人员与数据表和任务控制剪切3的第一幅图像被判定为纹理简单图像，而电路布局展示和英语文件编辑的第一幅图像被判定为纹理复杂图像，实验结果见表1、2。

表1纹理简单图像对应的码率估计准确度

由表1可见，对于纹理简单的图像，本发明实施例1的方法对应的PR_s,bpp、PR_s,bit都为10.78％，即估计的码率值与真实的码率值之间只有10.78％的偏差，说明本发明实施例1的方法能准确地得到图像码率估计值。对于纹理简单图像，本发明实施例1的方法对应的RTB_s,bpp、RTB_s,bit分别为96.077％、96.092％，即与HM16.17+SCM8.6实际编码运行的时间相比，本发明实施例1的方法减少了超过96％的运行时间，大大降低了运算复杂度。

表2纹理复杂图像对应的码率估计准确度

由表2可见，实验数据也能得到表1类似结论，对于纹理复杂的图像，本发明实施例1的方法对应的PR_o,bpp、PR_o,bit都为5.65％，即估计的码率值与真实的码率值之间只有5.65％的偏差，本发明实施例1的方法可以准确估计纹理复杂图像码率的同时显著降低算法的运算复杂度。

Claims (4)

1.一种屏幕内容编码标准帧内图像码率的估计方法，其特征在于由下述步骤组成：

(1)确定视频图像纹理特征

1)确定视频图像分量标准差

输入视频，视频图像的帧宽为N₁帧高为N₂，按照块划分方式对视频图像进行划分，每一个视频图像块为一个基本单元，基本单元的宽和高为w，按式(1)确定视频图像亮度分量Y、色度分量Cb、色度分量Cr的标准差，每个视频图像亮度分量Y、色度分量Cb、色度分量Cr的每个基本单元的标准差按式(2)确定；当视频图像的第k个基本单元在色度分量Cb和色度分量Cr上的标准差满足式(3)判定其为颜色复杂块：

S(f,c,k)≥t(c) (3)

其中S(f,c)表示视频第f幅帧内图像第c个分量的标准差值，S(f,c,k)表示第f幅帧内图像第c个分量中第k个基本单元标准差值，分量c取1代表亮度分量Y、分量c取2代表色度分量Cb、分量c取3代表色度分量Cr，x(f,c,k,e)表示第f幅帧内图像第c个分量中第k个基本单元中第e个像素的像素值，t(c)表示第c个色度分量判断颜色复杂块的标准差阈值参数，其中色度分量Cb取值为6，色度分量Cr取值为8，f、k、e为有限的正整数，int()为下取整函数；

2)确定分量的对比度特征

将视频帧内图像的亮度分量Y、色度分量Cb、色度分量Cr围绕边界进行扩展，填充的行数和列数均为1，填充像素值与分量边界像素值相同，填充后分量的行数为N₂+2，列数为N₁+2；按式(4)得到视频帧内图像的亮度分量Y、色度分量Cb、色度分量Cr的对比度值，每个视频帧内图像的亮度分量Y、色度分量Cb、色度分量Cr分别按式(5)确定第f幅帧内图像第c个分量上每个像素值与周围8临近像素值之差的平方和：

其中D(f,c)表示视频第f幅帧内图像第c个分量的对比度值，K(f,c)表示第f幅帧内图像第c个分量上每个像素值与周围8临近像素值之差的平方和，x(f,c,i,j)表示第f幅帧内图像第c个分量中第i行第j列的像素值；

3)确定分量梯度特征

按式(6)、(7)、(8)确定视频图像亮度分量Y的梯度值矩阵、色度分量Cb的梯度值矩阵、色度分量Cr的梯度值矩阵：

其中T(X_c)表示第c个分量的视频图像的梯度值矩阵，T_x(X_c)和T_y(X_c)表示水平和垂直方向的梯度值矩阵，X_c表示第c个分量的视频图像的像素值矩阵，

表示卷积运算；

4)用标准差均值、对比度均值、梯度均值确定视频图像纹理特征

按式(9)得视频图像亮度分量Y、色度分量Cb、色度分量Cr的标准差均值

按式(10)得视频图像亮度分量Y、色度分量Cb、色度分量Cr的对比度均值

按式(11)得视频图像亮度分量Y、色度分量Cb、色度分量Cr的梯度均值

其中N_c表示视频图像第c个分量的像素总数；

(2)确定视频图像颜色特征

1)确定色度分量复杂块比例和

按式(12)确定视频图像色度分量的复杂块所占比例和P(f)；按式(13)确定色度分量Cb和色度分量Cr上复杂块所占比例P(f,c)：

P(f)＝P(f,2)+P(f,3) (12)

其中M(c)为统计的视频帧内图像中色度分量Cb和色度分量Cr上的颜色复杂块个数；

2)确定色度分量颜色等级数量和

用式(14)确定色度分量Cb和色度分量Cr的颜色等级数量和，用式(15)确定每个色度分量上满足条件的颜色等级总数，统计色度分量Cb、色度分量Cr的像素直方图，按式(16)判断色度分量c中颜色等级r所包含像素数是否大于0.0005N₁×N₂：

Q(f)＝Q(f,2)+Q(f,3) (14)

Q(f,c,r)＝1，H(f,c,r)＞0.0005N₁×N₂ (16)

其中Q(f)表示视频第f幅帧内图像色度分量Cb和色度分量Cr满足条件的颜色等级数量和，Q(f,c)表示统计视频第f幅帧内图像第c个分量满足式(16)的颜色等级总数，Q(f,c,r)表示视频第f幅帧内图像第c个分量中颜色等级r包含的像素数是否大于0.0005N₁×N₂，若满足则设其值为1，不满足则其值为0，H(f,c,r)表示视频第f幅帧内图像色度分量Cb和色度分量Cr第r个颜色等级所对应的像素个数，l表示颜色等级总数；

(3)确定图像类型

第f幅帧内图像满足

此图像被分类为纹理复杂图像，否则判定为纹理简单图像，其中Z_s为复杂度分类阈值参数，Z_s∈[20,25]；

(4)获得纹理简单图像模型参数

对于纹理简单图像，按式(17)和式(18)分别获得用于码率估计的模型参数α和模型参数θ₁：

其中p₁，p₂，p₃，p₄，p₅，p₆，p₇，p₈为模型参数，p₁∈[-1370,-1365]，p₂∈[-275，-270]，p₃∈[925,930]，p₄∈[-100，-90]，p₅∈[-10，-2]，p₆∈(0,0.7]，p₇∈[-0.05,0)p₈∈(0，0.0001]；

(5)估计纹理简单图像码率

按式(19)得到纹理简单图像的第一种码率估计值R_s,bpp,rec，第一种码率估计值R_s,bpp,rec的单位是像素每比特：

其中QP表示用于编码的量化参数；

按式(20)得到纹理简单图像的第二种码率估计值R_s,bit,rec，第二种码率估计值R_s,bit,rec的单位是比特：

(6)获得纹理复杂图像模型参数

对于纹理复杂图像，按式(21)和式(22)分别获得用于码率估计的两个模型参数β和θ₂：

其中q₁，q₂，q₃，q₄，q₅，q₆，q₇为模型参数，q₁∈[1,26]，q₂∈[-1,0)，q₃∈[0.001,0.007]，q₄∈(0,0.002]，q₅∈[-0.1,0)，q₆∈[-2×10^-10,0)，q₇∈(0,0.00002]；

(7)估计纹理复杂图像码率

按式(23)得到纹理复杂图像的第一种码率估计值R_o,bpp,rec，第一种码率估计值R_o,bpp,rec的单位是像素每比特：

R_o,bpp,rec＝βexp(θ₂QP) (23)

其中exp()是以自然常数e为底的指数函数；

按式(24)得到纹理复杂图像的第二种码率估计值R_o,bit,rec，第二种码率估计值R_o,bit,rec的单位是比特：

R_o,bit,rec＝N₁×N₂×βexp(θ₂QP) (24)。

2.根据权利要求1所述的屏幕内容编码标准帧内图像码率的估计方法，其特征在于：在确定图像类型步骤(3)中，所述的Z_s取值为22。

3.根据权利要求1所述的屏幕内容编码标准帧内图像码率的估计方法，其特征在于：在获得纹理简单图像模型参数步骤(4)中，所述的p₁取值为-1368.73，p₂取值为-272.17，p₃取值为927.44，p₄取值为-96.02，p₅取值为-6.00，p₆取值为0.38，p₇取值为-0.03，p₈取值为0.000071。

4.根据权利要求1所述的屏幕内容编码标准帧内图像码率的估计方法，其特征在于：在获得纹理复杂图像模型参数步骤(6)中，q₁取值为13.71，q₂取值为-0.403，q₃取值为0.003，q₄取值为0.001，q₅取值为-0.05，q₆取值为-0.915×10^-10，q₇取值为0.000006。

Images