CN109886924A - 基于cnn的屏幕失真图像无参考质量评价方法 - Google Patents

Abstract

本发明涉及一种基于CNN的屏幕失真图像无参考质量评价方法，包括以下步骤：图像分解：给定一张图像，将其调整到227x 227大小，采用半参数模型将图像分为预测部分和未预测部分；将分解得到的预测图和未预测图转化为灰度图，分别对转化后的灰度图进行归一化处理；设计分为两路的卷积神经网络CNN，将经过归一化处理的预测图和未预测图作为输入，上下两路网络结构相同；网络分为6个卷积层，3个池化层以及两个跳层连接，采用ReLU作为激活函数，融合上下两路输出，将其送入多层感知MLP中处理，得到预测图像的质量分数。

Description

基于CNN的屏幕失真图像无参考质量评价方法

技术领域

本发明属于图像处理领域，尤其是涉及一种针对屏幕失真图像的无参考质量评价方法。

背景技术

近年来，随着互联网发展和社交软件的普及，人们借助于一类屏幕内容图像来传递信息和分享喜悦。这类图像由自然场景图像和计算机生成的图形内容组合而成，相比于自然图像，屏幕内容图像是通过截屏得到的，而不是通过照相机拍摄；屏幕内容图像色彩和亮度的变化较小，结构相对简单。屏幕内容图像经过网络传输，往往会产生严重的失真情况。此外，屏幕失真图像由于自身具有自然图像和文本图像的特点，传统的特征提取方法难以表示其失真特性，因此当务之急是寻找一种高效的特征表示方法。卷积神经网络(ConvolutionalNeural Network,CNN)的提出取代了传统手工特征的设计过程，并且学者们已经证明了其在分类、回归等问题上的显著性能。

发明内容

本发明利用CNN进行特征表示，提出一种无参考屏幕失真图像质量评价方法，该方法与主观评价分数有着较高的一致性。技术方案如下。

一种基于CNN的屏幕失真图像无参考质量评价方法，包括以下步骤：

第一步，图像分解

给定一张图像，将其调整到227 x 227大小，采用半参数模型将图像分为预测部分和未预测部分方法如下：

(1)建立自回归模型：

χ_i＝X^k(χ_i)·a+ε_i

其中，χ_i表示图像的第i个像素值，X^k(χ_i)表示邻近χ_i的k个像素组成的向量，a表示自回归参数，ε_i表示误差项；

(2)预测部分通过自回归模型和双边滤波的线性融合得到：

其中，和b分别表示自回归模型和双边滤波器的估计参数，ω＝0.2用于控制两部分的重要程度；

(3)未预测部分可以通过输入像素y_i和预测部分的差导出：

(4)根据半参数模型将图像分为预测部分和未预测部分；

第二步，将分解得到的预测图和未预测图转化为灰度图，分别对转化后的灰度图进行归一化处理；

第三步，CNN

设计分为两路的卷积神经网络CNN，将经过归一化处理的预测图和未预测图作为输入，上下两路网络结构相同；网络分为6个卷积层，3个池化层以及两个跳层连接，采用ReLU作为激活函数，融合上下两路输出，将其送入多层感知MLP中处理，得到预测图像的质量分数Sp。

本发明提出一种基于CNN的屏幕失真图像质量评价方法，无需引入参考图像，可以有效评价屏幕失真图像质量。

附图说明

图1算法框架

具体实施方式

本发明提出一种无参考屏幕失真图像质量评价方法，框架如图1所示。

(1)图像分解

首先将图像调整到227x 227大小，以适应后续网络的输入。本发明采用半参数模型将图像分为预测部分和未预测部分首先自回归模型可以表示为：

χ_i＝X^k(χ_i)·a+ε_i \*MERGEFORMAT (1)

其中，χ_i表示图像的第i个像素值，X^k(χ_i)表示邻近χ_i的k个像素组成的向量，a表示自回归参数，ε_i表示误差项。

预测部分通过自回归模型和双边滤波的线性融合得到：

其中，和b分别表示自回归模型和双边滤波器的估计参数，ω＝0.2用于控制两部分的重要程度。

未预测部分可以通过输入像素y_i和预测部分的差导出：

(2)归一化

给定一张图像在(x,y)处的灰度图I(x,y)，归一化过程可以表示如下：

其中，C取1以免分母趋于0，μ(x,y)和σ(x,y)分别表示输入图像的均值和方差。

(3)CNN

本发明提出的CNN分为上下两路，网络结构等同。输入图像是分解以及归一化预处理之后的，图像尺寸为227x227。网络包括6个卷积层，3个池化层，以及两个跳层连接，采用ReLU作为激活函数。上下两路输出融合后得到200维特征向量，经过多层感知MLP得到最终的预测图像质量分数Sp。

1)卷积

本发明采用6个卷积层对输入图像进行局部卷积运算，卷积核的设置如下：

表1卷积核参数设置

卷积过程可以表示如下：

其中，和η^k表示卷积参数，表示第k个特征图，Υ_xy表示感受野对应的图像区域，总的特征图设置为50。

为了解决深层网络退化问题，在两层卷积之间加入跳层连接模块。具体的，第一个跳层连接设置为28 x 28 x 50，28 x 28 x 50，第二个跳层连接设置为14 x 14 x 50，14 x14 x 50。

2)池化

本发明采用了两种池化形式，最大池化和平均池化。三个池化层的参数设置见下表：

表2池化参数设置

池化层	核尺寸	步长
			pool1	3	2
pool2	2	2
			pool3	14	14

最大池化可以表示为：

其中，表示第k个最大池化的值，Ω表示最大池化的局部窗口大小，如表2所示。

平均池化可以表示为：

其中，表示第k个平均池化的值，N_h，N_v分别表示水平和竖直方向上的局部窗口。

3)多层感知MLP

池化后，网络的每一支会得到100维特征向量，将网络上下两支输出融合得到200维特征向量。为了回归得到一张图片的客观质量分数，采用多层感知MLP。MLP由两层全连接层组成，如图1所示。预测的质量分数可以表示为：

S_p＝ω_s(λ(ω_h(θ_im)+ζ_h))+ζ_s \*MERGEFORMAT (8)

其中，λ(·)表示非线性激活函数ReLU，ω_h，ζ_h表示将特征向量(θ_im)映射到隐藏层上表示的参数，ω_s，ζ_s表示计算预测值S_p的参数。

4)训练

在分解的预测图和未预测图上训练网络，两路输入的标签均取自分解前的图像，将训练的目标函数表示如下：

其中，S^l表示一批中第l张图像，L＝256，表示训练的标签。通过随机梯度下降和反向传播来最小化目标函数，从而更新CNN中各层参数。

为了提供海量的训练数据验证网络的性能，人工挑选1000张高质量的屏幕内容图像，经过对比度改变，高斯噪声，运动模糊，高斯模糊，JPEG和JEPG2000压缩处理得到30000张屏幕失真图像，采用SQMS算法得到每张图的标签。训练得到CNN模型后，在SIQAD数据库的80％数据微调，剩余的20％进行测试。采用斯皮尔曼秩相关系数(Spearman Rank-orderCorrelation Coefficient,SRCC)和皮尔森线性相关系数(Pearson Linear CorrelationCoefficient,PLCC)作为评估准则，PLCC和SRCC越高，说明算法性能越好。取10次训练-测试分割的均值分数作为结果，PLCC达到了0.8834，SRCC也高达0.8634，说明本方法的预测值与主观评分之间的相关性高，表明本发明适用于评价屏幕失真图像质量。

Claims (1)

1.一种基于CNN的屏幕失真图像无参考质量评价方法，包括以下步骤：

第一步，图像分解

给定一张图像，将其调整到227x227大小，采用半参数模型将图像分为预测部分和未预测部分方法如下：

(1)建立自回归模型：

χ_i＝X^k(χ_i)·a+ε_i

其中，χ_i表示图像的第i个像素值，X^k(χ_i)表示邻近χ_i的k个像素组成的向量，a表示自回归参数，ε_i表示误差项；

(2)预测部分通过自回归模型和双边滤波的线性融合得到：

其中，和b分别表示自回归模型和双边滤波器的估计参数，ω＝0.2用于控制两部分的重要程度；

(3)未预测部分可以通过输入像素y_i和预测部分的差导出：

(4)根据半参数模型将图像分为预测部分和未预测部分；

第二步，将分解得到的预测图和未预测图转化为灰度图，分别对转化后的灰度图进行归一化处理；

第三步，卷积神经网络CNN

设计分为两路的卷积神经网络CNN，将经过归一化处理的预测图和未预测图作为输入，上下两路网络结构相同；网络分为6个卷积层，3个池化层以及两个跳层连接，采用ReLU作为激活函数，融合上下两路输出，将其送入多层感知MLP中处理，得到预测图像的质量分数Sp。