CN109741313A - 独立成分分析和卷积神经网络的无参考图像质量评价方法 - Google Patents

Abstract

本发明公开了一种独立成分分析和卷积神经网络的无参考图像质量评价方法，属于图像质量评价领域及通信与信息处理技术领域。该方法包括如下步骤：（1）提取表征图像质量的块作为图像质量块；（2）提取所选图像质量块的独立分量特征；（3）设计CNN训练独立分量系数来预测DMOS值；（4）用预测的DMOS值及图像质量块梯度的归一值来计算客观质量评价分数。本发明实现了更准确与人类主观感受一致性更高的无参考客观图像质量评价。

Description

独立成分分析和卷积神经网络的无参考图像质量评价方法

技术领域

本发明涉及一种独立成分分析和卷积神经网络的无参考图像质量评价方法，属于图像质量评价领域及通信与信息处理技术领域。

背景技术

随着数字媒体，数字图像处理以及通信技术的发展，数字图像已成为信息表示，获取和通信领域的重要媒介。在许多情况下数字图像要经过压缩，存储和传输等过程，而在这些过程中数字图像质量的下降是不可避免的。

保真图像质量已成为图像处理领域的关键问题，由于主观图像质量评价方法耗时，受主观因素影响大、无法实现系统嵌入的困难，使得客观图像质量评价方法得到了长足的发展。研究人员对无参考图像质量评价方法(NRIQM)进行了广泛的研究，图像质量特征的提取是NRIQMs的重要组成部分，但大多数质量评价方法均有一定的局限性，如Xu等人提出的方法(JingtaoXu,Peng Ye,Qiaohong Li,Haiqing Du,Yong Liu and Doermann David,“基于高阶统计量聚合的盲图像质量评价,”IEEE Transactions on ImageProcessing,vol.25,no.9,pp.4444-4457,2016.)，该方法在规则网格中采样整幅图像的质量块不能强调人的感性特征，限制了其评价结果与主观感受的一致性的提高。因此，图像质量块的选取要与人类视觉系统提取的结构信息一致，才能保证客观质量评价结果与人类主观感受结果一致。

发明内容

为了实现与人类视觉系统主观感受一致性更强的客观无参考图像质量评价方法，本发明提出了一种独立成分分析和卷积神经网络的无参考图像质量评价方法，采用独立分量分析和卷积神经网络对二维图像进行无参考的质量评价，着重考虑视觉显著区域的图像质量，提取符合人类视觉系统的观察特点的特征作为图像质量特征。

本发明为解决其技术问题采用如下技术方案：

一种独立成分分析和卷积神经网络的无参考图像质量评价方法，包括如下步骤：

(1)提取表征图像质量的块作为图像质量块；

(2)提取所选图像质量块的独立分量特征；

(3)设计CNN训练独立分量系数来预测DMOS值；

(4)用预测的DMOS值及图像质量块梯度的归一值来计算客观质量评价分数。

步骤(1)中所述图像质量块的选择包括如下步骤：

设一幅灰度图像的大小为w×h，灰度表示为A＝(a_y,x)，其中1≤y≤h，1≤x≤w，其中：a_y,x为某点的像素，x为像素的横坐标，y为像素的纵坐标，w为灰度图的长，h为灰度图的宽，然后将整个图像分割成h_p×w_p的不重叠的图像块；并且，设h和w分别是h_p和w_p的整数倍，h_p为子图像块的宽，w_p为子图像块的长，相应的，令r＝h/h_p，c＝w/w_p，所以图像表示成下面的分块矩阵形式：

其中，A_j,i,1≤j≤r,1≤i≤c,是一个h_p×w_p的图像块；

一个像素a_y,_x的梯度表示为：

其中：a_x,y为一个像素，

图像的梯度由像素梯度的无穷范数的最大值表示，即：

其中：g(A)为图像的梯度，为像素a_y,x的梯度，

并且，

式中，g(A_j,i)表示图像块A_j,i中像素梯度的无穷范数的最大值，因此对

所有的i和j，1≤i≤c，1≤j≤r，均有g(A_j,i)≤g(A)

令

表示图像块A_j,i对整幅图像像素梯度无穷范数最大值的归一，由此推出：

由每个图像块的把图像块分成c类：

其中：为块分类器，为图像块A_j,i对整幅图像像素梯度无穷范数最大值的归一，L为对图像块进行分类的类别号，θ₁，θ₂，...θ_L-1，θ_L为以0.05为间隔的阈值，

每类中选取图像块作为图像质量块，构建每类图像质量块的集合：

式中，表示从图像A中提取出分配给c_k类的图像质量块的集合，所有图像质量块的集合表示为：

其中：P_A为所有图像质量块的集合。

步骤(2)中所述图像质量块的独立分量特征表示如下：将图像质量块表示为一个随机列向量x＝[x₁,x₂,…,x_M]^T，其中：x₁,x₂,...x_M为向量中的元素，其中M＝h_pw_p，h_p为子图像块的宽，w_p为子图像块的长，由独立成分分析方法训练检测子W，求解u＝Wx，u为独立成分系数，W为检测子。

步骤(3)的具体过程如下：

CNN的输入是图像质量块的ICCs(独立成分系数)，网络由4层卷积和一个全连接层构成，采用最大梯度下降法训练，损失函数为均方根误差函数。

步骤(4)中所述客观质量评价分数按下式计算：

其中，

Q(A)为质量评价分数，P_k为从K类图像质量块中随机选取的图像质量块，α为是一个常数，调整质量分数在一个合理的范围内，D_p(P_k表示预测的P_k的DMOS值，为P_k的梯度归一化无穷范数最大值。

本发明的有益效果如下：

应用四个公共图像数据库进行图像质量评价指标的测试及对比研究，测试结果表明:PCC(皮尔森相关系数),SROCC(斯皮尔曼相关系数)的值均达到0.99以上，RMSE(均方根误差)的值较小，实现了更准确与人类主观感受一致性更高的无参考客观图像质量评价。

附图说明

图1为待评价图像图。

图2为提取的图像质量块图。

图3为独立成分检测子学习到的图像质量块图。

图4为CNN网络结构图。

具体实施方式

下面结合附图对本发明创造做进一步详细说明。

图像质量块的选择

将美国德州大学奥斯汀分校的LIVE实验室的图像质量评价数据库LIVE2作为参考。

在选择图像质量块之前，首先要确定图像块的大小h_p×w_p，分类的个数L+1，阈值θ₁,θ₂,…,θ_L-1和θ_L以及基底函数N_b的数量等一系列重要的超参数决定了整个图像质量评估算法的性能。

参数通过实验确定，在数据库LIVE2中选取一半的图像作为训练样本图像，分块基于每个图像块梯度归一化的最大无穷范数，对所有图像进行分类。

由且求出整幅图像的梯度，其中：g(A)为图像的梯度，为像素a_y,x的梯度，x为像素的横坐标，y为像素的纵坐标，w为灰度图的长，h为灰度图的宽，A_j,i为是一个h_p×w_p的图像块，g(A_j,i)为图像块A_j,i中像素梯度的无穷范数的最大值，j为图像块所在的行，i为图像块所在的列，r＝h/h_p，c＝w/w_p，然后对整幅图像进行分块，图像块的大小h_p×w_p可以选取12×12，16×16，20×20，24×24，28×28，32×32，36×36这五种规格，求出每个图像块的

由每个图像块的可以把图像块分成c类：

其中：为块分类器，为图像块A_j,i对整幅图像像素梯度无穷范数最大值的归一，

θ的选取以0.05为间隔，即θ＝0.05，0.1，0.15，0.2，0.25……由独立成分分析方法训练检测子W,W的选取与图像块的大小有关，W＝16,20,24,28,32,36,40,求解u＝Wx，其中u为独立分量系数，W为检测子，x为一个随机列向量。

用卷积神经网络(CNN)训练独立分量系数来预测DMOS值，用预测的DMOS(differentialmeanopinion score平均主观得分差)值及图像质量块梯度的归一值来计算客观质量评价分数。

最后经过多次实验，确定了参数的最优值：w_p＝32，h_p＝32，L＝30，θ_k＝0.69+0.01k，(1≤k≤30)N_b＝36。

以图1中的图像作为输入，共选取30个图像质量块，部分选取到的图像质量块如图2所示。并将30组值保存。

图像质量块的独立分量分析表示

在数据库LIVE2中选取一半的图像作为训练样本图像，从样本图像中提取了23299个图像质量块。由Fast ICA(快速独立成分分析)方法求取检测子W，步骤如下：

(1)将图像质量块I(x,y)进行中心化和白化，得到数据X；

(2)设p是要寻找的独立成分个数，并令i＝1；

(3)初始化W_i，令||W_i||＝1；

令其中：E{}表示均值运算，X为随机变量，

其中g(x)＝tanh(α₁x)，g′(x)＝α₁[1-tanh²(α₁x)]g(x)为选取的一个非线性函数，通常取α₁＝1，tanh(α₁x)为双曲正切函数，tanh²是tanh求导后得到的；

(4)正交化此时的Wi与W₁，

W₂，…W_i-1正交；

(5)归一化Wi＝W_i/||W_i||；

(6)如果W_i不收敛，返回步骤(4)，否则执行步骤(8)；

(7)令i＝i+1，如果i≤p，则返回步骤(3)，否则工作完成。

最后根据公式：u＝Wx，获得的检测子如图3所示。计算得到30组1×36的独立成分分量。

CNN应用于独立分量系数预测DMOS值

按图4设计的CNN结构，训练网络函数。CNN的输入(Input)是图像质量块的ICCs，输入样本的大小为1×36。

第一个卷积层：32个1×5的卷积核(Kernel)，“有效填充”模式，步长为1，输出32个1×32的特征(Feature)，然后批量标准化(Normalize)，添加偏置值(Bias)，激活函数(ReLU)激活特征。

第一个池层:卷积核函数的大小为1×2，“均值池化”模式，输出32个1×16的特征。

经过4个卷积层后，最后经过，全连接层：将数据重新整形(Reshape)为1×1×256的向量，乘以(Multiply)(1×1×256,512)的矩阵，输出(Output)1×512的向量；Dropout层：p＝0.5，将数据重新整形为1×1×512的向量，乘以(1×1×512,1)的矩阵，最后添加偏置值，输出结果。

将30组独立成分分量的预测DMOS值保存。

NRIQM的计算

用如下公式计算质量评价分数：

其中，

Q(A)为质量评价分数，P_k为从K类图像质量块中随机选取的图像质量块，α为是一个常数，调整质量分数在一个合理的范围内，D_p(P_k表示预测的P_k的DMOS值，为P_k的梯度归一化无穷范数最大值。

Claims (5)

1.一种独立成分分析和卷积神经网络的无参考图像质量评价方法，其特征在于，包括如下步骤：

(1)提取表征图像质量的块作为图像质量块；

(2)提取所选图像质量块的独立分量特征；

(3)设计CNN训练独立分量系数来预测DMOS值；

(4)用预测的DMOS值及图像质量块梯度的归一值来计算客观质量评价分数。

2.根据权利要求1所述的独立成分分析和卷积神经网络的无参考图像质量评价方法，其特征在于，步骤(1)中所述图像质量块的选择包括如下步骤：

设一幅灰度图像的大小为w×h，灰度表示为A＝(a_y,x)，其中1≤y≤h，1≤x≤w，其中：a_y,x为某点的像素，x为像素的横坐标，y为像素的纵坐标，w为灰度图的长，h为灰度图的宽，然后将整个图像分割成h_p×w_p的不重叠的图像块；并且，设h和w分别是h_p和w_p的整数倍，h_p为子图像块的宽，w_p为子图像块的长，相应的，令r＝h/h_p，c＝w/w_p，所以图像表示成下面的分块矩阵形式：

其中，A_j,i,1≤j≤r,1≤i≤c,是一个h_p×w_p的图像块；

一个像素a_y,x的梯度表示为：

其中：a_x,y为一个像素，

图像的梯度由像素梯度的无穷范数的最大值表示，即：

其中：g(A)为图像的梯度，为像素a_y,x的梯度，

并且，

式中，g(A_j,i)表示图像块A_j,i中像素梯度的无穷范数的最大值，因此对所有的i和j，1≤i≤c，1≤j≤r，均有g(A_j,i)≤g(A)

令

表示图像块A_j,i对整幅图像像素梯度无穷范数最大值的归一，由此推出：

由每个图像块的把图像块分成c类：

其中：为块分类器，为图像块A_j,i对整幅图像像素梯度无穷范数最大值的归一，L为对图像块进行分类的类别号，θ₁，θ₂，...θ_L-1，θ_L为以0.05为间隔的阈值，

每类中选取图像块作为图像质量块，构建每类图像质量块的集合：

式中，表示从图像A中提取出分配给c_k类的图像质量块的集合，所有图像质量块的集合表示为：

其中：P_A为所有图像质量块的集合。

3.根据权利要求1所述的独立成分分析和卷积神经网络的无参考图像质量评价方法，其特征在于，步骤(2)中所述图像质量块的独立分量特征表示如下：将图像质量块表示为一个随机列向量x＝[x₁,x₂,…,x_M]^T，其中：x₁,x₂,...x_M为向量中的元素，其中M＝h_pw_p，h_p为子图像块的宽，w_p为子图像块的长，由独立成分分析方法训练检测子W，求解u＝Wx，u为独立成分系数，W为检测子。

4.根据权利要求1所述的独立成分分析和卷积神经网络的无参考图像质量评价方法，其特征在于，步骤(3)的具体过程如下：

CNN的输入是图像质量块的ICCs，网络由4层卷积和一个全连接层构成，采用最大梯度下降法训练，损失函数为均方根误差函数。

5.根据权利要求1所述的独立成分分析和卷积神经网络的无参考图像质量评价方法，其特征在于，步骤(4)中所述客观质量评价分数按下式计算：

其中，

Q(A)为质量评价分数，P_k为从K类图像质量块中随机选取的图像质量块，α为是一个常数，调整质量分数在一个合理的范围内，D_p(P_k)表示预测的P_k的DMOS值，为P_k的梯度归一化无穷范数最大值。