CN109816646B - 一种基于退化决策逻辑的无参考图像质量评价方法 - Google Patents

Abstract

本发明提出了一种基于退化决策逻辑的无参考图像质量评价方法。本发明通过对各图像进行金字塔分解得到小波子带特征向量用以代表自然场景统计特征；建立特征混合网络的模型，对小波子带特征向量进行进一步的处理，通过特征混合网络的筛选组合得到混合特征向量；将混合特征向量输入进深度神经决策森林模型得到图像主观评价等级；利用均匀线性池化，将所述图像主观评价等级转化为图像客观质量评分；建立特征混合网络和深度神经决策森林模型，对建立的模型进行决策逻辑分化训练，进一步进行参数微调训练，最终得到训练后特征混合网络模型和深度神经决策森林模型。本发明具有良好的性能和泛化能力，也具备低计算复杂度。

Description

一种基于退化决策逻辑的无参考图像质量评价方法

技术领域

本发明涉及图像质量处理技术领域，尤其涉及一种基于退化决策逻辑的无参考图像质量评价方法。

背景技术

数字图像作为信息表达与交流的元素，获得了广泛的运用。然而，数字图像在采集、压缩、传输、处理、重建过程中伴随着降低质量和失真。因此，图像质量评价(Imagequality assessment，IQA)的研究成为数字图像处理领域的一个重要内容。

根据参考图像是否存在，图像质量评价可以分为全参考(FR)评价、半参考(RR)评价和无参考(NR)评价。MSE和PSNR是迄今为止运用最为广泛的全参考图像质量评估方法。这两类方法虽然有着计算简单、易于实现等优点，但只计算了像素点之间的绝对误差，没有考虑像素点之间的相关性和人眼视觉系统的感知特性，容易造成在评价图像质量时出现严重不符实际的情况。

近年来学者们提出了更加适应人眼视觉特性的评价算法。在通用图像质量指数(Universal image Quality Index，UQI)的基础上，发展和产生了Structural Similarityindex(SSIM指数)。之后大批学者在SSIM的基础上提出了许多改进的方法。后来，基于自然场景分析(NSS)的方法，提出引入相位一致性(PC)和梯度相似度(GM)作为评价特征的FSIM模型。实验证明这些方法优于MSE和PSNR，但是SSIM评价模型对图像的结构特征还只停留在标量的层面上，导致SSIM在图片高度模糊时失去有效性。

“图像退化”是伴随着图像失真而产生的实际现象，对图像退化程度的把握成为许多图像质量评价方法的基本思路。然而，从公开发表的文献来看，对图像退化程度的衡量更多地停留在一些特定的特征表达上，而在图像处理的整个流程中少有体现这一衡量主客观冲突的设置。尤其在基于机器学习的图像质量评价方面，机器学习模型通常作为回归函数出现，少有具体仿生意义上的建模，从而导致整个评价系统忽略了对视觉直观活动的模拟。本发明就解决这一问题提出了一种新的思路。

发明内容

本发明提出了一种基于退化决策逻辑的无参考图像质量评价方法。该方法充分利用了小波子带特征来进行自然图像特征的表现，同时结合特征混合网络的筛选组合得到代表图像退化程度的特征向量，然后通过分类决策逻辑，取得失真图像的质量评级，表示人对失真图像退化程度的评判印象。最后通过均匀线性池化将图像质量评级转化为最终评分。本发明在多个数据库上进行了性能试验，对模型的拟合能力和泛化能力做了全面的测试，结果证明，本发明具有良好的性能和泛化能力，也具备低计算复杂度。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种基于退化决策逻辑的无参考图像质量评价方法，具体步骤如下：

步骤1：通过对各图像进行金字塔分解得到小波子带特征向量用以代表自然场景统计特征；

步骤2：建立特征混合网络的模型，对小波子带特征向量进行进一步的处理，通过特征混合网络的筛选组合得到混合特征向量；

步骤3：将混合特征向量输入进深度神经决策森林模型得到图像主观评价等级；

步骤4：利用均匀线性池化，将所述图像主观评价等级转化为图像客观质量评分；

步骤5：建立特征混合网络和深度神经决策森林模型，对建立的模型进行决策逻辑分化训练，进一步进行参数微调训练，最终得到训练后特征混合网络模型和深度神经决策森林模型；

作为优选，步骤1中所述通过对各图像进行金字塔分解得到小波子带特征向量具体如下：

幅度

代表子带的能量信息：

熵

代表子带的结构信息：

其中，N_P为图像的数量，s为图像序号，k_s为第s幅图像的小波子带序号，

为第s幅图像的对应像素点坐标是(i,j)的第k个子带小波系数，

为第s幅图像的子带小波系数

的长度，

为第s幅图像的子带小波系数

的宽度，

代表为第s幅图像的

的出现概率，通过金字塔分解将为第s幅图像分解为K个子带，第s幅图像的水平分量小波系数为

第s幅图像的竖直分量小波系数为

第s幅图像的对角分量小波系数为

其中，

与

只是在滤波次序上存在互换，二者相近，取水平方向考虑,则第s幅图像共计表示为K*4维小波子带特征向量，用X_s代表第s幅图像的小波子带特征向量：

其中，K∈[1,K],

为第z个水平方向子带的能量信息，

为第z个对角方向子带的能量信息，

为第z个水平方向子带的结构信息，

为第z个对角方向子带的结构信息；

作为优选，步骤2中所述建立特征混合网络的模型，对小波子带特征向量进行进一步的处理，通过特征混合网络的筛选组合得到混合特征向量为：

X_s为步骤1中所述第s幅图像的小波子带特征向量,s∈[1,N_P]，N_P为图像的数量，s为图像序号，输入层的节点数量为h(h∈{1,……,H}),将X_s作为输入层的输入向量，经过隐藏层h₁和隐藏层h₂实现混合特征的提取，得到混合特征，用f_s代表第s幅图像提取的混合特征，隐藏层h₁、隐藏层h₂和输出层的节点数量均设为p，h₁采用ReLu激活函数，h₂直接将隐藏层h₁所得的值进行加权求和得到混合特征f_s；

Relu激活函数为：

y_c(X_s)＝max(0,X_s)s∈[1,N_P]

其中，X_s为第s幅图像的小波子带特征向量；

通过隐藏层h₂得到混合特征f_s为：

f_s＝f(X_s；θ_c)s∈[1,N_P]

其中，c为节点序号(c∈{1,……，p})θ_c表示特征混合网络的模型的待训练参数，包括第c个节点对应线性映射的权重w_c和偏移b_c，；

作为优选，步骤3中所述将混合特征输入进深度神经决策森林模型得到图像主观评价等级为：

本发明所采用的主观评价等级遵循ITU-R发布的BT.500-11标准，采用分割函数可导的深度神经决策森林模型dNDF，设dNDF输入样本为混合特征f_s s∈[1,N_P]，N_P为图像的数量，s为图像序号，dNDF的决策树T_i拥有H个决策节点，H为决策节点的数量，则随机抽取并排列f_s中的H个元素，形成子集

dNDF的决策概率d_h为：

其中，σ(x)为sigmoid函数；

引入真值函数s_n,h表示路径n中决策节点h上的分支方向，若s_n,h为真值，则表示决策节点h以d_h的概率选择了左边分支；否则

为真，则代表以

的概率选择了右边分支，显然d_h的分布会影响n中每条路径的被选概率μ_n(n∈{1,2,……,N})，即：

得到样本X_s经过决策树J_a后被映射到质量评级E_m的概率：

其中，π_n为第n条路径上叶节点的分类概率，E_m表示第m级的质量评级(m∈[1,G])，μ_n为决策森林中第n条路径的备选概率；

设J_a(a∈{1,……,F})为组成随机森林F的所有决策树，则随机森林的最终分类结果为所有决策树的投票结果，即

以所有决策树的投票结果作为第s幅图像的最终主观评价等级，其中，X_s为小波子带特征向量，E_m为质量评级；

作为优选，步骤4中所述利用均匀线性池化，将所述图像主观评价等级转化为图像客观质量评分为：

设按大小顺序排列的常量{E₁,E₂,…,E_G}均匀分割主观评分DMOS的值域，则第s幅图像的客观质量评分:

其中，G表示采用评分等级的级数，E_m表示第m级的质量评级。

作为优选，步骤5中所述决策逻辑分化训练为：

步骤2中所述特征混合网络模型中待训练参数θ_c和步骤3中所述深度神经决策森林模型中待训练参数相同；

定义训练集

N_P为图像的数量，Τ所含样本量记为|Τ|，人工标记第s幅图像的的真实评价分数为DMOS_s，L(Q,DMOS_s；θ_c,π)为该机器学习模型的损失函数：

其中，λ为调整率，L2指代L2正则化的模型，即Ridge回归，Q(X_s)为第s幅图像的客观质量评分，θ_c表示待训练参数，包括第c个节点对应线性映射的权重w_c和偏移b_c，c为节点数量(c∈{1，……，p})，π为叶节点的分类概率，π_n为第n条路径上叶节点的分类概率；

定义dNDF每棵决策树更新参数π_n：

其中，DMOS_s为人工标记第s幅图像的的真实评价分数，X_s为第s幅图像的小波子带特征向量，T为定义的训练集，E_m表示第m级的质量评级，θ_c表示待训练参数，π_n为第n条路径上叶节点的分类概率，μ_n为决策森林中第n条路径的被选概率，m为质量评级的级数，n为决策树中的路径序号，n在数值等于输入图片的序号s；

P_J(E_m；X_s)为样本X_s经过决策树J被映射到质量评级E_m的概率,P_J(E_m；X_s)为:

其中，π_n为第n条路径上叶节点的分类概率，E_m表示第m级的质量评级，μ_n为决策森林中第n条路径的被选概率。

R(DMOS_s)为度量函数，代表决策树的期望质量评分同质量评级阈值之间的差异，R(DMOS_s)定义为：

其中，γ＞0，DMOS_s为第s幅图像的的真实评价分数，E_m表示第m级的质量评级(m∈[1,G])。

同时，训练过程中需要引入神经网络的更新函数，这里采用随机梯度下降法完成θ_c的训练：

其中，t为参数θ_c更新的次数(t∈{1,……,N})，取得决策逻辑分化训练效果；

步骤5中所述参数微调训练为：

微调过程采用梯度下降优化法进行：

其中，

为随机选取的训练集的小批量子集，构成参数微调所使用的训练样本；

通过决策逻辑分化训练与参数微调训练得到训练后参数

最终得到训练后特征混合网络模型和训练后深度神经决策森林模型；

利用训练后特征混合网络模型和深度神经决策森林模型，对输入的图像通过步骤1以及步骤2进行特征提取得到混合特征向量，然后将混合特征向量输入训练后特征混合网络模型根据步骤3得到图像主观评价等级，最终通过步骤4中所述均匀线性池化得到图像客观质量分数。

本发明优点在于：本算法由利用小波变换提取图像的小波子带特征以及利用特征混合网络将小波子带特征有效映射到高层特征两大基本步骤组成，实现了一种新型的对无参考图像进行评价的方法。本发明具有实用性强，给出的分数与观察结果符合度良好以及算法的复杂度较低的优点，为无参考图像质量评价的算法增加了一种新的思路。

附图说明

图1：本发明方法流程；

图2：是特征混合网络；

图3：是决策树的结构和组成元素；

图4：是基于dNDF的退化决策逻辑模型；

图5：是模型的训练流程图；

图6：σ不同取值下的SROCC；

图7：DDL算法CSIQ数据库测试拟合散点图；

图8：DDL算法TID2013数据库测试拟合散点图；

图9：主观评价的绝对尺度标准；

图10：LIVE数据库交叉验证指标中位数；

图11：LIVE数据库特定失真类型样本交叉验证SROCC中位数；

图12：LIVE数据库训练的模型在其他数据库上的测试指标；

图13：特征提取时间消耗对比。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

下面结合图1至图13介绍本发明的具体实施方式为一种基于退化决策逻辑的无参考图像质量评价方法，包括以下步骤：

步骤1：通过对各图像进行金字塔分解得到小波子带特征向量用以代表自然场景统计特征；

步骤1中所述通过对各图像进行金字塔分解得到小波子带特征向量具体如下：

幅度

代表子带的能量信息：

熵

代表子带的结构信息：

其中，N_P为图像的数量，s为图像序号,k_s为第s幅图像的小波子带序号，

为第s幅图像的对应像素点坐标是(i,j)的第k个子带小波系数，

为第s幅图像的子带小波系数

的长度，

为第s幅图像的子带小波系数

的宽度，

代表为第s幅图像的

的出现概率，通过金字塔分解将为第s幅图像分解为K个子带，第s幅图像的水平分量小波系数为

第s幅图像的竖直分量小波系数为

第s幅图像的对角分量小波系数为

其中，

与

只是在滤波次序上存在互换，二者相近，取水平方向考虑,取小波子带数量K为3，则第s幅图像共计表示为12＝K*4维小波子带特征向量，用X_s代表第s幅图像的小波子带特征向量：

其中，K∈[1,K],

为第z个水平方向子带的能量信息，

为第z个对角方向子带的能量信息，

为第z个水平方向子带的结构信息，

为第z个对角方向子带的结构信息；

步骤2：建立特征混合网络的模型，对小波子带特征向量进行进一步的处理，通过特征混合网络的筛选组合得到混合特征向量；

步骤2中所述建立特征混合网络的模型，对小波子带特征向量进行进一步的处理，通过特征混合网络的筛选组合得到混合特征向量为：

X_s为步骤1中所述第s幅图像的小波子带特征向量,s∈[1,N_P]，N_P为图像的数量，s为图像序号，输入层的节点数量为h(h∈{1,……,H}),将X_s作为输入层的输入向量，经过隐藏层h₁和隐藏层h₂实现混合特征的提取，得到混合特征，用f_s代表第s幅图像提取的混合特征，隐藏层h₁、隐藏层h₂和输出层的节点数量均设为p＝50，h₁采用ReLu激活函数，h₂直接将隐藏层h₁所得的值进行加权求和得到混合特征f_s；

Relu激活函数为：

y_c(X_s)＝max(0,X_s)s∈[1,N_P]

其中，X_s为第s幅图像的小波子带特征向量；

通过隐藏层h₂得到混合特征f_s为：

f_s＝f(X_s；θ_c)s∈[1,N_P]

其中，c为节点序号(c∈{1,……,p})θ_c表示特征混合网络的模型的待训练参数，包括第c个节点对应线性映射的权重w_c和偏移b_c，；

步骤3：将混合特征向量输入进深度神经决策森林模型得到图像主观评价等级；

步骤3中所述将混合特征向量输入进深度神经决策森林模型得到图像主观评价等级为：

本发明所采用的主观评价等级遵循ITU-R发布的BT.500-11标准，采用分割函数可导的深度神经决策森林模型dNDF，设dNDF输入样本为混合特征f_s s∈[1,N_P]，N_P为图像的数量，s为图像序号，dNDF的决策树T_i拥有H个决策节点，H为决策节点的数量，则随机抽取并排列f_s中的H个元素，形成子集

dNDF的决策概率d_h为：

其中，σ(x)为sigmoid函数；

引入真值函数s_n,h表示路径n中决策节点h上的分支方向，若s_n,h为真值，则表示决策节点h以d_h的概率选择了左边分支；否则

为真，则代表以

的概率选择了右边分支，显然d_h的分布会影响n中每条路径的被选概率μ_n(n∈{1,2,……,N})，即：

得到样本X_s经过决策树J_a后被映射到质量评级E_m的概率：

其中，π_n为第n条路径上叶节点的分类概率，E_m表示第m级的质量评级(m∈[1,G])，μ_n为决策森林中第n条路径的备选概率；

设J_a(a∈{1,……，F})为组成随机森林F的所有决策树，则随机森林的最终分类结果为所有决策树的投票结果，即

以所有决策树的投票结果作为第s幅图像的最终主观评价等级，其中，X_s为小波子带特征向量，E_m为质量评级；

步骤4：利用均匀线性池化，将图像主观评价等级转化为图像客观质量评分；

步骤4中所述利用均匀线性池化，将图像主观评价等级转化为图像客观质量评分为：

设按大小顺序排列的常量{E₁,E₂,…,E_G}均匀分割主观评分DMOS的值域，则第s幅图像的客观质量评分:

其中，G表示采用评分等级的级数，本发明取G＝5，E_m表示第m级的质量评级。

步骤5：建立特征混合网络和深度神经决策森林模型，对建立的模型进行决策逻辑分化训练，进一步进行参数微调训练，最终得到训练后特征混合网络模型和深度神经决策森林模型；

步骤5中所述决策逻辑分化训练为：

步骤2中所述特征混合网络模型中待训练参数θ_c和步骤3中所述深度神经决策森林模型中待训练参数相同；

定义训练集

N_P为图像的数量，Τ所含样本量记为|Τ|，人工标记第s幅图像的的真实评价分数为DMOS_s，L(Q,DMOS_s；θ_c,π)为该机器学习模型的损失函数：

其中，λ为调整率，L2指代L2正则化的模型，即Ridge回归，Q(X_s)为第s幅图像的客观质量评分，θ_c表示待训练参数，包括第c个节点对应线性映射的权重w_c和偏移b_c，c为节点数量(c∈{1,……,p})，π为叶节点的分类概率，π_n为第n条路径上叶节点的分类概率；

定义dNDF每棵决策树更新参数π_n：

其中，DMOS_s为人工标记第s幅图像的的真实评价分数，X_s为第s幅图像的小波子带特征向量，T为定义的训练集，E_m表示第m级的质量评级，θ_c表示待训练参数，π_n为第n条路径上叶节点的分类概率，μ_n为决策森林中第n条路径的被选概率，m为质量评级的级数，n为决策树中的路径序号，n在数值等于输入图片的序号s；

P_J(E_m；X_s)为样本X_s经过决策树J被映射到质量评级E_m的概率,P_J(E_m；X_s)为:

其中，π_n为第n条路径上叶节点的分类概率，E_m表示第m级的质量评级，μ_n为决策森林中第n条路径的被选概率。

R(DMOS_s)为度量函数，代表决策树的期望质量评分同质量评级阈值之间的差异，R(DMOS_s)定义为：

其中，γ＞0，DMOS_s为第s幅图像的的真实评价分数，E_m表示第m级的质量评级(m∈[1,G])。

同时，训练过程中需要引入神经网络的更新函数，这里采用随机梯度下降法完成θ_c的训练：

其中，t为参数θ_c更新的次数(t∈{1,……,N})，本发明取N＝200，取得决策逻辑分化训练效果；

步骤5中所述参数微调训练为：

微调过程采用梯度下降优化法进行：

其中，

为随机选取的训练集的小批量子集，构成参数微调所使用的训练样本；

通过决策逻辑分化训练与参数微调训练得到训练后参数

最终得到训练后特征混合网络模型和深度神经决策森林模型；

利用训练后特征混合网络模型和深度神经决策森林模型，对输入的图像通过步骤1以及步骤2进行特征提取得到混合特征向量，然后将混合特征向量输入训练后特征混合网络模型根据步骤3得到图像主观评价等级，最终通过步骤4中所述均匀线性池化得到图像客观质量分数。

图7和图8示出了本发明方法(DDL)跨数据库测试拟合散点图，横轴为客观评价分数，纵轴为主观评价分数。从图7可以看出，除个别奇异情形外，本发明方法(DDL)拟合的散点图在整个坐标系中均匀分布，并且与平均主观得分(MOS)具有很强的线性关系，进一步证明了本发明方法(DDL)的良好性能。

确定评价的标准，如图9所示，选取3种全参考图像质量评价方法和6种无参考图像质量评价方法，在LIVE数据库上开展对比实验。其中，其中峰值信噪比(PSNR)、结构相似性(SSIM)和方差膨胀因子(VIF)为经典的全参考算法，基于两级框架的无参考图像质量评价模型(BIQI)、基于失真类型识别的图像真实性和完整性评价模型(DIIVINE)、在图像DCT域提取DCT系数的统计特征建立支持向量回归模型(BLIINDS-II)、通过对图像的空域归一化系数提取统计特征建立回归模型(BRISQUE)、基于空间光谱熵的质量索引(SSEQ)、基于深度学习的盲参考图像质量评价(DLIQA)和本发明方法(DDL)为无参考算法。无参考算法中，BIQI、DIIVINE、BLIINDS-II、BRISQUE、SSEQ为浅层机器学习算法，DLIQA为深度学习算法。

为了消除训练集、测试集选取的偶然性，随机抽取80％的训练样本和20％的测试样本1000次，分别进行训练和测试，得到1000次交叉验证的结果，取所有实验结果的中位数作为最终指标。图10列出了本发明方法(DDL)在LIVE数据库上的表现。从图10可以看到，本发明方法(DDL)的图像质量评价(IQA)指标在LIVE数据库上取得了非常好的效果。

为了更进一步检验本发明方法(DDL)的性能，图11列出了本发明方法(DDL)在LIVE数据库上针对不同失真类型的SROCC指标。从图11可以看到，本发明方法(DDL)对所有失真类型都提供良好预测精度。

为了测试评价模型对不同样本的泛化能力，对不同方案进行跨数据库的训练和测试实验。将整个LIVE数据库用作训练集，在CSIQ和TID2013数据库中选择与训练样本失真类型重叠的图像作为测试集，即JP2K、JPEG、白噪声和高斯模糊作为测试集，得到算法的性能指标。图12列出了在CSIQ和TID2013两个测试数据库上不同方法的斯皮尔曼秩相关系数(SROCC)指标。从图12可以看到，本发明方法(DDL)在两个数据库上的跨库实验均有优越表现。

关于时间性能，特征提取环节的耗时是决定模型在实际应用场合中耗时的关键因素，本发明在LIVE数据库中测试，记录6个NR-IQA模型提取每张图片特征的平均时间，实验记录如图13所示。所有实验均在Inteli7-6700K CPU@4.0GHz/16G RAM/win10 64位操作系统/MATLAB R2016a的PC上进行。从图13可以看出，本发明方法(DDL)的特征提取仅用了38ms，仅占第二名BRISQUE耗时的26.03％，说明本发明方法(DDL)是非常高效的。究其原因在于，本发明方法(DDL)采用的是最基本的小波分解，所以特征提取环节不会成为实际应用的负担。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种基于退化决策逻辑的无参考图像质量评价方法，其特征在于，包括：

步骤1：通过对各图像进行金字塔分解得到小波子带特征向量用以代表自然场景统计特征；

步骤2：建立特征混合网络的模型，对小波子带特征向量进行进一步的处理，通过特征混合网络的筛选组合得到混合特征向量；

步骤3：将混合特征向量输入进深度神经决策森林模型得到图像主观评价等级；

步骤4：利用均匀线性池化，将所述图像主观评价等级转化为图像客观质量评分；

步骤5：建立特征混合网络和深度神经决策森林模型，对建立的模型进行决策逻辑分化训练，进一步进行参数微调训练，最终得到训练后特征混合网络模型和深度神经决策森林模型；

步骤1中所述通过对各图像进行金字塔分解得到小波子带特征向量具体如下：

幅度

代表子带的能量信息：

熵

代表子带的结构信息：

其中，N_P为图像的数量，s为图像序号，k_s为第s幅图像的小波子带序号，

为第s幅图像的对应像素点坐标是(i，j)的第k个子带小波系数，

为第s幅图像的子带小波系数

的长度，

为第s幅图像的子带小波系数

的宽度，

代表为第s幅图像的

的出现概率，通过金字塔分解将为第s幅图像分解为K个子带，第s幅图像的水平分量小波系数为

第s幅图像的竖直分量小波系数为

第s幅图像的对角分量小波系数为

其中，

与

只是在滤波次序上存在互换，二者相近，取水平方向考虑，则第s幅图像共计表示为K*4维小波子带特征向量，用Xs代表第s幅图像的小波子带特征向量：

其中，z∈[1，K]，

为第z个水平方向子带的能量信息，

为第z个对角方向子带的能量信息，

为第z个水平方向子带的结构信息，

为第z个对角方向子带的结构信息；

步骤2中所述建立特征混合网络的模型，对小波子带特征向量进行进一步的处理，通过特征混合网络的筛选组合得到混合特征向量为：

X_s为步骤1中所述第s幅图像的小波子带特征向量，s∈[1，N_P]，N_P为图像的数量，s为图像序号，输入层的节点数量为H，h∈{1，......，H}，将X_s作为输入层的输入向量，经过隐藏层h₁和隐藏层h₂实现混合特征的提取，得到混合特征，用f_s代表第s幅图像提取的混合特征，隐藏层h₁、隐藏层h₂和输出层的节点数量均设为p，h₁采用ReLu激活函数，h₂直接将隐藏层h₁所得的值进行加权求和得到混合特征f_s；

Relu激活函数为：

y_c(X_s)＝max(0，X_s)s∈[1，N_P]

其中，X_s为第s幅图像的小波子带特征向量；

通过隐藏层h₂得到混合特征f_s为：

f_s＝f(X_s；θ_c)s∈[1，N_P]

其中，c为节点序号，c∈{1，......，p}，θ_c表示特征混合网络的模型的待训练参数：

其中，w_c为第c个节点对应线性映射的权重，b_c为第c个节点对应线性映射的偏移。

2.根据权利要求1所述的基于退化决策逻辑的无参考图像质量评价方法，其特征在于：

步骤3中所述将混合特征输入进深度神经决策森林模型得到图像主观评价等级为：

所采用的主观评价等级遵循ITU-R发布的BT.500-11标准，采用分割函数可导的深度神经决策森林模型dNDF，设dNDF输入样本为混合特征f_ss∈[1，N_P]，N_P为图像的数量，s为图像序号，dNDF的决策树T_i拥有H个决策节点，H为决策节点的数量，则随机抽取并排列f_s中的H个元素，形成子集

dNDF的决策概率d_h为：

其中，σ(x)为sigmoid函数；

引入真值函数s_n，h表示路径n中输入层节点h上的分支方向，若s_n，h为真值，则表示输入层节点h以d_h的概率选择了左边分支；否则

为真，则代表以

的概率选择了右边分支，显然d_h的分布会影响n中每条路径的被选概率μ_n，n∈{1，2，......，N}，即：

得到X_s经过决策树J_a后被映射到质量评级E_m的概率：

其中，π_n为第n条路径上叶节点的分类概率，E_m表示第m级的质量评级，m∈[1，G]，μ_n为决策森林中第n条路径的备选概率；

设J_a为组成随机森林的所有决策树，则随机森林的最终分类结果为所有决策树的投票结果，a∈{1，......，F}，即

以所有决策树的投票结果作为第s幅图像的最终主观评价等级，其中，X_s为第s幅图像的小波子带特征向量，E_m为第m级的质量评级，F表示a的范围。

3.根据权利要求2所述的基于退化决策逻辑的无参考图像质量评价方法，其特征在于：

步骤4中所述利用均匀线性池化，将所述图像主观评价等级转化为图像客观质量评分为：

设按大小顺序排列的常量{E₁，E₂，...，E_G}均匀分割主观评分DMOS的值域，则第s幅图像的客观质量评分：

其中，G表示采用评分等级的级数，E_m表示第m级的质量评级。

4.根据权利要求1所述的基于退化决策逻辑的无参考图像质量评价方法，其特征在于：

步骤5中所述决策逻辑分化训练为：

步骤2中所述特征混合网络模型中待训练参数θ_c和步骤3中所述深度神经决策森林模型中待训练参数相同；

定义训练集

NP为图像的数量，T所含样本量记为|T|，人工标记第s幅图像的真实评价分数为DMOS_s，L(Q，DMOS_s；θ_c，π)为特征混合网络和深度神经决策森林模型的损失函数：

其中，λ为调整率，L2指代L2正则化的模型，即Ridge回归，Q(X_s)为第s幅图像的客观质量评分，θ_c表示待训练参数，包括第c个节点对应线性映射的权重w_c和偏移b_c，c为特征混合网络的模型的节点数量，c∈{1，......，p}，π为叶节点的分类概率，π_n为第n条路径上叶节点的分类概率；

定义dNDF每棵决策树更新参数π_n：

其中，DMOS_s为人工标记第s幅图像的真实评价分数，X_s为第s幅图像的小波子带特征向量，T为定义的训练集，E_m表示第m级的质量评级，θ_c表示特征混合网络的模型的待训练参数，π_n为第n条路径上叶节点的分类概率，μ_n为决策森林中第n条路径的被选概率，m为质量评级的级数，n为决策树中的路径序号，n在数值等于输入图片的序号s；

P_J(E_m；X_s)为X_s经过决策树J被映射到质量评级E_m的概率，P_J(E_m；X_s)为：

其中，π_n为第n条路径上叶节点的分类概率，E_m表示第m级的质量评级，μ_n为决策森林中第n条路径的被选概率；

R(DMOS_s)为度量函数，代表决策树的期望质量评分同质量评级阈值之间的差异，R(DMOS_s)定义为：

其中，γ＞0，DMOS_s为第s幅图像的真实评价分数，E_m表示第m级的质量评级，m∈[1，G]；

同时，训练过程中需要引入神经网络的更新函数，这里采用随机梯度下降法完成θ_c的训练：

其中，t为参数θ_c更新的次数，t∈{1，......，N}，取得决策逻辑分化训练效果；

步骤5中所述参数微调训练为：

微调过程采用梯度下降优化法进行：

其中，

为随机选取的训练集的小批量子集，构成参数微调所使用的训练样本；

通过决策逻辑分化训练与参数微调训练得到训练后参数

最终得到训练后特征混合网络模型和深度神经决策森林模型；

利用训练后特征混合网络模型和深度神经决策森林模型，对输入的图像通过步骤1以及步骤2进行特征提取得到混合特征向量，然后将混合特征向量输入训练后特征混合网络模型根据步骤3得到图像主观评价等级，最终通过步骤4中所述均匀线性池化得到图像客观质量分数。

Images