CN105046277B - 特征显著性在图像质量评价中的鲁棒机理研究方法 - Google Patents

Abstract

本发明公开了一种特征显著性在图像质量评价中的鲁棒机理研究方法，其方法步骤为：首先，确立图像质量评价中特征选择的目标函数并初始化模型参数；其次，选择最优特征加入特征矩阵并移除特征干扰项；然后，计算图像质量评价系统中特征选择的显著性；接着，判断是否满足系统鲁棒性要求或达到特征个数上限；最后，验证模型分类效果。本发明通过引入的系统特征信噪比衡量特征显著性，求解图像质量评价系统中光滑凸函数的约束优化问题，有效地降低了非显著特征对分类面的干扰，提升了图像质量评价系统的鲁棒性，解决了基于学习机制的图像质量评价网络中，特征属性选择的自适应优化问题。

Description

特征显著性在图像质量评价中的鲁棒机理研究方法

技术领域

本发明涉及计算机视觉研究领域，特别涉及一种特征显著性在图像质量评价中的鲁棒机理研究方法。

背景技术

图像质量是图像的固有属性，一般通过度量图像降质的程度来获得。图像质量评价就是一种度量图像降质程度的方式，在图像处理、计算机视觉和系统工程等领域具有广泛应用价值，对降质图像复原算法的研究、自适应视觉系统的开发以及高层语义计算机视觉方法的应用具有理论和现实意义。

迄今为止，图像复原领域还没有形成统一的质量评价标准，评价方法通常被划分为主观评价方法和客观评价方法。其中，主观评价方法容易受到观测者的知识背景、心理动机等因素的影响，并且无法内嵌到视觉系统中对算法及参数进行自适应优化，大大制约了算法的工程应用价值。客观评价方法在近几十年的发展过程中涌现出了大量的质量评测指标，但始终没有出现满足工程应用的质量评价测度。近年来，随着以深度学习等为代表的机器学习机制迅速发展，出现了基于网络学习的图像质量评价方法，该类方法主要利用图像中稀疏的特征属性，训练满足精度的非线性映射网络，最终实现图像质量评价。该类方法的局限性往往体现在：在样本较少的情况下，系统无法根据不同的评测目标自适应选择合理的特征属性。也就是说，评价系统无法根据实际情况筛选合适的特征输入，不显著的特征被选入系统往往造成学习过程中出现过拟合现象。在基于学习机制的图像质量评价系统建模过程中，选取合适数量的稀疏特征个数是一项具有挑战的研究课题。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种特征显著性在图像质量评价中的鲁棒机理研究方法，通过引入的系统特征信噪比衡量特征显著性，以此求解图像质量评价系统中光滑凸函数的约束优化问题，使得评价过程更加接近人类视觉感知过程，有效地降低了非显著特征对分类面的干扰，减少了有限数据样本中离群点的过拟合现象，提升了图像质量评价系统的鲁棒性，解决了基于学习机制的图像质量评价网络中，特征属性选择的自适应优化问题。

为了达到上述目的，本发明采用以下技术方案：

特征显著性在图像质量评价中的鲁棒机理研究方法，包括下述步骤：

S101、提取测试集中图像的低秩特征；

S102、将原始特征集降维到优选特征矩阵，从原始特征集中逐步提取最优特征并剔除特征干扰项，最终得到对图像质量评价系统最有价值的特征矩阵；定义最优特征抽取函数以及特征干扰项的筛选函数，计算添加新的特征前后损失函数的差值，衡量添加的特征的显著性；当最优特征抽取函数值越大时，说明对应的特征显著性越好；当特征干扰项的筛选函数值越大时，说明对应的特征为干扰项的置信度越高，需要被剔除；

S103、判断各个特征对于图像质量评价系统效果影响的显著性，定义系统信噪比作为衡量图像质量评价特征显著性的指标，当显著性指标值越大时，说明在对图像质量评价系统的影响越显著，对鲁棒的图像质量评价系统贡献越大，更容易被选出，更应该被优先选入特征集；

S104、将显著特征集代入学习网络，训练分类超平面，通过机器学习的方法训练输入样本数据，达到样本数据分类的目的；

S105、实现图像质量等级评价；在训练模型参数确立下来后，输入新的测试图像，得到的网络输出即为图像质量等级评价结果。

作为优选的，步骤S101具体为：

首先，从训练集图像中抽取原始特征集，其中每一张图片对应多个特征属性，这些特征可能对应图像色彩、结构、变换域等方面的属性，依照图片序号建立特征数据集序列；

其次，求解这些候选的特征值之间的相关性，尽可能将特征属性值转化成低秩的特征矩阵；

最后，将特征矩阵输入到图像质量评价系统中进行计算。

作为优选的，步骤S102中，显著特征提取的算法流程包括以下步骤：

S201、初始化特征矩阵及参数，并求解第一个特征输入下的模型系数，初始化特征矩阵和特征显著性系数θ，将训练集和对应参数载入网络学习模型；

S202、判断是否满足学习精度或者达到特征个数上限，将优选的特征集带入训练模型，计算图像质量评价系统精度，当满足系统鲁棒性要求或达到特征个数上限时，停止特征显著性检测并退出循环体；

S203、从特征集中抽取最优特征并剔除干扰项，带入分类模型计算特征显著性；

S204、判断新特征的引入，使得图像质量评价系统是否满足鲁棒的约束条件，利用测试特征集计算训练网络误差，当网络误差在预设的精度范围内时，退出特征选择的循环过程；

S205、从特征集中剔除不满足系统鲁棒约束条件所对应的特征，并指向下一个特征。

作为优选的，步骤S203的具体方法为：

第一步、确立图像质量评价中特征选择的目标函数，原始特征选择的通项可以表示为：

其中，L(θ)为目标损失函数，θ为损失函数中每个特征对应的系数，为优选的显著特征对应的系数，q为总的特征个数，n为训练样本个数，为训练数据集，s为给定的特征个数；

目标损失函数中，θ的值越大说明对应的特征越显著；

由于||θ||₀≤s的约束条件，使得式(1)为一个NP-Hard问题，可以引入松弛优化的方法，将约束条件||θ||₀≤s转化为最优近似||θ||₁≤s，从而将原始目标函数通项近似定义为式(2)；

图像质量评价的学习机制具体表征为一个求解分类超平面的问题，选取图像质量评价中特征选择的目标函数，只需将式(2)中的目标损失函数L(θ)替换为具体的分类函数即可完成建模，如标准logistic损失函数，定义为式(3)；

第二步、选择最优特征加入特征矩阵定义最优特征抽取函数：

其中，i表示原始特征下标，θ+e_iθ_i代表新一个特征增加到特征矩阵中，式(4)表明在已选入最优特征集之外的特征中，添加新的特征前后损失函数的差值，当G_i越大时，说明对应的特征显著性越好，选择最优特征加入特征矩阵即求解：

第三步、移除特征干扰项，定义特征干扰项的筛选函数：

同理，式6中i表示原始特征下标，θ-e_iθ_i代表新一个特征增加到特征矩阵中，式(6)表明在已选入最优特征集之外的特征中，损失函数在添加新的特征后与添加前的差值，当D_i越大时，说明对应的特征为干扰项的置信度越高，需要被剔除，需要指出的是，特征集元素的遍历过程中每次仅添加一个最优特征，却可能同时移除一个或多个干扰特征；

第四步、计算图像质量评价系统中特征选择的显著性，引入系统信噪比作为衡量图像质量评价特征显著性的指标，定义特征显著性指标为：

其中，为被优选出的显著特征系数，σ为被选取的特征集的噪声离散方差，可用均方差代替，SIG_j的值越大时，说明在优选特征集中越显著，对鲁棒的图像质量评价系统贡献越大。

作为优选的，步骤S104训练网络学习的具体方法为：

S301、特征抽取层，抽取输入测试集中图像所对应的海量特征，并以特征矩阵的形式存储，作为机器学习网络输入样本的候选特征集；

S302、显著特征提取，通过特征显著性检测手段，从候选特征集中提取显著的图像质量评价特征集；

S303、稀疏表达，通过稀疏表达的方式，对高维显著特征进行降维处理，并以此作为机器学习网络的输入样本集；

S304、拓扑学习机制的超平面分类，通过机器学习的方法训练输入样本数据，达到样本数据分类的目的；

S305、图像质量等级评价结果输出，基于学习机制的分类网络构建完成以后，输入新的待评价图像样本，重复S301、S302和S303的步骤，并将稀疏表达后的样本输入分类网络，最终输出图像质量评价的等级Q_n。

作为优选的，步骤S304中，针对特征输入的网络学习模型，用卷积神经网络训练分类超平面进行处理：

S3041、初始化二维特征向量，建立N组分类数据标签；

S3042、数组内数据的池化处理，即将数组内传递参数相近的组别尽可能放在一起，进行区域重组，目的是减少中间层维度，降低上层的计算复杂度；

S3043、通过卷积层处理，将输入层的特征图与一个可学习的核进行卷积，卷积的结果经过激活函数后的输出形成这一层的特征图，其中，卷积层的数学描述为：l代表层数，k是卷积核，M_j代表选择的输入特征图集合，每一个输出图有一个偏置b；

S3044、通过网络迭代，调整权值与阈值，当满足精度要求时，跳出迭代循环体，训练结束并将各层权值和阈值保存下来，形成固定的学习网络；

S3045、随机抽选N/3组数据对网络精度进行验证，满足精度要求则输出最终网络结构，完成所述分类超平面训练。

本发明与现有技术相比，具有如下优点和有益效果：

1、图像质量评价中特征参数的自适应优选。相较于传统人为选择评价特征的方法，本发明能够衡量图像特征对图像质量评价系统影响的显著性，实现图像质量评价中特征参数的自适应优选，进而通过更少的特征属性来表达图像质量的好坏，并防止不显著特征被选入学习过程造成的过拟合现象。

2、海量图像特征属性的稀疏表达。相较于传统的前向特征选择算法，本发明能够有效地得到图像评价过程中高维特征的稀疏表达，进一步减少特征间的相关性，得到更加稀疏的特征集表达方式。

附图说明

图1是本发明基于特征显著性的图像质量评价方法的流程示意图；

图2是本发明显著特征提取的算法流程示意图；

图3是本发明基于网络学习机制的图像质量评价方法的结构示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

参见图1，本发明基于特征显著性的图像质量评价方法包括以下步骤：

S101、提取测试集中图像的低秩特征。首先从训练集图像中抽取原始特征集，其中每一张图片对应多个特征属性，这些特征可能对应图像色彩、结构、变换域等方面的属性，依照图片序号建立特征数据集序列。然后求解这些候选的特征值之间的相关性，尽可能将特征属性值转化成低秩的特征矩阵。最后将特征矩阵输入到图像质量评价系统中进行计算。

S102、将原始特征集降维到优选特征矩阵。目的是从原始特征集中逐步提取最优特征并剔除特征干扰项，最终得到对图像质量评价系统最有价值的特征矩阵。定义最优特征抽取函数以及特征干扰项的筛选函数，计算添加新的特征前后损失函数的差值，衡量添加的特征的显著性。当最优特征抽取函数值越大时，说明对应的特征显著性越好；当特征干扰项的筛选函数值越大时，说明对应的特征为干扰项的置信度越高，需要被剔除。具体参见图2显著特征提取的算法流程S203中的描述。

S103、判断各个特征对于图像质量评价系统效果影响的显著性。定义系统信噪比作为衡量图像质量评价特征显著性的指标，当显著性指标值越大时，说明在对图像质量评价系统的影响越显著，对鲁棒的图像质量评价系统贡献越大，更容易被选出，更应该被优先选入特征集。本步骤是本发明的核心步骤，具体参见图2显著特征提取的算法流程S203中的描述。

S104、将显著特征集代入学习网络，训练分类超平面。通过机器学习的方法训练输入样本数据，达到样本数据分类的目的。具体参见图3基于网络学习机制的图像质量评价方法S304中的描述。

S105、实现图像质量等级评价。在训练模型参数确立下来后，输入新的测试图像，得到的网络输出即为图像质量等级评价结果。

参见图2，本发明显著特征提取的算法流程包括以下步骤：

S201、初始化特征矩阵及参数，并求解第一个特征输入下的模型系数。初始化特征矩阵和特征显著性系数θ，将训练集和对应参数载入网络学习模型。

S202、判断是否满足学习精度或者达到特征个数上限。将优选的特征集带入训练模型，计算图像质量评价系统精度。当满足系统鲁棒性要求或达到特征个数上限时，停止特征显著性检测并退出循环体。

S203、从特征集中抽取最优特征并剔除干扰项，带入分类模型计算特征显著性。具体过程如下：

第一步、确立图像质量评价中特征选择的目标函数。原始特征选择的通项可以表示为：

其中，L(θ)为目标损失函数，θ为损失函数中每个特征对应的系数，为优选的显著特征对应的系数，q为总的特征个数，n为训练样本个数，为训练数据集，s为给定的特征个数。

目标损失函数中，θ的值越大说明对应的特征越显著。

由于||θ||₀≤s的约束条件，使得式(1)为一个NP-Hard问题，可以引入松弛优化的方法，将约束条件||θ||₀≤s转化为最优近似||θ||₁≤s，从而将原始目标函数通项近似定义为式(2)。

图像质量评价的学习机制具体表征为一个求解分类超平面的问题，选取图像质量评价中特征选择的目标函数，只需将式(2)中的目标损失函数L(θ)替换为具体的分类函数即可完成建模。如标准logistic损失函数，定义为式(3)。

第二步、选择最优特征加入特征矩阵定义最优特征抽取函数：

其中，i表示原始特征下标，θ+e_iθ_i代表新一个特征增加到特征矩阵中。式(4)表明在已选入最优特征集之外的特征中，添加新的特征前后损失函数的差值。当G_i越大时，说明对应的特征显著性越好。选择最优特征加入特征矩阵即求解：

第三步、移除特征干扰项。定义特征干扰项的筛选函数：

同理，式6中i表示原始特征下标，θ-e_iθ_i代表新一个特征增加到特征矩阵中。式(6)表明在已选入最优特征集之外的特征中，损失函数在添加新的特征后与添加前的差值。当D_i越大时，说明对应的特征为干扰项的置信度越高，需要被剔除。需要指出的是，特征集元素的遍历过程中每次仅添加一个最优特征，却可能同时移除一个或多个干扰特征。

第四步、计算图像质量评价系统中特征选择的显著性。引入系统信噪比作为衡量图像质量评价特征显著性的指标。定义特征显著性指标为：

其中，为被优选出的显著特征系数，σ为被选取的特征集的噪声离散方差，可用均方差代替。SIG_j的值越大时，说明在优选特征集中越显著，对鲁棒的图像质量评价系统贡献越大。

S204、判断新特征的引入，使得图像质量评价系统是否满足鲁棒的约束条件。利用测试特征集计算训练网络误差，当网络误差在预设的精度范围内时，退出特征选择的循环过程。

S205、从特征集中剔除不满足系统鲁棒约束条件所对应的特征，并指向下一个特征。

在步骤S104和S204中所述的训练学习网络参见图3，本发明基于网络学习机制的图像质量评价方法实施步骤：

S301、特征抽取层。抽取输入测试集中图像所对应的海量特征，并以特征矩阵的形式存储，作为机器学习网络输入样本的候选特征集。

S302、显著特征提取。通过特征显著性检测手段，从候选特征集中提取显著的图像质量评价特征集。

S303、稀疏表达。通过稀疏表达的方式，对高维显著特征进行降维处理，并以此作为机器学习网络的输入样本集。

S304、拓扑学习机制的超平面分类。通过机器学习的方法训练输入样本数据，达到样本数据分类的目的。

S305、图像质量等级评价结果输出。基于学习机制的分类网络构建完成以后，输入新的待评价图像样本，重复S301、S302和S303的步骤，并将稀疏表达后的样本输入分类网络，最终输出图像质量评价的等级Q_n。

在步骤304中，针对特征输入的网络学习模型，本发明提供一种利用卷积神经网络训练分类超平面的实施例，但本发明的学习机制不仅仅局限于该方法。具体采用如下方法进行处理：

初始化二维特征向量，建立N组分类数据标签。

数组内数据的池化处理。即将数组内传递参数相近的组别尽可能放在一起，进行区域重组。目的是减少中间层维度，降低上层的计算复杂度；

通过卷积层处理，将输入层的特征图与一个可学习的核进行卷积，卷积的结果经过激活函数后的输出形成这一层的特征图。其中，卷积层的数学描述为：l代表层数，k是卷积核，M_j代表选择的输入特征图集合，每一个输出图有一个偏置b；

通过网络迭代，调整权值与阈值。当满足精度要求时，跳出迭代循环体，训练结束并将各层权值和阈值保存下来，形成固定的学习网络；

最后，随机抽选N/3组数据对网络精度进行验证，满足精度要求则输出最终网络结构，完成所述分类超平面训练。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于特征显著性的图像质量评价方法，其特征在于，包括下述步骤：

S101、提取测试集中图像的低秩特征；

S102、将原始特征集降维到优选特征矩阵，从原始特征集中逐步提取最优特征并剔除特征干扰项，最终得到图像质量评价系统优选特征矩阵；定义最优特征抽取函数以及特征干扰项的筛选函数，计算添加新的特征前后损失函数的差值，衡量添加的特征的显著性；当最优特征抽取函数值越大时，说明对应的特征显著性越好；当特征干扰项的筛选函数值越大时，说明对应的特征为干扰项的置信度越高，需要被剔除；

S103、判断各个特征对于图像质量评价系统效果影响的显著性，定义系统信噪比作为衡量图像质量评价特征显著性的指标，当显著性指标值越大时，说明在对图像质量评价系统的影响越显著，对鲁棒的图像质量评价系统贡献越大，更容易被选出，更应该被优先选入特征集；

S104、将显著特征集代入学习网络，训练分类超平面，通过机器学习的方法训练输入样本数据，达到样本数据分类的目的；

S105、实现图像质量等级评价；在训练模型参数确立下来后，输入新的测试图像，得到的网络输出即为图像质量等级评价结果。

2.根据权利要求1所述的图像质量评价方法，其特征在于，步骤S101具体为：

首先，从训练集图像中抽取原始特征集，其中每一张图片对应多个特征属性，这些特征对应图像色彩、结构、变换域方面的属性，依照图片序号建立特征数据集序列；

其次，求解这些候选的特征值之间的相关性，将特征属性值转化成低秩的特征矩阵；

最后，将特征矩阵输入到图像质量评价系统中进行计算。

3.根据权利要求1所述的图像质量评价方法，其特征在于，步骤S102中，显著特征提取的算法流程包括以下步骤：

S201、初始化特征矩阵及参数，并求解第一个特征输入下的模型系数，初始化特征矩阵和特征显著性系数θ，将训练集和对应参数载入网络学习模型；

S202、判断是否满足学习精度或者达到特征个数上限，将优选的特征集带入训练模型，计算图像质量评价系统精度，当满足系统鲁棒性要求或达到特征个数上限时，停止特征显著性检测并退出循环体；

S203、从特征集中抽取最优特征并剔除干扰项，带入分类模型计算特征显著性；

S204、判断新特征的引入，使得图像质量评价系统是否满足鲁棒的约束条件，利用测试特征集计算训练网络误差，当网络误差在预设的精度范围内时，退出特征选择的循环过程；

S205、从特征集中剔除不满足系统鲁棒约束条件所对应的特征，并指向下一个特征。

4.根据权利要求3所述的图像质量评价方法，其特征在于，步骤S203的具体方法为：

第一步、确立图像质量评价中特征选择的目标函数，原始特征选择的通项可以表示为：

其中，L(θ)为目标损失函数，θ为损失函数中每个特征对应的系数，为优选的显著特征对应的系数，p为总的特征个数，n为训练样本个数，为训练数据集，s为给定的特征个数；

目标损失函数中，θ的值越大说明对应的特征越显著；

由于||θ||₀≤s的约束条件，使得式(1)为一个NP-Hard问题，可以引入松弛优化的方法，将约束条件||θ||₀≤s转化为最优近似||θ||₁≤s，从而将原始目标函数通项近似定义为式(2)；

图像质量评价的学习机制具体表征为一个求解分类超平面的问题，选取图像质量评价中特征选择的目标函数，只需将式(2)中的目标损失函数L(θ)替换为具体的分类函数即可完成建模，标准logistic损失函数，定义为式(3)；

第二步、选择最优特征加入特征矩阵定义最优特征抽取函数：

其中，i表示原始特征下标，θ+e_iθ_i代表新一个特征增加到特征矩阵中，式(4)表明在已选入最优特征集之外的特征中，添加新的特征前后损失函数的差值，当G_i越大时，说明对应的特征显著性越好，选择最优特征加入特征矩阵即求解：

第三步、移除特征干扰项，定义特征干扰项的筛选函数：

同理，式6中i表示原始特征下标，θ-e_iθ_i代表新一个特征增加到特征矩阵中，式(6)表明在已选入最优特征集之外的特征中，损失函数在添加新的特征后与添加前的差值，当D_i越大时，说明对应的特征为干扰项的置信度越高，需要被剔除，需要指出的是，特征集元素的遍历过程中每次仅添加一个最优特征，却可能同时移除一个或多个干扰特征；

第四步、计算图像质量评价系统中特征选择的显著性，引入系统信噪比作为衡量图像质量评价特征显著性的指标，定义特征显著性指标为：

其中，为被优选出的显著特征系数，σ为被选取的特征集的噪声离散方差，可用均方差代替，SIG_j的值越大时，说明在优选特征集中越显著，对鲁棒的图像质量评价系统贡献越大。

5.根据权利要求1所述的图像质量评价方法，其特征在于，步骤S104训练网络学习的具体方法为：

S301、特征抽取层，抽取输入测试集中图像所对应的原始特征，并以特征矩阵的形式存储，作为机器学习网络输入样本的候选特征集；

S302、显著特征提取，通过特征显著性检测手段，从候选特征集中提取显著的图像质量评价特征集；

S303、稀疏表达，通过稀疏表达的方式，对高维显著特征进行降维处理，并以此作为机器学习网络的输入样本集；

S304、拓扑学习机制的超平面分类，通过机器学习的方法训练输入样本数据，达到样本数据分类的目的；

S305、图像质量等级评价结果输出，基于学习机制的分类网络构建完成以后，输入新的待评价图像样本，重复S301、S302和S303的步骤，并将稀疏表达后的样本输入分类网络，最终输出图像质量评价的等级Q_n。

6.根据权利要求5所述的图像质量评价方法，其特征在于，步骤S304中，针对特征输入的网络学习模型，用卷积神经网络训练分类超平面进行处理：

S3041、初始化二维特征向量，建立N组分类数据标签；

S3042、数组内数据的池化处理，即将数组内传递参数相近的组别尽可能放在一起，进行区域重组，目的是减少中间层维度，降低上层的计算复杂度；

S3043、通过卷积层处理，将输入层的特征图与一个可学习的核进行卷积，卷积的结果经过激活函数后的输出形成这一层的特征图，其中，卷积层的数学描述为：l代表层数，k是卷积核，M_j代表选择的输入特征图集合，每一个输出图有一个偏置b；

S3044、通过网络迭代，调整权值与阈值，当满足精度要求时，跳出迭代循环体，训练结束并将各层权值和阈值保存下来，形成固定的学习网络；

S3045，随机抽选N/3组数据对网络精度进行验证，满足精度要求则输出最终网络结构，完成所述分类超平面训练。