CN109784358B

CN109784358B - 一种融合人工特征和深度特征的无参考图像质量评价方法

Info

Publication number: CN109784358B
Application number: CN201811407270.9A
Authority: CN
Inventors: 闫钧华; 白雪含; 张寅�; 杜君; 许祯瑜; 蔡旭阳; 侯平; 吕向阳; 马俊; 苏恺
Original assignee: Nanjing University of Aeronautics and Astronautics
Current assignee: Nanjing University of Aeronautics and Astronautics
Priority date: 2018-11-23
Filing date: 2018-11-23
Publication date: 2023-07-11
Anticipated expiration: 2038-11-23
Also published as: CN109784358A

Abstract

本发明公开了一种融合人工特征和深度特征的无参考图像质量评价方法，所述方法首先根据实际应用需要提取适合的人工特征，之后对图像集图像进行深度特征的提取，最后在全连接层处，进行人工特征和深度特征的融合，将特征向量输入到回归层中，共同作用于损失函数，完成网络的训练。最后输入待测失真图像，即可利用网络进行图像的无参考质量评价。

Description

一种融合人工特征和深度特征的无参考图像质量评价方法

技术领域

本发明属于图像质量评价技术领域，尤其涉及一种融合深度特征和人工特征的无参考图像质量综合评价方法。

背景技术

在复杂战场环境下，对获取的图像进行质量评价，有利于准确、及时的掌握战场态势，为正确决策和占据战场主动提供保障。无参考图像质量评价特征主要包括基于统计建模的人工特征以及基于卷积神经网络深度特征两种。

基于图像自然场景统计模型的无参考质量评价方法，即根据不同的图像特点，提取相应的特征向量，之后利用支撑向量机（Support Vector Machine, SVM）等对相应的人工特征向量进行处理，完成图像质量评分。基于人工特征的图像质量评价方法针对性强，通常对特定失真类型的图像评分效果好，不能很好的适应复杂战场环境下的图像的质量评价要求。2013年Gu K 等人提出了一个五步的无参考多失真指标FISBLIM (Five-Step BLindMetric)，首先通过噪声估计来判断图像中噪声大小，然后对图像降噪处理，进一步对降噪后的图像利用模糊估计来估计模糊失真大小或利用块效应估计压缩失真大小。该算法由于降噪处理可能会引入失真，其评价效果一般。2015年Li C 等针对多失真图像的提出来了基于质量感知特征学习的无参考算法LQAF (Learning Quality-Aware Features)，提取图像相位一致性特征、梯度幅度特征和对比敏感度特征，利用SVM模型进行评分。由于图像梯度幅度和相位一致性并不能充分反应图像的结构，算法评价效果并不理想。2016年Li Q等提出了无参考多失真图像质量评价方法 GWH-GLBP (Gradient-Weighted Histogram of LBPCalculated On The Gradient Map)，利用梯度对图像梯度的局部二元模式 (LocalBinary Pattern, LBP) 直方图加权得到图像自然场景统计 (Natural SceneStatistics, NSS)特征，并利用SVM模型进行评分。对多失真图像具有较好的主客观一致性，但算法针对不同数据库表现不够鲁棒。

随着近年来机器学习火热，卷积神经网络CNN已经成功应用于图像识别和分类等计算机视觉领域，而多个公开的机器学习开源工具Tensorflow、Theano也使得CNN等网络能够便利地应用于图像质量评价领域。2014年，Kang L等人首次将CNN网络用于无参考质量评价领域，直接将原始图像块作为输入，并通过一个卷积层和最大值池化自动地对图像进行特征提取，进一步利用隐藏层和回归层得到图像质量评分；2016年，Fu J在Kang L所提出的网络基础上同时利用最大值池化和平均值池化来提取图像特征，同时将该方法应用于多失真图像质量评价，算法具有较好的主客观一致性。基于卷积神经网络的图像质量评价方法通常具有更好的适应性，可以较好的应对复杂环境下的图像质量评价，但是其训练测试耗时久，实时性较差，不利于及时的对图像进行处理、分析。

发明内容

发明目的：为了解决现有技术存在的问题，实现复杂战场环境下对图像质量的准确、及时的评价。本发明提供一种融合深度特征和人工特征的无参考图像质量评价方法。

技术方案：一种融合深度特征和人工特征的无参考图像质量评价方法，包括以下步骤：

步骤一：提取图像的人工特征，根据实时战场环境特点，提取相应的人工特征。若观测目标处于快速运动背景下，图像由于快速运动而产生模糊，此时运动模糊对图像质量的影响占主要因素，则选用适用于对模糊图像进行评价的方法。若环境中电磁等干扰较多，图像会由于噪声影响产生较多的噪点，则选用适用于对噪声图像进行评价的图像质量评价方法。

步骤二：将步骤一中提取的人工特征通过卷积神经网络，与深度特征进行融合，联合对待测战场图像进行质量评价。

进一步的，所述步骤二中的人工特征和深度特征融合的具体方法包括：

将待评价图像，输入到卷积神经网络中，其中待评价图像可为单波段图像，或者为不同波段图像组合的图像集。通过卷积层、激活层、池化层等进行图像的特征提取，将各个波段的图像分别经过不同的卷积神经网络进行特征提取后，在全连接层进行连接。

之后根据人工特征维度的不同，将其加入到不同的全连接层中，即：维度越大，加到越靠前的全连接层，维度越小，加到越靠近回归层的全连接层。通过调整人工特征加入到全连接层的位置，可以调节人工特征和深度特征的比例，从而调整网络的收敛速度以及所提取特征的针对性大小（人工特征的比例越大，特征的针对性越强）。

最后，将所有特征共同输入到全连接层或者回归层中，作用于损失函数，进行网络训练。通过反向迭代更新，使得网络提取的深度特征可以更好的与人工特征联合，保持与人工特征的同质性的同时更好提取适应于实际情况的特征。

本发明的有益效果在于：

1.通过在隐藏层加入人工特征，可以有针对性的对不同战场环境下的图像进行特征提取，从而加强网络对图像特性表征的有效性，进而提高网络的精度。

2.通过在隐藏层加入人工特征，有助于构建正确的神经网络初始下降方向，提高网络训练效果，加快网络的收敛速度，从而提高网络特征提取的速度，增强其在实际应用中的实时性。

3.通过对深度特征和人工特征比例的调节，可以相应的对网络的训练效果进行调节，从而使得方法适用于不断变化的战场环境需要。

附图说明

图1为图像集深度特征提取示意图；

图2为深度特征和人工特征融合示意图。

实施方式

下面结合附图和具体实施例对本发明作进一步说明。

步骤一：提取图像的人工特征，根据实时战场环境特点，提取相应的人工特征。

人工特征提取的源图像可为可见光图像，或者根据实际战场需要，选用不同波段的图像，如夜晚可见光图像所含的图像信息不如红外图像丰富，在红外图像上提取特征更有利于有效的对特征进行表征，此时则选用红外图像作为人工特征提取的原图像。

另一方面，考虑到实际战场环境中，影响图像质量的主要因素不同，选用针对不同失真的图像质量评价方法。如，若观测目标处于快速运动背景下，图像由于快速运动而产生模糊，此时运动模糊对图像质量的影响占主要因素，则选用适用于对模糊图像进行评价的方法。若环境中电磁等干扰较多，图像会由于噪声影响产生较多的噪点，则选用适用于对噪声图像进行评价的图像质量评价方法。

进一步的，所属步骤二中的人工特征和深度特征融合的具体方法包括：

将待评价图像，输入到卷积神经网络中。如图1，待评价图像可为单波段图像，或者为不同波段图像组合的图像集，图像类型的选取还需考虑到步骤一中人工特征提取的原图像，如步骤一中的人工特征是在红外图像上进行提取的，则需要保证图像集中包含红外图像，从而增强人工特征和深度特征的同质性，有利于二者的融合。通过卷积层、激活层、池化层等进行图像的特征提取，利用不同的卷积神经网络分别对图像集中的各类图像经过进行特征提取后，生成相应的特征向量，并进行特征的连接。

之后根据人工特征维度的不同，将其加入到不同的全连接层中，即：维度越大，加到越靠前的全连接层，维度越小，加到越靠近回归层的全连接层。通过调整人工特征加入到全连接层的位置，可以调节人工特征和深度特征的比例，从而调整网络的收敛速度以及所提取特征的针对性大小（人工特征的比例越大，特征的针对性越强）。依次适应实时战场需要，如果需要快速图像评价，则增大人工特征的比例，如果需要全面的考量图像的质量，则增大深度特征的比例。

以输入为可见光和红外光图像，主要失真为模糊失真为例，进行具体说明。

将可见光和红外图像分别输入到CNN1和CNN2中，构建两通道的网络结构，同时考虑到主要失真为模糊失真，采用图像的边缘LBP特征进行模糊失真图像人工特征的提取。

首先，将图像分块，将分块后的图像分别输入到两个网络中，设图像块大小为34*34，CNN1和CNN2中卷积核大小为3*3，结构依次为卷积层、池化层、卷积层、池化层，输出依次为：32*32、16*16、14*14、7*7；卷积层中卷积核个数均为30。则通过CNN1，和CNN2，对于可见光和红外图像，分别得到7*7*30的特征向量。将这两个特征向量进行连接，得到7*7*60的特征向量。

之后将7*7*60的特征向量输入到隐藏层1，设置隐藏层1输出为1024，则得到1024维的特征向量，将特征向量依次输入到隐藏层2、隐藏层3、隐藏层4中，输出依次为512，256，50，并在隐藏层4中，将网络得到的深度特征与人工得到的深度特征进行融合，人工特征选取为20维，则融合后得到70维的融合特征向量，将融合特征向量输入到回归层中，得到网络的输出。

其中，网络损失函数为预测图像质量分数与实际图像质量分数的均方差，网络更新方法为自适应矩估计(ADAM)，并使用斯皮尔曼相关系数(SROCC)作为网络是否收敛的判断，当网络输出的SROCC连续十次未达到最佳值时，认为网络收敛，保留此时的网络参数。人工特征为分别在可见光和红外光图像上计算LBP直方图特征所得，每种图像10维，共20维。

将SROCC作为网络性能的评价指标，根据实际情况，改变人工特征和深度特征的比例，选取SROCC值最高时的特征比例。

本发明的思路及方法，具体实现该技术方案的方法和途径很多，以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims

1.一种融合人工特征和深度特征的无参考图像质量评价方法，其特征在于，所述方法包括以下步骤：

步骤一：提取图像的人工特征，根据实时战场环境特点，提取相应的人工特征；

步骤二：将步骤一中提取的人工特征通过卷积神经网络，与深度特征进行融合，联合对待测战场图像进行质量评价；

所述步骤二具体为：

将待评价图像，输入到卷积神经网络中，通过卷积层、激活层、池化层进行图像的特征提取，将各个波段的图像分别经过不同的卷积神经网络进行特征提取后，在全连接层进行连接；

之后根据人工特征维度的不同，将其加入到不同的全连接层中，通过调整人工特征加入到全连接层的位置，调节人工特征和深度特征的比例，从而调整网络的收敛速度以及所提取特征的针对性大小；

最后，将所有特征共同输入到全连接层或者回归层中，作用于损失函数，进行网络训练；通过反向迭代更新，使得网络提取的深度特征可以更好的与人工特征联合，保持与人工特征的同质性的同时更好提取适应于实际情况的特征。

2.根据权利要求1所述的一种融合人工特征和深度特征的无参考图像质量评价方法，其特征在于，所述图像为单波段图像或者为不同波段的图像组成的集合，分别经过不同的卷积神经网络后，在全连接层处进行特征的连接。

3.根据权利要求1所述的一种融合人工特征和深度特征的无参考图像质量评价方法，其特征在于，根据人工特征维度的不同，将其加入到不同的全连接层中，维度越大，加到越靠前的全连接层，维度越小，加到越靠近回归层的全连接层。

4.根据权利要求2所述的一种融合人工特征和深度特征的无参考图像质量评价方法，其特征在于，所述人工特征和深度特征在全连接层处进行连接，通过调整在全连接层连接的位置，在不改变网络结构的情况下调整两种特征的比例，使其适应于不同环境下的需要，人工特征的比例越大，特征的针对性越强。

5.根据权利要求1至4任一项所述的一种融合人工特征和深度特征的无参考图像质量评价方法，其特征在于，若观测目标处于快速运动背景下，运动模糊对图像质量的影响占主要因素，则选用适用于对模糊图像进行评价的方法；若环境中电磁的干扰较多，图像由于噪声影响产生较多的噪点，则选用适用于对噪声图像进行评价的图像质量评价方法。