CN110766657A - 一种激光干扰图像质量评价方法 - Google Patents

Abstract

本发明公开了一种激光干扰图像质量评价方法，包括：获取激光干扰图像及其对应的参考图像；采用相同卷积网络分别对激光干扰图像和参考图像依次进行多次不同层次特征提取的卷积池化操作；计算激光干扰图像和参考图像经相同次卷积池化时得到的特征向量之间的相似度，并对所有相似度之间进行加权计算得到图像质量评分。本发明在激光干扰图像质量评估中引入卷积网络，利用参考图像和干扰图像在卷积网络各卷积层输出特征的相识度，度量干扰图像的失真程度，充分利用卷积网络提取特征的层次性和对遮挡的敏感性。另外，将所有卷积池化对应的相似度值作加权计算，最终评价得分符合实际人眼主观感知，可靠性高，不需要检测目标和光斑的位置，应用场景较广。

Description

一种激光干扰图像质量评价方法

技术领域

本发明属于图像处理领域，更具体地，涉及一种激光干扰图像质量评价方法。

背景技术

激光因其具有单色性、方向性、高亮度等特点被应用于光电成像系统的干扰中。在这种光电对抗过程中，光学CCD或者CMOS等成像器件容易受到激光干扰的影响，从而使得图像质量显著下降；同时，干扰光斑对图像关键信息的遮挡，特别是对目标的遮挡，会严重影响信息处理系统的检测识别性能。深入分析图像的激光干扰效果，特别是激光干扰对目标检测性能的影响，给出定量化的指标体系，可以为激光干扰系统的研制和发展提供技术支持和理论依据。

目前，全参考的图像质量评价算法计算简单、应用广泛，但其计算过程中仅比较原图和失真图像各对应像素点之间的灰度差异，没有考虑到图像的结构变化，与主观感知的一致性很低。而大部分基于图像质量评价的激光干扰评估方法都需要预先知道干扰光斑和目标的位置信息，使得评估处理时受到先验知识和预处理方法的制约，只适合有特定目标的激光干扰图像质量评价，适用场景少，实际应用中难以实现。因此需要针对激光干扰图像的特点建立一种新的评价模型。

发明内容

本发明提供一种激光干扰图像质量评价方法，用以解决现有激光干扰图像的质量评价中因需要预先知道干扰光斑和目标的位置信息而存在应用范围较窄的技术问题。

本发明解决上述技术问题的技术方案如下：一种激光干扰图像质量评价方法，包括：

S1、获取激光干扰图像及其对应的参考图像；

S2、采用相同卷积网络分别对所述激光干扰图像和所述参考图像依次进行多次不同层次特征提取的卷积池化操作；

S3、计算所述激光干扰图像和所述参考图像经相同次卷积池化时得到的特征向量之间的相似度，并对所有所述相似度之间进行加权计算，得到图像质量评分，完成激光干扰图像质量的评价。

本发明的有益效果是：本发明创造性地在激光干扰图像质量评估中引入卷积网络，因为激光干扰评估就是要量化干扰光斑对图像造成的信息损失，本发明利用参考图像和干扰图像在卷积网络各卷积层输出特征(并经池化进行一维度展开的特征向量)的相似度，度量激光干扰图像的失真程度，充分利用了卷积网络提取特征的层次性和对遮挡的敏感性。另外，将激光干扰图像和参考图像在相同次卷积池化得到的特征向量之间做相似度度量，每次卷积池化对应一个相似度值，将所有相似度值作加权计算，以获得能够评价激光干扰图像质量的评分。本发明充分考虑了多个维度的信息损失，同时通过加权计算，最终评价得分更加符合实际人眼主观感知(即人眼感知的不同干扰图像的干扰程度排序严格与计算得到的评分高低顺序保持一致)，可靠性高，同时不需要检测目标和光斑的位置，简单方便，应用场景较广，实用性较强。

上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述S2之前，所述方法还包括：

获取预训练的卷积网络，并采用激光干扰样本图像，对所述预训练的卷积网络进行训练，得到所述S2中采用的所述卷积网络。

本发明的进一步有益效果是：本发明对预训练权重的卷积网络，采用激光干扰图像进行进一步训练，以用于激光干扰图像和其参考图像的卷积池化，提高各层卷积池化操作的特征提取准确性和层次性，进一步提高激光干扰图像质量评价的可靠性。

进一步，所述相似度为两个特征向量之间的余弦相似度。

本发明的进一步有益效果是：余弦相似度是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小，余弦值越接近1就表示两个向量越相似。

进一步，所述加权计算为加权乘积，具体表示为：

C(x,y)＝[C₁(x,y)]^α·[C₂(x,y)]^β·····[C_i-1(x,y)]^γ·[C_i(x,y)]^λ；

其中，C_i(x,y)表示第i次卷积池化得到的两张图像x,y的特征向量之间的相似度，α,β,γ,λ均表示权重，取值根据实际需要设置且大于0。

本发明的进一步有益效果是：该计算方法能够更加符合实际人眼主观感知,进一步提高结果可靠性。

进一步，所述α,β,γ,λ的取值均满足1±0.2。

本发明的进一步有益效果是：各权重参数的取值在1附近，效果较佳。

进一步，所述卷积网络为VGG卷积网络；则所述多次不同层次特征提取的卷积池化操作包括：

得到表示颜色特征的特征向量的第一次卷积池化；得到表示边缘特征的特征向量的第二次卷积池化；得到表示纹理特征的特征向量的第三次卷积池化；得到表示区别性特征的特征向量的第四次卷积池化；得到表示辨别性特征的特征向量的第五次卷积池化。

本发明的进一步有益效果是：本发明采用VGG卷积网络，提取不同深浅层次的维度特征，包括激光干扰对图像的灰度、纹理等初级特征的改变以及对图像关键信息的遮挡造成的影响，通过相似度计算，分别得到用来度量干扰图像的颜色变化、用来度量干扰图像的边缘变化、用来度量干扰图像的纹理变化、用来度量干扰图像的比较有区别性的特征的变化、用来度量干扰图像的具有辨别性关键特征的变化等的相似度。综合考虑了激光干扰图像相对于参考图像的颜色、边缘、纹理、有区别性的特征和具有辨别性关键特征的变化，通过分析激光干扰前后图像在VGG卷积网络中的这些输出特征变化，对干扰图像中关键信息的被遮挡程度进行评价，既考虑了颜色等差异，也考虑图像的结构变化，评价结果客观、可靠，同时避免了目标/光斑位置信息的输入需求，既适用于有特定目标的激光干扰图像质量评价场景也适用于无先验知识的场景，应用性较强。

进一步，所述VGG卷积网络为VGG16卷积网络。

本发明还提供一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述任一种激光干扰图像质量评价方法。

附图说明

图1为本发明实施例提供的一种激光干扰图像质量评价方法的流程框图；

图2为本发明实施例提供的待评价的激光干扰图像及其参考图像；

图3为本发明实施例提供的激光干扰图像质量评价方法的数据流图；

图4为本发明实施例提供的各评价方法对图2的评价结果曲线对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

一种激光干扰图像质量评价方法100，如图1所示，包括：

步骤110、获取激光干扰图像及其对应的参考图像；

步骤120、采用相同卷积网络分别对激光干扰图像和参考图像依次进行多次不同层次特征提取的卷积池化操作；

步骤130、计算激光干扰图像和参考图像经相同次卷积池化时得到的特征向量之间的相似度，并对所有相似度之间进行加权计算，得到图像质量评分，完成激光干扰图像质量的评价。

需要说明的是，步骤120中进行卷积池化操作后，获取每次卷积池化得到的每张图像对应的特征向量，以用于步骤130的相似度计算。

因为激光干扰评估就是要量化干扰光斑对图像造成的信息损失，本发明利用参考图像和干扰图像在卷积网络各卷积层输出特征(并经池化进行一维度展开的特征向量)的相识度，度量激光干扰图像的失真程度，充分利用了卷积网络提取特征的层次性和对遮挡的敏感性。另外，将激光干扰图像和参考图像在相同次卷积池化得到的特征向量之间做相似度度量，每次卷积池化对应一个相似度值，将所有相似度值作加权计算，以获得能够评价激光干扰图像质量的评分。本实施例充分考虑了多个维度的信息损失，同时通过加权计算，最终评价得分更加符合实际人眼主观感知(即人眼感知的不同干扰图像的干扰程度排序严格与计算得到的评分高低顺序保持一致)，可靠性高，同时不需要检测目标和光斑的位置，简单方便，应用场景较广，实用性较强。

优选的，步骤120之前，方法100还包括：

获取预训练的卷积网络，并采用激光干扰样本图像，对所述预训练的卷积网络进行训练，得到步骤120中采用的所述卷积网络。

需要说明的是，激光干扰样本图像是训练网络的样本图像(数据集)，用大量数据集训练卷积网络改变权重以使网络适合激光干扰评价。

对预训练权重的卷积网络，采用激光干扰图像进行进一步训练，以用于激光干扰图像和其参考图像的卷积池化，提高各层卷积池化操作的特征提取准确性和层次性，进一步提高激光干扰图像质量评价的可靠性。

优选的，上述相似度为两个特征向量之间的余弦相似度。余弦相似度是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小，余弦值越接近1就表示两个向量越相似。

优选的，上述加权计算为加权乘积，具体表示为：

其中，C_i(x,y)表示第i次卷积池化得到的两张图像x,y的特征向量之间的相似度，α,β,···,γ,λ均表示权重，取值根据实际需要设置且大于0。

该计算方法能够更加符合实际人眼主观感知,进一步提高结果可靠性。

优选的，上述各权重α,β,···,γ,λ的取值均满足1±0.2。

各权重参数的取值在1附近，效果较佳。

优选的，上述卷积网络为VGG卷积网络；则多次不同层次特征提取的卷积池化操作包括：

得到表示颜色特征的特征向量的第一次卷积池化；得到表示边缘特征的特征向量的第二次卷积池化；得到表示纹理特征的特征向量的第三次卷积池化；得到表示区别性特征的特征向量的第四次卷积池化；得到表示辨别性特征的特征向量的第五次卷积池化。

需要说明的是，区别性特征指比较有区别的中层特征，辨别性特征指完整的、具有辨别性的关键特征。

具体的，池化层Pool1层特征向量余弦相似度：

其中，x、y分别代表参考图像和干扰图像，x_pool1、y_pool1分别代表图像x、y在VGG卷积网络的Pool1的输出特征的一维展开，C₁(x,y)可以用来度量干扰图像的颜色变化。

池化层Pool2层特征向量余弦相似度：

其中，x_pool2、y_pool2分别代表图像x、y在VGG卷积网络的Pool2的输出特征的一维展开，C₂(x,y)可以用来度量干扰图像的边缘变化。

池化层Pool3层特征向量余弦相似度：

其中，x_pool3、y_pool3分别代表图像x、y在VGG卷积网络的Pool3的输出特征的一维展开，C₃(x,y)可以用来度量干扰图像的纹理变化。

池化层Pool4层特征向量余弦相似度：

其中，x_pool4、y_pool4分别代表图像x、y在VGG卷积网络的Pool4的输出特征的一维展开，C₄(x,y)可以用来度量干扰图像的比较有区别性的特征的变化。

池化层Pool5层特征向量余弦相似度：

其中，x_pool5、y_pool5分别代表图像x、y在VGG卷积网络的Pool5的输出特征的一维展开，C₅(x,y)可以用来度量干扰图像的具有辨别性关键特征的变化。

将各相似度加权相乘得到最终的干扰图像质量评价结果，计算公式如下所示：

C(x,y)＝[C₁(x,y)]^α[C₂(x,y)]^β[C₃(x,y)]^c[C₄(x,y)]^γ[C₅(x,y)]^λ

其中，α＞0,β＞0,c＞0,γ＞0,λ＞0，主要用来调整这五个部分的权重大小，一般情况下α＝β＝c＝γ＝λ＝1。在本实施例中，为了突出高层卷积特征变化的重要性，本例取α＝1.10,β＝1.05,c＝1.0,γ＝0.95,λ＝0.9。

采用VGG卷积网络，提取不同深浅层次的维度特征，包括激光干扰对图像的灰度、纹理等初级特征的改变以及对图像关键信息的遮挡造成的影响，通过相似度计算，分别得到用来度量干扰图像的颜色变化、用来度量干扰图像的边缘变化、用来度量干扰图像的纹理变化、用来度量干扰图像的比较有区别性的特征的变化、用来度量干扰图像的具有辨别性关键特征的变化等的相似度。综合考虑了激光干扰图像相对于参考图像的颜色、边缘、纹理、有区别性的特征和具有辨别性关键特征的变化，通过分析激光干扰前后图像在VGG卷积网络中的这些输出特征变化，对干扰图像中关键信息的被遮挡程度进行评价，既考虑了颜色等差异，也考虑图像的结构变化，评价结果客观、可靠，同时避免了目标/光斑位置信息的输入需求，既适用于有特定目标的激光干扰图像质量评价场景也适用于无先验知识的场景，应用性较强。

优选的，VGG卷积网络为VGG16卷积网络。

为了更好的说明本发明实施例效果，现以图2为例，a、b、c、d、e、f分别表示一张图像，图中大白圆代表激光干扰。其中a表示参考图像，b、c、d、e、f分别表示激光干扰图像。对于b的图像质量评价流程如下：将a和b同时输入到带有训练好权重的VGG16卷积网络中，分别计算a和b在VGG16卷积网络中Pool1、Pool2、Pool3、Pool4和Pool5输出特征的卷积相似度C₁、C₂、C₃、C₄和C₅(如图3所示，C₁、C₂、C₃、C₄和C₅分别为各次卷积池化对应的两张图像的特征向量的相似度)，然后根据加权公式求取b的最终图像质量得分。对于图2中各干扰图像的图像质量评分如下表所示：

图名	b	c	d	e	f
						图像质量	0.480595	0.270827	0.208365	0.109109	0.065252

从主观角度出发，b-f的激光干扰程度逐渐加强，图像的质量逐渐下降，从上表可以看出，本实施例的评价结果，与主观感知较为一致。此外为了说明本实施例的有效性，将本实施例的评价方法与目前主流的图像质量评价方法SSIM和激光干扰图像质量评价方法MFSIM、WFSIM进行了比较，评价结果曲线如图4所示，其中CNNSIM对应的曲线为本实施例的评价曲线。从图中可以看到，随着激光干扰程度的增加，SSIM、MFSIM和WFSIM曲线都应该下降，而实际上SSIM却总体呈现上升趋势，MFSIM和WFSIM曲线都在c出现了拐点，这说明这三种算法的评价结果都出现了偏差，只有CNNSIM能准确的评估出不同程度的激光干扰对图像质量的影响。

为进一步验证本实施例的评价效果，在涵盖不同激光光斑、不同背景、不同目标位置和不同光斑位置等多种情况的激光干扰图像上，对CNNSIM与多种传统算法进行实验验证。实验结果表明CNNSIM的评价结果更符合主观感知，且CNNSIM不需要检测目标和光斑的位置，应用场景更广。

实施例二

一种存储介质，存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上实施例一所述的任一种激光干扰图像质量评价方法。

相关技术方案同实施例一，在此不再赘述。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种激光干扰图像质量评价方法，其特征在于，包括：

S1、获取激光干扰图像及其对应的参考图像；

S2、采用相同卷积网络分别对所述激光干扰图像和所述参考图像依次进行多次不同层次特征提取的卷积池化操作；

S3、计算所述激光干扰图像和所述参考图像经相同次卷积池化时得到的特征向量之间的相似度，并对所有所述相似度之间进行加权计算，得到图像质量评分，完成激光干扰图像质量的评价。

2.根据权利要求1所述的一种激光干扰图像质量评价方法，其特征在于，所述S2之前，所述方法还包括：

获取预训练的卷积网络，并采用激光干扰样本图像，对所述预训练的卷积网络进行训练，得到所述S2中采用的所述卷积网络。

3.根据权利要求1所述的一种激光干扰图像质量评价方法，其特征在于，所述相似度为两个特征向量之间的余弦相似度。

4.根据权利要求1所述的一种激光干扰图像质量评价方法，其特征在于，所述加权计算为加权乘积，具体表示为：

C(x,y)＝[C₁(x,y)]^α·[C₂(x,y)]^β·…·[C_i-1(x,y)]^γ·[C_i(x,y)]^λ；

其中，C_i(x,y)表示第i次卷积池化得到的两张图像x,y的特征向量之间的相似度，α,β,γ,λ均表示权重，取值根据实际需要设置且大于0。

5.根据权利要求4所述的一种激光干扰图像质量评价方法，其特征在于，所述α,β,γ,λ的取值均满足1±0.2。

6.根据权利要求1至5任一项所述的一种激光干扰图像质量评价方法，其特征在于，所述卷积网络为VGG卷积网络；则所述多次不同层次特征提取的卷积池化操作包括：

得到表示颜色特征的特征向量的第一次卷积池化；得到表示边缘特征的特征向量的第二次卷积池化；得到表示纹理特征的特征向量的第三次卷积池化；得到表示区别性特征的特征向量的第四次卷积池化；得到表示辨别性特征的特征向量的第五次卷积池化。

7.根据权利要求6所述的一种激光干扰图像质量评价方法，其特征在于，所述VGG卷积网络为VGG16卷积网络。

8.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述如权利要求1至7任一项所述的一种激光干扰图像质量评价方法。

Images