CN111179224B - 一种基于联合学习的航拍图像修复质量的无参考评价方法 - Google Patents

Abstract

本发明公开了一种基于联合学习的航拍图像修复质量的无参考评价方法。该方法为：首先以逐层下采样的卷积神经网络为主框架，以图像分类任务为驱动，学习已修复图像的失真特征；然后用联合损失函数将已修复图像的失真特征回归到图像质量的真实得分，实现对图像全参考评价指标SSIM的近似。本发明解决了无法获得参考图像时的航拍图像盲评价问题，兼顾了对图像质量差异性的良好预测，提高了航拍图像修复质量的预测性能。

Description

一种基于联合学习的航拍图像修复质量的无参考评价方法

技术领域

本发明涉及图像质量评价技术领域，特别是一种基于联合学习的航拍图像修复质量的无参考评价方法。

背景技术

航拍图像是地理信息的重要来源，但成像时来自于厚云、镜头污迹的遮挡会使图像质量下降、目标信息残缺，在光谱、时相信息不足以恢复时，人们常用修复方法来重建丢失的信息。修复方法的选择和参数的调整依赖于对修复质量的评价。图像质量评价是图像处理中的基本问题之一，为图像复原、超分重建、去雾和去雨等问题提供了评价指标。但目前针对图像修复质量的评价方法主要是SSIM、PSNR和MSE等全参考指标，它们常用于知晓原图像(参考图像)时的情况，但在实际应用中，不存在有效的参考图像，因此准确的无参考质量评价具有重要的应用价值。

传统的无参考质量评价方法主要是特征→统计→得分的单向流程，其中最广泛使用的是自然场景统计(NSS)方法，利用自然图像和失真图像的广义高斯分布偏差，采用合适的度量函数进行回归。还有一些方法采用机器学习对数据集表现出的特征进行学习。对于越来越多的应用场景，人工设计广泛适用的特征是难以完成的。

基于深度学习的质量评价通过分类、回归等任务的驱动端到端地学习图像失真的特征，同时学习特征到得分的度量。深度学习对很多数据集具有适应性，在大数据下尤其具备优势。

深度学习模型可以通过端到端的有监督或无监督任务学习数据集的特征，逐渐成为图像质量评价的主流。Kang[Kang L,Ye P,Li Y,et al.Convolutional neuralnetworks for no-reference image quality assessment[C]//Proceedings of theIEEE conference on computer vision and pattern recognition.2014:1733-1740]首次应用了5层CNN进行图像质量得分的预测，随后人们相继提出更深层的质量评价网络，但图像质量评价的人工标注通常昂贵且耗时，可提供的标注数量有限。相比于CNN模型大量的参数，仅用有限的真实值回归训练会造成过拟合，因此人们通过各种方法扩充可用数据，如Bosse[Bosse S,Maniry D,Müller K R,et al.Deep neural networks for no-referenceand full-reference image quality assessment[J].IEEE Transactions on ImageProcessing,2017,27(1):206-219]将图像剪切成小块，每块的主观得分采用整幅图像的得分，增加了样本数量，预测时再对每块得分做平均。Liu[Liu X,van de Weijer J,BagdanovAD.Rankiqa:Learning from rankings for no-reference image quality assessment[C]//Proceedings of the IEEE International Conference on ComputerVision.2017:1040-1049.]、Ma[Ma K,Liu W,Liu T,et al.dipIQ:Blind image qualityassessment by learning-to-rank discriminable image pairs[J].IEEE Transactionson Image Processing,2017,26(8):3951-3964]等采用孪生网络进行图像质量的排序训练，大大扩充了数据集规模，同时经过样本间的两两比较，网络也会学到图像失真的特征，从而有助于下一步的回归。除了排序学习，Ma[Ma K,Liu W,Zhang K,et al.End-to-endblind image quality assessment using deep neural networks[J].IEEETransactions on Image Processing,2017,27(3):1202-1213]、Zhang[Zhang W,Ma K,YanJ,et al.Deep bilinear pooling for blind image quality assessment[J].IEEETrans.Circuits and Syst.Video Technol.,to appear]等还采用了失真类型和强度的分类训练。除此之外，文献[Lin K Y,Wang G.Hallucinated-IQA:No-reference imagequality assessment via adversarial learning[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2018:732-741]试图用生成网络恢复参考图像信息，从而借鉴全参考评价方法预测质量得分。

然而，现有大部分质量评价方法主要针对通用公开数据集以及全局性的失真类型，如噪声、JPEG压缩、信道快衰落等，而缺少针对航拍图像云去除效果的定量评估。航拍图像的成像距离远，深度信息较少，地物、纹理分布较为连续，与一般的地面成像有很大差异。航拍图像的云区修复主要是恢复颜色、纹理等结构信息，而对它的评价关键在鉴别局部与整体的一致性。这种局部不一致性与公开数据集中的失真类型差异较大，直接使用通用的评价方法难以反映图像的真实质量。

发明内容

本发明的目的在于提供一种适用范围广泛、能够解决无法获得参考图像时的航拍图像盲评价问题、性能优良的基于联合学习的航拍图像修复质量的无参考评价方法。

实现本发明目的的技术解决方案为：一种基于联合学习的航拍图像修复质量的无参考评价方法，包括以下步骤：

步骤1、以逐层下采样的卷积神经网络为主框架，以图像分类任务为驱动，学习已修复图像的失真特征；

步骤2、用联合损失函数将已修复图像的失真特征回归到图像质量的真实得分，实现对图像全参考评价指标SSIM的近似。

进一步地，步骤1所述的以逐层下采样的卷积神经网络为主框架，以图像分类任务为驱动，学习已修复图像的失真特征，具体如下：

步骤1.1、给定待评价修复图像I_c，全参考质量评价算法看作如下等式：

S＝f(I_s,I_c) (1)

式中，f(·)为全参考质量评价模型，I_s为参考图像，S为全参考质量评价得分；

当参考图像I_s无法获得时，式(1)退化为无参考质量评价，用下式表示：

式中，g_θ(·)为无参考质量评价模型，θ为模型参数，为无参考质量评价的预测得分；

步骤1.2、构造判别模型g_θ'(·)，判别模型g_θ'(·)与无参考质量评价模型g_θ(·)的特征提取部分，即卷积层共用；

步骤1.3、将无失真的未修复图像视为正例，失真的已修复图像视为负例，由于负例数量远大于正例，对正例进行过采样以平衡，使用判别模型g_θ'(·)将输入图像映射为1个2维向量：

训练样本的标签记为[y₀ y₁]，正负例均按照独热编码；

步骤1.4、将输出向量经过softmax映射到两类的置信度：

步骤1.5、用交叉熵损失函数训练判别模型g_θ'(·)的分类性能：

其中m为一次训练批量。

进一步地，步骤2所述的用联合损失函数将已修复图像的失真特征回归到图像质量的真实得分，实现对图像全参考评价指标SSIM的近似，具体如下：

步骤2.1、采用SSIM评价作为待回归方法f(I_s,I_c)，设定原图像数据量为N，在m₂种掩膜上选用m₁种算法进行修复，得到Nm₁m₂组图像数据和SSIM值，对这些数据进行两两组合，得到组对比图像对数据；

步骤2.2、利用步骤2.1产生的对比图像对进行排序和回归的训练，对于任一对比图像对I_c1、I_c2，设定f(I_s,I_c1)＞f(I_s,I_c2)，无参考质量评价模型g_θ(·)不仅要使对应的输出逼近全参考指标，还要使两个输出符合相同的大小排序，即

因此设计损失函数loss2：

损失函数loss2由3项组成，第1项为排序损失，当g_θ(I_c2)＞g_θ(I_c1)时，该项大于0，经过梯度下降会使得网络对I_c2的响应逐渐变小而对I_c1的响应逐渐变大，正数ε使得对I_c2的响应下降到设定的范围；第2项为回归损失，使用L1范数；第3项为神经网络所有权值的正则项，同样使用L1范数；超参数λ₁、λ₂和λ₃为这3项的加权系数。

本发明与现有技术相比，其显著优点在于：(1)提出了一种不针对特定失真类型的修复质量预测器，解决了无法获得参考图像时的航拍图像盲评价问题；(2)融合了排序训练和回归训练，提出了联合损失函数，在获得好的逼近的同时，兼顾了对图像质量差异性的良好预测，获得了较好的预测性能。

附图说明

图1是本发明基于联合学习的航拍图像修复质量的无参考评价方法的流程示意图。

图2是本发明实施例中典型方法在中心掩膜上出现的异常现象示意图，其中(a)为第一张原图，(b)为(a)的修复结果图，(c)为第二张原图，(d)为(c)的修复结果图。

图3是本发明实施例中采用的仿真掩膜的结构示意图，其中(a)～(d)分别为掩膜1、掩膜2、掩膜3、掩膜4的结构示意图。

图4是本发明实施例中各方法预测值与真实值回归图，其中(a)～(e)分别为ILNIQE、RankIQA、MEON、DB-CNN和本发明方法。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

航拍图像与普通自然图像有很大差异，同时修复引起的失真是局部的，因此全局的统计分析和图像块的平均很难反映总体图像的降质。本发明用CNN对整幅图像进行学习，以借助下采样和池化结构逐层保留对修复失真的响应。

步骤1、以逐层下采样的卷积神经网络为主框架，以图像分类任务为驱动，学习已修复图像的失真特征，具体如下：

步骤1.1、给定待评价修复图像I_c，全参考质量评价算法可看作如下等式：

S＝f(I_s,I_c) (1)

式中，f(·)为全参考质量评价算法，I_s为参考图像，S为全参考评价得分；

当参考图像I_s无法获得时，(1)式退化为无参考质量评价，可用下式表示：

式中，g_θ(·)为无参考质量评价模型，θ为模型参数，为模型的无参考质量评价的预测得分；

步骤1.2、构造判别模型g_θ'(·)，判别模型g_θ'(·)与无参考质量评价模型g_θ(·)的特征提取部分，即卷积层共用；

训练无参考质量评价模型以使逼近S，由于缺少I_s，无参考质量评价模型g_θ(·)必须包含对原图像的先验知识，而这种先验通常是难以显示地建模，但可以通过训练CNN模型隐式地学习。对此，设计了一种端到端的CNN模型来预测修复图像的得分。为了获得g_θ(·)对原图像的感知，使用判别模型g_θ'(·)对大量无失真原图像和修复图像进行分类。其中，g_θ'(·)与g_θ(·)的特征提取部分，即卷积层共用。训练结束后，认为无参考质量评价模型学习了图像修复前后的主要特征，保留判别模型g_θ'(·)的特征提取部分，再用无参考质量评价模型g_θ(·)进行质量得分的回归。无参考质量评价模型g_θ(·)和判别模型g_θ'(·)的总体框架结合图1。

本发明的一个具体实施例的网络结构如表1所示，为4层卷积—池化—归一化加2层全连接层，输入为256×256×3的图像。经过多次试验，发现在BN、LRN、GDN、IN、GN、LN等归一化方法中，GDN、GN和LN能够有效地分类修复和无失真原图，考虑到在类似问题中GDN的广泛应用，因此选用GDN作为归一化层。网络结构如表1所示，其中conv(5,2,2,8)表示数量为8、大小为5×5的卷积核，进行步长为2的卷积操作，边界填充为2(下同)；pool(2,2)表示大小为2×2，步长为2的最大池化操作；fc(128)表示128个输出节点的全连接层；输出维度C因任务不同而取值不同，在分类任务中C＝2，在回归得分任务中C＝1。

表1网络结构

操作	输出维度
		conv(5,2,2,8),gdn,pool(2,2)	64×64×8
conv(5,2,2,16),gdn,pool(2,2)	16×16×16
		conv(5,2,2,32),gdn,pool(2,2)	4×4×32
conv(3,2,0,64),gdn,pool(2,2)	1×1×64
		fc(128),gdn	128
fc(C)	C

步骤1.3、以分类任务驱动模型学习图像修复后的失真特征。将无失真的未修复图像视为正例，失真的已修复图像视为负例，由于负例数量远大于正例，对正例进行过采样以平衡，使用判别模型g_θ'(·)将输入图像映射为1个2维向量：

训练样本的标签记为[y₀ y₁]，正负例均按照独热编码；

步骤1.4、将输出向量经过softmax映射到两类的置信度：

步骤1.5、用交叉熵损失函数训练判别模型g_θ'(·)的分类性能：

其中m为一次训练批量。

步骤2、用联合损失函数将已修复图像的失真特征回归到图像质量的真实得分，实现对图像全参考评价指标SSIM的近似，具体如下：

进行排序学习，使无参考质量评价模型g_θ(·)对任意两幅图像的预测得分排序，与相应的全参考评价得分排序相同；

步骤2.1、因为SSIM评价较符合人眼主观感受，且输出值在0～1之间，便于回归，因此用其作为待回归方法f(I_s,I_c)，设定原图像数据量为N，在m₂种掩膜上选用m₁种算法进行修复，得到Nm₁m₂组图像数据和SSIM值，对这些数据两两组合，可得到组对比图像对数据，满足深度学习模型的数据规模；

步骤2.2、利用步骤2.1产生的对比图像对进行排序和回归的训练，对于任一对比图像对I_c1、I_c2，设定f(I_s,I_c1)＞f(I_s,I_c2)，无参考质量评价模型g_θ(·)不仅要使对应的输出逼近全参考指标，还要使两个输出符合相同的大小排序，即

因此设计了损失函数loss2：

损失函数loss2由3项组成，第1项为排序损失，当g_θ(I_c2)＞g_θ(I_c1)时，该项大于0，经过梯度下降会使得网络对I_c2的响应逐渐变小而对I_c1的响应逐渐变大，正数ε使得对I_c2的响应下降到一定的范围，避免网络将很多样本的输出值集中于很小的区间；第2项为回归损失，使用L1范数；第3项为神经网络所有权值的正则项，同样使用L1范数；超参数λ₁、λ₂和λ₃为这3项的加权系数。

实施例1

本实施例的实验数据为亚洲某地区航拍图像，将其裁剪为不重复的256×256大小共16542幅，按3:1的比例划分为训练集和测试集。选用了3种近期的基于深度学习图像修复方法[Yeh R A,Chen C,Yian Lim T,et al.Semantic image inpainting with deepgenerative models[C]//Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition.2017:5485-5493][Pathak D,Krahenbuhl P,Donahue J,etal.Context encoders:Feature learning by inpainting[C]//Proceedings of theIEEE conference on computer vision and pattern recognition.2016:2536-2544][Iizuka S,Simo-Serra E,Ishikawa H.Globally and locally consistent imagecompletion[J].ACM Transactions on Graphics(ToG),2017,36(4):107]在训练集上学习，这些方法均基于深度学习(经过大量测试，非深度学习的修复方法用于航拍图像时，常发生不稳定现象，图2(a)～(d)为典型方法[Darabi S,Shechtman E,Barnes C,etal.Image Melding:Combining Inconsistent Images using Patch-based Synthesis[J].ACM Transactions on Graphics,2012,31(4)]在中心掩膜上出现的异常现象，为在大量数据上进行对比，本实施例只选用3种比较稳定的方法)。构建了4种大小位置各不相同的掩膜，如图3(a)～(d)所示，将掩膜覆盖于测试集图像，用这3种方法进行修复，共得到49632幅质量不一的样本作为评价数据集。根据原图像计算数据集中图像的SSIM得分，为了将质量得分区间拉开，记图像集中SSIM最大值、最小值分别为maxV、minV，将SSIM得分线性拉伸到0～10区间内。

实验主要设备为超微工作站，GeForce RTX 2080Ti GPU，20核intel Xeon E5-2630v4CPU。

步骤1中，以这些样本为负例，对应的原图像4136幅过采样12倍为正例，共99264幅图像随机置乱，按照7:3的比例划分训练和验证集，以loss1为损失函数，批大小设为32，优化器为Adam。训练100次进行一次验证，当验证分类准确率达到97％以上时停止训练，认为此时卷积层充分学习了修复图像的失真特征。

步骤2中，保留卷积层参数，以loss2为损失函数训练整个网络，批大小为1对对比对，轮数为10，经过交叉验证，取最优超参数λ₁＝λ₂＝1，λ₃＝10^-5，ε＝1.9×10^-4。

为了对比本发明方法与其它经典方法的性能，选择了一种非学习的评价方法ILNIQE，3种基于深度学习的评价方法RankIQA、MEON和DB-CNN进行对比。由于ILNIQE是NSS方法，先用原图像拟合NSS特征，再在特征空间中计算与原图像的距离。对于RankIQA，实验中发现3种主网络结构均无法有效地学习特征，因此采用本发明的网络代替，并以RankIQA++以区分，用文献提出的损失函数进行训练，轮数与批大小与本发明一致。对于MEON方法，先按照本发明第一步做法训练分类部分，回归训练的批大小设为32，轮数为20。对DB-CNN方法，由于其包含了对失真类别和级别的分类，我们用自己的原图像作为纯净数据做了相同的仿真和预训练，所有参数设置均与作者代码保持一致。

采用用斯皮尔曼秩相关系数(SROCC)、皮尔森线性相关系数(PLCC)和均方根误差(RMSE)来评价各方法的性能。分别定义为：

PLCC和RMSE的预测值经过了logistic拟合函数的映射：

其中SROCC衡量了评价算法预测的单调性，PLCC和RMSE分别衡量了预测值与真实值之间的相关性和绝对误差。SROCC和PLCC越大，RMSE越小说明评价算法越好。

表2各方法在3种指标下的得分

方法	SROCC	RMSE	PLCC
				ILNIQE	-0.0877	2.7378	0.3020
RankIQA++	0.7565	0.8953	0.9502
				MEON	0.7861	1.2004	0.9085
DB-CNN	0.4251	1.9445	0.7359
				本发明方法	0.7721	0.6283	0.9758

图4(a)～(e)给出了对数据集中16544幅图像的预测值和真实值的样本点分布和logistic拟合曲线。表2给出了在这些测试上各方法各指标的得分对比。可见ILNIQE和DB-CNN方法表现较差，这两种方法是针对全局一致性的失真，如高斯模糊、jpeg压缩、噪声等，ILNIQE是用多元高斯分布中心的距离评价得分，DB-CNN用这些失真类型和量级作为分类驱动进行特征提取。而修复图像的失真是区域性的，且很难用一般评价数据集中的有限失真类型描述，因此评价指标上得分较低，也说明了修复失真的特征与其它失真有很大区别。对于RankIQA和MEON，加以改进后，与本发明的区别主要在于训练和损失函数。RankIQA将排序训练和回归训练分开，MEON的分类训练与本发明相似，但只用了回归训练，因此导致了预测单调性和绝对误差不能达到最佳。而本发明方法在损失函数上兼顾了这三项指标，因此在PLCC和RMSE上取得了所有对比方法的最优，在SROCC上取得了次优的结果。

Claims (1)

1.一种基于联合学习的航拍图像修复质量的无参考评价方法，其特征在于，包括以下步骤：

步骤1、以逐层下采样的卷积神经网络为主框架，以图像分类任务为驱动，学习已修复图像的失真特征；

步骤2、用联合损失函数将已修复图像的失真特征回归到图像质量的真实得分，实现对图像全参考评价指标SSIM的近似；

步骤1所述的以逐层下采样的卷积神经网络为主框架，以图像分类任务为驱动，学习已修复图像的失真特征，具体如下：

步骤1.1、给定待评价修复图像I_c，全参考质量评价算法看作如下等式：

S＝f(I_s,I_c) (1)

式中，f(·)为全参考质量评价模型，I_s为参考图像，S为全参考质量评价得分；

当参考图像I_s无法获得时，式(1)退化为无参考质量评价，用下式表示：

式中，g_θ(·)为无参考质量评价模型，θ为模型参数，为无参考质量评价的预测得分；

步骤1.2、构造判别模型g_θ'(·)，判别模型g_θ'(·)与无参考质量评价模型g_θ(·)的特征提取部分，即卷积层共用；

步骤1.3、将无失真的未修复图像视为正例，失真的已修复图像视为负例，由于负例数量远大于正例，对正例进行过采样以平衡，使用判别模型g_θ'(·)将输入图像映射为1个2维向量：

训练样本的标签记为[y₀ y₁]，正负例均按照独热编码；

步骤1.4、将输出向量经过softmax映射到两类的置信度：

步骤1.5、用交叉熵损失函数训练判别模型g_θ'(·)的分类性能：

其中m为一次训练批量；

步骤2所述的用联合损失函数将已修复图像的失真特征回归到图像质量的真实得分，实现对图像全参考评价指标SSIM的近似，具体如下：

步骤2.1、采用SSIM评价作为待回归方法f(I_s,I_c)，设定原图像数据量为N，在m₂种掩膜上选用m₁种算法进行修复，得到Nm₁m₂组图像数据和SSIM值，对这些数据进行两两组合，得到组对比图像对数据；

步骤2.2、利用步骤2.1产生的对比图像对进行排序和回归的训练，对于任一对比图像对I_c1、I_c2，设定f(I_s,I_c1)＞f(I_s,I_c2)，无参考质量评价模型g_θ(·)不仅要使对应的输出逼近全参考指标，还要使两个输出符合相同的大小排序，即

因此设计损失函数loss2：

损失函数loss2由3项组成，第1项为排序损失，当g_θ(I_c2)＞g_θ(I_c1)时，该项大于0，经过梯度下降会使得网络对I_c2的响应逐渐变小而对I_c1的响应逐渐变大，正数ε使得对I_c2的响应下降到设定的范围；第2项为回归损失，使用L1范数；第3项为神经网络所有权值的正则项，同样使用L1范数；超参数λ₁、λ₂和λ₃为这3项的加权系数。