CN111028203B

CN111028203B - 一种基于显著性的cnn盲图像质量评估方法

Info

Publication number: CN111028203B
Application number: CN201911129340.3A
Authority: CN
Inventors: 李凡; 李梦月; 贺丽君; 杨晓晗
Original assignee: Nanjing Zhongzhi Tengfei Aviation Technology Research Institute Co ltd
Current assignee: Nanjing Zhongzhi Tengfei Aviation Technology Research Institute Co ltd
Priority date: 2019-11-18
Filing date: 2019-11-18
Publication date: 2023-04-07
Anticipated expiration: 2039-11-18
Also published as: CN111028203A

Abstract

本发明公开了一种基于显著性的CNN盲图像质量评估方法，通过给原始图像添加不同失真等级以及失真区域的多个失真版本图，并赋予不同的数字标签来代表质量的高低，将显著性和失真两个因素有效的引入了数据扩充中，数据集的有效扩充有效的缓解了图像质量评估小数据集训练长网络的压力，从而极大的提高了模型最终预测性能，在各个图像质量评估数据集上展现出较强的泛化能力。主要包括以下步骤：1)分别制作预训练阶段和微调阶段所需的数据集；2)利用预训练阶段制作的数据集对VGG‑16网络进行预训练，并保存网络模型；3)利用微调阶段的IQA训练集对预训练好的VGG‑16网络进行微调训练，并保存网络模型；4)使用上述微调后的模型计算IQA测试集的预测精度。

Description

一种基于显著性的CNN盲图像质量评估方法

技术领域

本发明属于计算机图像处理领域，特别是涉及一种基于显著性的CNN盲图像质量评估方法。

背景技术

图像质量评估作为图像处理领域的基础内容，在许多领域有其广泛的实用性，比如图像压缩、视频编解码和视频监控等。由于在很多实际应用中，很难获得待评估图像的参考图像，所以开发有效的无参考图像质量评估(NR-IQA)方法变得日益重要；NR-IQA方法主要包含传统方法和深度学习的方法。传统的方法主要是利用手动提取的与人眼感知相关的低级特征，并通过浅层回归的方法来评估图像的质量。这种方法的主要缺点是手动提取的低级特征不足以呈现图像的复杂结构和失真程度。因此，近年来，深度学习的方法得到了广泛的发展。主要是因为它只需要利用卷积神经网络强大的学习能力自动提取与失真相关的深度特征来评估图像的质量。但是，随着网络深度的增加，IQA数据集不足和缺乏样本标签的问题一直阻碍着此方法的发展。

针对以上问题，目前的许多研究都采用将图像分块输入网络的方法来增加样本量，但依旧由于样本太少而导致只能使用较浅层的神经网络，最终使得预测效果不准确。直至后来有研究者从排序的思想得到启发，先借助图像质评领域外的大量图像数据集预训练网络对失真图片等级排序，后用IQA领域的小数据集，以图像作为输入直接对预训练网络进行微调来评估图像的质量。这样递进式的两步训练法极大的解决了数据集不足带来的过拟合以及只能使用浅网络而不能充分表达图像与分值之间映射关系的问题。但是此法在预训练阶段的训练集制作中，仅仅模拟了人眼对全图失真的感知机制——制作一系列全图的不同等级的失真版本去参与排序，并没有对人眼感知进行完整的模拟，因此未能让预训练阶段发挥出最大的价值，从而导致最终模型预测性能的不准确。

发明内容

针对目前排序思想算法的不准确性，本发明提供了一种基于显著性的CNN盲图像质量评估方法。

本发明采用如下技术方案来实现的：

一种基于显著性的CNN盲图像质量评估方法，包括以下步骤：

1)分别制作预训练阶段和微调阶段所需的数据集；

2)利用预训练阶段制作的数据集及对应标签对VGG-16网络进行预训练，并保存网络模型训练后的参数；

3)利用微调阶段的IQA训练集对预训练好的VGG-16网络进行微调训练，并保存VGG-16网络模型训练后的参数；

4)使用上述微调后的VGG-16网络模型计算IQA测试集的预测精度。

本发明进一步的改进在于，步骤1)的具体实现方法如下：

201)制作预训练阶段所需的数据集

下载拥有4744副高清图片的waterloo数据集，并利用matlab对此4744副高清图片产生四种失真12个等级的失真图，失真类型分别为高斯模糊、白噪声、JPEG及JP2K压缩四种失真类型，其对应LIVE数据集中的四种失真类型；12个等级的失真图如下所示：

①失真0级即原始高清图，②仅对背景进行一级失真，③仅对背景进行二级失真，④仅对背景进行三级失真，⑤仅对前景进行一级失真，⑥对全图进行一级失真，⑦仅对前景进行二级失真，⑧对全图进行二级失真，⑨仅对前景进行三级失真，⑩对全图进行三级失真11对全图进行四级失真12对全图进行五级失真，并对上述12个等级的失真图赋予标签，依次为从1～12；

202)制作微调阶段所需的数据集

将图像质量评估数据集按照图像内容随机划分为训练集和测试集。

本发明进一步的改进在于，训练集的占比为80％和测试集的占比为20％。

本发明进一步的改进在于，步骤201)中定义的前景与背景的概念是根据南开大学程明明教授在2017年的CVPR上提出的显著性模型得到的，其中显著图中像素值小于5的区域记录为背景区域，大于5的区域记录为前景区域。

本发明进一步的改进在于，步骤2)的预训练阶段，是将VGG-16网络变形为双支孪生网络后进行的，遵循IQA领域的排序算法RankIQA的相关设置。

本发明至少具有如下有益的技术效果：

本发明提供的一种基于显著性的CNN盲图像质量评估方法，该方法是将显著性的想法加入到排序算法的预训练阶段，让预训练阶段制作的数据集能够模拟更多的人眼机制，使得预训练阶段比起之前的算法额外的学习到一幅图中不同区域在人眼对图片打分时的不同影响程度，从而提高模型整体预测性能。即通过在原来的数据集制作中，额外的模拟了人眼对一幅图不同区域的感受机制，在原来的制作基础上又加入了一些新的失真图版本——对图中不同区域设置不同失真等级的失真图，并根据人眼的感知机制对其赋予正确的排序标签，与原来的全图不同失真等级图片结合在一起，共同参与训练。从而使得网络在预训练阶段就具有了“各区域不同重要性”的意识，并且额外的模拟人眼感知机制中的不同区域的关注度差异性，也极大的弥补了之前算法极度依赖于制作的训练集在失真类型上与IQA数据集相匹配程度的缺憾，使得之前算法不能很好发挥作用的部分失真类型下的图片和数据集，有了极大的效果提升。通过理论分析和实验验证相结合的方法，最终确定了此方法的有效性，其在多个IQA数据库下的表现都高于目前原排序算法以及目前流行的其他盲图像质量评估算法。

综上所述，本发明提供的一种基于显著性的CNN盲图像质量评估方法，弥补了之前排序算法中未能区分显著性区域与非显著性区域对最终图像质量的不同影响程度的缺点。即通过将显著性的思想加入到排序算法的预训练阶段中，让预训练后的网络不仅仅能够粗略判断不同失真图片的质量等级，还能判断出前景与背景失真对最终图像质量的不同影响程度，学习到显著性区域比非显著性区域对最终图像质量影响更大；且我们对于数据集制作环节中局部失真图片个数与失真图顺序的正确选择，保证了方法的绝对有效性，从而达到了在多个数据集上都能提高模型预测性能的效果。

附图说明

图1为本发明一种基于显著性的CNN盲图像质量评估方法的流程图。

图2为IQA数据集里的前景清晰背景模糊的图片示例。

图3为本发明制作的局部失真图示例。其中，图3(a)～(e)分别为原始参考图、原始参考图的显著性区域图、原始参考图的仅背景一级失真图、原始参考图的仅前景一级失真图、原始参考图的全图一级失真图。

具体实施方式

下面结合附图对本发明进行详细阐述：

如图1所示，本发明提供的一种基于显著性的CNN盲图像质量评估方法，包括以下步骤：

步骤1：数据集准备

1)预训练数据集准备

下载经典的Waterloo数据集(总共包含4744副高清图片)，并制作四种失真类型下的12个失真图，四种失真类型分别为高斯模糊，白噪声，JPEG和JPEG2000压缩。我们借助Waterloo数据集丰富的图像内容来扩充图像，它几乎完全涵盖了图像质量评估数据集中的场景，例如图2所示为图像质量评估中LIVE数据集里的“鹦鹉”原始图像。因此非常有利于我们的任务。12个失真图共涉及五个等级的失真，其中高斯模糊失真下，一级到五级失真的高斯低通滤波器偏差分别为1，2，6，15，33。白噪声中均值为0，一级到五级失真的方差分别为2^-10，2^-7.5，2^-5.5，2^-3.5，2^0。JEPG中一级到五级质量因子分别为43，12，7，4，0。JPEG2000中一级到五级压缩比分别为52，150，342，600，1200。其中各个失真类型下的12个失真图分别为：①失真0级(原始高清图)②仅对背景进行一级失真③仅对背景进行二级失真④仅对背景进行三级失真⑤仅对前景进行一级失真⑥对全图进行一级失真⑦仅对前景进行二级失真⑧对全图进行二级失真⑨仅对前景进行三级失真⑩对全图进行三级失真11对全图进行四级失真12对全图进行五级失真，并对上述12个等级的失真图赋予标签，依次为从1～12，来代表它们的质量等级。注意：越小的数字代表越高的质量。如图3所示为高斯模糊失真类型下制作的一级前景失真与一级背景失真的对比图。

2)微调数据集准备

将图像质量评估数据集按照图像内容随机划分为训练集和测试集。本发明选取了四个公开的IQA数据集，分别是LIVE(包含779副失真图像，5种失真类型)，TID2013(包含3000副失真图像，24种失真类型)，CSIQ(包含866副失真图像，6种失真图像)，LIVEMD(包含450副失真图像，2种失真类型)，LIVE challenge(包含1162副失真图片，无数种失真类型)，并按照各个数据库中原始参考图像的内容进行划分，内容的80％对应的失真图为训练集，剩余的20％对应的失真图为测试集(LIVE challenge由于没有参考图，所以随机划分失真图片总数的80％和20％作为训练集和测试集)。具体实施时每个数据集中训练集和测试集是随机选取的且重复十次，取十次中SROCC和PLCC的平均作为最终的预测表现。

步骤2：利用上述步骤1中预训练阶段制作的数据集及对应标签对VGG-16网络进行预训练，并保存网络模型训练后的参数；

将VGG-16网络变形为孪生网络，并将输出数目改为1。用于正确排序两个分值输入的图片的等级，损失函数使用了标准的hinge损失。与标签大小相符合时损失函数为0，与标签大小相反时，减小输出较大值的梯度，增加输出较小值的梯度，从而形成有效的反向传播。利用上述制作的全部预训练数据集对孪生网络进行训练，训练总共迭代50000次，batch-size设置为48.训练集中不同内容的图片不交叉进行排序。利用排序好的模型与原来的排序算法模型分别测试IQA数据集的SROCC，结果如下表1所示，可以看出加入了显著性的排序网络可以更加准确的对IQ数据集质量等级进行排序。

表1：

步骤3：取出上述预训练孪生网络的一个VGG-16单支，利用上述步骤1中微调阶段的IQA训练集对预训练好的VGG-16网络进行微调训练，并保存网络模型训练后的参数；

步骤4：使用上述微调后的模型计算IQA测试集的预测精度。

本发明选取IQA数据集为LIVE、TID2013、CSIQ、LIVEMD、LIVE challenge五种。测试指标选择SROCC、LCC。并与其他先进的NR-IQA与FR-IQA算法进行对比:包括为了评估性能，我们将我们的方法在每个数据库上的性能与几种最新的FR-IQA和NR-IQA方法进行了比较，包括：全参考下的PSNR，SSIM[1]，FSIM[2]和经典的NR-IQA方法BRISQUE[3]，CORNIA[4]，IL-NIQE[5]和FRISQUEE[6])，基于CNN的当前领先的NR-IQA方法(CNN[7]，RankIQA[8]，BIECON[9]，DIQA[10])，并介绍了有关基于显著性的CNN方法DIQaM[11]。我们还将我们的方法与著名的DNN模型进行了比较。继承ImageNet初始化参数的AlexNet[12]，ResNet50[13]和VGG-16[14]直接在IQA上微调的结果也进行了展示，作为比对标准。结果如下表所示。从表2可以看到本发明的算法优于传统的无参考图像质量评估方法和大部分的基于深度学习的无参考图像质量评估方法。同时，与目前流行的全参考图像质量评估的方法产生强烈地竞争关系。此外，本发明方法也表现出较强的泛化能力。

表2不同算法SROCC和PLCC的表现

参考文献：

[1]Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Im-age qualityassessment:From error visibility to structural similarity,”IEEE Trans.ImageProcess.,vol.13,no.4,pp.600–612,Apr.2004.

[2]L.Zhang,L.Zhang,X.Mou,and D.Zhang,“FSIM:A feature similarity indexfor image quality assessment,”IEEE Trans.Image Process.,vol.20,no.8,pp.2378–2386,Aug.2011.

[3]A.Mittal,A.Moorthy,and A.Bovik,“No-reference image qualityassessment in the spatial domain,”IEEE Trans.Image Process.,vol.21,no.12,pp.4695-4708,Dec.2012.

[4]P.Ye,J.Kumar,L.Kang,and D.Doermann,“Unsupervised feature learningframework for no-reference image quality assessment,”in Proc.CVPR,pp.1098–1105,2012.

[5]A.Mittal,R.Soundararajan,and A.Bovik,“Making a completely blindimage quality analyzer,”IEEE Signal Process.Lett.,vol.20,no.3,pp.209-212,Mar.2013.

[6]D.Ghadiyaram and A.C.Bovik,“Perceptual quality prediction onauthentically distorted images using a bag of features approach,”Journal ofVision,vol.17,no.1,pp.32–58,2017.

[7]L.Kang,P.Ye,Y.Li,and D.Doermann,“Convolutional neural networks forno-reference image quality assessment,”in Proc.CVPR,pp.1733–1740,2014.

[8]X.Liu,J.Weijer,and A.Bagdanov,“RankIQA:Learning from ranking forno-reference image quality assessment,”in Proc.IEEE Conf.ICCV,pp.1040–1049,2017.

[9]J.Kim and S.Lee,“Fully deep blind image quality predictor,”IEEEJ.Sel.Topics Signal Process.,vol.11,no.1,pp.206–220,Feb.2017.

[10]J.Kim,A.Nguyen,and S.Lee,“Deep CNN-based blind image qualitypredictor,”IEEE Trans.Neural Netw.Learn.Syst.,vol.30,no.1,pp.11–24,2019.

[11]S.Bosse,D.Maniry,K.-R.Mller,T.Wiegand,and W.Samek,“Deep neuralnetworks for no-reference and full-reference image quality assessment,”IEEETrans.Image Process.,vol.27,no.1,pp.206–219,2018.

[12]A.Krizhevsky,I.Sutskever,and G.E.Hinton,“ImageNet classificationwith deep convolutional neural networks,”in Proc.NIPS,pp.1097–1105,2012.

[13]K.He,X.Zhang,S.Ren,and J.Sun,“Deep residual learning for imagerecognition,”in Proc.CVPR,pp.770–778,2016.

Claims

1.一种基于显著性的CNN盲图像质量评估方法，其特征在于，包括以下步骤：

1)分别制作预训练阶段和微调阶段所需的数据集；具体实现方法如下：

201)制作预训练阶段所需的数据集

202)制作微调阶段所需的数据集

将图像质量评估数据集按照图像内容随机划分为训练集和测试集；

2.根据权利要求1所述的一种基于显著性的CNN盲图像质量评估方法，其特征在于，训练集的占比为80％和测试集的占比为20％。

3.根据权利要求1所述的一种基于显著性的CNN盲图像质量评估方法，其特征在于，步骤201)中定义的前景与背景的概念是根据南开大学程明明教授在2017年的CVPR上提出的显著性模型得到的，其中显著图中像素值小于5的区域记录为背景区域，大于5的区域记录为前景区域。

4.根据权利要求1所述的一种基于显著性的CNN盲图像质量评估方法，其特征在于，步骤2)的预训练阶段，是将VGG-16网络变形为双支孪生网络后进行的，遵循IQA领域的排序算法RankIQA的相关设置。