CN107633520A - 一种基于深度残差网络的超分辨率图像质量评估方法 - Google Patents
一种基于深度残差网络的超分辨率图像质量评估方法 Download PDFInfo
- Publication number
- CN107633520A CN107633520A CN201710901107.7A CN201710901107A CN107633520A CN 107633520 A CN107633520 A CN 107633520A CN 201710901107 A CN201710901107 A CN 201710901107A CN 107633520 A CN107633520 A CN 107633520A
- Authority
- CN
- China
- Prior art keywords
- residual error
- mrow
- super
- depth residual
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 241000282414 Homo sapiens Species 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 30
- 238000013441 quality evaluation Methods 0.000 claims description 22
- 230000006835 compression Effects 0.000 claims description 16
- 238000007906 compression Methods 0.000 claims description 16
- 238000001303 quality assessment method Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 abstract description 13
- 239000000284 extract Substances 0.000 abstract description 5
- 230000004438 eyesight Effects 0.000 abstract description 4
- 230000016776 visual perception Effects 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 2
- 230000007812 deficiency Effects 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 35
- 230000006870 function Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种基于深度残差网络的超分辨率图像质量评估方法，该方法在评估超分辨率图像质量的时候不需要原始图像作为参考，可直接给出符合人类视觉主观评估的图像质量得分。目前，大多数超分辨率图像都是通过全参考指标进行评估的，在许多实际应用中，获取待评估图像的参考图像非常困难甚至是不可能的。同时，大部分相关的算法仍然需要通过手工设计来提取图像特征。为了解决这些问题，本发明给出了一种符合人类视觉感知的超分辨率图像质量的无参考评估方法，该方法的创新性在于不需要手工的设计特征，直接利用设计好的深度残差网络自动提取特征。同时，该方法还提出了一种基于失真图像等级排序的方法，能够有效地解决含有人类主观评分的超分辨率图像数据集不足的问题。
Description
技术领域
本发明涉及图像质量评估方法，尤其涉及一种基于深度残差网络的超分辨率图像质量评估方法。
背景技术
超分辨率图像质量评估(Image quality assessment,IQA)是一种自动预测图像质量的技术。随着视觉媒体数据量的爆炸式增长，互联网每天生成、存储、处理和发送大量的数字图像。在这些过程中，经常会对图像产生不同类型的破坏如：噪音、模糊和压缩等，图像可能会因此而出现多种不同的失真。
因此，通常需要对失真图像进行超分辨率重构，以还原出清晰的图像。然而，针对超分辨后图像质量的评估问题，通常采用全参考的评估方式，如采用峰值信噪比(Peaksignal to noise ratio,PSNR)、均方误差(Mean square error,MSE)和结构相似(Structural Similarity,SSIM)等指标。这些传统的超分辨率图像质量评价指标存在以下两个问题：第一，通常来说，在实际的应用中，原始的参考图像是不可获取。第二，这些评价方法都是建立在失真图像与原始图像差异的基础上所提出的，目的是为了考虑图像信号和噪声而不是人类视觉感知，不能够很好的反应出人类视觉对图像质量的评估。因此，超分辨率图像质量的评估需要一种无参考的方式，且该方式还要能够准确的反应出人类视觉对图像质量的评估。
总的来说，图像质量评估主要可分为以下三种：全参考(Full reference)、半参考(Half reference)和无参考图像质量评估(Blind image quality assessment，BIQA)。其中，全参考和半参考方式均需要原始图像作为参考依据。然而，在许多实际应用中，获取待评估图像的参考图像非常困难甚至是不可能的。因此，开发有效的BIQA方法已经变得越来越重要，该方法不会使用关于参考图像的任何特定信息。
在BIQA方法中，最常用的方法是使用基于自然场景统计(Natural scenestatistics，NSS)的特征，该方法是建立在原始图像分布具有稳定性基础上的。传统的基于NSS的特征可以在变换域中提取得到，例如：Mittal等人，从局部的归一化图像中提取NSS特征，并通过支持向量回归(Support vector regression,SVR)的方法将提取到的特征用于预测图像质量得分[1]。很明显，基于机器学习和NSS的方法依赖于手工的方式提取数据的特征。
近年来，在无参考的图像质量评估领域，出现了一些应用深度学习的解决方案。例如，Liang等人采用双路径深度卷积神经网络对图像进行质量评估[2]，能够较好的将深度网络应用于图像质量评估中，但仍然存在可训练的图像数据集不足等问题。Kim等人采用深度学习技术实现无参考的图像质量得分预测[3]，该方法采用了一定的数据增强技术，但仍然无法满足训练深层网络的需求，仅使用了2个卷积层加上5个全连接层的浅层神经网络结构。Ma等人制作了一个含有人类主观感知评分的超分辨率图像数据集[4]，并提出了一种专门针对超分辨率图像质量评估的模型，该模型利用了传统的方法提取手工设计的特征。Liu等人提出了一种基于图像失真等级的方式来扩充训练数据集[5]，该论文采用了VGG-16的网络结构并在图像质量评估相关的数据集上训练，其使用的网络结构较浅，且没有将该方法用于超分辨率图像质量的评估中。中国公开专利“一种基于深度学习的无参考图像质量客观评价方法”(公开号CN105208374A，公开日为2015.12.30)采用了一种深度学习中的堆栈自编码器算法对训练集中的所有失真图像各自对应的自然统计特征集和平均主观意见分进行训练。该方法的缺陷是需要手工的设计NSS特征的提取，且使用的是简单的浅层深度神经网络。
上述基于深度学习的方法，仍然存在需要手工设计特征、缺少含有人类主观评分的超分辨率图像数据集而无法使用深度残差网络来训练等问题。总的来说，目前应用于超分辨率图像质量评估问题的深度学习方法存在以下两个缺点：第一，需要手工设计图像的特征。第二，需要大量的人类主观评分数据集来训练深层模型。因此，目前非常需要一种高效且准确的无参考图像质量评估方案。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于深度残差网络的超分辨率图像质量评估方法。本发明主要分为以下三个阶段：首先，本发明提出了一种用于自动提取图像失真特征的深度残差网络，以实现从输入数据中自动提取有意义的特征。其次，本发明提出一种基于失真图像排序的方法来对深度模型进行预训练，以解决带标签的人类主观评分数据集不足的问题。最后，利用带有质量得分标签的超分辨率图像数据集，对得到预训练模型进行微调，得到最终的预测模型。
本发明采用的技术方案是：
一种基于深度残差网络的超分辨率图像质量评估方法，其包括以下步骤：
步骤1，收集一组未经损失的高清原始图像数据集，
步骤2，对原始图像数据集中的每一张高清图像按照3种以上的失真方式进行失真处理，且每一种失真方式按照5个以上失真等级进行失真，得到不同等级的失真图像；
步骤3，把所获得的不同等级的失真图像中按一定的比例随机划分为训练集和测试集；
步骤4，构建提取图像特征的深度残差网络结构，深度残差网络结构包括依次设输入图像之后的卷积层、批量归化层、激活函数层、池化层、16个依次串联的残差结构和全连接层，全连接层输出网络预测得分，残差结构包括三组卷积结构和Eltwise层，三组卷积结构依次串接后连接Eltwise层，每组卷积结构包括依次连接的卷积层、批量归化层和激活函数层，池化层分别与每个残差结构的Eltwise层连接；
步骤5，计算获取深度残差网络结构所对应的损失函数；xi和xj分别表示在同一失真方式下，不同失真等级所对应的两张图像，且xi图像的主观质量低于xj。这两张图像对应深度残差网络的输出分别记为f(xi,β)和f(xj,β)，则深度残差网络结构所对应的损失函数为：
L(xi,xj,β)＝max(0,f(xi,β)-f(xj,β))
其中，β表示网络的待优化参数；
步骤6，在，将同一失真方式下的多组不同失真等级的两张图像输入深度残差网络，通过多层的卷积运算提取对应图像的特征；对每一个卷积层的输出特征图，进行批量归一化(Batch normalization,BN)操作，再将归一化后的特征图输入到神经元的激活函数中激活；结合步骤5的损失函数通过误差反向传播算法对深度残差网络进行预训练，获取损失函数所对应的梯度信息：
其中，表示图像xi所对应的梯度，表示损失函数所对应的梯度；
通过误差反向传播算法来训练网络，使得网络的误差不断减小。最终使得该深度残差网络能够分辨一对图片的等级，即能够分辨出哪张图片的清晰度更高，完成了网络的预训练阶段，此时可以得到预训练过的深度残差网络，并记为模型M。
步骤7，利用公开的带有人类视觉主观得分的超分辨率图像数据集，改用平方欧式距离作为损失函数对预训练好的深度残差网络进行微调，同样采用误差反向传播的算法来训练模预训练好的深度残差网络，得到微调后的损失函数为：
其中，yi表示第i张图像所对应的得分标签，yi'表示第i张图像所对应的网络预测得分，N表示该批次参与训练的图像数；
步骤8，将待评估的图像输入微调后的深度残差网络，配合微调后的损失函数预测出每张待评估的图像的网络预测得分。
所述失真方式包括JPEG压缩、JP2000压缩和高斯模糊。
所述失真等级为5个。
所述JPEG压缩的5个失真等级下所对应的质量因子分别为：55，20，10，5,0；JP2000压缩的5个失真等级下所对应的压缩率分别为：50,200，300，500,1000；高斯模糊的5个失真等级下所对应的标准差分别为：1,3,8,20,30。
所述训练集占80％，测试集占20％。
所述训练集中的图像在训练时重新且随机被切割出一张子图，子图的大小为224x224。
所述步骤6中，将同一失真方式下18组不同失真等级的两张图像输入深度残差网络，即输入36张图像。
本发明采用以上技术方案，首先需从公开的高清图像数据库获取一组图像。其次，基于该组图像生成不同等级的失真图像，用于对网络进行预训练，可以得到一个能够分辨一对图像清晰度高低的预训练的深度残差网络，记作模型M。然后，再根据公开的带有人类视觉主观得分的超分辨率图像数据集来对模型M进行微调。最后，可以得到一个能够准确预测输入超分辨率图像所对应得分的深度残差网络。
相比于传统的无参考图像质量评估方法，本发明采用深度残差网络来自动提取图像的失真特征，可以避免传统方法手工提取特征的缺点。同时，本发明所提出的根据失真图像排序的方法，能够利用互联网中丰富的原始高清图像及其对应的失真图像来预训练网络，可以先得到一个较好的预训练模型M，这种处理方式能够有效的解决训练深层网络时，超分辨率图像质量评估数据集不足的问题。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明一种基于深度残差网络的超分辨率图像质量评估方法的框架图；
图2为本发明一种基于深度残差网络的超分辨率图像质量评估方法的深度残差网络结构结构示意图；
图3为本发明一种基于深度残差网络的超分辨率图像质量评估方法在公开数据集上预测效果所对应的散点图。
具体实施方式
如图1-3之一所示，本发明公开了一种基于深度残差网络的超分辨率图像质量评估方法，其包括以下步骤：
步骤1，收集一组未经损失的高清原始图像数据集，可直接使用网络上公开的相关数据集。例如：Waterloo(4744张)、Places2(36500张)等；
步骤2，此处采用Waterloo(4744张)数据集，对数据集中的每一张高清图像按照3种失真方式：JPEG压缩、JP2000压缩和高斯模糊进行失真处理，对于每一种失真方式都按照5种等级进行失真，其中：
JPEG压缩，5个失真等级下所对应的质量因子分别为：55，20，10，5,0。
JP2000压缩，5个失真等级下所对应的压缩率分别为：50,200，300，500,1000。
高斯模糊，5个失真等级下所对应的标准差分别为：1,3,8,20,30。
通过上述操作，一共可获得4744x3x5＝71160张不同等级的失真图像。
步骤3，把所获得的图像数据集中按一定的比例随机划分训练集(80％)和测试集(20％)。同时，为了固定深度残差网络输入层神经元的个数，训练时将待训练的图像切割成224x224大小，即每一张待训练的图像训练时都重新且随机的从中切割出一张子图。
步骤4，设计深度残差网络结构，用于对输入图像的特征提取。网络深度为50层，由49个卷积层、1个全连接层构成，其中包含了16个残差结构，网络中使用了1x1、3x3和7x7三种大小的卷积核。具体的网络结构图见附图2。将搭建好的深度残差网络用于自动提取图像的特征。其中，为了更好地训练深度残差网络，每隔3个卷积层采用一个残差结构，这样做可以有效的避免随着网络的加深而出现的梯度消散现象；
步骤5，推导步骤4中深度残差网络结构所对应的损失函数。首先，设定xi和xj分别表示在同一失真方式下，不同失真等级所对应的两张图像，且xi图像的主观质量低于xj。这两张图像对应深度残差网络的输出分别记为f(xi,β)和f(xj,β)接着，深度网络所对应的损失函数可定义为：
L(xi,xj,β)＝max(0,f(xi,β)-f(xj,β))
其中，β表示网络的待优化参数。此时，该损失函数的作用是保证图像质量低的图片所对应的网络输出更小。
步骤6，在同一失真方式下，不同失真等级的一组图像记为(xi，xj)，所对应的训练批次大小设为36，即每个批次有18组图像对参与训练。把图像对(xi，xj)同时输入深度残差网络中，通过多层的卷积运算提取对应图像的特征；对每一个卷积层的输出特征图，进行批量归一化(Batch normalization,BN)操作，再将归一化后的特征图输入到神经元的激活函数中激活；
并在步骤5所设计的损失函数基础上，通过误差反向传播算法来训练网络，使得网络的误差不断减小。该损失函数所对应的梯度信息可表示为：
其中，表示图像xi所对应的梯度，表示损失函数所对应的梯度；
经过训练后，可使得该深度残差网络能够分辨一对图片的等级，即能够分辨出哪张图片的清晰度更高，到此便完成了网络的预训练阶段，此时可以得到预训练好的模型，记为M。
步骤7，利用公开的带有人类视觉主观得分的超分辨率图像数据集，对预训练好的模型M进行微调，此时深度残差网络的损失函数改用平方欧式距离，同样采用误差反向传播的算法来训练网络，所对应的损失函数可描述为：
其中，yi表示第i张图像所对应的得分标签，yi'表示第i张图像所对应的网络预测得分，N表示该批次参与训练的图像数。经过这个步骤微调后，最终网络能够准确的预测出每张超分辨率图像的得分。
步骤8，将待评估的图像输入微调后的深度残差网络，配合微调后的损失函数预测出每张待评估的图像的网络预测得分。
下面就本发明质量评估效果进行具体说明：
有效的IQA模型应与人类评估者的质量评估高度相关，才能够准确的反映出人类视觉所感知的图像质量，IQA模型常用的评价指标有斯皮尔曼秩相关系数(Spearmanrankorder correlation coefficient,SROCC)和皮尔森线性相关系(Pearsonlinearcorrelation coefficient,PLCC)，这两个指标都能够单独的作为算法性能的评价指标。
SROCC指标的具体计算公式如下：
其中，ri表示第i个样本在标签中所对应的排序等级，ri表示第i个样本在网络预测值中所对应的排序等级，N表示样本的个数。SROCC的值越接近1，则表示两者之间的线性关系越好，也就是算法的性能越好。
PLCC指标的具体计算公式如下：
其中，分子是随机变量X和Y的协方差，分母是两者标准差的乘积。PLCC可以评价两组数据的线性相关关系。若其值越接近于1，表示算法的性能越好。
为了验证本发明的有效性，采用含有人类主观评分的超分辨率图像公开数据库(该链接为：https://sites.google.com/site/chaoma99/sr-metric)进行对比试验。
| 图像质量评估算法 | SROCC |
| BLIINDS(Saad,2012)[6] | 0.763 |
| CNNIQA(Kang,2014)[7] | 0.833 |
| SRIQA(Ma,2017)[4] | 0.931 |
| 本发明 | 0.972 |
表1
如表1所示，本发明与现有技术对超分辨率图像质量评估的SROCC平均值。在该公开数据集上本发明的PLCC指标值为0.970，即本发明方法能够很好的反映出人类对超分辨率图像的主观评分情况。从附图3可以更加直观地看出上述结论。
本发明利用基于深度残差网络技术对超分辨率图像质量进行无参考的评估，本发明提出的超分辨率图像质量无参考评估方法的创新性主要体现在三个方面：
第一，本发明利用深度残差网络直接从图像中提取相关失真特征，避免了手工提取特征所遇到的问题。
第二，采用根据图像失真等级排序的方法，该方法能够利用互联网中丰富的高清图像，制作所需的预训练数据集。该方法极大的扩充了深度残差网络所需的训练数据集，能够有效的解决含有人类主观评分的超分辨率图像数据集不足的问题。
第三，与经典的无参考图像质量评估算法相比，本发明申请的基于深度残差网络的超分辨率图像质量评估方法，其SROCC指标和PLCC指标均达到0.970或以上，该值非常接近这两个指标的最大值1，即本发明方法能够很好的反映人类对超分辨率图像的主观质量评分情况。
本发明方法能够显著地提高人类主观质量评分与模型预测输出之间的相关性。
本发明涉及的参考文件如下：
[1]A.Mittal,A.Moorthy,and A.Bovik,No-reference image qualityassessment in the spatial domain,IEEE Trans.Image Process,2012,21(12):4695-4708.
[2]Liang,Yudong,et al."Image Quality Assessment Using Similar Sceneas Reference."European Conference on Computer Vision.Springer InternationalPublishing(ECCV 2016).
[3]Kim J,Lee S.Fully deep blind image quality predictor[J].IEEEJournal of Selected Topics in Signal Processing,2017,11(1):206-220.
[4]Ma C,Yang C Y,Yang X,et al.Learning a no-reference quality metricfor single-image super-resolution[J].Computer Vision and Image Understanding,2017,158:1-16.
[5]Liu X,J vande Weijer J,Bagdanov A D.RankIQA:Learning from Rankingsfor No-reference Image Quality Assessment,in:International Conference onComputer Vision(ICCV 2017).
[6]Saad M A,Bovik A C,Charrier C.Blind image quality assessment:Anatural scene statistics approach in the DCT domain[J].IEEE transactions onImage Processing,2012,21(8):3339-3352.
[7]Kang L,Ye P,Li Y,et al.Convolutional neural networks for no-reference image quality assessment[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.(CVPR 2014):1733-1740.
Claims (7)
1.一种基于深度残差网络的超分辨率图像质量评估方法，其特征在于：其包括以下步骤：
步骤1，收集一组未经损失的高清原始图像数据集，
步骤2，对原始图像数据集中的每一张高清图像按照3种以上的失真方式进行失真处理，且每一种失真方式按照5个以上失真等级进行失真，得到不同等级的失真图像；
步骤3，把所获得的不同等级的失真图像中按一定的比例随机划分为训练集和测试集；
步骤4，构建提取图像特征的深度残差网络结构，深度残差网络结构包括依次设输入图像之后的卷积层、批量归化层、激活函数层、池化层、16个依次串联的残差结构和全连接层，全连接层输出网络预测得分，残差结构包括三组卷积结构和Eltwise层，三组卷积结构依次串接后连接Eltwise层，每组卷积结构包括依次连接的卷积层、批量归化层和激活函数层，池化层分别与每个残差结构的Eltwise层连接；
步骤5，计算获取深度残差网络结构所对应的损失函数；xi和xj分别表示在同一失真方式下，不同失真等级所对应的两张图像，且xi图像的主观质量低于xj，对应深度残差网络的输出分别记为f(xi,β)和f(xj,β)，则深度残差网络结构所对应的损失函数为：
L(xi,xj,β)＝max(0,f(xi,β)-f(xj,β))
其中，β表示网络的待优化参数；
步骤6，在，将同一失真方式下的多组不同失真等级的两张图像输入深度残差网络，结合步骤5的损失函数通过误差反向传播算法对深度残差网络进行预训练，获取损失函数所对应的梯度信息：
<mrow>
<msub>
<mo>&dtri;</mo>
<mi>&beta;</mi>
</msub>
<mi>L</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mo>&dtri;</mo>
<mi>&beta;</mi>
</msub>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mo>&dtri;</mo>
<mi>&beta;</mi>
</msub>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
<mo>></mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，表示图像xi所对应的梯度，表示损失函数所对应的梯度；
步骤7，利用公开的带有人类视觉主观得分的超分辨率图像数据集，改用平方欧式距离作为损失函数对预训练好的深度残差网络进行微调，同样采用误差反向传播的算法来训练模预训练好的深度残差网络，得到微调后的损失函数为：
<mrow>
<mi>L</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msubsup>
<mi>y</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>y</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
其中，yi表示第i张图像所对应的得分标签，yi'表示第i张图像所对应的网络预测得分，N表示该批次参与训练的图像数；
步骤8，将待评估的图像输入微调后的深度残差网络，配合微调后的损失函数预测出每张待评估的图像的网络预测得分。
2.根据权利要求1所述的一种基于深度残差网络的超分辨率图像质量评估方法，其特征在于：所述失真方式包括JPEG压缩、JP2000压缩和高斯模糊。
3.根据权利要求1所述的一种基于深度残差网络的超分辨率图像质量评估方法，其特征在于：所述失真等级为5个。
4.根据权利要求3所述的一种基于深度残差网络的超分辨率图像质量评估方法，其特征在于：所述JPEG压缩的5个失真等级下所对应的质量因子分别为：55，20，10，5,0；JP2000压缩的5个失真等级下所对应的压缩率分别为：50,200，300，500,1000；高斯模糊的5个失真等级下所对应的标准差分别为：1,3,8,20,30。
5.根据权利要求1所述的一种基于深度残差网络的超分辨率图像质量评估方法，其特征在于：所述训练集占80％，测试集占20％。
6.根据权利要求1所述的一种基于深度残差网络的超分辨率图像质量评估方法，其特征在于：所述训练集中的图像在训练时重新且随机被切割出一张子图，子图的大小为224x224。
7.根据权利要求1所述的一种基于深度残差网络的超分辨率图像质量评估方法，其特征在于：所述步骤6中，将同一失真方式下18组不同失真等级的两张图像输入深度残差网络，即输入36张图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710901107.7A CN107633520A (zh) | 2017-09-28 | 2017-09-28 | 一种基于深度残差网络的超分辨率图像质量评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710901107.7A CN107633520A (zh) | 2017-09-28 | 2017-09-28 | 一种基于深度残差网络的超分辨率图像质量评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107633520A true CN107633520A (zh) | 2018-01-26 |
Family
ID=61104227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710901107.7A Pending CN107633520A (zh) | 2017-09-28 | 2017-09-28 | 一种基于深度残差网络的超分辨率图像质量评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107633520A (zh) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086782A (zh) * | 2018-08-21 | 2018-12-25 | 广东工业大学 | 特征描述子生成方法、装置、设备及计算机可读存储介质 |
| CN109118428A (zh) * | 2018-06-07 | 2019-01-01 | 西安电子科技大学 | 一种基于特征增强的图像超分辨率重建方法 |
| CN109242831A (zh) * | 2018-08-20 | 2019-01-18 | 百度在线网络技术（北京）有限公司 | 图像质量检测方法、装置、计算机设备和存储介质 |
| CN109272043A (zh) * | 2018-09-21 | 2019-01-25 | 北京京东金融科技控股有限公司 | 用于光学字符识别的训练数据生成方法、系统和电子设备 |
| CN109308692A (zh) * | 2018-07-30 | 2019-02-05 | 西北大学 | 基于改进Resnet与SVR混合模型的OCT图像质量评价方法 |
| CN109522950A (zh) * | 2018-11-09 | 2019-03-26 | 网易传媒科技（北京）有限公司 | 图像评分模型训练方法及装置和图像评分方法及装置 |
| CN109557487A (zh) * | 2018-11-28 | 2019-04-02 | 厦门大学 | 基于残差网络的磁共振信号的时频变换和相位校正的方法 |
| CN109671063A (zh) * | 2018-12-11 | 2019-04-23 | 西安交通大学 | 一种基于深度网络特征间重要性的图像质量评估方法 |
| CN109741315A (zh) * | 2018-12-29 | 2019-05-10 | 中国传媒大学 | 一种基于深度强化学习的无参考图像质量客观评价方法 |
| CN109815352A (zh) * | 2019-01-17 | 2019-05-28 | 网易传媒科技（北京）有限公司 | 封面图像选取方法、介质、装置和计算设备 |
| CN109949277A (zh) * | 2019-03-04 | 2019-06-28 | 西北大学 | 一种基于排序学习和简化残差网络的oct图像质量评价方法 |
| CN110210522A (zh) * | 2019-05-10 | 2019-09-06 | 无线生活(北京)信息技术有限公司 | 图片质量分数模型的训练方法及装置 |
| CN110245683A (zh) * | 2019-05-13 | 2019-09-17 | 华中科技大学 | 一种少样本目标识别的残差关系网络构建方法及应用 |
| CN110415190A (zh) * | 2019-07-25 | 2019-11-05 | 青岛科技大学 | 基于深度学习去除图像压缩噪声的方法、装置及处理器 |
| CN110428415A (zh) * | 2019-08-05 | 2019-11-08 | 上海联影医疗科技有限公司 | 医学图像的质量评估方法、装置、设备及存储介质 |
| CN110728656A (zh) * | 2019-09-06 | 2020-01-24 | 西安电子科技大学 | 基于元学习的无参考图像质量数据处理方法、智能终端 |
| CN111028203A (zh) * | 2019-11-18 | 2020-04-17 | 西安交通大学 | 一种基于显著性的cnn盲图像质量评估方法 |
| CN111192258A (zh) * | 2020-01-02 | 2020-05-22 | 广州大学 | 一种图像质量评估方法及装置 |
| CN111429402A (zh) * | 2020-02-25 | 2020-07-17 | 西北大学 | 高级视觉感知特征与深度特征融合的图像质量评价方法 |
| CN111885297A (zh) * | 2020-06-16 | 2020-11-03 | 北京迈格威科技有限公司 | 图像清晰度的确定方法、图像对焦方法及装置 |
| CN112561768A (zh) * | 2020-12-02 | 2021-03-26 | 中国电子科技集团公司第十五研究所 | 基于深度学习的电脑屏幕最佳水印类型确定方法及系统 |
| CN114240872A (zh) * | 2021-12-13 | 2022-03-25 | 中国平安财产保险股份有限公司 | 图片质量评估方法、装置、计算机设备及存储介质 |
| CN116402691A (zh) * | 2023-06-05 | 2023-07-07 | 四川轻化工大学 | 基于图像特征快速拼接的图像超分辨率方法和系统 |
| CN118115495A (zh) * | 2024-04-23 | 2024-05-31 | 武汉大学 | 一种结合排序学习的超分辨率图像质量评价方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650813A (zh) * | 2016-12-27 | 2017-05-10 | 华南理工大学 | 一种基于深度残差网络和lstm的图像理解方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN106919897A (zh) * | 2016-12-30 | 2017-07-04 | 华北电力大学（保定） | 一种基于三级残差网络的人脸图像年龄估计方法 |
-
2017
- 2017-09-28 CN CN201710901107.7A patent/CN107633520A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650813A (zh) * | 2016-12-27 | 2017-05-10 | 华南理工大学 | 一种基于深度残差网络和lstm的图像理解方法 |
| CN106919897A (zh) * | 2016-12-30 | 2017-07-04 | 华北电力大学（保定） | 一种基于三级残差网络的人脸图像年龄估计方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| XIALEI LIU ETC.: ""RankIQA：Learning from Rankings for No-reference Image Quality Assessment"", 《ARXIV:1707.08347V1[CS.CV]》 * |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118428B (zh) * | 2018-06-07 | 2023-05-19 | 西安电子科技大学 | 一种基于特征增强的图像超分辨率重建方法 |
| CN109118428A (zh) * | 2018-06-07 | 2019-01-01 | 西安电子科技大学 | 一种基于特征增强的图像超分辨率重建方法 |
| CN109308692A (zh) * | 2018-07-30 | 2019-02-05 | 西北大学 | 基于改进Resnet与SVR混合模型的OCT图像质量评价方法 |
| CN109308692B (zh) * | 2018-07-30 | 2022-05-17 | 西北大学 | 基于改进Resnet与SVR混合模型的OCT图像质量评价方法 |
| CN109242831A (zh) * | 2018-08-20 | 2019-01-18 | 百度在线网络技术（北京）有限公司 | 图像质量检测方法、装置、计算机设备和存储介质 |
| CN109086782A (zh) * | 2018-08-21 | 2018-12-25 | 广东工业大学 | 特征描述子生成方法、装置、设备及计算机可读存储介质 |
| CN109272043A (zh) * | 2018-09-21 | 2019-01-25 | 北京京东金融科技控股有限公司 | 用于光学字符识别的训练数据生成方法、系统和电子设备 |
| CN109522950A (zh) * | 2018-11-09 | 2019-03-26 | 网易传媒科技（北京）有限公司 | 图像评分模型训练方法及装置和图像评分方法及装置 |
| CN109522950B (zh) * | 2018-11-09 | 2022-04-22 | 网易传媒科技（北京）有限公司 | 图像评分模型训练方法及装置和图像评分方法及装置 |
| CN109557487A (zh) * | 2018-11-28 | 2019-04-02 | 厦门大学 | 基于残差网络的磁共振信号的时频变换和相位校正的方法 |
| CN109671063A (zh) * | 2018-12-11 | 2019-04-23 | 西安交通大学 | 一种基于深度网络特征间重要性的图像质量评估方法 |
| CN109741315A (zh) * | 2018-12-29 | 2019-05-10 | 中国传媒大学 | 一种基于深度强化学习的无参考图像质量客观评价方法 |
| CN109815352A (zh) * | 2019-01-17 | 2019-05-28 | 网易传媒科技（北京）有限公司 | 封面图像选取方法、介质、装置和计算设备 |
| CN109815352B (zh) * | 2019-01-17 | 2021-07-09 | 网易传媒科技（北京）有限公司 | 封面图像选取方法、介质、装置和计算设备 |
| CN109949277B (zh) * | 2019-03-04 | 2022-12-06 | 西北大学 | 一种基于排序学习和简化残差网络的oct图像质量评价方法 |
| CN109949277A (zh) * | 2019-03-04 | 2019-06-28 | 西北大学 | 一种基于排序学习和简化残差网络的oct图像质量评价方法 |
| CN110210522A (zh) * | 2019-05-10 | 2019-09-06 | 无线生活(北京)信息技术有限公司 | 图片质量分数模型的训练方法及装置 |
| CN110245683A (zh) * | 2019-05-13 | 2019-09-17 | 华中科技大学 | 一种少样本目标识别的残差关系网络构建方法及应用 |
| CN110415190B (zh) * | 2019-07-25 | 2023-03-14 | 青岛科技大学 | 基于深度学习去除图像压缩噪声的方法、装置及处理器 |
| CN110415190A (zh) * | 2019-07-25 | 2019-11-05 | 青岛科技大学 | 基于深度学习去除图像压缩噪声的方法、装置及处理器 |
| CN110428415A (zh) * | 2019-08-05 | 2019-11-08 | 上海联影医疗科技有限公司 | 医学图像的质量评估方法、装置、设备及存储介质 |
| CN110428415B (zh) * | 2019-08-05 | 2022-05-13 | 上海联影医疗科技股份有限公司 | 医学图像的质量评估方法、装置、设备及存储介质 |
| CN110728656A (zh) * | 2019-09-06 | 2020-01-24 | 西安电子科技大学 | 基于元学习的无参考图像质量数据处理方法、智能终端 |
| CN111028203A (zh) * | 2019-11-18 | 2020-04-17 | 西安交通大学 | 一种基于显著性的cnn盲图像质量评估方法 |
| CN111028203B (zh) * | 2019-11-18 | 2023-04-07 | 南京中智腾飞航空科技研究院有限公司 | 一种基于显著性的cnn盲图像质量评估方法 |
| CN111192258A (zh) * | 2020-01-02 | 2020-05-22 | 广州大学 | 一种图像质量评估方法及装置 |
| CN111429402B (zh) * | 2020-02-25 | 2023-05-30 | 西北大学 | 高级视觉感知特征与深度特征融合的图像质量评价方法 |
| CN111429402A (zh) * | 2020-02-25 | 2020-07-17 | 西北大学 | 高级视觉感知特征与深度特征融合的图像质量评价方法 |
| CN111885297B (zh) * | 2020-06-16 | 2022-09-06 | 北京迈格威科技有限公司 | 图像清晰度的确定方法、图像对焦方法及装置 |
| CN111885297A (zh) * | 2020-06-16 | 2020-11-03 | 北京迈格威科技有限公司 | 图像清晰度的确定方法、图像对焦方法及装置 |
| CN112561768A (zh) * | 2020-12-02 | 2021-03-26 | 中国电子科技集团公司第十五研究所 | 基于深度学习的电脑屏幕最佳水印类型确定方法及系统 |
| CN112561768B (zh) * | 2020-12-02 | 2024-03-29 | 中国电子科技集团公司第十五研究所 | 基于深度学习的电脑屏幕最佳水印类型确定方法及系统 |
| CN114240872A (zh) * | 2021-12-13 | 2022-03-25 | 中国平安财产保险股份有限公司 | 图片质量评估方法、装置、计算机设备及存储介质 |
| CN116402691A (zh) * | 2023-06-05 | 2023-07-07 | 四川轻化工大学 | 基于图像特征快速拼接的图像超分辨率方法和系统 |
| CN116402691B (zh) * | 2023-06-05 | 2023-08-04 | 四川轻化工大学 | 基于图像特征快速拼接的图像超分辨率方法和系统 |
| CN118115495A (zh) * | 2024-04-23 | 2024-05-31 | 武汉大学 | 一种结合排序学习的超分辨率图像质量评价方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107633520A (zh) | 一种基于深度残差网络的超分辨率图像质量评估方法 | |
| Lv et al. | Difference of Gaussian statistical features based blind image quality assessment: A deep learning approach | |
| CN108229576B (zh) | 一种跨倍率病理图像特征学习方法 | |
| CN105208374A (zh) | 一种基于深度学习的无参考图像质量客观评价方法 | |
| CN109003265B (zh) | 一种基于贝叶斯压缩感知的无参考图像质量客观评价方法 | |
| CN112233129A (zh) | 基于深度学习的并行多尺度注意力机制语义分割方法及装置 | |
| Wang et al. | Gradient-based no-reference image blur assessment using extreme learning machine | |
| CN108830829B (zh) | 联合多种边缘检测算子的无参考质量评价算法 | |
| CN111429402A (zh) | 高级视觉感知特征与深度特征融合的图像质量评价方法 | |
| CN107743225A (zh) | 一种利用多层深度表征进行无参考图像质量预测的方法 | |
| Xu et al. | Remote-sensing image usability assessment based on ResNet by combining edge and texture maps | |
| CN112508967A (zh) | 一种图像质量评价方法及系统 | |
| Luo et al. | Bi-GANs-ST for perceptual image super-resolution | |
| CN116703812A (zh) | 一种基于深度学习的光伏组件裂纹检测方法与系统 | |
| CN117058735A (zh) | 一种基于参数迁移和光流特征提取的微表情识别方法 | |
| CN117994167B (zh) | 融合并行多卷积注意力的扩散模型去雾方法 | |
| Hu et al. | Hierarchical discrepancy learning for image restoration quality assessment | |
| Yuan et al. | Locally and multiply distorted image quality assessment via multi-stage CNNs | |
| CN114821174B (zh) | 一种基于内容感知的输电线路航拍图像数据清洗方法 | |
| Yang et al. | A comparative study of DNN-based models for blind image quality prediction | |
| Mittal et al. | Blind image quality assessment without training on human opinion scores | |
| Yuan et al. | Multi-scale blind image quality predictor based on pyramidal convolution | |
| Jeripothula et al. | Blind image quality assessment using a combination of statistical features and CNN | |
| Khan et al. | Sparsity based stereoscopic image quality assessment | |
| CN111179224A (zh) | 一种基于联合学习的航拍图像修复质量的无参考评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180126 |
|
| RJ01 | Rejection of invention patent application after publication |