CN110070541B - 一种适用于小样本数据的图像质量评价方法 - Google Patents

一种适用于小样本数据的图像质量评价方法 Download PDF

Info

Publication number
CN110070541B
CN110070541B CN201910359805.8A CN201910359805A CN110070541B CN 110070541 B CN110070541 B CN 110070541B CN 201910359805 A CN201910359805 A CN 201910359805A CN 110070541 B CN110070541 B CN 110070541B
Authority
CN
China
Prior art keywords
layer
image quality
convolution
feature extraction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910359805.8A
Other languages
English (en)
Other versions
CN110070541A (zh
Inventor
霍星
李召良
陈劲松
唐荣林
邵堃
谢瑞
贺占武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201910359805.8A priority Critical patent/CN110070541B/zh
Publication of CN110070541A publication Critical patent/CN110070541A/zh
Application granted granted Critical
Publication of CN110070541B publication Critical patent/CN110070541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种适用于小样本数据的图像质量评价方法，所述方法包括构建小样本数据的图像质量评价模型，并获取参考图像；利用第一特征提取层提取该参考图像的低阶层、中阶层以及高阶层的特征向量；利用一层GAP层求取特征向量的平均值；利用全连接层中的FC‑1层获取特征向量与图像质量之间的映射关系；保持GAP层中的模型参数不变，训练全连接层，并更新全连接层的参数，所述全连接层的参数训练完成后，训练整个所述图像质量模型；待损失函数收敛，结束整个所述图像质量模型的训练。本发明的优点在于：构建的模型复杂度低，且提供的图像质量评价方法避免出现图像过拟合的问题。

Description

一种适用于小样本数据的图像质量评价方法
技术领域
本发明涉及图像处理领域，更具体涉及一种适用于小样本数据的图像质量评价方法。
背景技术
图像质量评价方法，通过构建质量评价模型并训练模型，利用训练好的模型对图像质量进行评价。图像质量评价模型通过判定与人类视觉系统一致的图像特征达到评价图像质量的目的。近些年随着深度学习的发展，出现了很多基于深度学习的图像质量评价模型，但是现有图像质量评价模型在小数据量环境下，当数据集较小时，不仅特征提取层的参数数量大，采用两层全连接层大大增加了模型的复杂度，而模型的复杂度较高的情况下，现有技术的图像质量评价的方法在模型训练过程中特征提取层与全连接层同时训练，模型过度训练，会出现模型的训练误差较小，而测试误差很大的情况，同时出现图像过拟合问题。
发明内容
本发明所要解决的技术问题在于现有技术的适用于小样本数据的图像质量评价方法容易出现图像过拟合的问题。
本发明是通过以下技术方案解决上述技术问题的：一种适用于小样本数据的图像质量评价方法，所述方法包括：
步骤一：构建小样本数据的图像质量评价模型，所述图像质量评价模型包括顺次连接的第一特征提取层、GAP层以及全连接层FC-1，并获取参考图像；
步骤二：利用第一特征提取层提取该参考图像的低阶层、中阶层以及高阶层的特征向量；
步骤三：利用一层GAP层求取特征向量的平均值；
步骤四：利用全连接层中的FC-1层获取特征向量与图像质量之间的映射关系，其中，FC-1层输出1项结果，具体为图像的主观质量值；
步骤五：保持GAP层中的模型参数不变，训练全连接层，并更新全连接层的参数，所述全连接层的参数训练完成后，训练整个所述图像质量模型；
步骤六：待损失函数收敛，结束整个所述图像质量模型的训练，根据损失函数评价图像质量。
优选的，所述步骤五包括：保持GAP层中的第三预设参数不变，利用GAP层中第一特征提取层提取参考图像的低阶层、中阶层以及高阶层的特征向量；更新全连接层FC-1的参数，利用全连接层FC-1获取特征向量与图像质量之间的映射关系，对全连接层中的FC-1层进行训练，其中，全连接层中的FC-1层的轮次(epoch)设为15，学习率设为0.001；
对全连接层中的FC-1层训练预设时间间隔以后，对整个图像质量评价模型训练，解冻第一特征提取层，获取第一特征提取层的第一预设参数，第一特征提取层提取参考图像的低阶层、中阶层以及高阶层的特征向量；更新全连接层FC-1的参数，利用全连接层FC-1获取特征向量与图像质量之间的映射关系，得到最终的质量评价值，epoch设为25，学习率设为0.0001。
优选的，在所述步骤二之前，所述方法还包括：
获取失真图像，第二特征提取层提取该失真图像的低阶层、中阶层以及高阶层的特征向量，特征融合层通过公式f＝concat(fr,fd)，采用通道拼接的方式将提取的失真图像的特征向量与参考图像的特征向量进行融合，其中，fr为参考图像的特征向量，其维度为7*7*2048，fd为失真图像的特征向量，其通道数为2048，所述融合指将fd直接连接在fr后面形成通道数为4096的融合特征向量f；
所述步骤三包括：利用GAP层中的一层求取融合特征向量f的平均值。
优选的，所述步骤五包括：
固定住第一特征提取层的第一预设参数和第二特征提取层的第二预设参数，并使用第一特征提取层提取参考图像的低阶层、中阶层以及高阶层的特征向量，使用第二特征提取层提取失真图像的低阶层、中阶层以及高阶层的特征向量；
在特征融合层通过公式f＝concat(fr,fd)，采用通道拼接的方式将提取的失真图像的特征向量与参考图像的特征向量进行融合；
利用一层GAP层求取融合特征向量f的平均值，更新全连接层FC-1的参数；
利用全连接层FC-1获取特征向量与图像质量之间的映射关系，对全连接层FC-1进行训练，其中，epoch设为15，学习率设为0.001；
对全连接层中的FC-1层训练预设时间间隔以后，解冻第一特征提取层和第二特征提取层，获取第一特征提取层的第一预设参数和第二特征提取层的第二预设参数，第一特征提取层提取参考图像的低阶层、中阶层以及高阶层的特征向量，第二特征提取层提取失真图像的低阶层、中阶层以及高阶层的特征向量；特征融合层通过公式f＝concat(fr,fd)，采用通道拼接的方式将提取的失真图像的特征向量与参考图像的特征向量进行融合，利用一层GAP层求取融合特征向量f的平均值；更新全连接层FC-1的参数，利用全连接层FC-1获取特征向量与图像质量之间的映射关系，得到最终的质量评价值，epoch设为25，学习率设为0.0001。
优选的，所述第一特征提取层和所述第二特征提取层为ResNet50网络。
优选的，所述第一特征提取层和所述第二特征提取层结构相同，所述第一特征提取层包括五层残差层，第一层残差层由1层卷积层与1层最大池化层构成，其中卷积层包括64个3x3且步长为2的卷积核，最大池化层使用7x7的模板且步长为2；第二层残差层至第五层残差层都是由卷积残差块和恒等残差块组合而成，卷积步长都为1。
优选的，第二层残差层为一个卷积残差块和三个恒等残差块组合而成，其中卷积残差块的四层卷积层，卷积核大小及其个数分别为(1*1，64)，(3*3，64)，(1*1，256)，(1*1，256)；三个恒等残差块的三层卷积层，卷积核大小及其个数分别为(1*1，64)，(3*3，64)，(1*1，256)；
第三层残差层为一个卷积残差块和四个恒等残差块组合而成，其中卷积残差块中的四层卷积层，卷积核大小及其个数分别为(1*1，128)，(3*3，128)，(1*1，512)，(1*1，512)，其中四个恒等残差块中的三层卷积层，卷积核大小及其个数分别为(1*1，128)，(3*3，128)，(1*1，512)；
第四层残差层按照一个卷积残差块和五个恒等残差块组合而成，其中卷积残差块中的四层卷积层，卷积核大小及其个数分别为(1*1，256)，(3*3，256)，(1*1，1024)，(1*1，1024)，其中五个恒等残差块中的三层卷积层，卷积核大小及其个数分别为(1*1，256)，(3*3，256)，(1*1，1024)；
第五层残差层为一个卷积残差块和三个恒等残差块组合而成，其中卷积残差块中的四层卷积层，卷积核大小及其个数分别为(1*1，512)，(3*3，512)，(1*1，2048)，(1*1，2048)，其中三个恒等残差块中的三层卷积层，卷积核大小及其个数分别为(1*1，512)，(3*3，512)，(1*1，2048)。
优选的，所述步骤六中的损失函数为
Figure BDA0002046520910000041
其中，yi为图像的真实标签，qi为图像的主观质量值，N为样本数量。
本发明相比现有技术具有以下优点：采用已训练好的ResNet50网络结构取代现有技术图像质量评价方法的特征提取层，并用GAP层代替现有技术图像质量评价方法中的全连接层(FC-512)，相对现有技术中模型参数少且复杂度低，本发明避免了图像过拟合问题；另外，本发明先训练全连接层，再训练整个模型，相对现有技术采用分阶段训练，且使用不同学习率，减少震荡，获得稳定值。。
(2)采用未经处理的全图像作为模型的输入，避免出现标签噪声，在保证模型的稳定性的同时也降低了模型的复杂性，同时有效地解决了图像质量评价领域中数据集较小的问题。以更少的参数得到与主流的评价模型相似甚至更高的准确性，更符合人类视觉特性。
附图说明
图1为本发明实施例1提供的一种适用于小样本数据的图像质量评价方法中图像质量评价模型的示意图；
图2为本发明实施例2提供的一种适用于小样本数据的图像质量评价方法中图像质量评价模型的示意图；
图3为本发明实施例提供的一种适用于小样本数据的图像质量评价方法中卷积残差块的结构图；
图4为本发明实施例提供的一种适用于小样本数据的图像质量评价方法中恒等残差块的结构图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
一种适用于小样本数据的图像质量评价方法，所述方法包括：
步骤一：构建小样本数据的图像质量评价模型，如图1所示，所述图像质量评价模型包括顺次连接的第一特征提取层、GAP(GlobalAverage Pooling，全局平均池化层)层以及全连接层FC-1，并获取参考图像；
步骤二：利用第一特征提取层提取该参考图像的低阶层、中阶层以及高阶层的特征向量；
步骤三：利用一层GAP层求取特征向量的平均值；
步骤四：利用全连接层中的FC-1层获取特征向量与图像质量之间的映射关系，其中，FC-1层输出1项结果，具体为图像的主观质量值；
步骤五：保持GAP层中的模型参数不变，训练全连接层，并更新全连接层的参数，所述全连接层的参数训练完成后，训练整个所述图像质量模型；
具体的，保持GAP层中的第三预设参数不变，利用GAP层中第一特征提取层提取参考图像的低阶层、中阶层以及高阶层的特征向量；更新全连接层FC-1的参数，利用全连接层FC-1获取特征向量与图像质量之间的映射关系，对全连接层中的FC-1层进行训练，其中，全连接层中的FC-1层的轮次(epoch)设为15，学习率设为0.001；
对全连接层中的FC-1层训练预设时间间隔以后，对整个图像质量评价模型训练，解冻第一特征提取层，获取第一特征提取层的第一预设参数，第一特征提取层提取参考图像的低阶层、中阶层以及高阶层的特征向量；更新全连接层FC-1的参数，利用全连接层FC-1获取特征向量与图像质量之间的映射关系，得到最终的质量评价值，轮次(epoch)设为25，学习率设为0.0001。
步骤六：待损失函数收敛，损失函数值为0.1的时候函数收敛，结束整个所述图像质量模型的训练，根据损失函数评价图像质量。具体的，所述损失函数为
Figure BDA0002046520910000071
其中，yi为图像的真实标签，qi为图像的主观质量值，N为样本数量。损失函数值越小，图像质量越好。
需要注意的是，本发明实施例所公开的模型训练过程中的参数以及参数的更新均为现有技术，在此不做赘述。
通过以上技术方案，本发明所提供的图像质量评价方法，训练过程中先训练全连接层，再训练整个模型，避免了图像过拟合问题，采用已训练好的ResNet50网络结构取代现有技术图像质量评价方法的特征提取层，并用GAP层代替现有技术图像质量评价方法的中的全连接层(FC-512)，降低模型复杂性。最后利用损失函数评价图像质量，损失函数值越小，图像质量越好。
实施例2
本发明实施例2与本发明实施例1的区别点在于：在所述步骤二之前，所述方法还包括：
如图2所示，获取失真图像，第二特征提取层提取该失真图像的低阶层、中阶层以及高阶层的特征向量，特征融合层通过公式f＝concat(fr,fd)，采用通道拼接的方式将提取的失真图像的特征向量与参考图像的特征向量进行融合，其中，fr为参考图像的特征向量，其维度为7*7*2048，fd为失真图像的特征向量，其通道数为2048，所述融合指将fd直接连接在fr后面形成通道数为4096的融合特征向量f；
所述步骤三包括：利用GAP层中的一层求取融合特征向量f的平均值。
所述步骤五包括：
固定住第一特征提取层的第一预设参数和第二特征提取层的第二预设参数，并使用第一特征提取层提取参考图像的低阶层、中阶层以及高阶层的特征向量，使用第二特征提取层提取失真图像的低阶层、中阶层以及高阶层的特征向量；
在特征融合层通过公式f＝concat(fr,fd)，采用通道拼接的方式将提取的失真图像的特征向量与参考图像的特征向量进行融合；
利用一层GAP层求取融合特征向量f的平均值，更新全连接层FC-1的参数；
利用全连接层FC-1获取特征向量与图像质量之间的映射关系，对全连接层FC-1进行训练，其中，epoch设为15，学习率设为0.001；
对全连接层中的FC-1层训练预设时间间隔以后，解冻第一特征提取层和第二特征提取层，获取第一特征提取层的第一预设参数和第二特征提取层的第二预设参数，第一特征提取层提取参考图像的低阶层、中阶层以及高阶层的特征向量，第二特征提取层提取失真图像的低阶层、中阶层以及高阶层的特征向量；特征融合层通过公式f＝concat(fr,fd)，采用通道拼接的方式将提取的失真图像的特征向量与参考图像的特征向量进行融合，利用一层GAP层求取融合特征向量f的平均值；更新全连接层FC-1的参数，利用全连接层FC-1获取特征向量与图像质量之间的映射关系，得到最终的质量评价值，epoch设为25，学习率设为0.0001。
具体的，所述第一特征提取层和所述第二特征提取层为ResNet50网络。
具体的，所述第一特征提取层和所述第二特征提取层结构相同，所述第一特征提取层包括五层残差层，第一层残差层由1层卷积层与1层最大池化层构成，其中卷积层包括64个3x3且步长为2的卷积核，最大池化层使用7x7的模板且步长为2；第二层残差层至第五层残差层都是由卷积残差块和恒等残差块组合而成，卷积步长都为1。
第二层残差层为一个卷积残差块和三个恒等残差块组合而成，如图3所示，为卷积残差块的结构图，如图4所示为恒等残差块的结构图，图3和图4所示均为resnet50网络结构中的块，其中当前层的输入是上一层块的输出，且层与层之间输出的是特征图，层与层之间的传递过程以及传递参数均为现有技术，在此不做过多赘述。其中卷积残差块的四层卷积层，卷积核大小及其个数分别为(1*1，64)，(3*3，64)，(1*1，256)，(1*1，256)；三个恒等残差块的三层卷积层，卷积核大小及其个数分别为(1*1，64)，(3*3，64)，(1*1，256)；
第三层残差层为一个卷积残差块和四个恒等残差块组合而成，其中卷积残差块中的四层卷积层，卷积核大小及其个数分别为(1*1，128)，(3*3，128)，(1*1，512)，(1*1，512)，其中四个恒等残差块中的三层卷积层，卷积核大小及其个数分别为(1*1，128)，(3*3，128)，(1*1，512)；
第四层残差层按照一个卷积残差块和五个恒等残差块组合而成，其中卷积残差块中的四层卷积层，卷积核大小及其个数分别为(1*1，256)，(3*3，256)，(1*1，1024)，(1*1，1024)，其中五个恒等残差块中的三层卷积层，卷积核大小及其个数分别为(1*1，256)，(3*3，256)，(1*1，1024)；
第五层残差层为一个卷积残差块和三个恒等残差块组合而成，其中卷积残差块中的四层卷积层，卷积核大小及其个数分别为(1*1，512)，(3*3，512)，(1*1，2048)，(1*1，2048)，其中三个恒等残差块中的三层卷积层，卷积核大小及其个数分别为(1*1，512)，(3*3，512)，(1*1，2048)。
如表1所示，表1是本申请提供的一种适用于小样本数据的图像质量评价方法与7种FR评价模型以及7种NR评价模型的在小数据集TID2013图像库上的比较，ID2013图像库包含25个参考图像和3000个失真图像(25个参考图像*24种类型的失真*5级失真)。其中，proposed-FR为本发明实施例2提供的图像质量评价方法，proposed-NR为本发明实施例1所提供的图像质量评价方法。从表1可以看出，本发明实施例2提供的图像质量评价方法proposed-FR的质量评价指标值PLCC为0.9102，质量评价值指标值SROCC为0.9232，质量评价指标值PLCC和质量评价值指标值SROCC均大于现有技术的7种FR评价模型以及7种NR评价模型，实施例1所提供的图像质量评价方法proposed-NR的质量评价指标值PLCC为0.8692，质量评价值指标值SROCC为0.8361，质量评价指标值PLCC和质量评价值指标值SROCC均大于现有技术的7种FR评价模型以及7种NR评价模型，说明本发明所提供的图像质量评价方法优于现有技术的图像质量评价方法。
表1本发明的方法执行效果与现有技术常用模型在TID2013图像库的比较结果表。
表1
Figure BDA0002046520910000101
SROCC为the Spearman rank-order correlation coefficient，斯皮尔曼等级相关系数；
PLCC为Pearson product-moment correlation coefficient，皮尔逊积矩相关系数；
FR为Full-Reference，全参考；
PSNR为peaksignaltonoiseratio，峰值信噪比；
FSIM为Feature Similarity，特征相似性；
SSIM为structural similarity index，结构相似性；
GSM为Gaussian，高斯指标；
IWSSIM为Information content weighting Structural SIMilarity，信息内容加权相似性；
DIQaM_FR为(WeightedAverage)Deep Image QuAlity Measure for FR,全参考方法的(加权平均)深度图像质量测量；
WaDIQaM_FR为WeightedAverage Deep Image QuAlity Measure for FR,全参考方法的加权平均深度图像质量测量；
Proposed-FR是本发明实施例2提出的全参考方法；
NR为No-Reference，无参考；
NIQE为Naturalness Image Quality Evaluator，自然图像质量评估器；
CurveletQA为Curvelet quality assessment，曲波质量评价；
BRISQUE为Blind/Referenceless Image Spatial QUality Evaluator，盲/无参考图像空间质量评估器；
BIQI为Blind Image Quality Indices，盲图像质量指标。
DIQaM_NR为(Weighted Average)Deep Image QuAlity Measure for NR,无参考方法的(加权平均)深度图像质量测量；
WaDIQaM_NR为Weighted Average Deep Image QuAlity Measure for NR,无参考方法的加权平均深度图像质量测量；
Proposed-NR为本发明实施例1提出的无参考方法；
通过以上技术方案，本发明所提供的一种适用于小样本数据的图像质量评价方法，对现有的图像质量评价方法进行改进，采用已训练好的ResNet50网络结构取代现有技术图像质量评价方法的特征提取层，并用GAP层代替现有技术图像质量评价方法的中的全连接层(FC-512)。为了避免出现标签噪声，本发明的图像质量评价方法，采用未经处理的全图像作为模型的输入，这样在保证模型的稳定性的同时也降低了原模型的复杂性，同时有效地解决了图像质量评价领域中数据集较小的问题。改进的模型以更少的参数量得到与主流的评价模型相似甚至更高的准确性，更符合人类视觉特性。同时，本发明的训练过程中先训练全连接层，再训练整个模型，避免了图像过拟合问题。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种适用于小样本数据的图像质量评价方法，其特征在于，所述方法包括：
步骤一：构建小样本数据的图像质量评价模型，所述图像质量评价模型包括顺次连接的第一特征提取层、GAP层以及全连接层FC-1，并获取参考图像；
步骤二：利用第一特征提取层提取该参考图像的低阶层、中阶层以及高阶层的特征向量；
步骤三：利用一层GAP层求取特征向量的平均值；
步骤四：利用全连接层中的FC-1层获取特征向量与图像质量之间的映射关系，其中，FC-1层输出1项结果，具体为图像的主观质量值；
步骤五：保持GAP层中的模型参数不变，训练全连接层，并更新全连接层的参数，所述全连接层的参数训练完成后，训练整个所述图像质量评价 模型；
步骤六：待损失函数收敛，结束整个所述图像质量模型的训练，根据损失函数评价图像质量。
2.根据权利要求1所述的适用于小样本数据的图像质量评价方法，其特征在于，所述步骤五包括：保持GAP层中的第三预设参数不变，利用GAP层中第一特征提取层提取参考图像的低阶层、中阶层以及高阶层的特征向量；更新全连接层FC-1的参数，利用全连接层FC-1获取特征向量与图像质量之间的映射关系，对全连接层中的FC-1层进行训练，其中，全连接层中的FC-1层的轮次设为15，学习率设为0.001；
对全连接层中的FC-1层训练预设时间间隔以后，对整个图像质量评价模型训练，解冻第一特征提取层，获取第一特征提取层的第一预设参数，第一特征提取层提取参考图像的低阶层、中阶层以及高阶层的特征向量；更新全连接层FC-1的参数，利用全连接层FC-1获取特征向量与图像质量之间的映射关系，得到最终的质量评价值，epoch设为25，学习率设为0.0001。
3.根据权利要求1所述的适用于小样本数据的图像质量评价方法，其特征在于，在所述步骤二之前，所述方法还包括：
获取失真图像，第二特征提取层提取该失真图像的低阶层、中阶层以及高阶层的特征向量，特征融合层通过公式f＝concat(fr,fd)，采用通道拼接的方式将提取的失真图像的特征向量与参考图像的特征向量进行融合，其中，fr为参考图像的特征向量，其维度为7*7*2048，fd为失真图像的特征向量，其通道数为2048，所述融合指将fd直接连接在fr后面形成通道数为4096的融合特征向量f；
所述步骤三包括：利用GAP层中的一层求取融合特征向量f的平均值。
4.根据权利要求3所述的适用于小样本数据的图像质量评价方法，其特征在于，所述步骤五包括：
固定住第一特征提取层的第一预设参数和第二特征提取层的第二预设参数，并使用第一特征提取层提取参考图像的低阶层、中阶层以及高阶层的特征向量，使用第二特征提取层提取失真图像的低阶层、中阶层以及高阶层的特征向量；
在特征融合层通过公式f＝concat(fr,fd)，采用通道拼接的方式将提取的失真图像的特征向量与参考图像的特征向量进行融合；
利用一层GAP层求取融合特征向量f的平均值，更新全连接层FC-1的参数；
利用全连接层FC-1获取特征向量与图像质量之间的映射关系，对全连接层FC-1进行训练，其中，epoch设为15，学习率设为0.001；
对全连接层中的FC-1层训练预设时间间隔以后，解冻第一特征提取层和第二特征提取层，获取第一特征提取层的第一预设参数和第二特征提取层的第二预设参数，第一特征提取层提取参考图像的低阶层、中阶层以及高阶层的特征向量，第二特征提取层提取失真图像的低阶层、中阶层以及高阶层的特征向量；特征融合层通过公式f＝concat(fr,fd)，采用通道拼接的方式将提取的失真图像的特征向量与参考图像的特征向量进行融合，利用一层GAP层求取融合特征向量f的平均值；更新全连接层FC-1的参数，利用全连接层FC-1获取特征向量与图像质量之间的映射关系，得到最终的质量评价值，epoch设为25，学习率设为0.0001。
5.根据权利要求3所述的适用于小样本数据的图像质量评价方法，其特征在于，所述第一特征提取层和所述第二特征提取层为ResNet50网络。
6.根据权利要求5所述的适用于小样本数据的图像质量评价方法，其特征在于，所述第一特征提取层和所述第二特征提取层结构相同，所述第一特征提取层包括五层残差层，第一层残差层由1层卷积层与1层最大池化层构成，其中卷积层包括64个3x3且步长为2的卷积核，最大池化层使用7x7的模板且步长为2；第二层残差层至第五层残差层都是由卷积残差块和恒等残差块组合而成，卷积步长都为1。
7.根据权利要求6所述的适用于小样本数据的图像质量评价方法，其特征在于，第二层残差层为一个卷积残差块和三个恒等残差块组合而成，其中卷积残差块的四层卷积层，卷积核大小及其个数分别为(1*1，64)，(3*3，64)，(1*1，256)，(1*1，256)；三个恒等残差块的三层卷积层，卷积核大小及其个数分别为(1*1，64)，(3*3，64)，(1*1，256)；
第三层残差层为一个卷积残差块和四个恒等残差块组合而成，其中卷积残差块中的四层卷积层，卷积核大小及其个数分别为(1*1，128)，(3*3，128)，(1*1，512)，(1*1，512)，其中四个恒等残差块中的三层卷积层，卷积核大小及其个数分别为(1*1，128)，(3*3，128)，(1*1，512)；
第四层残差层按照一个卷积残差块和五个恒等残差块组合而成，其中卷积残差块中的四层卷积层，卷积核大小及其个数分别为(1*1，256)，(3*3，256)，(1*1，1024)，(1*1，1024)，其中五个恒等残差块中的三层卷积层，卷积核大小及其个数分别为(1*1，256)，(3*3，256)，(1*1，1024)；
第五层残差层为一个卷积残差块和三个恒等残差块组合而成，其中卷积残差块中的四层卷积层，卷积核大小及其个数分别为(1*1，512)，(3*3，512)，(1*1，2048)，(1*1，2048)，其中三个恒等残差块中的三层卷积层，卷积核大小及其个数分别为(1*1，512)，(3*3，512)，(1*1，2048)。
8.根据权利要求1所述的适用于小样本数据的图像质量评价方法，其特征在于，所述步骤六中的损失函数为
Figure FDA0002046520900000041
其中，yi为图像的真实标签，qi为图像的主观质量值，N为样本数量。
CN201910359805.8A 2019-04-30 2019-04-30 一种适用于小样本数据的图像质量评价方法 Active CN110070541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910359805.8A CN110070541B (zh) 2019-04-30 2019-04-30 一种适用于小样本数据的图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910359805.8A CN110070541B (zh) 2019-04-30 2019-04-30 一种适用于小样本数据的图像质量评价方法

Publications (2)

Publication Number Publication Date
CN110070541A CN110070541A (zh) 2019-07-30
CN110070541B true CN110070541B (zh) 2022-09-30

Family

ID=67369596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910359805.8A Active CN110070541B (zh) 2019-04-30 2019-04-30 一种适用于小样本数据的图像质量评价方法

Country Status (1)

Country Link
CN (1) CN110070541B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160161B (zh) * 2019-12-18 2022-03-15 电子科技大学 一种基于噪声剔除的自步学习人脸年龄估计方法
CN114241247B (zh) * 2021-12-28 2023-03-07 国网浙江省电力有限公司电力科学研究院 一种基于深度残差网络的变电站安全帽识别方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308696A (zh) * 2018-09-14 2019-02-05 西安电子科技大学 基于层级特征融合网络的无参考图像质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014103529A1 (ja) * 2012-12-28 2014-07-03 シャープ株式会社 画像復号装置、およびデータ構造

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308696A (zh) * 2018-09-14 2019-02-05 西安电子科技大学 基于层级特征融合网络的无参考图像质量评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
情感语义图像检索技术研究;李海芳等;《计算机工程与应用》;20060621(第18期);全文 *

Also Published As

Publication number Publication date
CN110070541A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
Hong et al. Domain-aware universal style transfer
CN110490082B (zh) 一种有效融合神经网络特征的道路场景语义分割方法
CN110349185B (zh) 一种rgbt目标跟踪模型的训练方法及装置
CN110728682A (zh) 一种基于残差金字塔池化神经网络的语义分割方法
CN109461177B (zh) 一种基于神经网络的单目图像深度预测方法
CN105513033B (zh) 一种非局部联合稀疏表示的超分辨率重建方法
CN112116601A (zh) 一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法及系统
CN114387207B (zh) 基于自注意力机制与双重领域自适应的轮胎瑕疵检测方法及模型
CN110853110A (zh) 一种基于生成对抗网络的图片自动调色方法
CN110070541B (zh) 一种适用于小样本数据的图像质量评价方法
Liu et al. Learning hadamard-product-propagation for image dehazing and beyond
CN112884668A (zh) 基于多尺度的轻量级低光图像增强方法
CN116681584A (zh) 一种多级扩散图像超分辨算法
CN111931857A (zh) 一种基于mscff的低照度目标检测方法
CN113763268B (zh) 人脸图像盲修复方法及系统
CN113658091A (zh) 一种图像评价方法、存储介质及终端设备
CN114881879A (zh) 一种基于亮度补偿残差网络的水下图像增强方法
CN116844008A (zh) 一种注意力机制引导的内容感知无参考图像质量评价方法
CN114331922B (zh) 多尺度自校准气动光学效应湍流退化图像复原方法及系统
CN115797646A (zh) 多尺度特征融合的视频去噪方法、系统、设备及存储介质
CN113205503B (zh) 一种卫星海岸带影像质量评价方法
CN115690100A (zh) 半监督信号点检测模型训练方法、信号点检测方法和装置
CN113205005B (zh) 一种面向低光照低分辨率的人脸图像幻构方法
CN112233089B (zh) 一种无参考立体混合失真图像质量评价方法
CN114549302A (zh) 一种图像超分辨率重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant