CN108665460B - 基于组合神经网络和分类神经网络的图像质量评价方法 - Google Patents

基于组合神经网络和分类神经网络的图像质量评价方法 Download PDF

Info

Publication number
CN108665460B
CN108665460B CN201810498348.6A CN201810498348A CN108665460B CN 108665460 B CN108665460 B CN 108665460B CN 201810498348 A CN201810498348 A CN 201810498348A CN 108665460 B CN108665460 B CN 108665460B
Authority
CN
China
Prior art keywords
neural network
distorted
image
training set
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810498348.6A
Other languages
English (en)
Other versions
CN108665460A (zh
Inventor
周武杰
张爽爽
师磊磊
潘婷
顾鹏笠
蔡星宇
邱薇薇
何成
陈芳妮
葛丁飞
金国英
孙丽慧
郑卫红
李鑫
吴洁雯
王昕峰
施祥
翟治年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Haoyun Culture Communication Co ltd
Original Assignee
Zhejiang Lover Health Science and Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lover Health Science and Technology Development Co Ltd filed Critical Zhejiang Lover Health Science and Technology Development Co Ltd
Priority to CN201810498348.6A priority Critical patent/CN108665460B/zh
Publication of CN108665460A publication Critical patent/CN108665460A/zh
Application granted granted Critical
Publication of CN108665460B publication Critical patent/CN108665460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于组合神经网络和分类神经网络的图像质量评价方法，其在训练阶段将采用全参考图像质量评价方法获得的失真图像的客观真实质量图像作为监督，对失真图像的归一化图像进行训练得到针对不同失真类型的组合神经网络回归训练模型；并将失真图像的分类标签作为监督，对失真图像的归一化图像进行训练得到分类神经网络训练模型；在测试阶段将待评价的失真图像的归一化图像输入到分类神经网络训练模型中，得到失真类型；根据失真类型，将归一化图像输入到对应的组合神经网络回归训练模型中得到客观质量评价预测质量图，使用显著图对客观质量评价预测质量图进行加权池化，得到客观质量评价预测值；优点是有效地提高了客观评价结果与主观感知之间的相关性。

Description

基于组合神经网络和分类神经网络的图像质量评价方法
技术领域
本发明涉及一种图像质量评价方法，尤其是涉及一种基于组合神经网络和分类神经网络的图像质量评价方法。
背景技术
随着图像处理、机器学习和计算机视觉的快速发展，图像质量评价已成为越来越受关注的研究领域，因为它在实际应用中是一个重要的技术，可以用于精确评估图像的质量。在图像的获取、传输、压缩、存储和显示等过程中，往往会有不同程度的失真，如图像模糊、视频终端图像失真、系统中图像质量不达标等，因此，建立有效的图像质量评价机制非常重要。
一般来说，图像质量评价大致可以划分为两个不同的类别：主观图像质量评价方法和客观图像质量评价方法。前一类是基于人类观察者的主观判断；而后一类是采用客观度量，快速和精确地衡量一幅失真图像的质量。虽然主观图像质量评价方法提供的最终接收机制能够更加可靠的、精确和直接的量化图像感知质量，但是主观图像质量评价方法比较繁琐，并且许多情况下不容易实现(如实时和自动化系统)。因此，客观图像质量评价方法取得了飞速的发展。客观图像质量评价方法主要分为三种评价方法，即全参考图像质量评价方法、半参考图像质量评价方法和无参考图像质量评价方法，当前研究最多的是全参考图像质量评价方法，但是由于多数应用中无法获得相应的原始图像，因此无参考图像质量评价方法的研究更具实用价值。
现有的通用无参考图像质量评价方法主要是针对多种失真的无参考图像质量评价方法，对具体某种失真的针对性不够强，因此先对多种失真进行分类，然后再针对具体某种失真进行图像质量评价已成为人们越来越关注的方向。
发明内容
本发明所要解决的技术问题是提供一种基于组合神经网络和分类神经网络的图像质量评价方法，其充分考虑了不同失真类型对视觉质量的影响，有效地提高了客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为：一种基于组合神经网络和分类神经网络的图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；
所述的训练阶段过程的具体步骤为：
步骤①_1：选取P幅原始的无失真图像，将第p幅原始的无失真图像记为
Figure GDA0002491311300000021
其中，P为正整数，P＞1，p为正整数，1≤p≤P，1≤x≤W，1≤y≤H，W表示
Figure GDA0002491311300000022
的宽度，H表示
Figure GDA0002491311300000023
的高度，
Figure GDA0002491311300000024
表示中坐标位置为(x,y)的像素点的像素值；
步骤①_2：利用jpeg2000失真生成方法，生成每幅原始的无失真图像在jpeg2000失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在jpeg2000失真类型下的不同失真程度的失真图像构成第一失真训练集，将第一失真训练集中
Figure GDA0002491311300000026
在jpeg2000失真类型下的第k幅失真图像记为
Figure GDA0002491311300000027
利用jpeg失真生成方法，生成每幅原始的无失真图像在jpeg失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在jpeg失真类型下的不同失真程度的失真图像构成第二失真训练集，将第二失真训练集中
Figure GDA0002491311300000028
在jpeg失真类型下的第k幅失真图像记为
Figure GDA0002491311300000029
利用高斯噪声失真生成方法，生成每幅原始的无失真图像在高斯噪声失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在高斯噪声失真类型下的不同失真程度的失真图像构成第三失真训练集，将第三失真训练集中
Figure GDA00024913113000000210
在高斯噪声失真类型下的第k幅失真图像记为
Figure GDA00024913113000000211
利用高斯模糊失真生成方法，生成每幅原始的无失真图像在高斯模糊失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在高斯模糊失真类型下的不同失真程度的失真图像构成第四失真训练集，将第四失真训练集中
Figure GDA0002491311300000031
在高斯模糊失真类型下的第k幅失真图像记为
Figure GDA0002491311300000032
其中，K为正整数，K＞1，k为正整数，1≤k≤K，第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自包含P×K幅失真图像，
Figure GDA0002491311300000033
表示
Figure GDA0002491311300000034
中坐标位置为(x,y)的像素点的像素值，
Figure GDA0002491311300000035
表示
Figure GDA0002491311300000036
中坐标位置为(x,y)的像素点的像素值，
Figure GDA0002491311300000037
表示
Figure GDA0002491311300000038
中坐标位置为(x,y)的像素点的像素值，
Figure GDA0002491311300000039
表示
Figure GDA00024913113000000310
中坐标位置为(x,y)的像素点的像素值；
步骤①_3：利用基于特征相似度的全参考图像质量评价方法，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像进行质量评价，获得第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的客观真实质量图像，将
Figure GDA00024913113000000311
的客观真实质量图像记为
Figure GDA00024913113000000312
将
Figure GDA00024913113000000313
的客观真实质量图像记为
Figure GDA00024913113000000314
将
Figure GDA00024913113000000315
的客观真实质量图像记为
Figure GDA00024913113000000316
将
Figure GDA00024913113000000317
的客观真实质量图像记为
Figure GDA00024913113000000318
利用归一化方法，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像进行归一化处理，获得第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的归一化图像，将
Figure GDA00024913113000000319
的归一化图像记为
Figure GDA00024913113000000320
将
Figure GDA00024913113000000321
的归一化图像记为
Figure GDA00024913113000000322
将
Figure GDA00024913113000000323
的归一化图像记为
Figure GDA00024913113000000324
将
Figure GDA00024913113000000325
的归一化图像记为
Figure GDA00024913113000000326
其中，
Figure GDA00024913113000000327
表示
Figure GDA00024913113000000328
中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000000329
表示
Figure GDA00024913113000000330
中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000000331
表示
Figure GDA00024913113000000332
中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000000333
表示
Figure GDA00024913113000000334
中坐标位置为(x,y)的像素点的像素值，
Figure GDA0002491311300000041
表示
Figure GDA0002491311300000042
中坐标位置为(x,y)的像素点的像素值，
Figure GDA0002491311300000043
表示
Figure GDA0002491311300000044
中坐标位置为(x,y)的像素点的像素值，
Figure GDA0002491311300000045
表示
Figure GDA0002491311300000046
中坐标位置为(x,y)的像素点的像素值，
Figure GDA0002491311300000047
表示
Figure GDA0002491311300000048
中坐标位置为(x,y)的像素点的像素值；
步骤①_4：构建组合神经网络：该组合神经网络有输入层、非线性拟合层和预测层，非线性拟合层包括两个GoogleNet模块和三层卷积神经网络，两个GoogleNet模块均包括四个分支，第1个分支包括一层卷积层，该卷积层的神经元结点数为64，第2个分支包括两层卷积层，两层卷积层的神经元结点数分别为48、64，第3个分支包括三层卷积层，三层卷积层的神经元结点数分别为64、96、96，第4个分支包括一层均值池化层和一层卷积层，均值池化层的池化窗口大小为(3，3)，卷积层的神经元结点数为64，第1个GoogleNet模块的4个分支连接到一起输入到第2个GoogleNet模块中，第2个GoogleNet模块的4个分支连接到一起输入到第1层卷积神经网络中，三层卷积神经网络的神经元结点数分别为128、64、1，参数mini-batch的大小为20，编译时使用的优化器为Adam，使用的激活函数都设置为修正线性单元函数；接着利用组合神经网络，将第一失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第一失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第一权值矢量和最优的第一偏置项；然后将最优的第一权值矢量和最优的第一偏置项作为组合神经网络的最优参数，进而构造得到最优的第一组合神经网络回归训练模型；
同样，利用组合神经网络，将第二失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第二失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第二权值矢量和最优的第二偏置项；然后将最优的第二权值矢量和最优的第二偏置项作为组合神经网络的最优参数，进而构造得到最优的第二组合神经网络回归训练模型；
利用组合神经网络，将第三失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第三失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第三权值矢量和最优的第三偏置项；然后将最优的第三权值矢量和最优的第三偏置项作为组合神经网络的最优参数，进而构造得到最优的第三组合神经网络回归训练模型；
利用组合神经网络，将第四失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第四失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第四权值矢量和最优的第四偏置项；然后将最优的第四权值矢量和最优的第四偏置项作为组合神经网络的最优参数，进而构造得到最优的第四组合神经网络回归训练模型；
步骤①_5：构建分类神经网络：该分类神经网络有输入层、非线性拟合层和预测层，非线性拟合层包括四层卷积神经网络，四层卷积神经网络的神经元结点数分别为16、32、128、256，预测层包括两层全连接层和一层分类层，两层全连接层的神经元结点数均为64，分类层的神经元结点数为4，参数mini-batch的大小为64，编译时使用的优化器为rmsprop，除分类层外所有层使用的激活函数都设置为修正线性单元函数，分类层使用的激活函数设置为softmax；接着利用分类神经网络，将第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集中的所有失真图像的分类标签作为监督，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的归一化图像进行训练，使得分类得到的失真类型与分类标签之间的误差最小，得到最优的分类权值矢量和最优的分类偏置项；然后将最优的分类权值矢量和最优的分类偏置项作为分类神经网络的最优参数，进而构造得到分类神经网络训练模型；
所述的测试阶段过程的具体步骤为：
步骤②_1：令
Figure GDA0002491311300000051
表示待评价的失真图像；其中，1≤x'≤W'，1≤y'≤H'，W'表示
Figure GDA0002491311300000052
的宽度，H'表示
Figure GDA0002491311300000053
的高度，
Figure GDA0002491311300000054
表示
Figure GDA0002491311300000055
中坐标位置为(x',y')的像素点的像素值；
步骤②_2：利用归一化方法，对
Figure GDA0002491311300000056
进行归一化处理，获得
Figure GDA0002491311300000057
的归一化图像，记为
Figure GDA0002491311300000058
其中，
Figure GDA0002491311300000059
表示
Figure GDA00024913113000000510
中坐标位置为(x',y')的像素点的像素值；
利用图像显著性特征图提取方法，提取出
Figure GDA00024913113000000511
的显著图，记为
Figure GDA00024913113000000512
其中，
Figure GDA0002491311300000061
表示
Figure GDA0002491311300000062
中坐标位置为(x',y')的像素点的像素值；
步骤②_3：将
Figure GDA0002491311300000063
作为输入，输入到训练阶段过程构造得到的分类神经网络训练模型中，得到
Figure GDA0002491311300000064
的失真类型；
步骤②_4：若
Figure GDA0002491311300000065
的失真类型为jpeg2000，则将
Figure GDA0002491311300000066
作为输入，输入到训练阶段过程构造得到的第一组合神经网络回归训练模型中，得到
Figure GDA0002491311300000067
的客观质量评价预测质量图，记为
Figure GDA0002491311300000068
其中，
Figure GDA0002491311300000069
表示
Figure GDA00024913113000000610
中坐标位置为(x',y')的像素点的像素值；
若
Figure GDA00024913113000000611
的失真类型为jpeg，则将
Figure GDA00024913113000000612
作为输入，输入到训练阶段过程构造得到的第二组合神经网络回归训练模型中，得到
Figure GDA00024913113000000613
的客观质量评价预测质量图，记为
Figure GDA00024913113000000614
若
Figure GDA00024913113000000615
的失真类型为高斯噪声，则将
Figure GDA00024913113000000616
作为输入，输入到训练阶段过程构造得到的第三组合神经网络回归训练模型中，得到
Figure GDA00024913113000000617
的客观质量评价预测质量图，记为
Figure GDA00024913113000000618
若
Figure GDA00024913113000000619
的失真类型为高斯模糊，则将
Figure GDA00024913113000000620
作为输入，输入到训练阶段过程构造得到的第四组合神经网络回归训练模型中，得到
Figure GDA00024913113000000621
的客观质量评价预测质量图，记为
Figure GDA00024913113000000622
步骤②_5：使用
Figure GDA00024913113000000623
对
Figure GDA00024913113000000624
进行加权池化，得到
Figure GDA00024913113000000625
的客观质量评价加权预测值，记为Q。
所述的步骤①_3中，
Figure GDA00024913113000000626
Figure GDA00024913113000000627
所述的步骤①_4中，将组合神经网络的输入层输出的第g幅特征图记为
Figure GDA0002491311300000071
将
Figure GDA0002491311300000072
中坐标位置为(x,y)的像素点的像素值记为
Figure GDA0002491311300000073
Figure GDA0002491311300000074
组合神经网络的非线性拟合层中的每个GoogleNet模块由四个分支组成，将组合神经网络的非线性拟合层中的第1个GoogleNet模块的第i个分支输出的第g幅特征图记为
Figure GDA0002491311300000075
将
Figure GDA0002491311300000076
中坐标位置为(x,y)的像素点的像素值记为
Figure GDA0002491311300000077
Figure GDA0002491311300000078
将组合神经网络的非线性拟合层中的第2个GoogleNet模块的第i个分支输出的第g幅特征图记为
Figure GDA0002491311300000079
将
Figure GDA00024913113000000710
中坐标位置为(x,y)的像素点的像素值记为
Figure GDA00024913113000000711
Figure GDA00024913113000000712
将组合神经网络的非线性拟合层中的第j层卷积神经网络输出的第g幅特征图记为
Figure GDA00024913113000000713
将
Figure GDA00024913113000000714
中坐标位置为(x,y)的像素点的像素值记为
Figure GDA00024913113000000715
Figure GDA00024913113000000716
将组合神经网络的预测层输出的第g幅特征图记为
Figure GDA00024913113000000717
将
Figure GDA00024913113000000718
中坐标位置为(x,y)的像素点的像素值记为
Figure GDA00024913113000000719
其中，g为正整数，1≤g≤G，G为正整数，G表示组合神经网络的每层输出的特征图的总幅数，max()为取最大值函数，
Figure GDA00024913113000000720
表示输入到组合神经网络的输入层中的图像中坐标位置为(x,y)的像素点的像素值，符号“*”为卷积运算符号，ω0表示组合神经网络的输入层的权重参数，b0表示组合神经网络的输入层的偏置项参数，i＝1,2,3,4，
Figure GDA00024913113000000721
表示输入到组合神经网络的非线性拟合层中的第1个GoogleNet模块中的图像中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000000722
表示
Figure GDA00024913113000000723
的线性函数，
Figure GDA00024913113000000724
表示组合神经网络的非线性拟合层中的第1个GoogleNet模块的第i个分支的权重参数，
Figure GDA00024913113000000725
表示组合神经网络的非线性拟合层中的第1个GoogleNet模块的第i个分支的偏置项参数，
Figure GDA0002491311300000081
表示输入到组合神经网络的非线性拟合层中的第2个GoogleNet模块中的图像中坐标位置为(x,y)的像素点的像素值，
Figure GDA0002491311300000082
表示
Figure GDA0002491311300000083
的线性函数，
Figure GDA0002491311300000084
表示组合神经网络的非线性拟合层中的第2个GoogleNet模块的第i个分支的权重参数，
Figure GDA0002491311300000085
表示组合神经网络的非线性拟合层中的第2个GoogleNet模块的第i个分支的偏置项参数，j＝1,2,3，
Figure GDA0002491311300000086
表示输入到组合神经网络的非线性拟合层中的第j层卷积神经网络中的图像中坐标位置为(x,y)的像素点的像素值，
Figure GDA0002491311300000087
表示
Figure GDA0002491311300000088
的线性函数，ωj+2表示组合神经网络的非线性拟合层中的第j层卷积神经网络的权重参数，bj+2表示组合神经网络的非线性拟合层中的第j层卷积神经网络的偏置项参数，
Figure GDA0002491311300000089
表示输入到组合神经网络的预测层中的图像中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000000810
表示
Figure GDA00024913113000000811
的线性函数，ω6表示组合神经网络的预测层的权重参数，b6表示组合神经网络的预测层的偏置项参数。
所述的步骤①_5中，将分类神经网络的输入层输出的第h幅特征图记为
Figure GDA00024913113000000812
将
Figure GDA00024913113000000813
中坐标位置为(x,y)的像素点的像素值记为
Figure GDA00024913113000000814
Figure GDA00024913113000000815
将分类神经网络的非线性拟合层中的第m层卷积神经网络输出的第h幅特征图记为
Figure GDA00024913113000000816
将
Figure GDA00024913113000000817
中坐标位置为(x,y)的像素点的像素值记为
Figure GDA00024913113000000818
其中，h为正整数，1≤h≤D，D为正整数，D表示分类神经网络的每层输出的特征图的总幅数，max()为取最大值函数，
Figure GDA00024913113000000819
表示输入到分类神经网络的输入层中的图像中坐标位置为(x,y)的像素点的像素值，符号“*”为卷积运算符号，ω'0表示分类神经网络的输入层的权重参数，b'0表示分类神经网络的输入层的偏置项参数，m＝1,2,3,4，
Figure GDA00024913113000000820
表示输入到分类神经网络的非线性拟合层中的第m层卷积神经网络中的图像中坐标位置为(x,y)的像素点的像素值，
Figure GDA0002491311300000091
为
Figure GDA0002491311300000092
的线性函数，ω'm表示分类神经网络的非线性拟合层中的第m层卷积神经网络的权重参数，b'm表示分类神经网络的非线性拟合层中的第m层卷积神经网络的偏置项参数。
所述的步骤②_2中，
Figure GDA0002491311300000093
与现有技术相比，本发明的优点在于：
1)本发明方法在训练阶段将不同失真类型的失真图像分开进行训练，获得针对每种失真类型的最优的组合神经网络回归训练模型，针对性极强，即充分考虑了不同失真类型对主观视觉的影响，使客观评价值能更加准确地预测失真图像，有效地提高了客观评价结果与主观感知之间的相关性。
2)本发明方法在测试阶段同时考虑了失真图像的客观质量评价预测质量图和显著图，能够很好地反映各种因素的特征变化情况，符合质量评价特征。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于组合神经网络和分类神经网络的图像质量评价方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程；
所述的训练阶段过程的具体步骤为：
步骤①_1：选取P幅原始的无失真图像，将第p幅原始的无失真图像记为
Figure GDA0002491311300000094
其中，P为正整数，P＞1，如取P＝100，p为正整数，1≤p≤P，1≤x≤W，1≤y≤H，W表示
Figure GDA0002491311300000095
的宽度，H表示
Figure GDA0002491311300000096
的高度，
Figure GDA0002491311300000097
表示
Figure GDA0002491311300000098
中坐标位置为(x,y)的像素点的像素值。
步骤①_2：利用现有的jpeg2000失真生成方法，生成每幅原始的无失真图像在jpeg2000失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在jpeg2000失真类型下的不同失真程度的失真图像构成第一失真训练集，将第一失真训练集中
Figure GDA0002491311300000101
在jpeg2000失真类型下的第k幅失真图像记为
Figure GDA0002491311300000102
利用现有的jpeg失真生成方法，生成每幅原始的无失真图像在jpeg失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在jpeg失真类型下的不同失真程度的失真图像构成第二失真训练集，将第二失真训练集中
Figure GDA0002491311300000103
在jpeg失真类型下的第k幅失真图像记为
Figure GDA0002491311300000104
利用现有的高斯噪声失真生成方法，生成每幅原始的无失真图像在高斯噪声失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在高斯噪声失真类型下的不同失真程度的失真图像构成第三失真训练集，将第三失真训练集中
Figure GDA0002491311300000105
在高斯噪声失真类型下的第k幅失真图像记为
Figure GDA0002491311300000106
利用现有的高斯模糊失真生成方法，生成每幅原始的无失真图像在高斯模糊失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在高斯模糊失真类型下的不同失真程度的失真图像构成第四失真训练集，将第四失真训练集中
Figure GDA0002491311300000107
在高斯模糊失真类型下的第k幅失真图像记为
Figure GDA0002491311300000108
其中，K为正整数，K＞1，如取K＝15，k为正整数，1≤k≤K，第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自包含P×K幅失真图像，
Figure GDA0002491311300000109
表示
Figure GDA00024913113000001010
中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000001011
表示
Figure GDA00024913113000001012
中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000001013
表示
Figure GDA00024913113000001014
中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000001015
表示
Figure GDA00024913113000001016
中坐标位置为(x,y)的像素点的像素值。
步骤①_3：利用现有的基于特征相似度(Feature Similarity，FSIM)的全参考图像质量评价方法，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像进行质量评价，获得第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的客观真实质量图像，将
Figure GDA0002491311300000111
的客观真实质量图像记为
Figure GDA0002491311300000112
将
Figure GDA0002491311300000113
的客观真实质量图像记为
Figure GDA0002491311300000114
将
Figure GDA0002491311300000115
的客观真实质量图像记为
Figure GDA0002491311300000116
将
Figure GDA0002491311300000117
的客观真实质量图像记为
Figure GDA0002491311300000118
利用现有的归一化方法，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像进行归一化处理，获得第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的归一化图像，将
Figure GDA0002491311300000119
的归一化图像记为
Figure GDA00024913113000001110
将的归一化图像记为
Figure GDA00024913113000001112
将
Figure GDA00024913113000001113
的归一化图像记为
Figure GDA00024913113000001114
将
Figure GDA00024913113000001115
的归一化图像记为
Figure GDA00024913113000001116
其中，
Figure GDA00024913113000001117
表示
Figure GDA00024913113000001118
中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000001119
表示
Figure GDA00024913113000001120
中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000001121
表示
Figure GDA00024913113000001122
中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000001123
表示
Figure GDA00024913113000001124
中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000001125
表示
Figure GDA00024913113000001126
中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000001127
表示
Figure GDA00024913113000001128
中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000001129
表示
Figure GDA00024913113000001130
中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000001131
表示
Figure GDA00024913113000001132
中坐标位置为(x,y)的像素点的像素值。
在本实施例中，步骤①_3中，
Figure GDA00024913113000001133
Figure GDA00024913113000001134
步骤①_4：构建组合神经网络：该组合神经网络有输入层、非线性拟合层和预测层，非线性拟合层包括两个GoogleNet模块和三层卷积神经网络，两个GoogleNet模块均包括四个分支，第1个分支包括一层卷积层，该卷积层的神经元结点数为64，第2个分支包括两层卷积层，两层卷积层的神经元结点数分别为48、64，第3个分支包括三层卷积层，三层卷积层的神经元结点数分别为64、96、96，第4个分支包括一层均值池化层和一层卷积层，均值池化层的池化窗口大小为(3，3)，卷积层的神经元结点数为64，第1个GoogleNet模块的4个分支连接到一起输入到第2个GoogleNet模块中，第2个GoogleNet模块的4个分支连接到一起输入到第1层卷积神经网络中，三层卷积神经网络的神经元结点数分别为128、64、1，参数mini-batch的大小为20，编译时使用的优化器为Adam，使用的激活函数都设置为修正线性单元函数(Rectified Linear Unit，ReLU)，使用ReLU作为激活函数的原因是：ReLU可以通过简单地将零激活矩阵阈值化来实现，ReLU不会饱和，并且使用ReLU作为激活函数可以很大程度地加快随机梯度下降的收敛；由于该组合神经网络是由两个GoogleNet模块和三层卷积神经网络组合而成的神经网络框架，其能够有效学习单种失真类型的失真图像的归一化图像与客观真实质量图像之间的相关性，因此本发明方法接着利用组合神经网络，将第一失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第一失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第一权值矢量和最优的第一偏置项；然后将最优的第一权值矢量和最优的第一偏置项作为组合神经网络的最优参数，进而构造得到最优的第一组合神经网络回归训练模型。
同样，利用组合神经网络，将第二失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第二失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第二权值矢量和最优的第二偏置项；然后将最优的第二权值矢量和最优的第二偏置项作为组合神经网络的最优参数，进而构造得到最优的第二组合神经网络回归训练模型。
利用组合神经网络，将第三失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第三失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第三权值矢量和最优的第三偏置项；然后将最优的第三权值矢量和最优的第三偏置项作为组合神经网络的最优参数，进而构造得到最优的第三组合神经网络回归训练模型。
利用组合神经网络，将第四失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第四失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第四权值矢量和最优的第四偏置项；然后将最优的第四权值矢量和最优的第四偏置项作为组合神经网络的最优参数，进而构造得到最优的第四组合神经网络回归训练模型。
在本实施例中，步骤①_4中，将组合神经网络的输入层输出的第g幅特征图记为
Figure GDA0002491311300000131
将
Figure GDA0002491311300000132
中坐标位置为(x,y)的像素点的像素值记为
Figure GDA0002491311300000133
Figure GDA0002491311300000134
组合神经网络的非线性拟合层中的每个GoogleNet模块由四个分支组成，将组合神经网络的非线性拟合层中的第1个GoogleNet模块的第i个分支输出的第g幅特征图记为
Figure GDA0002491311300000135
将
Figure GDA0002491311300000136
中坐标位置为(x,y)的像素点的像素值记为
Figure GDA0002491311300000137
Figure GDA0002491311300000138
将组合神经网络的非线性拟合层中的第2个GoogleNet模块的第i个分支输出的第g幅特征图记为
Figure GDA0002491311300000139
将
Figure GDA00024913113000001310
中坐标位置为(x,y)的像素点的像素值记为
Figure GDA00024913113000001311
Figure GDA00024913113000001312
将组合神经网络的非线性拟合层中的第j层卷积神经网络输出的第g幅特征图记为
Figure GDA00024913113000001313
将
Figure GDA00024913113000001314
中坐标位置为(x,y)的像素点的像素值记为
Figure GDA00024913113000001315
Figure GDA00024913113000001316
将组合神经网络的预测层输出的第g幅特征图记为
Figure GDA00024913113000001317
将
Figure GDA00024913113000001318
中坐标位置为(x,y)的像素点的像素值记为
Figure GDA00024913113000001319
其中，g为正整数，1≤g≤G，G为正整数，G表示组合神经网络的每层输出的特征图的总幅数，max()为取最大值函数，
Figure GDA00024913113000001320
表示输入到组合神经网络的输入层中的图像中坐标位置为(x,y)的像素点的像素值，符号“*”为卷积运算符号，ω0表示组合神经网络的输入层的权重参数，b0表示组合神经网络的输入层的偏置项参数，i＝1,2,3,4，
Figure GDA00024913113000001321
表示输入到组合神经网络的非线性拟合层中的第1个GoogleNet模块中的图像中坐标位置为(x,y)的像素点的像素值，
Figure GDA0002491311300000141
表示
Figure GDA0002491311300000142
的线性函数，
Figure GDA0002491311300000143
表示组合神经网络的非线性拟合层中的第1个GoogleNet模块的第i个分支的权重参数，
Figure GDA0002491311300000144
表示组合神经网络的非线性拟合层中的第1个GoogleNet模块的第i个分支的偏置项参数，
Figure GDA0002491311300000145
表示输入到组合神经网络的非线性拟合层中的第2个GoogleNet模块中的图像中坐标位置为(x,y)的像素点的像素值，
Figure GDA0002491311300000146
表示
Figure GDA0002491311300000147
的线性函数，
Figure GDA0002491311300000148
表示组合神经网络的非线性拟合层中的第2个GoogleNet模块的第i个分支的权重参数，
Figure GDA0002491311300000149
表示组合神经网络的非线性拟合层中的第2个GoogleNet模块的第i个分支的偏置项参数，j＝1,2,3，
Figure GDA00024913113000001410
表示输入到组合神经网络的非线性拟合层中的第j层卷积神经网络中的图像中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000001411
表示
Figure GDA00024913113000001412
的线性函数，ωj+2表示组合神经网络的非线性拟合层中的第j层卷积神经网络的权重参数，bj+2表示组合神经网络的非线性拟合层中的第j层卷积神经网络的偏置项参数，
Figure GDA00024913113000001413
表示输入到组合神经网络的预测层中的图像中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000001414
表示
Figure GDA00024913113000001415
的线性函数，ω6表示组合神经网络的预测层的权重参数，b6表示组合神经网络的预测层的偏置项参数。
步骤①_5：构建分类神经网络：该分类神经网络有输入层、非线性拟合层和预测层，非线性拟合层包括四层卷积神经网络，四层卷积神经网络的神经元结点数分别为16、32、128、256，预测层包括两层全连接层和一层分类层，两层全连接层的神经元结点数均为64，分类层的神经元结点数为4，参数mini-batch的大小为64，编译时使用的优化器为rmsprop，除分类层外所有层使用的激活函数都设置为修正线性单元函数(RectifiedLinear Unit，ReLU)，分类层使用的激活函数设置为softmax；该分类神经网络参考了现有的VGG16模型，其能够有效分类四种不同失真，因此本发明方法接着利用分类神经网络，将第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集中的所有失真图像的分类标签作为监督，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的归一化图像进行训练，使得分类得到的失真类型与分类标签之间的误差最小，得到最优的分类权值矢量和最优的分类偏置项；然后将最优的分类权值矢量和最优的分类偏置项作为分类神经网络的最优参数，进而构造得到分类神经网络训练模型。
在本实施例中，步骤①_5中，将分类神经网络的输入层输出的第h幅特征图记为
Figure GDA0002491311300000151
将
Figure GDA0002491311300000152
中坐标位置为(x,y)的像素点的像素值记为
Figure GDA0002491311300000153
Figure GDA0002491311300000154
将分类神经网络的非线性拟合层中的第m层卷积神经网络输出的第h幅特征图记为
Figure GDA0002491311300000155
将
Figure GDA0002491311300000156
中坐标位置为(x,y)的像素点的像素值记为
Figure GDA0002491311300000157
其中，h为正整数，1≤h≤D，D为正整数，D表示分类神经网络的每层输出的特征图的总幅数，max()为取最大值函数，
Figure GDA0002491311300000158
表示输入到分类神经网络的输入层中的图像中坐标位置为(x,y)的像素点的像素值，符号“*”为卷积运算符号，ω'0表示分类神经网络的输入层的权重参数，b'0表示分类神经网络的输入层的偏置项参数，m＝1,2,3,4，
Figure GDA0002491311300000159
表示输入到分类神经网络的非线性拟合层中的第m层卷积神经网络中的图像中坐标位置为(x,y)的像素点的像素值，
Figure GDA00024913113000001510
为
Figure GDA00024913113000001511
的线性函数，ω'm表示分类神经网络的非线性拟合层中的第m层卷积神经网络的权重参数，b'm表示分类神经网络的非线性拟合层中的第m层卷积神经网络的偏置项参数。
所述的测试阶段过程的具体步骤为：
步骤②_1：令
Figure GDA00024913113000001512
表示待评价的失真图像；其中，1≤x'≤W'，1≤y'≤H'，W'表示
Figure GDA00024913113000001513
的宽度，H'表示
Figure GDA00024913113000001514
的高度，
Figure GDA00024913113000001515
表示
Figure GDA00024913113000001516
中坐标位置为(x',y')的像素点的像素值，W'可与W相同或不相同，H'可与H相同或不相同。
步骤②_2：利用现有的归一化方法，对
Figure GDA00024913113000001517
进行归一化处理，获得
Figure GDA00024913113000001518
的归一化图像，记为
Figure GDA00024913113000001519
其中，
Figure GDA00024913113000001520
表示
Figure GDA00024913113000001521
中坐标位置为(x',y')的像素点的像素值。
利用现有的图像显著性特征图提取方法，提取出
Figure GDA0002491311300000161
的显著图，记为
Figure GDA0002491311300000162
其中，
Figure GDA0002491311300000163
表示
Figure GDA0002491311300000164
中坐标位置为(x',y')的像素点的像素值。
在本实施例中，步骤②_2中，
Figure GDA0002491311300000165
步骤②_3：将
Figure GDA0002491311300000166
作为输入，输入到训练阶段过程构造得到的分类神经网络训练模型中，得到
Figure GDA0002491311300000167
的失真类型。
步骤②_4：若
Figure GDA0002491311300000168
的失真类型为jpeg2000，则将
Figure GDA0002491311300000169
作为输入，输入到训练阶段过程构造得到的第一组合神经网络回归训练模型中，得到
Figure GDA00024913113000001610
的客观质量评价预测质量图，记为
Figure GDA00024913113000001611
其中，
Figure GDA00024913113000001612
表示
Figure GDA00024913113000001613
中坐标位置为(x',y')的像素点的像素值。
若
Figure GDA00024913113000001614
的失真类型为jpeg，则将
Figure GDA00024913113000001615
作为输入，输入到训练阶段过程构造得到的第二组合神经网络回归训练模型中，得到
Figure GDA00024913113000001616
的客观质量评价预测质量图，记为
Figure GDA00024913113000001617
若
Figure GDA00024913113000001618
的失真类型为高斯噪声，则将
Figure GDA00024913113000001619
作为输入，输入到训练阶段过程构造得到的第三组合神经网络回归训练模型中，得到
Figure GDA00024913113000001620
的客观质量评价预测质量图，记为
Figure GDA00024913113000001621
若
Figure GDA00024913113000001622
的失真类型为高斯模糊，则将
Figure GDA00024913113000001623
作为输入，输入到训练阶段过程构造得到的第四组合神经网络回归训练模型中，得到
Figure GDA00024913113000001624
的客观质量评价预测质量图，记为
Figure GDA00024913113000001625
步骤②_5：使用
Figure GDA00024913113000001626
对
Figure GDA00024913113000001627
进行加权池化，得到
Figure GDA00024913113000001628
的客观质量评价加权预测值，记为Q。
为了进一步验证本发明方法的可行性和有效性，进行实验。
采用LIVE、CSIQ、TID2013三个失真图像数据库来分析利用本发明方法中的分类神经网络训练模型得到的失真图像的失真类型的准确率，如表1所列。从表1所列的数据可知，按本发明方法得到的失真图像的失真类型的准确率很高。
采用LIVE、CSIQ、TID2013三个失真图像数据库来分析利用本发明方法得到的失真图像的客观质量评价加权预测值与主观评分值之间的相关性。这里，利用评估图像质量评价方法的两个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient，PLCC)、Spearman相关系数(Spearman rankorder correlation coefficient，SROCC)，PLCC反映失真图像的客观质量评价加权预测值的准确性，SROCC反映其单调性。
利用现有的主观质量评价方法获得LIVE、CSIQ、TID2013三个失真图像数据库中的每幅失真图像的主观评分值，再利用本发明方法计算LIVE、CSIQ、TID2013三个失真图像数据库中的每幅失真图像的客观质量评价加权预测值。将按本发明方法计算得到的失真图像的客观质量评价加权预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高说明客观评价方法的客观评价结果与主观评分值之间的相关性越好。反映本发明方法的质量评价性能的PLCC和SROCC相关系数如表2所列。从表2所列的数据可知，按本发明方法得到的失真图像的客观质量评价加权预测值与主观评分值之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。
表1利用本发明方法得到的失真图像的失真类型的准确率测试结果
失真图像数据库 LIVE CSIQ TID2013
准确率 0.9932 0.9921 0.9883
表2利用本发明方法得到的失真图像的客观质量评价加权预测值与主观评分值之间的相关性
Figure GDA0002491311300000181

Claims (5)

1.一种基于组合神经网络和分类神经网络的图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；
所述的训练阶段过程的具体步骤为：
步骤①_1：选取P幅原始的无失真图像，将第p幅原始的无失真图像记为
Figure FDA0002491311290000011
其中，P为正整数，P＞1，p为正整数，1≤p≤P，1≤x≤W，1≤y≤H，W表示
Figure FDA0002491311290000012
的宽度，H表示
Figure FDA0002491311290000013
的高度，
Figure FDA0002491311290000014
表示
Figure FDA0002491311290000015
中坐标位置为(x,y)的像素点的像素值；
步骤①_2：利用jpeg2000失真生成方法，生成每幅原始的无失真图像在jpeg2000失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在jpeg2000失真类型下的不同失真程度的失真图像构成第一失真训练集，将第一失真训练集中
Figure FDA0002491311290000016
在jpeg2000失真类型下的第k幅失真图像记为
Figure FDA0002491311290000017
利用jpeg失真生成方法，生成每幅原始的无失真图像在jpeg失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在jpeg失真类型下的不同失真程度的失真图像构成第二失真训练集，将第二失真训练集中
Figure FDA0002491311290000018
在jpeg失真类型下的第k幅失真图像记为
Figure FDA0002491311290000019
利用高斯噪声失真生成方法，生成每幅原始的无失真图像在高斯噪声失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在高斯噪声失真类型下的不同失真程度的失真图像构成第三失真训练集，将第三失真训练集中
Figure FDA00024913112900000110
在高斯噪声失真类型下的第k幅失真图像记为
Figure FDA00024913112900000111
利用高斯模糊失真生成方法，生成每幅原始的无失真图像在高斯模糊失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在高斯模糊失真类型下的不同失真程度的失真图像构成第四失真训练集，将第四失真训练集中
Figure FDA00024913112900000112
在高斯模糊失真类型下的第k幅失真图像记为
Figure FDA00024913112900000113
其中，K为正整数，K＞1，k为正整数，1≤k≤K，第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自包含P×K幅失真图像，
Figure FDA0002491311290000021
表示
Figure FDA0002491311290000022
中坐标位置为(x,y)的像素点的像素值，
Figure FDA0002491311290000023
表示
Figure FDA0002491311290000024
中坐标位置为(x,y)的像素点的像素值，
Figure FDA0002491311290000025
表示
Figure FDA0002491311290000026
中坐标位置为(x,y)的像素点的像素值，
Figure FDA0002491311290000027
表示
Figure FDA0002491311290000028
中坐标位置为(x,y)的像素点的像素值；
步骤①_3：利用基于特征相似度的全参考图像质量评价方法，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像进行质量评价，获得第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的客观真实质量图像，将
Figure FDA0002491311290000029
的客观真实质量图像记为
Figure FDA00024913112900000210
将
Figure FDA00024913112900000211
的客观真实质量图像记为
Figure FDA00024913112900000215
将
Figure FDA00024913112900000214
的客观真实质量图像记为
Figure FDA00024913112900000212
将
Figure FDA00024913112900000213
的客观真实质量图像记为
Figure FDA00024913112900000216
利用归一化方法，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像进行归一化处理，获得第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的归一化图像，将
Figure FDA00024913112900000217
的归一化图像记为
Figure FDA00024913112900000224
将
Figure FDA00024913112900000223
的归一化图像记为
Figure FDA00024913112900000218
将
Figure FDA00024913112900000220
的归一化图像记为
Figure FDA00024913112900000222
将
Figure FDA00024913112900000221
的归一化图像记为
Figure FDA00024913112900000219
其中，
Figure FDA00024913112900000225
表示
Figure FDA00024913112900000226
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00024913112900000227
表示
Figure FDA00024913112900000229
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00024913112900000230
表示
Figure FDA00024913112900000228
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00024913112900000232
表示
Figure FDA00024913112900000231
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00024913112900000233
表示
Figure FDA00024913112900000234
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00024913112900000235
表示
Figure FDA00024913112900000236
中坐标位置为(x,y)的像素点的像素值，
Figure FDA0002491311290000031
表示
Figure FDA0002491311290000032
中坐标位置为(x,y)的像素点的像素值，
Figure FDA0002491311290000033
表示
Figure FDA0002491311290000034
中坐标位置为(x,y)的像素点的像素值；
步骤①_4：构建组合神经网络：该组合神经网络有输入层、非线性拟合层和预测层，非线性拟合层包括两个GoogleNet模块和三层卷积神经网络，两个GoogleNet模块均包括四个分支，第1个分支包括一层卷积层，该卷积层的神经元结点数为64，第2个分支包括两层卷积层，两层卷积层的神经元结点数分别为48、64，第3个分支包括三层卷积层，三层卷积层的神经元结点数分别为64、96、96，第4个分支包括一层均值池化层和一层卷积层，均值池化层的池化窗口大小为(3，3)，卷积层的神经元结点数为64，第1个GoogleNet模块的4个分支连接到一起输入到第2个GoogleNet模块中，第2个GoogleNet模块的4个分支连接到一起输入到第1层卷积神经网络中，三层卷积神经网络的神经元结点数分别为128、64、1，参数mini-batch的大小为20，编译时使用的优化器为Adam，使用的激活函数都设置为修正线性单元函数；接着利用组合神经网络，将第一失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第一失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第一权值矢量和最优的第一偏置项；然后将最优的第一权值矢量和最优的第一偏置项作为组合神经网络的最优参数，进而构造得到最优的第一组合神经网络回归训练模型；
同样，利用组合神经网络，将第二失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第二失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第二权值矢量和最优的第二偏置项；然后将最优的第二权值矢量和最优的第二偏置项作为组合神经网络的最优参数，进而构造得到最优的第二组合神经网络回归训练模型；
利用组合神经网络，将第三失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第三失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第三权值矢量和最优的第三偏置项；然后将最优的第三权值矢量和最优的第三偏置项作为组合神经网络的最优参数，进而构造得到最优的第三组合神经网络回归训练模型；
利用组合神经网络，将第四失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第四失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第四权值矢量和最优的第四偏置项；然后将最优的第四权值矢量和最优的第四偏置项作为组合神经网络的最优参数，进而构造得到最优的第四组合神经网络回归训练模型；
步骤①_5：构建分类神经网络：该分类神经网络有输入层、非线性拟合层和预测层，非线性拟合层包括四层卷积神经网络，四层卷积神经网络的神经元结点数分别为16、32、128、256，预测层包括两层全连接层和一层分类层，两层全连接层的神经元结点数均为64，分类层的神经元结点数为4，参数mini-batch的大小为64，编译时使用的优化器为rmsprop，除分类层外所有层使用的激活函数都设置为修正线性单元函数，分类层使用的激活函数设置为softmax；接着利用分类神经网络，将第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集中的所有失真图像的分类标签作为监督，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的归一化图像进行训练，使得分类得到的失真类型与分类标签之间的误差最小，得到最优的分类权值矢量和最优的分类偏置项；然后将最优的分类权值矢量和最优的分类偏置项作为分类神经网络的最优参数，进而构造得到分类神经网络训练模型；
所述的测试阶段过程的具体步骤为：
步骤②_1：令
Figure FDA0002491311290000041
表示待评价的失真图像；其中，1≤x'≤W'，1≤y'≤H'，W'表示
Figure FDA0002491311290000042
的宽度，H'表示
Figure FDA0002491311290000043
的高度，
Figure FDA0002491311290000044
表示
Figure FDA0002491311290000045
中坐标位置为(x',y')的像素点的像素值；
步骤②_2：利用归一化方法，对
Figure FDA0002491311290000046
进行归一化处理，获得
Figure FDA0002491311290000047
的归一化图像，记为
Figure FDA0002491311290000048
其中，
Figure FDA0002491311290000049
表示
Figure FDA00024913112900000410
中坐标位置为(x',y')的像素点的像素值；
利用图像显著性特征图提取方法，提取出
Figure FDA00024913112900000411
的显著图，记为
Figure FDA00024913112900000412
其中，
Figure FDA00024913112900000413
表示
Figure FDA00024913112900000414
中坐标位置为(x',y')的像素点的像素值；
步骤②_3：将
Figure FDA00024913112900000415
作为输入，输入到训练阶段过程构造得到的分类神经网络训练模型中，得到
Figure FDA00024913112900000416
的失真类型；
步骤②_4：若的失真类型为jpeg2000，则将
Figure FDA0002491311290000054
作为输入，输入到训练阶段过程构造得到的第一组合神经网络回归训练模型中，得到
Figure FDA0002491311290000055
的客观质量评价预测质量图，记为
Figure FDA0002491311290000056
其中，
Figure FDA0002491311290000058
表示
Figure FDA0002491311290000057
中坐标位置为(x',y')的像素点的像素值；
若
Figure FDA0002491311290000059
的失真类型为jpeg，则将
Figure FDA00024913112900000510
作为输入，输入到训练阶段过程构造得到的第二组合神经网络回归训练模型中，得到
Figure FDA00024913112900000511
的客观质量评价预测质量图，记为
Figure FDA00024913112900000512
若
Figure FDA00024913112900000513
的失真类型为高斯噪声，则将
Figure FDA00024913112900000514
作为输入，输入到训练阶段过程构造得到的第三组合神经网络回归训练模型中，得到
Figure FDA00024913112900000515
的客观质量评价预测质量图，记为
Figure FDA00024913112900000516
若
Figure FDA00024913112900000517
的失真类型为高斯模糊，则将
Figure FDA00024913112900000518
作为输入，输入到训练阶段过程构造得到的第四组合神经网络回归训练模型中，得到
Figure FDA00024913112900000519
的客观质量评价预测质量图，记为
Figure FDA00024913112900000520
步骤②_5：使用
Figure FDA00024913112900000521
对
Figure FDA00024913112900000522
进行加权池化，得到
Figure FDA00024913112900000523
的客观质量评价加权预测值，记为Q。
2.根据权利要求1所述的基于组合神经网络和分类神经网络的图像质量评价方法，其特征在于所述的步骤①_3中，
Figure FDA0002491311290000051
Figure FDA0002491311290000052
3.根据权利要求1所述的基于组合神经网络和分类神经网络的图像质量评价方法，其特征在于所述的步骤①_4中，将组合神经网络的输入层输出的第g幅特征图记为
Figure FDA00024913112900000524
将
Figure FDA00024913112900000525
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA00024913112900000526
Figure FDA0002491311290000061
组合神经网络的非线性拟合层中的每个GoogleNet模块由四个分支组成，将组合神经网络的非线性拟合层中的第1个GoogleNet模块的第i个分支输出的第g幅特征图记为
Figure FDA0002491311290000063
将
Figure FDA0002491311290000062
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA0002491311290000064
Figure FDA0002491311290000065
将组合神经网络的非线性拟合层中的第2个GoogleNet模块的第i个分支输出的第g幅特征图记为
Figure FDA0002491311290000066
将
Figure FDA0002491311290000067
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA0002491311290000069
Figure FDA0002491311290000068
将组合神经网络的非线性拟合层中的第j层卷积神经网络输出的第g幅特征图记为
Figure FDA00024913112900000610
将
Figure FDA00024913112900000611
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA00024913112900000612
Figure FDA00024913112900000613
将组合神经网络的预测层输出的第g幅特征图记为
Figure FDA00024913112900000614
将
Figure FDA00024913112900000615
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA00024913112900000616
Figure FDA00024913112900000617
其中，g为正整数，1≤g≤G，G为正整数，G表示组合神经网络的每层输出的特征图的总幅数，max()为取最大值函数，
Figure FDA00024913112900000618
表示输入到组合神经网络的输入层中的图像中坐标位置为(x,y)的像素点的像素值，符号“*”为卷积运算符号，ω0表示组合神经网络的输入层的权重参数，b0表示组合神经网络的输入层的偏置项参数，i＝1,2,3,4，
Figure FDA00024913112900000619
表示输入到组合神经网络的非线性拟合层中的第1个GoogleNet模块中的图像中坐标位置为(x,y)的像素点的像素值，
Figure FDA00024913112900000620
表示
Figure FDA00024913112900000621
的线性函数，
Figure FDA00024913112900000622
表示组合神经网络的非线性拟合层中的第1个GoogleNet模块的第i个分支的权重参数，
Figure FDA00024913112900000623
表示组合神经网络的非线性拟合层中的第1个GoogleNet模块的第i个分支的偏置项参数，
Figure FDA00024913112900000624
表示输入到组合神经网络的非线性拟合层中的第2个GoogleNet模块中的图像中坐标位置为(x,y)的像素点的像素值，
Figure FDA0002491311290000071
表示
Figure FDA0002491311290000072
的线性函数，
Figure FDA0002491311290000073
表示组合神经网络的非线性拟合层中的第2个GoogleNet模块的第i个分支的权重参数，
Figure FDA0002491311290000074
表示组合神经网络的非线性拟合层中的第2个GoogleNet模块的第i个分支的偏置项参数，j＝1,2,3，
Figure FDA0002491311290000075
表示输入到组合神经网络的非线性拟合层中的第j层卷积神经网络中的图像中坐标位置为(x,y)的像素点的像素值，
Figure FDA0002491311290000076
表示
Figure FDA0002491311290000077
的线性函数，ωj+2表示组合神经网络的非线性拟合层中的第j层卷积神经网络的权重参数，bj+2表示组合神经网络的非线性拟合层中的第j层卷积神经网络的偏置项参数，
Figure FDA0002491311290000078
表示输入到组合神经网络的预测层中的图像中坐标位置为(x,y)的像素点的像素值，
Figure FDA0002491311290000079
表示
Figure FDA00024913112900000710
的线性函数，ω6表示组合神经网络的预测层的权重参数，b6表示组合神经网络的预测层的偏置项参数。
4.根据权利要求1所述的基于组合神经网络和分类神经网络的图像质量评价方法，其特征在于所述的步骤①_5中，将分类神经网络的输入层输出的第h幅特征图记为
Figure FDA00024913112900000711
将
Figure FDA00024913112900000712
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA00024913112900000713
Figure FDA00024913112900000714
将分类神经网络的非线性拟合层中的第m层卷积神经网络输出的第h幅特征图记为
Figure FDA00024913112900000715
将
Figure FDA00024913112900000716
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA00024913112900000717
Figure FDA00024913112900000718
其中，h为正整数，1≤h≤D，D为正整数，D表示分类神经网络的每层输出的特征图的总幅数，max()为取最大值函数，
Figure FDA00024913112900000719
表示输入到分类神经网络的输入层中的图像中坐标位置为(x,y)的像素点的像素值，符号“*”为卷积运算符号，ω'0表示分类神经网络的输入层的权重参数，b'0表示分类神经网络的输入层的偏置项参数，m＝1,2,3,4，
Figure FDA00024913112900000720
表示输入到分类神经网络的非线性拟合层中的第m层卷积神经网络中的图像中坐标位置为(x,y)的像素点的像素值，
Figure FDA00024913112900000721
为
Figure FDA00024913112900000722
的线性函数，ω'm表示分类神经网络的非线性拟合层中的第m层卷积神经网络的权重参数，b'm表示分类神经网络的非线性拟合层中的第m层卷积神经网络的偏置项参数。
5.根据权利要求1所述的基于组合神经网络和分类神经网络的图像质量评价方法，其特征在于所述的步骤②_2中，
Figure FDA0002491311290000081
CN201810498348.6A 2018-05-23 2018-05-23 基于组合神经网络和分类神经网络的图像质量评价方法 Active CN108665460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810498348.6A CN108665460B (zh) 2018-05-23 2018-05-23 基于组合神经网络和分类神经网络的图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810498348.6A CN108665460B (zh) 2018-05-23 2018-05-23 基于组合神经网络和分类神经网络的图像质量评价方法

Publications (2)

Publication Number Publication Date
CN108665460A CN108665460A (zh) 2018-10-16
CN108665460B true CN108665460B (zh) 2020-07-03

Family

ID=63776563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810498348.6A Active CN108665460B (zh) 2018-05-23 2018-05-23 基于组合神经网络和分类神经网络的图像质量评价方法

Country Status (1)

Country Link
CN (1) CN108665460B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020083473A1 (en) * 2018-10-23 2020-04-30 Huawei Technologies Co., Ltd. System and method for a quantized neural network
CN111105357B (zh) * 2018-10-25 2023-05-02 杭州海康威视数字技术股份有限公司 一种失真图像的去失真方法、装置及电子设备
CN109146944B (zh) * 2018-10-30 2020-06-26 浙江科技学院 一种基于深度可分卷积神经网络的视觉深度估计方法
CN109215028A (zh) * 2018-11-06 2019-01-15 福州大学 一种基于卷积神经网络的多目标优化图像质量评估方法
CN109559310B (zh) * 2018-11-30 2020-11-24 国网智能科技股份有限公司 基于显著性检测的输变电巡检图像质量评价方法及系统
CN109961142B (zh) * 2019-03-07 2023-05-12 腾讯科技（深圳）有限公司 一种基于元学习的神经网络优化方法及装置
CN110363763B (zh) * 2019-07-23 2022-03-15 上饶师范学院 图像质量评价方法、装置、电子设备及可读存储介质
CN110751632B (zh) * 2019-10-11 2022-05-31 浙江科技学院 基于卷积神经网络的多尺度图像质量检测方法
CN113658091A (zh) * 2020-05-12 2021-11-16 Tcl科技集团股份有限公司 一种图像评价方法、存储介质及终端设备
CN111966823B (zh) * 2020-07-02 2022-04-22 华南理工大学 一种面向标签噪声的图节点分类方法
CN115457614B (zh) * 2021-05-20 2023-08-04 马上消费金融股份有限公司 一种图像质量评价方法、模型训练方法及装置
CN113743814B (zh) * 2021-09-13 2024-07-26 上海联影医疗科技股份有限公司 医学影像质量评价和处理方法、装置、设备和介质
CN113850785A (zh) * 2021-09-27 2021-12-28 展讯通信（上海）有限公司 图像质量模型的生成、评估方法与系统及其设备与介质
CN113794874B (zh) * 2021-11-15 2022-02-01 南京理工大学紫金学院 一种多摄像机拍摄视频的质量评估方法
CN114358144B (zh) * 2021-12-16 2023-09-26 西南交通大学 一种图像分割质量评估方法
CN114708460A (zh) * 2022-04-12 2022-07-05 济南博观智能科技有限公司 一种图像分类方法、系统、电子设备及存储介质
CN118200573B (zh) * 2024-05-17 2024-08-23 天津大学 图像压缩方法、图像压缩模型的训练方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544705A (zh) * 2013-10-25 2014-01-29 华南理工大学 一种基于深度卷积神经网络的图像质量测试方法
CN104811693A (zh) * 2015-04-14 2015-07-29 宁波大学 一种立体图像视觉舒适度客观评价方法
CN107123123A (zh) * 2017-05-02 2017-09-01 电子科技大学 基于卷积神经网络的图像分割质量评价方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9536293B2 (en) * 2014-07-30 2017-01-03 Adobe Systems Incorporated Image assessment using deep convolutional neural networks
US9741107B2 (en) * 2015-06-05 2017-08-22 Sony Corporation Full reference image quality assessment based on convolutional neural network
US9734567B2 (en) * 2015-06-24 2017-08-15 Samsung Electronics Co., Ltd. Label-free non-reference image quality assessment via deep neural network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544705A (zh) * 2013-10-25 2014-01-29 华南理工大学 一种基于深度卷积神经网络的图像质量测试方法
CN104811693A (zh) * 2015-04-14 2015-07-29 宁波大学 一种立体图像视觉舒适度客观评价方法
CN107123123A (zh) * 2017-05-02 2017-09-01 电子科技大学 基于卷积神经网络的图像分割质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Binocular responses for no-reference 3D image quality assessment;Wujie Zhou等;《IEEE TRANSACTIONS ON MULTIMEDIA》;20160630;第18卷(第16期);全文 *
基于视觉感知和零水印的部分参考立体图像质量评价模型;周武杰等;《电子与信息学报》;20120831;第34卷(第8期);全文 *

Also Published As

Publication number Publication date
CN108665460A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
CN108665460B (zh) 基于组合神经网络和分类神经网络的图像质量评价方法
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN106920224B (zh) 一种评估拼接图像清晰度的方法
Li et al. No-reference image quality assessment with deep convolutional neural networks
CN110728656A (zh) 基于元学习的无参考图像质量数据处理方法、智能终端
CN109872305B (zh) 一种基于质量图生成网络的无参考立体图像质量评价方法
CN107563999A (zh) 一种基于卷积神经网络的芯片缺陷识别方法
CN108615231B (zh) 一种基于神经网络学习融合的全参考图像质量客观评价方法
CN111126481A (zh) 一种神经网络模型的训练方法及装置
CN106651829B (zh) 一种基于能量和纹理分析的无参考图像客观质量评价方法
CN109815923B (zh) 基于lbp特征与深度学习的金针菇菇头分选识别方法
CN109859166A (zh) 一种基于多列卷积神经网络的无参3d图像质量评估方法
CN111950868A (zh) 一种基于生成对抗网络的综合能源系统负荷场景生成方法
CN106683079B (zh) 一种基于结构失真的无参考图像客观质量评价方法
CN107146216A (zh) 一种基于梯度自相似度的无参考图像客观质量评价方法
CN115100490A (zh) 一种图像质量评价方法、系统以及可读存储介质
CN107590804A (zh) 基于通道特征和卷积神经网络的屏幕图像质量评价方法
CN107292331B (zh) 基于无监督特征学习的无参考屏幕图像质量评价方法
CN117834852A (zh) 基于跨注意力多尺度视觉变压器的时空视频质量评价方法
CN113537306A (zh) 一种基于渐进式成长元学习的图像分类方法
Yang et al. Convolutional neural network for visual security evaluation
CN116596915A (zh) 基于多尺度特征和长距离依赖的盲图像质量评价方法
CN116503398A (zh) 绝缘子污闪检测方法、装置、电子设备及存储介质
Lv et al. No-reference image quality assessment based on statistics of convolution feature maps
Mao et al. Attention-relation network for mobile phone screen defect classification via a few samples

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230210

Address after: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen dragon totem technology achievement transformation Co.,Ltd.

Address before: 310023 No. 318 stay Road, Xihu District, Zhejiang, Hangzhou

Patentee before: ZHEJIANG University OF SCIENCE AND TECHNOLOGY

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230328

Address after: Room 368, 302, 211 Fute North Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 200120

Patentee after: Shanghai Haoyun Culture Communication Co.,Ltd.

Address before: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen dragon totem technology achievement transformation Co.,Ltd.