CN108550152B - 基于深度特征感知推理的全参考图像质量客观评价方法 - Google Patents

基于深度特征感知推理的全参考图像质量客观评价方法 Download PDF

Info

Publication number
CN108550152B
CN108550152B CN201810359847.7A CN201810359847A CN108550152B CN 108550152 B CN108550152 B CN 108550152B CN 201810359847 A CN201810359847 A CN 201810359847A CN 108550152 B CN108550152 B CN 108550152B
Authority
CN
China
Prior art keywords
evaluation
visual
gradient
view
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810359847.7A
Other languages
English (en)
Other versions
CN108550152A (zh
Inventor
丰明坤
吴茗蔚
王中鹏
施祥
林志洁
向桂山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lover Health Science and Technology Development Co Ltd
Original Assignee
Zhejiang Lover Health Science and Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lover Health Science and Technology Development Co Ltd filed Critical Zhejiang Lover Health Science and Technology Development Co Ltd
Priority to CN201810359847.7A priority Critical patent/CN108550152B/zh
Publication of CN108550152A publication Critical patent/CN108550152A/zh
Application granted granted Critical
Publication of CN108550152B publication Critical patent/CN108550152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度特征感知推理的全参考图像质量客观评价方法，核心是将人眼视觉系统(HVS)的前端感知特性、后端处理特性和BP神经网络联合起来。基于HVS前端特性提取图像的多通道显著梯度特征，基于HVS后端特性对各视觉通道特征进行二次信息分解处理，并采用互补评价算法分别对不同的分解内容进行评价。通过构建BP神经网络多通道图像质量模型，分别将不同特征信息的多通道评价进行了融合。最后自适应地将梯度特征评价、视觉多通道梯度特征融合评价、视觉多通道梯度特征二次信息互补融合评价融合起来，获得图像质量的深度特征感知推理评价。本发明方法全面超越了现有各种方法的各项评价指标水平，并且具有更好的稳定性。

Description

基于深度特征感知推理的全参考图像质量客观评价方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于深度特征感知推理的全参考图像质量客观评价方法。
背景技术
图像作为一种广泛应用的信号，其在信息获取、传递和处理等各个领域均具有举足轻重的地位。当前，随着云计算能力的提升和人工智能研究的兴起，基于图像终端处理平台的各种应用业务获得了前所未有的发展，然而，图像信号易受污染，因此，图像质量评价的研究意义重大。图像质量评价研究领域中，客观方法以自动连续的高效工作方式而成为了该领域的研究热点，其中，全参考图像质量评价的研究意义尤其重要。
传统经典评价算法如均方根误差RMSE、信噪比SNR以及峰值信噪比PSNR等评价结果和人眼主观测试差距较大。仿生学评价算法如Dalay 算法，Safranek-Johnson算法、离散余弦变换算法以及Watson小波变换算法等建模复杂，速度慢，且有许多系统性缺陷制约导致建模效率较低。近些年出现的一些工程学评价方法及其改进算法，例如结构相似度SSIM方法、信息保真度IFC方法、奇异值分解SVD方法等，但这些方法的评价标准不相同，使得其评价结果数据没有可比性，例如，SSIM取值范围在 {0，1}之间且取值越大说明图像质量越高，而IFC和SVD的取值范围则不受限，SVD越大说明图像质量越低，而IFC越大则说明图像质量越高；另外，实验证明，反映这些方法性能的一些重要评价指标水平尚有待提高，例如斯皮尔曼等级排序相关系数SROCC、均方根误差RMSE和皮尔逊相关系数PLCC等。
最近几年，将视觉系统特性融入图像质量评价成为了研究热点，例如，显著失真MAD、特征相似度FSIM、视觉显著VSI等，但这些方法存在两个问题，一个问题是图像特征处理算法缺乏视觉特性的理论依据，这使得其评价性能不稳定；另外一个更突出的问题是人眼的主观视觉多通道特性，对于不同的客观评价算法，具有不同的主、客观映射关系，例如，对于各视觉通道的频率敏感特性，上述方法均采用了统一的对比度敏感函数，降低了各种客观评价方法的性能。内在推导机制(Internal Generative Mechanism，IGM)则基于大脑的自由能量场理论，通过信息感知最大化算法评价图像质量，但其信息处理算法过于单一，难以揭示视觉大脑的工作机制，并且也缺乏有力的实验结果证实。
近些年来，随着神经网络研究的深入，其已经在信号处理、模式识别等多个人工智能领域取得了非凡的成就。其中，反向传播(Back Propagation， BP)神经网络技术尤其在图像处理领域获得了重要的应用，理论上，一个三层以上的BP神经网能够以任意精度逼近一个非线性函数，并且对外界激励具有自适应学习的能力，从而具备了非常强大的分类识别能力。
发明内容
本发明的目的是提供一种基于深度特征感知推理的全参考图像质量客观评价方法，以解决现有评价方法评价不稳定问题和缺乏主观性问题。
为实现上述发明目的，本发明提供以下技术方案：
一种基于深度特征感知推理的全参考图像质量客观评价方法，包括：
步骤1，对参考图像和失真图像进行预处理得到相应的图像灰度矩阵，将失真图像灰度矩阵分为训练集和测试集；
步骤2，基于小波变换提取所有图像灰度矩阵的视觉多通道信息视图；
步骤3，提取所有图像灰度矩阵的梯度特征视图；
步骤4，提取所有图像灰度矩阵的每个视觉通道的梯度特征视图；
步骤5，针对步骤4所得结果，设计视觉多通道梯度特征信息内推分解算法，将所有图像灰度矩阵每个视觉通道的梯度特征信息分解为有序内容视图和无序内容视图两部分；
步骤6，设计视觉多通道梯度特征信息有序内容视图评价算法，计算所有失真图像质量的每个视觉通道梯度特征信息有序内容视图评价；
步骤7，设计视觉多通道梯度特征信息无序内容视图评价算法，计算所有失真图像质量的每个视觉通道梯度特征信息无序内容视图评价；
步骤8，根据步骤4的结果，计算所有失真图像质量的每个视觉通道梯度特征相似度评价；
步骤9，根据步骤3的结果，计算测试集中所有失真图像质量的梯度特征相似度评价；
步骤10，构建BP神经网络模型；
步骤11，利用训练集中所有失真图像质量的每个视觉多通道梯度特征相似度评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉多通道梯度特征相似度评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征相似度融合评价结果，并对结果做偏置处理；
步骤12，利用训练集中所有失真图像质量的每个视觉通道梯度特征信息有序内容视图评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉通道梯度特征信息有序内容视图评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征信息有序内容视图融合评价结果，并对结果做偏置处理；
步骤13，利用训练集中所有失真图像质量的每个视觉通道梯度特征信息无序内容视图评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉通道梯度特征信息无序内容视图评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征信息无序内容视图融合评价结果，并对结果做偏置处理；
步骤14，利用自适应融合算法对步骤9、步骤11、步骤12以及步骤 13所得结果进行融合，获得测试集中每帧失真图像质量的深度特征感知推理评价结果。
本发明的核心是将人眼视觉系统(HVS)的前端感知特性、后端信息处理特性和BP神经网络的学习机制联合起来用于全参考图像质量评价。首先基于HVS前端感知特性提取图像的视觉多通道显著梯度特征，然后基于后端信息处理特性对各个视觉通道的显著梯度特征进行二次信息分解处理，获得各个视觉通道梯度特征信息的有序内容视图和无序内容视图，并采用互补评价算法分别对这两部分内容进行评价。其次，借助于BP神经网络的学习推理能力对失真图像质量的视觉多通道梯度特征评价、视觉多通道梯度特征有序内容视图评价和视觉多通道梯度特征无序内容视图评价的融合函数特性分别进行了学习训练，基于BP神经网络的预测输出获得了上述三种视觉多通道评价各自对应的融合结果。最后，通过设计自适应融合算法，将梯度特征相似度评价、视觉多通道梯度特征融合评价、视觉多通道梯度特征有序内容视图融合评价、视觉多通道梯度特征无序内容视图融合评价三层评价信息融合起来，最终获得失真图像质量的深度特征感知推理评价结果。
步骤1中，所述预处理包括依次进行灰度化处理和高斯低通滤波，训练集与测试集中失真图像数量的比例为1/3～1。具体地，按照如下公式对参考图像和失真图像进行灰度化处理，将其分别变换为灰度图像Gray：
Gray＝0.29900R+0.58700G+0.11400B
其中，R、G、B分别为源图像(失真图像或参考图像)在R、G、B 三个通道上的强度值。
对经过灰度变换得到的灰度图像分别进行高斯低通滤波处理，滤波器的窗口大小为k×k，作为优选，k的取值范围为0.015t～0.42t，t取图像矩阵行和列的最小值，标准差为1.0～3.0。
BP神经网络输入层神经元的数量等于小波分解的通道数量，不限BP 神经网络隐藏层的数量多少以及每个隐藏层的神经元数量多少，BP神经网络的输出层神经元数量只有一个，该输出代表失真图像质量基于所选客观评价算法的视觉多通道评价的融合结果。BP神经网络的训练目标为失真图像质量的人眼主观测试结果分值DMOS。BP神经网络所训练输入数据的长度等于训练集数据库中失真图像的数量。
上述步骤11、步骤12和步骤13中的偏置处理，是为了消除结果中的负数，偏置方法是对所有结果加上同一个正数。
步骤14中，所述自适应融合算法从内层到外层逐层地融合各层评价，最内层融合公式如下：
Figure RE-GDA0001710565880000051
式中，VGCD表示VGC与VGD的融合结果，VGC,VGD分别为VGC(s,o) 和VGD(s,o)基于BP神经网络模型预测输出的融合评价结果，λ1＝1/[1+γ11·VGDγ12]，参数γ11和γ12根据经验和实验训练取值；
第二层融合公式如下：
Figure RE-GDA0001710565880000061
式中，VG为VG(s,o)基于BP神经网络模型预测输出的融合评价结果， VGCDSM表示VGCD与VG的融合结果，
Figure RE-GDA0001710565880000062
参数γ21和γ22根据经验和实验训练取值，A是为完成偏置处理的一个正的常数；
最外层融合公式如下：
Figure RE-GDA0001710565880000063
式中，DFPG为最终失真图像质量的深度特征感知推理评价结果，
Figure RE-GDA0001710565880000064
参数γ31和γ32根据经验和实验训练取值，
Figure RE-GDA0001710565880000065
为GSM的误差等价转换，转换公式如下：
Figure RE-GDA0001710565880000066
与现有技术相比，本发明具有的技术效果为：
本发明方法对应的RMSE、PLCC和SROCC三个评价指标都具有最高水平，远远高于现有的经典方法和工程学方法，和工程学的信息处理类评价方法相比也具有较大的优势，明显优于视觉特征及其融合处理类评价方法，和视觉特征感知处理与视觉心理推导融合类评价方法相比，也有全面的优势。并且，本发明方法对于不同失真类型的图像质量评价，对应的 RMSE、PLCC和SROCC三个评价指标水平，相对其它方法的变动范围都是最小的，具有更好的稳定性。
附图说明
图1为本发明提供的基于深度特征感知推理的全参考图像质量客观评价方法的操作流程图；
图2为本实施例的预处理结果图像；
图3为本实施例对图2提取的其中一个视觉通道信息视图；
图4为本实施例对图2提取的梯度特征信息视图；
图5为本实施例对图3提取的视觉通道梯度特征信息视图；
图6为本实施例对图5分解的有序内容视图；
图7为本实施例对图5分解的无序内容视图；
图8为本实施例的BP神经网络模型。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
本实施中以德克萨斯大学奥斯汀分校图像视频工程所提供的LIVE Release 2图像标准数据库为例进行说明。德克萨斯大学奥斯汀分校图像视频工程所提供的LIVERelease 2图像标准数据库，存储有一些配对的标准案例(即参考图像和失真图像对)，每个案例中的失真图像均有对应的 MOS值(主观评价分值)已知，该MOS值即为人眼的主观测试结果。
进行全参考图像质量客观评价时首先从LIVE Release 2图像标准数据库选择参考图像和相应的失真图像，然后进行对选择的失真图像进行全参考图像质量客观评价，流程如图1所示，该方法包括：
步骤1，按照如下公式对参考图像和失真图像进行灰度化处理，将其分别变换为灰度图像Gray：
Gray＝0.29900·R+0.58700·G+0.11400·B
其中，R、G、B分别为源图像(失真图像或参考图像)在R、G、B 三个通道上的强度值。
对经过灰度变换得到的灰度图像分别进行高斯低通滤波处理，滤波器的窗口大小为k×k，作为优选，k的取值范围为0.015t～0.42t，t取图像矩阵行和列的最小值，标准差为1.0～3.0。本实施例对原始图像图的预处理结果如图2所示。
步骤2，利用Log-Gabor小波变换，对图像进行视觉多通道信息提取，提取公式如下：
v(s,o)(i,j)＝F-1[G(ω,θj)×F(f(i,j)]
式中，f(i,j)代表原始图像，v(s,o)(i,j)代表对原始图像f(i,j)提取的视觉通道(s,o)信息视图，s、o分别为log-Gabor尺度因子和方向因子，这里取S＝5， O＝4，F表示频域正变换，F-1表示频域逆变换，G(ω,θj)为log-Gabor的频率函数表达式。
本实施例中对图2进行基于Log-Gabor小波的多通道分解，其中一个视觉通道(1,1)的结果如图3所示。
步骤3，提取所有灰度图像矩阵的梯度特征视图。
具体地，采用Scharr算子提取所有图像灰度矩阵的梯度特征视图，提取公式如下：
Figure RE-GDA0001710565880000081
其中，gx(i,j)为图像灰度矩阵x(i,j)的梯度特征视图，gx(i)、gx(j)分别为梯度特征视图gx(i,j)水平方向投影和垂直方向投影，gx(i)与gx(j)的计算公式分别如下：
Figure RE-GDA0001710565880000091
Figure RE-GDA0001710565880000092
式中，*表示卷积运算。
本实施例中对图2的提取结果如图4所示。
步骤4，提取所有灰度图像矩阵视觉多通道的梯度特征视图。
具体地，采用采用Scharr算子提取图像灰度矩阵的视觉通道的梯度特征视图，提取公式如下：
Figure RE-GDA0001710565880000093
其中，gx(s,o)(i,j)为图像灰度矩阵x(i,j)的视觉通道(s,o)的信息视图x(s,o)(i,j)的梯度特征视图，gx(s,o)(i)与gx(s,o)(j)分别为梯度特征视图gx(s,o)(i,j)水平方向投影和垂直方向投影，计算公式分别如下：
Figure RE-GDA0001710565880000094
Figure RE-GDA0001710565880000095
式中，*表示卷积运算，下标s和o分别代表视觉通道的尺度因子和方向因子。本实施例中对图3的提取结果如图5所示。
步骤5，采用视觉多通道梯度特征信息内推分解算法对所有灰度图像矩阵视觉多通道梯度特征视图进行分解，获得相应的有序内容视图和无序内容视图。
具体地，视觉多通道梯度特征信息内推分解算法如下：
Figure RE-GDA0001710565880000101
式中，p(·)表示求概率，E{·}表示求互信息，
Figure RE-GDA0001710565880000102
表示视觉通道梯度特征视图中像素gx(s,o)(i,j)与周边像素Gx(s,o)的互信息，
Figure RE-GDA0001710565880000103
表示 gx(s,o)(i,j)的信息熵；
当gx(s,o)(i,j)与Gx(s,o)高度相关，
Figure RE-GDA0001710565880000104
几乎等于
Figure RE-GDA0001710565880000105
也就是p[gx(s,o)(i,j)/Gx(s,o)]最大值时，则判定gx(s,o)(i,j)属于视图的有序内容视图；
当gx(s,o)(i,j)与Gx(s,o)相关性较小，
Figure RE-GDA0001710565880000106
几乎为零，也就是 p[gx(s,o)(i,j)/Gx(s,o)]较低时，则判定gx(s,o)(i,j)属于视图的无序内容视图。
本实施例中对图5的提取结果如图6和图7所示。
步骤6，采用视觉多通道梯度特征信息有序内容视图评价算法计算失真图像质量的视觉多通道梯度特征信息有序内容视图评价，具体地，视觉多通道梯度特征信息有序内容视图评价算法VGC(s,o)如下：
VGC(s,o)＝mean[VGC(s,o)(i,j)]
式中，mean[·]代表求平均值，VGC(s,o)(i,j)代表视觉多通道梯度特征信息有序内容视图评价视图，VGC(s,o)(i,j)的计算公式如下：
Figure RE-GDA0001710565880000107
式中，RGC(s,o)(i,j)表示参考图像视觉多通道梯度特征信息视图gx(s,o)(i,j) 分解后的有序内容视图，DGC(s,o)(i,j)表示失真图像视觉多通道梯度特征信息视图gy(s,o)(i,j)分解后的有序内容视图，C1为保证算法稳定性的常数，实施例中，C1取值为C1＝4.0。
步骤7，采用视觉多通道梯度特征信息无序内容视图评价算法计算失真图像质量的视觉多通道梯度特征信息无序内容视图评价VGD(s,o)。具体地，视觉多通道梯度特征信息无序内容视图评价算法VGD(s,o)如下：
Figure RE-GDA0001710565880000111
Figure RE-GDA0001710565880000112
式中，L为视图的灰度等级水平，RGD(s,o)(i,j)表示参考图像视觉多通道梯度特征信息视图gx(s,o)(i,j)分解后的无序内容视图，DGD(s,o)(i,j)表示失真图像视觉多通道梯度特征信息视图gy(s,o)(i,j)分解后的无序内容视图，M×N表示视觉多通道视图的大小。
步骤8，采用失真图像质量的每个视觉通道梯度特征相似度评价算法计算失真图像质量的每个视觉通道梯度特征相似度评价VG(s,o)，具体地，计算失真图像质量的每个视觉通道梯度特征相似度评价VG(s,o)的算法如下：
VG(s,o)＝mean[VG(s,o)(i,j)]
式中，mean[·]代表求平均值，VG(s,o)(i,j)代表视觉多通道梯度特征信息评价视图，VG(s,o)(i,j)的计算公式如下：
Figure RE-GDA0001710565880000113
式中，C2为保证算法稳定性的常数，本实施例中，C2取值为C2＝6.0。
步骤9，计算失真图像质量的梯度特征相似度评价GSM，具体地，计算失真图像质量的梯度特征相似度评价的算法如下：
GSM＝mean[GSM(i,j)]
式中，mean[·]代表求平均值，GSM(i,j)代表梯度特征相似度视图，GSM(i,j)的计算公式如下：
GSM(i,j)＝L(i,j)α1·G(i,j)α2
式中，L(i,j)和G(i,j)分别代表灰度相似度评价视图和梯度相似度评价视图，α1，α2代表L(i,j)和G(i,j)的权重系数，L(i,j)和G(i,j)的定义分别如下：
Figure RE-GDA0001710565880000121
Figure RE-GDA0001710565880000122
式中，x(i,j)和y(i,j)分别代表参考图像灰度矩阵和失真图像灰度矩阵， gx(i,j)和gy(i,j)分别代表x(i,j)和y(i,j)的梯度特征视图，C3和C4为保证算法稳定性的常数因子，本实施例中，C3和C4取值为C3＝6.0，C4＝16.0，α1，α2的取值为α1＝α2＝1.0。
步骤10，构建的BP神经网络模型如图8所示，图中IQA代表VGC、 VGD或VG三种客观评价算法中的一种。BP神经网络输入层神经元的数量等于小波分解的通道数量5×4＝20，隐藏层为一层，隐藏层的神经元数量取20，BP神经网络的输出层神经元数量只有一个，BP神经网络的输出层神经元数量只有一个，该输出代表失真图像质量基于所选客观评价算法的视觉多通道评价的融合结果。BP神经网络的训练目标为失真图像质量的人眼主观测试结果分值DMOS。BP神经网络所训练输入数据的长度等于训练集数据库中失真图像的数量。BP神经网络的训练目标为失真图像质量的人眼主观测试结果分值DMOS。BP神经网络所训练输入数据的长度等于训练集数据库中失真图像的数量，对BP网络进行有监督的学习训练，直到达到BP神经网络的其中一个训练终止条件。两个训练终止条件分别为：
(1)BP预测输出和DMOS之间的误差e＝0.00001。
(2)迭代次数取为500。
步骤11，将训练集数据库中每帧失真图像的视觉多通道梯度特征相识度评价结果VG(s,o)输入BP神经网络模型，将对应失真图像的DMOS分值作为训练目标，对BP神经网络进行学习训练，当训练结束后，将测试集数据库中每帧失真图像的视觉多通道梯度特征相识度评价结果VG(s,o)输入 BP神经网络模型测试，BP神经网络的预测输出作为对应失真图像质量的视觉多通道梯度特征相似度的融合评价结果VG，并对所有结果加1完成偏置处理。
步骤12，将训练集数据库中每帧失真图像的视觉多通道梯度特征有序内容信息评价结果VGC(s,o)输入BP神经网络模型，将对应失真图像的 DMOS分值作为训练目标，对BP神经网络进行学习训练，当训练结束后，将测试集数据库中每帧失真图像的视觉多通道梯度特征有序内容信息评价结果VGC(s,o)输入BP神经网络模型测试，BP神经网络的预测输出作为对应失真图像质量的视觉多通道梯度特征有序内容信息的融合评价结果VGC，并对所有结果加1完成偏置处理。
步骤13，将训练集数据库中每帧失真图像的视觉多通道梯度特征无序内容信息评价结果VGD(s,o)输入BP神经网络模型，将对应失真图像的 DMOS分值作为训练目标，对BP神经网络进行学习训练，当训练结束后，将测试集数据库中每帧失真图像的视觉多通道梯度特征无序内容信息评价结果VGD(s,o)输入BP神经网络模型测试，BP神经网络的预测输出作为对应失真图像质量的视觉多通道梯度特征无序内容信息的融合评价结果 VGD，并对所有结果加1完成偏置处理。
步骤14，按照如下公式分别进行融合计算，A取值为A＝1，获得失真图像质量的最终深度特征感知推理评价结果DFPG分值：
Figure RE-GDA0001710565880000141
Figure RE-GDA0001710565880000142
Figure RE-GDA0001710565880000143
Figure RE-GDA0001710565880000144
本实施例中，
Figure RE-GDA0001710565880000145
Figure RE-GDA0001710565880000146
每个参数取值根据图像失真类型不同有所变化，详见表1。
基于客观评价结果y分值和LIVE Release 2图像标准数据库中记载的各个失真图像的主观评估分MOS分值，根据国际视频质量专家组(Video Quality Experts Group，VQEG)规范计算得到本发明的客观评价方法的 SROCC指标、RMSE指标和PLCC指标。
表1为利用本实施例的客观评价方法(DFPG)与现有的评价方法对 LIVE Release2图像标准数据库中的标准案例进行全参考图像质量客观评价时得到的评价结果的SROCC指标、RMSE指标和PLCC指标对比。本实施例中的现有评价方法涵盖了目前较新的研究成果，将其分为四类。第一类是经典方法和工程学方法，包括PSNR(Peak Signal to NoiseRatio，峰值信噪比)、SSIM(Structural Similarity，结构相似度)、SVD(Singular ValueDecomposition，奇异值分解)；第二类是基于工程学的信息处理类评价方法，包括IFC(Information Fidelity Criterion，信息保真度IFC)、MSSIM (Multi-scale StructuralSimilarity，多尺度结构相似)；第三类是视觉特征及其融合处理类评价方法，包括VIF(Visual Information Fidelity，视觉信息保真度)、FSIM(Feature Similarity FSIM，特征结构相似度)、VSI(Visual Saliency Induced，视觉显著)；第四类是基于视觉特征感知处理与视觉心理推导融合类评价方法，包括MAD(Most Apparent Distortion，显著失真)和IGM(Internal Generative Mechanism，内推机制)。
Release 2图像标准数据库中失真图像的格式包括JP2K、JPEG、WN、 Gblur和FF，为说明本实施例的方法的适用范围，表1中给出的不同方法下各个指标(即评价指标)的值为对Release 2图像标准数据库中该类的所有失真图像评的评价指标水平，表1中All表示针对Release 2图像标准数据库中的所有格式的失真图像。
表1
Figure RE-GDA0001710565880000151
Figure RE-GDA0001710565880000161
从表1可以看出，对于各类失真图像质量的评价，与现有的评价方法比较，本实施例的方法对应的RMSE、PLCC和SROCC三个评价指标都维持了最高的水平，远远高于现有的经典方法和工程学方法，和工程学的信息处理类评价方法相比具有较大的优势，明显优于视觉特征及其融合处理类评价方法，和视觉特征感知处理与视觉心理推导融合类评价方法相比，也有全面的优势。此外，对于不同失真类型的图像质量评价，本实施例的方法对应的RMSE、PLCC和SROCC三个评价指标水平，相对所有其它方法的变动范围都是最小的，因此，本实施例的方法具有更好的稳定性。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度特征感知推理的全参考图像质量客观评价方法，包括：
步骤1，对参考图像和失真图像进行预处理得到相应的图像灰度矩阵，将失真图像灰度矩阵分为训练集和测试集；
步骤2，基于小波变换提取所有图像灰度矩阵的视觉多通道信息视图；
步骤3，提取所有图像灰度矩阵的梯度特征视图；
步骤4，提取所有图像灰度矩阵的每个视觉通道的梯度特征视图；
步骤5，针对步骤4所得结果，设计视觉多通道梯度特征信息内推分解算法，将所有图像灰度矩阵每个视觉通道的梯度特征信息分解为有序内容视图和无序内容视图两部分；
步骤6，设计视觉多通道梯度特征信息有序内容视图评价算法，计算所有失真图像质量的每个视觉通道梯度特征信息有序内容视图评价；
步骤7，设计视觉多通道梯度特征信息无序内容视图评价算法，计算所有失真图像质量的每个视觉通道梯度特征信息无序内容视图评价；
步骤8，根据步骤4的结果，计算所有失真图像质量的每个视觉通道梯度特征相似度评价；
步骤9，根据步骤3的结果，计算测试集中所有失真图像质量的梯度特征相似度评价；
步骤10，构建BP神经网络模型；
步骤11，利用训练集中所有失真图像质量的每个视觉多通道梯度特征相似度评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉多通道梯度特征相似度评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征相似度融合评价结果，并对结果做偏置处理；
步骤12，利用训练集中所有失真图像质量的每个视觉通道梯度特征信息有序内容视图评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉通道梯度特征信息有序内容视图评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征信息有序内容视图融合评价结果，并对结果做偏置处理；
步骤13，利用训练集中所有失真图像质量的每个视觉通道梯度特征信息无序内容视图评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉通道梯度特征信息无序内容视图评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征信息无序内容视图融合评价结果，并对结果做偏置处理；
步骤14，利用自适应融合算法对步骤9、步骤11、步骤12以及步骤13所得结果进行融合，获得测试集中每帧失真图像质量的深度特征感知推理评价结果。
2.如权利要求1所述的基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤1中，所述预处理包括依次进行灰度化处理和高斯低通滤波，训练集与测试集中失真图像数量的比例为1/3～1。
3.如权利要求2所述的一种基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤3中，采用Scharr算子提取所有图像灰度矩阵的梯度特征视图，提取公式如下：
Figure FDA0002395002070000021
其中，gx(i,j)为图像灰度矩阵x(i,j)的梯度特征视图，gx(i)、gx(j)分别为梯度特征视图gx(i,j)水平方向投影和垂直方向投影，gx(i)与gx(j)的计算公式分别如下：
Figure FDA0002395002070000031
Figure FDA0002395002070000032
式中，*表示卷积运算。
4.如权利要求1所述的基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤4中，采用Scharr算子提取图像灰度矩阵的视觉通道的梯度特征视图，提取公式如下：
Figure FDA0002395002070000033
其中，gx(s,o)(i,j)为图像灰度矩阵x(i,j)的视觉通道(s,o)的信息视图x(s,o)(i,j)的梯度特征视图，gx(s,o)(i)与gx(s,o)(j)分别为梯度特征视图gx(s,o)(i,j)水平方向投影和垂直方向投影，计算公式分别如下：
Figure FDA0002395002070000034
Figure FDA0002395002070000035
式中，*表示卷积运算，下标s和o分别代表视觉通道的尺度因子和方向因子。
5.如权利要求1所述的基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤5中，所述视觉多通道梯度特征信息内推分解算法如下：
E{logp[gx(s,o)(i,j)/Gx(s,o)]}＝E{logp[gx(s,o)(i,j)]}+E{logp[Gx(s,o)/gx(s,o)(i,j)]}-E{logp[Gx(s,o)]}
＝-H[gx(s,o)(i,j)]-H[Gx(s,o)/gx(s,o)(i,j)]+H[Gx(s,o)]
＝I[gx(s,o)(i,j),Gx(s,o)]-H[gx(s,o)(i,j)]
式中，p(·)表示求概率，E{·}表示求互信息，I[gx(s,o)(i,j),Gx(s,o)]表示视觉通道梯度特征视图中像素gx(s,o)(i,j)与周边像素Gx(s,o)的互信息，H[gx(s,o)(i,j)]表示gx(s,o)(i,j)的信息熵；
当gx(s,o)(i,j)与Gx(s,o)高度相关，I[gx(s,o)(i,j),Gx(s,o)]等于H[gx(s,o)(i,j)]，也就是p[gx(s,o)(i,j)]/Gx(s,o)最大值时，则判定gx(s,o)(i,j)属于视图的有序内容视图；
当gx(s,o)(i,j)与Gx(s,o)相关性较小，I[gx(s,o)(i,j),Gx(s,o)]为零，也就是p[gx(s,o)(i,j)]/Gx(s,o)较低时，则判定gx(s,o)(i,j)属于视图的无序内容视图。
6.如权利要求1所述的基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤6中，所述视觉多通道梯度特征信息有序内容视图评价算法VGC(s,o)如下：
VGC(s,o)＝mean[VGC(s,o)(i,j)]
式中，mean[·]代表求平均值，VGC(s,o)(i,j)代表视觉多通道梯度特征信息有序内容视图评价视图，VGC(s,o)(i,j)的计算公式如下：
Figure FDA0002395002070000041
式中，RGC(s,o)(i,j)表示参考图像视觉多通道梯度特征信息视图gx(s,o)(i,j)分解后的有序内容视图，DGC(s,o)(i,j)表示失真图像视觉多通道梯度特征信息视图gy(s,o)(i,j)分解后的有序内容视图，C1为保证算法稳定性的常数；
步骤7中，所述视觉多通道梯度特征信息无序内容视图评价算法VGD(s,o)如下：
Figure FDA0002395002070000051
Figure FDA0002395002070000052
式中，L为视图的灰度等级水平，RGD(s,o)(i,j)表示参考图像视觉多通道梯度特征信息视图gx(s,o)(i,j)分解后的无序内容视图，DGD(s,o)(i,j)表示失真图像视觉多通道梯度特征信息视图gy(s,o)(i,j)分解后的无序内容视图，M×N表示视觉多通道视图的大小。
7.如权利要求1所述的基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤8中，计算失真图像质量的每个视觉通道梯度特征相似度评价VG(s,o)的算法如下：
VG(s,o)＝mean[VG(s,o)(i,j)]
式中，mean[·]代表求平均值，VG(s,o)(i,j)代表视觉多通道梯度特征信息评价视图，VG(s,o)(i,j)的计算公式如下：
Figure FDA0002395002070000053
式中，C2为保证算法稳定性的常数；
步骤9中，计算失真图像质量的梯度特征相似度评价的算法如下：
GSM＝mean[GSM(i,j)]
式中，mean[·]代表求平均值，GSM(i,j)代表梯度特征相似度视图，GSM(i,j)的计算公式如下：
GSM(i,j)＝L(i,j)α1·G(i,j)α2
式中，L(i,j)和G(i,j)分别代表灰度相似度评价视图和梯度相似度评价视图，α1，α2代表L(i,j)和G(i,j)的权重系数，L(i,j)和G(i,j)的定义分别如下：
Figure FDA0002395002070000061
Figure FDA0002395002070000062
式中，x(i,j)和y(i,j)分别代表参考图像灰度矩阵和失真图像灰度矩阵，gx(i,j)和gy(i,j)分别代表x(i,j)和y(i,j)的梯度特征视图，C3和C4为保证算法稳定性的常数因子，α1，α2的取值为α1＝α2＝1.0。
8.如权利要求1所述的基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤14中，所述自适应融合算法从内层到外层逐层地融合各层评价，最内层融合公式如下：
Figure FDA0002395002070000063
式中，VGCD表示VGC与VGD的融合结果，VGC、VGD分别为VGC(s,o)和VGD(s,o)基于BP神经网络模型预测输出的融合评价结果，
Figure FDA0002395002070000067
参数γ11和γ12根据经验和实验训练取值；
第二层融合公式如下：
Figure FDA0002395002070000064
式中，VG为VG(s,o)基于BP神经网络模型预测输出的融合评价结果，VGCDSM表示VGCD与VG的融合结果，
Figure FDA0002395002070000065
参数γ21和γ22根据经验和实验训练取值，A是为完成偏置处理的一个正的常数；
最外层融合公式如下：
Figure FDA0002395002070000066
式中，DFPG为最终失真图像质量的深度特征感知推理评价结果，
Figure FDA0002395002070000071
参数γ31和γ32根据经验和实验训练取值，
Figure FDA0002395002070000072
为GSM的误差等价转换，转换公式如下：
Figure FDA0002395002070000073
CN201810359847.7A 2018-04-20 2018-04-20 基于深度特征感知推理的全参考图像质量客观评价方法 Active CN108550152B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810359847.7A CN108550152B (zh) 2018-04-20 2018-04-20 基于深度特征感知推理的全参考图像质量客观评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810359847.7A CN108550152B (zh) 2018-04-20 2018-04-20 基于深度特征感知推理的全参考图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN108550152A CN108550152A (zh) 2018-09-18
CN108550152B true CN108550152B (zh) 2020-05-08

Family

ID=63511922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810359847.7A Active CN108550152B (zh) 2018-04-20 2018-04-20 基于深度特征感知推理的全参考图像质量客观评价方法

Country Status (1)

Country Link
CN (1) CN108550152B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598707B (zh) * 2018-11-26 2020-07-17 浙江科技学院 一种基于特征信息处理的全参考图像质量客观评价方法
CN110111304B (zh) * 2019-04-04 2023-08-29 天津大学 基于局部到全局特征回归的无参考立体图像质量评价方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101489130A (zh) * 2009-01-21 2009-07-22 西安交通大学 基于图像边缘差异统计特性的全参考型图像质量评价方法
CN102170581A (zh) * 2011-05-05 2011-08-31 天津大学 基于hvs的ssim与特征匹配立体图像质量评价方法
JP2012119735A (ja) * 2010-11-29 2012-06-21 Mitsubishi Electric Corp 映像品質管理システム、映像受信端末、および映像品質管理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101489130A (zh) * 2009-01-21 2009-07-22 西安交通大学 基于图像边缘差异统计特性的全参考型图像质量评价方法
JP2012119735A (ja) * 2010-11-29 2012-06-21 Mitsubishi Electric Corp 映像品質管理システム、映像受信端末、および映像品質管理装置
CN102170581A (zh) * 2011-05-05 2011-08-31 天津大学 基于hvs的ssim与特征匹配立体图像质量评价方法

Also Published As

Publication number Publication date
CN108550152A (zh) 2018-09-18

Similar Documents

Publication Publication Date Title
CN108596890B (zh) 一种基于视觉测量率自适应融合的全参考图像质量客观评价方法
CN108615231B (zh) 一种基于神经网络学习融合的全参考图像质量客观评价方法
CN107977932B (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN113240580A (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN110728656A (zh) 基于元学习的无参考图像质量数据处理方法、智能终端
Paupamah et al. Quantisation and pruning for neural network compression and regularisation
CN108648180B (zh) 一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法
CN104376565A (zh) 基于离散余弦变换和稀疏表示的无参考图像质量评价方法
CN108550152B (zh) 基于深度特征感知推理的全参考图像质量客观评价方法
Abdulrahman et al. Face recognition using enhancement discrete wavelet transform based on MATLAB
CN114202017A (zh) 基于条件生成对抗网络的sar光学图像映射模型轻量化方法
WO2016145571A1 (zh) 基于条件直方图码书的盲图像质量评价方法
CN111079665A (zh) 基于Bi-LSTM神经网络的摩尔斯电码自动识别方法
CN112767385A (zh) 基于显著性策略与特征融合无参考图像质量评价方法
CN116405100B (zh) 一种基于先验知识的失真信号还原方法
CN116993639A (zh) 基于结构重参数化的可见光与红外图像融合方法
CN111127386A (zh) 一种基于深度学习的图像质量评价方法
CN114847933A (zh) 基于全卷积残差网络的肌电信号手势识别方法及系统
CN114283301A (zh) 一种基于Transformer的自适应医学影像分类方法及系统
CN112598598A (zh) 一种基于两级反射光消除网络的图像反射光去除方法
Han Artificial Neural Network for Processing Fingerprint Image Noise
CN115311595B (zh) 视频特征提取方法、装置及电子设备
CN116594061B (zh) 一种基于多尺度u形注意网络的地震数据去噪方法
CN112634161B (zh) 基于两级反射光消除网络和像素损失的反射光去除方法
Dahlmann et al. Back to the future: Building upon image colorization via classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant