CN108550152A - 基于深度特征感知推理的全参考图像质量客观评价方法 - Google Patents
基于深度特征感知推理的全参考图像质量客观评价方法 Download PDFInfo
- Publication number
- CN108550152A CN108550152A CN201810359847.7A CN201810359847A CN108550152A CN 108550152 A CN108550152 A CN 108550152A CN 201810359847 A CN201810359847 A CN 201810359847A CN 108550152 A CN108550152 A CN 108550152A
- Authority
- CN
- China
- Prior art keywords
- gradient features
- view
- evaluation
- formula
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000011156 evaluation Methods 0.000 claims abstract description 104
- 230000004438 eyesight Effects 0.000 claims abstract description 73
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 50
- 230000000007 visual effect Effects 0.000 claims abstract description 49
- 230000004927 fusion Effects 0.000 claims abstract description 39
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 42
- 238000003062 neural network model Methods 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000002474 experimental method Methods 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 6
- 238000002156 mixing Methods 0.000 claims description 5
- 210000003813 thumb Anatomy 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 claims description 2
- 210000005036 nerve Anatomy 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 21
- 230000008447 perception Effects 0.000 abstract description 7
- 230000000295 complement effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 abstract description 2
- 238000011160 research Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000013441 quality evaluation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 238000001303 quality assessment method Methods 0.000 description 4
- 238000009795 derivation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 206010068052 Mosaicism Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229940075591 dalay Drugs 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000005290 field theory Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000003765 sex chromosome Anatomy 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度特征感知推理的全参考图像质量客观评价方法，核心是将人眼视觉系统(HVS)的前端感知特性、后端处理特性和BP神经网络联合起来。基于HVS前端特性提取图像的多通道显著梯度特征，基于HVS后端特性对各视觉通道特征进行二次信息分解处理，并采用互补评价算法分别对不同的分解内容进行评价。通过构建BP神经网络多通道图像质量模型，分别将不同特征信息的多通道评价进行了融合。最后自适应地将梯度特征评价、视觉多通道梯度特征融合评价、视觉多通道梯度特征二次信息互补融合评价融合起来，获得图像质量的深度特征感知推理评价。本发明方法全面超越了现有各种方法的各项评价指标水平，并且具有更好的稳定性。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于深度特征感知推理的全参考图像质量客观评价方法。
背景技术
图像作为一种广泛应用的信号，其在信息获取、传递和处理等各个领域均具有举足轻重的地位。当前，随着云计算能力的提升和人工智能研究的兴起，基于图像终端处理平台的各种应用业务获得了前所未有的发展，然而，图像信号易受污染，因此，图像质量评价的研究意义重大。图像质量评价研究领域中，客观方法以自动连续的高效工作方式而成为了该领域的研究热点，其中，全参考图像质量评价的研究意义尤其重要。
传统经典评价算法如均方根误差RMSE、信噪比SNR以及峰值信噪比PSNR等评价结果和人眼主观测试差距较大。仿生学评价算法如Dalay 算法，Safranek-Johnson算法、离散余弦变换算法以及Watson小波变换算法等建模复杂，速度慢，且有许多系统性缺陷制约导致建模效率较低。近些年出现的一些工程学评价方法及其改进算法，例如结构相似度SSIM方法、信息保真度IFC方法、奇异值分解SVD方法等，但这些方法的评价标准不相同，使得其评价结果数据没有可比性，例如，SSIM取值范围在 {0，1}之间且取值越大说明图像质量越高，而IFC和SVD的取值范围则不受限，SVD越大说明图像质量越低，而IFC越大则说明图像质量越高；另外，实验证明，反映这些方法性能的一些重要评价指标水平尚有待提高，例如斯皮尔曼等级排序相关系数SROCC、均方根误差RMSE和皮尔逊相关系数PLCC等。
最近几年，将视觉系统特性融入图像质量评价成为了研究热点，例如，显著失真MAD、特征相似度FSIM、视觉显著VSI等，但这些方法存在两个问题，一个问题是图像特征处理算法缺乏视觉特性的理论依据，这使得其评价性能不稳定；另外一个更突出的问题是人眼的主观视觉多通道特性，对于不同的客观评价算法，具有不同的主、客观映射关系，例如，对于各视觉通道的频率敏感特性，上述方法均采用了统一的对比度敏感函数，降低了各种客观评价方法的性能。内在推导机制(Internal Generative Mechanism，IGM)则基于大脑的自由能量场理论，通过信息感知最大化算法评价图像质量，但其信息处理算法过于单一，难以揭示视觉大脑的工作机制，并且也缺乏有力的实验结果证实。
近些年来，随着神经网络研究的深入，其已经在信号处理、模式识别等多个人工智能领域取得了非凡的成就。其中，反向传播(Back Propagation， BP)神经网络技术尤其在图像处理领域获得了重要的应用，理论上，一个三层以上的BP神经网能够以任意精度逼近一个非线性函数，并且对外界激励具有自适应学习的能力，从而具备了非常强大的分类识别能力。
发明内容
本发明的目的是提供一种基于深度特征感知推理的全参考图像质量客观评价方法，以解决现有评价方法评价不稳定问题和缺乏主观性问题。
为实现上述发明目的，本发明提供以下技术方案：
一种基于深度特征感知推理的全参考图像质量客观评价方法，包括：
步骤1，对参考图像和失真图像进行预处理得到相应的图像灰度矩阵，将失真图像灰度矩阵分为训练集和测试集；
步骤2，基于小波变换提取所有图像灰度矩阵的视觉多通道信息视图；
步骤3，提取所有图像灰度矩阵的梯度特征视图；
步骤4，提取所有图像灰度矩阵的每个视觉通道的梯度特征视图；
步骤5，针对步骤4所得结果，设计视觉多通道梯度特征信息内推分解算法，将所有图像灰度矩阵每个视觉通道的梯度特征信息分解为有序内容视图和无序内容视图两部分；
步骤6，设计视觉多通道梯度特征信息有序内容视图评价算法，计算所有失真图像质量的每个视觉通道梯度特征信息有序内容视图评价；
步骤7，设计视觉多通道梯度特征信息无序内容视图评价算法，计算所有失真图像质量的每个视觉通道梯度特征信息无序内容视图评价；
步骤8，根据步骤4的结果，计算所有失真图像质量的每个视觉通道梯度特征相似度评价；
步骤9，根据步骤3的结果，计算测试集中所有失真图像质量的梯度特征相似度评价；
步骤10，构建BP神经网络模型；
步骤11，利用训练集中所有失真图像质量的每个视觉多通道梯度特征相似度评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉多通道梯度特征相似度评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征相似度融合评价结果，并对结果做偏置处理；
步骤12，利用训练集中所有失真图像质量的每个视觉通道梯度特征信息有序内容视图评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉通道梯度特征信息有序内容视图评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征信息有序内容视图融合评价结果，并对结果做偏置处理；
步骤13，利用训练集中所有失真图像质量的每个视觉通道梯度特征信息无序内容视图评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉通道梯度特征信息无序内容视图评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征信息无序内容视图融合评价结果，并对结果做偏置处理；
步骤14，利用自适应融合算法对步骤9、步骤11、步骤12以及步骤 13所得结果进行融合，获得测试集中每帧失真图像质量的深度特征感知推理评价结果。
本发明的核心是将人眼视觉系统(HVS)的前端感知特性、后端信息处理特性和BP神经网络的学习机制联合起来用于全参考图像质量评价。首先基于HVS前端感知特性提取图像的视觉多通道显著梯度特征，然后基于后端信息处理特性对各个视觉通道的显著梯度特征进行二次信息分解处理，获得各个视觉通道梯度特征信息的有序内容视图和无序内容视图，并采用互补评价算法分别对这两部分内容进行评价。其次，借助于BP神经网络的学习推理能力对失真图像质量的视觉多通道梯度特征评价、视觉多通道梯度特征有序内容视图评价和视觉多通道梯度特征无序内容视图评价的融合函数特性分别进行了学习训练，基于BP神经网络的预测输出获得了上述三种视觉多通道评价各自对应的融合结果。最后，通过设计自适应融合算法，将梯度特征相似度评价、视觉多通道梯度特征融合评价、视觉多通道梯度特征有序内容视图融合评价、视觉多通道梯度特征无序内容视图融合评价三层评价信息融合起来，最终获得失真图像质量的深度特征感知推理评价结果。
步骤1中，所述预处理包括依次进行灰度化处理和高斯低通滤波，训练集与测试集中失真图像数量的比例为1/3～1。具体地，按照如下公式对参考图像和失真图像进行灰度化处理，将其分别变换为灰度图像Gray：
Gray＝0.29900R+0.58700G+0.11400B
其中，R、G、B分别为源图像(失真图像或参考图像)在R、G、B 三个通道上的强度值。
对经过灰度变换得到的灰度图像分别进行高斯低通滤波处理，滤波器的窗口大小为k×k，作为优选，k的取值范围为0.015t～0.42t，t取图像矩阵行和列的最小值，标准差为1.0～3.0。
BP神经网络输入层神经元的数量等于小波分解的通道数量，不限BP 神经网络隐藏层的数量多少以及每个隐藏层的神经元数量多少，BP神经网络的输出层神经元数量只有一个，该输出代表失真图像质量基于所选客观评价算法的视觉多通道评价的融合结果。BP神经网络的训练目标为失真图像质量的人眼主观测试结果分值DMOS。BP神经网络所训练输入数据的长度等于训练集数据库中失真图像的数量。
上述步骤11、步骤12和步骤13中的偏置处理，是为了消除结果中的负数，偏置方法是对所有结果加上同一个正数。
步骤14中，所述自适应融合算法从内层到外层逐层地融合各层评价，最内层融合公式如下：
式中，VGCD表示VGC与VGD的融合结果，VGC,VGD分别为VGC(s,o) 和VGD(s,o)基于BP神经网络模型预测输出的融合评价结果，λ1＝1/[1+γ11·VGDγ12]，参数γ11和γ12根据经验和实验训练取值；
第二层融合公式如下：
式中，VG为VG(s,o)基于BP神经网络模型预测输出的融合评价结果， VGCDSM表示VGCD与VG的融合结果，参数γ21和γ22根据经验和实验训练取值，A是为完成偏置处理的一个正的常数；
最外层融合公式如下：
式中，DFPG为最终失真图像质量的深度特征感知推理评价结果，参数γ31和γ32根据经验和实验训练取值，为GSM的误差等价转换，转换公式如下：
与现有技术相比，本发明具有的技术效果为：
本发明方法对应的RMSE、PLCC和SROCC三个评价指标都具有最高水平，远远高于现有的经典方法和工程学方法，和工程学的信息处理类评价方法相比也具有较大的优势，明显优于视觉特征及其融合处理类评价方法，和视觉特征感知处理与视觉心理推导融合类评价方法相比，也有全面的优势。并且，本发明方法对于不同失真类型的图像质量评价，对应的 RMSE、PLCC和SROCC三个评价指标水平，相对其它方法的变动范围都是最小的，具有更好的稳定性。
附图说明
图1为本发明提供的基于深度特征感知推理的全参考图像质量客观评价方法的操作流程图；
图2为本实施例的预处理结果图像；
图3为本实施例对图2提取的其中一个视觉通道信息视图；
图4为本实施例对图2提取的梯度特征信息视图；
图5为本实施例对图3提取的视觉通道梯度特征信息视图；
图6为本实施例对图5分解的有序内容视图；
图7为本实施例对图5分解的无序内容视图；
图8为本实施例的BP神经网络模型。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
本实施中以德克萨斯大学奥斯汀分校图像视频工程所提供的LIVE Release 2图像标准数据库为例进行说明。德克萨斯大学奥斯汀分校图像视频工程所提供的LIVERelease 2图像标准数据库，存储有一些配对的标准案例(即参考图像和失真图像对)，每个案例中的失真图像均有对应的 MOS值(主观评价分值)已知，该MOS值即为人眼的主观测试结果。
进行全参考图像质量客观评价时首先从LIVE Release 2图像标准数据库选择参考图像和相应的失真图像，然后进行对选择的失真图像进行全参考图像质量客观评价，流程如图1所示，该方法包括：
步骤1，按照如下公式对参考图像和失真图像进行灰度化处理，将其分别变换为灰度图像Gray：
Gray＝0.29900·R+0.58700·G+0.11400·B
其中，R、G、B分别为源图像(失真图像或参考图像)在R、G、B 三个通道上的强度值。
对经过灰度变换得到的灰度图像分别进行高斯低通滤波处理，滤波器的窗口大小为k×k，作为优选，k的取值范围为0.015t～0.42t，t取图像矩阵行和列的最小值，标准差为1.0～3.0。本实施例对原始图像图的预处理结果如图2所示。
步骤2，利用Log-Gabor小波变换，对图像进行视觉多通道信息提取，提取公式如下：
v(s,o)(i,j)＝F-1[G(ω,θj)×F(f(i,j)]
式中，f(i,j)代表原始图像，v(s,o)(i,j)代表对原始图像f(i,j)提取的视觉通道(s,o)信息视图，s、o分别为log-Gabor尺度因子和方向因子，这里取S＝5， O＝4，F表示频域正变换，F-1表示频域逆变换，G(ω,θj)为log-Gabor的频率函数表达式。
本实施例中对图2进行基于Log-Gabor小波的多通道分解，其中一个视觉通道(1,1)的结果如图3所示。
步骤3，提取所有灰度图像矩阵的梯度特征视图。
具体地，采用Scharr算子提取所有图像灰度矩阵的梯度特征视图，提取公式如下：
其中，gx(i,j)为图像灰度矩阵x(i,j)的梯度特征视图，gx(i)、gx(j)分别为梯度特征视图gx(i,j)水平方向投影和垂直方向投影，gx(i)与gx(j)的计算公式分别如下：
式中，*表示卷积运算。
本实施例中对图2的提取结果如图4所示。
步骤4，提取所有灰度图像矩阵视觉多通道的梯度特征视图。
具体地，采用采用Scharr算子提取图像灰度矩阵的视觉通道的梯度特征视图，提取公式如下：
其中，gx(s,o)(i,j)为图像灰度矩阵x(i,j)的视觉通道(s,o)的信息视图x(s,o)(i,j)的梯度特征视图，gx(s,o)(i)与gx(s,o)(j)分别为梯度特征视图gx(s,o)(i,j)水平方向投影和垂直方向投影，计算公式分别如下：
式中，*表示卷积运算，下标s和o分别代表视觉通道的尺度因子和方向因子。本实施例中对图3的提取结果如图5所示。
步骤5，采用视觉多通道梯度特征信息内推分解算法对所有灰度图像矩阵视觉多通道梯度特征视图进行分解，获得相应的有序内容视图和无序内容视图。
具体地，视觉多通道梯度特征信息内推分解算法如下：
式中，p(·)表示求概率，E{·}表示求互信息，表示视觉通道梯度特征视图中像素gx(s,o)(i,j)与周边像素Gx(s,o)的互信息，表示 gx(s,o)(i,j)的信息熵；
当gx(s,o)(i,j)与Gx(s,o)高度相关，几乎等于也就是p[gx(s,o)(i,j)/Gx(s,o)]最大值时，则判定gx(s,o)(i,j)属于视图的有序内容视图；
当gx(s,o)(i,j)与Gx(s,o)相关性较小，几乎为零，也就是 p[gx(s,o)(i,j)/Gx(s,o)]较低时，则判定gx(s,o)(i,j)属于视图的无序内容视图。
本实施例中对图5的提取结果如图6和图7所示。
步骤6，采用视觉多通道梯度特征信息有序内容视图评价算法计算失真图像质量的视觉多通道梯度特征信息有序内容视图评价，具体地，视觉多通道梯度特征信息有序内容视图评价算法VGC(s,o)如下：
VGC(s,o)＝mean[VGC(s,o)(i,j)]
式中，mean[·]代表求平均值，VGC(s,o)(i,j)代表视觉多通道梯度特征信息有序内容视图评价视图，VGC(s,o)(i,j)的计算公式如下：
式中，RGC(s,o)(i,j)表示参考图像视觉多通道梯度特征信息视图gx(s,o)(i,j) 分解后的有序内容视图，DGC(s,o)(i,j)表示失真图像视觉多通道梯度特征信息视图gy(s,o)(i,j)分解后的有序内容视图，C1为保证算法稳定性的常数，实施例中，C1取值为C1＝4.0。
步骤7，采用视觉多通道梯度特征信息无序内容视图评价算法计算失真图像质量的视觉多通道梯度特征信息无序内容视图评价VGD(s,o)。具体地，视觉多通道梯度特征信息无序内容视图评价算法VGD(s,o)如下：
式中，L为视图的灰度等级水平，RGD(s,o)(i,j)表示参考图像视觉多通道梯度特征信息视图gx(s,o)(i,j)分解后的无序内容视图，DGD(s,o)(i,j)表示失真图像视觉多通道梯度特征信息视图gy(s,o)(i,j)分解后的无序内容视图，M×N表示视觉多通道视图的大小。
步骤8，采用失真图像质量的每个视觉通道梯度特征相似度评价算法计算失真图像质量的每个视觉通道梯度特征相似度评价VG(s,o)，具体地，计算失真图像质量的每个视觉通道梯度特征相似度评价VG(s,o)的算法如下：
VG(s,o)＝mean[VG(s,o)(i,j)]
式中，mean[·]代表求平均值，VG(s,o)(i,j)代表视觉多通道梯度特征信息评价视图，VG(s,o)(i,j)的计算公式如下：
式中，C2为保证算法稳定性的常数，本实施例中，C2取值为C2＝6.0。
步骤9，计算失真图像质量的梯度特征相似度评价GSM，具体地，计算失真图像质量的梯度特征相似度评价的算法如下：
GSM＝mean[GSM(i,j)]
式中，mean[·]代表求平均值，GSM(i,j)代表梯度特征相似度视图，GSM(i,j)的计算公式如下：
GSM(i,j)＝L(i,j)α1·G(i,j)α2
式中，L(i,j)和G(i,j)分别代表灰度相似度评价视图和梯度相似度评价视图，α1，α2代表L(i,j)和G(i,j)的权重系数，L(i,j)和G(i,j)的定义分别如下：
式中，x(i,j)和y(i,j)分别代表参考图像灰度矩阵和失真图像灰度矩阵， gx(i,j)和gy(i,j)分别代表x(i,j)和y(i,j)的梯度特征视图，C3和C4为保证算法稳定性的常数因子，本实施例中，C3和C4取值为C3＝6.0，C4＝16.0，α1，α2的取值为α1＝α2＝1.0。
步骤10，构建的BP神经网络模型如图8所示，图中IQA代表VGC、 VGD或VG三种客观评价算法中的一种。BP神经网络输入层神经元的数量等于小波分解的通道数量5×4＝20，隐藏层为一层，隐藏层的神经元数量取20，BP神经网络的输出层神经元数量只有一个，BP神经网络的输出层神经元数量只有一个，该输出代表失真图像质量基于所选客观评价算法的视觉多通道评价的融合结果。BP神经网络的训练目标为失真图像质量的人眼主观测试结果分值DMOS。BP神经网络所训练输入数据的长度等于训练集数据库中失真图像的数量。BP神经网络的训练目标为失真图像质量的人眼主观测试结果分值DMOS。BP神经网络所训练输入数据的长度等于训练集数据库中失真图像的数量，对BP网络进行有监督的学习训练，直到达到BP神经网络的其中一个训练终止条件。两个训练终止条件分别为：
(1)BP预测输出和DMOS之间的误差e＝0.00001。
(2)迭代次数取为500。
步骤11，将训练集数据库中每帧失真图像的视觉多通道梯度特征相识度评价结果VG(s,o)输入BP神经网络模型，将对应失真图像的DMOS分值作为训练目标，对BP神经网络进行学习训练，当训练结束后，将测试集数据库中每帧失真图像的视觉多通道梯度特征相识度评价结果VG(s,o)输入 BP神经网络模型测试，BP神经网络的预测输出作为对应失真图像质量的视觉多通道梯度特征相似度的融合评价结果VG，并对所有结果加1完成偏置处理。
步骤12，将训练集数据库中每帧失真图像的视觉多通道梯度特征有序内容信息评价结果VGC(s,o)输入BP神经网络模型，将对应失真图像的 DMOS分值作为训练目标，对BP神经网络进行学习训练，当训练结束后，将测试集数据库中每帧失真图像的视觉多通道梯度特征有序内容信息评价结果VGC(s,o)输入BP神经网络模型测试，BP神经网络的预测输出作为对应失真图像质量的视觉多通道梯度特征有序内容信息的融合评价结果VGC，并对所有结果加1完成偏置处理。
步骤13，将训练集数据库中每帧失真图像的视觉多通道梯度特征无序内容信息评价结果VGD(s,o)输入BP神经网络模型，将对应失真图像的 DMOS分值作为训练目标，对BP神经网络进行学习训练，当训练结束后，将测试集数据库中每帧失真图像的视觉多通道梯度特征无序内容信息评价结果VGD(s,o)输入BP神经网络模型测试，BP神经网络的预测输出作为对应失真图像质量的视觉多通道梯度特征无序内容信息的融合评价结果 VGD，并对所有结果加1完成偏置处理。
步骤14，按照如下公式分别进行融合计算，A取值为A＝1，获得失真图像质量的最终深度特征感知推理评价结果DFPG分值：
本实施例中， 每个参数取值根据图像失真类型不同有所变化，详见表1。
基于客观评价结果y分值和LIVE Release 2图像标准数据库中记载的各个失真图像的主观评估分MOS分值，根据国际视频质量专家组(Video Quality Experts Group，VQEG)规范计算得到本发明的客观评价方法的 SROCC指标、RMSE指标和PLCC指标。
表1为利用本实施例的客观评价方法(DFPG)与现有的评价方法对 LIVE Release2图像标准数据库中的标准案例进行全参考图像质量客观评价时得到的评价结果的SROCC指标、RMSE指标和PLCC指标对比。本实施例中的现有评价方法涵盖了目前较新的研究成果，将其分为四类。第一类是经典方法和工程学方法，包括PSNR(Peak Signal to NoiseRatio，峰值信噪比)、SSIM(Structural Similarity，结构相似度)、SVD(Singular ValueDecomposition，奇异值分解)；第二类是基于工程学的信息处理类评价方法，包括IFC(Information Fidelity Criterion，信息保真度IFC)、MSSIM (Multi-scale StructuralSimilarity，多尺度结构相似)；第三类是视觉特征及其融合处理类评价方法，包括VIF(Visual Information Fidelity，视觉信息保真度)、FSIM(Feature Similarity FSIM，特征结构相似度)、VSI(Visual Saliency Induced，视觉显著)；第四类是基于视觉特征感知处理与视觉心理推导融合类评价方法，包括MAD(Most Apparent Distortion，显著失真)和IGM(Internal Generative Mechanism，内推机制)。
Release 2图像标准数据库中失真图像的格式包括JP2K、JPEG、WN、 Gblur和FF，为说明本实施例的方法的适用范围，表1中给出的不同方法下各个指标(即评价指标)的值为对Release 2图像标准数据库中该类的所有失真图像评的评价指标水平，表1中All表示针对Release 2图像标准数据库中的所有格式的失真图像。
表1
从表1可以看出，对于各类失真图像质量的评价，与现有的评价方法比较，本实施例的方法对应的RMSE、PLCC和SROCC三个评价指标都维持了最高的水平，远远高于现有的经典方法和工程学方法，和工程学的信息处理类评价方法相比具有较大的优势，明显优于视觉特征及其融合处理类评价方法，和视觉特征感知处理与视觉心理推导融合类评价方法相比，也有全面的优势。此外，对于不同失真类型的图像质量评价，本实施例的方法对应的RMSE、PLCC和SROCC三个评价指标水平，相对所有其它方法的变动范围都是最小的，因此，本实施例的方法具有更好的稳定性。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度特征感知推理的全参考图像质量客观评价方法，包括：
步骤1，对参考图像和失真图像进行预处理得到相应的图像灰度矩阵，将失真图像灰度矩阵分为训练集和测试集；
步骤2，基于小波变换提取所有图像灰度矩阵的视觉多通道信息视图；
步骤3，提取所有图像灰度矩阵的梯度特征视图；
步骤4，提取所有图像灰度矩阵的每个视觉通道的梯度特征视图；
步骤5，针对步骤4所得结果，设计视觉多通道梯度特征信息内推分解算法，将所有图像灰度矩阵每个视觉通道的梯度特征信息分解为有序内容视图和无序内容视图两部分；
步骤6，设计视觉多通道梯度特征信息有序内容视图评价算法，计算所有失真图像质量的每个视觉通道梯度特征信息有序内容视图评价；
步骤7，设计视觉多通道梯度特征信息无序内容视图评价算法，计算所有失真图像质量的每个视觉通道梯度特征信息无序内容视图评价；
步骤8，根据步骤4的结果，计算所有失真图像质量的每个视觉通道梯度特征相似度评价；
步骤9，根据步骤3的结果，计算测试集中所有失真图像质量的梯度特征相似度评价；
步骤10，构建BP神经网络模型；
步骤11，利用训练集中所有失真图像质量的每个视觉多通道梯度特征相似度评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉多通道梯度特征相似度评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征相似度融合评价结果，并对结果做偏置处理；
步骤12，利用训练集中所有失真图像质量的每个视觉通道梯度特征信息有序内容视图评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉通道梯度特征信息有序内容视图评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征信息有序内容视图融合评价结果，并对结果做偏置处理；
步骤13，利用训练集中所有失真图像质量的每个视觉通道梯度特征信息无序内容视图评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉通道梯度特征信息无序内容视图评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征信息无序内容视图融合评价结果，并对结果做偏置处理；
步骤14，利用自适应融合算法对步骤9、步骤11、步骤12以及步骤13所得结果进行融合，获得测试集中每帧失真图像质量的深度特征感知推理评价结果。
2.如权利要求1所述的基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤1中，所述预处理包括依次进行灰度化处理和高斯低通滤波，训练集与测试集中失真图像数量的比例为1/3～1。
3.如权利要求2所述的一种基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤3中，采用Scharr算子提取所有图像灰度矩阵的梯度特征视图，提取公式如下：
其中，gx(i,j)为图像灰度矩阵x(i,j)的梯度特征视图，gx(i)、gx(j)分别为梯度特征视图gx(i,j)水平方向投影和垂直方向投影，gx(i)与gx(j)的计算公式分别如下：
式中，*表示卷积运算。
4.如权利要求1所述的基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤4中，采用Scharr算子提取图像灰度矩阵的视觉通道的梯度特征视图，提取公式如下：
其中，gx(s,o)(i,j)为图像灰度矩阵x(i,j)的视觉通道(s,o)的信息视图x(s,o)(i,j)的梯度特征视图，gx(s,o)(i)与gx(s,o)(j)分别为梯度特征视图gx(s,o)(i,j)水平方向投影和垂直方向投影，计算公式分别如下：
式中，*表示卷积运算，下标s和o分别代表视觉通道的尺度因子和方向因子。
5.如权利要求1所述的基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤5中，所述视觉多通道梯度特征信息内推分解算法如下：
式中，p(·)表示求概率，E{·}表示求互信息，表示视觉通道梯度特征视图中像素gx(s,o)(i,j)与周边像素Gx(s,o)的互信息，表示gx(s,o)(i,j)的信息熵；
当gx(s,o)(i,j)与Gx(s,o)高度相关，几乎等于也就是p[gx(s,o)(i,j)/Gx(s,o)]最大值时，则判定gx(s,o)(i,j)属于视图的有序内容视图；
当gx(s,o)(i,j)与Gx(s,o)相关性较小，几乎为零，也就是p[gx(s,o)(i,j)/Gx(s,o)]较低时，则判定gx(s,o)(i,j)属于视图的无序内容视图。
6.如权利要求1所述的基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤6中，所述视觉多通道梯度特征信息有序内容视图评价算法VGC(s,o)如下：
VGC(s,o)＝mean[VGC(s,o)(i,j)]
式中，mean[·]代表求平均值，VGC(s,o)(i,j)代表视觉多通道梯度特征信息有序内容视图评价视图，VGC(s,o)(i,j)的计算公式如下：
式中，RGC(s,o)(i,j)表示参考图像视觉多通道梯度特征信息视图gx(s,o)(i,j)分解后的有序内容视图，DGC(s,o)(i,j)表示失真图像视觉多通道梯度特征信息视图gy(s,o)(i,j)分解后的有序内容视图，C1为保证算法稳定性的常数。
步骤7中，所述视觉多通道梯度特征信息无序内容视图评价算法VGD(s,o)如下：
式中，L为视图的灰度等级水平，RGD(s,o)(i,j)表示参考图像视觉多通道梯度特征信息视图gx(s,o)(i,j)分解后的无序内容视图，DGD(s,o)(i,j)表示失真图像视觉多通道梯度特征信息视图gy(s,o)(i,j)分解后的无序内容视图，M×N表示视觉多通道视图的大小。
7.如权利要求1所述的基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤8中，计算失真图像质量的每个视觉通道梯度特征相似度评价VG(s,o)的算法如下：
VG(s,o)＝mean[VG(s,o)(i,j)]
式中，mean[·]代表求平均值，VG(s,o)(i,j)代表视觉多通道梯度特征信息评价视图，VG(s,o)(i,j)的计算公式如下：
式中，C2为保证算法稳定性的常数；
步骤9中，计算失真图像质量的梯度特征相似度评价的算法如下：
GSM＝mean[GSM(i,j)]
式中，mean[·]代表求平均值，GSM(i,j)代表梯度特征相似度视图，GSM(i,j)的计算公式如下：
GSM(i,j)＝L(i,j)α1·G(i,j)α2
式中，L(i,j)和G(i,j)分别代表灰度相似度评价视图和梯度相似度评价视图，α1，α2代表L(i,j)和G(i,j)的权重系数，L(i,j)和G(i,j)的定义分别如下：
式中，x(i,j)和y(i,j)分别代表参考图像灰度矩阵和失真图像灰度矩阵，gx(i,j)和gy(i,j)分别代表x(i,j)和y(i,j)的梯度特征视图，C3和C4为保证算法稳定性的常数因子，α1，α2的取值为α1＝α2＝1.0。
8.如权利要求1所述的基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤14中，所述自适应融合算法从内层到外层逐层地融合各层评价，最内层融合公式如下：
式中，VGCD表示VGC与VGD的融合结果，VGC、VGD分别为VGC(s,o)和VGD(s,o)基于BP神经网络模型预测输出的融合评价结果，参数γ11和γ12根据经验和实验训练取值；
第二层融合公式如下：
式中，VG为VG(s,o)基于BP神经网络模型预测输出的融合评价结果，VGCDSM表示VGCD与VG的融合结果，参数γ21和γ22根据经验和实验训练取值，A是为完成偏置处理的一个正的常数；
最外层融合公式如下：
式中，DFPG为最终失真图像质量的深度特征感知推理评价结果，参数γ31和γ32根据经验和实验训练取值，为GSM的误差等价转换，转换公式如下：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810359847.7A CN108550152B (zh) | 2018-04-20 | 2018-04-20 | 基于深度特征感知推理的全参考图像质量客观评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810359847.7A CN108550152B (zh) | 2018-04-20 | 2018-04-20 | 基于深度特征感知推理的全参考图像质量客观评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108550152A true CN108550152A (zh) | 2018-09-18 |
| CN108550152B CN108550152B (zh) | 2020-05-08 |
Family
ID=63511922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810359847.7A Active CN108550152B (zh) | 2018-04-20 | 2018-04-20 | 基于深度特征感知推理的全参考图像质量客观评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108550152B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598707A (zh) * | 2018-11-26 | 2019-04-09 | 浙江科技学院 | 一种基于特征信息处理的全参考图像质量客观评价方法 |
| CN110111304A (zh) * | 2019-04-04 | 2019-08-09 | 天津大学 | 基于局部到全局特征回归的无参考立体图像质量评价方法 |
| CN112614109A (zh) * | 2020-12-24 | 2021-04-06 | 四川云从天府人工智能科技有限公司 | 图像质量评估方法、装置以及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101489130A (zh) * | 2009-01-21 | 2009-07-22 | 西安交通大学 | 基于图像边缘差异统计特性的全参考型图像质量评价方法 |
| CN102170581A (zh) * | 2011-05-05 | 2011-08-31 | 天津大学 | 基于hvs的ssim与特征匹配立体图像质量评价方法 |
| JP2012119735A (ja) * | 2010-11-29 | 2012-06-21 | Mitsubishi Electric Corp | 映像品質管理システム、映像受信端末、および映像品質管理装置 |
-
2018
- 2018-04-20 CN CN201810359847.7A patent/CN108550152B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101489130A (zh) * | 2009-01-21 | 2009-07-22 | 西安交通大学 | 基于图像边缘差异统计特性的全参考型图像质量评价方法 |
| JP2012119735A (ja) * | 2010-11-29 | 2012-06-21 | Mitsubishi Electric Corp | 映像品質管理システム、映像受信端末、および映像品質管理装置 |
| CN102170581A (zh) * | 2011-05-05 | 2011-08-31 | 天津大学 | 基于hvs的ssim与特征匹配立体图像质量评价方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598707A (zh) * | 2018-11-26 | 2019-04-09 | 浙江科技学院 | 一种基于特征信息处理的全参考图像质量客观评价方法 |
| CN109598707B (zh) * | 2018-11-26 | 2020-07-17 | 浙江科技学院 | 一种基于特征信息处理的全参考图像质量客观评价方法 |
| CN110111304A (zh) * | 2019-04-04 | 2019-08-09 | 天津大学 | 基于局部到全局特征回归的无参考立体图像质量评价方法 |
| CN110111304B (zh) * | 2019-04-04 | 2023-08-29 | 天津大学 | 基于局部到全局特征回归的无参考立体图像质量评价方法 |
| CN112614109A (zh) * | 2020-12-24 | 2021-04-06 | 四川云从天府人工智能科技有限公司 | 图像质量评估方法、装置以及计算机可读存储介质 |
| CN112614109B (zh) * | 2020-12-24 | 2024-06-07 | 四川云从天府人工智能科技有限公司 | 图像质量评估方法、装置以及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108550152B (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN108615231A (zh) | 一种基于神经网络学习融合的全参考图像质量客观评价方法 | |
| CN108596890A (zh) | 一种基于视觉测量率自适应融合的全参考图像质量客观评价方法 | |
| CN112508077B (zh) | 一种基于多模态特征融合的社交媒体情感分析方法及系统 | |
| CN109948692B (zh) | 基于多颜色空间卷积神经网络及随机森林的计算机生成图片检测方法 | |
| CN111709902A (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
| CN110148104A (zh) | 基于显著性分析与低秩表示的红外与可见光图像融合方法 | |
| CN108550152A (zh) | 基于深度特征感知推理的全参考图像质量客观评价方法 | |
| CN109816646B (zh) | 一种基于退化决策逻辑的无参考图像质量评价方法 | |
| CN109949200B (zh) | 基于滤波器子集选择和cnn的隐写分析框架构建方法 | |
| CN114913379B (zh) | 基于多任务动态对比学习的遥感图像小样本场景分类方法 | |
| CN105118053A (zh) | 一种基于压缩感知的全参考图像质量客观评价方法 | |
| CN108648180A (zh) | 一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法 | |
| CN110321936A (zh) | 一种基于vgg16及svm实现图片二分类的方法 | |
| Jiang et al. | Stereoscopic image quality assessment by learning non-negative matrix factorization-based color visual characteristics and considering binocular interactions | |
| CN117291895A (zh) | 图像检测方法、装置、设备及存储介质 | |
| CN117349743A (zh) | 一种基于多模态数据的超图神经网络的数据分类方法及系统 | |
| CN111127386B (zh) | 一种基于深度学习的图像质量评价方法 | |
| CN117372271A (zh) | 一种基于知识蒸馏的自监督可见光与红外图像融合方法 | |
| Trevino-Sanchez et al. | Hybrid pooling with wavelets for convolutional neural networks | |
| CN111652238B (zh) | 一种多模型集成方法及系统 | |
| CN116993639A (zh) | 基于结构重参数化的可见光与红外图像融合方法 | |
| CN106096543A (zh) | 一种基于改进型极限学习机的手写数字识别方法 | |
| CN115035408A (zh) | 基于迁移学习和注意力机制的无人机影像树种分类方法 | |
| CN118038185B (zh) | 一种基于多样化自适应知识蒸馏的图像分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |