CN108596890A - 一种基于视觉测量率自适应融合的全参考图像质量客观评价方法 - Google Patents
一种基于视觉测量率自适应融合的全参考图像质量客观评价方法 Download PDFInfo
- Publication number
- CN108596890A CN108596890A CN201810359848.1A CN201810359848A CN108596890A CN 108596890 A CN108596890 A CN 108596890A CN 201810359848 A CN201810359848 A CN 201810359848A CN 108596890 A CN108596890 A CN 108596890A
- Authority
- CN
- China
- Prior art keywords
- vision
- matrix
- channel
- image
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000004438 eyesight Effects 0.000 claims abstract description 96
- 239000011159 matrix material Substances 0.000 claims abstract description 73
- 238000011156 evaluation Methods 0.000 claims abstract description 58
- 230000000007 visual effect Effects 0.000 claims abstract description 40
- 238000005259 measurement Methods 0.000 claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 31
- 238000013441 quality evaluation Methods 0.000 claims abstract description 30
- 230000003044 adaptive effect Effects 0.000 claims abstract description 14
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 25
- 238000003062 neural network model Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 7
- 238000002156 mixing Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 2
- 210000005036 nerve Anatomy 0.000 claims description 2
- 238000011426 transformation method Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 16
- 230000008901 benefit Effects 0.000 abstract description 6
- 230000008602 contraction Effects 0.000 abstract 1
- 238000011160 research Methods 0.000 description 7
- 238000000354 decomposition reaction Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000001303 quality assessment method Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 206010068052 Mosaicism Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 229940075591 dalay Drugs 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000005290 field theory Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000003765 sex chromosome Anatomy 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于视觉测量率自适应融合的全参考图像质量客观评价方法，包括：首先，通过设计视觉多通道自适应调节的测量率来构造各个视觉通道的随机压缩测量矩阵，实现对图像的各个视觉通道信息视图进行稀疏投影变换；然后，再对各个视觉通道的投影系数矩阵进行质量评价，并通过构建BP神经网络来实现对各个视觉通道评价结果的初次融合；最后，基于回归函数实现视觉多通道测量率融合评价和视觉多通道相似度融合评价的二次互补融合。这样使得各项评价指标都维持了最高水平，大多数情况下具有较大的优势，并且具有更好的稳定性。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于视觉测量率自适应融合的全参考图像质量客观评价方法。
背景技术
图像作为一种广泛应用的信号，其在信息获取、传递和处理等各个领域均具有举足轻重的地位。当前，随着云计算能力的提升和人工智能研究的兴起，基于图像终端处理平台的各种应用业务获得了前所未有的发展，然而，图像信号易受污染，因此，图像质量评价的研究意义重大。图像质量评价研究领域中，客观方法以自动连续的高效工作方式而成为了该领域的研究热点，其中，全参考图像质量评价的研究意义尤其重要。
传统经典评价算法如均方根误差RMSE、信噪比SNR以及峰值信噪比PSNR等评价结果和人眼主测量试差距较大。仿生学评价算法如Dalay算法、Safranek-Johnson算法、离散余弦变换算法以及Watson小波变换算法等建模复杂，速度慢，且有许多系统性缺陷制约导致建模效率较低。近些年出现的一些工程学评价方法及其改进算法，例如结构相似度SSIM方法、信息保真度IFC方法、奇异值分解SVD方法等，但这些方法的评价标准不相同，使得其评价结果数据没有可比性，例如，SSIM取值范围在{0，1}之间且取值越大说明图像质量越高，而IFC和SVD的取值范围则不受限，SVD越大说明图像质量越低，而IFC越大则说明图像质量越高；另外，实验证明，反映这些方法性能的一些重要评价指标水平尚有待提高，例如斯皮尔曼等级排序相关系数SROCC、均方根误差RMSE和皮尔逊相关系数PLCC等。
最近几年，将视觉系统特性融入图像质量评价成为了研究热点，例如，显著失真MAD、特征相似度FSIM、视觉显著VSI等，但这些方法存在两个问题，一个问题是图像特征处理算法缺乏视觉特性的理论依据，这使得其评价性能不稳定；另外一个更突出的问题是人眼的主观视觉多通道特性，对于不同的客观评价算法，具有不同的主、客观映射关系，例如，对于各视觉通道的频率敏感特性，上述方法均采用了统一的对比度敏感函数，降低了各种客观评价方法的性能。内在推导机制(Internal Generative Mechanism，IGM)则基于大脑的自由能量场理论，通过信息感知最大化算法评价图像质量，但其信息处理算法过于单一，难以揭示视觉大脑的工作机制，并且也缺乏有力的实验结果证实。
近些年来，随着神经网络研究的深入，其已经在信号处理、模式识别等多个人工智能领域取得了非凡的成就。其中，反向传播(Back Propagation，BP)神经网络技术尤其在图像处理领域获得了重要的应用，理论上，一个三层以上的BP神经网能够以任意精度逼近一个非线性函数，并且对外界激励具有自适应学习的能力，从而具备了非常强大的分类识别能力。
发明内容
本发明的目的是提供一种基于视觉测量率自适应融合的全参考图像质量客观评价方法，以解决现有评价方法评价不稳定问题和缺乏主观性问题。
为实现上述发明目的，本发明提供以下技术方案：
一种基于视觉测量率自适应融合的全参考图像质量客观评价方法，其特征在于，包括：
步骤1，选取一个图像质量数据库，对该图像质量数据库中所有的参考图像和失真图像进行预处理得到相应的图像灰度矩阵，并将图像灰度矩阵分为训练集和测试集；
步骤2，基于小波变换提取所有图像灰度矩阵的视觉多通道信息视图；
步骤3，设计视觉多通道相似度质量评价算法，根据参考图像灰度矩阵的视觉多通道信息视图，并利用该视觉多通道相似度评价算法计算所有失真图像灰度矩阵的视觉多通道相似度质量评价；
步骤4，设计视觉多通道测量率系数；
步骤5，基于所设计的视觉多通道测量率系数，构造视觉多通道随机测量矩阵；
步骤6，将构造的视觉多通道随机测量矩阵与所有图像灰度矩阵的对应视觉通道信息视图相乘，得到所有图像灰度矩阵的视觉多通道投影矩阵；
步骤7，设计视觉多通道投影矩阵信噪比质量评价算法，利用该视觉多通道投影矩阵信噪比质量评价算法计算所有失真图像灰度矩阵的视觉多通道投影矩阵信噪比质量评价；
步骤8，构建BP神经网络模型；
步骤9，利用训练集中所有失真图像灰度矩阵的视觉多通道相似度质量评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像灰度矩阵的视觉多通道相似度质量评价输入到训练好的BP神经网络模型进行预测，输出失真图像灰度矩阵的视觉多通道相似度融合质量评价结果，并对该结果进行偏置处理；
步骤10，利用训练集中所有失真图像灰度矩阵的视觉多通道投影矩阵信噪比质量评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像灰度矩阵的视觉多通道投影矩阵信噪比质量评价输入到训练好的BP神经网络模型进行预测，输出失真图像灰度矩阵的视觉多通道投影矩阵信噪比融合质量评价结果，并对该结果进行偏置处理；
步骤11，利用自适应融合算法对步骤9和步骤10所得结果进行融合，获得测试集数据库中每帧失真图像的视觉测量率自适应融合评价结果。
本发明的核心是将人眼视觉系统、压缩测量理论和BP神经网络联合起来用于评价图像质量。首先，通过设计视觉多通道自适应调节的测量率来构造各个视觉通道的随机压缩测量矩阵，实现对图像的各个视觉通道信息视图进行稀疏投影变换；然后，再对各个视觉通道的投影系数矩阵进行质量评价，并通过构建BP神经网络来实现对各个视觉通道评价结果的初次融合；最后，基于回归函数实现视觉多通道测量率融合评价和视觉多通道相似度融合评价的二次互补融合。这样使得各项评价指标都维持了最高水平，大多数情况下具有较大的优势，并且具有更好的稳定性。
步骤1中，所述预处理包括依次进行灰度化处理和高斯低通滤波，训练集与测试集中失真图像数量的比例为1/3～1。具体地，按照如下公式对参考图像和失真图像进行灰度化处理，将其分别变换为灰度图像Gray：
Gray＝0.29900·R+0.58700·G+0.11400·B
其中，R、G、B分别为源图像(失真图像或参考图像)在R、G、B三个通道上的强度值。
对经过灰度变换得到的灰度图像分别进行高斯低通滤波处理，滤波器的窗口大小为k×k，作为优选，k的取值范围为0.015t～0.42t，t取图像矩阵行和列的最小值，标准差为1.0～3.0。
BP神经网络输入层神经元的数量等于小波分解的通道数量，不限BP神经网络隐藏层的数量多少以及每个隐藏层的神经元数量多少，BP神经网络的输出层神经元数量只有一个，该输出代表失真图像质量基于所选客观评价算法的视觉多通道评价的融合结果。BP神经网络的训练目标为失真图像质量的人眼主观测试结果分值DMOS。BP神经网络所训练输入数据的长度等于训练集数据库中失真图像的数量。
上述步骤9和步骤10中的偏置处理，是为了消除结果中的负数，偏置方法是对所有结果加上同一个正数。
与现有技术相比，本发明的有益效果体现在：
本发明提供的方法先将视觉多通道相似度融合质量评价与觉多通道投影矩阵信噪比融合质量评价进行融合，以此来获得每帧失真图像的视觉测量率自适应融合评价，这样能够使得各项评价指标都维持了最高水平，大多数情况下具有较大的优势，并且具有更好的稳定性。
附图说明
图1为本发明提供的基于视觉测量率自适应融合的全参考图像质量客观评价方法的操作流程图；
图2为本实施例的预处理结果图像；
图3为本实施例对图2提取的一个视觉通道的信息视图；
图4为本实施例对图3构造的视觉通道投影矩阵；
图5为本实施例的图像质量BP神经网络融合评价模型。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
本实施中以德克萨斯大学奥斯汀分校图像视频工程所提供的LIVE Release 2图像标准数据库为例进行说明。德克萨斯大学奥斯汀分校图像视频工程所提供的LIVERelease 2图像标准数据库，存储有一些配对的标准案例(即参考图像和失真图像对)，每个案例中的失真图像均有对应的MOS值(主观评价分值)已知，该MOS值即为人眼的主测量试结果。
进行全参考图像质量客观评价时，首先从LIVE Release 2图像标准数据库选择参考图像和相应的失真图像，然后进行对选择的失真图像进行全参考图像质量客观评价，流程如图1所示，该方法包括：
步骤1，按照如下公式对参考图像和失真图像进行灰度化处理，将其分别变换为灰度图像Gray：
Gray＝0.29900·R+0.58700·G+0.11400·B
其中，R、G、B分别为源图像(失真图像或参考图像)在R、G、B三个通道上的强度值。
对经过灰度变换得到的灰度图像分别进行高斯低通滤波处理，滤波器的窗口大小为k×k，作为优选，k的取值范围为0.015t～0.42t，t取图像矩阵行和列的最小值，标准差为1.0～3.0。本实施例对原始图像的预处理结果如图2所示。
步骤2，基于小波变换提取所有图像灰度矩阵的视觉多通道信息视图。
具体地，步骤2中，采用Log-Gabor小波变化方法提取所有图像灰度矩阵的视觉多通道信息视图，具体如下：
v(s,o)(i,j)＝F-1[G(ω,θj)×F(f(i,j)]
式中，f(i,j)代表原始图像，v(s,o)(i,j)代表对原始图像f(i,j)提取的视觉通道(s,o)信息视图，s、o分别为log-Gabor尺度因子和方向因子，F(·)表示频域正变换，F-1(·)表示频域逆变换，G(ω,θj)为log-Gabor的频率函数表达式。
本实施例中，s＝5，o＝4，对图2进行基于Log-Gabor小波的多通道分解的其中一个视觉通道(1,1)的结果如图3所示。
步骤3，设计视觉多通道相似度质量评价算法，根据参考图像灰度矩阵的视觉多通道信息视图，并利用该视觉多通道相似度评价算法计算所有失真图像灰度矩阵的视觉多通道相似度质量评价。
步骤3中，
所述视觉多通道相似度质量评价算法如下：
MSM(s,o)＝mean[MSM(s,o)(i,j)]
式中，MSM(s,o)表示视觉多通道相似度质量评价算法，mean[·]代表求平均值，MSM(s,o)(i,j)代表视觉多通道相似度评价视图，MSM(s,o)(i,j)的计算公式如下：
式中，x(s,o)(i,j)表示参考图像灰度矩阵的视觉通道(s,o)信息视图，y(s,o)(i,j)表示失真图像灰度矩阵的视觉通道(s,o)信息视图，C1为保证算法稳定性的常数。
步骤4，设计视觉多通道测量率系数。
步骤4中，视觉多通道测量率系数采用以下公式获得：
式中，C(s,o)为视觉多通道测量率系数，K为经验调节系数，max(·)表示求最大值，N1,N2分别为视图x(s,o)(i,j)和视图y(s,o)(i,j)中灰度值不为0的像素数量，P×Q为x(s,o)(i,j)的矩阵大小，CSF(s,o)为视觉多通道对比度敏感函数。
本实施例中，K＝0.05，CSF(s,o)按照如下公式取值：
式中，f(s)＝2-s·r·v·tan(0.5°)，r是显示器的分辨率，v是视距，根据主测量试条件，取r＝96(pixels/inch)，v＝19.1(inch)，λ调节fpeak，λ＝0.228，则fpeak＝4c/deg。
步骤5，基于所设计的视觉多通道测量率系数，针对失真图像灰度矩阵和参考图像灰度矩阵的每个视觉通道，构造视觉多通道随机测量矩阵。
其中，视觉通道随机测量矩阵中每个元素均在1、-1和0中随机选取，各个视觉通道随机测量矩阵的行数L1(s,o)和列数L2(s,o)满足：
L1(s,o)＝C(s,o)·Q，L2(s,o)＝P
其中，P、Q分别为视图x(s,o)(i,j)的行数和列数，C(s,o)为视觉多通道测量率系数。
本实施例中，每个视觉通道随机矩阵的元素取值均服从随机分布，每个的元素均在1、-1和0中随机取值，且其取值概率分别为1/6、1/6和2/3。
步骤6，将构造的视觉多通道随机测量矩阵与所有图像灰度矩阵的对应视觉通道信息视图相乘，得到所有图像灰度矩阵的视觉多通道投影矩阵。
图4是图3所示的视觉通道的信息视图与视觉通道随机测量矩阵相乘后获得的视觉通道投影矩阵。
步骤7，设计视觉多通道投影矩阵信噪比质量评价算法，利用该视觉多通道投影矩阵信噪比质量评价算法计算所有失真图像灰度矩阵的视觉多通道投影矩阵信噪比质量评价。
步骤7中，所述视觉多通道投影矩阵信噪比质量评价算法如下：
其中，x(s,o)(i,j)、y(s,o)(i,j)分别为参考图像灰度矩阵和失真图像灰度矩阵视觉通道对应的投影系数矩阵中第i行第j列的元素值；n为参考图像灰度矩阵的灰度等级水平，本实施例中，n＝8。
步骤8，构建BP神经网络模型。
步骤8构造的BP神经网络模型如图5所示，其中，IQA代表PSNR或MSM客观评价算法，BP神经网络输入层神经元的数量等于小波分解的通道数量5×4＝20，隐藏层为一层，隐藏层的神经元数量取20，BP神经网络的输出层神经元数量只有一个，BP神经网络的输出层神经元数量只有一个，该输出代表失真图像质量基于所选客观评价算法的视觉多通道评价的融合结果。BP神经网络的训练目标为失真图像质量的人眼主观测试结果分值DMOS。BP神经网络所训练输入数据的长度等于训练集数据库中失真图像的数量。BP神经网络的训练目标为失真图像质量的人眼主观测试结果分值DMOS。BP神经网络所训练输入数据的长度等于训练集数据库中失真图像的数量，对BP网络进行有监督的学习训练，直到达到BP神经网络的其中一个训练终止条件。两个训练终止条件分别为：
(1)BP预测输出和DMOS之间的误差e＝0.00001。
(2)迭代次数取为500。
步骤9，利用训练集中所有失真图像灰度矩阵的视觉多通道相似度质量评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像灰度矩阵的视觉多通道相似度质量评价输入到训练好的BP神经网络模型进行预测，输出失真图像灰度矩阵的视觉多通道相似度融合质量评价结果，并对该结果进行偏置处理；
步骤10，利用训练集中所有失真图像灰度矩阵的视觉多通道投影矩阵信噪比质量评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像灰度矩阵的视觉多通道投影矩阵信噪比质量评价输入到训练好的BP神经网络模型进行预测，输出失真图像灰度矩阵的视觉多通道投影矩阵信噪比融合质量评价结果，并对该结果进行偏置处理；
步骤11，利用自适应融合算法对步骤9和步骤10所得结果进行融合，获得测试集数据库中每帧失真图像的视觉测量率自适应融合评价结果。
具体地，所述自适应融合算法如下：
失真图像质量的视觉测量率自适应融合评价结果VMAF的融合算法公式如下：
式中，VMAF为MSM与PSNR的融合结果，MSM、PSNR分别为MSM(s,o)和PSNR(s,o)基于BP神经网络模型预测输出的融合质量评价结果，λ1＝1/[1+γ11·(PSNR+A)γ12]，参数γ11和γ12根据经验和实验训练取值，A为完成偏置处理的一个正的常数。
本实施例中，参数γ11和γ12取值根据图像失真类型不同而有所不同，详见表1，A＝1。
基于步骤11中得到的评价结果y分值和LIVE Release 2图像标准数据库中记载的各个失真图像的主观评估分MOS分值，根据国际视频质量专家组(Video Quality ExpertsGroup，VQEG)规范计算得到本发明的客观评价方法的SROCC指标、RMSE指标和PLCC指标。
表1为利用本实施例的客观评价方法(DFPG)与现有的评价方法对LIVE Release 2图像标准数据库中的标准案例进行全参考图像质量客观评价时得到的评价结果的SROCC指标、RMSE指标和PLCC指标对比。本实施例中的现有评价方法涵盖了目前较新的研究成果，将其分为四类。第一类是经典方法和工程学方法，包括PSNR(Peak Signal to Noise Ratio，峰值信噪比)、SSIM(Structural Similarity，结构相似度)、SVD(Singular ValueDecomposition，奇异值分解)；第二类是基于工程学的信息处理类评价方法，包括IFC(Information Fidelity Criterion，信息保真度IFC)、MSSIM(Multi-scale StructuralSimilarity，多尺度结构相似)，SPMM(发明专利：一种基于压缩感知的全参考图像质量客观评价方法，授权号码ZL201510478400.8)；第三类是视觉特征及其融合处理类评价方法，包括VIF(Visual Information Fidelity，视觉信息保真度)、FSIM(Feature SimilarityFSIM，特征结构相似度)、VSI(Visual Saliency Induced，视觉显著)；第四类是基于视觉特征感知处理与视觉心理推导融合类评价方法，包括MAD(Most Apparent Distortion，显著失真)和IGM(Internal Generative Mechanism，内推机制)。
Release 2图像标准数据库中失真图像的格式包括JP2K、JPEG、WN、Gblur和FF，为说明本实施例的方法的适用范围，表1中给出的不同方法下各个指标(即评价指标)的值为对Release 2图像标准数据库中该类的所有失真图像评的评价指标水平，表1中All表示针对Release 2图像标准数据库中的所有格式的失真图像。
表1
从表1可以看出，对于各类失真图像质量的评价，与现有的评价方法比较，本实施例的方法VMAF对应的RMSE、PLCC和SROCC三个评价指标都维持了最高的水平，远远高于现有的经典方法和工程学方法，和工程学的信息处理类评价方法相比具有较大的优势，明显优于视觉特征及其融合处理类评价方法，和视觉特征感知处理与视觉心理推导融合类评价方法相比，个别指标持平，大部分指标也有较大的优势。此外，对于不同失真类型的图像质量评价，本实施例的方法对应的RMSE、PLCC和SROCC三个评价指标水平，相对所有其它方法的变动范围都是最小的，因此，本实施例的方法具有更好的稳定性。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于视觉测量率自适应融合的全参考图像质量客观评价方法，其特征在于，包括：
步骤1，选取一个图像质量数据库，对该图像质量数据库中所有的参考图像和失真图像进行预处理得到相应的图像灰度矩阵，并将图像灰度矩阵分为训练集和测试集；
步骤2，基于小波变换提取所有图像灰度矩阵的视觉多通道信息视图；
步骤3，设计视觉多通道相似度质量评价算法，根据参考图像灰度矩阵的视觉多通道信息视图，并利用该视觉多通道相似度评价算法计算所有失真图像灰度矩阵的视觉多通道相似度质量评价；
步骤4，设计视觉多通道测量率系数；
步骤5，基于所设计的视觉多通道测量率系数，构造视觉多通道随机测量矩阵；
步骤6，将构造的视觉多通道随机测量矩阵与所有图像灰度矩阵的对应视觉通道信息视图相乘，得到所有图像灰度矩阵的视觉多通道投影矩阵；
步骤7，设计视觉多通道投影矩阵信噪比质量评价算法，利用该视觉多通道投影矩阵信噪比质量评价算法计算所有失真图像灰度矩阵的视觉多通道投影矩阵信噪比质量评价；
步骤8，构建BP神经网络模型；
步骤9，利用训练集中所有失真图像灰度矩阵的视觉多通道相似度质量评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像灰度矩阵的视觉多通道相似度质量评价输入到训练好的BP神经网络模型进行预测，输出失真图像灰度矩阵的视觉多通道相似度融合质量评价结果，并对该结果进行偏置处理；
步骤10，利用训练集中所有失真图像灰度矩阵的视觉多通道投影矩阵信噪比质量评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像灰度矩阵的视觉多通道投影矩阵信噪比质量评价输入到训练好的BP神经网络模型进行预测，输出失真图像灰度矩阵的视觉多通道投影矩阵信噪比融合质量评价结果，并对该结果进行偏置处理；
步骤11，利用自适应融合算法对步骤9和步骤10所得结果进行融合，获得测试集数据库中每帧失真图像的视觉测量率自适应融合评价结果。
2.如权利要求1所述的基于视觉测量率自适应融合的全参考图像质量客观评价方法，其特征在于，步骤1中，所述预处理包括依次进行灰度化处理和高斯低通滤波，训练集与测试集中失真图像数量的比例为1/3～1。
3.如权利要求1所述的基于视觉测量率自适应融合的全参考图像质量客观评价方法，其特征在于，步骤2中，采用Log-Gabor小波变化方法提取所有图像灰度矩阵的视觉多通道信息视图，具体如下：
v(s,o)(i,j)＝F-1[G(ω,θj)×F(f(i,j)]
式中，f(i,j)代表原始图像，v(s,o)(i,j)代表对原始图像f(i,j)提取的视觉通道(s,o)信息视图，s、o分别为log-Gabor尺度因子和方向因子，F(·)表示频域正变换，F-1(·)表示频域逆变换，G(ω,θj)为log-Gabor的频率函数表达式。
4.如权利要求1所述的基于视觉测量率自适应融合的全参考图像质量客观评价方法，其特征在于，步骤3中，所述视觉多通道相似度质量评价算法如下：
MSM(s,o)＝mean[MSM(s,o)(i,j)]
式中，MSM(s,o)表示视觉多通道相似度质量评价算法，mean[·]代表求平均值，MSM(s,o)(i,j)代表视觉多通道相似度评价视图，MSM(s,o)(i,j)的计算公式如下：
式中，x(s,o)(i,j)表示参考图像灰度矩阵的视觉通道(s,o)信息视图，y(s,o)(i,j)表示失真图像灰度矩阵的视觉通道(s,o)信息视图，C1为保证算法稳定性的常数。
5.如权利要求1所述的基于视觉测量率自适应融合的全参考图像质量客观评价方法，其特征在于，步骤4中，所述视觉多通道测量率系数采用以下公式获得：
式中，C(s,o)为视觉多通道测量率系数，K为经验调节系数，max(·)表示求最大值，N1,N2分别为视图x(s,o)(i,j)和视图y(s,o)(i,j)中灰度值不为0的像素数量，P×Q为x(s,o)(i,j)的矩阵大小，CSF(s,o)为视觉多通道对比度敏感函数。
6.如权利要求1所述的基于视觉测量率自适应融合的全参考图像质量客观评价方法，其特征在于，步骤5中，所述视觉通道随机测量矩阵中每个元素均在1、-1和0中随机选取，各个视觉通道随机测量矩阵的行数L1(s,o)和列数L2(s,o)满足：
L1(s,o)＝C(s,o)·Q，L2(s,o)＝P
其中，P、Q分别为视图x(s,o)(i,j)的行数和列数，C(s,o)为视觉多通道测量率系数。
7.如权利要求1所述的基于视觉测量率自适应融合的全参考图像质量客观评价方法，其特征在于，步骤7中，所述视觉多通道投影矩阵信噪比质量评价算法如下：
其中，x(s,o)(i,j)、y(s,o)(i,j)分别为参考图像灰度矩阵和失真图像灰度矩阵视觉通道对应的投影系数矩阵中第i行第j列的元素值；n为参考图像灰度矩阵的灰度等级水平。
8.如权利要求1所述的基于视觉测量率自适应融合的全参考图像质量客观评价方法，步骤11中，所述自适应融合算法如下：
失真图像质量的视觉测量率自适应融合评价结果VMAF的融合算法公式如下：
式中，VMAF为MSM与PSNR的融合结果，MSM、PSNR分别为MSM(s,o)和PSNR(s,o)基于BP神经网络模型预测输出的融合质量评价结果，参数γ11和γ12根据经验和实验训练取值，A为完成偏置处理的一个正的常数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810359848.1A CN108596890B (zh) | 2018-04-20 | 2018-04-20 | 一种基于视觉测量率自适应融合的全参考图像质量客观评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810359848.1A CN108596890B (zh) | 2018-04-20 | 2018-04-20 | 一种基于视觉测量率自适应融合的全参考图像质量客观评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108596890A true CN108596890A (zh) | 2018-09-28 |
| CN108596890B CN108596890B (zh) | 2020-06-16 |
Family
ID=63614276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810359848.1A Active CN108596890B (zh) | 2018-04-20 | 2018-04-20 | 一种基于视觉测量率自适应融合的全参考图像质量客观评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108596890B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110276744A (zh) * | 2019-05-15 | 2019-09-24 | 北京航空航天大学 | 图像拼接质量的测评方法及装置 |
| WO2019182759A1 (en) * | 2018-03-20 | 2019-09-26 | Uber Technologies, Inc. | Image quality scorer machine |
| CN110428415A (zh) * | 2019-08-05 | 2019-11-08 | 上海联影医疗科技有限公司 | 医学图像的质量评估方法、装置、设备及存储介质 |
| CN110555843A (zh) * | 2019-09-11 | 2019-12-10 | 浙江师范大学 | 一种高精度的无参考融合遥感影像质量分析方法及系统 |
| CN113074766A (zh) * | 2021-03-19 | 2021-07-06 | 广东工业大学 | 面向微纳米视觉运动追踪的抗轴向偏差性能评估方法 |
| CN113920145A (zh) * | 2021-12-08 | 2022-01-11 | 天津大学 | 一种投影系统投射图像质量评价计算方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105118053A (zh) * | 2015-08-06 | 2015-12-02 | 浙江科技学院 | 一种基于压缩感知的全参考图像质量客观评价方法 |
| CN105160678A (zh) * | 2015-09-02 | 2015-12-16 | 山东大学 | 基于卷积神经网络的无参考立体图像质量评估方法 |
| US20160358321A1 (en) * | 2015-06-05 | 2016-12-08 | Sony Corporation | Full reference image quality assessment based on convolutional neural network |
-
2018
- 2018-04-20 CN CN201810359848.1A patent/CN108596890B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160358321A1 (en) * | 2015-06-05 | 2016-12-08 | Sony Corporation | Full reference image quality assessment based on convolutional neural network |
| CN105118053A (zh) * | 2015-08-06 | 2015-12-02 | 浙江科技学院 | 一种基于压缩感知的全参考图像质量客观评价方法 |
| CN105160678A (zh) * | 2015-09-02 | 2015-12-16 | 山东大学 | 基于卷积神经网络的无参考立体图像质量评估方法 |
Non-Patent Citations (1)
| Title |
|---|
| 丰明坤: "《基于视觉特性的图像质量综合评价方法研究》", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019182759A1 (en) * | 2018-03-20 | 2019-09-26 | Uber Technologies, Inc. | Image quality scorer machine |
| US10916003B2 (en) | 2018-03-20 | 2021-02-09 | Uber Technologies, Inc. | Image quality scorer machine |
| CN110276744A (zh) * | 2019-05-15 | 2019-09-24 | 北京航空航天大学 | 图像拼接质量的测评方法及装置 |
| CN110276744B (zh) * | 2019-05-15 | 2021-10-26 | 北京航空航天大学 | 图像拼接质量的测评方法及装置 |
| CN110428415A (zh) * | 2019-08-05 | 2019-11-08 | 上海联影医疗科技有限公司 | 医学图像的质量评估方法、装置、设备及存储介质 |
| CN110428415B (zh) * | 2019-08-05 | 2022-05-13 | 上海联影医疗科技股份有限公司 | 医学图像的质量评估方法、装置、设备及存储介质 |
| CN110555843A (zh) * | 2019-09-11 | 2019-12-10 | 浙江师范大学 | 一种高精度的无参考融合遥感影像质量分析方法及系统 |
| CN110555843B (zh) * | 2019-09-11 | 2023-05-09 | 浙江师范大学 | 一种高精度的无参考融合遥感影像质量分析方法及系统 |
| CN113074766A (zh) * | 2021-03-19 | 2021-07-06 | 广东工业大学 | 面向微纳米视觉运动追踪的抗轴向偏差性能评估方法 |
| CN113074766B (zh) * | 2021-03-19 | 2023-01-10 | 广东工业大学 | 一种微纳米视觉运动追踪系统 |
| CN113920145A (zh) * | 2021-12-08 | 2022-01-11 | 天津大学 | 一种投影系统投射图像质量评价计算方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108596890B (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108596890A (zh) | 一种基于视觉测量率自适应融合的全参考图像质量客观评价方法 | |
| CN108615231A (zh) | 一种基于神经网络学习融合的全参考图像质量客观评价方法 | |
| Rizzi et al. | A proposal for contrast measure in digital images | |
| CN113240580A (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN108681991A (zh) | 基于生成对抗网络的高动态范围反色调映射方法及系统 | |
| CN107248144A (zh) | 一种基于压缩型卷积神经网络的图像去噪方法 | |
| CN103475881B (zh) | Dct域内基于视觉注意力机制的图像jnd阈值计算方法 | |
| CN105118053B (zh) | 一种基于压缩感知的全参考图像质量客观评价方法 | |
| CN108074239A (zh) | 一种基于先验感知质量特征图的无参考图像质量客观评价方法 | |
| CN108550152A (zh) | 基于深度特征感知推理的全参考图像质量客观评价方法 | |
| CN109816646A (zh) | 一种基于退化决策逻辑的无参考图像质量评价方法 | |
| CN106412571A (zh) | 一种基于梯度相似性标准差的视频质量评价方法 | |
| CN105894507B (zh) | 基于图像信息量自然场景统计特征的图像质量评价方法 | |
| CN108401150B (zh) | 一种模拟视觉主观感知的压缩感知重建算法质量统计评价方法 | |
| CN108648180A (zh) | 一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法 | |
| CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 | |
| Reddy et al. | Image Compression and reconstruction using a new approach by artificial neural network | |
| CN117333365A (zh) | 基于混合Transformer超分辨率网络的图像超分辨率方法 | |
| CN111127386B (zh) | 一种基于深度学习的图像质量评价方法 | |
| CN105844640A (zh) | 基于梯度的彩色图像质量评价方法 | |
| CN117372271A (zh) | 一种基于知识蒸馏的自监督可见光与红外图像融合方法 | |
| CN116993639A (zh) | 基于结构重参数化的可见光与红外图像融合方法 | |
| CN116363094A (zh) | 一种超分辨率重建图像质量评价方法 | |
| CN116416157A (zh) | 基于两阶段注意力机制的快速水下图像增强方法 | |
| Yuan et al. | Color image quality assessment with multi deep convolutional networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |