CN108830829B - 联合多种边缘检测算子的无参考质量评价算法 - Google Patents

Abstract

本发明涉及一种联合多种边缘检测算子的无参考质量评价算法，利用联合熵和链式法则定义条件熵，包括以下步骤：选取用于训练和测试的图像；计算图像的梯度、相对梯度和高斯拉普拉斯算子(LoG)；提取的图像特征，包括：相对梯度方向RO的标准差、梯度和LoG之间的条件熵H(GM|L)、H(L|GM))、相对梯度和LoG之间的条件熵H(GM|L)‑H(RM|L)、H(L|GM)‑H(L|RM))共5维特征；根据人眼视觉系统特性中的多尺度性，采用下采样方法，再提取缩小后图像的上述的5维特征，最终得到10维特征向量；用AdaBoost神经网络进行回归以预测图像质量分数。

Description

联合多种边缘检测算子的无参考质量评价算法

技术领域：

本发明涉及对2D数字图像进行无参考的客观质量评价领域。

背景技术：

随着数字成像技术和互联网的飞速发展，图像在人们日常生活中使用的越来越频繁。然而图像在采集、压缩、传输、储存等过程中总会不可避免的产生失真，导致最终得到图像存在一定的降质，不能满足人们的需要。设计一个有效的图像质量评价方法(ImageQuality Assessment,IQA)在图像压缩、图像去模糊、图像增强等图像处理方面都有重要的作用。图像质量评价方法可以分为主观评价和客观评价两类。前者是由若干观察者对图片的质量进行评分，然后通过统计方法得到平均分值,称为MOS(Mean Opinion Score)或DMOS(DifferentialMOS)。后者使用一系列的算法代替人类视觉系统对图像质量进行预测。一般来说，主观评价的方法更加可靠，但这种方法费时费力，稳定性较差，因此客观的质量评价方法成为研究重点。根据是否需要原始参考图像，客观评价方法可以分为三类：全参考质量评价算法(FullReference,FR)、半参考质量评价算法(ReducedReference,RR)以及无参考质量评价算法(No Reference,NR)。由于实际应用中往往无法获得原始参考图像，所以研究无参考图像质量评价算法更加具有现实意义。目前主流的无参考质量评价算法分为两大类：基于自然场景统计(Natural Scene Statistics,NSS)的方法和基于边缘和结构性信息的方法。

自然图像具有相似的统计特性，而失真会造成这种统计特性的改变，通过计算失真图像和参考图像统计特性的差异可以进行图像质量的预测。一般来说，基于NSS的方法有一定的局限性，这类方法大都只关注失真对图像的整体影响，而很少考虑局部的结构性损失，并且这类方法只适用于自然图像的质量评价，对于非自然图像的预测结果并不理想。

人类视觉系统对图像的边缘结构比较敏感，因此有许多评价算法利用边缘和结构信息来进行质量预测。目前，基于边缘信息的算法已经取得了很好的效果，这些方法大多使用单一的边缘检测算法，具有一定的针对性，但难以反映出图像全部的纹理细节。

发明内容：

本发明针对2D数字图像，提出一种新的无参考客观质量评价方法。本发明技术方案如下：

一种联合多种边缘检测算子的无参考质量评价算法，利用联合熵和链式法则定义条件熵：

H(Y|X)＝H(X,Y)-H(X) (3)

其中，p(x)是随机变量X的概率密度函数，p_XY(x,y)是两个随机变量X和Y的联合概率密度函数，H(X,Y)是X和Y的联合熵，H(Y|X)是X和Y的条件熵；

此无参考质量评价算法包括以下步骤：

1)选取用于训练和测试的图像；

2)计算图像的梯度、相对梯度和高斯拉普拉斯算子(LoG)；

3)分别计算梯度和LoG之间的条件熵H(GM|L)、H(L|GM)，相对梯度和LoG之间的条件熵H(GM|L)-H(RM|L)、H(L|GM)-H(L|RM)；

4)提取的图像特征包括：相对梯度方向RO的标准差、梯度和LoG之间的条件熵H(GM|L)、H(L|GM))、相对梯度和LoG之间的条件熵H(GM|L)-H(RM|L)、H(L|GM)-H(L|RM))共5维特征；

5)根据人眼视觉系统特性中的多尺度性，采用下采样方法，再提取缩小后图像的上述的5维特征，最终得到10维特征向量；

6)将所提取的10维特征向量，用AdaBoost神经网络进行回归以预测图像质量分数。

本发明利用失真条件下一阶边缘信息和二阶边缘信息之间的相似性进行质量预测。将信息论中的条件熵运用到边缘信息的相似性的定量表达上。首先对灰度图像进行滤波，滤波算子分别为梯度、相对梯度以及高斯-拉普拉斯算子(Laplacian of Gassian,LoG算子)，接着利用条件熵来量化不同特征之间的相互关系，表征梯度与LoG的相似程度。然后使用AdaBoost神经网络进行回归以预测图像质量。实验结果表明该方法的预测评分与主观评分有较高的一致性。对比实验表明该算法性能优于当今主流的无参考质量评价算法。

附图说明：

通过附图，可以使本发明的实施步骤及优点更加直观，同时使读者更容易理解本发明的流程与操作。

图1数据库中的一幅失真图像；

图2基于梯度算子的该图像的边缘特征；

图3基于相对梯度算子的该图像的边缘特征；

图4基于LoG算子的该图像的边缘特征；

图5发明方案所使用的Adaboost神经网络的框图。

具体实施方式：

为使本发明的方案更加清楚明了，便于实施，以便于更加凸显本发明的优点及目的，下面结合附图对本发明实施方案作进一步地详细阐述与说明。

101：数字图像边缘特征检测；

首先计算一阶边缘信息梯度及相对梯度。分别计算梯度的幅值GM和方向GO，由公式(4)-(5)计算。

其中

为水平方向的导数；

为垂直方向的导数；I代表原始的失真图像，

代表线性卷积运算，而h_x和h_y分别是水平方向和垂直方向的滤波模板。

为了突出邻域的结构特点，还要计算相对梯度。失真图像相对梯度方向的概率分布具有一定的规律性，能够作为衡量图像质量的特征，相对梯度幅度RM和相对梯度方向RO可以由公式(6)-(7)计算得到：

其中dx_AVE和dy_AVE分别由dx和dy经过3×3均值滤波得到。提取RO(相对梯度方向)的标准差并作为第一维特征。下面举例以使操作步骤更形象直观。选择LIVE图像数据库中的一幅失真图像(图1所示)，使用梯度算子和相对梯度算子检测该图像的边缘信息(分别对应图2和图3)。

然后计算二阶边缘LoG特征，记为L。一个典型的LoG特征由公式(8)-(9)给出：

其中

是二维高斯函数，h_LoG是LoG的滤波模板，σ是高斯函数的参数，在本发明方案中设置其值为0.5。同样，将已选的失真图像(图1所示)，使用LoG算子检测该图像的边缘信息(图4所示)。

102：边缘特征之间的条件熵计算；

使用条件熵来衡量提取的一阶边缘特征和二阶边缘特征的相似性。提取GM、RM和LoG之间的条件熵作为最终的特征，即H(GM|L)、H(L|GM)、H(GM|L)-H(RM|L)和H(L|GM)-H(L|RM)共计4维特征。结合101步骤所述的选取RO标准差为第一维特征，共5维特征。

103：通过下采样增加特征向量的维数；

考虑到人眼视觉系统的多尺度性，并且为了从多尺度的层面来更好地描述图像，采用下采样的方法，得到失真图像对应的缩小后图像。同样，对缩小后图像进行上述的特征提取，得到缩小后图像的5维特征，共计10维特征。

104:用AdaBoost神经网络回归预测图像质量分数；

本发明方案采用AdaBoost神经网络(AdaBoost neural network)进行回归。图5为本发明方案所使用的AdaBoost网络的基本框图。该神经网络的输入为图像对应的特征向量，输出为预测的图形质量分数。该回归方法使用10个BP(Back-Propagation)神经网络作为弱分类器，每个BP神经网络有两个隐藏层，每个隐含层和输入层具有相同的节点数，第一个隐藏层使用sigmoid函数作为激活函数，第二个隐藏层使用径向基函数作为激活函数。将每个BP神经网络的输出通过联合函数进行加权，得到最终的预测评分。设

是第i个BP神经网络对第j个图像的预测值，Y^j是第j个图像的真实图像质量，每个样本(第j个图像)的误差分布可由公式(10)-(11)求出：

其中f(x)是阈值函数，K是样本总个数，σ是阈值，设置其值为0.1。将每个弱分类器的样本误差进行累加得到累积误差，记为E_i，由公式(12)求出：

使用sigmoid函数得到每个弱分类器的权值，记为α_i，由公式(11)求出：

设

是网络输出的最终预测值，则弱分类器的联合函数为：

105：实验结果；

选择LIVE II数据库和TID2008数据库进行回归预测实验。LIVE II数据库由29张参考图像生成5种不同类型的失真，总共包含779张失真图像。TID2008数据库将24张真实图像和一张电脑合成图像作为参考图像，生成17种失真类型，在本发明方案中，仅考虑该数据库中JPEG，JPEG2000，高斯模糊和加性噪声4种常见的失真，并且不考虑电脑合成的图像，因此总共使用384张失真图像。

将数据库中所有失真图像随机的分成80％的训练样本和20％的测试样本两部分，并且两部分中没有内容相同的图像。根据预测的质量分数与主观DMOS值计算斯皮尔曼等级相关系数(Spearman’s Rank Ordered Correlation Coefficient,SROCC)和皮尔逊线性相关系数(Pearson Linear Correlation Coefficient,PLCC)，取1000次迭代测试得到的SROCC和PLCC中值作为无参考质量评价算法性能的衡量结果。将本发明方案算法与全参考评价方法PSNR、SSIM以及现有的一些无参考质量评价算法(BIQI、DIIVINE、BLIINDS-II、BRISQUE、CORNIA)进行比较。整体上来说，本发明方案算法在LIVE II数据库和TID2008数据库上的评价效果均要优于其他无参考质量评价算法，与主观评分有高度的一致性，如表1所示。并且本发明方案算法仅使用了10维特征，而对比算法中性能较好的BRISQUE和CORNIA分别使用了36维和20000维。

本发明方案提出了一种新的无参考质量评价方法，为了避免单一算子的局限性，同时考虑一阶边缘特征GM和二阶边缘特征LoG，并利用它们之间的相似度来预测图像质量。考虑到了全局特征与局部特征的关系，同时使用全局的GM特征与改进的局部RM特征，能够更好地反映出失真对图像纹理细节的破坏。将信息论中的条件熵引入来衡量两种特征的相似性，不仅可以很好的表达出图像的失真程度，而且大大减少了特征的维数，本算法仅使用10维特征就能达到理想的效果。本发明方案算法实现的对图像质量的客观评价与主观评价有高度的一致性，符合人眼的视觉系统。统计结果表明该算法性能优于大部分主流的无参考质量评价算法，在不同的训练——测试比例下均有着较好的性能，具有高度的鲁棒性，并且有较低的计算复杂度，可以满足实时性需要。

表1本算法性能的评价指标SROCC、PLCC的实验结果

Claims (1)

1.一种联合多种边缘检测算子的无参考质量评价算法，利用联合熵和链式法则定义条件熵：

H(Y|X)＝H(X,Y)-H(X) (3)

其中，p(x)是随机变量X的概率密度函数，p_XY(x,y)是两个随机变量X和Y的联合概率密度函数，H(X,Y)是X和Y的联合熵，H(Y|X)是X和Y的条件熵；

此无参考质量评价算法包括以下步骤：

1)选取用于训练和测试的图像；

2)计算图像的梯度、相对梯度和高斯拉普拉斯算子LoG；

3)分别计算梯度和LoG之间的条件熵H(GM|L)、H(L|GM)，相对梯度和LoG之间的条件熵H(GM|L)-H(RM|L)、H(L|GM)-H(L|RM)；

4)提取的图像特征包括：相对梯度方向RO的标准差、梯度和LoG之间的条件熵H(GM|L)、H(L|GM))、相对梯度和LoG之间的条件熵H(GM|L)-H(RM|L)、H(L|GM)-H(L|RM))共5维特征；

5)根据人眼视觉系统特性中的多尺度性，采用下采样方法，再提取缩小后图像的上述的5维特征，最终得到10维特征向量；

6)将所提取的10维特征向量，用AdaBoost神经网络进行回归以预测图像质量分数。

Images