CN106600597B

CN106600597B - 一种基于局部二值模式的无参考彩色图像质量评价方法

Info

Publication number: CN106600597B
Application number: CN201611197884.XA
Authority: CN
Inventors: 李国宽; 黄浩; 谢长生; 姚巍; 李淑丽; 王坤
Original assignee: Huazhong University of Science and Technology; Shenzhen Huazhong University of Science and Technology Research Institute
Current assignee: Huazhong University of Science and Technology; Shenzhen Huazhong University of Science and Technology Research Institute
Priority date: 2016-12-22
Filing date: 2016-12-22
Publication date: 2019-04-12
Anticipated expiration: 2036-12-22
Also published as: CN106600597A

Abstract

本发明公开了一种基于局部二值模式的无参考彩色图像质量评价方法，其包括如下步骤：计算失真图像的互信息、均值、方差、对比度和信息熵，并将所述互信息、均值、方差、对比度和信息熵作为所述失真图像的特征值，构建所述失真图像的多维特征向量；利用支持向量回归分析对所述失真图像的多维特征向量与其对应的人眼主观评分进行训练，得到所述失真图像的多维特征向量与人眼主观评分之间的函数关系模型；将待评价失真图像的多维特征向量作为所述函数关系模型的输入值，所述函数关系模型的输出值即为所述待评价失真图像的质量评价值。本发明的方法不仅充分考虑了图像的色彩变化，而且能够更有效、更准确地对彩色图像进行质量评价。

Description

一种基于局部二值模式的无参考彩色图像质量评价方法

技术领域

本发明属于彩色图像质量评价领域，更具体地，涉及一种基于局部二值模式的无参考彩色图像质量评价方法。

背景技术

随着社会信息化进程不断推进，数字图像与人类生产生活的关系日益密切，人们对图像质量的要求也越来越高。一幅好的图像应该具有美观、清晰、层次丰富、目标突出等特点，可以给人更多信息，并且使人易于接受和理解。然而，在数字图像处理涉及的各个环节中，包括图像采集、存储、编码压缩、传输、重建等，图像很容易受到诸如传输介质、处理技术、成像系统、物体运动等一些不可控因素的影响，使得图像不可避免引入一些干扰，造成质量降低，因此图像质量评价是图像处理研究领域中至关重要的一个环节，非常有必要在图像采集、编码压缩、图像去模糊、网络传输等领域建立有效的图像质量评价机制。

图像质量评价方法可分为主观评价方法和客观评价方法，它们是按照评价主体不同来划分的，前者由人来直接评价，后者由算法模型来预测；客观评价方法按照原始图像的可利用程度不同又可分为全参考图像质量评价——原图像信息完全可用、半参考(部分参考)图像质量评价——原图像信息部分可用、无参考图像质量评价——原图像信息不可用。实际应用中一般是没有原始无失真图像作为参考的，因此全参考或部分参考评价方法很难开展，只能借助于无参考评价方法。无参考图像质量评价极具实用价值，它可分为两大类：面向特定失真的方法和非特定失真的方法，前者需要事先知道失真类别，使得其应用范围受限；后者基于训练和学习，是新兴的研究方向。

目前大部分的图像质量评价研究都是关于全参考的，但许多实际应用中，图像质量评价系统不能或难以获取原始无失真参考图像，因此迫切需要开发能够对图像质量进行盲评价的方法，无参考图像质量评价方法显得尤为重要。无参考图像质量评价作为一个全新的研究领域，正受到越来越多科研人员的青睐。近年来，公开发表的有关无参考图像质量评价的研究成果渐渐增多，所提出的算法性能不断优化升级。国内外很多专家学者相继投入到无参考评价方法的研究工作中，推动这一领域不断向前发展。

无参考图像质量评价直接评价失真图像本身，预先不必获得参考图像的任何先验知识，整个评价过程中没有参考图像出现。无参考图像质量评价方法更符合实际应用的需求，用途广泛，使用灵活。一方面，大多数实际应用中不能获得高品质的参考图像；另一方面，在完全不具备任何参照物的情况下，人天生就能够轻易地对图像或视频的质量给出独立且较为准确的鉴定。无参考图像质量评价方法将是图像质量评价领域最终的研究方向。目前全参考图像质量评价最为成熟，而无参考图像质量评价的研究还处于初级阶段，相关技术还不够完善，存在相当大的提升空间，原因在于当前人们对人类视觉系统的特性和大脑认知过程的理解程度相当有限，无参考评价方法的设计与建模仍是一项十分艰巨的任务。

现有的无参考质量评价方法主要是通过机器学习来预测评价模型的，但针对彩色图像，大多数方法将彩色图像转换为灰度图像进行图像质量评价，这类方法忽略了图像的色彩信息，而且在彩色图像灰度化过程中存在计算误差和原数据一致性的丢失，对于失真度不大的受损彩色图像无法有效地识别其失真类型并评估其质量。因此本发明将从色彩信息出发研究新的无参考彩色图像质量评价方法，以满足彩色图像的有效无参考评价。

专利文献CN104574381A公开了一种基于局部二值模式的全参考图像质量评价方法，该方法读入参考图像与失真图像，做灰度化处理以去除彩色信息，仅保留亮度分量进行后续处理；为减小计算复杂度，对亮度分量进行简单的2×2平均低通滤波，之后在像素域进行1/2的空间下采样，获得宽高均为输入图像尺寸一半的对应图像进行质量分析；计算空间下采样后的参考图像与失真图像在每一像素位置的局部二值模式(LBP)值；计算参考图像与失真图像每一像素位置上的LBP值差异；最后通过统计所有像素位置上LBP值差异的算术平均来获得失真图像的质量评价分。

但是专利文献CN104574381A公开的基于局部二值模式的全参考图像质量评价方法存在如下不足：

(1)该专利文献需要把彩色图像转换为灰度图像，灰度化处理去除了彩色信息，仅保留亮度分量进行后续处理，该方法用到的特征主要还是由图像的亮度信息构成，并没有从色彩本身提取特征，然而色彩信息在人类感知图像的过程中扮演着重要的角色，因此该方法存在评价结果不准确的问题，并且该方法适用的失真范围有限，只适用于评价加噪和模糊图像。

(2)该专利文献在度量失真图像质量时，需要对参考图像和失真图像进行低通滤波和下采样处理，虽然在一定程度上减小了计算复杂度，但在图像中不可避免的引入了二次失真，降低了后续特征提取的有效性和代表性。该图像质量评价方法在性能指标上与实际使用需求仍有较大距离，与人类主观感知的一致性较差。

(3)该专利文献要求评价时必须要有原始参考图像进行比较，且参考图像须是清晰质量完好的，而在很多实际应用场景中无法获得参考图像，这就制约了该方法的使用。无参考图像质量评价方法不需要原始参考图像，只需待测图像就可以进行评价，可以适应较多的应用场合。因此无参考图像质量评价方法的研究更具实用价值。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种基于局部二值模式的无参考彩色图像质量评价方法，其目的在于充分考虑图像的色彩变化，利用局部二值模式更有效地表达图像各分量的局部结构信息，并通过计算图像各分量间的互信息以及局部二值模式特征图像间的互信息来衡量整体相关性，能够提高客观评价结果与主观感知之间的相关性，从而更有效、更准确地对彩色图像进行质量评价。

为了实现上述目的，本发明提供一种基于局部二值模式的无参考彩色图像质量评价方法，该方法包括如下步骤：

(1)读取失真图像样本集中的任一失真图像，提取其R、G、B分量，并计算所述R、G、B分量两两之间的互信息；

(2)分别对所述R、G、B分量进行局部二值模式操作，得到所述R、G、B分量的局部二值模式特征图像，并计算所述局部二值模式特征图像两两之间的互信息；

(3)分别计算所述局部二值模式特征图像的均值、方差、对比度和信息熵；

(4)以所述R、G、B分量两两之间的互信息、所述局部二值模式特征图像两两之间的互信息、均值、方差、对比度和信息熵作为所述失真图像的特征值，构建所述失真图像的多维特征向量；

(5)重复步骤(1)到步骤(4)，构建所述失真图像样本集中所有失真图像的多维特征向量；

(6)利用支持向量回归分析对所述失真图像样本集中所有失真图像的多维特征向量与其对应的人眼主观评分进行训练，得到所述失真图像样本集中所有失真图像的多维特征向量与人眼主观评分之间的函数关系模型；

(7)将待评价失真图像的多维特征向量作为所述函数关系模型的输入值，所述函数关系模型的输出值即为所述待评价失真图像的质量评价值。

进一步地，所述R、G、B分量两两之间的互信息通过下式计算：

式中，和分别为I_X和I_Y的边缘概率密度函数，为I_X和I_Y的联合概率密度函数，X,Y∈{R,G,B}，且X≠Y。

进一步地，所述局部二值模式特征图像两两之间的互信息通过下式计算：

式中，X,Y∈{R-LBP,G-LBP,B-LBP}，且X≠Y，LBP对应为各分量局部二值模式操作。

进一步地，所述局部二值模式的具体方法为：

(21)设所述失真图像样本和待评价失真图像的中心点像素值为a_c，将邻域像素值a_i(i＝0,1,…,7)与a_c进行比较：

(22)通过对每个邻域像素点赋予不同的权系数2ⁱ(i＝0,1,…,7)计算所述中心像素a_c处的局部二值模式值。

进一步地，所述局部二值模式值的计算公式为：

进一步地，所述均值通过下式计算：

式中：I(x,y)为像素点(x,y)的像素值，M，N为x，y方向上的像素数。

进一步地，所述方差通过下式计算：

进一步地，所述对比度通过下式计算：

进一步地，所述信息熵通过下式计算：

式中，p(i)表示像素值为i的像素的概率。

优选地，所述多维特征向量为18维特征向量。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明的一种基于局部二值模式的无参考彩色图像质量评价方法，不仅充分考虑了图像的色彩变化，而且利用局部二值模式更有效地表达了图像各分量的局部结构信息，并通过计算图像各分量间的互信息以及局部二值模式特征图像间的互信息来衡量整体相关性，从而能够提高客观评价结果与主观感知之间的相关性。本发明能够更有效、更准确地对彩色图像进行质量评价。

(2)本发明以互信息、均值、方差、对比度、信息熵作为表征失真图像的特征值，整合构成特征向量，特征向量信息能够较好地反映待评价失真图像的质量变化情况，特征向量提取方法简单，计算复杂度低。本发明提出的基于局部二值模式的无参考彩色图像质量评价方法适应于模糊、压缩等多种失真类型图像质量评价，与人类主观评价的一致性程度高。

(3)本发明在特征向量的基础上，采用支持向量回归SVR构建无参考图像质量评价模型，从而预测得到待评价失真图像的客观质量评价值，由于充分考虑到了颜色信息和图像结构改变对视觉质量的影响，因此采用该过程得到的客观质量评价预测值能够准确地反映人眼主观感知质量，能够有效地提高无参考彩色图像质量评价方法的准确性，满足实际应用中对无参考彩色图像质量评价方法的要求。

附图说明

图1为本发明实施例一种基于局部二值模式的无参考彩色图像质量评价方法的总体实现框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1为本发明实施例一种基于局部二值模式的无参考彩色图像质量评价方法的总体实现框图。在本发明的优选实施例中，选择大型数据库(如LIVE、TID2008、TID2013)的失真图像构成失真图像样本集。如图1所示，该方法包括如下步骤：

(1)读取所述失真图像样本集中的RGB彩色失真图像I，提取其R、G、B分量，分别记为I_R、I_G、I_B；

(2)计算I_R、I_G、I_B两两之间的互信息，分别记为M(I_R，I_G)、M(I_R，I_B)、M(I_G，I_B)，用以描述RGB颜色空间的整体相关性；

(3)对上述I_R、I_G、I_B三幅图像分别进行局部二值模式LBP(Local Binary Pattern)操作，得到各自的局部二值模式特征图像，分别记为I_R-LBP、I_G-LBP、I_B-LBP；

(4)计算局部二值模式特征图像I_R-LBP、I_G-LBP、I_B-LBP两两之间的互信息，分别记为M(I_R-LBP，I_G-LBP)、M(I_R-LBP，I_B-LBP)、M(I_G-LBP，I_B-LBP)，用以描述三个局部二值模式特征图像的整体相关性；

(5)分别计算局部二值模式特征图像I_R-LBP、I_G-LBP、I_B-LBP各自的均值、方差、对比度以及信息熵作为特征值，分别记为μ_R、ν_R、c_R、h_R、μ_G、ν_G、c_G、h_G、μ_B、ν_B、c_B、h_B；

(6)以M(I_R，I_G)、M(I_R，I_B)、M(I_G，I_B)、M(I_R-LBP，I_G-LBP)、M(I_R-LBP，I_B-LBP)、M(I_G-LBP，I_B-LBP)、μ_R、ν_R、c_R、h_R、μ_G、ν_G、c_G、h_G、μ_B、ν_B、c_B、h_B作为特征值，构建18维特征向量；

(7)重复步骤(1)到(6)，构建所述失真图像样本集中的所有失真图像的18维特征向量；

(8)利用支持向量回归分析(SVR)，训练学习得到(7)中的特征向量与人类主观评分之间的函数关系模型。

如图1所示，步骤(2)具体为：

计算I_R、I_G、I_B两两之间的互信息，互信息的计算公式为：

式中，和分别为I_X和I_Y的边缘概率密度函数；为I_X和I_Y的联合概率密度函数；X,Y∈{R,G,B}，且X≠Y。用M(I_R，I_G)、M(I_R，I_B)、M(I_G，I_B)来描述RGB颜色空间的整体相关性，共计3个。

如图1所示，步骤(3)具体为：

局部二值模式LBP是一种局部信息，它反映的内容是每个像素与周围像素的关系。具体实现：采用半径为1、邻域像素数为8的LBP模式，即邻域窗口大小3×3，利用邻域像素值和中心点像素值进行比较，当邻域像素值大于等于中心点像素值时，则对应该邻域像素的位值为1，否则为零。

对于中心点像素值为a_c、坐标为(x,y)的3×3的图像块：

a<sub>7</sub>	a<sub>6</sub>	a<sub>5</sub>
			a<sub>0</sub>	a<sub>c</sub>	a<sub>4</sub>
a<sub>1</sub>	a<sub>2</sub>	a<sub>3</sub>

将a_i(i＝0,1,…,7)与a_c比较：然后，通过对每个邻域像素点赋予不同的权系数2ⁱ(i＝0,1,…,7)来计算该中心像素(x,y)处的LBP值：

LBP的编码过程如下图所示：

二进制：1110 0100 十进制：228 中心点的LBP值即为228

对整个图像的每一个像素点进行LBP运算，就可以得到该图像的LBP特征图像。因此对上述I_R、I_G、I_B三幅图像分别进行LBP操作，得到各自的LBP特征图像，分别记为I_R-LBP、I_G-LBP、I_B-LBP。

如图1所示，步骤(4)具体为：

计算I_R-LBP、I_G-LBP、I_B-LBP两两之间的互信息，互信息的计算公式为：

式中，和分别为I_X和I_Y的边缘概率密度函数；为I_X和I_Y的联合概率密度函数；X,Y∈{R-LBP,G-LBP,B-LBP}，且X≠Y。用M(I_R-LBP，I_G-LBP)、M(I_R-LBP，I_B-LBP)、M(I_G-LBP，I_B-LBP)描述三个局部二值模式特征图像的整体相关性，共计3个。

如图1所示，步骤(5)具体为：

分别计算局部二值模式特征图像I_R-LBP、I_G-LBP、I_B-LBP各自的均值、方差、对比度以及信息熵，作为特征值。

均值计算公式：

方差计算公式：

对比度计算公式：

信息熵计算公式：

式中，I(x,y)为像素点(x,y)的像素值，M，N为x，y方向上的像素数，p(i)表示像素值为i的像素的概率。

I_R-LBP的均值、方差、对比度、信息熵分别记为μ_R、ν_R、c_R、h_R；I_G-LBP的均值、方差、对比度、信息熵分别记为μ_G、ν_G、c_G、h_G；I_B-LBP的均值、方差、对比度、信息熵分别记为μ_B、ν_B、c_B、h_B；共计3×4＝12个。

如图1所示，步骤(6)具体为：

以上述计算得到的互信息、均值、方差、对比度、信息熵作为表征失真图像的特征值，整合构成18维特征向量，即为[M(I_R，I_G)，M(I_R，I_B)，M(I_G，I_B)，M(I_R-LBP，I_G-LBP)，M(I_R-LBP，I_B-LBP)，M(I_G-LBP，I_B-LBP)，μ_R，ν_R，c_R，h_R，μ_G，ν_G，c_G，h_G，μ_B，ν_B，c_B，h_B]。

提取待评价图像的特征向量，并将其作为所述评价模型的输入，模型输出值即为该图像的客观质量评价值。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于局部二值模式的无参考彩色图像质量评价方法，其特征在于，该方法包括如下步骤：

2.根据权利要求1所述的一种基于局部二值模式的无参考彩色图像质量评价方法，其特征在于，所述R、G、B分量两两之间的互信息通过下式计算：

3.根据权利要求1所述的一种基于局部二值模式的无参考彩色图像质量评价方法，其特征在于，所述局部二值模式特征图像两两之间的互信息通过下式计算：

4.根据权利要求1所述的一种基于局部二值模式的无参考彩色图像质量评价方法，其特征在于，所述局部二值模式的具体方法为：

(21)设所述失真图像样本和待评价失真图像的中心点像素值为a_c，将邻域像素值a_i与a_c进行比较，i＝0,1,…,7：

(22)通过对每个邻域像素点赋予不同的权系数2ⁱ，i＝0,1,…,7；计算所述中心像素a_c处的局部二值模式值；

所述局部二值模式值的计算公式为：

5.根据权利要求1所述的一种基于局部二值模式的无参考彩色图像质量评价方法，其特征在于，所述均值通过下式计算：

6.根据权利要求1所述的一种基于局部二值模式的无参考彩色图像质量评价方法，其特征在于，所述方差通过下式计算：

式中：I(x,y)为像素点(x,y)的像素值，M，N为x，y方向上的像素数，μ为均值。

7.根据权利要求1所述的一种基于局部二值模式的无参考彩色图像质量评价方法，其特征在于，所述对比度通过下式计算：

8.根据权利要求1所述的一种基于局部二值模式的无参考彩色图像质量评价方法，其特征在于，所述信息熵通过下式计算：

式中，p(i)表示像素值为i的像素的概率。

9.根据权利要求1所述的一种基于局部二值模式的无参考彩色图像质量评价方法，其特征在于，所述多维特征向量为18维特征向量。