CN105049851B

CN105049851B - 基于色彩感知的通用无参考图像质量评价方法

Info

Publication number: CN105049851B
Application number: CN201510398035.XA
Authority: CN
Inventors: 李俊峰; 侯海洋; 张之祥; 李旭锟
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Beijing Chuangxinzhong Technology Co Ltd
Priority date: 2015-07-06
Filing date: 2015-07-06
Publication date: 2018-01-19
Anticipated expiration: 2035-07-06
Also published as: CN105049851A

Abstract

本发明公开一种基于色彩感知的通用无参考图像质量评测方法。步骤如下：(1)根据人类视觉对RGB色彩空间中绿色分量更为敏感的颜色感知特性，提取G分量均值减损对比归一化系数及其4方向邻域系数的统计特征；(2)根据RGB色彩空间中R、G及B分量间的强相关性，分别计算RGB色彩空间各色彩分量及其纹理、相位间的互信息统计特征；(3)结合G分量MSCN系数的统计特征和各色彩分量间的互信息统计特征，分别利用SVR和SVC构建无参考图像质量评价模型和图像失真类型识别模型。本发明提出的基于色彩感知的无参考图像质量评价方法适应于模糊、压缩等多种失真类型图像质量评价，与人类主观评价高度一致，具有较强的应用价值。

Description

基于色彩感知的通用无参考图像质量评价方法

技术领域

本发明涉及一种基于色彩感知的通用无参考图像质量评价方法，属于图像处理技术领域的方法，可广泛应用于图像传输、数字电视、智能监控等领域。

背景技术

随着彩色图像的广泛使用，由于采集系统、存储介质、处理算法及传输设备的影响，设备终端获取的视频图像不可避免地会出现降质，如何评价彩色图像质量并利用评价结果动态地监测和调整图像的质量、优化算法和图像处理系统的参数等成为亟待解决的关键问题。

根据对参考图像信息的依赖程度，图像质量评价方法主要分为全参考型、部分参考型和无参考型。全参考型需要无失真的参考图像，部分参考型需要参考图像的部分信息(如水印等)，无参考型不需要参考图像的任何信息。

彩色图像的质量评价越来越受到国内外研究学者的重视。从发表论文和申请专利来看，彩色图像质量评价主要通过两种方式：(1)直接在RGB、HSV、YUV等色彩空间对彩色图像进行质量评价；(2)将彩色图像转换成灰度图像进行评价。

直接在RGB、HSV、YUV等色彩空间对彩色图像进行质量评价的主要方法有：(1)Yildiray Yalman提出利用了利用YUV色彩空间各颜色通道傅立叶变换的直方图统计特性进行图像质量评价的方法“Yildiray Yalman.Histogram based perceptual qualityassessment method for color images[J].Computer Standards&Interfaces,2014,36(6):899-908.”，这种方法没有考虑各颜色通道之间的相关性；(2)王宇庆等利用YC_bC_r色彩空间的四元矩阵奇异值来评估图像质量“王宇庆,朱明.评价彩色图像质量的四元数矩阵最大奇异值方法[J].光学精密工程,2013,21(2):469-478.”；(3)Amir Kolaman等利用RGB色彩空间图像的细节信息和颜色分量构造四元数结构相似度来评价图像质量“AmirKolaman,Orly Yadid-Pecht.Quaternion Structural Similarity:A New Quality Indexfor Color Images[J].IEEE Transactions on Image Processing.2012,21(4):1526–1536.”，这几种方法仅考虑了图像的结构信息。而且，这些方法绝大多均为全参考型，但在多媒体通信等应用中，设备终端几乎不可能获取参考图像，甚至有时获取其部分信息也是很困难的。

无参考型图像质量评价方法由于不需要参考图像的任何信息，仅根据失真图像就可以评估图像质量，因此成为机器视觉和图像处理领域的一个研究热点。无参考图像质量评价方法可分为特定失真评价和通用评价两种，特定失真评价只能对某种特定失真类型的图像进行评价，例如jpeg、jp2k及blur失真等，无法对其它类型的失真图像及多种处理技术处理后的图像进行质量评价；通用评价方法可以同时对多种失真进行评价。

研究表明，人类视觉系统的感知特性与自然场景的统计特性是一致对应的。近年来，基于自然场景统计的通用型无参考图像质量评价得到了国内外学者的广泛关注。根据提取的自然场景统计特征，通用无参考图像质量评价方法可分为空间域和变换域两种。

空间域评价方法主要有BRISUE、MIQA及SSEQ等，这类方法直接在空间域提取对失真敏感的图像统计特征，一般效率比较高。BRISUE分别利用广义高斯分布(GeneralizedGaussian Distribution，GGD)模型和非对称广义高斯分布(Asymmetric GeneralizedGaussian Distribution，AGGD)模型拟合MSCN(mean subtracted contrast normalized)系数及其邻域系数，并以这些模型参数作为特征进行质量评价；MIQA利用互信息描述原始图像、局部标准差图像及规范化亮度图像邻近像素间相关性，并利用这些互信息特征评估图像质量；SSEQ以局部空间熵和谱熵为特征构建了两阶图像质量评价模型。

变换域评价方法主要有BLIINDS-Ⅱ、DIIVINE、C-DIIVINE、CurveletQA及SHANIA等，该类方法需要先把图像映射到不同的坐标域，如小波、Contourlet等，然后提取相应子带系数的统计特征，效率相对比较低。BLIINDS-Ⅱ根据平均能量和局部方向能量分别将离散余弦变换(Discrete Cosine Transform,DCT)系数划分为3个频率带和3个方向带，并以这些频率带和方向带的GGD模型参数为特征进行质量评价；DIIVINE提取了可操纵金字塔(Steerable Pyramid)小波系数的尺度与方向选择性统计、跨尺度关联性统计、方向选择性统计、跨方向相关性统计及空间相关性统计等88个特征，并给出了两阶图像质量评价模型的框架；C-DIIVINE以复数可操纵金字塔小波系数幅值和相对幅值的GGD模型参数、小波系数相对相位的柯西(Wrapped Cauchy)分布参数及跨尺度相关性统计作为特征进行质量评价；CurveletQA以curvelet子带系数的AGGD模型参数、子带方向能量分布及子带尺度能量分布为特征进行失真类型识别和图像质量评价。这些方法需要对图像施加某种变换，所以效率比较低，而且提取的特征对图像不同失真类型的区分度比较低。

将彩色图像转换为灰度图像进行图像质量评价的方法忽略了图像的色彩信息，而且在彩色图像灰度化过程中存在计算误差和原数据一致性的丢失，对于失真度不大的受损彩色图像无法有效地识别其失真类型并评估其质量。此外，人类视觉系统具有频率敏感度、掩蔽效应、方向敏感度、注意转移等特点。为了使评价结果与人的主观感知相一致，对图像进行评价时必须考虑人类视觉特性。

发明内容

本发明的目的在于针对传统彩色图像无参考质量评价方法中需要把彩色图像转换为灰度图像，造成评价结果不准确的问题，提供一种基于色彩感知的通用型无参考图像质量评价方法，以满足彩色图像的有效无参考评测。

为了解决上述技术问题，本发明提供一种基于色彩感知的通用无参考图像质量评价方法，分别对彩色RGB图像提取G分量的MSCN系数及其4方向邻域系数的统计特征；分别计算RGB色彩空间R、G、B分量间及其纹理、相位间的互信息统计特征；并结合这些特征进行无参考图像质量评价和图像失真类型识别。

作为对本发明所述的基于色彩感知的通用无参考图像质量评价方法的改进：包括如下的步骤：一、对RGB彩色图像I的进行预处理，得到G分量的MSCN系数及其4方向邻域系数H_G、V_G、D_G1及D_G2；二、用广义高斯分布GGD拟合G分量MSCN系数的归一化直方图，提取相应GGD模型参数形成统计特征Ⅰ；三、分别用非对称广义高斯分布AGGG拟合相应4方向邻域MSCN系数H_G、V_G、D_G1及D_G2的归一化直方图，提取相应AGGD模型参数形成统计特征Ⅱ；四、提取RGB彩色图像I的I_R、I_G及I_B分量，通过计算I_R、I_G及I_B间的互信息获取用以描述RGB颜色空间整体相关性的统计特征Ⅲ；五、分别提取RGB彩色图像R、G、B分量的MSCN系数及通过计算及间的互信息获取用以描述RGB色彩空间纹理相关性的统计特征Ⅳ；六、分别提取RGB彩色图像R、G、B分量的相位一致模型PC_R、PC_G及PC_B，通过计算PC_R、PC_G及PC_B间的互信息获取用以描述RGB色彩空间相位相关性的统计特征Ⅴ；七、将图像两个尺度上步骤二到步骤六得到的统计特征组成特征向量F；八、在特征向量F基础上，利用支持向量回归机SVR构建无参考图像质量评价模型评估失真图像质量；九、在特征向量F基础上，利用支持向量分类机SVC构建识别模型识别图像失真类型。

作为对本发明所述的基于色彩感知的通用无参考图像质量评价方法的进一步改进：步骤一中，G分量的MSCN系数及其4方向邻域系数H_G、V_G、D_G1及D_G2的计算如下：对I_G用下列公式进行预处理，从而得到I_G的MSCN系数

其中，I_G为G分量，大小为M×N,i，j是像素坐标，i＝1,2,…,M，j＝1,2,…,N，C为常数，主要为了避免图像平坦区时分母趋向于零时发生不稳定，一般取为1；ω＝{ω_k,l|k＝-K,…,K；l＝-L…,L}为二维圆对称的高斯加权函数；构造G分量的水平H_G、竖直V_G、主对角D_G1、次对角D_G24方向MSCN邻域系数，具体构造方法如下：

作为对本发明所述的基于色彩感知的通用无参考图像质量评价方法的进一步改进：G分量的系数及其4方向邻域系数H_G、V_G、D_G1、D_G2的统计特征计算如下：用GGD模型拟合并估计模型参数(α,σ²)作为其统计特征，GGD定义如下：

式中，是Gamma函数。参数α为形状参数，控制GGD分布的形状；σ为标准差，控制方差；分别用AGGD模型拟合4个方向邻域MSCN系数H_G、V_G、D_G1及D_G2，并估计相应AGGD模型参数(η,α,)(η＝(β_r-β_l)Γ(2/α)/Γ(1/α))作为其统计特征；AGGD的定义如下：

式中，α控制分布的形状；参数和分别为左、右尺度参数，控制扩展方向；

作为对本发明所述的基于色彩感知的通用无参考图像质量评价方法的进一步改进：RGB色彩空间相位相关性的统计特征计算如下：RGB色彩空间各分量的相位一致性模型采用Peter Kovesi提出的相位一致计算模型；在计算频率内二维滤波器与图像卷积的基础上，可得到位置x处的相位一致值：

式中，W(x)为频率扩展权值；符号表示当其所包含的表达式计算为正数时等于其本身，否则为0；φ_n(x)为相位偏差，为整体平均相位角；A_n(x)为第n个傅立叶分量的幅值；为相位偏离函数；T为补偿噪声影响的函数；ε为小的常数，为了避免分母为零而产生不稳定；RGB色彩空间相位相关性的统计特征：

其中，和分别为PC_X和PC_Y的边缘概率密度函数，为PC_X和PC_Y的联合概率密度函数，X,Y∈{R,G,B}，且X≠Y。

本发明的由于直接在RGB色彩空间提取人眼更为敏感的绿色分量的统计特征，以及R、G、B分量间的整体、纹理及相位等相关性统计特征，因而与现有技术相比较具有以下优点：

(1)不需要对图像进行色彩空间变换，直接利用各色彩分量间的相关性及G分量的亮度分布进行质量评价和失真类型识别，可以避免由于色彩空间变换而对图像造成的“二次伤害”，有效提高图像质量评价模型的性能；

(2)不仅考虑了图像亮度的统计规律，还考虑了图像的结构信息，而人眼对对图像的结构非常敏感，故与人类视觉感知有比较好的一致性；

(3)提取了人眼最为敏感的绿色分量的统计特征，可以使与人眼色彩感知有比较好的一致性。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1是本发明基于色彩感知的通用无参考质量评价方法流程图；

图2是水平、竖直、主对角、次对角等4方向邻域MSCN系数；

图3是图像“parrots”及其5种失真类型图像G分量MSCN系数统计特征；

图4是图像“parrots”不同失真类型及不同失真程度图像的G分量MSCN系数统计特征；

图5图像“parrots”及其5种失真类型图像的RGB颜色空间的互信息统计特征；

图6图像“parrots”不同失真类型及不同失真程度图像的RGB色彩空间的互信息统计特征；

图7是LIVE数据库中图像的RGB色彩空间统计特征与相应DMOS间的SROCC；

图8是图像质量评价模型在LIVE数据库上1000次迭代测试的盒状图；

图9是图像失真类型识别模型在LIVE数据库上1000次迭代测试的混淆矩阵和盒状图；

图10是图像失真类型识别模型在CSIQ数据库上1000次迭代测试的混淆矩阵和盒状图。

具体实施方式

实施例1、图1～图10给出了一种基于色彩感知的通用无参考图像质量评价方法。其根据人类视觉颜色感知特性，人眼对RGB色彩空间中不同色彩的感觉敏感程度是不一样的，一般对绿色感知更为敏感一些，而且G、R及B分量之间存在很强的相关性。本发明将MSCN系数和互信息引入到RGB色彩空间，分别提取各色彩分量、各色彩分量MSCN系数及其相位间的互信息作为其相关性统计特征，并结合G分量MSCN系数及其邻域系数的统计特征利用SVR进行图像质量评价，如图1所示。该方法的具体实施步骤如下：

步骤一、对RGB彩色图像I的进行预处理，得到G分量的MSCN系数及其4方向邻域系数H_G、V_G、D_G1及D_G2；

(1)计算RGB色彩空间图像I的G分量MSCN系数

式中，i＝1,2,…,M，j＝1,2,…,N；C为常数，主要为了避免图像平坦区时分母趋向于零时发生不稳定，一般取为1；ω＝{ω_k,l|k＝-K,…,K；l＝-L…,L}为二维圆对称的高斯加权函数。

(2)根据图2构造G分量的水平H_G、竖直V_G、主对角D_G1、次对角D_G2的4方向MSCN邻域系数，具体构造方法如下：

步骤二、用广义高斯分布GGD拟合G分量MSCN系数的归一化直方图，估计相应GGD模型参数(α,σ²)作为G分量MSCN系数的统计特征；分别用非对称广义高斯分布AGGG拟合相应4方向邻域MSCN系数H_G、V_G、D_G1及D_G2的归一化直方图，估计相应AGGD模型参数(η,α,)作为G分量4方向邻域MSCN系数的统计特征；提取图像2个尺度的G分量MSCN系数的统计特征及4方向MSCN邻域系数统计特征f₁-f₃₆。

(3)利用广义高斯分布GGD模型拟合G分量MSCN系数GGD的定义如下：

式中，是Gamma函数；参数α为形状参数，控制GGD分布的形状；σ为标准差，控制方差。估计模型参数(α,σ²)作为G分量MSCN系数的统计特征，共计2个。

(4)利用非对称广义高斯分布AGGD分别拟合图像G分量的4方向MSCN邻域系数，AGGD的定义如下：

式中，

α为形状参数，控制分布的形状；和分别为左、右尺度参数，控制扩展方向。估计相应AGGD模型参数(η,α,)(η＝(β_r-β_l)Γ(2/α)/Γ(1/α))作为G分量的4方向MSCN邻域系数的统计特征，共计16个。

(5)对图像进行低通滤波和下采样获取其它尺度图像。提取图像2个尺度的G分量MSCN系数的统计特征α及σ²，提取4方向MSCN邻域系数统计特征η、α、及共计36个特征。

表1 G分量MSCN系数及其邻域系数的统计特征

图3为LIVE图像质量评价数据库中图像“parrots”及其jp2k、jpeg、wn、gblur、ff等5种失真图像G分量MSCN系数及其邻域系数的36个统计特征。

图4分别为LIVE图像质量评价数据库中图像“parrots”在各相同失真类型但不同失真程度下的相应36个统计特征。

步骤三、提取RGB彩色图像I的I_R、I_G及I_B分量，通过计算I_R、I_G及I_B间的互信息获取用以描述RGB颜色空间整体相关性的统计特征；分别提取RGB彩色图像R、G、B分量的MSCN系数及通过计算及间的互信息获取用以描述RGB色彩空间纹理相关性的统计特征；分别提取RGB彩色图像R、G、B分量的相位一致模型PC_R、PC_G及PC_B，通过计算PC_R、PC_G及PC_B间的互信息获取用以描述RGB色彩空间相位相关性的统计特征；提取两个尺度上的RGB色彩空间的相关性统计特征f₃₇-f₅₄。

(1)RGB色彩空间的整体相关性统计特征：

提取RGB彩色图像I的I_R、I_G及I_B分量：

计算I_R、I_G及I_B间的互信息：

式中，和分别为I_X和I_Y的边缘概率密度函数；为I_X和I_Y的联合概率密度函数；X,Y∈{R,G,B}，且X≠Y。用MI(I_R,I_G)、MI(I_R,I_B)和MI(I_G,I_B)来描述RGB色彩空间的整体相关性，共计3个。

(2)RGB色彩空间的纹理相关性统计特征

根据计算RGB色彩空间各分量得MSCN系数及计算及间的互信息：

式中，和分别为和的边缘概率密度函数；为和的联合概率密度函数；X,Y∈{R,G,B}，且X≠Y。用和来描述RGB色彩空间的纹理相关性，共计3个。

(3)RGB色彩空间的相位相关性统计特征：

在计算频率内二维滤波器与图像卷积的基础上，采用Peter Kovesi提出的相位一致计算模型得到位置x处的相位一致值：

式中，W(x)为频率扩展权值；符号表示当其所包含的表达式计算为正数时等于其本身，否则为0；φ_n(x)为相位偏差，为整体平均相位角；A_n(x)为第n个傅立叶分量的幅值；为相位偏离函数；T为补偿噪声影响的函数；ε为小的常数，为了避免分母为零而产生不稳定。

计算RGB色彩空间各分量的相位一致性模型PC_R、PC_G及PC_B；

计算PC_R、PC_G及PC_B之间的互信息：

式中，和分别为PC_X和PC_Y的边缘概率密度函数；为PC_X和PC_Y的联合概率密度函数；X,Y∈{R,G,B}，且X≠Y。用MI(PC_R,PC_G)、MI(PC_R,PC_B)和MI(PC_G,PC_B)来描述RGB色彩空间的纹理相关性，共计3个。

(4)提取两个尺度上的RGB色彩空间的相关性统计特征，共计18个。

表2 RGB色彩空间各色彩分量间相关性统计特征

图5为LIVE图像质量评价数据库中图像“parrots”及其jp2k、jpeg、wn、gblur、ff等5种失真图像各色彩分量间的18个相关性统计特征。

图6分别为LIVE图像质量评价数据库中图像“parrots”在各相同失真类型但不同失真程度下各色彩分量间的18个统计特征。

基于色彩感知的统计特征与图像质量主观评价间的关系：

为了描述RGB色彩空间的G分量MSCN系数统计特征及各颜色分量相关性统计特征与图像质量主观评价之间的关系，计算LIVE图像质量评价数据库中5种失真图像提取的这些统计特征与相应图像的主观质量分DMOS(Difference Mean Opinion Score)之间的斯皮尔曼等级相关系数(The Spearman’s Rank Ordered Correlation Coefficient,SROCC)。斯皮尔曼等级相关系数如下：

式中，F_i为LIVE数据库中某种失真类型所有图像提取的第i个结构信息和亮度统计特征向量；

D为相应图像的主观质量评价分DMOS构成的向量；

F_i和D的大小均为N×1，i＝1,2,…,60；

N为LIVE数据库该失真类型图像的数目。

图7为LIVE图像质量评价数据库中所有5种失真图像提取的上述统计特征与相应图像主观质量分DMOS间的斯皮尔曼等级相关系数。

步骤四、将图像两个尺度上步骤二和步骤三得到的统计特征组成特征向量F＝[f₁,f₂,…,f₅₄]；

步骤五、在特征向量F基础上，利用支持向量回归机SVR(Support VectorRegression，SVR)构建无参考图像质量评价模型评估失真图像质量；

步骤六、在特征向量F基础上，利用支持向量分类机SVC(support vectorclassification，SVC)构建识别模型识别图像失真类型。

本发明的优点可通过以下实验进一步说明：

(1)实验数据库

所有实验是在LIVE、TID2008及CSIQ等图像质量评价数据库上进行。

LIVE IQA数据库是美国德克萨斯大学奥斯汀分校开发的，包含29幅参考图像及779幅失真图像，图像格式为24-bpp彩色BMP，分辨率为634×438到768×512。该数据库有jpeg压缩(169幅)、jpeg2000压缩(175幅)、additive Gaussian white noise(145幅)、Gaussian blurring(145幅)及fast fading Rayleigh(145幅)等5种失真类型，并提供了失真图像相应的DMOS。DMOS的范围为0-100，DMOS越大，相应图像得失真程度就越严重。

TID2008数据库是由芬兰坦佩雷理工大学开发的，包含25幅参考图像和1700幅失真图像，图像格式为24-bpp彩色BMP，分辨率为384×512。该数据库有jpeg、jpeg2000、contrast changes及local distortions等17种失真类型，每幅参考图像在各失真类型中均有4种失真程度，故每种失真类型有100幅图像。与LIVE IQA数据库不同，TID2008数据库提供MOS(Mean Opinion Score)，MOS的范围为0-9，MOS数值越大的图像相应质量越好。

CSIQ数据库由美国俄克拉荷马州立大学开发，包含30幅参考图像和866幅失真图像，图像格式为24-bpp彩色PNG，分别率为512×512。该数据库有jpeg压缩(150幅)、jpeg2000压缩(150幅)、加性高斯白噪声(150幅)、加性高斯粉噪声(150幅)、高斯模糊(150幅)及整体对比度下降(116幅)等6种失真类型，并提供了失真图像相应的DMOS。但CSIQ数据库提供的DMOS范围为0-1，失真程度越严重的图像相应的DMOS就越大。

(2)实验1：与人类主观评价的相关性

实验方法：1)把LIVE图像质量评价数据库中的所有类型失真图像分成训练集和测试集，分别占总图像的80％和20％，且这两个集合中没有重复的图像；2)，利用训练集中所有图像的RGB色彩空间统计特征及相应的DMOS对SVR模型进行训练，并在此基础上，根据测试集中图像的RGB色彩空间统计特征计算相应的质量预测分；3)，计算测试集中所有图像的质量预测分与其相应的DMOS间的SROCC及皮尔逊线性相关系数(Pearson’s LinearCorrelation Coefficient,PLCC)；4)重复上述过程1000次，取1000次迭代测试的SROCC及PLCC的中值作为该无参考图像质量评价模型的评价结果。

实验结果：表3和表4分别为各种图像质量评价方法1000次迭代测试的SROCC及PLCC的中值，图8为本文评价方法1000次迭代测试的SROCC及PLCC盒状图。

表3 1000次迭代测试中各评价方法SROCC的中值

表4 1000次迭代测试中各评价方法PLCC的中值

实验结果分析：本发明的图像质量评价效果不仅优于全参考图像质量评价方法PSNR及SSIM，还优于当今主流无参考图像质量评价方法BRISUE、MIQA、SSEQ、BLIINDS-Ⅱ、DIIVINE、CurveletQA及SHANIA等；从各失真类型来看，与当今主流无参考图像质量评价方法相比依然是非常具有竞争性的，特别是对jp2k、wn及gblur等3种失真类型。由图8可知，本发明1000次迭代测试的整体SROCC和PLCC变化范围均非常小，都在0.94附近上下波动，说明所提取的RGB色彩空间的统计特征比较适合用来评价图像质量。

(3)实验2：图像失真类型分类准确率

实验方法：1)把图像质量评价数据库中的所有类型失真图像分成训练集和测试集，分别占总图像的80％和20％，且这两个集合中没有重复的图像；2)，利用训练集中所有图像的RGB色彩空间统计特征及相应的失真类型对SVC模型进行训练，并在此基础上，根据测试集中图像的RGB色彩空间统计特征识别相应的失真类型；3)，计算测试集中失真类型的分类准确率；4)重复上述过程1000次，取1000次迭代测试的分类准确率的中值作为该图像失真类型识别模型的分类结果。

实验结果：表5和表6分别为在LIVE及CSIQ数据库上测试的结果，图9和图10分别为相应数据库上1000次测试的总混淆矩阵和盒状图。混淆矩阵中每个数值表示行对应失真类型被判为列对应失真类型的概率，同一行的所有数值之和为1。

表5 LIVE图像库1000次迭代测试中分类准确率中值

表6 CSIQ图像质量评价数据库1000次迭代测试中分类准确率中值

实验结果分析：无论在整体上还是在各失真类型上，本发明取得了非常好的识别效果，识别准确率在所列的主流算法中基本上均是最高的。由图9和图10可以看出，本发明识别准确率相对比较低的是jp2k、jpeg及ff失真类型。主要原因是：1)ff失真是jp2k压缩图像经过网络传输丢包造成的，ff和jp2k具有部分相似的失真效应，故jp2k与ff失真类型间会出现误判；(2)jp2k与jpeg压缩均会使图像产生一定程度的模糊效应，使它们相互间出现误判。

(4)实验3：模型的鲁棒性

实验方法：把LIVE库中的图像分别按照70％和30％、60％和40％、50％和50％的比例随机分为训练集和测试集，采用与实验2和实验3类似的方法分别进行3组实验。

实验结果：图像质量评价模型的实验结果如表7所示，图像失真类型识别模型的实验结果如表8所示。

表7 评价模型在不同训练和测试比例下1000次迭代测试的SROCC及PLCC中值

表8 识别模型在不同训练和测试比例下的1000次迭代测试的分类准确率中值

实验结果分析：随着训练数据的减少，随着训练数据的减少，本发明评价模型在整体和各失真类型上的评价结果与人类主观评价DMOS间的SROCC及PLCC出现降低，但降低的程度并不明显。在LIVE图像库中只有50％图像用于训练的情况下，整体评价结果的SROCC及PLCC依然高达0.93，模型评估结果与主观评价间保持很高的一致性；随着训练数据的减少，本发明失真类型识别模型在整体和各失真类型上的识别准确率出现略微降低，但仍然保持比较高的识别准确率。即使在LIVE图像库中只有50％图像用于训练的情况下，本文识别模型的识别准确率仍然达到90.44％，高于80％图像用于训练的BRISUE、MIQA、SSEQ、DIIVINE、C-DIIVINE及CurveletQA等目前主要的算法。

(5)实验4：计算的复杂性

实验方法：为了公平地比较RGBCSIQA与其它无参考图像质量评价方法的运算效率，本发明统计各方法分别在提取LIVE Multiply Distorted IQA、CSIQ及TID2008等数据库中所有图像相应特征所消耗的时间，并分别平均作为该方法在提取特征过程中实际花费的时间。所有的运算结果均在联想台式机(quad-core CPU,3.2GHz and 4GB RAM,Windows7Pro 32-bit)运行没有优化的matlab程序获得。

实验结果：各无参考图像质量评价算法运行时间比较结果如表9所示。

表9 6种无参考图像质量评价算法运行时间比较

实验结果分析：本发明的运算效率优于SSEQ、BLIINDS-Ⅱ、DIIVINE及CurveletQA，但劣于BRISUE。主要原因如下：1)BRISUE虽然提取36个空间域统计特征，但提取过程仅进行简单的广义高斯函数拟合，运行效率最高。RGBCSIQA虽然提取的也是空间域统计特征，但计算图像RGB色彩空间中R、G及B分量的相位一致性模型时运行时间相对比较长；2)SSEQ和CurveletQA虽然只有12个特征，但需要计算空间熵、谱熵及方向能量分布等，这些特征的计算需要一定的运行时间；3)BLIINDS-Ⅱ需要分别提取DCT系数3个频率带和3个方向带的能量等统计特征，而且特征计算过程比较复杂，需要相当长的运行时间；4)DIIVINE提取的特征数高达88个，而且特征提取过程中包含需要相当长的运行时间的可操纵金字塔分解和结构相似度计算，运行效率最低。

最后，还需要注意的是，以上列举的仅是本发明的一个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims

1.一种基于色彩感知的通用无参考图像质量评价方法，其特征是：分别对彩色RGB图像提取G分量的MSCN系数及其4方向邻域系数的统计特征；

分别计算RGB色彩空间R、G、B分量间及其纹理、相位间的互信息统计特征；并结合这些特征进行无参考图像质量评价和图像失真类型识别；

包括如下的步骤：

一、对RGB彩色图像I的进行预处理，得到G分量的MSCN系数及其4方向邻域系数H_G、V_G、D_G1及D_G2；

二、用广义高斯分布GGD拟合G分量MSCN系数的归一化直方图，提取相应GGD模型参数形成统计特征Ⅰ；

三、分别用非对称广义高斯分布AGGG拟合相应4方向邻域MSCN系数H_G、V_G、D_G1及D_G2的归一化直方图，提取相应AGGD模型参数形成统计特征Ⅱ；

四、提取RGB彩色图像I的I_R、I_G及I_B分量，通过计算I_R、I_G及I_B间的互信息获取用以描述RGB颜色空间整体相关性的统计特征Ⅲ；

五、分别提取RGB彩色图像R、G、B分量的MSCN系数及通过计算及间的互信息获取用以描述RGB色彩空间纹理相关性的统计特征Ⅳ；

六、分别提取RGB彩色图像R、G、B分量的相位一致模型PC_R、PC_G及PC_B，通过计算PC_R、PC_G及PC_B间的互信息获取用以描述RGB色彩空间相位相关性的统计特征Ⅴ；

RGB色彩空间相位相关性的统计特征计算如下：

RGB色彩空间各分量的相位一致性模型采用Peter Kovesi提出的相位一致计算模型；在计算频率内二维滤波器与图像卷积的基础上，可得到位置x处的相位一致值：

式中，W(x)为频率扩展权值；符号表示当其所包含的表达式计算为正数时等于其本身，否则为0；φ_n(x)为相位偏差，为整体平均相位角；A_n(x)为第n个傅立叶分量的幅值；为相位偏离函数；T为补偿噪声影响的函数；ε为小的常数，为了避免分母为零而产生不稳定；

RGB色彩空间相位相关性的统计特征：

<mrow> <mi>M</mi> <mi>I</mi> <mrow> <mo>(</mo> <msub> <mi>PC</mi> <mi>X</mi> </msub> <mo>,</mo> <msub> <mi>PC</mi> <mi>Y</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mrow> <mi>y</mi> <mo>&Element;</mo> <msub> <mi>PC</mi> <mi>Y</mi> </msub> </mrow> </munder> <munder> <mo>&Sigma;</mo> <mrow> <mi>x</mi> <mo>&Element;</mo> <msub> <mi>PC</mi> <mi>X</mi> </msub> </mrow> </munder> <msub> <mi>p</mi> <mrow> <msub> <mi>PC</mi> <mi>X</mi> </msub> <msub> <mi>PC</mi> <mi>Y</mi> </msub> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>p</mi> <mrow> <msub> <mi>PC</mi> <mi>X</mi> </msub> <msub> <mi>PC</mi> <mi>Y</mi> </msub> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>p</mi> <mrow> <msub> <mi>PC</mi> <mi>X</mi> </msub> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <msub> <mi>p</mi> <mrow> <msub> <mi>PC</mi> <mi>Y</mi> </msub> </mrow> </msub> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>

其中，和分别为PC_X和PC_Y的边缘概率密度函数，为PC_X和PC_Y的联合概率密度函数，X,Y∈{R,G,B}，且X≠Y；

七、将图像两个尺度上步骤二到步骤六得到的统计特征组成特征向量F；

八、在特征向量F基础上，利用支持向量回归机SVR构建无参考图像质量评价模型评估失真图像质量；

九、在特征向量F基础上，利用支持向量分类机SVC构建识别模型识别图像失真类型。

2.根据权利要求1所述的基于色彩感知的通用无参考图像质量评价方法，其特征是：步骤一中，G分量的MSCN系数及其4方向邻域系数H_G、V_G、D_G1及D_G2的计算如下：

对I_G用下列公式进行预处理，从而得到I_G的MSCN系数

<mrow> <msub> <mover> <mi>I</mi> <mo>^</mo> </mover> <mi>G</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>I</mi> <mi>G</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>&mu;</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>&sigma;</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>C</mi> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

其中，I_G为G分量，大小为M×N,i，j是像素坐标，i＝1,2,…,M，j＝1,2,…,N，C为常数，主要为了避免图像平坦区时分母趋向于零时发生不稳定，一般取为1；ω＝{ω_k,l|k＝-K,…,K；l＝-L…,L}为二维圆对称的高斯加权函数；

构造G分量的水平H_G、竖直V_G、主对角D_G1、次对角D_G24方向MSCN邻域系数，具体构造方法如下：

3.根据权利要求1所述的基于色彩感知的通用无参考图像质量评价方法，其特征是：G分量的系数及其4方向邻域系数H_G、V_G、D_G1、D_G2的统计特征计算如下：

用GGD模型拟合并估计模型参数(α,σ²)作为其统计特征，GGD定义如下：

<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>;</mo> <mi>&alpha;</mi> <mo>,</mo> <msup> <mi>&sigma;</mi> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mi>&alpha;</mi> <mrow> <mn>2</mn> <mi>&beta;</mi> <mi>&Gamma;</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>/</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mrow> <mrow> <mo>|</mo> <mi>x</mi> <mo>|</mo> </mrow> <mo>/</mo> <mi>&beta;</mi> </mrow> <mo>)</mo> </mrow> <mi>&alpha;</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

式中，是Gamma函数，参数α为形状参数，控制GGD分布的形状；σ为标准差，控制方差；

分别用AGGD模型拟合4个方向邻域MSCN系数H_G、V_G、D_G1及D_G2，并估计相应AGGD模型参数(η＝(β_r-β_l)Γ(2/α)/Γ(1/α))作为其统计特征；

AGGD的定义如下：

<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>&alpha;</mi> <mo>,</mo> <msubsup> <mi>&sigma;</mi> <mi>l</mi> <mn>2</mn> </msubsup> <mo>,</mo> <msubsup> <mi>&sigma;</mi> <mi>r</mi> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mfrac> <mi>&alpha;</mi> <mrow> <mo>(</mo> <msub> <mi>&beta;</mi> <mi>l</mi> </msub> <mo>+</mo> <msub> <mi>&beta;</mi> <mi>r</mi> </msub> <mo>)</mo> <mi>&Gamma;</mi> <mo>(</mo> <mn>1</mn> <mo>/</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> </mfrac> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mrow> <mo>-</mo> <mi>x</mi> <mo>/</mo> <msub> <mi>&beta;</mi> <mi>l</mi> </msub> </mrow> <mo>)</mo> </mrow> <mi>&alpha;</mi> </msup> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>x</mi> <mo><</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mfrac> <mi>&alpha;</mi> <mrow> <mo>(</mo> <msub> <mi>&beta;</mi> <mi>l</mi> </msub> <mo>+</mo> <msub> <mi>&beta;</mi> <mi>r</mi> </msub> <mo>)</mo> <mi>&Gamma;</mi> <mo>(</mo> <mn>1</mn> <mo>/</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> </mfrac> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mrow> <mi>x</mi> <mo>/</mo> <msub> <mi>&beta;</mi> <mi>r</mi> </msub> </mrow> <mo>)</mo> </mrow> <mi>&alpha;</mi> </msup> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>x</mi> <mo>&GreaterEqual;</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>&beta;</mi> <mi>l</mi> </msub> <mo>=</mo> <msub> <mi>&sigma;</mi> <mi>l</mi> </msub> <msqrt> <mrow> <mi>&Gamma;</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>/</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>/</mo> <mi>&Gamma;</mi> <mrow> <mo>(</mo> <mn>3</mn> <mo>/</mo> <mi>v</mi> <mo>)</mo> </mrow> </mrow> </msqrt> <mo>,</mo> <msub> <mi>&beta;</mi> <mi>r</mi> </msub> <mo>=</mo> <msub> <mi>&sigma;</mi> <mi>r</mi> </msub> <msqrt> <mrow> <mi>&Gamma;</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>/</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>/</mo> <mi>&Gamma;</mi> <mrow> <mo>(</mo> <mn>3</mn> <mo>/</mo> <mi>v</mi> <mo>)</mo> </mrow> </mrow> </msqrt> <mo>.</mo> </mrow>