CN106558047A - 基于互补色小波的彩色图像质量评价方法 - Google Patents

Abstract

本发明属于图像质量评估技术领域，具体为一基于互补色小波的彩色图像质量评价方法。本发明利用互补色小波检测到的彩色图像亮度失真与颜色失真来评价图像的失真；本发明充分考虑彩色图像三通道分量之间的关联性，在此基础上将其作为一个整体进行评价和处理。本发明根据图像在各个互补色轴上的变化来检测颜色失真，当彩色图像发生色相偏移、饱和度降低等颜色失真时，依然可以获得较为满意的评价结果。LIVE和TID2013数据库的实验结果表明，本发明与主观评价方法具有较好的一致性，且在总体性能上优于文献报道的全参考彩色图像质量评价方法。

Description

基于互补色小波的彩色图像质量评价方法

技术领域

本发明属于彩色图像处理领域，具有涉及一种基于互补色小波的彩色图像质量评价方法。

背景技术

在图像获取、压缩、传输及再现的过程中，物理限制或外界噪声干扰常常会导致图像质量下降。因此，在设计图像处理系统时，图像质量评价方法起到了非常重要的作用。

根据对参考图像信息的依赖程度，图像质量评价算法可分为三类：全参考质量评价，无参考质量评价，以及部分参考质量评价。全参考质量评价需要依赖完整的参考图像信息，而在无参考质量评价中，仅提供失真图像的信息。部分参考质量评价介于两者之间，往往是从参考图像中提取一系列统计特征值用于计算。

全参考图像质量评价方法大致可以分为两类。第一类基于失真图像与参考图像之间的差异化信息，比较经典的算法有均方误差(mean square error, MSE)和峰值信噪比(peak signal-to-noise ratio, PSNR)。由于这类算法的概念简单、物理意义清晰、计算复杂度低，在早期得到了广泛应用。但其缺点是没有考虑到人类视觉系统(Human VisualSystem, HVS)在处理视觉信息时的特点，因此与主观评价的结果差异较大[1]。研究表明，HVS在处理视觉图像时，倾向于提取图像的结构化信息[2]。因此，结构相似性指标SSIM[3]及其一系列推广算法包括基于梯度的SSIM(Gradient-based SSIM， GSSIM)[4]，多尺度SSIM(Multi-scale SSIM, MS-SSIM)[5]，基于复数小波的SSIM(Complex Wavelet SSIM,CWSSIM)[6]等相继被提出。SSIM降低了非结构性失真在评价结果中所占的权重，获得与主观评价较为一致的结果。以SSIM为代表的一系列经典评估算法是基于灰度图像进行研究。当处理彩色图像时，这类算法由于仅依据亮度的明暗变化来判断结构信息，因而丢失了颜色信息。当彩色图像发生色相偏移、饱和度降低等颜色失真时，这类算法往往无法获得令人满意的结果[7]。

针对彩色图像的图像质量评价算法可以大致分为两类：一类是将灰度算法分别应用在RGB三个通道，再综合各个通道的结果，通常是取均值，这类算法虽然简单但效果不佳。另一类是做颜色空间变换，例如：Universal Color Image Fidelity (UCIF)[8]将SSIM应用到颜色空间，Video SSIM (VSSIM)[9]将SSIM扩展到YCbCr的各个通道，FeatureSIMilarity (FSIMc)[10]则利用了YIQ颜色空间等等。这类算法考虑了图像的颜色信息，为彩色图像的质量评估提供了更准确的结果。

本发明将SSIM推广到互补色小波域[11]，利用互补色在人类视觉感知中的特点，提出了一种互补色小波评价全参考彩色图像质量的新方法，称为CCW-SSIM(ComplementaryColor Wavelet SSIM)。本发明不仅可以处理亮度失真，还可以根据图像在各个互补色轴上的变化来检测颜色失真，并将彩色图像作为一个整体进行处理。实验结果表明本发明与主观评价方法具有较好的一致性，且在总体性能上优于文献中报道的彩色图像质量评价算法。

发明内容

本发明的目的在于提出一种能够检测颜色失真，且一致性好的基于互补色小波的彩色图像质量评价方法。

大家知道自然图像具有高度的结构性，而HVS在处理视觉图像时，倾向于提取图像的结构化信息。基于这一理论，zhouwang等人在[3]中提出了一种图像质量评价的结构相似性指标 (Structural Similarity, SSIM)。SSIM提高了结构性失真在评价结果中所占的权重，因此获得与主观评价较为一致的结果[3]。假设已知一幅参考图像x，对应的失真图像y。x和y的SSIM指标定义如下：

（1）

式中，，分别是x，y的亮度均值，和分别是x，y的标准差，是x，y的相关系数，，是补偿因子，取较小的正值，以便当分母的一项趋于零时能保证计算的有效性[3]。

针对彩色图像处理的难题，文献[11]中提出了一种适用于彩色图像处理的二维小波-互补色小波。通过将互补色理论引入小波变换, 互补色小波既可以实现色彩通道之间的关联性，也能够利用小波变换多尺度特性、方向选择性和移不变特性，因此它为彩色图像处理提供了一种全新的处理工具。

在互补色理论中，任何一组颜色混合之后得到白色的颜色称为互补色。互补色可以由牛顿色环清晰地表示。如图 1所示，在牛顿色环中，任何一对相位差120度的颜色组成一对互补色，其中对人类视觉最为重要的四组互补色分别为红-青色，绿-品红色，蓝-黄色，以及黑-白色。近年的研究表明：互补色在人类视觉感知中具有重要的作用，且为色彩混合、色彩恒常及色彩感知提供了理论基础[13]。

在牛顿色环中，RGB三原色分别位于0,及方向，在笛卡尔坐标系中三原色的基可以表示为1，。任意一种以颜色三原色为基的表示，如果将该颜色投影在色环上，那么就可以得到在色环上的表示:

(2)

其色相是该颜色在色环上投影的角度，即:

(3)

亮度则是离色环圆心的距离:

（4）

我们定义一种颜色在色环上的旋转，即：使颜色保持亮度不变，且沿色环逆时针方向旋转角度时得到的颜色。其满足如下性质:

（5）

（6）

由式(2)至(6)可以得到颜色y与颜色x及旋转角度之间的关系如下式(7)所示：

（7）。

由式(7)可知，对一幅彩色图像x中各个像素做颜色旋转，得到另一幅彩色图像y，那么x和y就是具有结构完全一致、色相不同的图像。把x和y分别转换为灰度图像，即取其灰度值为三个颜色通道的均值，则会得到两幅完全结构信息相同的图像和。如果采用结构相似性指标分别对图像和进行评价，那么就有，即我们完全无法从中得到原始彩色图像x和色彩旋转图像y在色相上的差异信息。图 2就是Lena图像旋转60，120，180，240，300，360度分别得到的图像，是结构相似性指标用于定量彩色图像的失真失败的例子。

因此，本发明设计一种彩色图像相似性的评价体系，既可以表征图像在亮度上的结构相似性，也可以表征图像在各个颜色通道，尤其是四个重要的互补色轴上的差异性。

根据互补色理论的启示，本发明设计了一组相位差为的小波基，其如图 3所示。其中，R、G、B三通道的小波基分别表示为，它们的相位差互为。这个三通道小波基的和为0，其绝对值的和则具有较好的能量集中性，从而有利于分析信号的局部特性。如果将彩色图像的R、G、B三通道分别映射到这一组小波基上，就可分别得到的它们的小波系数。利用这三组小波系数，就可定义四个互补色算子及一个亮度算子[11]，即：

（1）亮度算子

（8）

（2）色度算子/黑-白互补色算子

（9）

（3）红-青互补色算子

（10）

（4）绿-品红互补色算子

（11）

（5）蓝-黄互补色算子

（12）

其中，，，，分别表示色彩偏离黑白轴、红青轴、绿品红轴及蓝黄轴的程度[11]。表示图像亮度值的变化。

基于以上讨论，并利用互补色小波检测到的彩色图像的颜色失真和亮度失真，就可充分利用颜色信息来获得与主观评价更为一致的图像质量评价方法。这样我们提出的算法就可以描述如下：

（1）对原图像x和失真图像y分别进行互补色小波变换，并根据（8）-（12）式计算得到不同层级的，，，和算子；

（2）选择第层级的算子，根据公式(1)计算该层级上两幅图像在亮度及四个互补色轴上的相似度；将各个层级的相似度求加权和，即得到该算子上两幅图像的相似度如下：

（13）

（3）各个算子相似度的加权和，即为x,y的两幅彩色图像的相似度。

本发明技术效果

本发明提出的基于互补色小波的彩色图像质量评价方法，是利用互补色小波检测到的彩色图像亮度失真与颜色失真来评价图像的失真。本发明充分考虑彩色图像三通道分量之间的关联性，在此基础上将其作为一个整体进行评价和处理。

本发明充分利用互补色理论，根据图像在各个互补色轴上的变化来检测颜色失真。当彩色图像发生色相偏移、饱和度降低等颜色失真时，依然可以获得较为满意的评价结果。

本发明方法不仅可以处理亮度失真，还可以根据图像在各个互补色轴上的变化来检测颜色失真，并将彩色图像作为一个整体进行处理。实验结果表明本发明与主观评价方法具有较好的一致性，且在总体性能上优于文献中报道的彩色图像质量评价算法。

附图说明

图1为图1牛顿色环示意图。

图2为Lena图像旋转60,120,180,240,300,360度所得到的图像。

图3为互补色小波基。

具体实施方式

本发明采用LIVE图像质量评价数据库[14]和TID2013数据库[15]对算法的性能进行评价与比较。LIVE数据库包含由29幅原图像经过失真处理得到的共计779幅失真图像，五种类型失真分别是JPEG2000压缩，JPEG压缩，白噪声，高斯衰减和瑞利衰减。每幅图像由20-29名观察者分别进行评分，并最终得到每幅图像的主观评分(Difference Mean OpinionScore, DMOS)。一般来说，DMOS越低代表与原图像相似度越高，DMOS取值范围0到100。TID2013数据库中共包含24种失真类型，其中有六种颜色失真，分别是颜色通道的高斯白噪声(Additional White GaussianNoisein Color, Awgn-color)，量化噪声(QuantizationNoise)，JPEG压缩(JPEG Compression)，色彩饱和度变化(Color Saturation Change)，颜色量

化(Color Quantization)及色差(Chromatic Aberration)。本实验将对LIVE数据库及TID2013数据库，尤其是六种颜色失真类型分别进行研究。在本实验中，采用4层级，8方向的互补色小波变换。

为了测试图像评价算法与主观评价的一致性，本实验选择了以下3种度量指标：线性相关系数(Correlation Coefficient, CC)，斯皮尔曼等级相关系数(Spearman rank-order correlation coefficient, SRCC)和肯德尔等级相关系数(Kendall rank-ordercorrelation coefficient, KRCC)。

随机选取数据库中8%样本作为训练样本，将训练样本的各个算子在各个层级的相似度与主观评分做线性拟合，由最小二乘法训练得到各个算子的权值。剩余92%的样本将作为测试样本。最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配，在本发明中假设各层级的相似度与主观评分是线型的关系，则通过最小二乘法训练得到线型函数的系数，即个算子的权值，作为加权系数。

基于LIVE及TID2013数据库，表1给出了几种基于SSIM的算法及其它彩色图像质量评价的算法的实验结果。其中，将TID2013中六种颜色失真单独列出比较，标记为TID2013(C)。表2和表3给出了以上几种算法在LIVE数据库和TID2013(C)中实验结果的SRCC值。将表1-3中实验结果最好的两组均标记为粗体。除CCW-SSIM以外，其余数据均来自[7]。

表1采用LIVE数据库对各类图像质量评价算法进行评价与比较

表2各类图像质量评价算法对于LIVE数据库五种类型失真评估的SRCC值

表3各类图像质量评价算法对于TID2013中六种颜色失真类型评估的SRCC值

。

参考文献

[1]WANG Z, BOVIK A C, LU L. Why is image quality assessment so difficult[C]. Acoustics, Speech, and Signal Processing (ICASSP), 2002 IEEEInternational Conference on. IEEE, 2002, 4: 3313-3316.

[2]WANG Z. Rate scalable foveatedimage and video communications[D].Austin, American: Univ. Texas at Austin, 2001, 12.

[3]WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: fromerror visibility to structural similarity[J]. IEEE transactions on imageprocessing, 2004, 13(4): 600-612.

[4]Chen G H, Yang C L, Xie S L. Gradient-based structural similarity forimage quality assessment[C]. 2006 International Conference on ImageProcessing. IEEE, 2006: 2929-2932.

[5]Wang Z, Simoncelli E P, Bovik A C. Multiscale structural similarityfor image quality assessment[C]. Signals, Systems and Computers, 2004.Conference Record of the Thirty-Seventh Asilomar Conference on. IEEE, 2003,2: 1398-1402.

[6]Sampat M P, Wang Z, Gupta S, et al. Complex wavelet structuralsimilarity: A new image similarity index[J]. IEEE transactions on imageprocessing, 2009, 18(11): 2385-2401.

[7]Lee D, Plataniotis K N. Towards a full-reference quality assessmentfor color images using directional statistics[J]. IEEE Transactions on ImageProcessing, 2015, 24(11): 3950-3965.

[8]Toet A, Lucassen M P. A new universal colour image fidelity metric[J].Displays, 2003, 24(4): 197-207.

[9]Wang Z, Lu L, Bovik A C. Video quality assessment based on structuraldistortion measurement[J]. Signal processing: Image communication, 2004, 19(2): 121-132.

[10] Zhang L, Zhang L, Mou X, et al. FSIM: a feature similarity index forimage quality assessment[J]. IEEE transactions on Image Processing, 2011, 20(8): 2378-2386.

[11] CHEN Y, LI D, ZHANG J Q. Complementary color wavelet: a novel toolfor color image processing[J]. IEEE transactions on Image Processing,submitted, TIP-12068-2016.

[12] Selesnick I W, Baraniuk R G, Kingsbury N C. The dual-tree complexwavelet transform[J]. IEEE signal processing magazine, 2005, 22(6): 123-151.

[13] Pridmore R W. Complementary colors: the structure of wavelengthdiscrimination, uniform hue, spectral sensitivity, saturation, chromaticadaptation, and chromatic induction[J]. Color Research & Application, 2009,34(3): 233-252.

[14] WANG Z, Bovik A C, Sheikh H R.The SSIM Index for Image QualityAssessment[OL].https://ece.uwaterloo.ca/~z70wang/research/ssim/, Aug 15,2016.

Ponomarenko N, Ieremeiev O, Lukin V, et al. Color image database TID2013:Peculiarities and preliminary results[C]. Visual Information Processing(EUVIP), 2013 4th European Workshop on. IEEE, 2013: 106-111。

Claims (1)

1.一种基于互补色小波的彩色图像质量评价方法，其特征在于，具体步骤如下：

（1）对原图像和失真图像分别进行互补色小波变换，并根据（8）-（12）式计算得到不同层级的，，，和算子；

（2）选择第层级的算子，根据（1）式计算该层级上两幅图像在亮度及四个互补色轴上的相似度；将各个层级的相似度求加权和，即得到该算子上两幅图像的相似度如下：

（3）各个算子相似度的加权和，即为x，y的两幅彩色图像的相似度；

其中，（1）式为：

（1）

式中，，分别是，的亮度均值，和分别是，的标准差，是，的相关系数，，是补偿因子，取较小的正值，以便当分母的一项趋于零时能保证计算的有效；

SSIM（x,y）为和的图像质量评价的结构相似性指标；

（8）-（12）式为：

亮度算子

（8）

色度算子/黑-白互补色算子

（9）

红-青互补色算子

（10）

绿-品红互补色算子

（11）

蓝-黄互补色算子

（12）

其中，，，，分别表示色彩偏离黑白轴、红青轴、绿品红轴及蓝黄轴的程度，表示图像亮度值的变化；

，，为三组小波系数；由如下方法得到，设计R、G、B三通道的小波基分别表示为，，，它们的相位差互为；这个三通道小波基的和为0；将彩色图像的R、G、B三通道分别映射到这一组小波基上，分别得到的它们的小波系数，，。