CN101247466B - 基于超复数色彩旋转的彩色失真图像评估方法 - Google Patents

Abstract

本发明属于图像信号处理技术领域，具体为一种基于超复数色彩差异变换的彩色失真图像评估方法。目前对于色彩失真图像的质量评估或者是提取彩色图像的亮度信息，或者是对彩色图像的各分量分别进行处理再取平均值，这样忽略了图像的色彩关联，常常得不到准确的色彩失真评估。本发明把整幅图像分块，对失真图像块进行特定的超复数旋转等处理，从而得到失真图像和原始图像之间的色彩差异，对所有块的色彩差异取平均，来进行整体图像的色彩失真评估。实验证明，对于色彩失真图像，本发明能够得到与主观视觉效果相一致的评估结果，而且简单易行，计算量很小；优于提取彩色图像的亮度信息进行评估的方法，也比对各色彩分量分别进行处理取平均的方法效果好。

Description

基于超复数色彩旋转的彩色失真图像评估方法

技术领域

本发明属于图像信号处理技术领域，具体涉及一种基于超复数色彩旋转的彩色失真图像评估法。

背景技术

图像质量评估是图像信息工程的基础技术之一。在图像通信工程中，将被摄物体的光学图像传送到接受端，再生出可接受图像，其中要经过光电变换、传输、处理、记录以及其它变换等过程，所有这些技术的优劣都会归集到图像质量的评价。目前图像质量的评估可分为两类：主观评估和客观评估^[1]。主观评估方法对视觉质量的评价采用主观打分的方法，进行主观测试时必须遵循一个测试协议，此协议描述了测试和评价的整个过程^[2]。图像的最终信宿是人，主观测试对最终的图像质量评估和测试是十分有用的，但是主观方法受到包括环境条件，动机以及情绪等多种因素的影响，且耗时耗力、代价昂贵；另外，主观评价无法进行实时监测；主观方法仅仅只有得到平均分，当评测分数低时，无法确切定位问题出在哪里。所以，在研究和开发中，图像质量评估往往采用客观评估的定量方法。

目前常用的图像质量的客观评估方法都是基于图像像素的亮度值的，大多数视觉信息处理中的失真度量方法都属于差分度量法，例如用两幅图像像素亮度值之间的最小均方误差(MSE)^[3]、峰值信噪比(PSNR)或者L_p范数^[4]来表示它们的差别，此外还有模仿人类视觉系统(HVS)的测度^[5，6]和绘图的测度^[7，8]等。文献[9]为灰度图像质量指标提出了一种新方法，称为通用图像质量指标(UQI)。文中的指标模型为：任何失真由三个不同的因素组成：相关性损失，均值失真以及对比度失真。该指标通过一个8*8滑窗进行计算，得到图像的质量图。全局的质量指标是质量图中所有UQI值的均值。当任一分母十分接近零时，UQI指标将产生结果不稳定的质量评估结果。为了避免这一问题，这个测度已经一般化到空间结构类似性测度(SSIM)^[10]，并证明了UQI指标是SSIM测度的一种特殊情况。类似UQI的全局性指标，全局图像质量MSSIM是由计算SSIM在所有窗下的平均值得到，由此提出了一种评价灰度图像质量的方法。MSSIM方法被认为是目前最为客观的图像质量指标之一。

对色彩失真图像质量进行准确的评估一直是彩色图像处理领域里一个极具挑战性的课题。在彩色图像的获取、压缩、存储、传输和再现过程中，数字图像往往会产生色彩失真，这些失真将导致图像质量的严重下降。例如投影仪、数码相机、显示器等设备在再现原始图像时常常就会出现色彩偏差失真。目前对于彩色失真图像的质量评估都是提取彩色图像的亮度信息，然后按灰度图像评估方法进行处理；或者为了得到更好的效果，可以对彩色图像的各分量分别进行处理，然后把得到的结果进行相加取平均值，然而这样的处理方法也忽略了图像的色彩关联，评价的结果常常是片面而不准确的。所以我们需要一种对彩色图像的多维矢量直接进行处理的方法。超复数图像处理方法就是在多维空间上把彩色图像作为一个矢量整体进行描述，提供了更准确的色彩信息。如今，超复数处理已经应用到彩色图像的图像配准^[11]、边缘检测^[12]和目标跟踪^[13]等多个领域。

发明内容

本发明的目的在于提供一种有效的基于超复数色彩旋转的色彩失真图像评估方法。

超复数把彩色图像作为一个矢量整体进行描述，因而能更好地描述图像的色彩关联。设(m，n)为彩色图像中像素的坐标，则彩色图像RGB(R、G、B分别表示红、绿、蓝分量)模型可以表示为如下的无实部的纯超复数：f(m，n)＝R(m，n)i+G(m，n)j+B(m，n)k。

其中，i、j、k为超复数的虚数单位。

设定四元超复数(称为四元数)为：q(m，n)＝a(m，n)+b(m，n)i+c(m，n)j+d(m，n)k，则它的模为 $\left|q\right|=\sqrt{a^2+b^2+c^2+d^2},$ 它的共轭为q^*＝a-bi-cj-dk。

在超复数空间里，我们可以定义一个超复数旋转向量U：U(θ)＝e^μθ＝e^μ(α/2)，其中μ为一个单位虚向量。那么矢量C绕μ轴旋转α角的旋转变换^[16]为：Y(θ)＝U(θ)[C]U^*(θ)，U^*(θ)是U(θ)的共轭。在图像处理中，μ可以取强度图像矢量：μ₁＝(i+j+k)/

，在超复数图像空间，任何色彩向量与μ₁轴的平行分量代表该向量的亮度，与该轴的垂直分量代表该向量的色度^[15]。如果再令θ＝π/2，则 $U_1=e^{{\mathrm{\μ}}_1\mathrm{\θ}}=(i+j+k)/\sqrt{3},$ U₁[C]U₁ ^*就表示像素矢量C绕μ₁轴旋转180°。这样像素矢量C+U₁[C]U₁ ^*就会落在强度图像矢量轴μ₁上^[14]。

对于彩色图像的两个像素矢量f＝f_Ri+f_Gj+f_Bk和g＝g_Ri+g_Gj+g_Bk，计算：q＝f+U₁[g]U₁ ^*＝q_Ri+q_Gj+q_Bk。当像素f和g有相同或相似的色彩时，q＝f+U₁[g]U₁ ^*就会平行或很接近于强度图像矢量轴μ₁，也即近似的有：q_R＝q_G＝q_B。相反，像素f和g的色彩差异很大时，在超复数空间上，q就会离μ₁轴很远。由上述分析可以得到图像f和g的“超复数的色彩差异变换”^[14]Q(f，g)：

$Q(f,g)=Q(f+U_1[g\left]{U_1}^{*}\right)=Q\left(q\right)$

$=[q_R-\left(\frac{q_R+q_G+q_B}{3}\right)]i+[q_G-\left(\frac{q_R+q_G+q_B}{3}\right)]j+[q_B-\left(\frac{q_R+q_G+q_B}{3}\right)]k---\left(1\right)$

色彩差异变换Q(f，g)的模值|Q(f，g)|越大，则表明像素f和g的色彩差异就越大，当f和g相等时，|Q(f，g)|为0。

为了进行色彩差异变换描述的彩色图像质量评估，我们首先对彩色图像进行超复数建模，即把彩色原图f和失真图像g的RGB模型都表示为纯超复数形式：

        f(x，y)＝f_R(x，y)i+f_G(x，y)j+f_B(x，y)k    (2)

        g(x，y)＝g_R(x，y)i+g_G(x，y)j+g_B(x，y)k    (3)

其中，(x，y)为彩色图像中像素的坐标，即像素所在的矩阵行和列的位置。

超复数色彩旋转对于色彩单一的图像可以得到更为准确的结果^[11]，而“色彩差异变换”也是针对彩色图像像素的，因此我们在进行彩色图像质量评估时，要把整幅图像分成若干个小区域块，这样每个小区域内的色彩变化相对较小。在JPEG压缩以及其他图像处理应用中8×8是标准的单位尺寸，另外在MSSIM算法中用到的滑窗大小也为8×8，所以，我们在色彩差异变换的彩色图像质量评估中也将图像分解为8×8的小块。

每一个8×8单位小块的色彩矢量的各个分量是由该单位小块中所有像素的红、绿、蓝的均值得到，块色彩矢量为：

$f_{\mathrm{BLOCK}}=\frac{\underset{(x,y)\∈\mathrm{BLOCK}}{\mathrm{\Σ}}{f}_R(x,y)}{64}i+\frac{\underset{(x,y)\∈\mathrm{BLOCK}}{\mathrm{\Σ}}{f}_R(x,y)}{64}j+\frac{\underset{(x,y)\∈\mathrm{BLOCK}}{\mathrm{\Σ}}{f}_R(x,y)}{64}k---\left(4\right)$

设彩色原图的某一个单位小块的色彩矢量为f_BLOCK，待评估的色彩失真图像的对应小块的色彩矢量为g_BLOCK，计算下式：

            q_BLOCK＝f_BLOCK+U(π/2)[g_BLOCK]U^*(π/2)        (5)

根据(1)式和(5)式，得到每一个单位小块f_BLOCK和g_BLOCK的“色彩差异”Q_BLOCK(f，g)：Q_BLOCK(f，g)＝Q(q_BLOCK)。然后对整幅图像的所有小块的“色彩差异”的模值取平均，如(6)式所示，得到整幅图像的“色彩差异”Q_CD，作为色彩差异变换的彩色图像质量评估的度量。

$Q_{\mathrm{CD}}=\frac{1}{M_{\mathrm{BLOCK}}}\underset{\mathrm{BLOCK}}{\mathrm{\Σ}}\left|Q_{\mathrm{BLOCK}}(f,g)\right|---\left(6\right)$

这样，我们就基于超复数色彩旋转，实现了一种彩色图像的色彩失真评估方法。

本发明进行彩色图像的色彩失真评估方法的步骤归纳如下：

(1)把彩色原图f和失真图像g的RGB模型都表示为纯超复数形式；

(2)把彩色原图f和失真图像g都分解为8×8的小块，由每一个8×8单位小块中所有像素的红、绿、蓝的均值得到该单位小块的“块色彩矢量”。

(3)计算彩色原图的每一个单位小块色彩矢量和待评估的色彩失真图像的对应小块色彩矢量之间的“色彩差异”，得到“色彩差异”的超复数模值；

(4)然后对整幅图像的所有小块的“色彩差异”的模值取平均，得到整幅图像的“色彩差异”，作为色彩失真图像质量评估的度量。整幅图像的“色彩差异”的模值越小，表明彩色图像的色彩失真最小，即彩色图像质量越好。

本发明提出的是一种基于超复数色彩差异变换^[14]的色彩失真图像评估方法。色彩差异变换是把失真图像进行特定的超复数旋转，然后把旋转后的图像与原始图像求和，比较它们之和与超复数空间上的强度图像矢量^[15]的关系，从而得到失真图像和原始图像之间的色彩差异。本发明提出的彩色失真图像评估方法把整幅图像分成若干个小区域块，对所有小块的进行色彩差异变换后取平均，从而进行整体图像的彩色失真评估。实验表明，对于色彩失真图像，这种方法优于目前的客观评价图像质量的方法，能够得到与主观视觉效果相一致的评估结果，而且简单易行，计算量很小。

附图说明

图1为像素矢量C绕μ₁轴旋转180°的图示。

图2为不同类型的彩色失真图像的质量评估结果。

其中(a)lena彩色原图；

(b)经过锐化处理的失真图像；

(c)经过模糊处理的失真图像；

(d)加入高斯噪声后的图像；

(e)加入椒盐噪声后的图像；

(f)JPEG压缩的失真图像；

(g)进行提高对比度处理的图像；

(h)色彩分量平移的失真图像；

(i)经过色彩反向旋转40°后的失真图像。

图3为不同程度的色彩失真图像的质量评估结果。

其中(a)lena彩色原图；

(b)经过20°色彩旋转的失真图像；

(c)经过30°色彩旋转的失真图像；

(d)经过40°色彩旋转的失真图像；

(e)反向20°色彩旋转后的失真图像；

(f)反向30°色彩旋转后的失真图像；

(g)反向40°色彩旋转后的失真图像；

(h)反向50°色彩旋转后的失真图像。

具体实施方式

本发明进行彩色图像的色彩失真评估的具体实施方式如下：

1.为了进行彩色图像质量评估，我们首先对彩色图像进行超复数建模，即把彩色原图f和待评估的彩色失真图像g中每一像素的RGB模型分别表示为纯超复数形式：f(x，y)＝f_R(x，y)i+f_G(x，y)j+f_B(x，y)k和g(x，y)＝g_R(x，y)i+g_G(x，y)j+g_B(x，y)k。其中，(x，y)为彩色图像中像素的坐标，即像素所在的矩阵行和列的位置。

2.把彩色原图f和失真图像g都分解为8×8的小块，由每一个8×8单位小块中所有像素的红、绿、蓝的均值得到该单位小块的“块色彩矢量”：

$f_{\mathrm{BLOCK}}=\frac{\underset{(x,y)\∈\mathrm{BLOCK}}{\mathrm{\Σ}}{f}_R(x,y)}{64}i+\frac{\underset{(x,y)\∈\mathrm{BLOCK}}{\mathrm{\Σ}}{f}_R(x,y)}{64}j+\frac{\underset{(x,y)\∈\mathrm{BLOCK}}{\mathrm{\Σ}}{f}_R(x,y)}{64}k$

3.设彩色原图的某一个单位小块的色彩矢量为f_BLOCK，待评估的色彩失真图像的对应小块的色彩矢量为g_BLOCK，计算q_BLOCK＝f_BLOCK+U(π/2)[g_BLOCK]U^*(π/2)，然后计算出每一个单位小块f_BLOCK和g_BLOCK的“色彩差异”Q_BLOCK(f，g)：

$Q(f,g)=Q\left(q_{\mathrm{BLOCK}}\right)$

$=[q_R-\left(\frac{q_R+q_G+q_B}{3}\right)]i+[q_G-\left(\frac{q_R+q_G+q_B}{3}\right)]j+[q_B-\left(\frac{q_R+q_G+q_B}{3}\right)]k$

其中，q_R、q_G和q_B是超复数q_BLOCK的三个虚部，分别代表红、绿、蓝三个分量。

4.计算所有小块的色彩差异的超复数模值，对于Q_BLOCK(f，g)＝Q_bi+Q_cj+Q_dk，它的超复数模值的计算公式为： $\left|Q_{\mathrm{BLOCK}}\right|=\sqrt{{Q_b}^2+{Q_c}^2+{Q_d}^2}.$

5.然后对整幅图像的所有小块的色彩差异模值取平均，得到整幅图像的“色彩差异”，作为色彩失真图像质量评估的度量。整幅图像的“色彩差异”的模值越小，表明彩色图像的色彩失真最小，即彩色图像质量越好。

我们通过和目前最为客观的图像质量指标之一的平均的空间结果相似性测度的方法^[10](MSSIM)作比较，来阐述本发明的技术效果。

对于彩色图像，MSSIM是首先提取出图像的亮度信息，而后再进行图像评估。我们同时采取了另一种彩色合成方法，即分别计算彩色图像在R、G、B三个单色分量上的MSSIM，然后取平均得到的评估数值，我们称之为colorSSIM。另外，为了方便，我们用“CD”表示“Color Difference”，即超复数色彩差异变换的方法。

本实验以尺寸为512×512的Lena彩色图像为例。实验对Lena图像进行不同类型的失真处理，锐化图像，模糊处理的图像，提高对比度的图像是使用CxImage类库处理完成的；而加入高斯噪声的图像、加入椒盐噪声的图像、JPEG方法压缩的图像和色彩分量平移图像(DC-shifting，即在R、G、B分量上加上一定的数值进行平移)是通过MATLAB处理得到的；色彩旋转是用文献[11]中的方法，将色彩矢量绕轴[0.58-0.58-0.57]旋转一定角度。以下给出对上述八种失真类型图像分别用MSSIM、colorSSIM和CD方法进行图像质量评估的实验结果。

在图像质量评估方法中，MSSIM数值越大，图像质量越好；CD的数值越小，图像质量越好。我们从主观视觉的角度出发，显而易见，图2(g)(h)(i)三幅图像的失真大大超过了前面的图2(b)-(f)，但是图2(g)-(i)的MSSIM值都很高，尤其是图2(h)的MSSIM值为0.9928，根据MSSIM评估方法，图2(g)-(i)都是相对于Lena彩色原图来说质量非常高的图像，严重违背了我们人眼的主观视觉印象。同样地，我们发现图2(g)-(i)的colorSSIM值也都比较高，图2(h)的colorSSIM值达到了0.9761，图2(g)和(i)的colorSSIM也都明显高于彩色图像质量更好的图2(c)(d)(f)，说明通过三个单色分量分别处理然后取平均的方法也不能正确进行彩色失真图像评估。而图2(g)-(i)的CD值都比较大，远大于前面的图2(b)-(f)的CD值，该结论与我们的主观评价结果相符合，说明基于超复数色彩差异变换的评估方法能够对彩色失真图像进行准确评估。

图3(a)-(f)是Lena彩色图像绕轴[0.58-0.58-0.57]进行-40°至+40°的旋转后的色彩失真图像，以下也给出分别采用MSSIM、colorSSIM和CD方法的图像质量评估结果。除了图3(c)以外，图3所有色彩失真图像的MSSIM值都在0.90以上，大于图2(b)-(f)的图像，更是大大超过了图2(c)的MSSIM值0.79，而在人眼的主观视觉上，我们看出图3的色彩失真图像比图2(b)-(f)的所有图像的失真程度都厉害得多，说明MSSIM评估方法在进行色彩失真的彩色图像质量评估时是非常不准确的。同时，我们可以看到，图3所有色彩失真图像的colorSSIM值都大于图2(c)(d)(f)的colorSSIM，也不能正确反映我们主观上对色彩失真图像的评价。而图3色彩失真图像的CD值都在17以上，比图2(b)-(f)的所有图像的CD值大得多，表明这些色彩失真图像的质量大大差于图2(b)-(f)的图像，与人眼的主观视觉效果完全吻合，而且色彩失真图像的CD值的大小也很好地反映了彩色图像的色彩失真程度。

通过以上实验可得，对于色彩失真图像，本发明方法能够得到与主观视觉效果相一致的评估结果，而且简单易行，计算量很小；优于提取彩色图像的亮度信息进行评估的方法，也比对各色彩分量分别进行处理取平均的方法效果好。

                                        参考文献

[1]A.M.Eskicioglu and P.S.Fisher.A survey of image quality measures for gray scale image compression[A].Proc.Space and Earth Science Data Compression Workshop[C].Snowbird，UT，April，1993：49-61

[2]Methodology for the subjective Assessment of the Qua；ity of Television Pictures：RecommendationITU-R BT 500-10[S].ITU Radiocommunication Assembly，2000

[3]H.Marmolin.Subjective MSE measures[J].IEEE Trans.Syst.，Man，Cybern.1986，SMC-16(3)：486-489.

[4]H.L.Snyder.Image quality：Measures and visual performance[M].New York：Flat-Panel Displays andCRTs，L.E.Tannas Jr，Ed New York：Van Nostrand Reinhold，1985：70-90.

[5]M.P.Eckert and A.P.Bradley.Perceptual quality metrics applied to still image compression[J].SignalProcess.，1998，70：177-200.

[6]P.Franti.Blockwise distortion measure for statistical and structural errors in digital images[J].SignalProcessing on Image Commun.，1998，13(2)：89-98.

[7]K J Hermiston，D M Booth.Image quality measurement using integer wavelet transformations[A].Proc.Int.Conf.Image Processing[C].Kobe，Japan：ICIP，1999.293-297.

[8]A M Eskicioglu，P S Fisher.Image quality measures and their performance[J].IEEE Trans.Commun.，1995，43(12)：2959-2965.

[9]Z Wang，A Bovik.A universal image quality index[J].IEEE Signal Processing Letters，2002，9(3)：81-84.

[10]Z Wang，A C Bovik，H R Sheikh，E P Simoncelli.Image quality assessment：From error measurement tostructural similarity[J].IEEE Trans.Image Processing，vol.13，no.4，pp.600-612，Apr.2004.

[11]C E Moxey，S J Sangwine，T A Ell.Hypercomplex correlation techniques for vector images[J].IEEETrans on Signal Processing，2003；51(7)：1941-1953.

[12]S J Sangwine.Color image edge detector based on quaternion convolution[J].IEE Electron.Letter，1998，34(10)：969-971.

[13]江淑红和郝明非等.快速超复数傅氏变换和超复数互相关的新算法及应用[J]，电子学报，2008，36(1)

[14]Lianghai Jin and Dehua Li，“An Efficient Color-Impulse Detector and its Application to Color Images”[J].IEEE Signal Processing Letters，2007，14(6)：397-400

[15]T A Ell，S J Sangwine.Decomposition of 2D hypercomplex Fourier transforms into pairs of complexFourier transforms[A].European Signal Processing Conference(EUSIPCO)[C].2000.151-154.

[16]S.J.Sangwine，Colour image filters based on hypercomplex convolution[J].IEE Proc.Vis.Image SignalProcess.，2000，147(2)：89-93.

Claims (1)

1.一种基于超复数色彩差异变换的彩色失真图像评估方法，其特征在于具体步骤如下：

1)对彩色图像进行超复数建模，即把彩色原图f和待评估的彩色失真图像g中每一像素的RGB模型分别表示为纯超复数形式：f(x，y)＝f_R(x，y)i+f_G(x，y)j+f_B(x，y)k和g(x，y)＝g_R(x，y)i+g_G(x，y)j+g_B(x，y)k，

这里，i、j、k为虚数单位；f_R、f_G、f_B分别表示彩色图像f的红、绿、蓝三个分量；(x，y)为彩色图像中像素的坐标，即像素所在的矩阵行和列的位置；

2)把彩色原图f和失真图像g都分解为8×8的小块，由每一个8×8单位小块中所有像素的红、绿、蓝的均值得到该单位小块的“块色彩矢量”：

$f_{\mathrm{BLOCK}}=\frac{\underset{(x,y)\∈\mathrm{BLOCK}}{\mathrm{\Σ}}{f}_R(x,y)}{64}i+\frac{\underset{(x,y)\∈\mathrm{BLOCK}}{\mathrm{\Σ}}{f}_R(x,y)}{64}j+\frac{\underset{(x,y)\∈\mathrm{BLOCK}}{\mathrm{\Σ}}{f}_R(x,y)}{64}k;$

3)设彩色原图的某一个单位小块的色彩矢量为f_BLOCK，待评估的色彩失真图像的对应小块的色彩矢量为g_BLOCK，计算：q_BLOCK＝f_BLOCK+U(π/2)[g_BLOCK]U^*(π/2)；

这里，U^*(π/2)表示U(π/2)的共轭，U(π/2)[g_BLOCK]U^*(π/2)表示超复数空间的色彩旋转变换，即色彩矢量g_BLOCK绕μ轴旋转π角，μ是超复数空间的强度图像矢量

$\mathrm{\μ}=(i+j+k)/\sqrt{3};$

4)然后计算出每一个单位小块f_BLOCK和g_BLOCK的“色彩差异”Q_BLOCK(f，g)：

$Q_{\mathrm{BLOCK}}(f,g)=Q\left(q_{\mathrm{BLOCK}}\right)$

$=[q_R-\left(\frac{q_R+q_G+q_B}{3}\right)]i+[q_G-(\frac{q_R+q_G+q_B}{3}\left)\right]j+[q_B-(\frac{q_R+q_G+q_B}{3}\left)\right]k$

这里，q_R、q_G和q_B是超复数q_BLOCK的三个虚部，分别代表红、绿、蓝三个分量；

5)计算所有小块的色彩差异的超复数模值，对于Q_BLOCK(f，g)＝Q_bi+Q_cj+Q_dk，它的超复数模值的计算公式为：

6)然后对整幅图像的所有小块的色彩差异模值取平均，得到整幅图像的“色彩差异”，作为色彩失真图像质量评估的度量。

Images