CN105528776B

CN105528776B - 针对jpeg图像格式的显著性细节保持的质量评价方法

Info

Publication number: CN105528776B
Application number: CN201510483453.9A
Authority: CN
Inventors: 马利庄; 朱恒亮
Original assignee: SHANGHAI XIANMENG SOFTWARE TECHNOLOGY Co Ltd
Current assignee: SHANGHAI XIANMENG SOFTWARE TECHNOLOGY Co Ltd
Priority date: 2015-08-07
Filing date: 2015-08-07
Publication date: 2019-05-10
Anticipated expiration: 2035-08-07
Also published as: CN105528776A

Abstract

本发明提供了一种针对JPEG图像格式的显著性细节保持的质量评价方法，包括以下步骤：对原始图像I和失真图像T进行预处理，先将原图像和失真图像由RGB通道转为YIQ通道，然后对转换后的图像进行下采样，得到下采样图像D_I和D_T；对下采样图像依次进行四个相似性度量计算，得到四个相似性图，分别为显著性相似性图、梯度相似性图、PSNR相似性图和纹理相似性图；综合上述四种度量因素，最后得到图像的质量评价分数。与现有技术相比，本发明提出的针对JPEG图像格式的质量评价方法更符合人眼视觉系统，能很准确的预测图像的质量分数，在实际应用中更具有优势。

Description

针对JPEG图像格式的显著性细节保持的质量评价方法

技术领域

本发明涉及一种图像处理技术领域的方法，尤其是涉及一种针对JPEG图像格式的显著性细节保持(SDP)的质量评价方法。

背景技术

在一个完整的图像压缩系统中，对压缩后的图像进行质量评价是一个不可缺少的部分。通过图像质量评价方法对图像的压缩效果进行评价，所得到的结果已经成为比较各种图像处理算法性能，以及优化系统参数一个重要的评价指标。因此，利用图像压缩，可以减轻图像存储和传输的负担，在图像采集、编码压缩、网络传输等领域都有着重要的意义。另外，在互联网大数据应用环境中，随着互联网中可视媒体图片数量的快速增长，以及用户对网页图片加载快速的需求，分析和评估各种主观和客观质量评价方法的特点，构建符合人类视觉感知特征的客观质量评价模型具有重要的意义。为了提高大数据质量评价的效率，客观质量评价是必不可少的手段，让主观评价和客观评价的结果能够得到比较准确的统一，通过对其质量和效率的验证，为互联网企业节省更多的存储和网络成本。

图像质量评价方法主要分为主观评价方法与客观评价方法两种。其中图像主观质量评价方法是在标准的环境之下，评分人员对图像的质量进行主观的评分，这种方式的评价完全取决于评分者的感知结果，是完全基于人的视觉判断的。图像客观质量评价方法则是希望通过一种模型来确定出判断图像质量的量化指标，希望能够用数学模型与公式等确定图像质量的水准，达到与人眼主观视觉系统观察图像所得结果相一致的目的。当前比较流行的客观图像质量评级方法主要分为全参考质量评价、半参考质量评价以及无参考质量评价三种。

目前常用的全参考质量评价方法有：1、基于通过对原始图像与目标图像的像素误差统计来判断图像质量，如均方误差MSE和峰值信噪比PSNR。2、基于图像局部特征的结构相似度的质量评价方法(SSIM)，是指原始图像与压缩图像的结构信息间的相似性，是一种以图像结构作为出发点产生的图像质量评价方法。由于人眼视觉系统对于图像中的结构信息是十分敏感的，因此SSIM也能很大程度上接近主观评价的效果。但是该方法并不是专门针对JPEG图像格式设计，在实际图像压缩应用中无法采用，速度较慢。3、针对分块编码图像格式的质量评价方法(BBCQ)，Shoham等人发表的“A novel perceptual image qualitymeasure for block based image compression”的论文中，提出了针对分块编码图像的客观质量评价方法(BBCQ:Block Based Coding Quality)。该质量评价方法主要由三个计算因子构成，分别是像素间差异、块状效应评价、以及纹理失真。但是该方法参数较多，不易调整，而且纹理失真这一个因素在实际试验中并不完全符合图像质量损失。以上这些客观质量评价方法并没有完全真实的反应反映出人的主观感受，和人眼视觉特性存在着一定的鸿沟。

发明内容

针对上述现有技术中存在的缺陷，本发明的目的是提供一种针对JPEG图像格式的显著性细节保持(SDP)的质量评价方法，针对JPEG图像编码特点、符合人眼视觉特性、实用性更强。

为达到上述目的，本发明所采用的技术方案如下：

一种针对JPEG图像格式的显著性细节保持的质量评价方法，包括以下步骤：

第一步：对原始图像I和失真图像T进行预处理，然后对预处理后的图像进行下采样，得到对应的下采样图像D_I和D_T；

第二步：对下采样图像D_I和D_T进行显著性相似度计算，分别得到原始图像与失真图像的显著图S_I和S_T,然后根据得到的显著图计算原始图像与失真图像的显著相似性salSim；

第三步：采用Sobel算子提取图像梯度作为图像的低层特征，得到原始图像与失真图像的梯度图G_I和G_T，然后计算两者的梯度相似性gSim；

第四步：采用滑动窗口的方法，计算窗口内像素的统计值作为窗口中心点的值，逐像素移动窗口,计算原始图像与失真图像的高斯加权PSNR相似性pSim；

第五步：采用滑动窗口的方法，计算滑动窗口内原始图像与失真图像标准差的相似度，作为原始图像与失真图像的纹理相似性tSim；

第六步：综合上述四种度量，得到原始图像与失真图像的质量评价分数SDP。

所述第一步中，对原始图像I和失真图像T进行预处理的方法包括如下：分别将原始图像I和失真图像T由RGB通道转换为YIQ通道，然后对转换后的图像进行下采样，得到对应的下采样图像D_I和D_T；

对RGB到YIQ的颜色空间转换公式如下：

对转换后的图像进行下采样的公式如下：

F＝max(1,round(N/256))

其中：N是图像高度或宽度。

所述第二步中，计算原始图像与失真图像的显著相似性salSim的具体方法包括如下：

根据已经公开的Frequency-Tuned图像显著检测算法分别计算原始图像与失真图像的显著图S_I和S_T，按如下公式计算显著性相似性salSim：

其中：T1是一个非常小的正整数，以确保分母不为零。

所述第三步中，Sobel算子和图像梯度的计算公式如下：

其中：I为原始图像。

所述第三步中，原始图像与失真图像的梯度图G_I和G_T之间的梯度相似性gSim的计算公式如下：

其中：ε是一个正整数，是根据梯度值的动态范围得到的值。

其中，ε≈1200。

所述第四步中，计算高斯加权PSNR相似性pSim的具体方法包括如下：

为避免JPEG 8×8分块效应，考虑到高斯滤波器的对称性及由中心点向四周扩散的特征，将滑动窗口定义为11×11的高斯加权W＝{w_ij|i,j＝1,2,...,N},N＝11，标准差设为1.5，则原始图像与失真图像PSNR的相似性计算公式如下：

其中：其中x_ij,y_ij分别为原始图像与失真图像Y通道的像素值，K为Y通道深度，在滑动窗口内，diff为原始图像和失真图像差值平方的高斯系数加权平均值，thr为峰值信噪比阈值，pSim表示原始图像与失真图像的PSNR相似性。

所述第五步中，计算原始图像与失真图像的纹理相似性tSim的具体方法包括如下：

将滑动窗口内原始图像与失真图像标准差的相似度，作为两张图像的局部纹理相似度，公式如下：

其中：参数T2是一个非常小的正整数，以确保分母不为0；x_ij,y_ij分别为原始图像与失真图像Y通道的像素值，K为Y通道深度，W_ij为高斯加权W＝{w_ij|i,j＝1,2,...,11}，μ₁(X),μ₂(Y)分别为原始图像与失真图像的高斯加权均值；σ₁ ²(X)，σ₂ ²(Y)分别为原始图像与失真图像的高斯加权方差；tSim即为以标准差相似度表征的图像纹理相似度。

所述第六步中，得到原始图像与失真图像的质量评价分数SDP的具体方法包括如下：

综合图像的显著性相似性salSim、梯度相似性gSim、PSNR相似性pSim和纹理相似性tSim，得到质量评价分数如下：

其中：salWg是显著性加权因子，该因子为每个像素点的最大显著性值：salWg＝max(S_I,S_T)。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明通过引入图像显著性对图片的重要细节进行描述，可以更准确的反应图像压缩后的质量失真，改进了图像质量的预测准确性；

(2)本发明针对JPEG图像编码特点提出的质量评价方法，能够更准确的反应JPEG图像压缩产生的失真现象；

(3)本发明对于网络可视媒体大数据的质量评价有更强的实用性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例的图像质量评价方法框架图；

图2a为本发明实施例的显著相似性示意图；

图2b为本发明实施例的梯度相似性示意图；

图2c为本发明实施例的PSNR相似性示意图；

图2d为本发明实施例的纹理相似性示意图；

图3为主观分数MOS和客观分数的分布及其拟合曲线示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本发明所提供的针对JPEG图像格式的显著性细节保持(SDP)的质量评价方法，包括以下步骤：

第一步：对原始图像I和失真图像T进行预处理；

由RGB通道转为YIQ通道，然后对转换后的图像进行下采样，得到对应的下采样图像D_I和D_T；如果是文字图片，按照RGB或灰度线性变换处理。对RGB到YIQ的颜色空间转换，具体函数可表示如下：

对转换后的图像进行下采样，具体函数可表示如下：

F＝max(1,round(N/256))

其中：N是图像高度(或宽度)。

第二步：根据已公开的Frequency-Tuned图像显著检测算法分别计算原始图像与失真图像的显著图S_I和S_T，按如下公式计算S_I和S_T之间的显著相似度，得到显著性相似性salSim，具体函数可表示如下：

其中：T1是一个非常小的正整数，以确保分母不为0，如T1＝0.000001。

另外，本算法认为像素点的显著值越高，在质量评价中影响越大，因此提出显著性加权因子salWg，该因子为每个像素点的最大显著性值，具体函数可表示如下：salWg＝max(S_I,S_T)。

第三步：采用Sobel算子提取图像梯度,具体函数可表示如下：

其中I为原始图像。

梯度图G_I和G_T之间的梯度相似性gSim计算，具体函数可表示如下：

其中ε是一个正整数，且参数ε是根据梯度值的动态范围得到的值，实验中根据梯度值的动态范围取值为ε≈1200时得到的结果最好。

第四步：PSNR相似性处理采用高斯加权的方法，为避免JPEG 8×8分块效应，考虑到高斯滤波器的对称性及由中心点向四周扩散的特征，本算法将滑动窗口定义为11×11的高斯加权W＝{w_ij|i,j＝1,2,...,N},N＝11，标准差设为1.5，则原始图像与失真图像PSNR的相似性，具体函数可表示如下：

其中：其中x_ij,y_ij分别为原始图像与失真图像Y通道的像素值，K为Y通道深度，一般为8位图像K＝8。在滑动窗口内，diff为原图像和失真图像差值平方的高斯系数加权平均值。thr为峰值信噪比阈值，设为thr＝53。pSim表示原始图像与失真图像的PSNR相似性。

第五步：首先计算滑动窗口内原始图像与失真图像标准差的相似度，作为两张图像的局部纹理相似度，具体函数可表示如下：

然后计算原图像与失真图像的纹理相似性，具体函数可表示如下：

其中：参数T2是一个非常小的正整数，以确保分母不为0，如T2＝0.000001；μ₁(X),μ₂(Y)分别为原始图像与失真图像的高斯加权均值；σ₁ ²(X)，σ₂ ²(Y)分别为原始图像与失真图像的高斯加权方差；tSim即为以标准差相似度表征的图像纹理相似度。

第六步：综合图像的显著性相似性、梯度相似性、PSNR相似性和纹理相似性，得到原始图像I和失真图像T的质量评价分数SDP，具体函数可表示如下：

实施效果

如图2a、图2b、图2c、图2d分别所示的本发明一实施例的显著相似性、梯度相似性、PSNR相似性、纹理相似性示意图，在公开的图像质量评价CSIQ数据集上进行测试。所有试验均在PC计算机上实现，该PC计算机的主要参数为：中央处理器Intel(R)Core(TM)i5-3470CPU@3.2GHz，内存4G RAM,Windows 8。

图3为主观分数MOS和客观分数的分布及其拟合曲线示意图，测试数据集是CSIQ里的JPEG图像格式，从中可以看出本发明提出的质量评价方法预测的分数和主观分数有很好的相关性。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims

1.一种针对JPEG图像格式的显著性细节保持的质量评价方法，其特征在于，该方法包括以下步骤：

第二步：对下采样图像D_I和D_T进行显著性相似度计算，分别得到原始图像与失真图像的显著图S_I和S_T,然后根据得到的显著图计算原始图像与失真图像的显著相似性salSim，得到显著性导向特征图；

第三步：把图像划分成一个一个区域块，在滑动窗口内采用Sobel算子提取图像梯度作为图像的低层特征，得到原始图像与失真图像的梯度图G_I和G_T，然后计算两者的梯度相似性gSim，得到梯度导向特征图；

第四步：把图像划分成一个一个区域块，在滑动窗口内计算窗口内像素的统计值作为窗口中心点的值，逐像素移动窗口,计算原始图像与失真图像的高斯加权PSNR相似性pSim，得到PSNR导向特征图；

第五步：把图像划分成一个一个区域块，在滑动窗口内计算滑动窗口内原始图像与失真图像标准差的相似度，作为原始图像与失真图像的纹理相似性tSim，得到纹理导向特征图；

第六步：综合图像的显著性导向特征图salSim、梯度导向特征图gSim、PSNR导向特征图pSim和纹理导向特征图tSim，得到基于导向图的JPEG质量评价分数如下：

2.根据权利要求1所述的针对JPEG图像格式的显著性细节保持的质量评价方法，其特征在于，所述第一步中，对原始图像I和失真图像T进行预处理的方法包括如下：分别将原始图像I和失真图像T由RGB通道转换为YIQ通道，然后对转换后的图像进行下采样，得到对应的下采样图像D_I和D_T；

对RGB到YIQ的颜色空间转换公式如下：

对转换后的图像进行下采样的公式如下：

F＝max(1,round(N/256))

其中：N是图像高度或宽度。

3.根据权利要求1所述的针对JPEG图像格式的显著性细节保持的质量评价方法，其特征在于，所述第二步中，计算原始图像与失真图像的显著相似性salSim的具体方法包括如下：

根据图像显著检测算法分别计算原始图像与失真图像的显著图S_I和S_T，按如下公式计算显著性相似性salSim：

得到一张显著性导向特征图，其中：T1是一个非常小的正整数，以确保分母不为零。

4.根据权利要求1所述的针对JPEG图像格式的显著性细节保持的质量评价方法，其特征在于，所述第三步中，Sobel算子和图像梯度G的计算公式如下：

其中：I为原始图像。

5.根据权利要求1所述的针对JPEG图像格式的显著性细节保持的质量评价方法，其特征在于，所述第三步中，把图像划分成一个一个区域块，在滑动窗口内计算原始图像与失真图像的梯度图G_I和G_T之间的梯度相似性gSim的计算公式如下：

得到梯度导向特征图，其中：ε是一个正整数，是根据梯度值的动态范围得到的值。

6.根据权利要求5所述的针对JPEG图像格式的显著性细节保持的质量评价方法，其特征在于，ε≈1200。

7.根据权利要求1所述的针对JPEG图像格式的显著性细节保持的质量评价方法，其特征在于，所述第四步中，把图像划分成一个一个区域块，计算高斯加权PSNR相似性pSim的具体方法包括如下：

考虑到高斯滤波器的对称性及由中心点向四周扩散的特征，将滑动窗口定义为11×11的高斯加权W＝{w_ij|i,j＝1,2,…,N},N＝11，标准差设为1.5，则原始图像与失真图像PSNR的相似性计算公式如下：

得到高斯加权PSNR相似性导向特征图，其中：其中x_ij,y_ij分别为原始图像与失真图像Y通道的像素值，K为Y通道深度，在滑动窗口内，diff为原始图像和失真图像差值平方的高斯系数加权平均值，thr为峰值信噪比阈值，pSim表示原始图像与失真图像的PSNR相似性。

8.根据权利要求1所述的针对JPEG图像格式的显著性细节保持的质量评价方法，其特征在于，所述第五步中，把图像划分成一个一个区域块，将滑动窗口内计算原始图像与失真图像的纹理相似性tSim的具体方法包括如下：

得到纹理导向特征图，其中：参数T2是一个非常小的正整数，以确保分母不为0，x_ij,y_ij分别为原始图像与失真图像Y通道的像素值，K为Y通道深度，W_ij为高斯加权W＝{w_ij|i,j＝1,2,…,11}，μ₁(X),μ₂(Y)分别为原始图像与失真图像的高斯加权均值；对于每个滑动窗口，分别计算原始图像和失真图像的方差σ₁ ²(X)，σ₂ ²(Y)，σ₁ ²(X)，σ₂ ²(Y)分别为原始图像与失真图像的高斯加权方差；tSim即为以标准差相似度表征的图像纹理相似度。