一种基于图像熵的对比度失真图像质量评价方法
技术领域
本发明涉及图像评价及图像处理技术领域,具体涉及一种基于图像熵的对比度失真图像质量评价方法。
背景技术
近十几年,是图像质量评价蓬勃发展的时期。由于图像感知的视觉质量对于图像及视频处理系统的设计和优化至关重要,图像质量评价(Image quality assessment,IQA)一直是相关领域的研究热点课题。通常,呈现在人们面前的影像,都是要经过采集、压缩、传输等不同的过程阶段处理的,这些过程所产生的各种图像失真包括压缩伪影、模糊、噪声等都会严重影响图像的视觉感知效果。在图像采集、压缩、传输等过程中,图像捕获、传播时的不利光照条件、低质量的成像器件、再现设备伽马校正失效以及不合适的图像增强、修改操作等都会引起不同程度的图像对比度失真问题,致使图像的整体或部分区域的对比度、亮度较标准图像有很大的差异,人眼感知的图像质量大大降低。目前,已有很多用于IQA的方法,它们对压缩、模糊、噪声失真而退化的图像质量的评价均表现了较好的评价效果,但对对比度失真类型的退化图像的质量评价却几乎失效。因此,针对对比度失真图像的质量评价问题,成为了国内外学者深入探讨的重要课题。
近年来,针对对比度失真图像的质量评价,业内学者相继提出多种评价方法。相关研究发现,与标准图像相比,对比度失真图像在其亮度、直方图上的变化具有特殊性,于是众多学者通过提取图像及图像直方图的均值、方差、偏度等特征或将上述特征有机结合来度量对比度失真图像的视觉感知质量,取得了较好的评价效果。目前,虽有运用图像的图像熵特征进行图像对比度失真质量评价的报道,但其所要求的输入通常是灰度图像,忽略了图像的色彩也会随图像的对比度、亮度的变化而改变,因此其评价效果不理想;还有一些评价方法,只是将图像的图像熵特征作为图像的信息量来衡量、减小了图像熵在评价中的权重,这在很大程度上忽略了图像熵在对比度失真图像的直方图分布上的优良度量潜能,致使其评价达不到预期的效果。事实上,图像熵本身是一个能够衡量图像对比度失真的优良的特征量,正确合理的运用图像熵来对对比度失真图像进行质量上的客观评价至关重要。本发明基于图像熵提出了一种对比度失真图像质量评价的方法。与其他评价方法相比,本发明的评价更合理、准确,操作上也较简单,在图像融合、图像增强、图像识别领域及图像处理相关领域均有着广泛的应用前景和价值。
为了解决采集、传输、压缩等处理对图像带来的对比度失真的评价问题,本发明基于图像熵的原理以及对比度失真图像的直方图变化的规律,提出了一种基于图像熵的对比度失真图像质量评价方法。图像的对比度失真的表现,主要体现在图像的信息量减少和其直方图分布的均匀性降低这两个方面;本发明所提出并采用的图像熵,能够很好的衡量图像的信息量,还能够很好的衡量图像的直方图的分布变化情况。本发明提供的评价方法,其计算过程不是很复杂、计算效率高、准确性好,对对比度失真图像的失真程度具有很好的评价性能,能够满足图像融合、图像增强、图像识别等相关领域对对比度失真图像的质量客观评价的实际需求。
发明内容
本发明的目的是为了克服现有的图像质量评价体系缺乏对对比度失真图像的失真退化程度的客观评价方法以及现有的对比度失真图像质量评价方法的性能不佳的技术缺陷,而提出一种基于图像熵的对比度失真图像质量评价方法。本发明通过该方法以解决图像在传输、存储、压缩、编辑等处理对数字图像带来的质量失真退化问题,所得到的评价数据能够真实反映失真退化图像与标准图像之间的差异,其与人眼的视觉感知效果一致。
为了实现上述目的,本发明提供了一种技术方案,一种基于图像熵的对比度失真图像质量评价方法,其特征在于,所述的评价方法是基于图像熵对图像的对比度失真程度进行评价,所述的图像熵的计算是通过下列操作来实现的:
操作1:令输入的图像为图像I,提取图像I的像素的红(R)、绿(G)、蓝(B)三个通道的数据,得到图像I的R、G、B数据集;
操作2:利用关系式
分别计算由操作1所获得的图像I的R、G、B数据集的图像熵,所获得的图像熵分别为HR、HG和HB;所述的关系式中,x为图像I的R、G、B数据集的数据,其取值范围为0-255;px为数据值为x的数据的数目与数据值x所在的数据集的数据总数目的比值,所述的数据集为R、G、B数据集;然后,对所获得的图像熵HR、HG和HB执行加权处理得到图像I的图像熵HI=αHR+βHG+γHB,其中的α+β+γ=1;
所述的一种基于图像熵的对比度失真图像质量评价方法,包括如下步骤:
步骤1:输入标准图像Iref和对比度失真图像Idis;
步骤2:根据所述的图像熵的计算的操作1和操作2,计算标准图像Iref的图像熵Href;
步骤3:根据所述的图像熵的计算的操作1和操作2,计算对比度失真图像Idis的图像熵Hdis;
步骤4:利用步骤2、步骤3所获得的图像熵Href和Hdis,对所述的图像熵Hdis执行归一化处理,得到所述的对比度失真图像Idis的失真评价数据S,
所述的一种图像熵的对比度失真图像质量评价方法,其特征在于,操作2所述的图像熵HI=αHR+βHG+γHB,优选的,α=β=γ=1/3。
所述的一种基于图像熵的对比度失真图像质量评价方法,其特征在于,步骤1所述的对比度失真图像Idis,优选的,为经过对比度失真处理的图像,图像的对比度、亮度在图像的整体或部分发生了失真改变;步骤4所述的失真评价数据S真实反映了人眼对对比度失真图像的视觉感知误差。
本发明提供的基于图像熵的对比度失真图像质量评价方法,还具有以下特点:
1、本发明提供的对比度失真图像质量评价方法,能够客观反映彩色图像因对比度失真退化而引起的视觉感知差异。
2、本发明提供的方法,可以用来评价彩色图像的失真问题,也可以用来评价灰度图像的失真问题。对于灰度图像,可以将之看作红、绿、蓝通道完全相同的彩色图像进行处理。
3、本发明针对对比度失真图像进行质量评价,尤其是图像的整体或部分区域的对比度、亮度发生改变的失真类型的数字图像。
4、本发明的评价方法,能够对彩色图像的对比度、亮度发生改变时的图像像素直方图分布和图像像素种类变化进行快捷、准确、客观的反映。
5、本发明利用图像的R、G、B三通道的数据来计算图像的图像熵,考虑了图像的对比度失真引起的图像彩色分量的变化情况,对彩色对比度失真图像有良好的评价效果。
6、本发明提出了一种对图像的图像熵进行归一化处理的公式,使得到的失真评价数据S与对比度失真图像与标准图像之间的人眼视觉感知差异相匹配,符合人眼的视觉感知特性。
附图说明
图1为本发明的所述的图像熵的计算的流程图。
图2为本发明的所述的基于图像熵的对比度失真图像质量评价方法的整体流程图。
图3为本发明的实例一的标准图像。
图4为本发明的实例一的一幅对比度失真图像。
图5为本发明的实例一的另一幅对比度失真图像。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步描述。以下实施例仅用于说明本发明,但不用来限制本发明的范围。
图1为本发明提供的对比度失真图像质量评价方法所述的图像熵的计算的流程图,图2为本发明的基于图像熵的对比度失真图像质量评价方法的整体流程图。再结合本发明提供的技术方案,一种基于图像熵的对比度失真图像质量评价方法,就能够对数字图像的对比度失真退化程度进行客观的描述和评价,解决相关领域的图像应用问题。本发明提供的下列实施例就是依据图1和图2的流程图以及本发明提供的技术方案来实现的,具体实施例如下:
实施例一
本实施例选取CSIQ(Categorical subjective image quality)数据库内的一幅标准图像和与之对应的两幅失真程度不同的整体对比度缩减失真图像,作为本发明的输入进行本发明所述的对比度失真图像质量评价方法的说明;所述的CSIQ数据库共含有30幅标准图像、866幅失真图像,所述的失真图像的失真类型包括JPEG压缩、JPEG2000压缩、整体对比度缩减、加性高斯粉红噪声、加性高斯白噪声以及高斯模糊;所述的CSIQ数据库提供了失真图像的人眼平均感知误差值(DMOS),DMOS的取值范围为[0,1],DMOS越大表示图像质量越低,人眼感知的效果越差。
图3为所选取的标准图像,文件名为src_imgs1600;图4为失真程度较小的整体对比度缩减失真图像,文件名为1600.contrast.1;图5为失真程度相对较大的整体对比度缩减失真图像,文件名为1600.contrast.3;图4所示图像的DMOS为0.056,图5所示图像的DMOS为0.310。由图3-5不难发现,图4的图像感知质量比图5的图像感知质量要好,图4和图3的图像的整体对比度差别不大,图像中的红花和蓝天的对比明显、饱和度高;与图3相比,图5的图像的对比度明显降低,红花和蓝天的对比不明显,图像整体上呈现了灰蒙蒙的外观。
将图3和图4作为本发明的输入,图3为本发明的技术方案的步骤1的标准图像Iref,图4为对比度失真图像Idis;然后利用本发明的技术方案的步骤2-3以及图1-2所示的流程,分别计算标准图像Iref和对比度失真图像Idis的图像熵Href和Hdis;再按照本发明的技术方案的步骤4以及图1-2所示的流程,得到对比度失真图像(图4)的失真评价数据S,为0.029。
将图3和图5作为本发明的输入,图3为本发明的技术方案的步骤1的标准图像Iref,图5为对比度失真图像Idis,然后利用本发明的技术方案的步骤2-3以及图1-2所示的流程,分别计算标准图像Iref和对比度失真图像Idis的图像熵Href和Hdis;再按照本发明的技术方案的步骤4以及图1-2所示的流程,得到对比度失真图像(图5)的失真评价数据S,为0.117。0.117大于0.029,图4的图像质量比图5的图像质量要好,由本发明的评价方法所得到的评价结果与DMOS值一致,和人眼的视觉感知评价相符。
实施例二
本实施例选取CSIQ数据库的30幅内容不同的标准图像以及146幅整体对比度缩减失真图像(每幅标准图像对应3或4幅对比度失真程度不同的失真图像,失真图像为通过对标准图像进行不同程度的对比度失真处理得到的图像,图像的对比度在图像的整体上发生了失真改变)作为本发明的输入,进行本发明所述的对比度失真图像质量评价方法的计算;本发明的评价方法所得到的评价数据,与CSIQ数据库图像的DMOS数据以及人眼感知的图像特性一致。
结合上述的标准图像和相应的整体对比度缩减失真图像,利用本发明的技术方案以及如图1-2所示的流程,来计算得到所述的146幅整体对比度缩减失真图像的评价数据。选取“皮尔逊线性相关系数(PLCC)”、“斯皮尔曼秩序相关系数(SROCC)”和“均方根误差(RMSE)”指标,来说明通过本发明的计算所得到的146幅失真图像的评价数据与146幅失真图像的CSIQ数据库DMOS数据的一致性和准确性,以及本发明的146幅失真图像的评价数据与图像在人眼视觉感知上的一致性。上述的PLCC、SROCC的数值为[-1,1],其数值在[0,1]内表明该两个数据集的数据成正相关,数值越接近1则两个数据集的数据的相关性越好;上述的RMSE用来表达本发明的146幅失真图像的评价数据与相应图像的DMOS数据之间的偏差,该值越大则两个数据集的对应数据的偏差越大。同时,选取四种性能良好的全参考图像质量评价方法:结构相似性(SSIM)、多层结构相似性(MS-SSIM)、内容结构相似性(IW-SSIM)和平均绝对差值(MAD),将之与本发明的方法进行评价性能的比较。
表1给出了基于上述图像的、基于所述的多种评价方法的结果数据。由表可以看出,本发明的针对164幅失真图像的评价数据和相应图像的CSIQ数据库DMOS数据之间的PLCC和SROCC数值分别为0.9407和0.9753,较其他评价方法的数值更接近1,表明这两个数据的数据的相关性高,且与人眼的平均感知特性的一致性好。本发明的RMSE数值较其他方法的偏高,说明两个数据集的数据偏差略大但仍处于可以接受的范围。本发明的所获得的164幅失真图像的失真评价数据,能够客观描述和评价失真图像的对比度失真退化的程度,评价的结果也符合人眼的视觉感知特性。
表1针对146幅失真图像的多种方法的评价
实施例三
本实施例选取利用数码设备捕获的彩色图像,然后对此彩色图像进行部分区域对比度缩减失真处理,分别得到标准图像img0、失真图像img1、失真图像img2和失真图像img3。
然后,将img0作为本发明的标准图像Iref,img1作为本发明的失真图像Idis;再利用本发明的技术方案、图1-2所示的流程以及本发明的技术方案的操作2所述的图像熵HI=αHR+βHG+γHB、α=β=γ=1/3,计算失真图像img1的失真评价数据S1;将img0作为本发明的标准图像Iref,img2作为本发明的失真图像Idis;再利用本发明的技术方案、图1-2所示的流程以及本发明的技术方案的操作2所述的图像熵HI=αHR+βHG+γHB、α=β=γ=1/3,计算失真图像img2的失真评价数据S2;将img0作为本发明的标准图像Iref,img3作为本发明的失真图像Idis;再利用本发明的技术方案、图1-2所示的流程以及本发明的技术方案的操作2所述的图像熵HI=αHR+βHG+γHB、α=β=γ=1/3,计算失真图像img3的失真评价数据S3;所得到的评价数据S1、S2、S3的相对大小真实反映了失真图像的失真程度,评价结果和人眼的视觉感知评价一致。
实施例四
本实施例选取利用数码设备捕获的彩色图像,然后对此彩色图像进行整体亮度缩减失真处理,分别得到标准图像img0、失真图像img1、失真图像img2和失真图像img3。
然后,将img0作为本发明的标准图像Iref,img1作为本发明的失真图像Idis;再利用本发明的技术方案以及图1-2所示的流程,计算失真图像img1的失真评价数据S1;将img0作为本发明的标准图像Iref,img2作为本发明的失真图像Idis;再利用本发明的技术方案以及图1-2所示的流程,计算失真图像img2的失真评价数据S2;将img0作为本发明的标准图像Iref,img3作为本发明的失真图像Idis;再利用本发明的技术方案以及图1-2所示的流程,计算失真图像img3的失真评价数据S3;所得到的评价数据S1、S2、S3的相对大小真实反映了失真图像的失真程度,评价结果和人眼的视觉感知评价一致。
实施例五
本实施例选取利用数码设备捕获的彩色图像,然后对此彩色图像进行部分区域亮度缩减失真处理,分别得到标准图像img0、失真图像img1、失真图像img2和失真图像img3。
然后,将img0作为本发明的标准图像Iref,img1作为本发明的失真图像Idis;再利用本发明的技术方案以及图1-2所示的流程,计算失真图像img1的失真评价数据S1;将img0作为本发明的标准图像Iref,img2作为本发明的失真图像Idis;再利用本发明的技术方案以及图1-2所示的流程,计算失真图像img2的失真评价数据S2;将img0作为本发明的标准图像Iref,img3作为本发明的失真图像Idis;再利用本发明的技术方案以及图1-2所示的流程,计算失真图像img3的失真评价数据S3;所得到的评价数据S1、S2、S3的相对大小真实反映了失真图像的失真程度,评价结果和人眼的视觉感知评价一致。
以上实施仅表达了本发明的实施方式,其描述较为具体和详细,但不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都是属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。