一种基于联合熵的彩色图像质量评价方法
技术领域
本发明涉及数字图像质量客观评价、机器视觉以及人工智能等技术领域,具体涉及一种基于联合熵的彩色图像质量评价方法。
背景技术
在计算机及互联网迅猛发展的现在,数字图像与人们日常生活联系越来越密不可分。人们在使用数字图像时为了达成某个目标经常需要对图像进行传输、存储、压缩、编辑等处理,而这些处理不可避免的会对数字图像的质量产生影响,导致数字图像的质量存在不同程度的客观失真退化问题。于是对数字图像质量的失真程度的客观评价应运而生。此外,在数字图像处理、机器视觉以及人工智能等领域,比如图像融合、图像复原和机器视觉技术等都离不开数字图像质量的客观评价,在机器学习领域也需要数字图像质量的客观评价作为实现其功能的必要条件。因此,数字图像质量的失真客观评价成为当前的热点研究课题。
目前,数字图像质量的客观评价方法有三类,分别是全参考图像质量评价(FR-IQA)、半参考图像质量评价(RR-IQA)和无参考图像质量评价(NR-IQA)。现有的全参考图像质量评价方法面临以下问题:1)图像的彩色空间较少被考虑,主要针对灰度图像进行评价处理;2)通用型FR-IQA居多,针对某些特定失真类型的图像评价效果不佳。在全参考图像质量评价方法中,峰值信噪比(PSNR)方法(Niranjan Damera-Venkata等人,IEEETRANSACTIONS ON IMAGE PROCESSING,Image Quality Assessment Based on aDegradation Model)是该领域使用时间最早、应用最为广泛的一类指标,虽然其简单易用且具有明确的物理意义,但在很多情况下人眼感知一致性表现并不理想;2004年W.Zhou等人提出了基于图像亮度、对比度、结构的结构相似性(SSIM)方法(W.Zhou等人,IEEETRANSACTIONS ON SIGNAL PROCESSING,MULTI-SCALE STRUCTURAL SIMILARITY FOR IMAGEQUALITY ASSESSMENT);2006年S.H.R等人利用HVS人类视觉模型和互信息提出了视觉保真度(VIF)方法(S.H.R等人,IEEE TRANSACTIONS ON IMAGE PROCESSING,Image informationand visual quality);在以上三种方法的基础上不断拓展了很多相关的图像质量评价方法,其中的一些方法在图像复原、图像处理等领域得到了较好的应用。随着数字图像处理领域对图像处理的类型和技术的越来越专一化和细化的发展需求,针对特定失真类型的图像质量的评价以及对不同失真程度图像的质量描述和评价成为了相关领域的热点研究课题。当前,亟需准确性高、性能良好且能够对不同失真类型及不同失真程度的图像进行质量上的客观描述和评价的方法,以解决相关领域图像质量失真退化的评估问题。
为了解决传输、存储、压缩、编辑等处理对数字图像带来的质量失真问题,本发明将图像像素误差统计与信息论相结合,利用联合熵来描述失真图像与标准图像之间的质量失真程度,最终提供了一种基于联合熵的彩色图像质量评价方法。该方法能够快捷、准确、客观的反映彩色图像由于图像像质退化而造成的直方图分布特征的改变以及图像像素数据的变化,尤其是对于低程度失真彩色图像;该方法利用统计学联合熵对低程度失真图像进行客观质量评价,不同于以往的任何一种全参考图像质量评价方法,可为以后全参考图像质量评价方法研究提供新的理论基础和方法思路。
发明内容
随着数字图像处理类型越来越专一化,对特定类型的图像质量的评价方法的需求随之增加,在某些特定领域亟需准确性高、性能良好的针对特定失真程度和范围的图像质量评价方法,尤其是针对低程度失真的彩色图像质量。
本发明的目的是对彩色图像的质量失真退化进行快捷、准确的客观描述和评价,尤其是对低程度失真彩色图像。本发明提供了一种基于联合熵的彩色图像质量评价方法,以解决图像在传输、存储、压缩、编辑等处理对数字图像带来的质量失真退化问题。通过该方法的联合熵和归一化处理得到的评价数据,能够真实反映两幅图像之间的图像质量的视觉感知差异。
为了实现上述目的,本发明提供了一种技术方案,一种基于联合熵的彩色图像质量评价方法,其特征在于,所述的评价方法是利用联合熵对彩色图像的失真进行评价,所述的联合熵的计算是利用两幅数字图像,分别为图像I1和图像I2,通过下列操作来实现的:
操作1:将两幅数字图像的像素的红(R)、绿(G)、蓝(B)数据转换为亮度(Y)、蓝色色度分量(Cb)、红色色度分量(Cr)的数据,Y=0.257R+0.564G+0.098B+16,Cb=-0.148R-0.291G-0.439B+128,Cr=0.439R-0.368G-0.071B+128,R、G、B、Y、Cb、Cr的取值范围均为0-255,所得到的图像I1和图像I2的Y、Cb、Cr数据集分别为Y1、Cb1、Cr1和Y2、Cb2、Cr2,然后由之获得Y1~Y2、Cb1~Cb2和Cr1~Cr2数据集对;
操作2:利用关系式
计算由操作1所获得的Y1~Y2、Cb1~Cb2和Cr1~Cr2数据集对的联合熵,分别为HY、HCb和HCr;所述的关系式中,X和Y为数据集,由之构成了X~Y数据集对,X和Y的大小完全相同且其内的数据一一对应;x、y为X、Y数据集的同样位置的数据,由之构成了数据对(x,y);p(x,y)为X~Y数据集对内部的数据对(x,y)的数目与X~Y数据集对的所有数据对的总数目的比值;然后,对所获得的联合熵HY、HCb和HCr执行加权处理得到图像I1和图像I2的联合熵Hco=αHY+βHCb+γHCr,其中的α+β+γ=1;
所述的基于联合熵的彩色图像质量评价方法,包括如下步骤:
步骤1:输入标准图像Iref和失真图像Idis;
步骤2:根据所述的联合熵的计算的操作1和操作2,将标准图像Iref作为图像I1、失真图像Idis作为图像I2,计算标准图像Iref和失真图像Idis之间的联合熵Hco-ref-dis;
步骤3:根据所述的联合熵的计算的操作1和操作2,将标准图像Iref作为图像I1、标准图像Iref作为图像I2,计算标准图像Iref和标准图像Iref之间的联合熵Hco-ref-ref;
步骤4:对步骤3所获得的联合熵Hco-ref-ref和Hco-ref-dis执行归一化处理,得到的失真图像Idis的失真评价数据S,
所述的一种基于联合熵的彩色图像失真评价方法,其特征在于,操作2所述的联合熵Hco=αHY+βHCb+γHCr,优选的,α=β=γ=1/3。
所述的一种基于联合熵的彩色图像失真评价方法,其特征在于,步骤1所述的失真图像Idis,优选的,为经过“JPEG压缩”、“JPEG2000压缩”、“高斯模糊”、“加性高斯白噪声”和“加性高斯粉红噪声”处理的图像;步骤4所述的失真评价数据S真实反映了人眼对失真图像的视觉感知误差。
本发明提供的基于联合熵的彩色图像质量评价方法,还具有以下特点:
1、本发明提供的彩色图像质量评价方法,能够客观反映彩色图像质量失真退化引起的视觉感知差异。
2、本发明利用图像的Y、Cb、Cr数据来计算标准图像与失真图像间的联合熵。
3、本发明提出了一种对图像的联合熵进行归一化处理的公式,使得到的失真评价数据S与失真图像与标准图像之间的人眼视觉感知差异相匹配,符合人眼的视觉感知特性。
4、本发明的评价方法得到的失真评价数据较同类方法更加简洁、准确,更加符合人眼的视觉感知规律,拥有良好的评价性能,尤其是对于低程度失真图像。
5、本发明的评价方法能够对彩色图像的细微的像素直方图分布和像素种类变化进行快捷、准确、客观的反映。
6、本发明的评价方法可以用于描述高斯模糊、加性高斯白噪声、加性高斯粉红噪声、JPEG压缩、JPEG2000压缩等失真图像的失真退化问题。
附图说明
图1为本发明的所述的两幅图像的联合熵的计算流程图。
图2为本发明的所述的彩色图像质量评价的流程图。
图3为本发明的实例一的标准图像。
图4为本发明的实例一的一幅失真图像。
图5为本发明的实例一的另一幅失真图像。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步描述。以下实施例仅用于说明本发明,但不用来限制本发明的范围。
图1为本发明提供的彩色图像质量评价方法的联合熵的计算流程图,图2为本发明的基于联合熵的彩色图像质量评价的流程图。再结合本发明提供的技术方案,一种基于联合熵的彩色图像质量评价方法,就能够对彩色图像的失真退化进行客观描述和评价,解决相关领域的彩色图像相关应用问题。本发明提供的下列实施例就是依据图1和图2的流程图以及本发明提供的技术方案来实现的,具体实施例如下:
实施例一
本实施例选取CSIQ(Categorical subjective image quality)数据库内的一幅标准图像和与之对应的两幅失真程度不同的失真图像,作为本发明的输入进行本发明所述的彩色图像质量评价方法的说明;所述的CSIQ数据库共含有30幅标准图像、866幅失真图像,所述的失真图像的失真类型包括JPEG压缩、JPEG2000压缩、整体对比度缩减、加性高斯粉红噪声、加性高斯白噪声以及高斯模糊;所述的CSIQ数据库提供了失真图像的人眼平均感知误差(DMOS)值,DMOS的取值范围为[0,1],DMOS越大表示图像质量越低,人眼感知的效果越差。
图3为所选取的标准图像,文件名为src_imgs1600;图4为失真程度较小的加性高斯白噪声失真图像,文件名为1600.AWGN.1;图5为失真程度较大的加性高斯白噪声失真图像,文件名为1600.AWGN.3。图4所示图像的DMOS为0.062,图5所示图像的DMOS为0.262,由图3、图4和图5不难发现,图4的图像质量比图5的图像质量要好,人眼几乎察觉不到图4和图3的差别,而图5所示图像的天空部分能够察觉到零星的噪声点分布。
将图3和图4作为本发明的输入,图3为本发明的技术方案的步骤1的标准图像Iref,图4为失真图像Idis;然后利用本发明的技术方案的步骤2-3以及图1-2所示的流程,计算标准图像Iref和标准图像Iref之间的联合熵Hco-ref-ref,以及标准图像Iref和失真图像Idis之间的联合熵Hco-ref-dis;再按照本发明的技术方案的步骤4以及图1-2所示的流程,得到失真图像(图4)的失真评价数据S,为0.058。
将图3和图5作为本发明的输入,图3为本发明的技术方案的步骤1的标准图像Iref,图5为失真图像Idis,然后利用本发明的技术方案的步骤2-3以及图1-2所示的流程,计算标准图像Iref和标准图像Iref之间的联合熵Hco-ref-ref,以及标准图像Iref和失真图像Idis之间的联合熵Hco-ref-dis;再按照本发明的技术方案的步骤4以及图1-2所示的流程,得到失真图像(图5)的失真评价数据S,为0.276。0.276大于0.058,图4的图像质量比图5的图像质量要好,由本发明的评价方法所得到的评价结果与DMOS值一致,和人眼的视觉感知评价相符。
实施例二
本实施例选取CSIQ数据库内的一幅标准图像和与之对应的两幅失真程度不同的失真图像,作为本发明的输入进行本发明所述的彩色图像质量评价方法的说明。标准图像的文件名为src_imgs1600;所选取的失真图像为JPEG2000压缩的两幅不同压缩比的失真图像,其文件名分别为1600.jpeg2000.1和1600.jpeg2000.3,其DMOS分别为0.012和0.364,前者比后者的图像质量要好;人眼几乎感觉不到文件名为1600.jpeg2000.1的JPEG2000压缩失真图像与标准图像之间的差异,而文件名为1600.jpeg2000.3的JPEG2000压缩失真图像内的旗杆树木与天空分界部分则有模糊虚化的压缩毛边。
将文件名为src_imgs1600和1600.jpeg2000.1的图像作为本发明的输入,文件名为src_imgs1600的图像为本发明的技术方案的步骤1的标准图像Iref,文件名为1600.jpeg2000.1的图像为本发明的失真图像Idis;然后利用本发明的技术方案的步骤2-3以及图1-2所示的流程,计算标准图像Iref和标准图像Iref之间的联合熵Hco-ref-ref,以及标准图像Iref和失真图像Idis之间的联合熵Hco-ref-dis;再按照本发明的技术方案的步骤4以及图1-2所示的流程,得到文件名为1600.jpeg2000.1的失真图像的失真评价数据S,为0.038。
将文件名为src_imgs1600和1600.jpeg2000.3的图像作为本发明的输入,文件名为src_imgs1600的图像为本发明的技术方案的步骤1的标准图像Iref,文件名为1600.jpeg2000.3的图像为本发明的失真图像Idis;然后利用本发明的技术方案的步骤2-3以及图1-2所示的流程,计算标准图像Iref和标准图像Iref之间的联合熵Hco-ref-ref,以及标准图像Iref和失真图像Idis之间的联合熵Hco-ref-dis;再按照本发明的技术方案的步骤4以及图1-2所示的流程,其中的α=β=γ=1/3,所得到文件名为1600.jpeg2000.3的失真图像的失真评价数据S,为0.135。0.135大于0.038,文件名为1600.jpeg2000.1的图像质量比文件名为1600.jpeg2000.3的图像质量要好,由本发明的评价方法所得到的评价结果与DMOS值一致,和人眼的视觉感知评价相符。
实施例三
本实施例选取CSIQ数据库内的一幅标准图像和与之对应的两幅失真程度不同的失真图像,作为本发明的输入进行本发明所述的彩色图像质量评价方法的说明。标准图像的文件名为src_imgs1600;所选取的失真图像为JPEG压缩的两幅不同压缩比的失真图像,其文件名分别为1600.jpeg.1和1600.jpeg.3,前者比后者的图像质量要好;人眼几乎感觉不到文件名为1600.jpeg.1的JPEG压缩失真图像与标准图像之间的差异,而文件名为1600.jpeg.3的JPEG压缩失真图像内的内容的边界部分则有虚化现象。
将文件名为src_imgs1600和1600.jpeg.1的失真图像作为本发明的输入,文件名为src_imgs1600的图像为本发明的技术方案的步骤1的标准图像Iref,文件名为1600.jpeg.1的图像为本发明的失真图像Idis;然后利用本发明的技术方案以及图1-2所示的流程,计算文件名为1600.jpeg.1和文件名为1600.jpeg.3的失真图像的失真评价数据S,前者的失真评价数据S大于后者的,其图像质量更好,由本发明的评价方法所得到的评价结果与DMOS值的描述结果一致,和人眼的视觉感知评价也相符。
实施例四
本实施例选取CSIQ数据库内的一幅标准图像和与之对应的两幅失真程度不同的失真图像,作为本发明的输入进行本发明所述的彩色图像质量评价方法的说明。标准图像的文件名为src_imgs1600;所选取的两幅失真图像为加性高斯粉红噪声失真图像,其文件名分别为1600.fnoise.1和1600.fnoise.3,前者比后者的图像质量要好;人眼几乎感觉不到文件名为1600.fnoise.1的加性高斯粉红噪声失真图像与标准图像之间的差异,而文件名为1600.fnoise.3的失真图像能察觉到与标准图像的不同。
将文件名为src_imgs1600和1600.fnoise.1的失真图像作为本发明的输入,文件名为src_imgs1600的图像为本发明的技术方案的步骤1的标准图像Iref,文件名为1600.fnoise.1的图像为本发明的失真图像Idis;然后利用本发明的技术方案以及图1-2所示的流程,计算文件名为1600.fnoise.1和文件名为1600.fnoise.3的失真图像的失真评价数据S,前者的失真评价数据S大于后者的,其图像质量更好,由本发明的评价方法所得到的评价结果与DMOS值的描述结果一致,和人眼的视觉感知评价也相符。
实施例五
本实施例选取CSIQ数据库内的一幅标准图像和与之对应的两幅失真程度不同的失真图像,作为本发明的输入进行本发明所述的彩色图像质量评价方法的说明。标准图像的文件名为src_imgs1600;所选取的两幅失真图像为高斯模糊失真图像,其文件名分别为1600.blur.1和1600.blur.3,前者比后者的图像质量要好;人眼几乎感觉不到文件名为1600.blur.1的高斯模糊失真图像与标准图像之间的差异,而文件名为1600.blur.3的失真图像能察觉到与标准图像的不同。
将文件名为src_imgs1600和1600.blur.1的失真图像作为本发明的输入,文件名为src_imgs1600的图像为本发明的技术方案的步骤1的标准图像Iref,文件名为1600.blur.1的图像为本发明的失真图像Idis;然后利用本发明的技术方案以及图1-2所示的流程,计算文件名为1600.blur.1和文件名为1600.blur.3的失真图像的失真评价数据S,前者的失真评价数据S大于后者的,其图像质量更好,由本发明的评价方法所得到的评价结果与DMOS值的描述结果一致,和人眼的视觉感知评价也相符。
实施例六
本实施例选取利用数码设备捕获的彩色图像,然后对此彩色图像进行JPEG压缩、JPEG2000压缩、加性高斯粉红噪声、加性高斯白噪声以及高斯模糊的失真处理,分别得到的标准图像img0、失真图像img1、失真图像img2、失真图像img3、失真图像img4和失真图像img5。
然后,将img0作为本发明的标准图像Iref,img1作为本发明的失真图像Idis;再利用本发明的技术方案以及图1-2所示的流程,计算失真图像img1的失真评价数据S1;将img0作为本发明的标准图像Iref,img2作为本发明的失真图像Idis;再利用本发明的技术方案以及图1-2所示的流程,计算失真图像img2的失真评价数据S2;将img0作为本发明的标准图像Iref,img3作为本发明的失真图像Idis;再利用本发明的技术方案以及图1-2所示的流程,计算失真图像img3的失真评价数据S3;将img0作为本发明的标准图像Iref,img4作为本发明的失真图像Idis;再利用本发明的技术方案以及图1-2所示的流程,计算失真图像img4的失真评价数据S4;将img0作为本发明的标准图像Iref,img5作为本发明的失真图像Idis;再利用本发明的技术方案以及图1-2所示的流程,计算失真图像img5的失真评价数据S5;所得到的评价数据S1、S2、S3、S4、S5的相对大小真实反映了失真图像的失真程度,评价结果和人眼的视觉感知评价一致。
以上实施仅表达了本发明的实施方式,其描述较为具体和详细,但不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都是属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。