发明内容
有鉴于此,本发明提供了一种图像质量评价方法及装置。
本发明提供的技术方案如下:
第一方面,本发明提供了一种图像质量评价方法,该方法包括:
获得参考图像和失真图像;
使用高斯混合模型对所述参考图像和所述失真图像的小波系数进行建模;
对所述参考图像和所述失真图像分别进行非负矩阵分解,分别获得所述参考图像分解后的基矩阵和所述失真图像分解后的基矩阵;
计算所述参考图像的基矩阵和所述失真图像的基矩阵之间的相似度;
使用视觉内容权重和相似度向量信息,采用支持向量回归方法,将相似度向量信息和图像主观质量分数作为输入,建立从所述输入图像到图像客观质量分数的映射关系;
基于所述映射关系,构建图像质量分数评价函数,通过所述图像质量分数评价函数评价图像的质量。
第二方面,本发明提供了一种图像质量评价装置,包括:
图像输入模块,用于获得参考图像和失真图像;
建模模块,用于使用高斯混合模型对所述参考图像和所述失真图像的小波系数进行建模;
非负矩阵分解模块,用于对所述参考图像和所述失真图像分别进行非负矩阵分解,分别获得所述参考图像分解后的基矩阵和所述失真图像分解后的基矩阵;
相似度计算模块,用于计算所述参考图像的基矩阵和所述失真图像的基矩阵之间的相似度;
映射关系建立模块,用于使用视觉内容权重和相似度向量信息,采用支持向量回归方法,将相似度向量信息和图像主观质量分数作为输入,建立从所述输入图像到图像客观质量分数的映射关系;
函数构建模块,用于基于所述映射关系,构建图像质量分数评价函数,通过所述图像质量分数评价函数评价图像的质量。
在本申请实施例中,在基于非负矩阵分解的图像质量评价方法基础上,利用高斯混合模型刻画图像的统计分布特性,设计基于互信息的视觉内容权重,提高了图像质量评价方法的鲁棒性和稳定性。并综合非负矩阵分解技术和视觉内容权重,构建了图像质量评测函数模型,以改善图像质量评价方法的主客观一致性。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
近年来,基于机器学习的图像质量评价方法得到了广泛地研究和发展。基于机器学习的图像质量评价方法包括两类,一类是基于失真融合的图像质量评价方法,另一类是基于模型融合的图像质量评价方法。可以通过采用神经网络和支持向量回归技术来构造基于失真融合的图像质量评价方法,为了衡量图像质量的失真程度,综合应用了小波系数、DCT(Discrete Cosine Transform,离散余弦变换)系数或亮度的统计特性,最后基于支持向量回归技术来将失真融合的统计量映射到整个图像的质量评价分数中。现有技术中综合考虑了均值、方差、亮度以及对比度等特性,建立了相应的失真融合评价模型,并应用于图像质量的评价中。然而,基于均值、方差、亮度以及对比度等描述子的失真融合评价模型,与人眼对图像的视觉感知特点并不一致;另一方面,基于失真融合的图像质量评价方法在评价图像质量过程中容易出现过拟合现象,并且时间成本较高。
基于模型融合的图像质量评价方法一般是组合多个客观质量评价模型,现有技术提出了一种多度量模型融合的图像质量评价方法,其组合了结构相似度模型SSIM(structural similarity)、方差膨胀因子VIF(visual information fidelity)、峰值信噪比PSNR(Peak Signal-noise-ratio)以及特征相似度模型FSIM(feature similarity)。该方法需要收集大量的图像数据样本进行训练,计算复杂度高,在跨越不同的数据库上该方法的鲁棒性较低。
如图1所示,现有技术中基于非负矩阵分解的图像质量评价方法,其技术方案可归纳为:
1)输入参考图像和失真图像。
2)分别对参考图像和失真图像进行非负矩阵分解,并分别提取参考图像和失真图像分解后的基向量。
3)计算参考图像和失真图像基向量之间的相似度向量。
4)将图像的主观质量分数,以及参考图像和失真图像基向量之间的相似度向量作为机器学习系统(如支持向量机、支持向量回归等)的输入,建立输入到图像客观质量分数之间的映射关系。
5)根据映射关系,建立图像质量评价函数,以对图像质量进行客观评价。
由于非负矩阵分解能够较好地描述图像的高层次抽象特征,因此能够用于设计有效的图像客观质量评价模型,并且现有基于非负矩阵分解的图像质量评价方法利用了极限学习机将图像的多个特征基向量映射到最终的图像质量分数。虽然该方法取得了与主观评价较为一致的客观评价效果,但是该方法的稳定性和鲁棒性都较差。
有鉴于此,本申请实施例提供了一种图像质量评价方法,如图2所示,该方法包括以下步骤S101至步骤S106。
步骤S101,获得参考图像和失真图像。
在本申请实施例中,所述参考图像为未受噪声污染的图像,所述失真图像为经噪声污染后的降质图像,所述参考图像和所述失真图像的分辨率可以均为m×n。
步骤S102,使用高斯混合模型对所述参考图像和所述失真图像的小波系数进行建模。
详细的,如图3所示,可以通过以下子步骤实现对参考图像和失真图像的小波系数的建模。
子步骤S121,计算所述参考图像与经感知后的参考图像之间的互信息,其中,所述参考图像记为R,所述经感知后的参考图像记为E,所述参考图像与经感知后的参考图像之间的互信息为I(R;E)。
子步骤S122,计算所述失真图像与经感知后的失真图像之间的互信息,其中,所述失真图像记为D,所述经感知后的失真图像记为F,所述失真图像与经感知后的失真图像之间的互信息为I(D;F)。
子步骤S123,计算所述经感知后的参考图像与所述经感知后的失真图像之间的互信息I(E;F)。
子步骤S124,计算基于所述参考图像与经感知后的参考图像之间的互信息、所述失真图像与经感知后的失真图像之间的互信息以及所述经感知后的参考图像与所述经感知后的失真图像之间的互信息的视觉内容权重,其中,计算所述视觉内容权重采用以下公式计算:
w=I(R;E)+I(D;F)-I(E;F) (1)
其中,w表示视觉内容权重。
其中,所述参考图像与经感知后的参考图像之间的互信息、所述失真图像与经感知后的失真图像之间的互信息以及所述经感知后的参考图像与所述经感知后的失真图像之间的互信息采用以下公式:
其中,CR为所述参考图像的协方差,CD为所述失真图像的协方差,CE为所述经感知后的参考图像的协方差,CF为所述经感知后的失真图像的协方差,C(R,E)为所述参考图像与所述经感知后的参考图像之间的协方差,C(D,F)为所述失真图像与所述经感知后的失真图像之间的协方差,C(E,F)为所述经感知后的参考图像与经感知后的失真图像之间的协方差。
计算上述各个协方差CR、CD、CE、CF采用以下公式:
其中,s表示乘法因子,g表示增益因子,表示感知视觉噪声方差,表示高斯噪声方差,I表示恒等矩阵。CU为零均值高斯向量U的协方差矩阵,该协方差矩阵CU表示为
计算所述C(R,E)、C(D,F)、C(E,F)采用以下公式计算:
基于所述公式(1)(2)(3),计算所述视觉内容权重采用以下公式计算:
其中,表示失真噪声方差,表示随机失真方差,g表示增益因子,s表示乘法因子,λk表示第k个特征值,k=1,2,...,K,K个特征值由协方差矩阵CU经特征值分解所得。协方差矩阵的计算是对参考图像和失真图像采用高斯混合模型建模的结果。
步骤S103,对所述参考图像和所述失真图像分别进行非负矩阵分解,分别获得所述参考图像分解后的基矩阵和所述失真图像分解后的基矩阵。
详细的,采用以下公式对所述参考图像和所述失真图像分别进行非负矩阵分解:
其中,WR为所述参考图像分解后的基矩阵,WD为所述失真图像分解后的基矩阵,所述参考图像分解后的基矩阵和所述失真图像分解后的基矩阵的分辨率均为m×k,HR为所述参考图像的权重矩阵,HD为所述失真图像的权重矩阵,所述参考图像的权重矩阵和所述失真图像的权重矩阵的分辨率均为k×n;(·)T表示矩阵或向量的转置。
对WR和WD分别记为列向量的形式,得到以下公式:
步骤S104,计算所述参考图像的基矩阵和所述失真图像的基矩阵之间的相似度。
详细的,采用以下公式计算:
S(R,D)={s(R,D)j|j=1,2,...k}
其中,s(R,D)为所述参考图像的基矩阵和所述失真图像的基矩阵之间的相似度;S(R,D)j为所述参考图像的基矩阵第j个向量和失真图像的基矩阵第j个向量之间的相似度,采用以下公式进行计算:
分别表示参考图像基矩阵WR和失真图像基矩阵WD的第j个元素,||·||表示向量的2范数。
步骤S105,使用视觉内容权重和相似度向量信息,采用支持向量回归方法,将相似度向量信息和图像主观质量分数作为输入,建立从所述输入图像到图像客观质量分数的映射关系。
步骤S106,基于所述映射关系,构建图像质量分数评价函数,通过所述图像质量分数评价函数评价图像的质量。
详细的,计算所述参考图像和失真图像之间的相似度值,采用以下公式计算:
其中,wi表示第i个图像子带的视觉内容权重,γ表示指数因子,M表示图像小波分解的尺度数,S(R,D)j为所述参考图像的基矩阵第j个向量和失真图像的基矩阵第j个向量之间的相似度。
基于所述参考图像和失真图像之间的相似度值的计算公式,即根据上述公式(7)分别计算所述参考图像的低频子带和失真图像的低频子带的相似度。
基于所述参考图像和失真图像之间的相似度值的计算公式,分别计算所述参考图像的高频子带和失真图像的高频子带的相似度;
根据所述参考图像的低频子带和失真图像的低频子带的相似度,以及所述参考图像的高频子带和失真图像的高频子带的相似度,采用以下公式计算所述输入图像的图像质量的评测值:
其中,Q0是常数,Q0用来调节图像失真测度的范围,本发明实施例中Q0取值为0.1,ε为加权因子,本发明实施例中ε取值可以为0.3,QAL为所述参考图像的低频子带和失真图像的低频子带的相似度,QAH为所述参考图像的高频子带和失真图像的高频子带的相似度。
基于针对所述输入图像的主观评测,构建所述主观评测的非线性函数,该非线性函数定义为:
其中,μ1,μ2,μ3,μ4,μ5表示非线性拟合参数。
在本申请实施例中,先对参考图像和失真图像分别进行小波分解,再对分解后的参考图像和失真图像分别进行建模,并进一步得到视觉内容权重。另一方面,对参考图像和失真图像分别进行非负矩阵分解,并对非负分解得到的参考图像的基矩阵和失真图像的基矩阵进行相似度计算。综合视觉内容权重和计算得到的相似度进行图像质量评测。
综上所述,本申请实施例中,在基于非负矩阵分解的图像质量评价方法基础上,利用高斯混合模型刻画图像的统计分布特性,设计基于互信息的视觉内容权重,提高了图像质量评价方法的鲁棒性和稳定性。并综合非负矩阵分解技术和视觉内容权重,构建了图像质量评测函数模型,以改善图像质量评价方法的主客观一致性。
本发明实施例还提供了一种图像质量评价装置100,如图4所示,包括:
图像输入模块101,用于获得参考图像和失真图像;
建模模块102,用于使用高斯混合模型对所述参考图像和所述失真图像的小波系数进行建模;
非负矩阵分解模块103,用于对所述参考图像和所述失真图像分别进行非负矩阵分解,分别获得所述参考图像分解后的基矩阵和所述失真图像分解后的基矩阵;
相似度计算模块104,用于计算所述参考图像的基矩阵和所述失真图像的基矩阵之间的相似度;
映射关系建立模块105,用于使用视觉内容权重和相似度向量信息,采用支持向量回归方法,将相似度向量信息和图像主观质量分数作为输入,建立从所述输入图像到图像客观质量分数的映射关系;
函数构建模块106,用于基于所述映射关系,构建图像质量分数评价函数,通过所述图像质量分数评价函数评价图像的质量。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。