CN106815839A - 一种图像质量盲评估方法 - Google Patents

Abstract

本发明提供一种图像质量盲评估方法，包括：步骤1)提取训练图像中降质图像块的特征，估计图像块特征与非降质图像块特征间的偏移；2)用概率潜在语义分析的方法分析不同类型降质，并将不同类型的降质映射为不同的主题分布特征，其中，不同类型的降质包括单一降质和混合降质；3)利用机器学习的方法在图像训练集基础上建立图像主题分布特征与图像质量间的关系，形成混合降质图像的质量盲评价模型；4)用质量盲评价模型评估训练集以外的降质图像质量。本发明的图像质量盲评估方法提高了无参质量评价的准确程度；解决了工程中对混合降质图像进行评估的问题；适用于原始图像无法获得的多媒体系统中图像获取、压缩及传输性能的综合评价。

Description

一种图像质量盲评估方法

技术领域

本发明涉及图像质量评估技术领域，特别是涉及一种图像质量盲评估方法。

背景技术

图像主观质量评价是一个研究热点，有着非常广泛的应用。图像/视频的获取、传输和解码过程都会引入一定的失真，降低图像的主观质量。由计算机辅助实现评价图像质量的好坏可以帮助发现多媒体系统的设计缺陷，指导用户对系统进行调整，进而保证用户得到满意的图像质量。传统的基于信噪比的图像质量评价方法与人对图像的主观感受之间存在差距，不能很好地反应图像质量。近年来对图像质量评价的研究主要分为有参考和无参考两类。

有参评价方法需要将理想质量的图像与降质图像相对比，在通信领域，由于接收端通常无法获得理想质量的图像，限制了有参评价方法的应用，例如：国家发明专利CN105516713A中提出一种用便携式影像装置产生预制信号源，将信号源馈入多媒体，在进行对比评估的闭路电视系统的评价方法；国家发明专利CN 104166984A基于视网膜模型，尽可能减少视觉冗余保留有用信号的假设，对失真图和非失真图先做滤波处理后，再进行质量评价；国家发明专利CN 104794716A采用分形维数矩阵和多重分形谱作为新的基准特征信息，通过对比特征的变化评价图像质量。这些方法均属于有参评价方法，但是难以在具有通信环节的多媒体系统中得到应用。

就无参图像降质评价而言，国家发明专利CN 105049851A设计了一种局域彩色感知的通用无参图像质量评价方法，该方法观察G分量上MSCN系数分布的变化，并考虑R，B分量与G分量相干性的变化，判决图像质量，然而，实验表明，MSCN特征不能很好的反映混合降质，所以该专利对于混合降质图像的质量度量效果不佳；国家发明专利CN 104794503A基于分数阶傅里叶变换和广义伽马分布设计了无参考图像质量评价方法，该方法可以较好的区分图像单降质类型，但未对多重降质问题进行深入研究；国家发明专利CN 104835172A基于相位一致性和频域熵设计了无参图像质量评价方法，就单一降质而言，该方法可以较好地评价图像降质，但对于多重降质图像，其包含的降质分量在相位及熵上有相反的表征，所以该专利方案不适用于多重降质图像。所以，无参评价方法通常是假设图像降质具有某种特征，通过寻找和度量该特征来确定图像质量，这类方法要求不同种类图像降质的特征明确，但在现实使用中，图像/视频往往同时被多重降质影响，使得图像降质无法精确分类和度量，所以目前的无参图像质量评估无法在工程中被应用。

综上所述，目前急需一种新的图像质量评价模型，适用于原始图像无法获得的多媒体系统中图像获取、压缩及传输性能的综合评价、并能够提高无参质量评价的准确度、解决工程中对混合降质图像进行评价的问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种图像质量盲评估方法，用于解决现有技术中图像质量盲评价方法不能够对混合图像降质类型进行判断且对其视觉影响评价准确度低、以及难以在多媒体系统中应用的问题。

为实现上述目的，本发明采用以下方案：一种图像质量盲评估方法，在无原始图像作为参考的情况下，仅从单一降质或混合降质图像本身对其质量进行评估，包括如下步骤：1)在训练图像集中提取降质图像的图像块特征，估计所述图像块特征与非降质图像块特征间的偏移；2)用概率潜在语义分析的方法分析不同类型的降质，并将不同类型的降质映射为不同的主题分布特征，其中，所述不同类型的降质包括单一降质和混合降质；3)利用机器学习的方法在训练图像集基础上建立图像主题分布特征与图像质量间的关系，形成混合降质图像的质量盲评价模型；4)用所述质量盲评价模型评估训练图像集以外的降质图像质量。

于本发明的一实施方式中，在所述步骤1)中，还包括产生非降质图像块特征的步骤：101)收集无损图像作为训练集；102)分解所述无损图像中的图像块；103)用所述图像块聚类的类中心表征该类图像块；104)用该类图像块的特征的几何均值表述该类图像块的特征，也即产生非降质图像块特征。

于本发明的一实施方式中，在所述步骤1)中，提取块图像特征的具体步骤包括：105)将图像块去亮度均值，并作归一化处理去除图像相关性，产生归一化亮度系数 其中，为在坐标上像素的亮度，常数C＝1，μ(i,j)、分别为图像块的加权均值与方差，其中所述μ(i,j)、和的表达式如下：其中，w＝{w_k,l|k＝-K,…,K,l＝-L,…,L}为权重系数，K＝L＝3，归一化亮度系数的分布反应了图像的失真程度；106)使用广义高斯分布描述图像的进而提取图像的空域自然统计特征： 其中，α、β分别是广义高斯分布函数的形状与方差参数，观察水平、垂直、主对角线、次对角线方向上像素乘积对的分布情况，像素乘积对的定义如下： 其中，和分别表示水平、垂直、主对角线、次对角线方向上像素乘积对；107)使用零均值非对称广义高斯分布在上述四个方向上对像素乘积进行建模：

其中：v反映分布形状，σ_l、σ_r分别为非对称广义高斯分布的左方差、右方差，η是非对称广义高斯分布的均值；108)拟合计算零均值非对称广义高斯分布在4个方向上的共16个参数，与中心方向上广义高斯分布的α、β参数共同组成图像特征向量；109)将图像缩放一次再产生18个特征参数，总计产生36个图像空域特征参数。

于本发明的一实施方式中，在所述步骤1)中，估计块图像特征与非降质图像块特征间的偏移包括以下步骤：110)从图像库中取出最接近降质图像的无损图像的样本；111)得到降质图像样本可能对应的无损空域特征模型；112)计算降质图像块的空域特征差，其中，该空域特征差对应图像的底层特征。

于本发明的一实施方式中，在所述步骤2)中，用概率潜在语义分析的方法分析不同类型降质，具体包括以下步骤：21)将概率潜在语义分析中的文档对应图像顶层空域特征，图像块的空域特征差对应图像的底层特征，整幅图像特征与图像块特征差间的关系被映射为概率潜在语义分析模型中“图像文档-潜在语义-图像块单词”的关系；22)建立图像单词集，令图像为图像文档集中的第p张图像，含多个图像块，图像的底层特征组成概率潜在语义分析中的单词w_i，将图像块用图像单词集中的单词w_i代替后，被重建为求解概率潜在语义分析时引入潜在语义层X_s，s∈[1,S]，通过X_s建立和w_i的关联其中S为潜在语义主题数；概率潜在语义分析建模可表述为：其中，是图像的单词概率；23)使用最大相似估计和EM算法求解该模型，通过迭代求取图像潜在主题分布观察确定图像所受到的降质类型。

于本发明的一实施方式中，在所述步骤3)中，建立图像潜在主题分布与图像质量间的关系，形成混合降质图像的质量盲评价模型，具体包括以下步骤：31)使用支持向量机学习图像质量与图像特征分布的关系；32)图像质量评估时，使用图像潜在主题分布作为特征；33)将图像潜在主题分布与训练图像的平均意见得分值代入支持向量机，产生图像质量与图像潜在主题分布间的关系模型。

于本发明的一实施方式中，在所述步骤4)中，用质量盲评价模型评估训练集以外的降质图像的质量，具体包括以下步骤：41)计算待测试图像图像块的空域特征；42)使用视觉单词库对其进行重构；43)求取待测试图像潜在的主题分布；44)将待测试图像的主题分布代入支持向量机训练的质量盲评价模型中，产生待测试图像的质量评估。

如上所述，本发明的图像质量盲评估方法，设计了一种新的盲图像质量评价架构，该架构引入间接的语义层描述图像降质的成分，而非直接定义不同图像降质的特征，再基于潜在语义分析图像质量。本发明具有以下有益效果：

1、在所设计的图像质量评价模型下，无参质量评价的准确程度可以提高20％左右；

2、能够解决工程中对混合降质图像进行评价的问题；

3、适用于原始图像无法获得的，如视频监控系统、无线图传系统和数字电视系统等场合，实现对上述多媒体系统中图像获取、压缩及传输性能的综合评价。

附图说明

图1为本发明图像质量盲评估方法的流程图。

图2为本发明图像质量盲评估方法中模型训练的流程图。

图3为本发明图像质量盲评估方法中图像测试的流程图。

元件标号说明

S1～S4 步骤

S21～S23 步骤

S31～S33 步骤

S41～S44 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，虽图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供一种图像质量盲评估方法，在无原始图像作为参考的情况下，仅从单一降质或混合降质图像本身对其质量进行评估，包括如下步骤：

S1)在训练图像集中提取降质图像的图像块特征，估计所述图像块特征与非降质图像块特征间的偏移；

S2)用概率潜在语义分析的方法分析不同类型的降质，并将不同类型的降质映射为不同的主题分布特征，其中，所述不同类型的降质包括单一降质和混合降质；

S3)利用机器学习的方法在训练图像集基础上建立图像主题分布特征与图像质量间的关系，形成混合降质图像的质量盲评价模型；

S4)用所述质量盲评价模型评估训练图像集以外的降质图像质量。

需要注意的是，由于图像失真分布与图像内容相关，图像的整体空域统计特征不能反映图像不同区域和不同图像块间的失真差异，所以不适用于描述复杂图像的失真情况。本发明实施时使用图像块作为基本分析单位，以增强图像特征的分辨力。

请参阅图2，作为示例，本发明使用支持向量机SVM来学习图像质量与图像特征分布的关系。在进行图像质量评估时，使用图像潜在主题分布作为特征；训练时，使用PLSA模型并获得的训练图像潜在主题分布，并将潜在主题分布与训练图的MOS分值代入SVM产生图像质量与潜在主题分布间的关系模型。

作为示例，在所述步骤S1)中，还包括产生非降质图像块特征的步骤：S101)收集无损图像作为训练集；S102)分解所述无损图像中的图像块；S103)用所述图像块聚类的类中心表征该类图像块；S104)用该类图像块的特征的几何均值表述该类图像块的特征，也即产生非降质图像块特征。

作为示例，在所述步骤S1)中，在训练图像集中提取降质图像的图像块特征的具体步骤包括以下：

S105)将图像块去亮度均值，并作归一化处理去除图像相关性，产生归一化亮度系数

其中为在坐标上像素的亮度，C为防止分母为零的常数，该实施例中C取1，μ(i,j)、为图像块的加权均值与方差：

其中，w＝{w_k,l|k＝-K,…,K,l＝-L,…,L}为权重系数，K＝L＝3。

归一化亮度系数又被称为MSCN系数(mean subtracted contrastnormalized)。MSCN分布反应了图像的失真程度。实验表明自然图像的MSCN系数基本符合高斯分布(GD)，失真图像的MSCN系数会偏离GD分布。

S106)为了量化偏差程度，使用广义高斯分布(GGD)来描述图像的MSCN系数，进而提取图像的空域自然统计特征(NSS)：

α、β分别是GGD函数的形状与方差参数。我们观察水平、垂直、主对角线、次对角线方向上像素乘积对的分布情况，像素乘积对的定义如下

S107)由于GGD函数对失真图像MCSN分布的拟合效果较弱，因此使用零均值非对称广义高斯分布(AGGD)在四个方向上对像素乘积进行建模。

其中：

ν反映分布形状，σ_l、σ_r分别为非对称广义高斯分布的左方差、右方差，η是非对称广义高斯分布的均值。

S108)拟合计算AGGD在4个方向上的共16个参数，与中心方向上广义高斯分布的α、β参数共同组成图像特征向量。

S109)实验表明特征系数与图像缩放有关，因此，将图像缩放一次再产生18个特征参数，总计产生36个图像空域特征参数。

作为示例，在所述步骤1)中，估计块图像特征与非降质图像块特征间的偏移包括以下步骤：110)从图像库中取出最接近降质图像的无损图像的样本；111)得到降质图像样本可能对应的无损空域特征模型；112)计算降质图像块的空域特征差，其中，该空域特征差对应图像的底层特征。

作为示例，在所述步骤2)中，用概率潜在语义分析的方法分析不同类型降质，具体包括以下步骤：

21)将概率潜在语义分析中的文档对应图像顶层空域特征，图像块的空域特征差对应图像的底层特征，整幅图像特征与图像块特征差间的关系被映射为概率潜在语义分析模型中“图像文档-潜在语义-图像块单词”的关系；

22)建立图像单词集，令图像为图像文档集中的第p张图像，含多个图像块，图像的底层特征组成概率潜在语义分析中的单词w_i，将图像块用图像单词集中的单词w_i代替后，被重建为求解概率潜在语义分析时引入潜在语义层X_s，s∈[1,S]，通过X_s建立和w_i之间的关联，其中S为潜在语义主题数；概率潜在语义分析建模可表述为：其中，是图像的单词概率；

23)使用最大相似估计和EM算法求解该模型，通过迭代求取图像潜在主题分布图像潜在语义层代表了图像的潜在语义，该语义能够描述图像单词无法体现的特征，如整个图像中的图像块失真结构。可以通过观察确定图像所受到的降质类型，如jp2000压缩噪声、jpeg压缩噪声、blur、白噪声、fast fading，先blur后jpeg压缩和先blur后wn等类型的降质。

作为示例，在所述步骤3)中，建立图像潜在主题分布与图像质量间的关系，形成混合降质图像的质量盲评价模型，具体包括以下步骤：31)使用支持向量机学习图像质量与图像特征分布的关系，其中，在图像质量评估时，使用图像潜在主题分布作为特征；32)将图像潜在主题分布与训练图像的平均意见得分值代入支持向量机；S33)产生图像质量与图像潜在主题分布间的关系模型，也即所述质量盲评价模型。

请参阅图3，为本发明图像质量盲评估方法中对待测试图像进行测试的流程图。

作为示例，在所述步骤S4)中，用质量盲评价模型评估训练集以外的降质图像的质量，具体包括以下步骤：S41)计算待测试图像图像块的空域特征，并使用视觉单词库对其进行重构；S42)基于训练产生的单词-主题关系P(w_i|x_s)求取图像潜在主题分布；S43)将待测试图像的主题分布代入支持向量机训练的质量盲评价模型中；S44)产生待测试图像的质量评估。

综上所述，本发明提供一种图像质量盲评估方法，可以对混合降质的图形进行评价。首先，通过收集无损图像作为训练集，分解无损图像集中的图像块，并将这些图像块聚类的类中心作为表征图像块，并将该类图像块的特征的几何均值作为该类图像的表述特征；其次，在检测图像降质时，将待检测图像块的内容与表征图像块内容相比，确定该图像块的最佳表征，并将该最佳表征图像块对应的特征作为待检测图像块的理想特征，在提取待检测图像块的特征后将该特征与其理想特征相比，将其变化作为描述降质的视觉单词；然后应用语义分析的方法，对视觉单词集进行分析，形成所有降质类型的主题分布，在降质主题分布的基础上，利用机器学习方法确定不同降质主题分布变化对视觉的影响，最终实现对降质图像的质量评价，包括确定整幅图像的降质类型及其降质的构成因素。

本发明的图像质量盲评估方法通过设计的图像质量评价模型，可以将无参质量评价的准确程度可以提高20％左右；能够解决工程中对混合降质图像进行评价的问题；适用于原始图像无法获得的，如视频监控系统、无线图传系统和数字电视系统等场合，实现对上述多媒体系统中图像获取、压缩及传输性能的综合评价。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (7)

1.一种图像质量盲评估方法，其特征在于，包括如下步骤：

1)在训练图像集中提取降质图像的图像块特征，估计所述图像块特征与非降质图像块特征间的偏移；

2)用概率潜在语义分析的方法分析不同类型的降质，并将不同类型的降质映射为不同的主题分布特征，其中，所述不同类型的降质包括单一降质和混合降质；

3)利用机器学习的方法在训练图像集基础上建立图像主题分布特征与图像质量间的关系，形成混合降质图像的质量盲评价模型；

4)用所述质量盲评价模型评估训练图像集以外的降质图像质量。

2.根据权利要求1所述的图像质量盲评估方法，其特征在于，在所述步骤1)中，还包括产生非降质图像块特征的步骤：

101)收集无损图像作为训练集；

102)分解所述无损图像中的图像块；

103)用所述图像块聚类的类中心表征该类图像块；

104)用该类图像块的特征的几何均值表述该类图像块的特征，也即产生非降质图像块特征。

3.根据权利要求2所述的图像质量盲评估方法，其特征在于，在所述步骤1)中，在训练图像集中提取降质图像的图像块特征的具体步骤包括：

105)将图像块去亮度均值，并作归一化处理去除图像相关性，产生归一化亮度系数

其中为在坐标上像素的亮度，常数C＝1，μ(i,j)、分别为图像块的加权均值与方差：

其中，w＝{w_k,l|k＝-K,…,K,l＝-L,…,L}为权重系数，K＝L＝3，归一化亮度系数的分布反应了图像的失真程度；

106)使用广义高斯分布描述图像的进而提取图像的空域自然统计特征：

$f(x;\mathrm{\α},{\mathrm{\σ}}^2)=\frac{\mathrm{\α}}{2\mathrm{\β}\mathrm{\Γ}(1/\mathrm{\α})}\exp (-{\left(\frac{\left|x\right|}{\mathrm{\β}}\right)}^{\mathrm{\α}})---\left(4\right)$

$\mathrm{\β}=\mathrm{\σ}\sqrt{\frac{\mathrm{\Γ}(1/\mathrm{\α})}{\mathrm{\Γ}(3/\mathrm{\α})}}---\left(5\right)$

其中，α、β分别是广义高斯分布函数的形状与方差参数，观察水平、垂直、主对角线、次对角线方向上像素乘积对的分布情况，像素乘积对的定义如下：

其中，和分别表示水平、垂直、主对角线、次对角线方向上像素乘积对；

107)使用零均值非对称广义高斯分布在上述四个方向上对像素乘积进行建模：

$f(x;v,{\mathrm{\&sigma;}}_l^2,{\mathrm{\&sigma;}}_r^2)=\left\{\begin{array}{cc}\frac{v}{({\mathrm{\&beta;}}_l+{\mathrm{\&beta;}}_r)\mathrm{\&Gamma;}\left(\frac{1}{v}\right)}\exp (-{\left(\frac{-x}{{\mathrm{\&beta;}}_l}\right)}^v)& x<0\\ \frac{v}{({\mathrm{\&beta;}}_l+{\mathrm{\&beta;}}_r)\mathrm{\&Gamma;}\left(\frac{1}{v}\right)}\exp (-{\left(\frac{x}{{\mathrm{\&beta;}}_l}\right)}^v)& x\&GreaterEqual;0\end{array}\right.---\left(11\right)$

其中：

${\mathrm{\&beta;}}_l={\mathrm{\&sigma;}}_l\sqrt{\frac{\mathrm{\&Gamma;}\left(\frac{1}{v}\right)}{\mathrm{\&Gamma;}\left(\frac{3}{v}\right)}}---\left(12\right)$

${\mathrm{\&beta;}}_r={\mathrm{\&sigma;}}_r\sqrt{\frac{\mathrm{\&Gamma;}\left(\frac{1}{v}\right)}{\mathrm{\&Gamma;}\left(\frac{3}{v}\right)}}---\left(13\right)$

$\mathrm{\&eta;}=({\mathrm{\&beta;}}_r-{\mathrm{\&beta;}}_l)\frac{\mathrm{\&Gamma;}\left(\frac{2}{v}\right)}{\mathrm{\&Gamma;}\left(\frac{1}{v}\right)}---\left(14\right)$

其中，v反映分布形状，σ_l、σ_r分别为非对称广义高斯分布的左方差、右方差，η是非对称广义高斯分布的均值；

108)拟合计算零均值非对称广义高斯分布在4个方向上的共16个参数，与中心方向上广义高斯分布的α、β参数共同组成图像特征向量；

109)将图像缩放一次再产生18个特征参数，总计产生36个图像空域特征参数。

4.根据权利要求3所述的图像质量盲评估方法，其特征在于，在所述步骤1)中，估计块图像特征与非降质图像块特征间的偏移包括以下步骤：

110)从图像库中取出最接近降质图像的无损图像的样本；

111)得到降质图像样本可能对应的无损空域特征模型；

112)计算降质图像块的空域特征差，其中，该空域特征差对应图像的底层特征。

5.根据权利要求4所述的图像质量盲评估方法，其特征在于，在所述步骤2)中，用概率潜在语义分析的方法分析不同类型降质，具体包括以下步骤：

21)将概率潜在语义分析中的文档对应图像顶层空域特征，图像块的空域特征差对应图像的底层特征，整幅图像特征与图像块特征差间的关系被映射为概率潜在语义分析模型中“图像文档-潜在语义-图像块单词”的关系；

22)建立图像单词集，令图像为图像文档集中的第p张图像，含多个图像块，图像的底层特征组成概率潜在语义分析中的单词w_i，将图像块用图像单词集中的单词w_i代替后，被重建为求解概率潜在语义分析时引入潜在语义层X_s，s∈[1,S]，以X_s建立和w_i的关联，其中S为潜在语义主题数；概率潜在语义分析建模可表述为：

$P({\stackrel{\&CenterDot;}{I}}_j,w_i)=P\left(w_i\right)P\left(w_i\right|{\stackrel{\&CenterDot;}{I}}_j)$

$P\left(w_i\right|{\stackrel{\&CenterDot;}{I}}_j)={\mathrm{\&Sigma;}}_{s=1}^{S}P\left(x_s\right|{\stackrel{\&CenterDot;}{I}}_j)P\left(w_i\right|x_s)---\left(15\right)$

其中，是图像的单词概率；

23)使用最大相似估计和EM算法求解该模型，通过迭代求取图像潜在主题分布观察确定图像所受到的降质类型。

6.根据权利要求5所述的图像质量盲评估方法，其特征在于，在所述步骤3)中，建立图像潜在主题分布与图像质量间的关系，形成混合降质图像的质量盲评价模型，具体包括以下步骤：

31)使用支持向量机学习图像质量与图像特征分布的关系；

32)图像质量评估时，使用图像潜在主题分布作为特征；

33)将图像潜在主题分布与训练图像的平均意见得分值代入支持向量机，产生图像质量与图像潜在主题分布间的关系，形成混合降质图像的质量盲评价模型。

7.根据权利要求6所述的图像质量盲评估方法，其特征在于，在所述步骤4)中，用质量盲评价模型评估训练集以外的降质图像的质量，具体包括以下步骤：

41)计算待测试图像图像块的空域特征；

42)使用视觉单词库对其进行重构；

43)求取待测试图像潜在的主题分布；

44)将待测试图像的主题分布代入支持向量机训练的质量盲评价模型中，产生待测试图像的质量评估。