CN106023208B - 图像质量的客观评价方法 - Google Patents

Abstract

本发明实施例提供了一种图像质量的客观评价方法。所述方法包括：获取失真图像和所述失真图像对应的原始图像；提取所述原始图像的轮廓和所述失真图像的轮廓；计算所述失真图像的轮廓和所述原始图像的轮廓之间的相似性；根据所述失真图像的轮廓和所述原始图像的轮廓之间的相似性，得到所述失真图像的轮廓退化程度DSC；对所述原始图像和所述失真图像分别进行分割，生成分割区域；对于每个所述分割区域，分别衡量所述原始图像和所述失真图像之间的内容相似性；对每个所述分割区域的内容相似性加权，得到所述失真图像的区域退化程度DSR；根据所述失真图像的轮廓退化程度DSC和所述失真图像的区域退化程度DSR，得到所述失真图像的图像质量。

Description

图像质量的客观评价方法

技术领域

本发明涉及图像处理领域，尤其涉及一种图像质量的客观评价方法。

背景技术

随着信息化时代的到来，多媒体(图像，视频等)成为日常生活中信息的重要载体。然而，在图像获取，处理，压缩，存储，传输，显示等过程中，任何一个阶段都可能造成图像质量的损失。图像质量评价已经成为信息工程领域重要的基础课题之一。

一般而言，图像质量评价分为两大类：主观质量评价和客观质量评价。主观评价由被试者对图像进行打分，而客观质量评价由算法对图像质量进行评估。由于人是图像的最终接受者，人的主观评价是最合适的标准。然而，主观评价成本高昂，需要巨大的人力物力，无法在实时系统上实现。客观图像质量评价的目的在于设计计算模型自动地预测图像质量，尽可能与主观评价保持一致。

根据参考源的有无，客观质量评价可以分为全参考、半参考、无参考客观图像质量评价。传统的全参考图像质量评价方法包括均方误差(Mean Squared Error,MSE)，峰值信噪比(Peak Signal to Noise Ratio,PSNR)等，主要基于误差的统计特性。这些方法计算简单，便于优化，具有清楚的物理含义，因此成为了信息工程领域的主流方法。然而这些方法将图像视作一维信号处理，忽略了图像中相邻像素间的高度相关性，特别是图像中的的空间结构包含了丰富的视觉信息。因此，这些方法不能很好的与主观评价保持一致，具有很大的局限性。

目前的全参考方法一般在图像块上提取特征来描述每个像素点的质量，最终得到图像质量图。

发明内容

本发明的实施例提供了一种图像质量的客观评价方法，提高了客观质量评价与主观评价的一致性。

为了实现上述目的，本发明采取了如下技术方案。

一种图像质量的客观评价方法，包括：

步骤1，获取失真图像和所述失真图像对应的原始图像；

步骤2，提取所述原始图像的轮廓和所述失真图像的轮廓；计算所述失真图像的轮廓和所述原始图像的轮廓之间的相似性；根据所述失真图像的轮廓和所述原始图像的轮廓之间的相似性，得到所述失真图像的轮廓退化程度DSC；

步骤3，对所述原始图像和所述失真图像分别进行分割，生成分割区域；对于每个所述分割区域，分别衡量所述原始图像和所述失真图像之间的内容相似性；对每个所述分割区域的内容相似性加权，得到所述失真图像的区域退化程度DSR；

步骤4，根据所述失真图像的轮廓退化程度DSC和所述失真图像的区域退化程度DSR，得到所述失真图像的图像质量。

所述步骤4具体为：

所述失真图像的图像质量Q＝DSC^γ·DSR^1-γ。

γ为第一调节系数，取值范围为(0,1)，调节所述失真图像的轮廓退化程度与区域退化程度之间的相对重要性。

所述步骤2包括:

步骤2.1,利用轮廓检测方法,分别提取所述原始图像和所述失真图像的轮廓；设置阈值；根据所述阈值和所述原始图像和所述失真图像的轮廓，得到不同层次的所述原始图像和所述失真图像的轮廓的二值图；

步骤2.2,在每个层次上，将所述原始图像和所述失真图像的轮廓的二值图划分成所述原始图像和所述失真图像的二值图的轮廓块；

步骤2.3,对于每个所述原始图像和所述失真图像的轮廓块对，分别采样得到所述原始图像和所述失真图像的样本点集；

步骤2.4,对于所述原始图像和所述失真图像的样本点集中的点对，计算匹配代价；

步骤2.5,根据所述匹配代价，求解加权二部图匹配问题，得到所述失真图像的轮廓块的退化程度；

步骤2.6,加权所有轮廓块的退化程度，得到所述失真图像的轮廓退化程度。

所述步骤2.4根据以下公式计算:

匹配代价

C_S为形状项；C_A为局部外观项；α为第二调节系数，取值范围为(0,1)，用于调节局部外观项与形状项的相对重要性；

θ为样本点的方向，g为形状上下文；i₁,j₁为所述失真图像和所述原始图像的样本点集中的点对序号，K₁为形状上下文直方图桶的数量，k₁为形状上下文直方图桶的序号。

所述步骤2.5根据以下公式计算:

所述失真图像的轮廓块的退化程度

为点对的最小匹配代价；i₁为样本点序号

6、根据权利要求3所述的方法，其特征在于，所述步骤2.6包括:

i₂为所述轮廓块对的序号；I为指示函数，如果取1；否则取0。

所述步骤3包括:

步骤3.1，对图片集中的所有图像，提取局部描述子；

步骤3.2，对所述局部描述子应用聚类方法构建视觉字典；

步骤3.3，利用图像分割方法，将所述原始图像划分成不同分割区域，生成分割结果；用所述分割结果分割所述失真图像；

步骤3.4，对于每个所述分割区域，计算所述原始图像与所述失真图像在所述视觉词典下的低维表示；

步骤3.5，根据所述低维表示，计算所述分割区域的失真图像的区域退化程度；

步骤3.6，获取各个所述分割区域的权重；

步骤3.7，根据所述各个所述分割区域的权重，对所有所述分割区域的失真图像的区域退化程度加权，得到所述失真图像的区域退化程度。

当所述低维表示为直方图时，所述步骤3.5具体为:

d(h₁,h₂)为所述分割区域的失真图像的区域退化程度；

h₁,h₂为所述原始图像和所述失真图像在视觉词典下的直方图；

K₂为视觉词典的大小，k₂为直方图桶的序号.

所述步骤3.6具体为:

根据各个所述分割区域所占的面积比例，确定各个所述分割区域的权重；或者根据各个所述分割区域的显著度，确定各个所述分割区域的权重。

所述步骤3.7具体为:

为序号为i₃的分割区域的权重；为序号为i₃的分割区域的失真图像的区域退化程度，i₃为所述分割区域的序号。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例整体考虑了轮廓和区域对图像质量的影响，提高了客观质量评价与主观评价的一致性，并且适用性广泛。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种图像质量的客观评价方法的处理流程图；

图2为本发明另一实施例提供的一种图像质量的客观评价方法的处理流程图。

图3示出了本发明的衡量轮廓退化程度的具体流程。其中，图3(a)为参考图像；图3(b)为失真图像；图3(c,d)为轮廓检测得到的轮廓图；图3(e,f)为设定阈值为0.1得到的二值图；图3(g,h)为取图3(e,f)中第一行第九列对应图像块；图3(i,j)为采样得到的样本点集，箭头表示该点方向；图3(k)为轮廓匹配结果，连线表示两点对应关系。

图4示出了本发明的衡量区域退化程度的具体流程。其中，图4(a)为参考图像；图(b)为分割结果，5号区域和11号区域被标注出来；图(c,d)为5号区域和11号区域的直方图。横轴表示视觉词典中词语的索引，纵轴表示词语数量。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所述，为本发明所述的一种图像质量的客观评价方法，包括：

步骤11，获取失真图像和所述失真图像对应的原始图像；

步骤12，提取所述原始图像的轮廓和所述失真图像的轮廓；计算所述失真图像的轮廓和所述原始图像的轮廓之间的相似性；根据所述失真图像的轮廓和所述原始图像的轮廓之间的相似性，得到所述失真图像的轮廓退化程度DSC；

步骤13，对所述原始图像和所述失真图像分别进行分割，生成分割区域；对于每个所述分割区域，分别衡量所述原始图像和所述失真图像之间的内容相似性；对每个所述分割区域的内容相似性加权，得到所述失真图像的区域退化程度DSR；

步骤14，根据所述失真图像的轮廓退化程度DSC和所述失真图像的区域退化程度DSR，得到所述失真图像的图像质量。

所述步骤14具体为：

所述失真图像的图像质量Q＝DSC^γ·DSR^1-γ。

γ为第一调节系数，取值范围为(0,1)，调节所述失真图像的轮廓退化程度与区域退化程度之间的相对重要性。

所述步骤12包括:

步骤12.1,利用轮廓检测方法,分别提取所述原始图像和所述失真图像的轮廓；设置阈值；根据所述阈值和所述原始图像和所述失真图像的轮廓，得到不同层次的所述原始图像和所述失真图像的轮廓的二值图；

步骤12.2,在每个层次上，将所述原始图像和所述失真图像的轮廓的二值图划分成所述原始图像和所述失真图像的二值图的轮廓块；

步骤12.3,对于每个所述原始图像和所述失真图像的轮廓块对，分别采样得到所述原始图像和所述失真图像的样本点集；

步骤12.4,对于所述原始图像和所述失真图像的样本点集中的点对，计算匹配代价；

步骤12.5,根据所述匹配代价，求解加权二部图匹配问题，得到所述失真图像的轮廓块的退化程度；

步骤12.6,加权所有轮廓块的退化程度，得到所述失真图像的轮廓退化程度。

所述步骤12.4根据以下公式计算:

匹配代价

C_s为形状项；C_A为局部外观项；α为第二调节系数，取值范围为(0,1)，用于调节局部外观项与形状项的相对重要性；

θ为样本点的方向，g为形状上下文；i₁,j₁为所述失真图像和所述原始图像的样本点集中的点对序号，K₁为形状上下文直方图桶的数量，k₁为形状上下文直方图桶的序号。

所述步骤12.5根据以下公式计算:

所述失真图像的轮廓块的退化程度

为点对的最小匹配代价；i₁为样本点序号

所述步骤12.6包括:

i₂为所述轮廓块对的序号；I为指示函数，如果取1；否则取0。

所述步骤13包括:

步骤13.1，对图片集中的所有图像，提取局部描述子；

步骤13.2，对所述局部描述子应用聚类方法构建视觉字典；

步骤13.3，利用图像分割方法，将所述原始图像划分成不同分割区域，生成分割结果；用所述分割结果分割所述失真图像；

步骤13.4，对于每个所述分割区域，计算所述原始图像与所述失真图像在所述视觉词典下的低维表示；

步骤13.5，根据所述低维表示，计算所述分割区域的失真图像的区域退化程度；

步骤13.6，获取各个所述分割区域的权重；

步骤13.7，根据所述各个所述分割区域的权重，对所有所述分割区域的失真图像的区域退化程度加权，得到所述失真图像的区域退化程度。

当所述低维表示为直方图时，所述步骤13.5具体为:

d(h₁,h₂)为所述分割区域的失真图像的区域退化程度；

h₁,h₂为所述原始图像和所述失真图像在视觉词典下的直方图；

K₂为视觉词典的大小，k₂为直方图桶的序号.

所述步骤13.6具体为:

根据各个所述分割区域所占的面积比例，确定各个所述分割区域的权重；或者根据各个所述分割区域的显著度，确定各个所述分割区域的权重。

所述步骤13.7具体为:

为序号为i₃的分割区域的权重；为序号为i₃的分割区域的失真图像的区域退化程度，i₃为所述分割区域的序号。

本发明的有益效果如下：

本发明一方面，将轮廓视作整体来衡量轮廓的质量退化；另一方面，衡量每个区域的质量退化，通过分别衡量原始图像和失真图像在轮廓和局部区域两部分的相似程度，结合两部分得到表示图像质量的客观质量分数。也就是说，本发明将图像划分为结构部分和局部区域：检测图像轮廓表示结构信息，提取局部描述子表示局部区域内容。分别衡量失真图像与原始图像在两部分的相似性，结合两者得到图像客观质量。充分考虑人眼视觉系统的特性，层次化表示图像质量感知过程，整体考虑了轮廓和区域对图像质量的影响，提高了客观质量评价与主观评价的一致性，并且适用性广泛。

以下描述本发明的另一实施例。

本发明提供了一种基于轮廓和区域的图像客观质量评价方法，包括：

步骤1，提取原始图像和失真图像轮廓，并计算两者相似性来衡量轮廓退化程度；其中，提取原始图像和失真图像轮廓具体为：按照轮廓强度进行分层。计算两者相似性来衡量轮廓退化程度具体为：对轮廓分块，在合适的尺度上考虑轮廓质量退化。在合适的尺度上考虑轮廓质量退化具体为：将轮廓视作整体，考虑原始图像与失真图像轮廓的退化。

步骤2，对原始图像和失真图像进行分割。对于每个区域，分别衡量原始图像和失真图像内容的相似性，加权所有区域，来衡量图像的区域退化程度。其中，对原始图像和失真图像进行分割具体为：用原始图像的分割结果来划分失真图像，得到原始图像与失真图像区域的对应关系。其中，对于每个区域分别衡量原始图像和失真图像内容的相似性具体为：提取局部描述子表示区域内容。其中，加权所有区域衡量图像的区域退化程度具体为：按照图像显著度加权各区域。

步骤3)结合轮廓退化程度和区域退化程度，衡量失真图像的质量。其中，结合轮廓退化程度和区域退化程度衡量失真图像质量具体为：图像质量感知过程具有层次性，将图像分为结构部分和区域部分。

所述步骤1)还包括：

步骤1.1)，利用轮廓检测方法分别提取原始图像和失真图像轮廓x,y，设置阈值得到不同层次的二值图x′,y′；

步骤1.2)，在每个层次上，将x′,y′划分成轮廓块{x_i′},{y_i′},i＝1,2,…n；

步骤1.3)，对于每个轮廓块对x_i′,y_i′，分别采样得到样本点集；

步骤1.4)，对于两个样本点集中的点对，计算匹配代价；

步骤1.5)，求解加权二部图匹配问题，得到轮廓块的相似度；

步骤1.6)，加权所有轮廓块计算x′,y′的退化程度。

所述步骤2)还包括：

步骤2.1)，对所有图像(原始图像，失真图像)提取局部描述子；

步骤2.2)，对局部描述子应用聚类方法构建视觉字典；

步骤2.3)，利用图像分割方法将原始图像划分成不同区域{R_i}，并用该分割结果分割失真图像；

步骤2.4)，对每个区域，计算该区域的权重和区域内容在视觉词典下的低维表示，并衡量原始图像与失真图像的相似度；

步骤2.5)，对所有区域加权得到区域退化程度。

以下描述另一实施例。图2为本发明另一实施例提供的一种图像质量的客观评价方法的处理流程图。图3示出了本发明的衡量轮廓退化程度的具体流程。其中，图3(a)为参考图像；图3(b)为失真图像；图3(c,d)为轮廓检测得到的轮廓图；图3(e,f)为设定阈值为0.1得到的二值图；图3(g,h)为取图3(e,f)中第一行第九列对应图像块；图3(i,j)为采样得到的样本点集，箭头表示该点方向；图3(k)为轮廓匹配结果，连线表示两点对应关系。以下结合图2-图4具体描述本发明的实施例。图4示出了本发明的衡量区域退化程度的具体流程。其中，图4(a)为参考图像；图(b)为分割结果，5号区域和11号区域被标注出来；图(c,d)为5号区域和11号区域的直方图。横轴表示视觉词典中词语的索引，纵轴表示词语数量。

如图2所示，本发明的具体步骤如下：

步骤1)提取原始图像和失真图像轮廓，并计算两者相似性来衡量轮廓退化程度；

步骤1包括：

第一步：用轮廓检测方法分别提取原始图像和失真图像轮廓x,y，设置阈值得到二值图x′,y′；

第二步：将x′,y′划分成轮廓块{x_i′},{y_i′},i＝1,2,…n；

第三步：对于每个轮廓块对x_i′,y_i′，分别采样得到样本点集，计算每个样本点的方向θ以及形状上下文g；

第四步：对于两个样本点集中的点对(i,j)，计算匹配代价C_i,j＝αC_S+(1-α)C_A。

其中，

第五步：利用匈牙利算法求解加权二部图匹配问题，得到轮廓块的退化程度SC＝∑_iC_i,π(i)；

第六步：加权所有轮廓块计算轮廓退化程度

步骤2)对原始图像和失真图像进行分割。对于每个区域，分别衡量原始图像和失真图像内容的相似性，加权所有区域衡量图像的区域退化程度。

步骤2包括：

第一步：利用图像分割方法，将原始图像划分成不同区域{R_i}，并用该分割结果分割失真图像；

第二步：对每个区域：计算该区域所占面积比例w_i；

第三步，分别对原始图像与失真图像提取dense SIFT，对提取的dense SIFT应用K-means(硬聚类算法)方法构建视觉字典；并计算在视觉词典下的直方图表示h₁,h₂；

第四步，衡量原始图像与失真图像的各个分股区域的退化程度

第五步：对所有区域加权得到区域退化程度DSR＝∑_iw_id_i。

步骤3)结合轮廓退化程度和区域退化程度衡量失真图像质量。具体地，图像质量Q＝DSC^γ·DSR^1-γ。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种图像质量的客观评价方法，其特征在于，包括：

步骤1，获取失真图像和所述失真图像对应的原始图像；

步骤2，提取所述原始图像的轮廓和所述失真图像的轮廓；计算所述失真图像的轮廓和所述原始图像的轮廓之间的相似性；根据所述失真图像的轮廓和所述原始图像的轮廓之间的相似性，得到所述失真图像的轮廓退化程度DSC；

步骤3，对所述原始图像和所述失真图像分别进行分割，生成分割区域；对于每个所述分割区域，分别衡量所述原始图像和所述失真图像之间的内容相似性；对每个所述分割区域的内容相似性加权，得到所述失真图像的区域退化程度DSR；

步骤4，根据所述失真图像的轮廓退化程度DSC和所述失真图像的区域退化程度DSR，得到所述失真图像的图像质量；

所述步骤2包括：

步骤2.1，利用轮廓检测方法，分别提取所述原始图像和所述失真图像的轮廓；设置阈值；根据所述阈值和所述原始图像和所述失真图像的轮廓，得到不同层次的所述原始图像和所述失真图像的轮廓的二值图；

步骤2.2，在每个层次上，将所述原始图像和所述失真图像的轮廓的二值图划分成所述原始图像和所述失真图像的二值图的轮廓块；

步骤2.3，对于每个所述原始图像和所述失真图像的轮廓块对，分别采样得到所述原始图像和所述失真图像的样本点集；

步骤2.4，对于所述原始图像和所述失真图像的样本点集中的点对，计算匹配代价；

步骤2.5，根据所述匹配代价，求解加权二部图匹配问题，得到所述失真图像的轮廓块的退化程度；

步骤2.6，加权所有轮廓块的退化程度，得到所述失真图像的轮廓退化程度。

2.根据权利要求1所述的方法，其特征在于，所述步骤4具体为：

所述失真图像的图像质量Q＝DSC^γ·DSR^1-γ；

γ为第一调节系数，取值范围为(0，1)，调节所述失真图像的轮廓退化程度与区域退化程度之间的相对重要性。

3.根据权利要求1所述的方法，其特征在于，所述步骤2.4根据以下公式计算：

匹配代价

C_S为形状项；C_A为局部外观项；α为第二调节系数，取值范围为(0，1)，用于调节局部外观项与形状项的相对重要性；

θ为样本点的方向，g为形状上下文；i₁，j₁为所述失真图像和所述原始图像的样本点集中的点对序号，K₁为形状上下文直方图桶的数量，k₁为形状上下文直方图桶的序号。

4.根据权利要求1所述的方法，其特征在于，所述步骤2.5根据以下公式计算：

所述失真图像的轮廓块的退化程度

为点对的最小匹配代价；i₁为样本点序号。

5.根据权利要求1所述的方法，其特征在于，所述步骤2.6包括：

i₂为所述轮廓块对的序号；I为指示函数，如果取1；否则取0。

6.根据权利要求1所述的方法，其特征在于，所述步骤3包括：

步骤3.1，对图片集中的所有图像，提取局部描述子；

步骤3.2，对所述局部描述子应用聚类方法构建视觉字典；

步骤3.3，利用图像分割方法，将所述原始图像划分成不同分割区域，生成分割结果；用所述分割结果分割所述失真图像；

步骤3.4，对于每个所述分割区域，计算所述原始图像与所述失真图像在所述视觉字典下的低维表示；

步骤3.5，根据所述低维表示，计算所述分割区域的失真图像的区域退化程度；

步骤3.6，获取各个所述分割区域的权重；

步骤3.7，根据所述各个所述分割区域的权重，对所有所述分割区域的失真图像的区域退化程度加权，得到所述失真图像的区域退化程度。

7.根据权利要求6所述的方法，其特征在于，当所述低维表示为直方图时，所述步骤3.5具体为：

d(h₁，h₂)为所述分割区域的失真图像的区域退化程度；

h₁，h₂为所述原始图像和所述失真图像在视觉词典下的直方图；

K₂为视觉词典的大小，k₂为直方图桶的序号。

8.根据权利要求6所述的方法，其特征在于，所述步骤3.6具体为：

根据各个所述分割区域所占的面积比例，确定各个所述分割区域的权重；或者根据各个所述分割区域的显著度，确定各个所述分割区域的权重。

9.根据权利要求6所述的方法，其特征在于，所述步骤3.7具体为：

为序号为i₃的分割区域的权重；为序号为i₃的分割区域的失真图像的区域退化程度，i₃为所述分割区域的序号。