CN105913064A - 一种图像视觉显著性检测拟合优化方法 - Google Patents

Abstract

本发明涉及一种图像视觉显著性检测拟合优化方法，包括以下步骤：S1：采用直方图统计显著性图像集和标注图像集中的显著性数据，分别形成自变量点集和因变量点集；S2：采用相应的拟合函数模型对自变量点集和因变量点集数据进行拟合，得到拟合函数；S3：将拟合函数作用到新的显著性图中的显著性数据上，得到拟合后的显著性数据；S4：对拟合后的显著性数据进行[0,255]约束处理，得到优化后的显著性图。该方法使各显著性检测算法优化后的显著性图比优化前更加接近用户标注的标准图，适用于多种显著性检测算法的优化。

Description

一种图像视觉显著性检测拟合优化方法

技术领域

本发明涉及图像和视频处理以及计算机视觉技术领域，特别是一种图像视觉显著性检测拟合优化方法。

背景技术

研究发现，图像中的一些关键区域往往提供了重要信息，这些区域我们称为显著区域。视觉显著检测技术在图像压缩、图像分类和图像检索等实际应用中都起到至关重要的作用。因此，图像显著性检测算法不断地被提出。Cheng等人在2012年提出了基于全域对比的显著区域检测方法。在2013年Jiang等人采用马尔可夫链算法来提取显著区域，Yan等人则对输入对象为复杂结构图像的情况提出了关键性的解决方案。同年Yang等人采用基于图的流形排序算法来提取显著性区域。在2014年Zhu 等人通过测量大量背景信息和构建原始优化框架，提出一种显著区域优化算法。

为了评估显著性检测算法的性能，精确率-召回率曲线（Precision-Recall curve, PR曲线）与受试者工作特征曲线（Receiver Operating Characteristic, ROC）等传统的显著性评估标准被广泛采用。但是近期Ran Margolin等人提出传统的显著性评估标准有时不能正确地评估显著性图的问题。另外，研究发现全参考图像质量评估标准可以用来评估显著性图，即将用户手工标注的标准图作为参考图像来评估显著性图的质量。因此，本发明从图像质量评估的角度对显著性图进行评估与优化，提出一种基于拟合的显著性检测优化方法。

发明内容

本发明的目的在于提供一种图像视觉显著性检测拟合优化方法，该方法使各显著性检测算法优化后的显著性图比优化前更加接近用户标注的标准图，适用于多种显著性检测算法的优化。

为实现上述目的，本发明的技术方案是：一种图像视觉显著性检测拟合优化方法，包括以下步骤：

步骤S1：采用直方图统计显著性图像集和标注图像集中的显著性数据，分别形成自变量点集和因变量点集；

步骤S2：采用相应的拟合函数模型对自变量点集和因变量点集数据进行拟合，得到拟合函数；

步骤S3：将拟合函数作用到新的显著性图中的显著性数据上，得到拟合后的显著性数据；

步骤S4：对拟合后的显著性数据进行[0,255]约束处理，得到优化后的显著性图。

进一步地，所述步骤S1中，采用直方图统计显著性图像集和标注图像集中的显著性数据，具体包括以下步骤：

步骤S11：统计图像集合T中第i张图像I _i 对应的标注图像G _i 中显著性值为255和0的像素数，即显著对象和非显著对象的像素数，然后对图像集合T中所有图像的数据进行融合，计算公式为：

其中，图像集合T是参与拟合的所有原图像的集合，和分别表示第i张图像对应的标注图像中显著对象和非显著对象的像素数，1<=i<=|T|，|T|表示图像集合T中的图像个数，和分别表示图像集合T中所有图像的和的数据总和；

步骤S12：统计第i张图像I _i 对应的显著性图像S _i 中与标注图像G _i 中显著对象区域和非显著对象区域对应的区域内显著性值的直方图数据，然后对图像集合T中所有图像的数据进行融合，计算公式为：

其中，和分别表示第i张显著性图像中与标注图像中显著对象区域和非显著对象区域对应的区域的直方图数据，和分别表示第i张显著性图像中与标注图像中显著对象区域和非显著对象区域对应的区域显著性为k的像素数，0<= k <=255，和分别表示图像集合T中所有图像的和的直方图数据总和；

步骤S13：将进行拟合的点集中的每个点表示成(x _i , y _i )，其中x _i 是自变量，表示显著性图像中像素i的显著性值，x _i ∈[0,1,… ,255]，y _i 是因变量，表示x _i 对应的标注图像中的像素值，y _i ∈{0,255}，则拟合点集包括个(k,255)和个(k,0)；

步骤S14：设置一个缩放参数φ对点集中数据点的个数进行缩放，提高求解拟合函数的效率，即将拟合点集的(k,255)和(k,0)的个数分别缩小为和，其中，round( )为用于取整的四舍五入函数。

进一步地，所述步骤S2中，采用相应的拟合函数模型对自变量点集和因变量点集数据进行拟合，得到拟合函数，具体包括以下步骤：

步骤S21：根据数据特征，选择以下4种拟合函数模型：质量评估函数、有理函数、正弦函数和一次多项式函数，模型分别如下：

其中，β ₁、β ₂、β ₃、β ₄、β ₅、β ₆为待定系数；

步骤S22：采用所述拟合函数模型对自变量点集和因变量点集进行数据拟合，并采用最小二乘法调整与确定拟合函数模型中的系数，得到拟合函数，公式如下：

其中，拟合函数模型表示为。

进一步地，所述步骤S3中，将拟合函数作用到新的显著性图中的显著性数据上，得到拟合后的显著性数据，公式如下：

其中B ₁, B ₂, B ₃, B ₄, …, B _n 表示拟合函数确定的参数值，x _i 表示像素点i的显著性值，x _fi 表示拟合后的显著性值。

进一步地，所述步骤S4中，对拟合后的显著性数据进行[0,255]约束处理，得到优化后的显著性图，具体包括以下步骤：

步骤S41：判断拟合后显著性数值的范围，如果部分超出[0,255]范围，先截断处理再归一化处理，公式如下：

其中，，，X表示显著性图中所有显著值的集合，x _fi ，x _ti ，x _ni 分别表示拟合后，截断处理后以及归一化后的显著性值，max( )和min( )分别表示计算括号中数据的最大值和最小值；

步骤S42：判断拟合后显著性数值的范围，如果全部在[0,255]范围内或全部超过[0,255]范围，直接利用如下公式进行归一化处理：

。

相较于现有技术，本发明的有益效果是：针对现有的图像视觉显著性检测算法，提出了一种基于统计拟合的显著性检测拟合优化方法，该方法对标注图像集合和显著性图像集合中的数据分别进行统计，然后采用四种最符合数据特征的拟合函数模型对数据进行拟合，拟合后的数据经过[0,255]约束处理生成拟合优化后的显著性图像，从而使本方法具有以下三方面的优化效果：在传统显著性检测评估方面，优化后的显著性图的性能优于或保持原显著性图的性能；在图像质量评估的方面，优化后的显著性图的性能明显地优于原显著性图的性能；在图像检索应用方面，算法优化后性能也有明显的改进。该方法通过大量数据的拟合作用使显著性图更加接近用户手工的标注结果，适用于多种显著性检测算法的优化。

附图说明

图1是本发明方法的流程框图。

图2(a)是本发明一实施例的原图像。

图2(b)是本发明一实施例的标注图像。

图2(c)是本发明一实施例的显著性图像。

图2(d)是本发明一实施例的显著性图像中与标注图像中显著对象区域对应的区域内显著性值的直方图数据。

图2(e)是本发明一实施例的显著性图像中与标注图像中非显著对象区域对应的区域内显著性值的直方图数据。

图3是本发明另一实施例的整体方法的实现流程图（以图像质量评估函数模型为例）。

具体实施方式

下面结合附图及具体实施例对本发明作进一步说明。

本发明提供一种图像视觉显著性检测拟合优化方法，如图1所示，包括以下步骤：

步骤S1：采用直方图统计显著性图像集和标注图像集中的显著性数据，分别形成自变量点集和因变量点集。具体包括以下步骤：

步骤S11：统计图像集合T中第i张图像I _i （如图2(a)）对应的标注图像G _i （如图2(b)）中显著性值为255和0的像素数，即显著对象和非显著对象的像素数，然后对图像集合T中所有图像的数据进行融合，计算公式为：

其中，图像集合T是参与拟合的所有原图像的集合，和分别表示第i张图像对应的标注图像中显著对象和非显著对象的像素数，1<=i<=|T|，|T|表示图像集合T中的图像个数，和分别表示图像集合T中所有图像的和的数据总和；

步骤S12：统计第i张图像I _i 对应的显著性图像S _i （如图2(c)）中与标注图像G _i 中显著对象区域和非显著对象区域对应的区域内显著性值的直方图数据，然后对图像集合T中所有图像的数据进行融合，计算公式为：

其中，（如图2(d)）和（如图2(e)）分别表示第i张显著性图像中与标注图像中显著对象区域和非显著对象区域对应的区域的直方图数据，和分别表示第i张显著性图像中与标注图像中显著对象区域和非显著对象区域对应的区域显著性为k的像素数，0<= k <=255，和分别表示图像集合T中所有图像的和的直方图数据总和；

步骤S13：将进行拟合的点集中的每个点表示成(x _i , y _i )，其中x _i 是自变量，表示显著性图像中像素i的显著性值，x _i ∈[0,1,… ,255]，y _i 是因变量，表示x _i 对应的标注图像中的像素值，y _i ∈{0,255}，则拟合点集包括个(k,255)和个(k,0)；

步骤S14：设置一个缩放参数φ对点集中数据点的个数进行缩放，提高求解拟合函数的效率，即将拟合点集的(k,255)和(k,0)的个数分别缩小为和，其中，round( )为用于取整的四舍五入函数。

步骤S2：采用相应的拟合函数模型对自变量点集和因变量点集数据进行拟合，得到拟合函数。具体包括以下步骤：

步骤S21：根据数据特征，选择以下4种拟合函数模型：质量评估函数、有理函数、正弦函数和一次多项式函数，模型分别如下：

其中，β ₁、β ₂、β ₃、β ₄、β ₅、β ₆为待定系数；

步骤S22：采用所述拟合函数模型对自变量点集和因变量点集进行数据拟合，并采用最小二乘法调整与确定拟合函数模型中的系数，得到拟合函数，公式如下：

其中，拟合函数模型表示为。

步骤S3：将拟合函数作用到新的显著性图中的显著性数据上，得到拟合后的显著性数据。具体公式如下：

其中B ₁, B ₂, B ₃, B ₄, …, B _n 表示拟合函数确定的参数值，x _i 表示像素点i的显著性值，x _fi 表示拟合后的显著性值。

步骤S4：对拟合后的显著性数据进行[0,255]约束处理，得到优化后的显著性图。具体包括以下步骤：

步骤S41：判断拟合后显著性数值的范围，如果部分超出[0,255]范围，先截断处理再归一化处理，公式如下：

其中，，，X表示显著性图中所有显著值的集合，x _fi ，x _ti ，x _ni 分别表示拟合后，截断处理后以及归一化后的显著性值，max( )和min( )分别表示计算括号中数据的最大值和最小值；

步骤S42：判断拟合后显著性数值的范围，如果全部在[0,255]范围内或全部超过[0,255]范围，直接利用如下公式进行归一化处理：

。

本发明借鉴图像质量评估的思想，提出一种基于统计拟合的显著性检测优化方法。该方法以用户手工标注的图像作为参考图像，采用拟合的方法提高显著性检测算法生成的显著性图的质量。如图3所示实施例的整体方法的实现流程，首先用直方图统计显著性图像集和标注图像集中的显著性数据，分别形成自变量点集和因变量点集；然后根据数据特征，选择合适的拟合函数模型，并对自变量点集和因变量点集数据进行拟合，计算得到拟合函数的参数；接下来，将拟合函数模型和参数作用到新的显著性图中的显著性数据上，得到拟合后的显著性数据。由于显著性图像的值的范围为[0,255]，最后进行[0,255]约束处理得到拟合优化后的显著性图。本发明求出的显著性图更加接近于用户手工标注的结果，适用于多种显著性检测算法的优化。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种图像视觉显著性检测拟合优化方法，其特征在于，包括以下步骤：

步骤S1：采用直方图统计显著性图像集和标注图像集中的显著性数据，分别形成自变量点集和因变量点集；

步骤S2：采用相应的拟合函数模型对自变量点集和因变量点集数据进行拟合，得到拟合函数；

步骤S3：将拟合函数作用到新的显著性图中的显著性数据上，得到拟合后的显著性数据；

步骤S4：对拟合后的显著性数据进行[0,255]约束处理，得到优化后的显著性图。

2.根据权利要求1所述的一种图像视觉显著性检测拟合优化方法，其特征在于：所述步骤S1中，采用直方图统计显著性图像集和标注图像集中的显著性数据，具体包括以下步骤：

步骤S11：统计图像集合T中第i张图像I _i 对应的标注图像G _i 中显著性值为255和0的像素数，即显著对象和非显著对象的像素数，然后对图像集合T中所有图像的数据进行融合，计算公式为：

其中，图像集合T是参与拟合的所有原图像的集合，和分别表示第i张图像对应的标注图像中显著对象和非显著对象的像素数，1<=i<=|T|，|T|表示图像集合T中的图像个数，和分别表示图像集合T中所有图像的和的数据总和；

步骤S12：统计第i张图像I _i 对应的显著性图像S _i 中与标注图像G _i 中显著对象区域和非显著对象区域对应的区域内显著性值的直方图数据，然后对图像集合T中所有图像的数据进行融合，计算公式为：

其中，和分别表示第i张显著性图像中与标注图像中显著对象区域和非显著对象区域对应的区域的直方图数据，和分别表示第i张显著性图像中与标注图像中显著对象区域和非显著对象区域对应的区域显著性为k的像素数，0<= k <=255，和分别表示图像集合T中所有图像的和的直方图数据总和；

步骤S13：将进行拟合的点集中的每个点表示成(x _i , y _i )，其中x _i 是自变量，表示显著性图像中像素i的显著性值，x _i ∈[0,1,… ,255]，y _i 是因变量，表示x _i 对应的标注图像中的像素值，y _i ∈{0,255}，则拟合点集包括个(k,255)和个(k,0)；

步骤S14：设置一个缩放参数φ对点集中数据点的个数进行缩放，提高求解拟合函数的效率，即将拟合点集的(k,255)和(k,0)的个数分别缩小为和，其中，round( )为用于取整的四舍五入函数。

3.根据权利要求1所述的一种图像视觉显著性检测拟合优化方法，其特征在于：所述步骤S2中，采用相应的拟合函数模型对自变量点集和因变量点集数据进行拟合，得到拟合函数，具体包括以下步骤：

步骤S21：根据数据特征，选择以下4种拟合函数模型：质量评估函数、有理函数、正弦函数和一次多项式函数，模型分别如下：

其中，β ₁、β ₂、β ₃、β ₄、β ₅、β ₆为待定系数；

步骤S22：采用所述拟合函数模型对自变量点集和因变量点集进行数据拟合，并采用最小二乘法调整与确定拟合函数模型中的系数，得到拟合函数，公式如下：

其中，拟合函数模型表示为。

4.根据权利要求1所述的一种图像视觉显著性检测拟合优化方法，其特征在于：所述步骤S3中，将拟合函数作用到新的显著性图中的显著性数据上，得到拟合后的显著性数据，公式如下：

其中B ₁, B ₂, B ₃, B ₄, …, B _n 表示拟合函数确定的参数值，x _i 表示像素点i的显著性值，x _fi 表示拟合后的显著性值。

5.根据权利要求1所述的一种图像视觉显著性检测拟合优化方法，其特征在于：所述步骤S4中，对拟合后的显著性数据进行[0,255]约束处理，得到优化后的显著性图，具体包括以下步骤：

步骤S41：判断拟合后显著性数值的范围，如果部分超出[0,255]范围，先截断处理再归一化处理，公式如下：

其中，，，X表示显著性图中所有显著值的集合，x _fi ，x _ti ，x _ni 分别表示拟合后，截断处理后以及归一化后的显著性值，max( )和min( )分别表示计算括号中数据的最大值和最小值；

步骤S42：判断拟合后显著性数值的范围，如果全部在[0,255]范围内或全部超过[0,255]范围，直接利用如下公式进行归一化处理：

。