CN110084247A - 一种基于模糊特征的多尺度显著性检测方法及装置 - Google Patents

Abstract

本发明涉及一种基于模糊特征的多尺度显著性检测方法及装置，其中方法包括：步骤S1：将每一张图像均按照多种不同尺度进行分割得到每张图像的多张分割图，并对所有分割图进行预处理，提取特征信息；步骤S2：基于测试集中各分割图的预处理后的特征信息训练模糊宽度网络模型；步骤S3：将基于同一待检测图形的分割图的特征信息输入训练好的模糊宽度网络模型，得到多个对应的显著性图；步骤S4：将多个显著性图进行合成，并利用标签传播算法进行优化；步骤S5：使用得到的优化后的显著图用于视觉跟踪，图像分类、图像分割、目标识别，图像视频压缩，图像检索或图像重定向。与现有技术相比，本发明具有检测效果好等优点。

Description

一种基于模糊特征的多尺度显著性检测方法及装置

技术领域

本发明涉及图形处理领域，尤其是涉及一种基于模糊特征的多尺度显著性检测方法及装置。

背景技术

视觉显著性检测是计算机视觉领域中的一个重要问题。在大数据时代背景下，社交图像和视频数据呈现爆炸式增长。处理巨大的图像数据是很耗时的，因为大多数图像只包含我们需要的信息的一小部分。众所周知，人类视觉系统可以快速锁定视觉领域的重要区域，进行后续的信息提取。在此基础上，提出了显著性目标检测方法，用于快速定位图像中感兴趣的区域。此外，视觉显著性检测作为一种图像预处理过程，已广泛应用于各种图像处理任务中，如视觉跟踪，图像分类和图像分割、目标识别，图像视频压缩，图像检索，图像重定向等相关领域。

传统的显著性模型一般是从图像的颜色、背景、纹理、边缘和空间位置等方面出发，也就是说这些模型基本只是利用了图片的底层的一些信息从而得到显著性图。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于模糊特征的多尺度显著性检测方法及装置。

本发明的目的可以通过以下技术方案来实现：

一种基于模糊特征的多尺度显著性检测方法，包括：

步骤S1：将每一张图像均按照多种不同尺度进行分割得到每张图像的多张分割图，并对所有分割图进行预处理，提取特征信息；

步骤S2：基于测试集中各分割图的预处理后的特征信息训练模糊宽度网络模型；

步骤S3：将基于同一待检测图形的分割图的特征信息输入训练好的模糊宽度网络模型，得到多个对应的显著性图；

步骤S4：将多个显著性图进行合成，并利用标签传播算法进行优化；

步骤S5：使用得到的优化后的显著图用于视觉跟踪，图像分类、图像分割、目标识别，图像视频压缩，图像检索或图像重定向。

所述步骤S1中使用的尺度的个数为3个。

所述步骤S1中分割过程具体采用SLIC超像素分割，且分割的比例分别为：scale1＝200，scale2＝300,scale3＝400。

所述预处理过程具体包括：

步骤S11：提取各超像素的R、G、B三个通道的平均颜色值；

步骤S12：利用局部二值化算法提取出超像素的纹理特征；

步骤S13：把对每个超像素提取出的所有信息拉成一维向量，得到各超像素的特征向量，并基于得到的特征向量得到每张分割图的特征矩阵。

所述模糊宽度网络模型的输出Y为：

Y＝[DΩ|H^p]·W

其中：是权重系数，其在[0,1]内均匀分布，x是输入数据，DΩ代表模糊子系统层的输出，H^p为p个增强节点的所产生的增强层的输出，p为增强节点的个数，W为系数矩阵。

一种基于模糊特征的多尺度显著性检测装置，包括存储器、处理器，以及存储于存储器中并由所述处理器执行的程序，所述处理器执行所述程序时实现以下步骤：

步骤S1：将每一张图像均按照多种不同尺度进行分割得到每张图像的多张分割图，并对所有分割图进行预处理，提取特征信息；

步骤S2：基于测试集中各分割图的预处理后的特征信息训练模糊宽度网络模型；

步骤S3：将基于同一待检测图形的分割图的特征信息输入训练好的模糊宽度网络模型，得到多个对应的显著性图；

步骤S4：将多个显著性图进行合成，并利用标签传播算法进行优化；

步骤S5：使用得到的优化后的显著图用于视觉跟踪，图像分类、图像分割、目标识别，图像视频压缩，图像检索或图像重定向。

与现有技术相比，本发明具有以下有益效果：

1)应用多尺度方法从而准确识别与背景接触的物体的轮廓，有效地保持目标的结构完整性。

2)通过训练超像素块的平均颜色特征和纹理特征来建立图像与其显著性图的映射关系，构建系数矩阵，并利用标签传播算法对初始显著性映射进行优化，增强了前景与背景的对比度，进而得到最终的显著性图。

3)由于对图像的预处理和多尺度方法能够很好地保持目标与背景接触的轮廓，有效地保持目标的结构完整性，使得网络的训练效果非常地好，同时也利用了宽度网络的快速性和标签传播的后处理优化使得在保持快速计算显著性图的同时也能保证其检测的精度很高。

4)对多目标显著物体仍有较好的效果，另外，对于出现在边缘，或是复杂背景下的显著物，也有较高的准确率。

附图说明

图1为本发明方法的主要步骤流程示意图；

图2为本发明方法生成效果图与其它算法生成效果图的对比示例图；

图3为多尺度的实现过程图；

图4为有无优化的结果对比图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种基于模糊特征的多尺度显著性检测方法，该方法以计算机程序的形式由计算机系统实现，该计算机系统存储器、处理器，以及存储于存储器中并由处理器执行的程序，如图1所示，处理器执行程序时实现以下步骤：

步骤S1：将每一张图像均按照多种不同尺度进行分割得到每张图像的多张分割图，并对所有分割图进行预处理，提取特征信息；

其中使用的尺度的个数为3个，分割过程具体采用SLIC超像素分割，且分割的比例分别为：scale1＝200，scale2＝300,scale3＝400，预处理过程具体包括：

步骤S11：提取各超像素的R、G、B三个通道的平均颜色值；

步骤S12：利用局部二值化算法提取出超像素的纹理特征；

步骤S13：把对每个超像素提取出的所有信息拉成一维向量，得到各超像素的特征向量，并基于得到的特征向量得到每张分割图的特征矩阵，这样数据集就变成了所有图像的所有超像素信息的矩阵。对应的真值的处理就是把每张图像对应的超像素块按真值图进行二分类，这里1代表这个超像素块属于前景，0代表这个超像素块属于背景。预处理后的数据就可以送入模糊宽度学习进行训练，训练过程相当于对每个超像素块进行二分类。

接下来利用SLIC算法把输入图像按scale1＝200，scale2＝300,scale3＝400分割，生成3张不同尺度的超像素分割图作为我们的多尺度模糊宽度学习系统的输入。输入图像也按照以上方式进行处理。多尺度的实现过程如图3所示。

步骤S2：基于测试集中各分割图的预处理后的特征信息训练模糊宽度网络模型；

步骤S3：将基于同一待检测图形的分割图的特征信息输入训练好的模糊宽度网络模型，得到多个对应的显著性图；

我们把预处理过的包含三通道彩色图像和对应的二值真值图图像数据集用于网络的训练，即输入数据是：

X＝(x₁,x₂,...,x_N)^T∈R^N×M

我们用一阶TS模糊子系统把输入数据：

x_s＝(x_s1,x_s2,...,x_sM),s＝1,2,...,N

映射到具有kⁱ个模糊规则的第i个模糊子系统：

其中，k＝1,2,...,kⁱ是第i个模糊子系统的模糊规则数，是系数，其在[0,1]内是均匀分布的。

对于增强层的输入，我们把训练样本x_s对应的第i个模糊子系统的输出向量表示为：

从模糊子系统映射到增强层的中间输出为：

其中：n是FBLS中模糊子系统的个数。那么有p组增强节点的增强层中对Zⁿ进行非线性变换就可以得到增强层的输出，表示为：

最终，对于整个网络的输出为：

其中，A＝[DΩ|H^p]，W是系数矩阵，通过伪逆计算得到。

步骤S4：将多个显著性图进行合成，并利用标签传播算法进行优化；

对模糊宽度网络进行训练后，将预处理过程中生成的三个不同尺度的超像素分割图作为模糊宽度网络的输入，根据式(6)分别生成三个不同尺度的显著性图。然后根据下式融合三个显著性图：

其中I_scale1、I_scale2、I_scale3分别对应三个不同尺度的显著性图，I为融合后的初始显著性图。

利用标签传播算法进行后期处理，优化生成的显著性图，增强前景与背景的对比度，使显著性检测的效果更接近真值。图4显示了没有优化的显著性结果和优化处理后的显著性结果。本发明方法生成效果图与其它算法生成效果图的对比示例如图2所示。

步骤S5：使用得到的优化后的显著图用于视觉跟踪，图像分类、图像分割、目标识别，图像视频压缩，图像检索或图像重定向。

模糊宽度网络模型的输出Y为：

Y＝[DΩ|H^p]W

其中：是权重系数，其在[0,1]内均匀分布，x是输入数据，DΩ代表模糊子系统层的输出，H^p为一个整体，代表p个增强节点的所产生的增强层的输出，p为增强节点的个数，W为系数矩阵，是由为模糊子系统层的输出分配的系数矩阵与为增强层的输出分配的系数矩阵合并而成，[·]为矩阵符号，输出Y就是由模糊子系统层的输出和增强层的输出按一定的权重组合得到的。

Claims (10)

1.一种基于模糊特征的多尺度显著性检测方法，其特征在于，包括：

步骤S1：将每一张图像均按照多种不同尺度进行分割得到每张图像的多张分割图，并对所有分割图进行预处理，提取特征信息；

步骤S2：基于测试集中各分割图的预处理后的特征信息训练模糊宽度网络模型；

步骤S3：将基于同一待检测图形的分割图的特征信息输入训练好的模糊宽度网络模型，得到多个对应的显著性图；

步骤S4：将多个显著性图进行合成，并利用标签传播算法进行优化；

步骤S5：使用得到的优化后的显著图用于视觉跟踪，图像分类、图像分割、目标识别，图像视频压缩，图像检索或图像重定向。

2.根据权利要求1所述的一种基于模糊特征的多尺度显著性检测方法，其特征在于，所述步骤S1中使用的尺度的个数为3个。

3.根据权利要求2所述的一种基于模糊特征的多尺度显著性检测方法，其特征在于，所述步骤S1中分割过程具体采用SLIC超像素分割，且分割的比例分别为：scale1＝200，scale2＝300,scale3＝400。

4.根据权利要求3所述的一种基于模糊特征的多尺度显著性检测方法，其特征在于，所述预处理过程具体包括：

步骤S11：提取各超像素的R、G、B三个通道的平均颜色值；

步骤S12：利用局部二值化算法提取出超像素的纹理特征；

步骤S13：把对每个超像素提取出的所有信息拉成一维向量，得到各超像素的特征向量，并基于得到的特征向量得到每张分割图的特征矩阵。

5.根据权利要求4所述的一种基于模糊特征的多尺度显著性检测方法，其特征在于，所述模糊宽度网络模型的输出Y为：

Y＝[DΩ|H^p]W

其中：是权重系数，其在[0,1]内均匀分布，x是输入数据，DΩ代表模糊子系统层的输出，H^p为p个增强节点的所产生的增强层的输出，p为增强节点的个数，W为系数矩阵。

6.一种基于模糊特征的多尺度显著性检测装置，其特征在于，包括存储器、处理器，以及存储于存储器中并由所述处理器执行的程序，所述处理器执行所述程序时实现以下步骤：

步骤S1：将每一张图像均按照多种不同尺度进行分割得到每张图像的多张分割图，并对所有分割图进行预处理，提取特征信息；

步骤S2：基于测试集中各分割图的预处理后的特征信息训练模糊宽度网络模型；

步骤S3：将基于同一待检测图形的分割图的特征信息输入训练好的模糊宽度网络模型，得到多个对应的显著性图；

步骤S4：将多个显著性图进行合成，并利用标签传播算法进行优化；

步骤S5：使用得到的优化后的显著图用于视觉跟踪，图像分类、图像分割、目标识别，图像视频压缩，图像检索或图像重定向。

7.根据权利要求6所述的一种基于模糊特征的多尺度显著性检测装置，其特征在于，所述步骤S1中使用的尺度的个数为3个。

8.根据权利要求7所述的一种基于模糊特征的多尺度显著性检测装置，其特征在于，所述步骤S1中分割过程具体采用SLIC超像素分割，且分割的比例分别为：scale1＝200，scale2＝300,scale3＝400。

9.根据权利要求8所述的一种基于模糊特征的多尺度显著性检测装置，其特征在于，所述预处理过程具体包括：

步骤S11：提取各超像素的R、G、B三个通道的平均颜色值；

步骤S12：利用局部二值化算法提取出超像素的纹理特征；

步骤S13：把对每个超像素提取出的所有信息拉成一维向量，得到各超像素的特征向量，并基于得到的特征向量得到每张分割图的特征矩阵。

10.根据权利要求9所述的一种基于模糊特征的多尺度显著性检测装置，其特征在于，所述模糊宽度网络模型的输出Y为：

Y＝[DΩ|H^p]·W

其中：是权重系数，其在[0,1]内均匀分布，x是输入数据，DΩ代表模糊子系统层的输出，H^p为p个增强节点的所产生的增强层的输出，p为增强节点的个数，W为系数矩阵。