CN114549969A - 一种基于图像信息融合的显著性检测方法和系统 - Google Patents

Abstract

本发明提供了了一种基于图像信息融合的显著性检测方法和系统，主要是面向搭载树莓派视觉感知的无人机平台。方法具体包括：首先，将输入图像分割成不重叠的超像素，以便在区域级进行显著性检测，来降低计算复杂度。然后，利用背景优化选择方案构建一个更精确的背景模板。在此基础上，通过估计颜色对比度，得到了一个显著性图。另外，还通过哈希指纹匹配得到了一个可以突出显著目标同时抑制背景区域的显著图。最后，通过融合这两个显著图，得到了最终的显著图。本发明的检测方法操作简单、易于实现，在突出整个显著区域方面具有良好的性能。

Description

一种基于图像信息融合的显著性检测方法和系统

技术领域

本发明涉及目标检测技术领域，具体涉及一种基于图像信息融合的显著性检测方法和系统。

背景技术

目前，图像的显著性检测方法可大致分为两种方式——自下而上方式，即通过利用图像低级特征信息进行显著区域检测；自上而下方式，即通过对已有的图像库和对应的真值图进行训练，由特定的高级特征信息找出待测图中的显著物。其中，由于自下而上的方式，步骤相对简单、计算量较小，检测效果较好，因此一直以来是研究的重点方向。如经典的MSS算法，其首先用高斯滤波对输入图像进行处理，并将其转换到l ab空间；然后分别求每一个像素点邻域内lab的均值；最后再对数据进行融合得到最终的显著图。虽然该方法具有很好的显著性识别效果，但是在复杂的背景情况下，检测效果并不好，因为该方法没有充分利用背景信息。而经典的GBMR算法，其将输入图像表示为一个以超像素作为节点的闭环图，然后基于流行排序方法，利用每一个节点与背景节点的相似性得到初步的显著图，然后对其进行二值分割，得到前景节点，最后利用每一个节点与前景节点的相似性得到最终显著图。GBMR算法虽然充分利用了背景信息，但是该方法在图像中存在多个显著区域或在一个显著区域中存在较高的颜色对比度时，会出现检测不完整的情况。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于图像信息融合的显著性检测方法。

本发明所采用的技术方案是面向搭载树莓派视觉感知的无人机平台，通过颜色对比度与哈希指纹算法来处理图像，从而进行显著性区域检测，具体步骤如下：

步骤1：对无人机拍摄的图像进行超像素分割，并将图像所有最外层的超像素作为候选背景模板B，假设B中一共包含M块超像素。

步骤2：对于背景模板B中的每个超像素，计算它与B中所有其他超像素之间的颜色距离的空间加权之和S_B，其计算如公式(6)：

其中d_color(i，j)是CIELab空间中两个超像素i和j的平均颜色向量之间的欧氏距离，d_spatial(i，j)是两个超像素之间的空间距离,根据经验其中的常数因子σ设置为0.25。

步骤3：根据步骤2中的加权和来选择合适的阈值α，从B中去除加权和较大的超像素，获得准确的背景模板B_opt,阈值α计算如公式(7)：

α＝S_Bmax-kD (7)

其中，k为第二常数因子，并设置为8；S_Bmax和D分别为S_B(i)_i＝1...M的最大值和方差。

步骤4：除去背景模板B_opt后，图像中其余区域F包含m个超像素，根据步骤2中的颜色距离的空间加权之和公式，来计算F中的每个超像素与其周围区域之间的颜色距离的空间加权之和，得到显著性S_b。

步骤5：使用F中每个超像素与整个背景模板B_opt之间的颜色对比度作为显著性S_b的权重，获得了显著图S_b’，其计算如公式(8)：

S'_b＝S_b·||c_i-c_a||_nrm (8)

其中c_i和c_a分别为CIELab空间中超像素i的颜色向量和B_opt中所有超像素的平均颜色向量，||||表示对欧氏距离归一化，即颜色对比度归一化为[0,1]。

步骤6：对原图的灰度图像进行分块,并且计算每个图像块的DCT系数矩阵的均值，然后遍历所有DCT系数矩阵，将所有小于均值的位置的值设为0，所有大于等于均值的位置的值设为1，最后把DCT系数矩阵的值按序排列，得到每个图像块的哈希指纹。

步骤7：遍历所有图像块，计算每个图像块的哈希指纹与全图其他图像块的哈希的汉明距离，即两个哈希指纹中对应位置的不同数值的个数。然后，对所有汉明距离进行加权求和，将其作为该图像块的显著性值，得到显著图S_h，其计算如公式(9)：

其中(x，y)和(u，v)分别为第块i和另一个块j的坐标，h_i、h_j对应这两个块的哈希指纹，d(h_i、h_j)表示散列指纹之间的汉明距离。

步骤8：将两个显著图S_b’和S_h进行融合，得到最终的显著图S，其计算公式如(10)：

其中常数因子b设置为5，用来平衡两个显著性映射。

根据本发明的另一个方面，还公开一种基于图像信息融合的显著性检测系统，所述显著性检测系统包括：

像素分割模块，用于对无人机拍摄的图像进行超像素分割，并将图像所有最外层的超像素作为候选背景模板B，所述背景模板B中一共包含M块超像素；

空间加权和第一计算模块，用于计算每个超像素与其他所有超像素之间的颜色距离的空间加权和S_B；

超像素筛选模块，用于基于所述空间加权和S_B获取阈值α，从背景模板B 中删除空间加权和不符要求的超像素，获得准确的背景模板Bopt；

空间加权和第二计算模块，用于在除去背景模板Bopt后，按照步骤2中计算空间加权和S_B的方法，计算剩余区域F中的每个超像素与其周围区域之间的颜色距离的空间加权之和，从而得到显著性Sb；

颜色对比度计算模块，计算剩余区域F中每个超像素与整个背景模板Bopt 之间的颜色对比度，并将所述颜色对比度作为显著性Sb的权重，从而获得显著图Sb’；

哈希指纹获取模块，对原图的灰度图像进行分块,并且计算每个图像块的 DCT系数矩阵的均值，然后遍历所有DCT系数矩阵，将所有小于均值的位置的值设为0，所有大于等于均值的位置的值设为1，最后把DCT系数矩阵的值按顺序排列，得到每个图像块的哈希指纹；

汉明距离计算模块，用于遍历所有图像块，计算每个图像块的哈希指纹与全图其他图像块的哈希指纹的汉明距离；

汉明距离加权求和模块，用于对所有汉明距离进行加权求和，并将加权和作为图像块的显著性值，从而得到显著图Sh；

显著图融合模块，用于将显著图Sb’和Sh进行融合，得到显著图S。

与现有技术相比，本发明的有益效果是：即使整个突出区域位于图像的边界上，突出区域也能被完全检测到，并且在复杂的背景或有非常大的显著区域时，该检测方法也是有效的。

附图说明

本发明构成说明书的一部分附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。

图1是基于树莓派视觉感知的无人机平台的框图；

图2是基于图像信息融合的显著性检测方法的流程图；

图3是在图像数据集上使用不同的方法得到的显著图；

图4是公共的图像数据集上的PR曲线图；

图5是公共的图像数据集上的ROC曲线图；

具体实施方式

下面将结合附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

下面结合图2来说明本发明其中一个实施例的具体实现步骤。

步骤1、超像素分割：

对无人机拍摄的图像(附图中的原图)进行超像素分割，并将图像所有最外层的超像素作为候选背景模板B，假设B中一共包含M块超像素。

本实施例的检测方法是基于图中的基于树莓派视觉感知的无人机平台实现的，如图1所示，该无人机平台上装有树莓派，还包括电机桨叶、飞控模块、遥控器和电池，飞控模块与电机桨叶及遥控器分别连接，电机桨叶用来对无人机产生向上的推力，所述电池作为电源为飞控模块和树莓派等提供电力，树莓派搭载有远程控制软件和摄像头，该远程控制软件用于通过计算机程序等对无人机进行远程控制，摄像头作为图像传感器。

步骤2、背景优化选择：

(1)对于背景模板B中的每个超像素，计算它与B中所有其他超像素之间的颜色距离的空间加权和S_B，其计算如公式(1)：

其中d_color(i，j)是CIELab空间中两个超像素i和j的平均颜色向量之间的欧氏距离，d_spatial(i，j)是两个超像素之间的空间距离,根据经验公式(1)中的常数因子σ设置为0.25。

(2)根据步骤(1)中的空间加权和来选择合适的阈值α，从B中去除空间加权和较大的超像素，获得准确的背景模板B_opt,阈值α计算如公式(2)：

α＝S_Bmax-kD (2)

其中，k为常数因子，并将k设置为8，S_Bmax和D分别为S_B(i)_i＝1...M的最大值和方差。

步骤3、计算颜色对比度。

(1)除去背景模板B_opt后，图像中其余区域F包含m个超像素，根据步骤 2中的颜色距离的空间加权之和公式，来计算F中的每个超像素与其周围区域之间的颜色距离的空间加权之和，得到显著性S_b。

(2)使用F中每个超像素与整个背景模板B_opt之间的颜色对比度作为显著性S_b的权重，获得了显著图S_b’，其计算如公式(3)：

S'_b＝S_b·||c_i-c_a||_nrm (3)

其中，c_i和c_a分别为CIELab空间中超像素i的颜色向量和B_opt中所有超像素的平均颜色向量，||||表示对欧氏距离归一化，即颜色对比度归一化为 [0,1]。

步骤4、图像分块。

将无人机拍摄的彩色图像转化为320×240的灰度图像，并将其按8×8分块。

步骤5、哈希指纹比较

然后计算分块后的每个图像块的DCT系数矩阵的均值，并且遍历所有8×8 分块后的DCT系数矩阵，将所有小于均值的位置的值设为0，所有大于且等于均值的位置的值设为1；

按从左到右和从上到下的顺序把根据均值设置后的DCT系数矩阵的值排列，得到64位的二进制数，该二进制数即为每个图像块的哈希指纹；

遍历所有图像块，计算每个图像块的哈希指纹与全图其他图像块的哈希指纹的汉明距离，即两个哈希指纹中对应位置的不同数值的个数；

步骤6、显著图融合

对上一步骤得到的所有汉明距离进行加权求和，将加权求和后的值作为该图像块的显著性值，得到显著图S_h，其计算如公式(4)：

其中，(x，y)和(u，v)分别为第i个块和另一个块j的坐标，h_i、h_j对应这两个块的哈希指纹，d(h_i、h_j)表示散列指纹之间的汉明距离；

将两个显著图S_b’和S_h进行融合，得到最终的显著图S，显著图S的计算公式如(5)：

其中常数因子b设置为5，用来平衡两个显著性映射。

下面结合附图说明本实施例的技术效果。

本示例中，为了对本方法的性能进行评估，将基于图像信息融合的显著性检测方法与现有技术中的七种显著性检测方法进行比较，包括FT、I T、GBMR、 CA、LC、MSS和SF方法。

图3给出了在无人机采集的图像数据集上使用不同的方法得到的显著图，图3(a)从上到下显示了九个原始图像，图3(b)到图3(h)分别给出了使用不同方法获得的检测结果，图3(i)是本方法得到的显著性结果，图3(j)是真值图。

从图3(i)中可以看到，本方法能检测出显著目标大致所在区域。并且与其他方法相比，本方法可以更好地突出显著对象。具体来说，本方法不仅可以抑制背景，而且还可以突出整个突出区域。此外，从最后两幅图像可以看出，特别是对于复杂的场景，本方法明显优于其他方法。例如，从第11张图像的结果来看，除了本方法外，所有最先进的方法都不能完全提取荷叶。

图4(a)到图4(f)分别给出了本方法与其他七种对比方法在DUTS、ECSSD、MSRA10K、SOD、HKU_IS和一个自制的数据集DADA-W这六个公共图像数据集上的PR曲线。

如图5所示，图5(a)到图5(f)分别给出了本方法与其他七种对比方法在六个公共数据集上的ROC曲线。

从图4和图5可以看出，该方法的PR和ROC曲线明显优于FT、SF和LC，但略好于IT、CA和MSS，这是因为这些方法没有充分利用图像的背景信息。另外，GBMR方法下的PR曲线和ROC曲线虽然略接近本方法。但是，当在图像中存在多个显著区域或在一个显著区域中存在较高的颜色对比度时，本方法明显优于GBMR。

在另一个实施例中，还提供一种基于图像信息融合的显著性检测系统，该显著性检测系统包括：

像素分割模块，用于对无人机拍摄的图像进行超像素分割，并将图像所有最外层的超像素作为候选背景模板B，背景模板B中一共包含M块超像素；

空间加权和第一计算模块，用于计算每个超像素与其他所有超像素之间的颜色距离的空间加权和S_B；

超像素筛选模块，用于基于空间加权和S_B获取阈值α，从背景模板B中删除空间加权和不符要求的超像素，获得准确的背景模板Bopt；

空间加权和第二计算模块，用于在除去背景模板Bopt后，按照计算空间加权和S_B的方法，计算剩余区域F中的每个超像素与其周围区域之间的颜色距离的空间加权之和，从而得到显著性Sb；

颜色对比度计算模块，计算剩余区域F中每个超像素与整个背景模板Bopt 之间的颜色对比度，并将颜色对比度作为显著性Sb的权重，从而获得显著图 Sb’；

哈希指纹获取模块，用于对原图的灰度图像进行分块,并且计算每个图像块的DCT系数矩阵的均值，然后遍历所有DCT系数矩阵，将所有小于均值的位置的值设为0，所有大于且等于均值的位置的值设为1，最后把DCT系数矩阵的值按从左到右和从上到下的顺序排列，得到每个图像块的哈希指纹；

汉明距离计算模块，用于遍历所有图像块，计算每个图像块的哈希指纹与全图其他图像块的哈希指纹的汉明距离；

汉明距离加权求和模块，用于对所有汉明距离进行加权求和，并将加权和作为图像块的显著性值，从而得到显著图Sh；

显著图融合模块，用于将显著图Sb’和Sh进行融合，得到显著图S。

以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则范围之内所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

Claims (7)

1.一种基于图像信息融合的显著性检测方法，其特征在于，所述显著性检测方法包括：

步骤1、将无人机拍摄的原图进行超像素分割，并将图像所有最外层的超像素作为候选背景模板B；

步骤2、获取背景模板B中每个超像素与背景模板B中其他所有超像素之间的颜色距离的空间加权和S_B；

步骤3、基于所述空间加权和S_B获取阈值α，从背景模板B中删除空间加权和不符要求的超像素，获得准确的背景模板Bopt；

步骤4：除去背景模板Bopt后的，获取剩余区域F中每个超像素与其周围区域之间的颜色距离的空间加权之和，从而得到显著性Sb；

步骤5：计算剩余区域F中每个超像素与整个背景模板Bopt之间的颜色对比度，并将所述颜色对比度作为显著性Sb的权重，从而获得显著图Sb’；

步骤6：对原图的灰度图像进行分块,并且计算每个图像块的DCT系数矩阵的均值，然后遍历所有DCT系数矩阵，将所有小于均值的位置的值设为0，所有大于等于均值的位置的值设为1，最后把DCT系数矩阵的值按从左到右和从上到下的顺序排列，得到每个图像块的哈希指纹；

步骤7：遍历所有图像块，计算每个图像块的哈希指纹与全图其他图像块的哈希指纹的汉明距离，对所有汉明距离加权求和，并将加权和作为图像块的显著性值，从而得到显著图Sh；

步骤8：将显著图Sb’和Sh进行融合，得到显著图S。

2.如权利要求1所述的一种基于图像信息融合的显著性检测方法，其特征在于，步骤2中的颜色距离的空间加权和的计算公式为：

其中，M为背景模板B中的超像素个数，d_color(i，j)是CIELab空间中第i 和第j个超像素的平均颜色向量之间的欧氏距离，d_spatial(i，j)是两个超像素之间的空间距离,σ为第一常数因子。

3.如权利要求1所述的一种基于图像信息融合的显著性检测方法，其特征在于，步骤3中的阈值α的计算公式为：

α＝S_Bmax-kD

其中，k为第二常数因子；S_Bmax和D分别为S_B(i)的最大值和方差，i＝1...M。

4.如权利要求1所述的一种基于图像信息融合的显著性检测方法，其特征在于，步骤5中的显著性S_b’的计算公式为：

S′_b＝S_b·||c_i-c_a||_nrm

其中，c_i和c_a分别为CIELab空间中超像素i的颜色向量和B_opt中所有超像素的平均颜色向量，|| ||表示对欧氏距离归一化。

5.如权利要求1所述的一种基于图像信息融合的显著性检测方法，其特征在于，步骤7中的显著图S_h的计算公式为：

其中(x，y)和(u，v)分别为第i块和第j块的坐标，h_i、h_j对应两个块的哈希指纹，d(h_i、h_j)表示散列指纹之间的汉明距离。

6.如权利要求1所述的一种基于图像信息融合的显著性检测方法，其特征在于，步骤8中的显著图S的计算公式为：

其中，b为第三常数因子。

7.一种基于图像信息融合的显著性检测系统，其特征在于，所述显著性检测系统包括：

像素分割模块，用于对无人机拍摄的图像进行超像素分割，并将图像所有最外层的超像素作为候选背景模板B，所述背景模板B中一共包含M块超像素；

空间加权和第一计算模块，用于计算背景模板B中的每个超像素与背景模板B中的其他所有超像素之间的颜色距离的空间加权和S_B；

超像素筛选模块，用于基于所述空间加权和S_B获取阈值α，从背景模板B中删除空间加权和不符要求的超像素，获得准确的背景模板Bopt；

空间加权和第二计算模块，用于在除去背景模板Bopt后，按照步骤2中计算空间加权和S_B的方法，计算剩余区域F中的每个超像素与其周围区域之间的颜色距离的空间加权之和，从而得到显著性Sb；

颜色对比度计算模块，计算剩余区域F中每个超像素与整个背景模板Bopt之间的颜色对比度，并将所述颜色对比度作为显著性Sb的权重，从而获得显著图Sb’；

哈希指纹获取模块，用于对原图的灰度图像进行分块,并且计算每个图像块的DCT系数矩阵的均值，然后遍历所有DCT系数矩阵，将所有小于均值的位置的值设为0，所有大于等于均值的位置的值设为1，最后把DCT系数矩阵的值按从左到右和从上到下的顺序排列，得到每个图像块的哈希指纹；

汉明距离计算模块，用于遍历所有图像块，计算每个图像块的哈希指纹与全图其他图像块的哈希指纹的汉明距离；

汉明距离加权求和模块，用于对所有汉明距离进行加权求和，并将加权和作为图像块的显著性值，从而得到显著图Sh；

显著图融合模块，用于将显著图Sb’和Sh进行融合，得到显著图S。

Images