CN114677368B - 一种图像显著性检测方法及装置 - Google Patents

Abstract

本发明提供一种图像显著性检测方法及装置，其中方法包括：步骤：S1：对待检测图像做超像素分割处理，得到超像素分割图像；S2：从超像素分割图像中提取出包含边界特征的背景超像素图像；S3：利用LASSO算法与背景超像素图像，对超像素分割图像做显著性检测处理，得到显著性检测处理的学习层处理结果；S4：判断学习层处理结果是否满足预设条件，若是，执行步骤S5；否则，执行步骤S6；S5：将学习层处理结果作为显著性检测处理结果；根据显著性检测处理结果，生成显著图；S6：将学习层处理结果，反向传播至超像素分割图像，得到更新的待检测图像，返回执行步骤S1。本发明提供的技术方案可有效处理对于背景较复杂的遥感图像，实现图像的显著性检测。

Description

一种图像显著性检测方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像显著性检测方法及装置。

背景技术

图像的显著性检测，指通过智能算法模拟人的视觉特点，提取出图像中的显著区域，显著区域可理解为人类感兴趣的区域。

显著性检测的做法适用于区域目标如人工建筑等，和结构目标如机场、油库等的检测。遥感图像中的目标分为区域、点、线和结构目标，其特征由图像的物理属性决定。近年来，显著性检测被应用在遥感目标的检测和识别中，通过提取遥感图像中感兴趣的区域来获得包含潜在目标的区域作为下一步检测或识别的对象。通过显著性检测，避免对背景区域进行检测，大大减少了计算量。

现有技术单纯利用图像底层特征来计算显著性，虽然简单却容易丢失显著区域的边界信息或者内部信息，因此，现有的图像显著性检测方案针对具有较复杂背景的遥感图像的应用效果并不理想。

发明内容

鉴于上述的分析，本发明旨在提供一种图像显著性检测方法，以解决现有技术中存在的处理具有较复杂背景的遥感图像的效果并不理想技术问题。

本发明提供的技术方案是：

一方面，本发明提供一种图像显著性检测方法，包括步骤：

S1：对待检测图像做超像素分割处理，得到超像素分割图像；

S2：从所述超像素分割图像中提取出包含边界特征的背景超像素图像；

S3：利用最小化绝对收缩与选择算子LASSO算法与所述背景超像素图像，对所述超像素分割图像做显著性检测处理，得到显著性检测处理的学习层处理结果；

S4：判断所述学习层处理结果是否满足预设条件，若是，执行步骤S5；否则，执行步骤S6；

S5：将所述学习层处理结果作为所述显著性检测处理结果；根据所述显著性检测处理结果，生成显著图；所述显著性检测处理结果包含超像素分割图像中，与所述背景超像素图像特征不同的显著特征；

S6：将所述学习层处理结果，反向传播至所述超像素分割图像，得到更新的待检测图像，返回执行所述步骤S1。

优选地，所述步骤S3包括：

步骤S31：利用所述LASSO算法，学习所述背景超像素图像与所述超像素分割图像，得到所述学习层处理结果为学习系数。

优选地，所述对所述待检测图像做超像素分割处理，得到超像素分割图像包括：

利用简单线性迭代聚类SLIC算法对所述待检测图像做图像分割处理，得到超像素分割图像，所述超像素分割图像包含k个超像素的图像子区块集合P＝{p₁，p₂，…，p_k}，k>0。

优选地，所述从所述超像素分割图像中提取出包含边界特征的背景超像素图像包括：

从所述超像素分割图像中提取处于所述待检测图像边界处的n个背景超像素的图像子区块组成所述背景超像素图像，所述背景超像素图像包含n个背景超像素的图像子区块集合B＝{b₁，b₂，…b_n}，0<n<k。

优选地，记第j次显著性检测处理所得学习层处理结果为学习系数

其中，k_j≤k；记对应显著性检测处理的超像素分割图像为I_j，则，所述步骤S31包括：

由所述LASSO算法得到所述学习系数的计算式：

算出所述学习系数：

其中，β和t为经验常数。

优选地，所述将所述学习层处理结果，反向传播至所述超像素分割图像，得到更新后的待检测图像包括：

利用计算式：

得到的更新后的待检测图像为I_j+1。

优选地，

对于k_j，有：k_j＜k_j-1。

优选地，所述步骤S4中判断所述学习层处理结果是否满足预设条件包括：

判断所述学习系数

中大于预设阈值的系数个数是否大于m个，若是，则满足要求；

所述预设阈值

为：

所述m为预设经验值。

优选地，所述步骤S3包括：

设所述

为最终学习系数

对应的最终图像为I_final，则：

显著图：S_output＝(I_final-min(I_final))/(max(I_final)-min(I_final))。

另一方面，本发明还提供一种图像显著性检测装置，包括：超像素分割单元、背景提取单元、显著性检测单元、显著图生成单元；

所述超像素分割单元，适于对待检测图像做超像素分割处理，得到超像素分割图像；

所述背景提取单元，适于从超像素分割单元得到的所述超像素分割图像中提取出包含边界特征的背景超像素图像；

所述显著性检测单元，适于利用LASSO算法与所述背景提取单元得到的所述背景超像素图像，对所述超像素分割单元得到的所述超像素分割图像做显著性检测处理，得到显著性检测处理的学习层处理结果；判断所述学习层处理结果是否满足预设条件，根据判断结果为是，触发所述显著图生成单元；根据判断结果为否，将所述学习层处理结果，反向传播至所述超像素分割图像，得到更新后的待检测图像，触发所述超像素分割单元；

所述显著图生成单元，适于将所述显著性检测单元得到的所述学习层处理结果作为所述显著性检测处理结果，根据所述显著性检测处理结果，生成显著图；所述显著性检测处理结果包含超像素分割图像中，与所述背景超像素图像特征不同的显著特征。

本发明实施例实际给出自适应控制和自适应学习的回归学习显著性检测模型，该模型基于超像素分割算法、LASSO算法和反向传播的分层学习理论思想，来实现显著特征的提取。具体地，该模型利用LASSO算法与背景超像素图像，对超像素分割图像做显著性检测处理，得到显著性检测处理的学习层处理结果，并在学习层处理结果不符预设的情况下，将学习层处理结果反向传播至原超像素分割图像，得到更新的待检测图像，对原超像素分割图像做迭代处理，进而最终得到符合条件的显著性检测处理结果，显著性检测处理结果中，与背景超像素图像特征相同的特征发生衰减，而保留与背景超像素图像特征不同的显著特征，从而可有效处理对于背景较复杂的遥感图像，生成提取出的显著特征较准确度较高的显著图，实现图像的显著性检测，以用于后续处理。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1是本发明实施例中图像显著性检测方法流程图；

图2是本发明实施例中采用SLIC算法分割图像获得的超像素分割图像示意图；

图3是本发明实施例中基于背景先验理论提取出的背景超像素图像；

图4是本发明实施例中将学习系数反向传播至原超像素分割图像的示意图；

图5是本发明实施例中图像显著性检测装置的结构示意图；

图6是本发明实施例中待检测图像的原图示例图；

图7是本发明实施例中从图6中检测出的显著图示例图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。

本发明实施例提供一种图像显著性检测方法，参见图1，图1是本发明实施例中图像显著性检测方法流程图，该方法可包括以下步骤：

S1：对待检测图像做超像素分割处理，得到超像素分割图像。

S2：从超像素分割图像中提取出包含边界特征的背景超像素图像。

S3：利用最小化绝对收缩与选择算子(LASSO)算法与所述背景超像素图像，对所述超像素分割图像做显著性检测处理，得到显著性检测处理的学习层处理结果。

S4：判断所述学习层处理结果是否满足预设条件，若是，执行步骤S5；否则，执行步骤S6；

S5：将所述学习层处理结果作为所述显著性检测处理结果；根据所述显著性检测处理结果，生成显著图；所述显著性检测处理结果包含超像素分割图像中，与所述背景超像素图像特征不同的显著特征；

S6：将所述学习层处理结果，反向传播至所述超像素分割图像，得到更新后的待检测图像，返回执行所述步骤S1。

本发明实施例实际给出自适应控制和自适应学习的回归学习显著性检测模型，该模型基于超像素分割算法、LASSO算法和反向传播的分层学习理论思想，来实现显著特征的提取。具体地，该模型利用LASSO算法与背景超像素图像，对超像素分割图像做显著性检测处理，得到显著性检测处理的学习层处理结果，并在学习层处理结果不符预设的情况下，将学习层处理结果反向传播至原超像素分割图像，得到更新的待检测图像，对原超像素分割图像做迭代处理，进而最终得到符合条件的显著性检测处理结果，显著性检测处理结果中，与背景超像素图像特征相同的特征发生衰减，而保留与背景超像素图像特征不同的显著特征，从而可有效处理对于背景较复杂的遥感图像，生成提取出的显著特征较准确度较高的显著图，实现图像的显著性检测，以用于后续处理。

下面详细说明本发明的具体实现。

本发明实施例中，上述步骤S1中，采用简单线性迭代聚类(SLIC)算法对待检测图像做分割处理，对于包括目标和背景的低分辨率遥感图像(待检测图像)，其包含大量的细节信息和数据量，在进行图像分割处理时，可以将待检测图像分割为多个图像子区块，使用超像素来代替图像子区块，在有效减少数据量的同时，可以尽量保持图像子区块的特性和物体的区域信息和边界信息，简化运算。

对于一幅待检测图像I，设其大小为W×H，采用SLIC算法，将该待检测图像做图像分割处理，得到超像素分割图像，该超像素分割图像包含k个超像素的图像子区块集合P＝{p₁，p₂，…，p_k}，k>0。另外，要得到不同尺度下的图像分割结果，只需设定不同的超像素的个数k即可。选择在不同尺度下得到不同分割结果，是为了更加准确的获得图像的边界信息，使分割结果更加接近真实的视觉效果。

参见图2，图2是本发明实施例中采用SLIC算法分割图像获得的超像素分割图像示意图。图2中示例k＝10，实际应用中，k的取值可能是几十甚至几百，根据需要来设置。

本发明实施例中，上述步骤S2中，利用背景先验理论，将图像中靠近边界的n个超像素的图像子区块提取出来组成背景超像素图像，背景超像素图像包含n个背景超像素集合B＝{b₁，b₂，…b_n}，0<n<k。对于不同的图像，当超像素个数k变化时，处在边界的超像素个数n也将发生变化，但n与k并不存在直接关系。参见图3，共有8个超像素的图像子区块靠近边界，n＝8，图3是本发明实施例中基于背景先验理论提取出的背景超像素图像。

本发明实施例中，上述步骤S3具体为：

步骤S31：利用LASSO算法，学习背景超像素图像与超像素分割图像，得到学习层处理结果为学习系数。步骤S31包括：

由LASSO算法得到所述学习系数的计算式一：

算出学习系数：

其中，β和t为经验常数，示例性的，β和t的取值在0到1之间。

上述P＝{p₁，p₂，…，p_k}中，P是3×k维数据组，B＝{b₁，b₂，…b_n}中，B是3×n维的数据组，经过上述计算式一，得到n×k维的数据组，并对每列数据求均值，得到

为1×k维数据组。

本发明实施例中，基于LASSO算法，对于经过超像素分割的超像素分割图像，利用背景超像素图像中的集合B＝{b₁,b₂,…,b_n},0＜n＜k，与上述计算式一来进行优化，收缩与背景超像素图像中背景集合相似的超像素的系数，而将与背景集合相同的超像素的系数设为0，则经过一次优化，得到每个图像子区块对应的超像素相对背景集合逻辑回归后的学习系数。通过集合P对集合B的逻辑回归，对集合P的表示系数进行收缩，得到学习系数

同时，学习系数也是基于Lasso所计算出来表示k个超像素对应的图像子区块的学习特征，将其作为对应图像子区块的超像素特征值。

本发明实施例中，设第一次做SLIC分割得到的超像素分割图像记为I₁，利用LASSO算法得到的第一组学习系数记为

k₁＝k，则记第j次显著性检测处理所得学习层处理结果为学习系数

其中，k_j≤k；则

记对应显著性检测处理的超像素分割图像为I_j。本发明实施例中，判断学习层处理结果是否满足预设条件包括：

判断学习系数

中大于预设阈值的系数个数是否大于m个，若是，则满足要求；

其中，预设阈值

为：

m为预设经验值，示例性的，取值可以是设置在3到10之间。系数个数大于预设的m个，就说明做显著性检测处理筛选出的显著特征已经能够满足要求，因此，可以终止学习，输出学习系数，并根据学习系数来生成显著图；否则，说明筛选出的显著特征不够，需要继续学习，进而，将学习层处理结果即学习系数

反向传播至原超像素分割图像I_j，基于计算式二：

得到更新后的待检测图像I_j+1，再对I_j+1做SLIC分割以及背景提取，并进一步利用LASSO算法继续学习，再次得到学习系数，并判断学习系数是否满足预设条件，如此循环迭代，可有效提取出准确度较高的显著特征。参见图4，图4是本发明实施例中将学习系数反向传播至原超像素分割图像的示意图。

另外，具体实现中，在分层学习时，每一层判断学习终止条件的阈值都不相同，避免因为使用统一阈值判断时带来较大的误差。

需要说明的是，本发明实施例中，对于k_j，有：k_j＜k_j-1。说明如下：在分层学习中一个重要的问题是：如何对待检测图像进行分割时所包含的超像素的个数作出选择。本发明实施例采用的每层所包含的超像素个数依次为k_j，j＝1，2，…，f，其中f为最后一次学习对应的次数。本发明具体实现中，出于准确度与快速性的考虑，在进行分层学习中先进行细分割再进行粗分割，即k_j＜k_j-1。本发明实施例中，对原始的待检测图像进行的细分割，便于得到图像中各个物体的具体边界信息，当单层的学习系数作为权重反向传播到原超像素分割图像中时，使得各个图像子区块的特征发生衰减，而由于第一层分割为精细分割，得到图像中各个物体具体的边界信息，保留了各个物体的特征信息，并且衰减后的特征更加准确，将发生衰减后的图像再进行超像素分割，分割后包含的超像素个数小于上一次分割后所包含的超像素个数，则对于学习来说，速度更快，并且有了上一层的学习使得当前层的学习可以进一步将有区别的特征提取出来。

本发明实施例中，上述步骤S5包括：

设所述

为最终学习系数

即本次学习所得到的学习系数

中学习系数大于预设阈值的个数大于m个，对应的最终图像为I_final，则：

对I_final求反得：I_final＝1-I_final，对I_final做归一化处理，得到输出的显著图：S_output＝(I_final-min(I_final))/(max(I_final)-min(I_final))。参见图6，图6是本发明实施例中待检测图像的原图示例图。参见图7，图7是本发明实施例中从图6中检测出的显著图示例图，其中，白色区域即为检测出的显著区域。

基于上述本发明实施例提供的图像显著性检测方法，本发明实施例还提供一种图像显著性检测装置。参见图5，图5是本发明实施例中图像显著性检测装置的结构示意图，包括：超像素分割单元501、背景提取单元502、显著性检测单元503、显著图生成单元504；

超像素分割单元501，适于对待检测图像做超像素分割处理，得到超像素分割图像；

背景提取单元502，适于从超像素分割单元501得到的超像素分割图像中提取出包含边界特征的背景超像素图像；

显著性检测单元503，适于利用LASSO算法与背景提取单元502得到的背景超像素图像，对超像素分割单元501得到的超像素分割图像做显著性检测处理，得到显著性检测处理的学习层处理结果；判断所述学习层处理结果是否满足预设条件，根据判断结果为是，触发显著图生成单元504；根据判断结果为否，将所述学习层处理结果，反向传播至所述超像素分割图像，得到更新后的待检测图像，触发超像素分割单元501；

显著图生成单元504，适于将显著性检测单元503得到的所述学习层处理结果作为所述显著性检测处理结果，根据所述显著性检测处理结果，生成显著图；所述显著性检测处理结果包含超像素分割图像中，与所述背景超像素图像特征不同的显著特征。

综上所述，本发明实施例实际给出自适应控制和自适应学习的回归学习显著性检测模型，该模型基于超像素分割算法、LASSO算法和反向传播的分层学习理论思想，来实现显著特征的提取。具体地，该模型利用LASSO算法与背景超像素图像，对超像素分割图像做显著性检测处理，得到显著性检测处理的学习层处理结果，并在学习层处理结果不符预设的情况下，将学习层处理结果反向传播至原超像素分割图像，得到更新的待检测图像，对原超像素分割图像做迭代处理，进而最终得到符合条件的显著性检测处理结果，显著性检测处理结果中，与背景超像素图像特征相同的特征发生衰减，而保留与背景超像素图像特征不同的显著特征，从而生成提取出的显著特征准确度较高的显著图，以用于后续处理。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种图像显著性检测方法，其特征在于，包括步骤：

S1：对待检测图像做超像素分割处理，得到超像素分割图像；

S2：从所述超像素分割图像中提取出包含边界特征的背景超像素图像；

S3：利用最小化绝对收缩与选择算子LASSO算法与所述背景超像素图像，对所述超像素分割图像做显著性检测处理，得到显著性检测处理的学习层处理结果；

S4：判断所述学习层处理结果是否满足预设条件，若是，执行步骤S5；否则，执行步骤S6；

S5：将所述学习层处理结果作为所述显著性检测处理结果；根据所述显著性检测处理结果，生成显著图；所述显著性检测处理结果包含超像素分割图像中，与所述背景超像素图像特征不同的显著特征；

S6：将所述学习层处理结果，反向传播至所述超像素分割图像，得到更新的待检测图像，返回执行所述步骤S1。

2.根据权利要求1所述的图像显著性检测方法，其特征在于，所述步骤S3包括：

步骤S31：利用所述LASSO算法，学习所述背景超像素图像与所述超像素分割图像，得到所述学习层处理结果为学习系数。

3.根据权利要求2所述的图像显著性检测方法，其特征在于，所述对所述待检测图像做超像素分割处理，得到超像素分割图像包括：

利用简单线性迭代聚类SLIC算法对所述待检测图像做图像分割处理，得到超像素分割图像，所述超像素分割图像包含k个超像素的图像子区块集合P＝{p₁，p₂，…，p_k}，k＞0。

4.根据权利要求3所述的图像显著性检测方法，其特征在于，所述从所述超像素分割图像中提取出包含边界特征的背景超像素图像包括：

从所述超像素分割图像中提取处于所述待检测图像边界处的n个背景超像素的图像子区块组成所述背景超像素图像，所述背景超像素图像包含n个背景超像素的图像子区块集合B＝{b₁，b₂，…b_n}，0＜n＜k。

5.根据权利要求4所述的图像显著性检测方法，其特征在于，记第j次显著性检测处理所得学习层处理结果为学习系数

其中，k_j≤k；记对应显著性检测处理的超像素分割图像为I_j，则，所述步骤S31包括：

由所述LASSO算法得到所述学习系数的计算式：

算出所述学习系数：

其中，β和t为经验常数。

6.根据权利要求5所述的图像显著性检测方法，其特征在于，所述将所述学习层处理结果，反向传播至所述超像素分割图像，得到更新后的待检测图像包括：

利用计算式：

得到的更新后的待检测图像为I_j+1，大小为W×H。

7.根据权利要求6所述的图像显著性检测方法，其特征在于，

对于k_j，有：k_j＜k_j-1。

8.根据权利要求6或7所述的图像显著性检测方法，其特征在于，所述步骤S4中判断所述学习层处理结果是否满足预设条件包括：

判断所述学习系数

中大于预设阈值的系数个数是否大于m个，若是，则满足要求；

所述预设阈值

为：

所述m为预设经验值。

9.根据权利要求8所述的图像显著性检测方法，其特征在于，所述步骤S3包括：

设

为最终学习系数

对应的最终图像为I_final，则：

I_final＝1-I_final，

显著图：S_output＝(I_final-min(I_final))/(max(I_final)-min(I_final))。

10.一种图像显著性检测装置，其特征在于，包括：超像素分割单元、背景提取单元、显著性检测单元、显著图生成单元；

所述超像素分割单元，适于对待检测图像做超像素分割处理，得到超像素分割图像；

所述背景提取单元，适于从超像素分割单元得到的所述超像素分割图像中提取出包含边界特征的背景超像素图像；

所述显著性检测单元，适于利用LASSO算法与所述背景提取单元得到的所述背景超像素图像，对所述超像素分割单元得到的所述超像素分割图像做显著性检测处理，得到显著性检测处理的学习层处理结果；判断所述学习层处理结果是否满足预设条件，根据判断结果为是，触发所述显著图生成单元；根据判断结果为否，将所述学习层处理结果，反向传播至所述超像素分割图像，得到更新后的待检测图像，触发所述超像素分割单元；

所述显著图生成单元，适于将所述显著性检测单元得到的所述学习层处理结果作为所述显著性检测处理结果，根据所述显著性检测处理结果，生成显著图；所述显著性检测处理结果包含超像素分割图像中，与所述背景超像素图像特征不同的显著特征。

Images