CN106250895B - 一种光学遥感图像感兴趣区域检测方法 - Google Patents

Abstract

本发明公开了一种光学遥感图像感兴趣区域检测方法，应用于高分辨率光学遥感图像感兴趣区域检测。通过对超像素级的图像进行处理，然后进行超像素级到像素级显著性映射，得到像素级显著图，完成对感兴趣区域由粗尺度快速定位到精细尺度下的精确描述。该方法首先对原始图像进行降采样，然后进行超像素分割，基于以上操作将高分辨率图像转换为较粗尺度图像，然后，在生成的粗尺度图像上通过结构张量与颜色空间背景抑制技术分别获得超像素级的纹理特征图和颜色特征图。随后经过特征图融合及上采样插值得到原始分辨率尺度下的超像素级显著图。最后，通过超像素级到像素级显著性映射，得到像素级显著图，完成感兴趣区域的像素级精确描述。

Description

一种光学遥感图像感兴趣区域检测方法

技术领域

本发明属于遥感图像处理技术领域，具体涉及一种基于超像素级到像素级层次化显著性分析的光学遥感图像感兴趣区域检测方法。

背景技术

遥感图像感兴趣区域检测是遥感图像分析、信息提取的应用之一。随着遥感技术的快速发展，遥感图像的空间分辨率变得越来越高，对场景的描述变得更加精细，需要处理的数据量也随之增大。将遥感场景中的城市区域、待建区域作为感兴趣区域提取，可有助于国土资源部门统计城区分布、增长趋势分析，制定发展规划具有重要的意义；提取露天矿藏、森林、湖泊淡水等作为感兴趣区域，可有助于环境部门掌握自然资源分布、保护情况。因此，如何准确、快速地从海量的遥感图像中检测感兴趣区域，是遥感技术的一个热点问题。

目前光学遥感图像感兴趣区域检测方法可大致分为三类：(1)基于交互的感兴趣区域检测方法；(2)基于传统图像理论的感兴趣区域检测方法；(3)基于视觉显著性启发的感兴趣区域检测方法。

基于交互的感兴趣区域检测方法，通过人机交互由人工判读来选择图像的感兴趣区域，是早期遥感图像感兴趣区域检测的手段。人工判读虽然检测结果比较精确，但受到人工成本局限，并不适用于处理大视场、高分辨率的光学遥感图像。

基于传统图像理论的感兴趣区域检测方法，大多是先验知识驱动的，需要经过图像分割和特征提取等操作。通过提取一些传统的图像空间特征/变换域特征，如边缘、拐点、灰度变化等，来检测感兴趣区域。该类方法能够利用图像的局部几何、灰度等空间信息以及频域信息，从而较好地描述图像特征，提取感兴趣区域；缺点是对于先验知识比较依赖，先验知识的充分与否直接影响特征提取是否充分，影响了检测结果的准确性。

基于视觉显著性启发的感兴趣区域检测，以视觉显著性模型为基础进行感兴趣区域检测。不同于传统方法，视觉显著性模型完全是由数据驱动的，不涉及先验知识。由于该类数据驱动的方法接近人类视觉系统，并且形式简洁，计算高效，近年来开始被应用于遥感图像处理中，如张立保等人提出的基于多尺度特征融合的感兴趣区域检测方法，和夏召强等人提出的基于边缘与深度特征的感兴趣区域检测方法等。然而，相比于自然场景，光学遥感图像数据量大，背景干扰信息多样，是采用基于视觉显著性启发的感兴趣区域检测方法进行处理时需要克服主要难点。

目前基于视觉显著性启发的感兴趣区域检测算法的不足主要存在于以下几点：

●当感兴趣区域地物背景干扰复杂时，提取出的感兴趣区域常常会包含背景信息，难以实现准确检测；

●当感兴趣区域贴近图像边缘时，将“中心优势”作为先验信息的一大类显著性计算方法对感兴趣区域分布敏感，难以实现感兴趣区域检测；

●大多数算法都是基于像素处理，对于全图的逐像素点运算制约了算法的处理速度，难以达到实时处理要求，限制了其工程应用价值；

●基于像素处理一定程度上忽略了光学遥感图像的空间结构信息，造成检测出的感兴趣区域完整性较差。

对于高分辨率光学遥感图像感兴趣区域检测来说，需要处理的数据量巨大，地物信息复杂，感兴趣区域分布位置不定。目前基于视觉显著性启发的感兴趣区域检测算法大多数基于像素处理，存在计算复杂度较高，无法合理高效地利用光学遥感图像空间结构信息，得到的感兴趣区域完整性较差，对感兴趣区域分布敏感等问题。

发明内容

有鉴于此，本发明提出一种光学遥感图像感兴趣区域检测方法，该方法基于超像素级到像素级层次化显著性分析，通过对超像素级的图像进行处理，然后进行超像素级到像素级显著性映射，得到像素级显著图，完成对感兴趣区域由粗尺度快速定位到精细尺度下的精确描述。感兴趣区域的检测在较粗尺度的目标级处理更加高效，可大幅降低时间复杂度；并且超像素分割技术可较好保持感兴趣区域的边缘信息。由于超像素的形状、位置与排列方式受到由图像信息所决定，一般情况下无法和像素那样规则排列，本发明在传统的像素级结构张量模型的基础上，构建了超像素级的结构张量模型。

本发明的技术方案是：

步骤1，对原始图像S₀降采样，得到图像S₁；

步骤2，对图像S₁进行超像素分割得到粗尺度图像S₃；

步骤3，构建超像素结构张量矩阵，并依据此矩阵提取超像素级的纹理特征图S_Texture，具体包括如下子步骤：

步骤3.1，针对图像S₃中的任意一个超像素sp_i，其内部所有像素点的平均灰度值作为这个超像素的代表值r_i；并将超像素sp_i的形心作为这个超像素的代表坐标(x_i,y_i)；

步骤3.2，计算超像素sp_i在x方向和y方向上的梯度G_x和G_y，为：

其中，N_i为超像素sp_i所有相邻超像素的集合，gx_ij为超像素sp_i与其相邻的超像素sp_j在x方向上的梯度变化量，gy_ij为超像素sp_i与其相邻的超像素sp_j在y方向上的梯度变化量，表达式如下：

步骤3.3，计算超像素sp_i与其相邻超像素之间的高斯平滑信息相关量G_g：

其中，N为集合N_i中所包含的超像素个数；

步骤3.4，构建超像素sp_i的结构张量矩阵Q:

步骤3.5，计算超像素sp_i的纹理特征显著值S_Texture(sp_i):

其中，c₁,c₂,c₃为结构张量矩阵Q的三个特征值；

步骤3.6，计算图像S₃中每个超像素的纹理特征显著值，继而得到超像素级的纹理特征图S_Texture；

步骤4，构建超像素颜色空间的背景，并依据此背景提取超像素级的颜色特征图S_Color，具体包括如下子步骤：

步骤4.1，对图像S₁进行颜色空间转换，得到像素点在CIELab颜色空间的颜色空间值；

步骤4.2，定义超像素sp_i包含的所有像素点在CIELab颜色空间的颜色空间值的平均值为超像素的颜色空间坐标(L(sp_i),a(sp_i),b(sp_i))；

步骤4.3，将步骤3得到的所有超像素纹理特征显著值中最低的25％～35％部分所对应的超像素集合作为背景，取背景中所有超像素在CIELab颜色空间的颜色空间坐标的平均值作为背景在CIELab颜色空间的坐标B(L_B,a_B,b_B)；

步骤4.4，计算超像素sp_i的颜色空间坐标(L(sp_i),a(sp_i),b(sp_i))与背景在颜色空间的坐标B(L_B,a_B,b_B)之间的欧式距离，该欧式距离即为超像素sp_i的颜色特征显著值；

步骤4.5，计算图像S₃中每个超像素的颜色特征显著值，继而得到颜色特征图S_Color；

步骤5，对纹理特征图S_Texture与颜色特征图S_Color进行特征图融合，得到超像素级显著图S_sp；

步骤6，对超像素级显著图S_sp进行上采样插值处理，得到原始图像尺度下的超像素显著特征值S′_sp(sp_i)，对S′_sp(sp_i)进行超像素级到像素级的显著性映射，获得像素级显著图，即获得感兴趣区域。

进一步地，所述步骤5具体为：

步骤5.1，将图S_Texture与图S_Color进行归一化，得到归一化后的纹理特征图S′_Texture与颜色特征图S′_Color；

步骤5.2，将纹理特征图S′_Texture和颜色特征图S′_Color进行融合，得到超像素级显著图S_sp：S_sp＝S′_Texture·S′_Color。

有益效果：

第一、本发明先将高分辨率图像转换到超像素的较粗尺度，通过生成特征图实现超像素级的区域定位，然后通过超像素级到像素级的显著性映射得到感兴趣区域在原始图像尺度下的精细显著描述。该算法流程仿生人类视觉搜寻中层次化处理的过程，可有效提高感兴趣区域检测算法计算效率。

第二、本发明较已有感兴趣区域检测方法，有更好的边界保持度和更高的计算效率，通过在超像素级对图像进行分析处理，克服了传统基于像素方法的空间结构信息忽略的问题，保证了结果的完整性。

第三、本发明对在图像边缘的感兴趣区域检测具有鲁棒性。本发明通过使用超像素级结构张量模型完成全局显著性的初始化描述，然后在此基础上利用颜色空间背景抑制技术获取剔除复杂背景干扰虚警，完成超像素级的显著性描述，克服了复杂地物背景的影响。整个计算过程对感兴趣区域在图像中所处位置无任何约束条件，可适应于各种位置分布的感兴趣区域检测，克服了现有显著性模型对感兴趣区域分布敏感问题。

第四、本发明中所述技术参数是以资源卫星三号(2.1m地面分辨率)下经大量实验验证获得。经实验验证，所述参数可应用到不限于2.1m地面分辨率的光学遥感图像数据，对于更高分辨率的光学遥感图像同样具有很强的适应性，如2.0m地面分辨率的高分一号光学遥感图像，0.8m地面分辨率的高分二号光学遥感图像等。

附图说明

图1为基于超像素级到像素级层次化显著性分析的遥感图像感兴趣区域检测方法流程示意图；

图2为超像素sp_i与其相邻超像素排列示意图，N_i为超像素sp_i所有相邻超像素的集合。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种光学遥感图像感兴趣区域检测方法，该方法是一个基于人类视觉搜寻启发的由粗到精的检测过程，应用于高分辨率光学遥感图像感兴趣区域检测。如图1所示，首先对原始图像进行降采样，对降采样的结果进行超像素分割，基于以上操作将高分辨率图像转换为较粗尺度图像，然后，在生成的粗尺度图像上通过结构张量与颜色空间背景抑制技术分别获得超像素级的纹理特征图和颜色特征图。随后经过特征图融合及上采样插值得到原始分辨率尺度下的超像素级显著图。最后，通过超像素级到像素级显著性映射，得到像素级显著图，完成感兴趣区域的像素级精确描述。

基于超像素级到像素级层次化显著性分析的遥感图像感兴趣区域检测方法，包括如下6个具体步骤：

步骤1，对原始图像S₀进行降采样，得到图像S₁；

步骤2，对图像S₁进行超像素分割得到粗尺度图像S₃；

步骤3，在生成的粗尺度图像S₃上，构建超像素结构张量矩阵，并依据此矩阵提取超像素级的纹理特征图S_Texture；

步骤4，构建超像素颜色空间的背景，并依据此背景提取超像素级的颜色特征图S_Color；

步骤5，对纹理特征图S_Texture与颜色特征图S_Color进行特征图融合，得到超像素级显著图S_sp；

步骤6，对超像素级显著图S_sp进行上采样插值处理，得到原始图像尺度下的超像素显著特征值S′_sp(sp_i)，对S′_sp(sp_i)进行超像素级到像素级的显著性映射。

上述步骤具体实施过程如下：

步骤1，对原始图像进行降采样：本发明针对的是高分辨率光学图像，该类图像数据量较大，对于某一固定场景的描述中含有丰富的信息，但在该类图像上完成感兴趣区域的检测在较低分辨率尺度下即可获取足够特征信息，并且在原始尺度上进行处理必然会极大地增加计算复杂度。因此，首先对原始的高分辨率图像进行降采样。具体地，实验中对于1～3m地面分辨率1024×1024大小的局部光学遥感图像，可将其降采样至128×128。

步骤2，超像素分割：超像素分割技术通过分析各个像素之间的相似度，将相似度较高、位置临近的一些像素聚合成为一个超像素。超像素分割有graph-based方法、Ncut(normalized cuts)方法、superpixel lattice方法和基于熵率方法等，本发明采用的超像素分割方法为SLIC(Simple Linear Iterative Clustering，简单线性迭代聚类)。SLIC是Achanta等人提出的一种在运行速度、生成超像素的紧凑度、轮廓保持方面表现优异的超像素分割算法，具有超像素数目可控、分割边缘贴合度高的优点。对于128×128大小的图像，SLIC具体的参数为：

●超像素数K：可选取为一个固定值K∈[200,400]；

●最大的颜色距离N_c：N_c＝20；

●迭代次数：10次。

该步骤之后(3)～(5)步骤的操作将都是在超像素级上进行的。

步骤3，基于超像素级结构张量描述的纹理特征图提取，过程如下：

步骤3.1，针对图像S₃中的任意一个超像素sp_i，其内部所有像素点的平均灰度值作为这个超像素的代表值r_i；并将此超像素的形心作为这个超像素的代表坐标(x_i,y_i)；

步骤3.2，计算超像素sp_i在坐标x方向和y方向上的梯度G_x和G_y，为：

其中,N_i为其所有相邻超像素的集合，gx_ij为超像素sp_i与其相邻的超像素sp_j在x方向上的梯度变化量，gy_ij为超像素sp_i与其相邻的超像素sp_j在y方向上的梯度变化量，表达式如下：

步骤3.3，计算超像素与其相邻超像素之间的高斯平滑信息相关量G_g：

其中，N为集合N_i中所包含的超像素个数；

步骤3.4，构建超像素sp_i的结构张量矩阵Q:

步骤3.5，计算超像素sp_i的纹理特征显著值S_Texture(sp_i):

其中，c₁,c₂,c₃为结构张量矩阵Q的三个特征值；

步骤3.6，计算图像S₃中每个超像素的纹理特征显著值S_Texture(sp_i)，继而得到纹理特征图S_Texture。

步骤4，基于超像素颜色空间的背景抑制，提取超像素级的颜色特征图S_Color，过程如下：

步骤4.1，对图像S₁进行颜色空间转换，得到像素点在CIELab颜色空间的颜色空间值(L,a,b)；

步骤4.2，定义超像素sp_i包含的所有像素点在CIELab颜色空间的颜色空间值的平均值作为超像素的颜色空间坐标(L(sp_i),a(sp_i),b(sp_i)):

其中，L_m,a_m,b_m为超像素sp_i所包含的所有像素在CIELab颜色空间值，M_i为超像素sp_i中所包含像素的总数，m为其中的一个像素点；

步骤4.3，将步骤3得到的所有超像素纹理特征显著值中最低的25％～35％部分所对应的超像素集合作为背景，取背景中所有超像素在CIELab颜色空间的颜色空间坐标的平均值作为背景在CIELab颜色空间的坐标B(L_B,a_B,b_B)；

步骤4.4，计算超像素sp_i的颜色空间坐标(L(sp_i),a(sp_i),b(sp_i))与背景B(L_B,a_B,b_B)的欧式距离，该欧式距离即为sp_i的颜色特征显著值S_Color(sp_i):

步骤4.5，计算图像S₃中每个超像素的颜色特征显著值S_Color(sp_i)，继而得到颜色特征图S_Color。

步骤5，特征图融合：将步骤3和步骤4得到的纹理特征图和颜色特征图进行归一化，得到归一化后的纹理特征图S′_Texture与颜色特征图S′_Color，然后进行特征图融合，本发明采用相乘融合的方法，可以有效地解决纹理特征图中显著性区域边缘扩散问题，剔除复杂地物背景干扰，得到超像素级显著图S_sp:

S_sp＝S′_Texture·S′_Color

步骤6，对超像素级显著图进行上采样插值处理，然后进行超像素级到像素级的显著性映射：

步骤6.1，对超像素级显著图S_sp进行上采样插值处理，得到原始图像尺度下的超像素显著图S′_sp；

步骤6.2，参考刘志等人提出的映射方法，采用下式对S′_sp进行超像素级到像素级的显著性映射：

其中，N(p_m)表示像素p_m所在超像素及其所有相邻超像素的集合，bin(p_m)表示像素p_m灰度值经过量化之后所在的量化等级，CH_i为超像素sp_i的灰度直方图。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种光学遥感图像感兴趣区域检测方法，其特征在于，包括如下步骤：

步骤1，对原始图像S₀降采样，得到图像S₁；

步骤2，对图像S₁进行超像素分割得到粗尺度图像S₃；

步骤3，构建超像素结构张量矩阵，并依据此矩阵提取超像素级的纹理特征图S_Texture，具体包括如下子步骤：

步骤3.1，针对图像S₃中的任意一个超像素sp_i，其内部所有像素点的平均灰度值作为这个超像素的代表值r_i；并将超像素sp_i的形心作为这个超像素的代表坐标(x_i,y_i)；

步骤3.2，计算超像素sp_i在x方向和y方向上的梯度G_x和G_y，为：

其中，N_i为超像素sp_i所有相邻超像素的集合，gx_ij为超像素sp_i与其相邻的超像素sp_j在x方向上的梯度变化量，gy_ij为超像素sp_i与其相邻的超像素sp_j在y方向上的梯度变化量，表达式如下：

步骤3.3，计算超像素sp_i与其相邻超像素之间的高斯平滑信息相关量G_g：

其中，N为集合N_i中所包含的超像素个数；

步骤3.4，构建超像素sp_i的结构张量矩阵Q:

步骤3.5，计算超像素sp_i的纹理特征显著值S_Texture(sp_i):

其中，c₁,c₂,c₃为结构张量矩阵Q的三个特征值；

步骤3.6，计算图像S₃中每个超像素的纹理特征显著值，继而得到超像素级的纹理特征图S_Texture；

步骤4，构建超像素颜色空间的背景，并依据此背景提取超像素级的颜色特征图S_Color，具体包括如下子步骤：

步骤4.1，对图像S₁进行颜色空间转换，得到像素点在CIELab颜色空间的颜色空间值；

步骤4.2，定义超像素sp_i包含的所有像素点在CIELab颜色空间的颜色空间值的平均值为超像素的颜色空间坐标(L(sp_i),a(sp_i),b(sp_i))；

步骤4.3，将步骤3得到的所有超像素纹理特征显著值中最低的25％～35％部分所对应的超像素集合作为背景，取背景中所有超像素在CIELab颜色空间的颜色空间坐标的平均值作为背景在CIELab颜色空间的坐标B(L_B,a_B,b_B)；

步骤4.4，计算超像素sp_i的颜色空间坐标(L(sp_i),a(sp_i),b(sp_i))与背景在颜色空间的坐标B(L_B,a_B,b_B)之间的欧式距离，该欧式距离即为超像素sp_i的颜色特征显著值；

步骤4.5，计算图像S₃中每个超像素的颜色特征显著值，继而得到颜色特征图S_Color；

步骤5，对纹理特征图S_Texture与颜色特征图S_Color进行特征图融合，得到超像素级显著图S_sp；

步骤6，对超像素级显著图S_sp进行上采样插值处理，得到原始图像尺度下的超像素显著特征值S′_sp(sp_i)，对S′_sp(sp_i)进行超像素级到像素级的显著性映射，获得像素级显著图，即获得感兴趣区域。

2.如权利要求1所述的光学遥感图像感兴趣区域检测方法，其特征在于，所述步骤5具体为：

步骤5.1，将图S_Texture与图S_Color进行归一化，得到归一化后的纹理特征图S′_Texture与颜色特征图S′_Color；

步骤5.2，将纹理特征图S′_Texture和颜色特征图S′_Color进行融合，得到超像素级显著图S_sp：S_sp＝S′_Texture·S′_Color。