CN105550685A - 基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法 - Google Patents

Abstract

基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法，涉及遥感图像处理技术领域，尤其涉及基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法。本发明为解决现有遥感图像处理技术缺乏在大幅面遥感图像中搜索潜在目标的能力的问题。本发明按以下步骤进行：一、目标及感兴趣区域特性分析；二、基于视觉注意机制的感兴趣区域提取；三、基于自底向上刺激驱动机制的一级感兴趣区域提取；四、基于自顶向下目标驱动机制的二级感兴趣区域提取。本发明在分析目标及感兴趣区域的特性的基础上，引入视觉注意机制心理学模型和计算模型，研究大幅面遥感影像感兴趣区域提取方法。本发明可应用于遥感图像处理技术领域。

Description

基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法

技术领域

本发明涉及遥感图像处理技术领域，尤其涉及基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法。

背景技术

随着卫星分辨率的提高，高分辨率遥感卫星数据幅宽增大、数据量剧增，图像数据量和复杂度的增加使目标自动识别的难度提高，相应的数据处理技术也很难适应实时有效处理的要求；且遥感影像往往以卫星拍摄条带分景管理，数据幅宽可达十几甚至几十公里，数据量达到1GB以上，依靠人工判读效率低，已不能满足应用需求；现有大多数研究方法或实验中所使用的图像幅面较小，研究的前提一般是图像中已经存在需要检测的目标，缺乏在大幅面遥感图像中搜索潜在目标的能力。

为提高遥感图像数据的利用率、提高遥感信息自动化处理的效率和可靠性、增强信息收集能力，本发明在分析目标及感兴趣区域的特性的基础上，引入视觉注意机制心理学模型和计算模型，从人类视觉系统和视觉注意机制入手，研究大幅面遥感影像感兴趣区域提取方法，实现提取过程高效化，为后续目标识别奠定基础。

发明内容

本发明为解决现有遥感图像处理技术缺乏在大幅面遥感图像中搜索潜在目标的能力，而提出基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法。

基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法，按以下步骤进行：

步骤一、目标及感兴趣区域特性分析：

特性分析是感兴趣区域提取(ROI)的基础，目标及感兴趣区域的特性可作为下一级ROI提取的先验知识，通过目标的某几种几何特征的分布密度可反映目标的位置分布情况，故目标及感兴趣区域的特性分析能够很大程度上决定ROI提取的准确性。

目标及感兴趣区域特性分析，分别针对具有规则形状、规律性分布的人造目标，以及形状不规则的自然地物的目标特性进行分析，研究人造目标位置分布规律及感兴趣自然地物区域特性；

步骤二、基于视觉注意机制的感兴趣区域提取：

视觉注意机制是人类从大量外界输入的信息中选择特定感兴趣区域的一个关键技术，即大脑利用眼球1/10秒的速度获取重要信息，忽略不相关的部分的具有选择性和主动性的生理和心理活动。人类视觉系统采取一种串行的计算策略，根据图像特征选择图像特定区域，并通过快速的眼动扫描将该区域移到具有高分辨率的视网膜中央凹区，实现对该区域的注意，来进一步对其进行更精细的观察和分析。

通过对视觉注意机制快速获取图像中的重要部分即感兴趣区域加以详细分析，可大大提高数据的处理效率，本发明基于这种思想，将视觉注意机制计算模型应用于工程中，最终实现了基于视觉注意机制的感兴趣区域提取。

典型的视觉注意机制计算模型，包括Itti模型、基于傅里叶变换的残留谱方法(SR)和全局直方图对比度模型(HC)；

步骤三、基于自底向上刺激驱动机制的一级感兴趣区域提取：

根据步骤二的分析，针对HC模型纹理敏感性过高的缺点，在HC模型的基础上提出多层重滤波颜色直方图对比度显著性检测算法；

步骤三(一)、进行N层高斯重滤波；

步骤三(二)、利用全局直方图对比度模型提取N幅显著图，对应像素值相乘得到合成HC显著图；

步骤三(三)、显著图二值化；

步骤三(四)、超像素分割，实现一级感兴趣区域提取；

步骤四、基于自顶向下目标驱动机制的二级感兴趣区域提取：

对于大幅面遥感影像，由于其大数据量及高复杂度，一级感兴趣区域提取远远不能满足提取的要求，利用步骤一中分析得出的区域特性，采用基于自顶向下目标驱动机制的二级感兴趣区域提取算法；

步骤四(一)、对步骤三所得一级感兴趣区域进行连通区域标记，对标号图像计算圆形度和矩形度，保留满足条件的区域；

步骤四(二)、采用基于自顶向下目标驱动机制的二级感兴趣区域提取算法，计算重心密度分布图，得到二级感兴趣区域。

本发明包括以下有益效果：

1、本发明在分析目标及感兴趣区域的特性的基础上，引入视觉注意机制心理学模型和计算模型，从人类视觉系统和视觉注意机制入手，研究大幅面遥感影像感兴趣区域提取方法，实现提取过程高效化，为后续目标识别奠定基础；

2、本发明结合自底向上和自顶向下的两种视觉注意机制，实现了大幅面高分辨率遥感影像目标感兴趣区域的提取。

附图说明

图1为1024×1024像素图像不同算法显著图对比图；

图2为2048×2048像素图像不同算法显著图对比图；

图3为Itti、SR、HC三种算法时间复杂度对比图；

图4为感兴趣目标区域提取整体流程图；

图5为油库目标分布特性提取结果示意图；

图6为居民区目标分布特性提取结果示意图；

图7为油库目标感兴趣区域提取结果1示意图；

图8为油库目标感兴趣区域提取结果2示意图；

图9为居民区感兴趣区域提取结果1示意图；

图10为居民区感兴趣区域提取结果2示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合图1至10和具体实施方式对本发明作进一步详细的说明。

具体实施方式一、本实施方式所述的基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法，按以下步骤进行：

步骤一、目标及感兴趣区域特性分析：

特性分析是感兴趣区域提取(ROI)的基础，目标及感兴趣区域的特性可作为下一级ROI提取的先验知识，通过目标的某几种几何特征的分布密度可反映目标的位置分布情况，故目标及感兴趣区域的特性分析能够很大程度上决定ROI提取的准确性。

目标及感兴趣区域特性分析，分别针对具有规则形状、规律性分布的人造目标，以及形状不规则的自然地物的目标特性进行分析，研究人造目标位置分布规律及感兴趣自然地物区域特性；

步骤二、基于视觉注意机制的感兴趣区域提取：

视觉注意机制是人类从大量外界输入的信息中选择特定感兴趣区域的一个关键技术，即大脑利用眼球1/10秒的速度获取重要信息，忽略不相关的部分的具有选择性和主动性的生理和心理活动。人类视觉系统采取一种串行的计算策略，根据图像特征选择图像特定区域，并通过快速的眼动扫描将该区域移到具有高分辨率的视网膜中央凹区，实现对该区域的注意，来进一步对其进行更精细的观察和分析。

通过对视觉注意机制快速获取图像中的重要部分即感兴趣区域加以详细分析，可大大提高数据的处理效率，本发明基于这种思想，将视觉注意机制计算模型应用于工程中，最终实现了基于视觉注意机制的感兴趣区域提取。

典型的视觉注意机制计算模型，包括Itti模型、基于傅里叶变换的残留谱方法(SR)和全局直方图对比度模型(HC)；

步骤三、基于自底向上刺激驱动机制的一级感兴趣区域提取：

根据步骤二的分析，针对HC模型纹理敏感性过高的缺点，在HC模型的基础上提出多层重滤波颜色直方图对比度显著性检测算法；

步骤三(一)、进行N层高斯重滤波；

步骤三(二)、利用全局直方图对比度模型提取N幅显著图，对应像素值相乘得到合成HC显著图；

步骤三(三)、显著图二值化；

步骤三(四)、超像素分割，实现一级感兴趣区域提取；

步骤四、基于自顶向下目标驱动机制的二级感兴趣区域提取：

对于大幅面遥感影像，由于其大数据量及高复杂度，一级感兴趣区域提取远远不能满足提取的要求，利用步骤一中分析得出的区域特性，采用基于自顶向下目标驱动机制的二级感兴趣区域提取算法；

步骤四(一)、对步骤三所得一级感兴趣区域进行连通区域标记，对标号图像计算圆形度和矩形度，保留满足条件的区域；

步骤四(二)、采用基于自顶向下目标驱动机制的二级感兴趣区域提取算法，计算重心密度分布图，得到二级感兴趣区域。

本实施方式包括以下有益效果：

1、本实施方式在分析目标及感兴趣区域的特性的基础上，引入视觉注意机制心理学模型和计算模型，从人类视觉系统和视觉注意机制入手，研究大幅面遥感影像感兴趣区域提取方法，实现提取过程高效化，为后续目标识别奠定基础；

2、本实施方式结合自底向上和自顶向下的两种视觉注意机制，实现了大幅面高分辨率遥感影像目标感兴趣区域的提取。

具体实施方式二、本实施方式是对具体实施方式一所述的基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法的进一步说明，步骤一中所述针对具有规则形状、规律性分布的人造目标，以及形状不规则的自然地物的目标特性进行分析时常用几何参数有：①圆形度C₁

C₁＝P²/A₀(1)

其中，P是物体的周长，A₀是物体的面积，当物体为圆形时，圆形度取最小值4π，形状越复杂取值越大；

②体态比C₂

C₂＝W/L(2)

其中，W是物体最小外接矩形的宽，L是物体最小外接矩形的长，当物体为正方形或圆形时，体态比为1；

③矩形度C₃

C₃＝A₀/A_R(3)

其中，A₀为物体的面积，A_R为其最小外接矩形的面积；

④目标重心坐标

重心坐标由该区域所有像素点坐标(x_i,y_i)平均得到：

$\begin{array}{cc}{x}_c=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{x}_i,& y_c=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{y}_i---\left(4\right)\end{array}$

⑤重心密度分布曲面

$E(x,y)=\underset{x_0=x-m}{\overset{x+m}{\Σ}}\underset{y_0=y-m}{\overset{y+m}{\Σ}}L(x_0,y_0)---\left(5\right)$

其中L(x₀,y₀)为重心分布图，公式含义为：对图像逐像素点计算m×m邻域范围内的目标重心累加值，m的取值需根据目标的普遍面积大小确定。

具体实施方式三、本实施方式是对具体实施方式一或二所述的基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法的进一步说明，步骤二中所述Itti模型对输入图像I(x,y)采用高斯金字塔G(x,y,σ)在不同层次上进行非均匀采样，定义如下：

$R(x,y,\mathrm{\σ})=I(x,y)\⊗G(x,y,\mathrm{\σ})---\left(6\right)$

其中，为卷积运算符；

图像亮度及原图像红、绿、蓝、黄颜色通道上的分量表示为：

$I\left(x\right)=\frac{r\left(x\right)+g\left(x\right)+b\left(x\right)}{3}$

R(x)＝r(x)-(g(x)+b(x))/2

G(x)＝g(x)-(r(x)+b(x))/2(7)

B(x)＝b(x)-(r(x)+g(x))/2

Y(x)＝(r+g)/2-|r(x)-g(x)|/2-b(x)

其中，I(x)为图像亮度，R(x)为红色通道上的分量，G(x)为绿色通道上的分量，B(x)为蓝色通道上的分量，Y(x)为黄色通道上的分量；

利用中心c和周边s的高斯差分计算图像的特征显著度，符号表示中央c和周边s差计算，则亮度特征图：

颜色特征图：

方向特征图：

其中θ∈{0°,45°,90°,135°}；

对特征关注图进行归一化，然后再合并生成显著图。

具体实施方式四、本实施方式是对具体实施方式一或二所述的基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法的进一步说明，步骤二中所述基于傅里叶变换的残留谱方法认为图像信息由先验信息和新颖信息两部分组成，其中新颖信息可视为图像的显著图；

SR方法在傅里叶频谱的幅度A(f)的对数谱上进行计算，图像总信息为：

L(f)＝log(A(f))(11)

L(f)通过低通滤波器h_n(f)，得B(f)：

B(f)＝h_n(f)*L(f)

经研究发现几乎所有B(f)都是类似的，故将B(f)看作图像先验信息，L(f)与B(f)的差值为残留谱R(f)，即为图像新颖信息：

R(f)＝L(f)-h_n(f)*L(f)(13)

根据R(f)和相位谱P(f)，进行傅里叶逆变换得视觉显著图S(x)：

S(x)＝G(x)|F^-1[exp(R(f)+P(f))]|²(14)

其中G(x)为高斯平滑滤波器。

具体实施方式五、本实施方式是对具体实施方式一或二所述的基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法的进一步说明，步骤二中所述全局直方图对比度模型：

用输入图像每个像素的颜色与图像其它像素颜色的对比来表示显著性，即用每个像素的统计来确定其显著值：

$S\left(I_k\right)=\underset{i=1}{\overset{N}{\Σ}}D(I_k,I_i)---\left(15\right)$

其中N为图像的像素个数，D(I_k,I_i)为像素I_k和I_i的颜色距离，需在Lab颜色空间上进行计算：

$D(I_k,I_i)=\sqrt{{(L_k-L_i)}^2+{(a_k-a_i)}^2+{(b_k-b_i)}^2}---\left(16\right)$

将相同颜色的像素组成一组，则每种颜色显著值为：

$S\left(I_k\right)=S\left(c_l\right)=\underset{j=1}{\overset{n}{\Σ}}{f}_{j}D\left(c_{l,}{c}_j\right)---\left(17\right)$

其中c_l为像素I_k的颜色值，n为不同颜色数目，f_j为颜色值c_j在图像中出现的频率。

具体实施方式六、本实施方式是对具体实施方式一至四之一所述的基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法的进一步说明，步骤三中所述针基于自底向上刺激驱动机制的一级ROI提取方法：

针对HC算法纹理敏感性过高的缺点，在HC算法基础之上提出多层重滤波颜色直方图对比度显著性检测算法：

设定一高斯模板对原始图像进行滤波，改变滤波次数，可以生成若干幅图像，相比于改变高斯模板参数，改变滤波次数更简便，可控性好；

原始图像I₀经过N₁…N_n次高斯滤波后的图像为I₁…I_n，然后对生成的每幅图像进行HC显著性计算，对应的HC显著图H_k可表示为

H_k＝SM_HC(I_k)，k＝0,1,2,...,n(18)

其中，SM_HC为HC显著性检测算子。

将最终的合成显著图定义为：

S＝H₀*H₁*...*H_n(19)

式中(*)为矩阵对应元素相乘。

实验发现，三层重滤波合成的显著图可以达到足够好的检测效果。当采用三层重滤波时，滤波次数N₁、N₂的选择要结合目标尺寸，背景纹理及图像分辨率综合考虑，优先考虑目标尺寸，最高滤波次数N_max以不破坏目标可见性为最低标准，其次考虑背景纹理，若背景纹理性弱，可适当降低滤波次数，若背景纹理性强，可适当提高滤波次数。这一过程要求在不破坏目标可见性及能较有效去除纹理的前题下尽可能降低滤波次数，以保证目标的清晰度。

超像素分割的目的是去除显著性低的区域，保留显著性高的区域。该方法将若干个实际像素组成的一个正方形区域作为一个超像素。得到二值图像后，每个超像素中所含值为1的像素个数定义为超像素重W，将超像素重W小于W₀的超像素舍去，剩余部分即一级ROI，超像素重阈值W₀的设定由目标在原始图像中所占像素个数决定。

具体实施方式七、本实施方式是对具体实施方式一至四之一所述的基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法的进一步说明，步骤四(二)中所述基于自顶向下目标驱动机制的二级ROI提取方法：目标的分布特性作为先验知识进行自顶向下的提取，重心密度分布图通过一个n×n的全1模板与重心分布图卷积得到，模板的大小至少覆盖若干个目标个体，故卷积得到的每个像素的值即为该像素周围n×n大小区域内所包含满足几何条件的连通域个数，然后对所提取区域进行基于重心密度分布的显著性检测，从而实现大幅面遥感影像感兴趣区域的提取。

具体实施方式八、本实施方式以人工地物中的油库与居民区这两类集群类目标为例，对本发明作进一步详细的说明。

一、目标及感兴趣区域特性分析：

油库、居民区等团块目标为人工目标，几何特性明显区别于自然地物，且分布具有很强的规律性，表1描述了油库目标感兴趣区域特性，表2描述了居民区目标感兴趣区域特性；

表1油库目标感兴趣区域特性

表2居民区目标感兴趣区域特性

油库在几何形状上为圆形，若采用圆形度来提取物体几何特征，由于取物体周长P的计算量比较大，而采用体态比和矩形度的计算量比较小，故利用体态比和矩形度相结合的方式确定物体几何特征更为合理。

居民区在几何形状和方位朝向上规律性不是很强，若以居民区的几何形状和方位朝向为依据提取感兴趣区域，算法复杂度会相应增加，由于居民区块状房屋分布更为集中，重心分布密度较大，又因为目标重心坐标的计算比目标外接矩形的重心坐标计算复杂，块状目标的重心与其外接矩形的重心偏差不大，所以以落在一定大小范围内的块状目标外接矩形的重心分布密度直接作为依据进行感兴趣区域提取，会有效提高提取效率。

二、干扰区域几何特性分析及鉴别：

人工地物中的油库与居民区这两类集群类目标在一定程度上互为干扰区域。居民区的建筑物占地面积比工业园区的建筑物小，但一些非居民区大型建筑的非平整顶部局部会形成面积较小的高颜色显著性区域，给居民区目标造成干扰。城市中的居民区一般与商业区相邻，同为城市建筑物，商业区的存在会给居民区的提取造成一定的干扰。表3、表4和表5比较了目标区域及干扰区域的相同点和不同点。

表3油库与化工原料罐特性分析

表4居民区与非居民区大型建筑非平整顶部特性分析

表5城市居民区与商业区特性分析

三、感兴趣自然地物区域特性分析：

不同于上节分析的通常具有规则形状或分布的人造地物，如建筑物通常呈方形或长方形，道路呈线形，而自然地物通常没有特定的形状。

以水体为例，遥感影像中水体的特性主要取决于其光谱特征。水体的反射特性主要由水体中混合物质成分和水体的状态、水面的入射辐射、表面粗糙度、日照角与观测角度、气-水界面的相对折射率等主要因素有关。在可见光波段0.6μm之前，水的吸收率和反射率都很低，透射量很大，反射率仅为入射能量的5％左右，并随着太阳高度的变化呈3％～10％不等的变化。在蓝-绿光波段反射率为4％～5％，0.6μm以下的红光部分反射率降到2％～3％。水体表面的平静或者光滑程度不同，其反射率也不同。纯净且平静的水体反射率非常低，但是波浪会使得该水体的局部具有很高的反射率，其图像的直接表现是局部发亮即具有很高的亮度。水体泥沙含量不同其反射率也不同，随着浊水浑浊度的增加，水体在整个可见光谱段的反射亮度都会增加，水体由暗变得越来越明亮。然而在不同分辨率下，其特性基本保持不变。

四、基于视觉注意机制的感兴趣区域提取：

视觉注意机制是人类从大量外界输入的信息中选择特定感兴趣区域的一个关键技术，即大脑利用眼球1/10秒的速度获取重要信息，忽略不相关的部分的具有选择性和主动性的生理和心理活动。人类视觉系统采取一种串行的计算策略，根据图像特征选择图像特定区域，并通过快速的眼动扫描将该区域移到具有高分辨率的视网膜中央凹区，实现对该区域的注意，来进一步对其进行更精细的观察和分析。

过视觉注意机制快速获取图像中的重要部分即感兴趣区域加以详细分析，可大大提高数据的处理效率，本发明基于这种思想，将视觉注意机制的心理学模型的计算模型应用于工程中，最终实现了基于视觉注意机制的ROI提取。

视觉注意机制典型模型，包括包括Itti模型、基于傅里叶变换的残留谱方法(SR)和全局直方图对比度模型(HC)；

为比较Itti、SR和HC三种不同算法生成的显著图的效果，分别对大小为1024×1024及2048×2048的图像进行处理，见图1和图2；

并且对Itti、SR和HC三种不同算法时间复杂度进行了对比，见图3；

Itti、SR和HC三种不同算法模型优缺点比较，如表6所示；

表6Itti、SR、HC三种算法模型比较

五、目标感兴趣区域提取：

对大幅面遥感影像目标感兴趣区域的提取既要保证提取区域有效又要权衡算法复杂度，本发明针对油库及居民区两种人造集群目标以及以水体为例的自然地物，结合自底向上刺激驱动及自顶向下的目标驱动两种视觉注意机制，设计出完整的大幅面遥感影像目标感兴趣区域提取方法，整体思路如图4所示。

(1)基于自底向上刺激驱动机制的一级ROI提取：

针对HC算法纹理敏感性过高的缺点，本发明在HC算法基础之上提出多层重滤波颜色直方图对比度显著性检测算法(MultipleHistogramContrast,MHC)。

首先我们设定一个高斯模板对原始图像进行滤波，改变滤波次数，可以生成若干幅图像，相比于改变高斯模板参数，改变滤波次数更简便，可控性好。

原始图像I₀经过N₁…N_n次高斯滤波后的图像为I₁…I_n，然后对生成的每幅图像进行HC显著性计算，对应的HC显著图H_k可表示为

H_k＝SM_HC(I_k)，k＝0,1,2,...,n(18)

其中，SM_HC为HC显著性检测算子。

将最终的合成显著图定义为：

S＝H₀*H₁*...*H_n(19)

式中(*)为矩阵对应元素相乘的运算符。

实验发现，三层重滤波合成的显著图可以达到足够好的检测效果。当采用三层重滤波时，滤波次数N₁、N₂的选择要结合目标尺寸，背景纹理及图像分辨率综合考虑，优先考虑目标尺寸，最高滤波次数N_max以不破坏目标可见性为最低标准，其次考虑背景纹理，若背景纹理性弱，可适当降低滤波次数，若背景纹理性强，可适当提高滤波次数。这一过程要求在不破坏目标可见性及能较有效去除纹理的前题下尽可能降低滤波次数，以保证目标的清晰度。

超像素分割的目的是去除显著性低的区域，保留显著性高的区域。该方法将若干个实际像素组成的一个正方形区域作为一个超像素。得到二值图像后，每个超像素中所含值为1的像素个数定义为超像素重W，将超像素重W小于W₀的超像素舍去，剩余部分即一级ROI，超像素重阈值W₀的设定由目标在原始图像中所占像素个数决定。

(2)基于自顶向下目标驱动机制的二级ROI提取：

依据目标几何特性对目标进行初步基于自顶向下机制的二级ROI提取，而后对所提取区域进行基于重心密度分布的显著性检测。

该部分提取以目标的分布特性作为先验知识进行自顶向下的提取，重心密度分布图通过一个n×n的全1模板与重心分布图卷积得到，模板的大小至少能覆盖若干个目标个体，故卷积得到的每个像素的值即为该像素周围n×n大小区域内所包含满足几何条件的连通域个数。

对于油库目标的模板大小及重心密度阈值设定，由于油罐这类特殊建筑在几何特性提取之后就能得到可靠性较高的连通域，油库中可能会存在成像效果不好的油罐在几何特性提取过程中被遗漏，且油库中可能会有个别油罐脱离阵列分布，所以在模板大小固定的情况下重心密度阈值应当偏低一些才能把整个油库划在感兴趣区域内。重心密度设为3或4为宜，此时当模板完全覆盖油库时应包含10个油罐，每个油罐直径取20m，油罐外接矩形占地面积大约占油罐阵列的1/4，故10个油管组成的阵列面积应约为64000m²，近似为256m×256m方块，即模板边长l为：

$l=\frac{256}{a}---\left(20\right)$

式中a为图像空间分辨率。

如一幅图像分辨率为0.5米，设重心密度阈值为3，则模板大小为512×512像素，得到的重心密度分布显著图及油库二级ROI如图5所示。

若一幅图中居民区中建筑物大约占m像素，居民区建筑占地面积大约为居民区的1/4，当使用n×n的模板，模板全部覆盖居民区时模板内应包含的目标个数为：

$N=\frac{n\×n}{4m}---\left(21\right)$

如一幅图中居民区建筑大约占700像素，使用大小为256×256的模板，得到的重心密度分布显著图和提取到的居民区二级ROI如图6所示。

六、结果及分析：

(1)油库目标感兴趣区域提取结果：

用于提取油库目标感兴趣区域的遥感数据分别为大小为30636×9724、像素分辨率0.5米的国情地理普查彩色图像，和大小为13348×17999、像素分辨率为2米的GF-1大连全色图像，油库目标感兴趣区域提取结果如图7、图8所示。

提取结果用查准率P(PrecisionRatio)和查全率R(RecallRatio)进行评价：

$P=\frac{S}{S_{sum}}---\left(22\right)$

$R=\frac{S}{S_{roi}}---\left(23\right)$

式中，S为提取到的正确目标感兴趣区域面积，S_sum为提取到的全部感兴趣区域面积，S_roi为图像中所有目标感兴趣区域面积，则虚警面积即过提取区域面积为S_f＝S_sum-S。

油库目标感兴趣区域提取结果分析，见表7；

表7油库目标感兴趣区域提取结果分析

结果1是由高分辨率彩色图像提取得到，而结果2是由高分辨率全色图像提取得到，由于颜色信息缺失、图像成像角度倾斜、阴影影响，从而导致全色图像中的油库中的油罐提取不够全面、召回率偏低。

(2)居民区感兴趣区域提取结果：

用于居民区感兴趣区域提取的遥感数据分别为大小为16102×10458、空间分辨率为0.5米的国情地理普查彩色图像，以及由QuickBird获取的大小为8348×8348、空间分辨率为2.4米的Pavia多光谱图像。国情地理普查彩色图像中居民区为散落在郊区的集群状村落，帕维亚图像中居民区为分布在市中心周边的大小均匀排列较整齐的小型建筑群。居民区感兴趣区域提取结果如图9、图10所示，居民区感兴趣区域提取结果分析，见表8；

表8居民区感兴趣区域提取结果分析

结果1和结果2的准确率和召回率都在90％以上，达到了较好的提取效果。本发明在一级ROI提取过程中基于HC算法提出了纹理敏感性低的MHC算法，既较完整地保留了目标信息又抑制了纹理的干扰，同时利用超像素的思想排除一级处理后显著性低的区域。算法具有较强的适应性和灵活性，在对不同的目标进行提取时，只需对二级ROI提取进行调整。

Claims (7)

1.基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法，其特征在于它按以下步骤进行：

步骤一、目标及感兴趣区域特性分析：

针对具有规则形状、规律性分布的人造目标，以及形状不规则的自然地物的目标特性进行分析，研究人造目标位置分布规律及感兴趣自然地物区域特性；

步骤二、基于典型视觉注意机制计算模型的感兴趣区域提取：

将视觉注意机制计算模型应用于工程中，最终实现基于视觉注意机制的ROI提取；其中视觉注意机制计算模型，包括Itti模型、基于傅里叶变换的残留谱方法，即SR方法和全局直方图对比度模型，即HC模型，并分析各自优缺点；

步骤三、基于自底向上刺激驱动机制的一级感兴趣区域提取：

根据步骤二的分析，针对HC模型纹理敏感性过高的缺点，在HC模型的基础上提出多层重滤波颜色直方图对比度显著性检测算法；

步骤三(一)、进行N层高斯重滤波；

步骤三(二)、利用全局直方图对比度模型提取N幅显著图，对应像素值相乘得到合成HC显著图；

步骤三(三)、显著图二值化；

步骤三(四)、超像素分割，实现一级感兴趣区域提取；

步骤四、基于自顶向下目标驱动机制的二级感兴趣区域提取：

利用步骤一中分析得出的区域特性，采用基于自顶向下目标驱动机制的二级感兴趣区域提取算法；

步骤四(一)、对步骤三所得一级感兴趣区域进行连通区域标记，对标号图像计算圆形度和矩形度，保留满足条件的区域；

步骤四(二)、采用基于自顶向下目标驱动机制的二级感兴趣区域提取算法，计算重心密度分布图，得到二级感兴趣区域。

2.如权利要求1所述的基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法，其特征在于步骤一中所述针对具有规则形状、规律性分布的人造目标，以及形状不规则的自然地物的目标特性进行分析时几何参数有：①圆形度C₁

C₁＝P²/A₀(1)

其中，P是物体的周长，A₀是物体的面积，当物体为圆形时，圆形度取最小值4π，形状越复杂取值越大；

②体态比C₂

C₂＝W/L(2)

其中，W是物体最小外接矩形的宽，L是物体最小外接矩形的长，当物体为正方形或圆形时，体态比为1；

③矩形度C₃

C₃＝A₀/A_R(3)

其中，A₀为物体的面积，A_R为其最小外接矩形的面积；

④目标重心坐标

重心坐标由该区域所有像素点坐标(x_i,y_i)平均得到：

$\begin{array}{cc}{x}_c=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{x}_i,& y_c=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{y}_i\end{array}---\left(4\right)$

⑤重心密度分布曲面

$E(x,y)=\underset{x_0=x-m}{\overset{x+m}{\Σ}}\underset{y_0=y-m}{\overset{y+m}{\Σ}}L(x_0,y_0)---\left(5\right)$

其中L(x₀,y₀)为重心分布图，公式含义为：对图像逐像素点计算m×m邻域范围内的目标重心累加值，m的取值需根据目标的普遍面积大小确定。

3.如权利要求1或2所述的基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法，其特征在于步骤二中所述Itti模型对输入图像I(x,y)采用高斯金字塔G(x,y,σ)在不同层次上进行非均匀采样，定义如下：

$R(x,y,\mathrm{\σ})=I(x,y)\⊗G(x,y,\mathrm{\σ})---\left(6\right)$

其中，为卷积运算符；

图像亮度及原图像红、绿、蓝、黄颜色通道上的分量表示为：

$I\left(x\right)=\frac{r\left(x\right)+g\left(x\right)+b\left(x\right)}{3}$

R(x)＝r(x)-(g(x)+b(x))/2

G(x)＝g(x)-(r(x)+b(x))/2(7)

B(x)＝b(x)-(r(x)+g(x))/2

Y(x)＝(r+g)/2-|r(x)-g(x)|/2-b(x)

其中，I(x)为图像亮度，R(x)为红色通道上的分量，G(x)为绿色通道上的分量，B(x)为蓝色通道上的分量，Y(x)为黄色通道上的分量；

利用中心c和周边s的高斯差分计算图像的特征显著度，符号表示中央c和周边s差计算，则亮度特征图：

颜色特征图：

方向特征图：

其中θ∈{0°,45°,90°,135°}；

对特征关注图进行归一化，然后再合并生成显著图。

4.如权利要求3所述的基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法，其特征在于步骤二中所述基于傅里叶变换的残留谱方法认为图像信息由先验信息和新颖信息两部分组成，其中新颖信息可视为图像的显著图；

SR方法在傅里叶频谱的幅度A(f)的对数谱上进行计算，图像总信息为：

L(f)＝log(A(f))(11)

L(f)通过低通滤波器h_n(f)，得B(f)：

B(f)＝h_n(f)×L(f)

将B(f)看作图像先验信息，L(f)与B(f)的差值为残留谱R(f)，即为图像新颖信息：

R(f)＝L(f)-h_n(f)×L(f)(13)

根据R(f)和相位谱P(f)，进行傅里叶逆变换得视觉显著图S(x)：

S(x)＝G(x)|F^-1[exp(R(f)+P(f))]|²(14)

其中G(x)为高斯平滑滤波器。

5.如权利要求4所述的基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法，其特征在于步骤二中所述全局直方图对比度模型：

用输入图像每个像素的颜色与图像其它像素颜色的对比来表示显著性，即用每个像素的统计来确定其显著值：

$S\left(I_k\right)=\underset{i=1}{\overset{N}{\Σ}}D(I_k,I_i)---\left(15\right)$

其中N为图像的像素个数，D(I_k,I_i)为像素I_k和I_i的颜色距离，需在Lab颜色空间上进行计算：

$D(I_k,I_i)=\sqrt{{(L_k-L_i)}^2+{(a_k-a_i)}^2+{(b_k-b_i)}^2}---\left(16\right)$

将相同颜色的像素组成一组，则每种颜色显著值为：

$S\left(I_k\right)=S\left(c_l\right)=\underset{j=1}{\overset{n}{\Σ}}{f}_{j}D\left(c_{l,}{c}_j\right)---\left(17\right)$

其中c_l为像素I_k的颜色值，n为不同颜色数目，f_j为颜色值c_j在图像中出现的频率。

6.如权利要求5所述的基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法，其特征在于步骤三中所述针基于自底向上刺激驱动机制的一级感兴趣区域提取方法：

针对HC算法纹理敏感性过高的缺点，在HC算法基础之上提出多层重滤波颜色直方图对比度显著性检测算法：

设定一高斯模板对原始图像进行滤波，改变滤波次数，可以生成若干幅图像，相比于改变高斯模板参数，改变滤波次数更简便，可控性好；

原始图像I₀经过N₁…N_n次高斯滤波后的图像为I₁…I_n，然后对生成的每幅图像进行HC显著性计算，对应的HC显著图H_k可表示为

H_k＝SM_HC(I_k)，k＝0,1,2,...,n(18)

其中，SM_HC为HC显著性检测算子。

将最终的合成显著图定义为：

S＝H₀*H₁*...*H_n(19)

式中(*)为矩阵对应元素相乘的运算符。

7.如权利要求6所述的基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法，其特征在于骤四(二)中所述基于自顶向下目标驱动机制的二级感兴趣区域提取方法：将目标的分布特性作为先验知识进行自顶向下的提取，重心密度分布图通过一个n×n的全1模板与重心分布图卷积得到，模板的大小至少能覆盖若干个目标个体，故卷积得到的每个像素值即为该像素周围n×n大小区域内所包含满足几何条件的连通域个数，然后对所提取区域进行基于重心密度分布的显著性检测，从而实现大幅面遥感影像感兴趣区域的提取。