CN107767400A - 基于层次化显著性分析的遥感图像序列动目标检测方法 - Google Patents

Abstract

本发明提供一种基于层次化显著性分析的遥感图像序列动目标检测方法，具体过程为：首先，采用基于运动补偿的双模单高斯模型，在全局的尺度上提取时域显著性信息，得到时域显著图；从时域显著图中粗提取运动区域，作为候选区域；其次，在所述候选区域的基础上，分别在像素级和超像素级进行空间域的显著性分析，得到空域显著图；最后，将得到的全局时域显著图和局部空域显著图进行线性融合，得到时空显著图，通过阈值分割得到运动目标检测的结果。该方法能够对于运动目标完成由粗尺度快速定位到精细尺度下的精确描述，可有效提高运动目标检测算法计算效率。

Description

基于层次化显著性分析的遥感图像序列动目标检测方法

技术领域

本发明属于遥感图像处理技术领域，具体涉及一种基于层次化显著性分析的遥感图像序列动目标检测方法。

背景技术

遥感图像序列中运动目标的自动检测，是遥感领域中比较重要的研究方向之一。近年来随着无人机技术的发展，无人机被越来越多地应用于遥感领域，如地质灾害调查、农业作物检测等。相比于卫星遥感技术，无人机遥感技术具有成本低、高时效性的优点，可携带多种传感器、对感兴趣区域进行持续观测，获取大量的动态遥感数据。快速、准确地从这些遥感数据中提取出运动目标的信息，是无人机动态遥感信息处理的基本任务，也是高级遥感应用(如目标跟踪、物体识别和分类等)的基础。无人机遥感平台最大的特点是观测平台的运动导致背景运动，如何有效地区分背景运动和目标运动，并且准确地描述运动目标，是无人机遥感数据动目标检测面临的挑战。

目前针对运动观测平台的动目标检测方法大致可分为三类：(1)光流法，通过描述光流来分析像素点的运动状态，进而分析整个场景的运动状态，再对运动目标加以区分；(2)基于运动补偿的方法，对背景进行运动估计和运动补偿，将运动背景转换为静态背景进行运动目标检测；(3)基于时空显著性的方法，通过显著性分析，结合图像序列的时间域、空间域显著性，得到时空显著图进行运动目标检测。

光流是空间中运动场在观测平面上的投影，可以反应一定时间间隔内的像素点的运动信息；而运动目标会呈现和背景的相区别运动状态。以此为基础，光流法从光流场出发提取运动目标。但光流场的计算量较大，实时性差；并且光流对于光照变化、噪声干扰十分敏感，容易产生较大误差；光流法并没有考虑运动目标的空间信息，导致检测精确度较低，难以获得完整的目标轮廓。

基于运动补偿的方法将运动平台下的动目标检测问题，视为静态观测下的动目标检测问题的延伸。通过一定的运动补偿手段，如图像配准，消除背景运动的影响，再使用静态观测下的动目标检测方法。但是引入运动补偿过程会增大整体的运算量，并且会不可避免地引入匹配误差，影响最终的检测结果，降低方法的整体性能。

显著性检测是从图像或视频中自动提取视觉显著区域的技术，是近些年来计算机视觉领域研究的热点之一。时空显著性在传统空间域显著性的基础上，结合时间域信息实现时空显著性检测，是动目标检测算法研究的新思路，受到了较为广泛的研究，出现了大量基于不同原理的时空显著性模型。然而，时空显著性模型通常存在模型复杂度和最终检测效果之间的矛盾：复杂的模型检测效果较好，但计算耗时；简单模型能够满足实时性要求，但检测效果较差。

在针对运动观测平台的运动目标检测方法中，光流法和基于运动补偿的方法通常无法满足一定的实时性要求，并且对于目标空间域信息的利用不足，导致最终的检测结果准确度较低；基于时空显著性的方法是运动目标检测的新思路，能够综合利用时空显著性，提升检测效果，但是通常存在模型复杂度和检测效果矛盾。

发明内容

有鉴于此，本发明提出一种基于层次化显著性分析的遥感图像序列动目标检测方法，该方法能够对于运动目标完成由粗尺度快速定位到精细尺度下的精确描述，可有效提高运动目标检测算法计算效率。

为了解决上述技术问题，本发明是这样实现的：

一种基于层次化显著性分析的遥感图像序列动目标检测方法，具体过程为：

首先，采用基于运动补偿的双模单高斯模型，在全局的尺度上提取时域显著性信息，得到时域显著图；从时域显著图中粗提取运动区域，作为候选区域；

其次，在所述候选区域的基础上，分别在像素级和超像素级进行空间域的显著性分析，得到空域显著图；

最后，将得到的全局时域显著图和局部空域显著图进行线性融合，得到时空显著图，通过阈值分割得到运动目标检测的结果。

进一步地，本发明在运动目标检测结果的基础上，引入轨迹级分析，进一步剔除虚警并保存运动目标信息。

进一步地，本发明将得到的全局时域显著图和局部空域显著图进行归一化，然后采用线性加权融合的方式，得到时空显著图S_{spatiotemporal}，

S_{spatiotemporal}＝w₁S_temporal+w₂S_region+w₃S_pixel

其中w₁，w₂和w₃为权重因子，S_temporal为全局时域显著图，S_region和S_pixel为超像素级和像素级局部空域显著图。

进一步地，本发明在超像素级进行空间域显著性分析，得到超像素的区域级局部空域显著图S_region；

其中，M为区域内超像素的个数；f_area为超像素的区域权重；D_C为超像素i和j之间的颜色直方图h_i和h_j之间的差异，通过计算颜色直方图之间的欧式距离得到：

D_C(i,j)＝||h_i-h_j||

f_spatial为基于中心优先原则的空间分布权重因子，中心优先原则规定越靠近区域中心的超像素其权重越高，计算方式如下：

其中，和分别为超像素i在整个区域内的中心距离因子和边界距离因子，计算方式如下：

其中，W和H分别是区域的宽度和高度；(x_c,y_c)是区域的中心坐标；B_l，B_r，B_t，B_b分别是超像素i的左，右，上，下的边界坐标。

进一步地，本发明在超像素级进行空间域显著性分析，得到超像素的区域级局部空域显著图S_pixel；

其中，是超像素级显著性计算中显著性最低的超像素在CIELab颜色空间中的平均颜色向量，是颜色特征向量经过5×5高斯模糊函数处理后的结果，|| ||是归一化操作；G(x,y)是中心位于目标区域中心、x方向和y方向的方差分别为目标外接矩形宽度和高度的一半的二维高斯函数。

有益效果：

第一，本发明先采用全局时域显著性检测对运动候选区域进行定位，然后再通过局部空域显著性对运动目标进行的精细显著描述，最后将时、空显著图进行融合得到运动目标检测的结果。该算法流程模仿人类视觉搜寻中层次化处理的过程，即由全域粗提取到局部细描述，可对于运动目标完成由粗尺度快速定位到精细尺度下的精确描述，可有效提高运动目标检测算法计算效率。

第二，本发明在进行局部空域显著性描述时，分别在区域级和像素级两个尺度上对运动目标进行描述。区域级显著性描述以超像素作为处理单元，能够较好地保持运动目标的完整性和边界轮廓；像素级显著性描述基于像素，能够保留运动目标的一部分细节信息。相比于仅基于一个尺度的方式，通过区域级和像素级的两个尺度描述，能够实现运动目标的精细化描述，提高运动目标检测算法的计算准确度。

第三，在进行局部空域显著性描述时，无论是超像素级还是像素级，都采用了颜色信息和空间分布信息联合的方式计算显著性，能够综合利用图像中的显著性信息。

第四，本发明为无人机遥感图像序列的动目标检测提供了一种新的设计思路，兼顾了计算效率和检测效果。

附图说明

图1为基于层次化显著性分析的遥感图像序列动目标检测方法流程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

如图1所示，本发明基于层次化显著性分析的遥感图像序列动目标检测方法，包括如下4个具体步骤：(1)全局时域显著性检测，(2)局部空域显著性描述，(3)时空显著性融合，(4)阈值分割，得到最终的动目标检测结果。

(1)全局时域显著性检测：全局时域显著性检测方法参考Kwang等人提出的基于运动补偿的双模单高斯模型，得到全局时域显著图S_temporal。双模单高斯模型在初始化时，与普通的单高斯背景模型类似，但是以图像块为最小的处理单元，同一个图像块中的像素点共享单高斯模型的均值和方差参数；以此为基础，生成了两个单高斯模型，但是只有一个模型参与后续的前景检测，另一个作为备选。在模型的运动补偿中，通过上一时刻和当前时刻的图像估计变换矩阵，将变换矩阵作为双模单高斯模型的运动参数，计算当前时刻的图像块由上一时刻的哪些图像块组成，以此为依据由上一时刻计算得到当前时刻每个图像块的均值和方差参数。以运动补偿后的均值和方差为依据，进行高斯模型的前景检测，得到运动候选区域。该模型具有计算速度快、能够适用于运动平台且匹配误差较低的优点；但是忽略了运动目标的空间信息，检测结果的完整性较差，因此需要后续继续计算超像素级显著性描述和像素级显著性描述来进行进一步地的检测、融合。该步骤实施具体参数选取如下：

利用双模单高斯背景模型，基于背景差分法检测运动目标，得到时域检测结果

对于640×480大小的图像：

●进行处理的最小图像块的大小：4×4；

●模型的时间常数最大值α_MAX：α_MAX＝30；

●模型的方差衰减常数λ：λ＝0.001；

●模型初始化时的方差

●模型更新时最小方差

(1)局部空域显著性描述：在步骤(1)得到的全局时域显著图的基础上，通过Otsu最大类间方差法进行图像分割，得到运动区域粗提取的结果，作为候选区域；为了防止由于时域检测结果不完整导致候选区域中目标不完整，对候选区域进行一定比例的扩大，此处扩大比例设置为2；将扩大后的候选区域分别进行超像素级和像素级的空域显著性描述：

●超像素级显著性描述：相比于传统的图像分割算法，超像素分割的结果在形状和排列上更加规则，适合作为区域级的图像处理单元。这里选用的超像素分割算法为SLIC，超像素数目的设置与候选区域的宽度width和高度height有关，计算方式为在超像素分割的基础上，计算每个超像素的区域级局部空域显著图S_region：

其中，M为区域内超像素的个数；f_area为超像素的区域权重，即每个超像素内所包含像素数目与区域内总像素数的比例；D_C为超像素i和j之间的颜色直方图h_i和h_j之间的差异，通过计算颜色直方图之间的欧式距离得到：

D_C(i,j)＝||h_i-h_j||

f_spatial为基于中心优先原则的空间分布权重因子，中心优先原则规定越靠近区域中心的超像素其权重越高，计算方式如下：

其中，和分别为超像素i在整个区域内的中心距离因子和边界距离因子，计算方式如下：

其中，W和H分别是区域的宽度和高度；(x_c,y_c)是区域的中心坐标；B_l，B_r，B_t，B_b分别是超像素i的左，右，上，下的边界坐标；

通过该部分计算可以得到超像素级局部空域显著图。

●像素级显著性描述：采用Achanta等人提出的基于频率调制(Frequency-tuned，即FT)的显著性模型，但计算中进行了一定的改进，并加入了中心优先原则，得到像素级局部空域显著图；所述加入中心优先原则为：将显著性模型与二维高斯函数相乘，由于二维高斯函数的分布特点，使得像素级检测的结果越靠近区域边缘显著性越低：

其中，是超像素级显著性计算中显著性最低的超像素在CIELab颜色空间中的平均颜色向量，是颜色特征向量经过5×5高斯模糊函数处理后的结果，|| ||是归一化操作；G(x,y)是中心位于目标区域中心、x方向和y方向的方差分别为目标外接矩形宽度和高度的一半的二维高斯函数。

通过该部分计算可以得到局部像素级空域显著图。

(3)特征图融合：将步骤(1)得到的全局时域显著图、步骤(2)得到的局部超像素级空域显著图和像素级空域显著图进行归一化，然后进行融合，本发明采用线性加权融合的方式，得到时空显著图S_{spatiotemporal}，

S_{spatiotemporal}＝w₁S_temporal+w₂S_region+w₃S_pixel

其中w₁，w₂和w₃为权重因子，本发明中采用平均权重的方式进行融合，均为1/3。

(4)阈值分割：采用Otsu最大类间方差法进行对步骤(3)得到的时空显著图进行分割，获得最终的运动目标检测结果。

本实施例中该方法还在运动目标检测结果的基础上，引入轨迹级分析，进一步剔除虚警并保存运动目标信息。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于层次化显著性分析的遥感图像序列动目标检测方法，其特征在于，具体过程为：

首先，采用基于运动补偿的双模单高斯模型，在全局的尺度上提取时域显著性信息，得到时域显著图；从时域显著图中粗提取运动区域，作为候选区域；

其次，在所述候选区域的基础上，分别在像素级和超像素级进行空间域的显著性分析，得到空域显著图；

最后，将得到的全局时域显著图和局部空域显著图进行线性融合，得到时空显著图，通过阈值分割得到运动目标检测的结果。

2.根据权利要求1所述基于层次化显著性分析的遥感图像序列动目标检测方法，其特征在于，在运动目标检测结果的基础上，引入轨迹级分析，进一步剔除虚警并保存运动目标信息。

3.根据权利要求1所述基于层次化显著性分析的遥感图像序列动目标检测方法，其特征在于，将得到的全局时域显著图和局部空域显著图进行归一化，然后采用线性加权融合的方式，得到时空显著图S_{spatiotemporal}，

S_{spatiotemporal}＝w₁S_temporal+w₂S_region+w₃S_pixel

其中w₁，w₂和w₃为权重因子，S_temporal为全局时域显著图，S_region和S_pixel为超像素级和像素级局部空域显著图。

4.根据权利要求1所述基于层次化显著性分析的遥感图像序列动目标检测方法，其特征在于，在超像素级进行空间域显著性分析，得到超像素的区域级局部空域显著图S_region；

<mrow> <msub> <mi>S</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>f</mi> <mrow> <mi>s</mi> <mi>p</mi> <mi>a</mi> <mi>t</mi> <mi>i</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <msub> <mi>f</mi> <mrow> <mi>a</mi> <mi>r</mi> <mi>e</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> <msub> <mi>D</mi> <mi>C</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow>

其中，M为区域内超像素的个数；f_area为超像素的区域权重；D_C为超像素i和j之间的颜色直方图h_i和h_j之间的差异，通过计算颜色直方图之间的欧式距离得到：

D_C(i,j)＝||h_i-h_j||

f_spatial为基于中心优先原则的空间分布权重因子，中心优先原则规定越靠近区域中心的超像素其权重越高，计算方式如下：

<mrow> <msub> <mi>f</mi> <mrow> <mi>s</mi> <mi>p</mi> <mi>a</mi> <mi>t</mi> <mi>i</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>f</mi> <mrow> <mi>s</mi> <mi>p</mi> <mi>a</mi> <mi>t</mi> <mi>i</mi> <mi>a</mi> <mi>l</mi> </mrow> <mi>B</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <msubsup> <mi>f</mi> <mrow> <mi>s</mi> <mi>p</mi> <mi>a</mi> <mi>t</mi> <mi>i</mi> <mi>a</mi> <mi>l</mi> </mrow> <mi>B</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msubsup> <mi>f</mi> <mrow> <mi>s</mi> <mi>p</mi> <mi>a</mi> <mi>t</mi> <mi>i</mi> <mi>a</mi> <mi>l</mi> </mrow> <mi>C</mi> </msubsup> <mo>(</mo> <mi>i</mi> <mo>)</mo> <msubsup> <mi>f</mi> <mrow> <mi>s</mi> <mi>p</mi> <mi>a</mi> <mi>t</mi> <mi>i</mi> <mi>a</mi> <mi>l</mi> </mrow> <mi>C</mi> </msubsup> <mo>(</mo> <mi>i</mi> <mo>)</mo> <mo>)</mo> </mrow> </mrow>

其中，和分别为超像素i在整个区域内的中心距离因子和边界距离因子，计算方式如下：

<mrow> <msubsup> <mi>f</mi> <mrow> <mi>s</mi> <mi>p</mi> <mi>a</mi> <mi>t</mi> <mi>i</mi> <mi>a</mi> <mi>l</mi> </mrow> <mi>C</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>M</mi> <mi>A</mi> <mi>X</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>|</mo> <msub> <mi>x</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>x</mi> <mi>c</mi> </msub> <mo>|</mo> </mrow> <mrow> <mi>W</mi> <mo>/</mo> <mn>2</mn> </mrow> </mfrac> <mo>,</mo> <mfrac> <mrow> <mo>|</mo> <msub> <mi>y</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>y</mi> <mi>c</mi> </msub> <mo>|</mo> </mrow> <mrow> <mi>H</mi> <mo>/</mo> <mn>2</mn> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>

<mrow> <msubsup> <mi>f</mi> <mrow> <mi>s</mi> <mi>p</mi> <mi>a</mi> <mi>t</mi> <mi>i</mi> <mi>a</mi> <mi>l</mi> </mrow> <mi>B</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>M</mi> <mi>I</mi> <mi>N</mi> <mo>{</mo> <mfrac> <mrow> <mi>M</mi> <mi>I</mi> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mi>l</mi> </msub> <mo>,</mo> <mi>W</mi> <mo>-</mo> <msub> <mi>B</mi> <mi>r</mi> </msub> <mo>)</mo> </mrow> </mrow> <mi>W</mi> </mfrac> <mo>,</mo> <mfrac> <mrow> <mi>M</mi> <mi>I</mi> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mi>t</mi> </msub> <mo>,</mo> <mi>W</mi> <mo>-</mo> <msub> <mi>B</mi> <mi>b</mi> </msub> <mo>)</mo> </mrow> </mrow> <mi>H</mi> </mfrac> <mo>}</mo> </mrow>

其中，W和H分别是区域的宽度和高度；(x_c,y_c)是区域的中心坐标；B_l，B_r，B_t，B_b分别是超像素i的左，右，上，下的边界坐标。

5.根据权利要求1所述基于层次化显著性分析的遥感图像序列动目标检测方法，其特征在于，在超像素级进行空间域显著性分析，得到超像素的区域级局部空域显著图S_pixel；

<mrow> <msub> <mi>S</mi> <mrow> <mi>p</mi> <mi>i</mi> <mi>x</mi> <mi>e</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mo>|</mo> <mo>|</mo> <msub> <mover> <mi>I</mi> <mo>~</mo> </mover> <mi>&amp;mu;</mi> </msub> <mo>-</mo> <msub> <mi>I</mi> <msub> <mi>w</mi> <mrow> <mi>h</mi> <mi>c</mi> </mrow> </msub> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>|</mo> <mo>&amp;CenterDot;</mo> <mi>G</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>

其中，是超像素级显著性计算中显著性最低的超像素在CIELab颜色空间中的平均颜色向量，是颜色特征向量经过5×5高斯模糊函数处理后的结果，||||是归一化操作；G(x,y)是中心位于目标区域中心、x方向和y方向的方差分别为目标外接矩形宽度和高度的一半的二维高斯函数。