CN103489191A - 一种遥感图像显著目标变化检测方法 - Google Patents

Abstract

本发明公开了一种遥感图像显著目标变化检测方法，包括：在参考图像上提取显著目标区域；对参考图像和输入图像进行采样，并用采样点近似表示显著目标区域；对采样点提取DAISY特征；为参考图像的采样点在输入图像采样点集合中寻找多个候选匹配点；为显著目标区域内的采样点集合在对应的候选匹配点集合中搜索最优匹配点，利用最优匹配点集合间的距离作为对应显著目标区域的变化特征；确定输入图像中与显著目标区域对应的区域是否发生了变化。本发明过滤了大量冗余信息，提高了遥感图像变化检测的实用性、提高了区域的描述能力、对视角变换、配准误差的鲁棒性，以及变化类和非变化类的类间可分性。本发明可以广泛应用于灾害监测、目标侦察等诸多领域中。

Description

一种遥感图像显著目标变化检测方法

技术领域

本发明涉及遥感图像处理、变化检测、目标监测等技术领域，特别是一种遥感图像显著目标变化检测方法。

背景技术

遥感图像变化检测通过分析已配准的、同一场景的不同时相的遥感图像(历史图像为参考图像，当前图像为输入图像)自动检测出发生变化的目标区域，可以广泛应用在情报处理、灾害监测等军事和民用领域。遥感图像变化检测不仅有着很强的应用需求驱动，而且还具有重要的战略意义。由于目标监测技术的重要性，遥感图像变化检测技术已经受到世界各国的高度重视。

由于多时相遥感图像的复杂性，变化类与非变化类的类间可分性低。现有的变化检测方法无法满足遥感图像变化检测的需求。目前，遥感图像的变化检测方法的研究还很不成熟，远远不能满足实际应用的需要，主要表现在目前的目标监测大都靠手工标定，费时费力，通用性和自动化程度差，实际上，只有5-10%的数据得到了有效利用，目标监测技术极大的限制了遥感图像的广泛应用。在这样的背景下，遥感图像的目标监测仍然是一个亟待解决的难题。

实际应用关心的是目标区域的变化，但现有变化检测方法大都将所有区域进行比较。由于背景、植被等区域容易受季节、噪声等因素影响，考虑所有区域会降低变化类和非变化类的类间可分性，导致很多虚警和漏警，不能满足实际应用的需要。如何对显著目标区域进行有效的比较并对图像畸变、视角变化、配准误差等因素具有较好的鲁棒性，目前还没有有效的算法。

发明内容

本发明的目的是针对遥感图像变化检测的难点和目标监测实际应用的需求，提供一种有效的遥感图像显著目标变化检测方法。

为了实现上述目的，本发明基于显著目标区域的遥感图像变化检测方法包括如下步骤：

步骤S1，在参考图像上提取显著目标区域；

步骤S2，对参考图像和输入图像分别进行多尺度均匀网格采样，并用稠密的多尺度均匀网格采样点近似表示所述参考图像的显著目标区域；

步骤S3，对经过所述多尺度均匀网格采样得到的所述参考图像和输入图像的多尺度均匀网格采样点分别提取对应的DAISY特征；

步骤S4，利用所述参考图像和输入图像的多尺度均匀网格采样点的DAISY特征，根据最近邻匹配原则为所述参考图像的每一个多尺度均匀网格采样点在所述输入图像的多尺度均匀网格采样点集合中各寻找多个候选匹配点；

步骤S5，为所述参考图像显著目标区域内的多尺度均匀网格采样点集合在对应的所述候选匹配点组成的候选匹配点集合中搜索最优匹配点并组成最优匹配点集合，利用最优匹配点集合之间的距离作为对应显著目标区域的变化特征；

步骤S6，基于所述显著目标区域的变化特征确定所述输入图像中与显著目标区域对应的区域是否发生了变化。

本发明方法对于提高变化检测的精度、鲁棒性和自动化程度具有重要的意义，其主要优点如下：

本发明从遥感图像上提取显著目标区域，基于目标显著区域进行变化检测，过滤了大量冗余信息，提高了遥感图像变化检测的实用性；

本发明利用稠密采样点及DAISY特征表征区域，提高了区域的描述能力；

本发明利用显著目标区域内的稠密采样点的外观特征、几何拓扑特征在输入图像中搜索采样点集合，提高了对视角变换、配准误差的鲁棒性，提高了变化类和非变化类的类间可分性。

得益于上述优点，本发明使快速有效的遥感图像显著目标变化检测成为可能，极大地提高了现有目标监测系统的精度、速度、鲁棒性和自动化程度，可广泛应用于灾害监测、目标侦察等系统中。

附图说明

图1是本发明遥感图像显著目标变化检测方法的流程图。

图2是根据本发明一实施例的遥感图像显著目标区域提取结果示意图。

图3是根据本发明一实施例的多尺度均匀网格采样结果示意图。

图4是根据本发明一实施例的DAISY特征提取示意图。

图5是根据本发明一实施例的采样点集合匹配结果示意图。

图6是根据本发明一实施例的显著目标变化检测结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是本发明遥感图像显著目标变化检测方法的流程图，如图1所示，所述方法包括以下步骤：

步骤S1，在参考图像上提取显著目标区域；

该步骤中，以图像灰度的离散余弦变换的符号函数为目标区域显著性度量标准来提取所述显著目标区域；

所述步骤S1进一步包括以下步骤：

步骤S11，对于所述参考图像X，计算其显著特征图像

其中，DCT(·)和IDCT(·)分别表示离散余弦变换和离散余弦逆变换，sign(x)表示符号函数，取值为变量x的符号；

步骤S12，基于所述显著特征图像计算显著特征映射图像

其中，o表示Hadamard点乘运算符，g表示高斯核函数，*表示卷积运算；

步骤S13，基于所述显著特征映射图像提取所述参考图像的显著目标区域。

该步骤中，首先对所述显著特征映射图像

进行直方图统计，直方图的灰度级数可设为3；

然后将直方图的频数较多的部分认为是背景，频数较少的像素组成的区域为显著目标区域。

根据本发明一实施例的遥感图像显著目标区域提取结果的示意图如图2所示。

步骤S2，对参考图像和输入图像分别进行多尺度均匀网格采样，并用稠密的多尺度均匀网格采样点近似表示所述参考图像的显著目标区域；

所述步骤S2进一步包括以下步骤：

多尺度均匀网格采样是本领域的常用技术，在此不作赘述，需要说明的是，所述多尺度均匀网格采样的参数（即尺度个数和采样间隔）根据图像大小、图像空间分辨率及目标的最小尺寸确定，与图像内容无关。在本发明一实施例中，尺度个数设为5，采样间隔设为5，也就是说，图像的行数、列数为10、15、20、25、30的倍数的交点为采样点。经过稠密采样后，假设落在某显著目标区域的采样点集为

其中，l_i表示第i个显著目标区域中采样点的个数。

为刻画这些采样点的空间关系，将点集P_i分别按照“先行后列”和“先列后行”的方式进行排列，这样，所述参考图像的每个显著目标区域均可用两个采样点序列P_i ^R、P_i ^C来表示，并用(p_k,p_k+1)表示P_i ^R或P_i ^C中相邻的点，其中，P_i ^R表示按照“先行后列”进行排列得到的采样点序列，P_i ^C表示按照“先列后行”进行排列得到的采样点序列。

根据本发明一实施例的多尺度均匀网格采样结果示意图如图3所示。

步骤S3，对经过所述多尺度均匀网格采样得到的所述参考图像和输入图像的多尺度均匀网格采样点分别提取对应的DAISY特征；

DAISY的英文原意为雏菊花，因本发明中特征提取的中央—周围对称结构与雏菊花的花瓣结构很相似，故称之为DAISY特征。图4为根据本发明一实施例的DAISY特征提取示意图，如图4所示，DAISY特征为在以每个多尺度均匀网格采样点为中心、以采样尺度为半径的图像块上构造多个（比如3个）不同半径的同心圆形结构，并在每个同心圆上按一定角度（比如45°）等角度间隔提取多个（比如8个）取样点，以每个取样点为圆心构造圆形结构，称之为取样圆。圆心位于同一个同心圆的取样圆半径相同，圆心位于不同同心圆的取样圆半径由里向外半径依次增大。对落在每一个取样圆内的图像像素点构造梯度方向直方图，然后将不同取样圆的梯度方向直方图连接起来组成DAISY特征。

具体地，所述步骤S3进一步包括以下步骤：

步骤S31，计算以每个多尺度均匀网格采样点为中心、以采样尺度为半径的图像块中每个取样圆对应的局部梯度方向直方图；

所述步骤S31进一步包括以下步骤：

步骤S311，计算以每个多尺度均匀网格采样点为中心、以采样尺度为半径的图像块中每个取样圆的每个图像像素点(u，v)的q个（在本发明一实施例中，q=8）方向梯度；

步骤S312，利用高斯核卷积得到所述取样圆中每个图像像素点对应的方向梯度向量：

$h_{\mathrm{\Σ}}(u,v)={\left[(g_1^{\mathrm{\Σ}}(u,v),g_2^{\mathrm{\Σ}}(u,v),...,g_q^{\mathrm{\Σ}}(u,v))\right]}^T,$

其中，

表示第i个方向梯度，上标Σ表示该像素点所在取样圆的高斯尺度值。这样，相同半径的取样圆上的像素点具有相同的高斯尺度值，不同半径的取样圆上的像素点高斯尺度值不同。本发明中，高斯尺度值指高斯核卷积的标准差。

步骤S313，对每个像素点对应的上述向量按照将梯度方向从0度到360度均匀量化到q个等角度范围区间进行统计的方式得到该取样圆对应的局部梯度方向直方图；

步骤S32，基于所述步骤S31得到的每个取样圆对应的局部梯度方向直方图，得到每个多尺度均匀网格采样点对应的DAISY特征，所述DAISY特征用于描述采样点(u,v)局部支撑区域中每个图像像素点的一系列相关向量的加权，表示如下：

$D(u,v)=\left[\begin{array}{ccc}{h}_{{\mathrm{\Σ}}_1}^T\left(l_1(u,v,R_1)\right),& ...,& h_{{\mathrm{\Σ}}_1}^T\left(l_N(u,v,R_1)\right)\\ h_{{\mathrm{\Σ}}_2}^T\left(l_1(u,v,R_2)\right),& ...,& h_{{\mathrm{\Σ}}_2}^T\left(l_N(u,v,R_2)\right)\\ h_{{\mathrm{\Σ}}_3}^T\left(l_1(u,v,R_3)\right),& ...,& h_{{\mathrm{\Σ}}_3}^T\left(l_N(u,v,R_3)\right)\end{array}\right],$

其中，l_m(u,v,R_n)表示以采样点(u,v)为中心的中央—周围对称计算结构中第n个同心圆上的第m个取样圆，表示以采样点(u,v)为中心的中央—周围对称计算结构中第n个同心圆上的第m个取样圆的局部梯度方向直方图，在本发明一实施例中，m=1,2,L,8，n=1,2,3。

步骤S4，利用所述参考图像和输入图像的多尺度均匀网格采样点的DAISY特征，根据最近邻匹配原则为所述参考图像的每一个多尺度均匀网格采样点在所述输入图像的多尺度均匀网格采样点集合中各寻找多个候选匹配点；

所述步骤S4具体为：

利用所述输入图像的多尺度均匀网格采样点的DAISY特征组成的集合构造k-d树，将所述参考图像的每一个多尺度均匀网格采样点与所述k-d树进行匹配，即计算所述参考图像的每一个多尺度均匀网格采样点的DAISY特征与所述k-d树中每个结点之间的欧式距离，将距离最小的多个（比如三个）输入图像多尺度均匀网格采样点作为所述参考图像中该多尺度均匀网格采样点的候选匹配点。k-d树是一种分割高维数据空间的数据结构，k-d树通过对输入图像的DAISY特征集合进行层次划分并建立索引来加快匹配速度。对所述参考图像某显著目标区域的采样点集P_i中的每一个采样点p_k，若令C_k表示采样点p_k在输入图像上的候选匹配点组成的集合，则与采样点集P_i对应的候选匹配点集合记为

根据本发明一实施例的采样点集合匹配结果示意图如图5所示。

步骤S5，为所述参考图像显著目标区域内的多尺度均匀网格采样点集合在对应的所述候选匹配点组成的候选匹配点集合中搜索最优匹配点，并根据匹配结果得到所述显著目标区域的变化特征；

所述步骤S5中搜索最优匹配点具体为：

利用候选匹配点集合之间的相似性进行所述参考图像显著目标区域的采样点集合与所述候选匹配点集合的匹配，继而为所述参考图像的每个显著目标区域对应的多尺度均匀网格采样点集合找到对应的最优匹配点集合；

在本发明一实施例中，所述匹配主要是依据集合之间的外观相似性和几何拓扑相似性来进行，所述几何拓扑相似性主要包括几何形状、位置偏差和位置一致性。

具体地，对于匹配点对(p_k,m_k)，本发明使用

$A(p_k,m_k)=\frac{1}{1+\exp (-{\mathrm{\τ}}_a(\frac{1}{{\mathrm{\μ}}_a}{\left|\right|f_{p_k}-f_{m_k}\left|\right|}_2-1))}$ 来描述其外观相似性，其中，m_k表示参考图像上某采样点p_k的对应的在输入图像上的候选匹配点，

和

表示p_k和m_k对应的DAISY特征，τ_a和μ_a是调整外观相似性的参数，在本发明一实施例中，τ_a=1.5，μ_a=0.05。

对于正确的或者说是最优的两个匹配点对(p_k,m_k)和(p_k+1,m_k+1)，其几何拓扑相似性是指直线段

与

与

的长度接近且趋于平行，本发明使用

G(p_k,p_k+1,m_k,m_k+1)=||(p_k-p_k+1)-(m_k-m_k+1)||₂=||(p_k-m_k)-(p_k+1-m_k+1)||₂来表示相邻点对(p_k,p_k+1)和(m_k,m_k+1)几何形状的差异。

因为参考图像与输入图像已经配准，最优匹配点对(p_k,m_k)的位置偏差不会太大，本发明使用

来描述两个点的位置偏差，其中，t为一阈值，在本发明一实施例中，t=20。

对于正确的两个匹配点对(p_k,m_k)和(p_k+1,m_k+1)，p_k与p_k+1的位置关系与m_k与m_k+1的位置关系应一致，即若p_k在p_k+1的左上方，则m_k应在m_k+1的左上方。本发明使用 $O(p_k,p_{k+1},m_k,m_{k+1})=\left\{\begin{array}{cc}1& S((p_k,p_{k+1}),(m_k,m_{k+1}))=1\\ 0& S((p_k,p_{k+1}),(m_k,m_{k+1}))=0\end{array}\right.$ 来描述位置一致性，其中，S((p_k,p_k+1),(m_k,m_k+1))表示位置一致关系，S((p_k,p_k+1),(m_k,m_k+1))=1表示位置一致，S((p_k,p_k+1),(m_k,m_k+1))=0表示位置不一致。

设某区域按行或按列得到的采样点集P_i与候选匹配点集合C_i的最优匹配为

则M^*可以通过优化如下目标函数求得：

$C(P,M)=\underset{k=1}{\overset{l_i-1}{\mathrm{\Σ}}}{w}_{g}G(p_k,p_{k+1},m_k,m_{k+1})+\underset{k=1}{\overset{l_i}{\mathrm{\Σ}}}{w}_{a}A(p_k,m_k)+\underset{k=1}{\overset{l_i-1}{\mathrm{\Σ}}}{w}_{o}O(p_k,p_{k+1},m_k,m_{k+1})+\underset{k=1}{\overset{l_i}{\mathrm{\Σ}}}{w}_{d}D(p_k,m_k)$

上述目标函数可以利用动态规划策略求解，其中，G(p_k,p_k+1,m_k,m_k+1)表示相邻点对(p_k,p_k+1)和(m_k,m_k+1)几何形状的差异；A(p_k,m_k)表示匹配点对(p_k,m_k)的外观相似性；O(p_k,p_k+1,m_k,m_k+1)表示两个匹配点对(p_k,m_k)和(p_k+1,m_k+1)的位置关系一致性；D(p_k,m_k)表示最优匹配点对(p_k,m_k)的位置偏差；w_g、w_a、w_o和w_d是上述区域相似性特征的权重，在本发明一实施例中，w_g=1.0，w_a=1.25，w_o=1.5，w_d=4.0。为了得到全局最优解，要求上述目标函数对按行排列的特征集P_i ^R和按列排列的特征集P_i ^C都是最优的。

所述步骤S5中根据匹配结果得到所述显著目标区域的变化特征具体为：

对于所述参考图像中的某显著目标区域，若某显著目标区域按行或按列得到的多尺度均匀网格采样点集P_i与候选匹配点集C_i的最优匹配采样点集合

存在，则用多尺度均匀网格采样点集与最优匹配采样点集合之间的距离C(P_i,M^*)来表征该显著目标区域的变化特征，其中，P_i为该显著目标区域按行或按列得到的多尺度均匀网格采样点集，在本发明一实施例中，所述距离为基于外观、几何拓扑特征的距离；若所述最优匹配采样点集合不存在，则将该显著目标区域的变化特征设置为一个很大的数值。

步骤S6，基于所述显著目标区域的变化特征确定所述输入图像中与所述显著目标区域对应的区域是否发生了变化。

所述步骤S6具体为：以所述参考图像中的显著目标区域为参考，基于所述显著目标区域的变化特征，通过阈值方法来确定所述输入图像中与所述显著目标区域对应的区域是否发生了变化。

更具体地，在所述步骤S6中，首先对所述显著目标区域的变化特征进行直方图统计，发生变化的显著目标区域的变化特征数值大，没有发生变化的显著目标区域的变化特征数值小；然后根据变化特征的数值就可将所述输入图像中与所述显著目标区域对应的区域分为两类：变化类和非变化类。在本发明的一实施例中，取所述直方图的波谷所对应的变化特征作为判断阈值，变化特征大于所述判断阈值的区域判断为显著目标变化区域。

根据本发明一实施例的显著目标变化检测结果示意图如图6所示。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种遥感图像显著目标变化检测方法，其特征在于，该方法包括以下步骤：

步骤S1，在参考图像上提取显著目标区域；

步骤S2，对参考图像和输入图像分别进行多尺度均匀网格采样，并用稠密的多尺度均匀网格采样点近似表示所述参考图像的显著目标区域；

步骤S3，对经过所述多尺度均匀网格采样得到的所述参考图像和输入图像的多尺度均匀网格采样点分别提取对应的DAISY特征；

步骤S4，利用所述参考图像和输入图像的多尺度均匀网格采样点的DAISY特征，根据最近邻匹配原则为所述参考图像的每一个多尺度均匀网格采样点在所述输入图像的多尺度均匀网格采样点集合中各寻找多个候选匹配点；

步骤S5，为所述参考图像显著目标区域内的多尺度均匀网格采样点集合在对应的所述候选匹配点组成的候选匹配点集合中搜索最优匹配点并组成最优匹配点集合，利用最优匹配点集合之间的距离作为对应显著目标区域的变化特征；

步骤S6，基于所述显著目标区域的变化特征确定所述输入图像中与显著目标区域对应的区域是否发生了变化。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中，以图像灰度的离散余弦变换的符号函数为目标区域显著性度量标准来提取所述显著目标区域。

3.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括以下步骤：

步骤S11，对于所述参考图像X，计算其显著特征图像

其中，DCT(·)和IDCT(·)分别表示离散余弦变换和离散余弦逆变换，sign(x)表示符号函数；

步骤S12，基于所述显著特征图像计算显著特征映射图像

其中，o表示Hadamard点乘运算符，g表示高斯核函数，*表示卷积运算；

步骤S13，基于所述显著特征映射图像提取所述参考图像的显著目标区域。

4.根据权利要求3所述的方法，其特征在于，所述步骤13具体为：对所述显著特征映射图像

进行直方图统计，将直方图的频数较多的部分认为是背景，频数较少的像素组成的区域为显著目标区域。

5.根据权利要求1所述的方法，其特征在于，所述参考图像的第i个显著目标区域由两个采样点序列P_i ^R、P_i ^C来表示，其中，P_i ^R表示对落在该显著目标区域的采样点集P_i按照“先行后列”进行排列得到的采样点序列，P_i ^C表示对落在该显著目标区域的采样点集P_i按照“先列后行”进行排列得到的采样点序列。

6.根据权利要求1所述的方法，其特征在于，所述步骤S3进一步包括以下步骤：

步骤S31，计算以每个多尺度均匀网格采样点为中心、以采样尺度为半径的图像块中每个取样圆对应的局部梯度方向直方图；

步骤S32，基于所述步骤S31得到的每个取样圆对应的局部梯度方向直方图，得到每个多尺度均匀网格采样点对应的DAISY特征。

7.根据权利要求6所述的方法，其特征在于，所述步骤S31进一步包括以下步骤：

步骤S311，计算以每个多尺度均匀网格采样点为中心、以采样尺度为半径的图像块中每个取样圆的每个图像像素点(u，v)的q个方向梯度；

步骤S312，利用高斯核卷积得到所述取样圆中每个图像像素点对应的方向梯度向量：

$h_{\mathrm{\Σ}}(u,v)={\left[(g_1^{\mathrm{\Σ}}(u,v),g_2^{\mathrm{\Σ}}(u,v),...,g_q^{\mathrm{\Σ}}(u,v))\right]}^T,$

其中，

表示第i个方向梯度，上标Σ表示该像素点所在取样圆的高斯尺度值。

步骤S313，对每个像素点对应的上述向量按照将梯度方向从0度到360度均匀量化到q个等角度范围区间进行统计的方式得到该取样圆对应的局部梯度方向直方图；

8.根据权利要求1所述的方法，其特征在于，所述步骤S4具体为：利用所述输入图像的多尺度均匀网格采样点的DAISY特征组成的集合构造k-d树，将所述参考图像的每一个多尺度均匀网格采样点与所述k-d树进行欧式距离匹配，将距离最小的多个输入图像多尺度均匀网格采样点作为所述参考图像中该多尺度均匀网格采样点的候选匹配点。

9.根据权利要求1所述的方法，其特征在于，所述步骤S5具体为：

利用候选匹配点集合之间的相似性进行所述参考图像显著目标区域的采样点集合与所述候选匹配点集合的匹配，继而为所述参考图像的每个显著目标区域对应的采样点集合找到对应的最优匹配点集合；

对于所述参考图像中的某显著目标区域，若某显著目标区域按行或按列得到的多尺度均匀网格采样点集P_i与候选匹配点集C_i的最优匹配采样点集合存在，则用多尺度均匀网格采样点集与最优匹配采样点集合之间的距离来表征该显著目标区域的变化特征；若所述最优匹配采样点集合不存在，则将该显著目标区域的变化特征设置为一个很大的数值。

10.根据权利要求1所述的方法，其特征在于，所述步骤S6具体为：

对所述显著目标区域的变化特征进行直方图统计，发生变化的显著目标区域的变化特征数值大，没有发生变化的显著目标区域的变化特征数值小；

根据变化特征的数值将所述输入图像中与所述显著目标区域对应的区域分为两类：变化类和非变化类。

Images