CN103985120A - 一种遥感图像多目标关联的方法 - Google Patents

Abstract

本发明涉及一种遥感图像多目标关联的方法，首先根据MSA变换提取目标图像的多尺度自卷积矩(MSA)特征，通过计算目标特征之间的欧氏距离获得任意两目标的匹配代价，即相似性测度。将两幅遥感图像中的多目标关联看作二维分配问题，构造多目标关联代价矩阵(ACM)，然后结合实际应用，根据关联准则构造目标函数，即全局最优化模型。最后对模拟退火算法进行改进，设定内、外循环迭代次数，并设计一种新的自适应温度更新函数，改进温度控制方式，在保证关联准确性的前提下以提高算法的时间性能。

Description

一种遥感图像多目标关联的方法

技术领域

本发明涉及一种遥感图像多目标关联的方法，基于图像多尺度自卷积矩(MultiScale Auto-convolution，MSA)特征和模拟退火优化的遥感图像多目标关联。其可以广泛应用于遥感图像多目标检测识别、融合、跟踪系统中。

背景技术

以往的目标关联方法主要指状态滤波类方法，将目标视为点对象，利用雷达型数据提供的目标位置、速度、方位等运动特征进行关联，适合密集采样的序列图像。如1989年Shalom Y B提出了基于目标质心及质心偏移量的联合概率数据关联(JPDA)方法，首先将目标与背景分割，然后计算目标区域的质心，以估计目标的运动信息，最后利用JPDA方法实现关联与跟踪。1993年Blackman S等人提出了在红外系统中将目标检测和跟踪联合设计的方法，利用多假设跟踪(MHT)算法进行目标图像特征点的匹配跟踪。但由于当前遥感成像技术一般只能获取采样稀疏的遥感图像，很难预测目标的状态量，因此信息融合领域中传统的利用状态特征进行关联的方法并不适合遥感图像的目标关联。需要利用目标图像自身特征进行匹配，来建立新的目标关联准则。

首先解决图像特征的提取问题。不变矩方法是解决图像特征不变性的常用方法，它能够克服视点变化对特征量的干扰，最具代表性的就是Hu矩特征。2005年Esa Rahtu等结合多尺度几何分析方法，在Hu矩特征的基础上，研究可以同时捕获空间特性和图像强度的多维不变描述子，构造了多尺度自卷积矩(Multi Scale Auto-convolution，MSA)特征，实践证明是目前最稳健的不变矩特征之一。然后采用距离度量法进行特征匹配，但由于遥感信息的不确定性和特征提取算法的不精确性导致特征匹配结果存在误差，因此需要进行关联修正来消除多目标对应关系的模糊性。2008年雷琳等人对上述问题提供了一种解决思路，首先利用目标特征匹配结果构造一个多目标关联代价矩阵(Association Cost Matrix，ACM)，然后采用模拟退火算法求解使得整体关联代价最小的关联代价矩阵，即为最终多目标关联结果。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种遥感图像多目标关联的方法，解决当前遥感成像无法准确估计目标状态信息和大场景图像中多目标匹配关联的模糊性问题。

技术方案

一种遥感图像多目标关联的方法，其特征在于步骤如下：

步骤1、特征提取：采用MSA变换计算每幅目标图像的特征向量

$F(\mathrm{\α},\mathrm{\β})=\underset{R^2}{\∫}f\left(u\right)p_{U_{\mathrm{\α},\mathrm{\β}}}\left(u\right)\mathrm{du}=\underset{R^2}{\∫}f\left(u\right)(p_{\mathrm{\α}}\×p_{\mathrm{\β}}\×p_{\mathrm{\γ}})\left(u\right)$

其中：f(μ)为图像灰度函数，为概率密度函数，α，β为线性变换系数；

所述α，β线性变换系数是在集合{-1,-0.75,-0.5,-0.25,0,0.25,0.5,0.75,1}中取任意两元素的组合构成29对(α,β)值，计算出多目标的29维MSA特征向量；

步骤2、构造关联代价矩阵：计算目标的29维MSA特征向量之间的欧氏距离可获得任意两目标的MSA特征匹配代价；

所述欧氏距离c(m,n)＝||f_m,1-f_n,2||,其中：f_m,1f_n,2分别为前后幅图像的29维MSA特征；m＝0,1,…，M；n＝0,1,…,N，构造出关联代价矩阵C＝{a(m,n)c(m,n)}m＝0,1,…，M；n＝0,1,…,N；M为图像1中有M个目标；N为图像2中有N个目标；

当两幅图中存在互相关联的目标时，a(m,n)取值为1，否则取值为0；假设，

步骤3、根据实际的关联应用背景，两幅图像中的目标均为一对一关联，且关联不能为空，因此构造目标函数应满足如下约束条件：关联矩阵a中每一行和每一列有且只有一个元素为1；目标函数的最小值对应最优关联矩阵；

构造目标函数：

$E=\frac{A}{2}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}|\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_{\mathrm{mn}}-1|+\frac{B}{2}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}|\underset{m=0}{\overset{M}{\mathrm{\Σ}}}{a}_{\mathrm{mn}}-1|+\underset{m=0}{\overset{M}{\mathrm{\Σ}}}\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{c}_{\mathrm{mn}}{a}_{\mathrm{mn}}$

其中：a_mn,c_mn分别为a(m,n),c(m,n)的简便表示；M,N为两幅图像中所含目标个数；A,B为系数，取较大的正常数，便于快速地求解目标函数最小值；

步骤4、对步骤3构造的目标函数采用改进的模拟退火算法计算目标函数最小值，具体流程如下：

(a)初始化参数设置：设定初始温度、最终温度，随机产生一个初始关联矩阵a0，并计算目标函数值E(a₀)；

(b)内循环：根据约束条件“关联矩阵a中每一行和每一列有且只有一个元素为1”，产生一新的解a_new，计算新的目标函数值E(a_new)及目标函数值的增量ΔE＝E(a_new)-E(a)；根据Metropolis重要性采样准则，粒子在当前温度T趋于平衡态的概率为χ＝exp(-ΔE/kT)，其中ΔE为内能改变量，k为Boltzmann常数；依据概率χ＞r＝random[0,1]接受该状态为重要状态，否则舍去；再重复若干s-max次以上新解产生过程，系统在此温度下将逐渐趋于能量较低的平衡状态；

(c)退温过程：设计一个新的温度更新函数T(i+1)＝T(i)*e^-β，β＝s_num/(s_num+maxstep)，根据T(i)温度下状态被接受的次数s_num来决定降温幅度，保证温度更新有一定的自适应性；

(d)外循环终止准则：判断在T(i+1)温度下得到的关联矩阵与上一温度T(i)下求解得到的关联矩阵是否一样，如果连续若干iter-max步降温过程中由内循环搜索到的关联矩阵不变，则完成了遥感图像多目标的关联。

所述若干s-max次为100次。

所述若干iter-max步为200步。

有益效果

本发明提出的一种遥感图像多目标关联的方法，首先根据MSA变换提取目标图像的多尺度自卷积矩(MSA)特征，通过计算目标特征之间的欧氏距离获得任意两目标的匹配代价，即相似性测度。将两幅遥感图像中的多目标关联看作二维分配问题，构造多目标关联代价矩阵(ACM)，然后结合实际应用，根据关联准则构造目标函数，即全局最优化模型。最后对模拟退火算法进行改进，设定内、外循环迭代次数，并设计一种新的自适应温度更新函数，改进温度控制方式，在保证关联准确性的前提下以提高算法的时间性能。

本发明将基于MSA特征和关联代价矩阵最优化的多目标关联算法应用于海地机场飞机多目标关联问题上，在组合优化过程中，着重对模拟退火算法(SimulatedAnnealing，SA)进行了改进：在原始算法的搜索过程中设定内、外循环迭代次数，并设计一种新的温度更新函数，它具有一定的自适应性，改进了温度控制方式，大大提高搜索效率。

本发明优点在于：第一：多尺度自卷积(MSA)特征可克服遥感成像中视点变化或目标姿态变化等因素的影响，具有良好的仿射不变性和抗干扰性，是有效的关联量；第二：在实际应用关联准则的约束下构造目标函数对关联代价矩阵ACM进行最优化，得到的全局最优解有效消除了多目标之间特征关联的模糊性；第三：设置了双阈值和自适应温度更新函数的模拟退火算法能够改善执行多次迭代搜索过程的时效性，快速得到全局最优解。

附图说明

图1：本发明方法的流程图

图2：仿真实验所选取的目标图像及一系列处理

(a)海地机场的IKONOS卫星图像；(b)海地机场6类飞机目标；(c)尺度缩放0.5；(d)旋转30度；(e)加噪声0.02；(f)仿射变换；(g)不同位置加遮挡；(h)亮度变化0.15；

图3：本发明方法关联正确率统计对比结果

(a)基于MSA+ACM算法的关联结果；(b)基于MSA+NN算法的关联结果

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明实施例步骤如下：

步骤1特征提取：采用MSA变换计算每一幅目标图像的特征向量。设f(x)为图像的灰度函数，仿射变换后的图像为f'(x')＝f(Tx+t)，设x₀,x₁,x₂∈R²是f(x)定义域中的3个点，则点μ_α,β可线性表示为μ_α,β＝α(x₁-x₀)+β(x₂-x₀)+x₀，μ′_α,β＝α(x₁′-x₀′)+β(x₂′-x₀′)+x₀′＝Tμ_α,β+t，随机变量f(μ_α,β)和f′(μ'_α,β)有着相同的分布，因此其数学期望也相等。设γ＝1-α-β，则μ_α,β＝αx₁+βx₂+γx₀，由概率密度函数的性质可得MSA特征即为变量f(μ_α,β)的数学期望值：

$F(\mathrm{\α},\mathrm{\β})=\underset{R^2}{\∫}f\left(u\right)p_{U_{\mathrm{\α},\mathrm{\β}}}\left(u\right)\mathrm{du}=\underset{R^2}{\∫}f\left(u\right)(p_{\mathrm{\α}}\×p_{\mathrm{\β}}\×p_{\mathrm{\γ}})\left(u\right)$

步骤2构造关联代价矩阵：研究两幅遥感图像中的多目标关联，可将其看作二维分配问题。假设前一幅图像中有M个目标后一幅图像中有N个目标现在定义一个二值分配变量

则可用此形成整体关联矩阵：a＝{a(m,n)；m＝0,1，…M；n＝0,1,…,N}，关联的目的是找到最优关联矩阵a使得下面的全局关联代价最小：

$C\left(a\right)=\underset{m=0}{\overset{M}{\mathrm{\Σ}}}\underset{n=0}{\overset{N}{\mathrm{\Σ}}}a(m,n)c(m,n)$

$a=\arg \underset{a}{\min }C\left(a\right)$

由步骤1提取出各目标的29维MSA特征向量后，通过计算目标特征之间的欧氏距离可获得任意两目标的MSA特征匹配代价，c(m,n)＝||f_m,1-f_n,2||,m＝0,1,…，M；n＝0,1,…,N，其中f_m,1为前一幅图像中目标m的29维MSA特征，f_n,2为后一幅图像中的29维MSA特征。至此，构造出关联代价矩阵C＝{a(m,n)c(m,n)；m＝0,1,…，M；n＝0,1,…,N}。

步骤3构造目标函数：设C＝{C₁,C₂,…,C_k}为所有可行的关联代价矩阵的集合，E(C_i)为对应于C_i的目标函数值。构造关联代价矩阵最优化的数学模型为： $E\left(C^{*}\right)=\min E\left(C_i\right),C^{*}\∈C,\∀C_i\∈C.$ 目标函数的最小值对应关联代价矩阵的最优解，即就是使得关联代价矩阵的能量最小。为方便表述，记a(m,n)为a_mn，考虑到实际的约束条件，进一步将目标函数定义如下：

$E=\frac{A}{2}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}|\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_{\mathrm{mn}}-1|+\frac{B}{2}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}|\underset{m=0}{\overset{M}{\mathrm{\Σ}}}{a}_{\mathrm{mn}}-1|+\underset{m=0}{\overset{M}{\mathrm{\Σ}}}\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{c}_{\mathrm{mn}}{a}_{\mathrm{mn}}$

步骤4改进的模拟退火算法(Simulated Annealing，简称SA)寻优：上述目标函数寻优问题具有非定常多项式复杂度，其求解时间随问题的规模呈指数级增长。为了快速搜索最优关联结果，采用改进的模拟退火算法。具体流程如下：

(a)初始化参数设置：设定初始温度、最终温度，随机产生一个初始关联矩阵a₀，并计算目标函数值E(a₀)；

(b)内循环：根据约束条件，产生一新的解a_new，计算新的目标函数值E(a_new)，并计算目标函数值的增量ΔE＝E(a_new)-E(a)。根据Metropolis重要性采样准则，粒子在当前温度T趋于平衡态的概率为χ＝exp(-ΔE/kT)，其中ΔE为内能改变量，k为Boltzmann常数。依据概率χ＞r＝random[0,1]接受该状态为重要状态，否则舍去。再重复若干次(s-max步)以上新解产生过程，系统在此温度下将逐渐趋于能量较低的平衡状态；

(c)退温过程：采用合适的温度衰减函数即退火策略来控制算法进程。此处设计一个新的温度更新函数T(i+1)＝T(i)*e^-β，β＝s_num/(s_num+maxstep)，根据某一温度下状态被接受的次数s_num来决定降温幅度，保证温度更新有一定的自适应性；

(d)外循环终止准则：设置一个比较环节，判断在T(i+1)温度下得到的关联矩阵与上一温度T(i)下求解得到的关联矩阵是否一致，如此循环，如果连续若干步(iter-max步)降温过程中由内循环搜索到的最优关联矩阵不变，则认为得到了较高质量的全局最优解。

具体实施例如下：

用于实施的硬件环境是：Pentium-43G计算机、2GB内存、128M显卡，运行的软件环境是：Mat1ab7.0和windowsXP。我们用Matlab程序设计语言实现了本发明提出的新算法。采用海地机场6类飞机目标灰度图像进行实验(来自于某些海地机场分辨率为1米，大小为3000×3000的IKONOS卫星图像)，每幅图像大小为128×128。除了对图像进行尺度缩放、旋转、仿射变换外，还加入了不同等级的高斯白噪声、遮挡以及亮度变化，构成了多组6类待关联的飞机目标。

步骤1特征提取：MSA特征为变量f(μ_α,β)的数学期望值：在集合{-1,-0.75,-0.5,-0.25,0,0.25,0.5,0.75,1}中取任意两元素的组合构成29对(α,β)值，计算出各飞机目标的29维MSA特征向量。

步骤2构造关联代价矩阵：由步骤1提取出各目标的29维MSA特征向量后，通过计算目标特征之间的欧氏距离可获得任意两目标的MSA特征匹配代价，c(m,n)＝||f_m,1-f_n,2||,m＝0,1,…，M；n＝0,1,…,N，其中f_m,1为前一幅图像中目标m的29维MSA特征，f_n,2为后一幅图像中的29维MSA特征。至此，构造出关联代价矩阵C＝{a(m,n)c(m,n)；m＝0,1,…，M；n＝0,1,…,N}。

步骤3构造目标函数：为方便表述，记a(m,n)为a_mn

$E=\frac{A}{2}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}|\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_{\mathrm{mn}}-1|+\frac{B}{2}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}|\underset{m=0}{\overset{M}{\mathrm{\Σ}}}{a}_{\mathrm{mn}}-1|+\underset{m=0}{\overset{M}{\mathrm{\Σ}}}\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{c}_{\mathrm{mn}}{a}_{\mathrm{mn}}$

其中，A,B为大的正常量，前两项为惩罚项，对应具体的约束条件，只有当前两项均为零时，第三项才是多目标关联的实际代价。

步骤4改进的模拟退火算法寻优：设置初始温度1000，最终温度0.001，具体的内循环迭代次数s-max和降温过程中最优解保持不变的次数iter-max数值经过反复试验得出，最终分别选取100步和200步。

图3是关联正确率统计对比结果，(a)给出了结合MSA特征和ACM最优化的多目标关联结果，(b)给出了结合MSA特征和NN方法实现多目标关联的结果。可以看出，本发明基于MSA和ACM最优化的多目标关联算法结果明显优于利用最近邻算法进行关联的结果。当图像发生尺度缩放、旋转、噪声干扰、仿射变换、遮挡以及亮度变化等一系列变化时，最近邻算法无法解决关联模糊性，而ACM考虑了整体关联代价，具有一定的抗模糊性，可获得更为有效的关联结果。

为进一步验证本发明的时间性能，利用本发明改进的模拟退火算法和传统模拟退火算法对每组目标群图像分别独立运行50次，记录每组运行时间(s)和目标关联结果数据，计算关联正确率(％)，进行统计分析，其对比结果如表1所示。可以看出，改进的模拟退火算法既保持了多目标关联结果的准确性，同时又减少了计算量，在时间性能(搜索效率)上有了较大的提高。

表1传统SA和改进的SA实验对比结果

Claims (3)

1.一种遥感图像多目标关联的方法，其特征在于步骤如下：

步骤1、特征提取：采用MSA变换计算每幅目标图像的特征向量

$F(\mathrm{\α},\mathrm{\β})=\underset{R^2}{\∫}f\left(u\right)p_{U_{\mathrm{\α},\mathrm{\β}}}\left(u\right)\mathrm{du}=\underset{R^2}{\∫}f\left(u\right)(p_{\mathrm{\α}}\×p_{\mathrm{\β}}\×p_{\mathrm{\γ}})\left(u\right)$

其中：f(μ)为图像灰度函数，为概率密度函数，α，β为线性变换系数；

所述α，β线性变换系数是在集合{-1,-0.75,-0.5,-0.25,0,0.25,0.5,0.75,1}中取任意两元素的组合构成29对(α,β)值，计算出多目标的29维MSA特征向量；

步骤2、构造关联代价矩阵：计算目标的29维MSA特征向量之间的欧氏距离可获得任意两目标的MSA特征匹配代价；

所述欧氏距离c(m,n)＝||f_m,1-f_n,2||,其中：f_m,1f_n,2分别为前后幅图像的29维MSA特征；m＝0,1,…,M；n＝0,1,…，N，构造出关联代价矩阵C＝{a(m,n)c(m,n)}m＝0,1…M；n＝0,1,…,N；M为图像1中有M个目标；N为图像2中有N个目标；

当两幅图中存在互相关联的目标时，a(m,n)取值为1，否则取值为0；假设，

步骤3、根据实际的关联应用背景，两幅图像中的目标均为一对一关联，且关联不能为空，因此构造目标函数应满足如下约束条件：关联矩阵a中每一行和每一列有且只有一个元素为1；目标函数的最小值对应最优关联矩阵；

构造目标函数：

$E=\frac{A}{2}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}|\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{a}_{\mathrm{mn}}-1|+\frac{B}{2}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}|\underset{m=0}{\overset{M}{\mathrm{\Σ}}}{a}_{\mathrm{mn}}-1|+\underset{m=0}{\overset{M}{\mathrm{\Σ}}}\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{c}_{\mathrm{mn}}{a}_{\mathrm{mn}}$

其中：a_mn,c_mn分别为a(m,n),c(m,n)的简便表示；M,N为两幅图像中所含目标个数；A,B为系数，取较大的正常数，便于快速地求解目标函数最小值；

步骤4、对步骤3构造的目标函数采用改进的模拟退火算法计算目标函数最小值，具体流程如下：

(a)初始化参数设置：设定初始温度、最终温度，随机产生一个初始关联矩阵a0，并计算目标函数值E(a₀)；

(b)内循环：根据约束条件“关联矩阵a中每一行和每一列有且只有一个元素为1”，产生一新的解a_new，计算新的目标函数值E(a_new)及目标函数值的增量ΔE＝E(a_new)-E(a)；根据Metropolis重要性采样准则，粒子在当前温度T趋于平衡态的概率为χ＝exp(-ΔE/kT)，其中ΔE为内能改变量，k为Boltzmann常数；依据概率χ＞r＝random[0,1]接受该状态为重要状态，否则舍去；再重复若干s-max次以上新解产生过程，系统在此温度下将逐渐趋于能量较低的平衡状态；

(c)退温过程：设计一个新的温度更新函数T(i+1)＝T(i)*e^-β，β＝s_num/(s_num+maxstep)，根据T(i)温度下状态被接受的次数s_num来决定降温幅度，保证温度更新有一定的自适应性；

(d)外循环终止准则：判断在T(i+1)温度下得到的关联矩阵与上一温度T(i)下求解得到的关联矩阵是否一样，如果连续若干iter-max步降温过程中由内循环搜索到的关联矩阵不变，则完成了遥感图像多目标的关联。

2.根据权利要求1所述遥感图像多目标关联的方法，其特征在于：所述若干s-max次为100次。

3.根据权利要求1所述遥感图像多目标关联的方法，其特征在于：所述若干iter-max步为200步。