CN105469415A - 多视角遥感图像融合方法 - Google Patents

Abstract

多视角遥感图像融合方法，涉及地理信息技术领域。本发明是为了解决现有的配准技术对地面起伏变化或者图像发生的多视角变化产生的非刚性变换的配准具有局限性，导致配准精度低的问题。本发明步骤一、通过卫星图或者无人机获取同一位置不同视角的多组遥感图像，步骤二、采用尺度不变特征转换算法对步骤一中获取的多组遥感图像的特征点进行提取，分别得到点阵a和点阵b，步骤三、采用基于全局和局部混合向量和特征的非刚性点阵配准方法对不同状态下的两组点阵a和b进行配准，利用仿射变换对步骤三获得的遥感图像在发生视角变换前后的对应关系进行转换并输出配准结果，从而实现对多视角遥感图像的融合。它用于对图像发生多视角变化时的图像融合。

Description

多视角遥感图像融合方法

技术领域

本发明涉及多视角遥感图像融合方法，属于地理信息技术领域。

背景技术

目前，多视角遥感图像融合技术在航空测量、斜影测量、新型导航以及地图更新等地理信息系统领域扮演着重要的角色。然而，当地面起伏变化或者图像发生多视角变化时会发生一些非刚性变换，当前所用的配准技术在精度上会受到显著影响，具有一定的局限性。

发明内容

本发明是为了解决现有的配准技术对地面起伏变化或者图像发生的多视角变化产生的非刚性变换的配准具有局限性，导致配准精度低的问题。现提供多视角遥感图像融合方法。

多视角遥感图像融合方法，该方法包括以下步骤：

步骤一、通过卫星图或者无人机获取同一位置不同视角的多组遥感图像，

步骤二、采用尺度不变特征转换算法对步骤一中获取的多组遥感图像的特征点进行提取，分别得到点阵a和点阵b，

步骤三、采用基于全局和局部混合向量和特征的非刚性点阵配准方法对不同状态下的两组点阵a和b进行配准，配准过程如下：

步骤三一、首先创建一个可变形的代理点阵a^w，在每一步的迭代中，获得a^w在点阵b中的对应点b^c，其中，a^w的初始状态等于源点阵a；

步骤三二、根据步骤三一的对应关系建立薄板样条函数空间变换，使用薄板样条函数空间变换更新a^w的空间位置和几何形状，步骤三一与步骤三二交替进行使得点阵a^w在空间位置和几何形态上逐渐接近目标点阵b；

步骤三三、最终找到a^w在目标点阵b中的真实对应点，获得遥感图像在发生视角变换前后的对应关系；

步骤四、利用仿射变换对步骤三三获得的遥感图像在发生视角变换前后的对应关系进行转换并输出配准结果，从而实现对多视角遥感图像的融合。

本发明的有益效果为：采用卫星图或者无人机获取同一位置不同视角的多组遥感图像，读入遥感图像，采用尺度不变特征转换算法来对图像的特征点进行提取，分别得到点阵a和点阵b。采用基于全局和局部混合向量和特征的非刚性点阵配准方法对不同状态下的两组点阵a和b进行配准，最终找到a^w在目标点阵b中的真实对应点，获得遥感图像在发生视角变换前后的对应关系；最后采用仿射变换对图像进行转换并输出配准结果，采用该方法进行进行图像融合精度高，与现有的融合方法相比精度高了3倍以上。

附图说明

图1为具体实施方式一所述的多视角遥感图像融合方法的流程图。

具体实施方式

具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的多视角遥感图像融合方法，该方法包括以下步骤：

步骤一、通过卫星图或者无人机获取同一位置不同视角的多组遥感图像，

步骤二、采用尺度不变特征转换算法对步骤一中获取的多组遥感图像的特征点进行提取，分别得到点阵a和点阵b，

步骤三、采用基于全局和局部混合向量和特征的非刚性点阵配准方法对不同状态下的两组点阵a和b进行配准，配准过程如下：

步骤三一、首先创建一个可变形的代理点阵a^w，在每一步的迭代中，获得a^w在点阵b中的对应点b^c，其中，a^w的初始状态等于源点阵a；

步骤三二、根据步骤三一的对应关系建立薄板样条函数空间变换，使用薄板样条函数空间变换更新a^w的空间位置和几何形状，步骤三一与步骤三二交替进行使得点阵a^w在空间位置和几何形态上逐渐接近目标点阵b；

步骤三三、最终找到a^w在目标点阵b中的真实对应点，获得遥感图像在发生视角变换前后的对应关系；

步骤四、利用仿射变换对步骤三三获得的遥感图像在发生视角变换前后的对应关系进行转换并输出配准结果，从而实现对多视角遥感图像的融合。

本实施方式中，使用非刚性点阵配准技术，我们可以对不同状态下(例如原遥感图像和经过视角变换的遥感图像)的两组点阵进行配准。为了对不同状态下的两组点阵进行非刚性配准，本发明设计出了全新的基于全局和局部混合向量和特征的非刚性点阵配准方法。

本实施方式中，全局和局部混合向量和特征的优点：

1、在处理多视角遥感图像时，利用尺度不变特征转换算法(SIFT)找出的特征点无几

何关系，此时，利用向量空间分布找出的对应关系效果更好。

2、该方法对于处理点阵比较密集，特征点比较多的图像优势更为明显。

3、对于发生了旋转之后的多视角遥感图像的配准，采用混合向量和特征进行配准效果更好。

具体实施方式二：本实施方式是对具体实施方式一所述的多视角遥感图像融合方法作进一步说明，本实施方式中，步骤三中全局和局部混合向量和特征的方程为：

根据公式：

(公式1)，

获得全局结构特征差异矩阵矩阵中的每个元素值为两个向量和相减后的模，

式中， 为点a_i到点a^k的几何向量，为点b_j到b_k的几何向量，i和j均为正整数，n和m均为公式中的上界，

根据公式：

(公式2)，

获得局部结构特征差异矩阵

式中，K是邻近点的数量，n(a_i)_k为点a_i的第k个邻近点，n(b_j)_k为点b_j的第k个邻近点，T是平移函数，T(n(a_i)_k,b_j)＝n(a_i)_k+(b_j-a_i)。

具体实施方式三：本实施方式是对具体实施方式二所述的多视角遥感图像融合方法作进一步说明，本实施方式中，步骤三一中首先创建一个可变形的代理点阵a^w，在每一步的迭代中，获得a^w在点阵b中的对应点bc的步骤为：

根据能量优化方程：

$E\left(M\right)=(\underset{i\∈n}{\mathrm{\Σ}}\underset{j\∈m}{\mathrm{\Σ}}{G}_{a_i{b}_j}+\mathrm{\α}\underset{i\∈n}{\mathrm{\Σ}}\underset{j\∈m}{\mathrm{\Σ}}{L}_{a_i{b}_j})M_{\mathrm{ij}}$ (公式3)，

获得在每一次迭代中，从点阵a^w到点阵b的一一对应关系，

式中，M_ij满足∑M_ij＝1forj∈mand∑M_ij＝1fori∈n，α是一个权重变量，用来调节能量优化时 $\underset{i\∈n}{\mathrm{\Σ}}\underset{j\∈m}{\mathrm{\Σ}}{G}_{a_i{b}_j}{M}_{\mathrm{ij}}$ 和 $\underset{i\∈n}{\mathrm{\Σ}}\underset{j\∈m}{\mathrm{\Σ}}{G}_{a_i{b}_j}{M}_{\mathrm{ij}}$ 的比重，

根据公式：

b^c＝Mb(公式4)，

更新当前迭代的对应点集b^c。

本实施方式中，在每一次迭代中，点阵a^w和b的对应关系通过最小化基于混合特征的能量优化方程 $E\left(M\right)=(\underset{i\∈n}{\mathrm{\Σ}}\underset{j\∈m}{\mathrm{\Σ}}{G}_{a_i{b}_j}+\mathrm{\α}\underset{i\∈n}{\mathrm{\Σ}}\underset{j\∈m}{\mathrm{\Σ}}{G}_{a_i{b}_j})M_{\mathrm{ij}}$ 获得，基于混合特征的能量优化在本文中被看做一个线性分配问题，所以，可以通过Jonker-Volgenant算法来求解，即在配准之前，我们首先将需要配准的点阵坐标缩放至[0,1]之间，然后在每一次迭代中把计算出来的全局和局部结构特征差异矩阵通过使用和进行数值处理，其中R被设置为10⁶。

通过使用Jonker-Volgenant算法求解的对应关系矩阵M确保了从点阵a^w到点阵b的一一对应关系。当前迭代的对应点集b^c由下式进行更新：b^c＝M.b。

具体实施方式四：本实施方式是对具体实施方式一所述的多视角遥感图像融合方法作进一步说明，本实施方式中，步骤三二中使用薄板样条函数空间变换更新a^w的空间位置和几何形状的过程为：

根据能量方程：

E_TPS(d,w)＝||b^c-ad-Φw||²+λtrace(w^TΦw)(公式5)，

获得仿射系数矩阵d和非刚性变形系数矩阵w，

式中，λ是一个正规化变量，Φ是由φ(a)计算而来的内核矩阵，是薄板样条函数的内核函数，在2D和3D的情况下分别为：

φ(a)＝||a-a_c||²log||a-a_c||和φ(a)＝||a-a_c||，a_c是在点阵a中选取的一组控制点，

利用QR分解技术，将 $a=QR=\[Q_1/Q_2\]\left(\begin{array}{c}{R}_1\\ 0\end{array}\right)$ 带入公式3中，获得公式为：

$E_{TPS}\left(\mathrm{\γ},d\right)=\left|\right|Q_2^T{b}^c-Q_2^T{\mathrm{\ΦQ}}_2\mathrm{\γ}|{|}^2+||Q_1^T{b}^c-R_{1}d-Q_1^T{\mathrm{\ΦQ}}_2\mathrm{\γ}|{|}^2+{\mathrm{\λ\γ}}^T{Q}_2^T{\mathrm{\ΦQ}}_2\mathrm{\γ}$ (公式6)，

其中，Q₁是N×D的矩阵，表示Q₁的倒置矩阵，Q₂是N×(N-D)的矩阵，R₁为D×D的矩阵，w＝Q₂γ，γ为(N-D-1)×(D+1)，N和D代表矩阵的行数和列数，b^c为a的对应点集，

最终获得方程：

$\hat{w}=Q_2\mathrm{\γ}=Q_2{(Q_2^T{\mathrm{\ΦQ}}_2+{\mathrm{\λI}}_{N-D-1})}^{-1}{Q}_2^T{b}^c$ (公式7)和 $\hat{d}=R^{-1}(Q_1^T{b}^c-\mathrm{\Φ}w)$ (公式8)，

式中，为w的解，为d的解，

将公式7和公式8带入公式：

a^w＝ad+Φw(公式9)，

获得可变形点阵a^w的新位置。

本实施方式中，λ是一个正规化变量，同时其大小被使用退火算法控制。

我们使用了退火算法。在退火算法中我们使用了一个温度变量T。这个温度变量T开始于一个高温度值T_init，退火处理停止在当变量T达到一个指定的低温度值T_final。在退火过程中，T通过T＝T×r逐步降低，r被称之为退火率。

使用退火算法的主要目的有两个：

1_、用于降低前述混合向量特征中的权重变量α(α＝α_init×T)，使得最小化总消耗方程可

以从最小化局部结构差异到全局结构差异。

2、用于降低TPS能量方程中的λ(λ＝λ_init×T),使得TPS(薄板样条函数)空间变换方程可以从刚性变换逐渐转变为非刚性变换。

参数设置：

1、退火参数：T_init,T_final和λ是用于设置迭代次数的参数。在算法中，这三个参数的设置目的是为整个配准过程提供必要的迭代次数。通过前期的基础实验，我们把T_init的值设为点阵a与点阵b之间最大距离的平方的十分之一；把T_final的值设为点阵a中相邻点的平均平方距离(MeanSquaredDistance)的八分之一；把r设为0.7。

2、权重参数：在配准初期，把权重变量α设为一个较大的值可以使得整个配准过程集中在最小化局部结构差异。因此，我们把α_init设为邻近点个数的平方K²。

3、正规化参数：参数λ的值被设置为很大的值,以至于确保TPS空间变换可以在配准初期处于刚性变换。我们把T_init的值设为点阵a中点的个数。

4、邻近点个数：邻近点个数K都被设置为5。

通过上述非刚性配准算法对指定的遥感图像和经过不同视角变换后的遥感图像进行配准，并与当前其他国际著名配准技术进行对比，显示出了我们算法在配准精度上的优越性。

分别采用本申请的方法、CPD(CoherentPointDrift)算法、SURF(Speededuprobustfeatures)算法和尺度不变特征变换SIFT(Scale-invariantfeaturetransform)算法对选取的湄公河A、北京B、牛栏江C、纽约D、和拉斯维加斯E这五个地方的卫星图像进行配准，获得图像数据集的像素，像素单位为pix，对该图像的数据集进行精度对比，如表1：

表1：

采用本发明的方法对无人机获得的ABCDE五组图像进行配准，获得的ABCDE五组实验数据结果如表2：

表2：

具体实施方式五：本实施方式是对具体实施方式一所述的多视角遥感图像融合方法作进一步说明，本实施方式中，步骤四中，利用仿射变换对步骤三三获得的遥感图像在发生视角变换前后的对应关系进行转换并输出配准结果的过程为：

根据仿射变换公式：

I_t(x,y)＝I_s(T(x,y))(公式10)，

获得转换后的图像I_t和原遥感图像I_s的关系式，

式中，T(x,y)是两张不同视角遥感图像的评估仿射模型。

仿射变换公式还能够被定义为：

$\left[\begin{array}{c}{a}_x\\ a_y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{C}_{00}& C_{01}& C_{02}\\ C_{01}& C_{11}& C_{12}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{a}_x^w\\ a_y^w\\ 1\end{array}\right]$ (公式11)，

其中，a^w为源点阵a的对应点阵，a_x和a_y为源点阵的坐标，和代表特征点阵a^w的坐标，

矩阵 $\left[\begin{array}{c}{a}_x\\ a_y\\ 1\end{array}\right]$ 和 $\left[\begin{array}{c}{a}_x^w\\ a_y^w\\ 1\end{array}\right]$ 已知，则仿射模型 $\left[\begin{array}{ccc}{C}_{00}& C_{01}& C_{02}\\ C_{01}& C_{11}& C_{12}\\ 0& 0& 1\end{array}\right]$

通过

$\left[\begin{array}{c}{a}_x\\ a_y\\ 1\end{array}\right]{\left[\begin{array}{c}{a}_x^w\\ a_y^w\\ 1\end{array}\right]}^{-1}$ 求出。

Claims (5)

1.多视角遥感图像融合方法，其特征在于，该方法包括以下步骤：

步骤一、通过卫星图或者无人机获取同一位置不同视角的多组遥感图像，

步骤二、采用尺度不变特征转换算法对步骤一中获取的多组遥感图像的特征点进行提取，分别得到点阵a和点阵b，

步骤三、采用基于全局和局部混合向量和特征的非刚性点阵配准方法对不同状态下的两组点阵a和b进行配准，配准过程如下：

步骤三一、首先创建一个可变形的代理点阵a^w，在每一步的迭代中，获得a^w在点阵b中的对应点b^c，其中，a^w的初始状态等于源点阵a；

步骤三二、根据步骤三一的对应关系建立薄板样条函数空间变换，使用薄板样条函数空间变换更新a^w的空间位置和几何形状，步骤三一与步骤三二交替进行使得点阵a^w在空间位置和几何形态上逐渐接近目标点阵b；

步骤三三、最终找到a^w在目标点阵b中的真实对应点，获得遥感图像在发生视角变换前后的对应关系；

步骤四、利用仿射变换对步骤三三获得的遥感图像在发生视角变换前后的对应关系进行转换并输出配准结果，从而实现对多视角遥感图像的融合。

2.根据权利要求1所述的多视角遥感图像融合方法，其特征在于，步骤三中全局和局部混合向量和特征的方程为：

根据公式：

获得全局结构特征差异矩阵矩阵中的每个元素值为两个向量和相减后的模，

式中， 为点a_i到点a_k的几何向量，为点b_j到b_k的几何向量，i和j均为正整数，n和m均为公式中的上界，且n和m均为正整数，

根据公式：

获得局部结构特征差异矩阵

式中，K是邻近点的数量，n(a_i)_k为点a_i的第k个邻近点，n(b_j)_k为点b_j的第k个邻近点，T是平移函数，T(n(a_i)_k,b_j)＝n(a_i)_k+(b_j-a_i)。

3.根据权利要求2所述的多视角遥感图像融合方法，其特征在于，步骤三一中首先创建一个可变形的代理点阵a^w，在每一步的迭代中，获得a^w在点阵b中的对应点b^c的步骤为：

根据能量优化方程：

(公式3)，

获得在每一次迭代中，从点阵a^w到点阵b的一一对应关系，

式中，M_ij满足∑M_ij＝1forj∈mand∑M_ij＝1fori∈n，α是一个权重变量，用来调节能量优化时和的比重，

根据公式：

b^c＝Mb(公式4)，

更新当前迭代的对应点集b^c。

4.根据权利要求1所述的多视角遥感图像融合方法，其特征在于，步骤三二中使用薄板样条函数空间变换更新a^w的空间位置和几何形状的过程为：

根据能量方程：

E_TPS(d,w)＝||b^c-ad-Φw||²+λtrace(w^TΦw)(公式5)，

获得仿射系数矩阵d和非刚性变形系数矩阵w，

式中，λ是一个正规化变量，Φ是由φ(a)计算而来的内核矩阵，是薄板样条函数的内核函数，在2D和3D的情况下分别为：

φ(a)＝||a-a_c||²log||a-a_c||和φ(a)＝||a-a_c||，a_c是在点阵a中选取的一组控制点，

利用QR分解技术，将带入公式3中，获得公式为：

(公式6)，

其中，Q₁是N×D的矩阵，表示Q₁的倒置矩阵，Q₂是N×(N-D)的矩阵，R₁为D×D的矩阵，w＝Q₂γ，γ为(N-D-1)×(D+1)，N和D代表矩阵的行数和列数，b^c为a的对应点集，

最终获得方程：

(公式7)和(公式8)，

式中，为w的解，为d的解，

将公式7和公式8带入公式：

a^w＝ad+Φw(公式9)，

获得可变形点阵a^w的新位置。

5.根据权利要求1所述的多视角遥感图像融合方法，其特征在于，步骤四中，利用仿射变换对步骤三三获得的遥感图像在发生视角变换前后的对应关系进行转换并输出配准结果的过程为：

根据仿射变换公式：

I_t(x,y)＝I_s(T(x,y))(公式10)，

获得转换后的图像I_t和原遥感图像I_s的关系式，

式中，T(x,y)是两张不同视角遥感图像的评估仿射模型。