CN105809693A - 基于深度神经网络的sar图像配准方法 - Google Patents

Abstract

本发明提出了一种基于深度神经网络的SAR图像配准方法，具体实现步骤如下：(1)获取训练样本；(2)设计并训练深度神经网络；(3)预测匹配关系；(4)剔除错误的匹配点；(5)求解几何变换参数；(6)配准图像。本发明采用基于深度神经网络的SAR图像配准方法，能够有效克服现有技术中人工设计特征提取算子复杂度高、计算量大、鲁棒性差等的缺点，有效地减少了计算量，而且深度神经网络可以提取图像的本质特征，有更好的鲁棒性，使得配准的精度更高。

Description

基于深度神经网络的SAR图像配准方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于深度神经网络的合成孔径雷达(syntheticapertureradar，SAR)图像配准方法。本发明可应用于计算机视觉、遥感图像处理、模式识别等领域进行图像融合、变化检测、目标检测与识别等。

背景技术

合成孔径雷达是一种高分辨率主动式有源微波遥感成像雷达，具有全天时、全天候、分辨率高、可侧视成像等优点，可应用于军事、农业、导航、地理监视等诸多领域。SAR图像配准可用于变化检测、目标检测与识别。

现有的图像配准方法主要分为基于灰度的配准方法和基于特征的配准方法。基于灰度的配准方法主要是通过度量图像的相似性，不断优化变换参数，使得相似性最大。基于灰度的配准方法比较简单，容易实现，但是对噪声敏感，计算量大。基于特征的图像配准方法，首先从参考图像和待配准图像中提取特征，进行特征向量匹配，然后估计出参考图像和与待配准图像之间几何变换模型及其变换参数。常用的特征有点特征、边缘特征、显著区域特征等，基于特征的图像配准方法对灰度变化有较强的适应性，计算复杂度低、鲁棒性强、能够适用于部分存在复杂几何变形图像之间的图像配准。但是，在实际应用中也存在一些限制条件，基于特征的配准方法要求图像的特征明显。因为在SAR图像中存在相干斑噪声，很容易将噪点检测为特征点，导致错误的匹配结果。深度学习是近年来国际上的研究热点，与传统的需要人工设计的特征提取方法相比，它可以自动提取到图像中更加抽象、本质的特征，有利于图像的分类和识别。

中国科学院电子学研究所在其申请的专利“一种SAR图像配准方法及装置”(专利申请号：201410682140.1，申请公布号：CN104331899A)中提出了一种SAR图像配准方法及装置。该方法首先对主SAR图像的特征点和第一辅SAR图像提取的特征点进行全局双向匹配，对主SAR图像和第一辅SAR图像进行全局配准得到第二辅SAR图像；然后对主SAR图像的特征点和第二辅SAR图像的特征点进行局部匹配，对主SAR图像和第二辅SAR图像进行局部配准得到第三辅SAR图像。该方法存在的不足之处是，利用人工设计的Harris、SIFT、SURF方法提取特征计算量大，而且Harris方法提取特征点时不稳定，在SAR图像中SIFT、SURF方法容易将噪声点误认为是特征点，影响配准的精度。

北京邮电大学在其申请的专利“多模图像配准方法”(专利申请号：201510345316.9，申请公布号：CN104992432A)中提出了一种多模图像配准方法。该方法首先提取图像特征直线，然后在特征直线基础上进一步提取出图像的特征点，最后利用特征点进行配准。该方法存在的不足之处是，其一，在SAR图像中现有的人工设计的直线检测方法效果较差，影响特征直线的检测，且先验信息不充足，使得图像配准的精度降低。其二，仅基于特征进行配准的方法不可靠。

发明内容

本发明的目的在于针对已有技术的不足，提出一种基于深度神经网络的图像配准的方法，以改善配准的效果。本发明与现有技术中其他SAR图像配准相比配准精度高，适应性强。

本发明实现的具体步骤包括如下：

(1)获取训练样本：

(1a)读入已配准的SAR图像；

(1b)对已配准的SAR图像进行滑窗切块，得到7500对具有匹配标签的大小为28×28的图像块,将随机选取5000对图像块作为训练样本，剩余的2500对图像块作为测试样本；

(2)设计并训练深度神经网络：

(2a)设计含有一个输入层、两个隐藏层和一个输出层的深度神经网络，每层的节点数分别为1568、784、100、1；

(2b)将训练样本输入到深度神经网络中；

(2c)利用受限玻尔兹曼机RBM，对深度神经网络进行预训练，得到深度神经网络的初始权值和偏置值；

(2d)利用反向传播BP算法，对深度神经网络进行有监督的微调，得到训练好的深度神经网络；

(2e)将测试样本输入到训练好的深度神经网络中，测试训练好的深度神经网络的性能；

(3)预测匹配关系：

(3a)输入一幅参考图像I₁和一幅待配准图像I₂；

(3b)在参考图像I₁和待配准图像I₂中，分别提取以Harris角点为中心，大小为28×28的图像块；

(3c)利用训练好的深度神经网络提取图像块的本质特征，然后输出图像块中心点之间的匹配标签0或1，其中，1表示匹配，0表示不匹配；

(4)剔除错误的匹配点：

(4a)计算所有匹配标签为1的图像块之间的相关性，将相关性小于0.98的匹配标签置为0；

(4b)按照以下步骤，剔除错误的匹配点；

(4b1)利用单应矩阵模型的随机抽样一致性RANSAC方法，对匹配点进行筛选；

(4b2)重复步骤(4b1)100次，记录每次得到的内点；

(4b3)统计每个内点出现的频率，将频率低的内点的匹配标签置为0，剔除了错误的匹配点；

(5)求解几何变换参数：

(5a)采用最小二乘法，计算参考图像I₁和待配准图像I₂之间的变换矩阵T；

(5b)按照如下所示的变换矩阵T与待配准图像I₂的几何变换参数的关系式，计算待配准图像I₂的几何变换参数，计算待配准图像I₂的几何变换参数：

$T=\left[\begin{array}{ccc}s*cos\left(\mathrm{\θ}\right)& -s*\sin \left(\mathrm{\θ}\right)& t_x\\ s*sin\left(\mathrm{\θ}\right)& s*cos\left(\mathrm{\θ}\right)& t_y\\ 0& 0& 1\end{array}\right]$

其中，T表示参考图像I₁和待配准图像I₂之间的变换矩阵，s表示待配准图像I₂的尺度放缩参数，θ表示待配准图像I₂的旋转角度参数，t_x表示待配准图像I₂的水平平移参数，t_y表示待配准图像I₂的垂直平移参数；

(6)配准图像：

利用几何变换参数，对待配准图像I₂进行几何变换，得到配准图像。

本发明与现有技术相比具有以下优点：

第一、由于本发明采用深度神经网络预测匹配关系，通过深度神经网络自动获取图像的特征，克服了现有技术的传统人工设计特征提取方法中设计人员受到专业的领域知识限制的问题，使得本发明不需要有专业的领域知识，降低了计算量和复杂性。

第二、由于本发明采用基于深度神经网络的匹配方法，通过深度神经网络获取图像的本质特征，克服了现有技术中提取的特征不具有代表性进而导致的配准精度不高的问题，使得本发明提高了图像配准的精度。

第三、由于本发明采用已配准的图像的切块作为训练样本，使配准有更多的先验信息，克服了现有技术中先验信息不充足的问题，使得本发明提高了图像配准的精度。

第四、由于本发明先利用深度神经网络提取特征，然后通过计算图像块之间的相关性剔除错误的匹配点，克服了现有技术中仅基于特征的图像配准方法的不可靠问题，使得本发明更可靠，鲁棒性更强，配准精度更高。

附图说明

图1是本发明的总流程图；

图2是本发明的仿真图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照图1，本发明实现的具体步骤如下：

步骤1，获取训练样本。

第1步，读入已配准的SAR图像；

第2步，对已配准的SAR图像进行滑窗切块，滑窗的步长为5，得到7500对具有匹配标签的大小为28×28的图像块，其中，将随机选取5000对图像块作为训练样本，剩余的2500对图像块作为测试样本。

步骤2，设计并训练深度神经网络。

第1步，设计含有一个输入层、两个隐藏层和一个输出层的深度神经网络，每层的节点数分别为1568、784、100、1；

第2步，将训练样本输入到深度神经网络中；

第3步，利用受限玻尔兹曼机RBM，对深度神经网络进行预训练，得到深度神经网络的初始权值和偏置值，每层训练200代；

第4步，利用反向传播BP算法，对深度神经网络进行有监督的微调，训练200代，得到训练好的深度神经网络，训练样本的误差为0.9800；

第5步，将测试样本输入到训练好的深度神经网络中，测试训练好的深度神经网络的性能，测试样本的误差为0.8500。

步骤3，预测匹配关系。

第1步，输入一幅参考图像I₁和一幅待配准图像I₂；

第2步，在参考图像I₁和待配准图像I₂中，分别提取以Harris角点为中心，大小为28×28的图像块；

第3步，利用训练好的深度神经网络提取图像块的本质特征，然后输出图像块中心点之间的匹配标签0或1，其中，1表示匹配，0表示不匹配。

将从参考图像I₁中提取的图像块组成集合A，A＝{a_i|i＝1,2,...n_a}，其中，a_i表示集合A中第i个图像块，n_a表示集合A中图像块的数量；将待配准图像I₂中提取的图像块组成集合B，B＝{b_j|j＝1,2,...n_b}，其中，b_j表示集合B中第j个图像块，n_b表示集合B中图像块的数量；从集合A和集合B中，依次各选取一个图像块组成集合C，C＝{c_ij|i＝1,2,...n_a,j＝1,2,...n_b}，其中，c_ij表示集合A中第i个图像块和集合B中第j个图像块组成的一对图像块；利用深度神经网络提取集合C中每对图像块的本质特征，在输出层得到集合C中每对图像块中心点之间的匹配标签0或1，其中，1表示匹配，0表示不匹配。

步骤4，剔除错误的匹配点。

第1步，计算所有匹配标签为1的图像块之间的相关性，将相关性小于0.98的匹配标签置为0；

第2步，利用单应矩阵模型的随机抽样一致性RANSAC方法对匹配点进行筛选；利用单应矩阵模型的随机抽样一致性RANSAC方法得到内点，重复该步骤100次，记录每次得到的内点；统计每个内点出现的频率，剔除频率低的内点；

步骤4中所述的单应矩阵模型的随机抽样一致性RANSAC方法的是：首先，从参考图像I₁和待配准图像I₂的匹配点集中随机选取4对匹配点，利用直接线性变换方法计算单应矩阵H，按照公式d_i＝||H×Z_i-W_i||,i＝1,2,...n，计算第i对匹配点的欧式距离，其中，d_i表示第i对匹配点的欧式距离，||·||表示二范数操作，H表示单应矩阵，Z_i表示第i对匹配点在参考图像I₁中的齐次坐标向量，W_i表示在待配准图像I₂中对应的匹配点的齐次坐标向量，n表示匹配点集中的匹配对数；判断欧氏距离是否小于阈值T，若是，则该匹配点为内点，否则，为外点，其中，阈值T的取值范围为：1≤T≤10，试验中取值为2；然后重复执行以上步骤1000次，记录重复执行中每次得到的内点；统计每次得到的内点数量，将内点数量最多的那组内点作为此次RANSAC的最终内点。

步骤4中所述的利用直接线性变换方法计算单应矩阵H，在实验中是利用奇异值分解SVD算法对下面这个方程求解得到H的最小二乘解。其中，(x_i',y_i'),i＝1,2,3,4是匹配点对在参考图像I₁中的坐标，(x_i,y_i),i＝1,2,3,4是对应的匹配点对在待配准图像I₂中的坐标。

$\left[\begin{array}{ccccccccc}-x_1& -y_1& -1& 0& 0& 0& x_1{x}_1^{\′}& y_1{x}_1^{\′}& x_1^{\′}\\ 0& 0& 0& -x_1& -y_1& -1& x_1{y}_1^{\′}& y_1{y}_1^{\′}& y_1^{\′}\\ -x_2& -y_2& -1& 0& 0& 0& x_2{x}_2^{\′}& y_2{x}_2^{\′}& x_2^{\′}\\ 0& 0& 0& -x_2& -y_2& -1& x_2{y}_2^{\′}& y_2{y}_2^{\′}& y_2^{\′}\\ -x_3& -y_3& -1& 0& 0& 0& x_3{x}_3^{\′}& y_3{x}_3^{\′}& x_3^{\′}\\ 0& 0& 0& -x_3& -y_3& -1& x_3{y}_3^{\′}& y_3{y}_3^{\′}& y_3^{\′}\\ -x_4& -y_4& -1& 0& 0& 0& x_4{x}_4^{\′}& y_4{x}_4^{\′}& x_4^{\′}\\ 0& 0& 0& -x_4& -y_4& -1& x_4{y}_4^{\′}& y_4{y}_4^{\′}& y_4^{\′}\end{array}\right]\left[\begin{array}{c}{h}_1\\ h_2\\ h_3\\ h_4\\ h_5\\ h_6\\ h_7\\ h_8\\ h_9\end{array}\right]=0$

$H=\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right]$

步骤5，求解几何变换参数。

第1步，采用最小二乘法，计算参考图像I₁和待配准图像I₂之间的变换矩阵T；

第2步，按照如下所示的变换矩阵T与待配准图像I₂的几何变换参数的关系式，计算待配准图像I₂的几何变换参数：

$T=\left[\begin{array}{ccc}s*cos\left(\mathrm{\θ}\right)& -s*sin\left(\mathrm{\θ}\right)& t_x\\ s*sin\left(\mathrm{\θ}\right)& s*cos\left(\mathrm{\θ}\right)& t_y\\ 0& 0& 1\end{array}\right]$

其中，T表示参考图像I₁和待配准图像I₂之间的变换矩阵，s表示待配准图像I₂的尺度放缩参数，θ表示待配准图像I₂的旋转角度参数，t_x表示待配准图像I₂的水平平移参数，t_y表示待配准图像I₂的垂直平移参数；

步骤5中所述最小二乘法计算变换矩阵T，图像坐标变换如下式所示：

$\left[\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\end{array}\right]=\left[\begin{array}{cc}a& -b\\ b& a\end{array}\right]\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right]$

其中，(x_i,y_i)表示待配准图像I₂中点的坐标，(x_i',y_i')表示(x_i,y_i)变换之后对应的目标位置，即匹配的对应点在参考图像I₁中的坐标；

利用3对匹配点可得到一个方程组，如下式所示：

$\left[\begin{array}{c}{x}_1^{\′}\\ y_1^{\′}\\ x_2^{\′}\\ y_2^{\′}\\ x_3^{\′}\\ y_3^{\′}\end{array}\right]=\left[\begin{array}{cccc}{x}_1& -y_1& 1& 0\\ y_1& x_1& 0& 1\\ x_2& -y_2& 1& 0\\ y_2& x_2& 0& 1\\ x_3& -y_3& 1& 0\\ y_3& x_3& 0& 1\end{array}\right]\left[\begin{array}{c}a\\ b\\ t_x\\ t_y\end{array}\right]$

其中，a、b、t_x、t_y为未知量，我们用最小二乘法求解该方程组，可得到a、b、t_x、t_y的值，即可得到变换矩阵T，变换矩阵T表示为下式：

$T=\left[\begin{array}{ccc}a& -b& t_x\\ b& a& t_y\\ 0& 0& 1\end{array}\right]$

按照变换矩阵T与待配准图像I₂的几何参数的关系式，可求得待配准图像I₂变换参数，具体计算为：

尺度放缩参数旋转角度参数水平平移参数为t_x、垂直平移参数为t_y。

步骤6，配准图像。

利用几何变换参数，对待配准图像I₂进行几何变换，得到配准图像。

下面结合仿真实验对本发明的效果做进一步的描述。

1、仿真实验条件：

本实验的硬件平台为：IntelCore2DuoCPUE65502.33GHZ、2GBRAM，软件平台为：MATLABR2011a；

2、实验内容与结果：

实验用基于深度神经网络的SAR图像配准方法和传统的SIFT方法分别对SAR图像进行配准，并将配准结果进行比较。图2(a)(b)的大小均为500×1000，是对黄河入海口的两幅图像分别截取的，黄河入海口的两幅图像是Radarsat-2卫星分别于2008年和2009年获取的。如图2所示，图2(a)是待配准图像I₂，图2(b)是参考图像I₁。

利用现有的传统SIFT方法对图2(a)中的待配准图像I₂进行配准，得到的匹配关键点有10对，如图2(c)所示；本发明对对图2(a)中的待配准图像I₂进行配准，得到的匹配关键点有20对，如图2(d)所示；本发明的最终配准结果如图2(e)所示。

表1基于深度神经网络的图像配准和传统SIFT方法的实验结果定量比较

从表1可以看出，本发明方法可以获得更多的正确匹配点，放缩误差近似为0，旋转误差为0，平移误差在可接受范围内，且均方根误差较小。从本发明的最终配准结果图2(e)可以看出，配准效果非常好。综上所述，本发明的方法对SAR图像配准可以取得更好的配准结果，匹配精度更高，鲁棒性更强。

Claims (5)

1.一种基于深度神经网络的SAR图像配准方法，包括如下步骤：

(1)获取训练样本：

(1a)读入已配准的SAR图像；

(1b)对已配准的SAR图像进行滑窗切块，得到7500对具有匹配标签的大小为28×28的图像块,将随机选取5000对图像块作为训练样本，剩余的2500对图像块作为测试样本；

(2)设计并训练深度神经网络：

(2a)设计含有一个输入层、两个隐藏层和一个输出层的深度神经网络，每层的节点数分别为1568、784、100、1；

(2b)将训练样本输入到深度神经网络中；

(2c)利用受限玻尔兹曼机RBM，对深度神经网络进行预训练，得到深度神经网络的初始权值和偏置值；

(2d)利用反向传播BP算法，对深度神经网络进行有监督的微调，得到训练好的深度神经网络；

(2e)将测试样本输入到训练好的深度神经网络中，测试训练好的深度神经网络的性能；

(3)预测匹配关系：

(3a)输入一幅参考图像I₁和一幅待配准图像I₂；

(3b)在参考图像I₁和待配准图像I₂中，分别提取以Harris角点为中心，大小为28×28的图像块；

(3c)利用训练好的深度神经网络提取图像块的本质特征，然后输出图像块中心点之间的匹配标签0或1，其中，1表示匹配，0表示不匹配；

(4)剔除错误的匹配点：

(4a)计算所有匹配标签为1的图像块之间的相关性，将相关性小于0.98的匹配标签置为0；

(4b)按照以下步骤，剔除错误的匹配点；

(4b1)利用单应矩阵模型的随机抽样一致性RANSAC方法，对匹配点进行筛选；

(4b2)重复步骤(4b1)100次，记录每次得到的内点；

(4b3)统计每个内点出现的频率，将频率低的内点的匹配标签置为0，剔除了错误的匹配点；

(5)求解几何变换参数：

(5a)采用最小二乘法，计算参考图像I₁和待配准图像I₂之间的变换矩阵T；

(5b)按照如下所示的变换矩阵T与待配准图像I₂的几何变换参数的关系式，计算待配准图像I₂的几何变换参数，计算待配准图像I₂的几何变换参数：

$T=\left[\begin{array}{ccc}s*cos\left(\mathrm{\θ}\right)& -s*sin\left(\mathrm{\θ}\right)& t_x\\ s*sin\left(\mathrm{\θ}\right)& s*cos\left(\mathrm{\θ}\right)& t_y\\ 0& 0& 1\end{array}\right]$

其中，T表示参考图像I₁和待配准图像I₂之间的变换矩阵，s表示待配准图像I₂的尺度放缩参数，θ表示待配准图像I₂的旋转角度参数，t_x表示待配准图像I₂的水平平移参数，t_y表示待配准图像I₂的垂直平移参数；

(6)配准图像：

利用几何变换参数，对待配准图像I₂进行几何变换，得到配准图像。

2.根据权利要求1所述的基于深度神经网络的SAR图像配准方法，其特征在于：步骤(1b)中所述的滑窗切块的步长为5个像素。

3.根据权利要求1所述的基于深度神经网络的SAR图像配准方法，其特征在于：步骤(2a)中所述的设计的深度神经网络每层神经元之间是全连接。

4.根据权利要求1所述的基于深度神经网络的SAR图像配准方法，其特征在于：步骤(3c)所述的利用训练好的深度神经网络提取图像块的本质特征的具体步骤如下：

第1步：将从参考图像I₁中提取的图像块组成集合A，A＝{a_i|i＝1,2,...n_a}，其中，a_i表示集合A中第i个图像块，n_a表示集合A中图像块的数量；将待配准图像I₂中提取的图像块组成集合B，B＝{b_j|j＝1,2,...n_b}，其中，b_j表示集合B中第j个图像块，n_b表示集合B中图像块的数量；

第2步：从集合A和集合B中，依次各选取一个图像块组成集合C，C＝{c_ij|i＝1,2,...n_a,j＝1,2,...n_b}，其中，c_ij表示集合A中第i个图像块和集合B中第j个图像块组成的一对图像块；

第3步：利用深度神经网络提取集合C中每对图像块的本质特征。

5.根据权利要求1所述的基于深度神经网络的SAR图像配准方法，其特征在于：步骤(4b1)中所述的单应矩阵模型的随机抽样一致性RANSAC方法的具体步骤如下：

第1步：从参考图像I₁和待配准图像I₂的匹配点集中随机选取4对匹配点，利用直接线性变换方法，计算单应矩阵H；

第2步：按照公式d_i＝||H×Z_i-W_i||,i＝1,2,...n，计算第i对匹配点的欧式距离，其中，d_i表示第i对匹配点的欧式距离，||·||表示二范数操作，H表示单应矩阵，Z_i表示第i对匹配点在参考图像I₁中的齐次坐标向量，W_i表示在待配准图像I₂中对应的匹配点的齐次坐标向量，n表示匹配点集中的匹配对数；

第3步：判断欧氏距离是否小于阈值T，若是，则该匹配点为内点，否则，为外点；其中，阈值T的取值范围为：1≤T≤10；

第4步：重复执行第1步、第2步和第3步1000次，记录重复执行中每次得到的内点；

第5步：统计每次得到的内点数量，将内点数量最多的那组内点作为此次RANSAC的最终内点。