CN110827332B - 一种基于卷积神经网络的sar图像的配准方法 - Google Patents

一种基于卷积神经网络的sar图像的配准方法 Download PDF

Info

Publication number
CN110827332B
CN110827332B CN201910951705.4A CN201910951705A CN110827332B CN 110827332 B CN110827332 B CN 110827332B CN 201910951705 A CN201910951705 A CN 201910951705A CN 110827332 B CN110827332 B CN 110827332B
Authority
CN
China
Prior art keywords
image
real
registered
time
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910951705.4A
Other languages
English (en)
Other versions
CN110827332A (zh
Inventor
汲清波
曲志昱
赵雪
代冲
张涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201910951705.4A priority Critical patent/CN110827332B/zh
Publication of CN110827332A publication Critical patent/CN110827332A/zh
Application granted granted Critical
Publication of CN110827332B publication Critical patent/CN110827332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于卷积神经网络的SAR图像的配准方法领域，所述方法包括如下步骤：获取SAR参考图像及待配准SAR实时图，其中实时图与参考图像为同一区域的两幅图像；对参考图像利用BNLMF滤波器算法降噪处理，并提取SIFT特征点，构造训练用数据集，训练AlexNet卷积网络，并得到网络模型；对待配准实时图利用BNLMF滤波器算法降噪，提取SIFT特征点，构造实时图的样本集；将实时图的样本集输入到训练好的AlexNet卷积网络模型中，预测匹配关系，获得初始匹配特征点对。本发明方法能够提升数据拟合的鲁棒性，抑制积累误差对数据造成进一步的干扰，从而实现对变换矩阵的稳健估计，有效提升配准精度。

Description

一种基于卷积神经网络的SAR图像的配准方法
技术领域
本发明涉及SAR图像配准技术领域，尤其涉及一种基于卷积神经网络的SAR图像的配准方法领域。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种具有全天候、全天时、高分辨率等优点的主动式有源微波遥感成像雷达，可以安装在卫星、飞机、机舰等平台上，用于军事、农业、灾害监测、资源勘查等领域，因此越来越受到广泛关注。
SAR图像配准是对不同时间或不同角度获取的两幅同一场景的SAR图像匹配的过程。现有的SAR图像配准大致分为两大类：基于灰度配准和基于特征配准。基于灰度的SAR图像配准主要是依据就算待配准实时图像与预存的参考图像之间的像素灰度的相似性，寻找两幅图之间最大相似性的几何变换。这类方法比较简单，易于实现，但是受噪声干扰明显。基于特征的SAR图像配准方法通过提取待配准实时图像和参考图像中明显且稳定的特征，然后匹配特征并计算几何变换参数。这类方法计算量小，对图像的灰度变化适应性较强，但由于SAR图像中存在的相干斑噪声，易使得特征点的提取出错，导致错误匹配。
随着深度学习的发展，卷积神经网络已经在图像分类、目标识别等领域取得显著成绩，证明卷积神经网络在提取图像特征方面与传统的人工提取特征相比，它能提取图像中更加本质的特征，有利于图像的识别与分类。可以充分利用卷积神经网络强大的提取特征的能力，提高图像配准的精度与鲁棒性。
发明内容
本发明的目的在于提供一种稳健快速的基于卷积神经网络的SAR图像配准，能够有效减少相干斑噪声的影响，提高配准的精确度。
本发明是这样实现的：
一种基于卷积神经网络的SAR图像的配准方法，所述方法包括如下步骤：
(1)获取SAR参考图像及待配准SAR实时图，其中实时图与参考图像为同一区域的两幅图像；
(2)对参考图像利用BNLMF滤波器算法降噪处理，并提取SIFT特征点，构造训练用数据集，训练AlexNet卷积网络，并得到网络模型；
(3)对待配准实时图利用BNLMF滤波器算法降噪，提取SIFT特征点，构造实时图的样本集；
(4)将实时图的样本集输入到训练好的AlexNet卷积网络模型中，预测匹配关系，获得初始匹配特征点对；
(5)采用MSAC策略对所述初始匹配特征点对进行迭代拟合，剔除错误匹配特征对，得到精确匹配特征点对；
(6)利用所述精确匹配特征点对计算单应矩阵，构造几何变换模型，利用几何变换模型将待配准得的SAR图像向参考图像配准。
所述步骤(2)和步骤(3)中，利用BNLMF滤波器算法降噪处理的具体步骤如下：
1)将SAR图像z划分为部分重叠图像块z(i)，i∈Ω，图像块的中心之间可以有一段距离，Ω表示整个图像空间，i是Ω空间中某一像素的位置坐标，也可以表示为：i∈Ω1，其中Ω1是Ω的子集；
2)对于每个图像块z(i)，i∈Ω1，查找它周围的邻居图像块z(j)，j∈Δi，然后，计算每个像素值
Figure BDA0002225968450000021
其中Δi是一个窗口大小为(2f+1)×(2f+1)的邻域，滤波器大小为h×h，
Figure BDA0002225968450000022
3)对于每个像素值
Figure BDA0002225968450000023
设Ai是包含所有不同恢复的图像块的估计值的向量，则
Figure BDA0002225968450000024
等于对Ai求平均，在对所有像素进行处理后，得到干净图像的初始估计量
Figure BDA0002225968450000025
4)用K定义最大迭代次数，让k＝1，当k≤K时执行循环操作：根据z和
Figure BDA0002225968450000026
计算新恢复的恢复图像块
Figure BDA0002225968450000027
其中
Figure BDA0002225968450000028
由此得到了更新的干净图像的估计量
Figure BDA0002225968450000029
用
Figure BDA00022259684500000210
更新
Figure BDA00022259684500000211
让k＝k+1，重复步骤3来重复滤波过程；
5)最后恢复的图像
Figure BDA00022259684500000212
等于最新的
Figure BDA00022259684500000213
所述步骤(2)中，构造训练用数据集的具体步骤如下：
(a)采用SIFT算法对参考图像进行SIFT特征点M提取，包含p个特征点，以提取的特征点的坐标为中心，切割54×54的特征图像块，其中第p个特征点坐标为xp(i,j)，其中i，j表示特征点的坐标；
(b)将参考图像做缩小、放大以及旋转等仿射变换T，并找到与步骤(a)提到的原图特征点集中相应的特征点
Figure BDA00022259684500000214
缩放比例范围在[0.5,1.8]，变化间隔为0.1，旋转角度范围[0°,360°]，每次旋转5°；
(c)在仿射变换T后的图像上切割与步骤(a)中提取的SIFT特征点M的坐标所对应的特征点N，同样为大小54×54的正方形图像块；
(d)将原始图像与仿射变换后的图像在同一个位置切割的特征图像块构成一类数据集，不同特征点为不同类，可分为p类，每一类包含86图像块，构成数据集。
所述步骤(2)中，训练AlexNet卷积网络的具体步骤如下：
a)利用传统AlexNet卷积网络，构造改进的AlexNet网络模型；
b)修改输入层的输入图像大小为[115×115×1]；
c)第一个卷积层，卷积核的数量为96，卷积核的大小为7×7，stride＝2，stride表示的是步长；
d)用一个全连接层，一个softmax层，一个分类输出层代替原网络的最后三层，全连接层的节点个数为参考图像的特征点的个数，共p类；
e)随机选取数据集的70％特征图像块作为训练样本，剩余的30％作为验证样本；
f)预训练修改后的AlexNet网络，更新该网络的相关权重。
所述步骤(3)中，构造实时图样本集的具体步骤为：利用SIFT算法对降噪后的待配准实时SAR图像生成m个特征点，以每一个特征点为中心xm(i,j)，切割大小为54×54的正方形特征图像块，构成实时图的样本集，其中i,j表示特征点中心点的坐标，m表示特征点的序号。
所述步骤(6)中，精确几何变换模型如下：
Figure BDA0002225968450000031
其中，x表示待配准图像的像素点在水平方向上的坐标，y表示待配准图像中的像素点在垂直方向上的坐标，x′表示配准后图像的像素点在水平方向上的坐标，y′表示配准后图像的像素点在垂直方向上的坐标，v表示待配准实时图像的尺度放缩参数，θ表示待配准实时图像的旋转角度参数，tx表示待配准实时图像的水平位移参数，ty表示待配准实时图像的垂直位移参数。
本发明的有益效果是：
本发明中所采用的Yingyue Zhou于2018年提出的BNLMF降噪算法，可以有效减少相干斑噪声的影响，提高获取特征点的精确度，提高配准精度；本发明中采用对参考图像做仿射变换来构造训练数据集，克服了现有技术中SAR图像训练样本不足的问题，能够有效提高算法的抗旋转、抗尺度变换的性能，提高配准精度；本发明中利用卷积神经网络预测两幅图之间的匹配关系，通过卷积神经网路充分学习SAR图像的本质特征，克服了现有的人工提取特征的限制，降低了计算量与复杂性，有效的增加特征点的匹配对数，提高配准精度；本发明中采用MSAC策略对匹配特征点对进行迭代拟合，选取4个样本参数寻找一个最佳的单应矩阵。MSAC算法是对随机抽样一致性算法(random sample consensus,RANSAC)的改进，通过修改RANSAC算法的代价函数,使得RANSAC策略对阈值敏感性降低。本发明方法能够提升数据拟合的鲁棒性，抑制积累误差对数据造成进一步的干扰，从而实现对变换矩阵的稳健估计，有效提升配准精度。
附图说明
图1a为训练网络模型的过程图；
图1b为实时图配准流程图；
图2a为参考SAR图像；
图2b为待配准实时SAR图像；
图3为过BNLMF滤波去噪后参考图像(左)与实时图像(右)对比图；
图4a为部分随机显示训练集图；
图4b为随机选取训练集一类特征图像块集图；
图5为经过AlexNet网络后预测的匹配特征点对图；
图6为利用MSAC算法对预测匹配特征点对进行剔除误匹配，得到精确的匹配特征点对图；
图7为待配准实时图通过几何变换后在参考图像中显示位置图。
具体实施方式
下面结合附图对本发明作进一步详细描述。
一种基于卷积神经网络的SAR图像配准方法，所述方法包括以下步骤：
步骤1、获取SAR参考图像及待配准实时图SAR图像，其中实时图与参考图像为同一区域的两幅图像；
步骤2、对参考图像利用BNLMF滤波器算法降噪处理，并提取SIFT特征点，构造训练用数据集，训练AlexNet卷积网络，并得到网络模型；
步骤3、对待配准实时图利用BNLMF滤波器算法降噪，提取SIFT特征点，构造实时图的样本集；
步骤4、将实时图的样本集输入到训练好的AlexNet卷积网络模型中，预测匹配关系，获得初始匹配特征点对；
步骤5、采用MSAC策略对所述初始匹配特征点对进行迭代拟合，剔除错误匹配特征对，得到精确匹配特征点对；
步骤6、利用所述精确匹配特征点对计算单应矩阵，构造几何变换模型，利用几何变换模型将待配准得的SAR图像向参考图像配准。
步骤2与步骤3所述BNLMF降噪方法，选择邻域图像块大小为(2f+1)×(2f+1)，选择f＝2,滤波器参数为h＝5，相似图像块的搜索区域t＝5。
步骤2所述构造训练数据集具体包括以下子步骤：
a.利用SIFT算法对降噪后的参考图像生成特征点集M，包含p个特征点；
b.以每一个特征点为中心xp(i,j)，切割大小为54×54的正方形特征图像块，i,j表示特征点的坐标，p表示特征点在特征点集M的序号；
c.将参考图像做平移、缩小、放大以及旋转等仿射变换T，并找到与步骤a)提到的原图特征点集中相应的特征点
Figure BDA0002225968450000051
其中Tn为第n个仿射变换T，缩放比例范围为[0.5,1.8]，变化间隔为0.1；旋转角度为[0°,360°]，每次旋转5°。
d.以特征点
Figure BDA0002225968450000052
为中心，在仿射变换后图像中切割大小为54×54的正方形特征图像块；
e.每一个特征点及其相应的仿射变换图像块构成一类数据集，特征点的总个数p为数据集的类别数，以此构成网络的数据集。
步骤2训练AlexNet卷积网络模型具体包括以下子步骤：
1.利用传统AlexNet卷积网络，构造改进的AlexNet网络模型；
2.修改输入层的输入图像大小为[115×115×1]；
3.第一个卷积层，卷积核的数量为96，卷积核的大小为7×7，stride＝2，stride表示的是步长；
4.用一个全连接层，一个softmax层，一个分类输出层代替原网络的最后三层，全连接层的节点个数为参考图像的特征点的个数，共p类；
5.随机选取数据集的70％特征图像块作为训练样本，剩余的30％作为验证样本；
6.预训练修改后的AlexNet网络，更新该网络的相关权重；
步骤3所述实时图样本集的构成具体包括以下子步骤：
1).利用SIFT算法对降噪后的待配准实时SAR图像生成m个特征点；
2).以每一个特征点为中心xm(i,j)，切割大小为54×54的正方形特征图像块，构成实时图的样本集，其中i,j表示特征点中心点的坐标，m表示特征点的序号。
步骤4所述预测匹配关系具体包括以下子步骤：
1.将实时图样本集输入到训练好的AlexNet网络模型中，对实时图的样本集分类，得到初步的匹配关系；
2.若判定一样本归属于某一类的最大概率小于设定的阈值0.99，则删去该匹配点对。
步骤5具体包括以下子步骤：
所述进一步处理所述初始匹配点对，生成匹配结果具体为，采用MSAC算法寻找一个最佳单应矩阵H，矩阵大小为3×3，由于该矩阵有6个未知，则至少需要3个样本参数求解方程。其中单应矩阵模型为：
Figure BDA0002225968450000061
利用单应矩阵模型的MSAC算法，重复k＝1000次，记录每次得到的内点，剔除误匹配，求解单应矩阵参数。
步骤6计算单应矩阵具体包括以下子步骤：
假定参考图像与实时图像之间只存在平移、旋转、缩放等仿射变换，所述精确几何变换模型为
Figure BDA0002225968450000062
其中，x表示待配准图像的像素点在水平方向上的坐标，y表示待配准图像中的像素点在垂直方向上的坐标，x′表示配准后图像的像素点在水平方向上的坐标，y′表示配准后图像的像素点在垂直方向上的坐标，v表示待配准实时图像的尺度放缩参数，θ表示待配准实时图像的旋转角度参数，tx表示待配准实时图像的水平位移参数，ty表示待配准实时图像的垂直位移参数。
本发明进一步描述如下：
参照图1，本发明提供的基于卷积神经网络的SAR图像的配准方法包括以下步骤：
步骤1、获取待配准实时图SAR影像及预存的SAR参考图像，其中实时图与参考图像为同一区域的两幅图像；
步骤2、对参考图像利用BNLMF算法降噪处理，并提取SIFT特征点，构造训练数据集，训练AlexNet卷积网络，得到网络模型；
(1)对参考图像利用BNLMF算法降噪
根据Yingyue Zhou提出的抑制散斑噪声的(Bayesian nonlocal means filter,BNLMF)滤波算法滤除SAR影像的相干斑噪声。输入图像为观测到的含有斑点噪声的SAR图像z，输出图像为恢复后的图像
Figure BDA0002225968450000071
它近似于潜在的干净图像u。BNLMF算法的基本原理是在计算中加入了每一个点的权重值，所以能够保证在相邻且相差很大的点在方框中求平均值时相互之间的影响减小，也就能够尽量保留图像边缘细节部分。总的来说BNLMF降噪的方法就是遍历整个原始SAR图像，通过搜索窗口中的像素值的加权和来替换掉目标像素值。跟目标像素越相近的，权重越大。
1.将SAR图像z划分为部分重叠图像块z(i)，i∈Ω，图像块的中心之间可以有一段距离。Ω表示整个图像空间，i是Ω空间中某一像素的位置坐标。也可以表示为：i∈Ω1，其中Ω1是Ω的子集；
2.对于每个图像块z(i)，i∈Ω1，查找它周围的邻居图像块z(j)，j∈Δi。然后，计算
Figure BDA0002225968450000072
其中Δi是一个窗口大小为(2f+1)×(2f+1)的邻域，滤波器大小为h×h，
Figure BDA0002225968450000073
3.对于每个像素值
Figure BDA0002225968450000074
设Ai是包含所有不同恢复的图像块的估计值的向量，则
Figure BDA0002225968450000075
等于对Ai求平均。在对所有像素进行处理后，得到干净图像的初始估计量
Figure BDA0002225968450000076
4.用K定义最大迭代次数，让k＝1。循环(while k<＝K)：根据z和
Figure BDA0002225968450000077
计算新恢复的恢复图像块
Figure BDA0002225968450000078
其中
Figure BDA0002225968450000079
由此得到了更新的干净图像的估计量
Figure BDA00022259684500000710
用
Figure BDA00022259684500000711
更新
Figure BDA00022259684500000712
让k＝k+1，重复步骤3来重复滤波过程；
5.最后恢复的图像
Figure BDA00022259684500000713
等于最新的
Figure BDA00022259684500000714
权利要求保护范围内，利用f＝2,h＝5时的滤波器对所述参考图像与待配准实时图SAR图像进行去噪处理。
(2)构造训练数据集.
a.采用SIFT算法对参考图像进行SIFT特征点M提取，包含p个特征点，以提取的特征点的坐标为中心，切割54×54的特征图像块，其中第p个特征点坐标为xp(i,j)；
b.将参考图像做缩小、放大以及旋转等仿射变换T，缩放比例范围在[0.51.8]，变化间隔为0.1，旋转角度范围[0°360°]，每次旋转5°；
c.在仿射变换T后的图像上切割与步骤a)中提取的SIFT特征点M的坐标所对应的特征点N，同样为大小54×54的正方形图像块；
d.将原始图像与仿射变换后的图像在同一个位置切割的特征图像块构成一类数据集，不同特征点为不同类，可分为p类，每一类包含86图像块，构成数据集。
(3)训练AlexNet卷积网络，得到网络模型。
1)利用传统AlexNet卷积网络，构造改进的AlexNet网络模型，修改AlexNet网络，仅提取原网络的第3-22层；
2)修改输入层的输入图像大小为[115×115×1]；
3)修改第一个卷积层，卷积核的数量为96，卷积核的大小为7×7，stride＝2，stride表示的是步长；
4)用一个全连接层，一个softmax层，一个分类输出层代替原网络的最后三层，全连接层的节点个数为参考图像的特征点的个数，共p类；
5)将随机选取数据集的70％特征图像块作为训练样本，剩余的30％作为验证样本；
6)为了加快学习速度，将Weight和Bias的学习率定为20，初始学习率为0.001，训练80代，得到训练好的AlexNet网络，网络验证的精确度为0.9817。
步骤3、对待配准实时图利用BNLMF算法降噪，提取SIFT特征点，构造实时图的样本集；
1.对待配准实时图利用BNLMF算法降噪。
采用对参考图像降噪相同的方法与参数进行去噪。
2.构造实时图的样本集
(a)利用SIFT算法对降噪后的待配准实时SAR图像生成m个特征点；
(b)以每一个特征点为中心xm(i,j)，切割大小为54×54的正方形特征图像块，构成实时图的样本集，其中i,j表示特征点中心点的坐标，m表示特征点的序号。
步骤4、将实时图的样本集输入到训练好的AlexNet卷积网络模型中，预测匹配关系，获得初始匹配特征点对；
<1>将实时图的样本集输入到训练好的AlexNet网络中；
<2>将样本集中的实时图的图像块分类，预测匹配关系；
<3>若一图像块属于某一类的最大概率小于设定的阈值0.99，则删去该匹配点对；
<4>获得初始的匹配特征点对。
步骤5，采用MSAC策略对所述初始匹配特征点对进行迭代拟合，剔除错误匹配特征对，得到精确匹配特征点对；
MSAC算法是对随机抽样一致性算法(random sample consensus，RANSAC)的改进。
所述进一步处理所述初始匹配点对，生成匹配结果具体为，采用MSAC算法寻找一个最佳单应矩阵H，矩阵大小为3×3，由于该矩阵有8个未知，则至少需要4对特征点对求解方程。为了得到归一化单应矩阵，可以加一单位向量限制,即h33＝1。其中归一化单应矩阵模型为：
Figure BDA0002225968450000091
将4对特征点对像素代入上述矩阵方程中，展开即得
Figure BDA0002225968450000092
具体步骤如下：
[1].初始化3×3的单应矩阵H为零矩阵，设置循环次数k＝1000；
[2].从所述多对初始匹配特征点对中随机选取3组匹配特征点对为内点集I，若这3个样本之间共线，则重新选取特征点对；
[3].利用直接线性变换方法，计算出单应矩阵H，记为模型M；
[4].利用模型M测试所有特征点对，并计算满足这个模型数据点的个数与代价函数，若代价函数小于阈值T，将该特征点对加入内点集I，其中阈值的取值范围为：1≤T≤10；
[5].若模型M的拟合优于矩阵H,用模型M替换矩阵H,同时更新迭代次数k；
[6].如果迭代次数大于k，则退出迭代；否则迭代次数k加1，并重复上述步骤；
[7].当含有最多内点的模型时,该模型为最优的单应矩阵H。
迭代次数k在不大于最大迭代次数的情况下，是在不断更新而不是固定的，具体公式如下：
Figure BDA0002225968450000093
其中，p为置信度，一般取0.995；w为“内点”的比例；m为计算模型所需要的最少样本数。
经过MSAC算法剔除错误匹配特征点对，保留精确匹配特征点对。
步骤6，利用所述精确匹配特征点对计算几何变换矩阵，构造几何变换模型，利用几何变换矩阵参数将待配准得的SAR影像配准。
假定两幅图像之间只存在平移、旋转、缩放等仿射变换，则利用上述单应性矩阵可以构造几何变换模型，所述精确几何变换模型如下：
Figure BDA0002225968450000101
其中，x表示待配准图像的像素点在水平方向上的坐标，y表示待配准图像中的像素点在垂直方向上的坐标，x′表示配准后图像的像素点在水平方向上的坐标，y′表示配准后图像的像素点在垂直方向上的坐标，v表示待配准实时图像的尺度放缩参数，θ表示待配准实时图像的旋转角度参数，tx表示待配准实时图像的水平位移参数，ty表示待配准实时图像的垂直位移参数。
利用单应矩阵对待配准实时SAR图像进行几何变换，得到待配准图像的位置。
综上所述，本发明属于合成孔径雷达影像处理领域，提供一种基于卷积神经网络的SAR影像的图像配准方法。该方法包括如下步骤：获取待配准的实时图SAR图像以及参考图SAR图像；对参考图像利用BNLMF算法降噪处理，并提取SIFT特征点，构造训练数据集，训练AlexNet卷积网络，得到网络模型；对待配准实时图利用BNLMF算法降噪，提取SIFT特征点，构造实时图的样本集；将实时图的样本集输入到训练好的AlexNet卷积网络模型中，预测匹配关系，获得初始匹配特征点对；采用MSAC策略剔除错误匹配特征对，对精确匹配特征对计算单应矩阵，得到配准的SAR影像。本发明能够有效减少SAR图像相干斑噪声的干扰，能够有效抗旋转、抗尺度变换，具有鲁棒性，能够实现特征点对的精确匹配，对几何变换矩阵的精确估计，从而有效提高配准精度。

Claims (4)

1.一种基于卷积神经网络的SAR图像的配准方法，其特征是：所述方法包括如下步骤：
步骤1：获取SAR参考图像及待配准SAR实时图，其中实时图与参考图像为同一区域的两幅图像；
步骤2：对参考图像利用BNLMF滤波器算法降噪处理，并提取SIFT特征点，构造训练用数据集，训练AlexNet卷积网络，并得到训练好的AlexNet卷积网络模型；
构造训练用数据集的具体步骤如下：
步骤2.1：采用SIFT算法对参考图像进行SIFT特征点M提取，包含p个特征点；以提取的特征点的坐标为中心，切割54×54的特征图像块；其中，第p个特征点坐标为xp(i,j)；i，j表示特征点的坐标；
步骤2.2：将参考图像做缩小、放大以及旋转仿射变换T，缩放比例范围在[0.5,1.8]，变化间隔为0.1，旋转角度范围[0°,360°]，每次旋转5°；
步骤2.3：在仿射变换T后的图像上切割与步骤2.1中提取的SIFT特征点M的坐标所对应的特征点N，同样为大小54×54的正方形图像块；
步骤2.4：将原始图像与仿射变换后的图像在同一个位置切割的特征图像块构成一类数据集，不同特征点为不同类，可分为p类，每一类包含86个图像块，构成数据集；
训练AlexNet卷积网络的具体步骤如下：
步骤2.5：利用传统AlexNet卷积网络，构造改进的AlexNet网络模型，修改AlexNet网络，仅提取原网络的第3-22层；步骤2.6：修改输入层的输入图像大小为[115×115×1]；步骤2.7：修改第一个卷积层，卷积核的数量为96，卷积核的大小为7×7，stride＝2，stride表示的是步长；步骤2.8：用一个全连接层、一个softmax层、一个分类输出层代替原网络的最后三层，全连接层的节点个数为参考图像的特征点的个数，共p类；
步骤2.9：将随机选取数据集的70％特征图像块作为训练样本，剩余的30％作为验证样本；
步骤2.10：预训练修改后的AlexNet网络，更新该网络的相关权重；
步骤3：对待配准实时图利用BNLMF滤波器算法降噪，提取SIFT特征点，构造实时图的样本集；
步骤4：将实时图的样本集输入到训练好的AlexNet卷积网络模型中，预测匹配关系，获得初始匹配特征点对；
步骤5：采用MSAC策略对所述初始匹配特征点对进行迭代拟合，剔除错误匹配特征对，得到精确匹配特征点对；
步骤6：利用所述精确匹配特征点对计算单应矩阵，构造几何变换模型，利用几何变换模型将待配准得的SAR图像向参考图像配准。
2.根据权利要求1所述的一种基于卷积神经网络的SAR图像的配准方法，其特征是：所述步骤2和步骤3中，利用BNLMF滤波器算法降噪处理的具体步骤如下：
步骤3.1：将SAR图像z划分为部分重叠图像块z(i)，i∈Ω，图像块的中心之间允许有一段距离；Ω表示整个图像空间，i是Ω空间中某一像素的位置坐标，即i∈Ω1，Ω1是Ω的子集；
步骤3.2：对于每个图像块z(i)，i∈Ω1，查找它周围的邻居图像块z(j)，j∈Δi，然后计算每个像素值
Figure FDA0003843828150000021
其中，Δi是一个窗口大小为(2f+1)×(2f+1)的邻域，滤波器大小为h×h；
Figure FDA0003843828150000022
步骤3.3：对于每个像素值
Figure FDA0003843828150000023
设Ai是包含所有不同恢复的图像块的估计值的向量，则
Figure FDA0003843828150000024
等于对Ai求平均，在对所有像素进行处理后，得到干净图像的初始估计量
Figure FDA0003843828150000025
步骤3.4：用K定义最大迭代次数，让k＝1，当k≤K时执行循环操作：根据z和
Figure FDA0003843828150000026
计算新恢复的恢复图像块
Figure FDA0003843828150000027
其中
Figure FDA0003843828150000028
由此得到了更新的干净图像的估计量
Figure FDA0003843828150000029
用
Figure FDA00038438281500000210
更新
Figure FDA00038438281500000211
让k＝k+1，重复步骤3.3来重复滤波过程；
步骤3.5：最后恢复的图像
Figure FDA00038438281500000212
等于最新的
Figure FDA00038438281500000213
3.根据权利要求1所述的一种基于卷积神经网络的SAR图像的配准方法，其特征是：所述步骤3中，构造实时图样本集的具体步骤为：利用SIFT算法对降噪后的待配准实时SAR图像生成m个特征点，以每一个特征点为中心xm(i,j)，切割大小为54×54的正方形特征图像块，构成实时图的样本集，其中i,j表示特征点中心点的坐标，m表示特征点的序号。
4.根据权利要求1所述的一种基于卷积神经网络的SAR图像的配准方法，其特征是：所述步骤6中，精确几何变换模型如下：
Figure FDA00038438281500000214
其中，x表示待配准图像的像素点在水平方向上的坐标，y表示待配准图像中的像素点在垂直方向上的坐标，x′表示配准后图像的像素点在水平方向上的坐标，y′表示配准后图像的像素点在垂直方向上的坐标，v表示待配准实时图像的尺度放缩参数，θ表示待配准实时图像的旋转角度参数，tx表示待配准实时图像的水平位移参数，ty表示待配准实时图像的垂直位移参数。
CN201910951705.4A 2019-10-09 2019-10-09 一种基于卷积神经网络的sar图像的配准方法 Active CN110827332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910951705.4A CN110827332B (zh) 2019-10-09 2019-10-09 一种基于卷积神经网络的sar图像的配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910951705.4A CN110827332B (zh) 2019-10-09 2019-10-09 一种基于卷积神经网络的sar图像的配准方法

Publications (2)

Publication Number Publication Date
CN110827332A CN110827332A (zh) 2020-02-21
CN110827332B true CN110827332B (zh) 2022-12-13

Family

ID=69548763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910951705.4A Active CN110827332B (zh) 2019-10-09 2019-10-09 一种基于卷积神经网络的sar图像的配准方法

Country Status (1)

Country Link
CN (1) CN110827332B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070695A (zh) * 2020-09-03 2020-12-11 深圳大学 一种配准矩阵的校正方法和计算机设备
CN112947385B (zh) * 2021-03-22 2021-11-02 华中科技大学 一种基于改进Transformer模型的飞行器故障诊断方法和系统
CN113223065B (zh) * 2021-03-30 2023-02-03 西南电子技术研究所（中国电子科技集团公司第十研究所） Sar卫星图像与光学图像自动匹配方法
CN115409689B (zh) * 2021-05-28 2023-09-29 南京博视医疗科技有限公司 一种多模态视网膜眼底图像的配准方法及装置
CN113838107B (zh) * 2021-09-23 2023-12-22 哈尔滨工程大学 一种基于稠密连接的异源图像自动配准方法
CN113643341B (zh) * 2021-10-12 2021-12-28 四川大学 一种基于分辨率自适应的异尺度目标图像配准方法
CN114359359B (zh) * 2022-03-11 2022-07-01 北京化工大学 多任务光学和sar遥感图像配准方法、设备和介质
CN114332182B (zh) * 2022-03-14 2022-07-22 北京化工大学 基于多特征约束的sar图像配准方法、设备和介质
EP4386430A1 (en) * 2022-12-16 2024-06-19 Iceye Oy Geolocation error detection method and system for synthetic aperture radar images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766811A (zh) * 2018-12-31 2019-05-17 复旦大学 一种星载sar图像中海面船只的端到端检测与识别方法
CN110097524A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于融合卷积神经网络的sar图像目标检测方法
CN110111371A (zh) * 2019-04-16 2019-08-09 昆明理工大学 一种基于卷积神经网络的斑点图图像配准方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020922A (zh) * 2013-01-10 2013-04-03 西安电子科技大学 基于pca变换的sar图像相干斑抑制方法
CN103810699B (zh) * 2013-12-24 2017-01-11 西安电子科技大学 基于无监督深度神经网络的sar图像变化检测方法
CN108510467B (zh) * 2018-03-28 2022-04-08 西安电子科技大学 基于深度可变形卷积神经网络的sar图像目标识别方法
CN108629762B (zh) * 2018-03-28 2021-08-03 浙江工业大学 一种骨龄评测模型减少干扰特征的图像预处理方法及系统
CN109035315A (zh) * 2018-08-28 2018-12-18 武汉大学 融合sift特征和cnn特征的遥感图像配准方法及系统
CN109711444A (zh) * 2018-12-18 2019-05-03 中国科学院遥感与数字地球研究所 一种新的基于深度学习的遥感影像配准方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766811A (zh) * 2018-12-31 2019-05-17 复旦大学 一种星载sar图像中海面船只的端到端检测与识别方法
CN110111371A (zh) * 2019-04-16 2019-08-09 昆明理工大学 一种基于卷积神经网络的斑点图图像配准方法
CN110097524A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于融合卷积神经网络的sar图像目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进SIFT和深度学习的SAR图像配准研究;张姣姣;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190215(第（2019）02期);I140-1185 *

Also Published As

Publication number Publication date
CN110827332A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN110827332B (zh) 一种基于卷积神经网络的sar图像的配准方法
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN107301661B (zh) 基于边缘点特征的高分辨率遥感图像配准方法
CN101398934B (zh) 对图像中的对象进行定位的方法和系统
CN110310310B (zh) 一种针对航空影像配准的改进方法
Chen et al. Iterative scale-invariant feature transform for remote sensing image registration
CN110826458A (zh) 一种基于深度学习的多光谱遥感图像变化检测方法及系统
CN108399627B (zh) 视频帧间目标运动估计方法、装置和实现装置
CN112446436A (zh) 基于生成对抗网络的抗模糊无人驾驶车辆多目标跟踪方法
CN109934799B (zh) 多时相差异影像模值计算及变化检测方法
CN109559273B (zh) 一种面向车底图像的快速拼接方法
CN111931686B (zh) 一种基于背景知识增强的视频卫星目标跟踪方法
CN113610141B (zh) 自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统
Zhou et al. Nonrigid feature matching for remote sensing images via probabilistic inference with global and local regularizations
CN111462196A (zh) 一种基于布谷鸟搜索和Krawtchouk矩不变量的遥感图像匹配方法
CN112183434A (zh) 建筑物变化检测方法和装置
CN109191503B (zh) 基于条件随机场的遥感影像变化检测方法及系统
CN109785372B (zh) 基于软决策优化的基础矩阵鲁棒估计方法
CN113436218B (zh) 基于高斯滤波与均值滤波的sar图像边缘检测方法
CN108509835B (zh) 基于DFIC超像素的PolSAR图像地物分类方法
CN110929598A (zh) 基于轮廓特征的无人机载sar图像匹配方法
CN109697474B (zh) 基于迭代贝叶斯的合成孔径雷达影像变化检测方法
CN107729903A (zh) 基于区域概率统计和显著性分析的sar图像目标检测方法
CN110322476B (zh) 一种改进stc和surf特征联合优化的目标跟踪方法
CN110084203B (zh) 基于上下文关联的全卷积网络飞机层级检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant