CN114708313A - 基于双支路神经网络的光学与sar图像配准方法 - Google Patents

基于双支路神经网络的光学与sar图像配准方法 Download PDF

Info

Publication number
CN114708313A
CN114708313A CN202210301648.7A CN202210301648A CN114708313A CN 114708313 A CN114708313 A CN 114708313A CN 202210301648 A CN202210301648 A CN 202210301648A CN 114708313 A CN114708313 A CN 114708313A
Authority
CN
China
Prior art keywords
image
sar
optical
characteristic
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210301648.7A
Other languages
English (en)
Inventor
吴艳兰
杨辉
王彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202210301648.7A priority Critical patent/CN114708313A/zh
Publication of CN114708313A publication Critical patent/CN114708313A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像配准技术领域，涉及一种基于双支路神经网络的光学与SAR图像配准方法，包括：一、提取光学和SAR图像的点特征信息，将点特征信息转化为以特征点为中心的特征图像作为输入信息；二、利用双支路神经网络训练识别输入的光学和SAR的特征图像信息的匹配关系；利用光学和SAR图像的样本数据制作样本库输入到网络中训练，分析网络模型的配准精度，迭代对网络进行训练，选出训练效果最佳的模型作为模型文件，获取光学和SAR的正确图像匹配对；三、筛选出正确匹配的图像对的特征点信息，利用匹配特征点计算光学和SAR的图像变换矩阵参数信息，获取到最终图像信息。本发明能较佳地进行光学和SAR的图像配准。

Description

基于双支路神经网络的光学与SAR图像配准方法
技术领域
本发明涉及光学和SAR的图像配准技术领域，具体地说，涉及一种基于双支路神经网络的光学与SAR图像配准方法。
背景技术
随着遥感探测技术的不断发展，越来越多的遥感卫星正不断发射应用于生产生活中，不同的遥感卫星获取的数据包含多传感器、多空间分辨率、多时间分辨率和多光谱分辨率等多种不同类型，为进行各种复杂的遥感图像处理应用，单一类型的遥感数据可能无法满足数据需要，需要把多种来源的遥感数据整合提取出更全面的有效信息来处理，即实现多源遥感信息的融合处理。为了实现多源遥感信息的融合，遥感图像配准成为了解决此类问题的一个重要方法。遥感图像配准是指对不同传感器获取的不同时间的同一场景下的两幅或多幅遥感影像数据进行分析处理，并把待配准图像转换至与参考图像同一空间坐标系下的过程。由于不同类型遥感数据的多源性和成像变化的复杂性，如何将多源遥感数据快速准确的实现图像配准，成为当下遥感图像处理应用的一个热门问题。
在多源遥感图像配准中，光学图像和合成孔径雷达(SAR，Synthetic ApertureRadar)图像的配准是一个重要的研究方向。光学图像的成像波段在可见光波段和部分红外波段，SAR图像的成像波段在微波波段。光学图像含有丰富的光谱灰度信息，成像依赖于地物本身的反射能力，在一定的波谱范围和光照条件下可以获得各类地物丰富的属性信息，但光学图像在光照不佳、雨雪雾霾等条件影响下无法清晰成像。SAR图像是主动发射的遥感系统获得的图像，只记录单一波段的回波脉冲信号，无法获得丰富的光谱信息，但SAR图像可以无视雨雪雾霾天气影响，有较强的地表穿透性，对地物纹理结构信息识别好，且因主动发射电磁波的特性，具有全天时和全天候对地观测的特性。因此，针对上述光学图像和SAR图像各自的优缺点，将二者图像配准融合，既含有丰富的光谱信息，又克服天气变化对图像质量的影响，保留地物的主要纹理结构信息，具有全天时和全天候成像的特点，实现优势互补，对多源遥感图像配准和信息融合有重要的意义。
由于光学和SAR的成像传感器的不同，光学和SAR的图像纹理结构有很大的差异，如何克服成像原理不同导致的图像结构差异对光学和SAR的图像配准的影响，实现在同一个坐标系内处理光学和SAR的图像数据是光学和SAR的图像配准的难题。
发明内容
本发明的内容是提供一种基于双支路神经网络的光学与SAR图像配准方法，其能够克服现有技术的某种或某些缺陷。
根据本发明的一种基于双支路神经网络的光学与SAR图像配准方法，其包括以下步骤：
一、特征提取：获取光学和SAR图像各自的特征图像信息；采用特征点提取的方式提取光学和SAR图像的点特征信息，将点特征信息转化为以特征点为中心的邻域特征图像信息作为特征匹配网络的输入信息；
二、特征匹配：利用双支路神经网络训练识别输入的光学和SAR的特征图像信息的匹配关系；其中利用光学和SAR图像的样本数据制作样本库输入到网络中训练，通过精度评价分析网络模型的配准精度，迭代对网络进行训练，选出训练效果最佳的模型作为特征匹配网络的模型文件，用以检验光学和SAR特征图像的匹配关系，获取光学和SAR的正确图像匹配对；
三、特征筛选输出：分析特征匹配网络获取的光学和SAR的匹配图像对，利用图像后处理进一步分析匹配图像对的正确匹配关系，筛选出正确匹配的图像对的特征点信息，利用匹配特征点计算光学和SAR的图像变换矩阵参数信息，实现待配准图像向参考图像的图像重采样及坐标系的统一，获取到最终配准的图像信息。
作为优选，步骤一中，特征点提取采用SIFT点特征提取算法。
作为优选，步骤一中，将点特征信息转化为以特征点为中心的邻域特征图像信息的方法为：对特征点周围区域匹配，获取到特征点周围的地物纹理信息即得特征图像。
作为优选，特征匹配包括以下步骤：
步骤1)光学图像和SAR图像在各分支内的图像特征提取，在各分支内通过卷积神经网络的层级特点提取光学和SAR的各自重要图像特征；
步骤2)提取后的光学和SAR的图像特征的融合分类，通过全连接层的层级训练提取分析融合后的图像特征，输出对光学和SAR图像的匹配判定。
作为优选，步骤1)中，分别将光学和SAR图像的输入图像块作为起始输入，分别独立输入到双支路卷积神经网络块中训练，各支路神经网络在训练中不影响光学和SAR的各自图像特征提取，通过一定的卷积和池化的层级操作，光学和SAR图像特征不产生交互关系，分别提取各自支路的重要图像特征，光学支路和SAR支路不相互作用和影响，分别获取到光学和SAR经过双支路神经网络训练后的各自图像特征。
作为优选，当特征图像输入到对应分支后，经过卷积操作初步提取特征图像的基本特征，不改变图像的输入大小，然后通过池化操作缩减图像特征，提取出重要图像特征，由池化层的步长决定图像大小的改变情况，后接的是一系列的深度残差网络块，深度残差网络块中输入特征在经过卷积和池化操作后再与本身连接作为一个深度残差网络块的输出，最后将图像特征输出为一个平铺的一维序列，这个一维序列即为最终支路输出的图像特征，完成各分支内的网络训练。
作为优选，步骤2)中，将光学和SAR两个支路的训练后的图像特征信息逐像素聚合叠加，直接将两个一维序列拼接成一个长的一维序列，从而使这两个支路完全融合成一个支路，经过全连接层的层级训练，整合卷积层和池化层综合提取的图像特征信息，提取最终的融合图像特征信息，将卷积、池化和全连接层处理后的图像特征映射到样本预设标签中，估计出一组输入图块的最终匹配分类输出的结果。
作为优选，特征筛选中，先通过双支路神经网络来筛选出正确匹配对，再通过欧氏距离下的归一化互相关指数NCC剔除出正确匹配对中一对多输出中 NCC值较小的一群图像对，筛选正确匹配对中可能识别错误的影像，获取到最终所有光学和SAR图像一对一正确匹配的图像对结果。
作为优选，通过NCC进一步筛除网络中错误识别的图像匹配对后，获取正确匹配图像对的中心点为匹配特征点，利用RANSAC剔除可能的离群点，构建光学图像与SAR图像的正确匹配特征点对关系，获取到待配准SAR图像到参考光学图像的变换矩阵参数，在计算出变换矩阵后，由特征点的变换矩阵计算映射到所有像素点的变换矩阵计算；采用插值方式中的最邻近插值的方法将像素浮点坐标信息插值为整数坐标信息，使其能够完成像素坐标点的匹配，待配准 SAR图像的像素信息通过单应性矩阵投影变换到参考光学图像上，对应的地理空间信息也根据单应性矩阵计算变换后的SAR图像信息变换到对应的光学图像坐标系下，完成待配准图像的重采样，实现光学和SAR的图像地理空间信息的统一，完成图像配准。
本发明在光学和SAR的异源遥感图像配准中取得了较好的图像配准效果和较高的图像配准精度，本发明应用于光学和SAR的图像配准具有较佳地有效性和优越性。本发明的双支路神经网络结构通过分别输入对应的光学和SAR图像，利用各分支神经网络模型的泛化学习能力，各分支神经网络权值和参数共享，在网络训练过程各网络参数共同更新，可以有效地从大量训练样本中直接提取图像特征信息，有助于发现光学和SAR不同源图像同类地物特征的相似性，克服光学和SAR图像因不同成像条件带来的图像特征差异，有效地提取光学和 SAR图像间的匹配特征，对实现光学和SAR的图像配准有重要的研究意义。
附图说明
图1为实施例1中一种基于双支路神经网络的光学与SAR图像配准方法的流程图；
图2为实施例1中基于特征点选取的双支路神经网络遥感图像匹配模型的网络结构图。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。
实施例1
本发明的一种基于双支路神经网络的光学与SAR图像配准方法，其包括以下步骤：
一、特征提取：获取光学和SAR图像各自的特征图像信息；采用特征点提取的方式提取光学和SAR图像的点特征信息，将点特征信息转化为以特征点为中心的邻域特征图像信息作为特征匹配网络的输入信息；
二、特征匹配：利用双支路神经网络训练识别输入的光学和SAR的特征图像信息的匹配关系；其中利用光学和SAR图像的样本数据制作样本库输入到网络中训练，通过精度评价分析网络模型的配准精度，迭代对网络进行训练，选出训练效果最佳的模型作为特征匹配网络的模型文件，用以检验光学和SAR特征图像的匹配关系，获取光学和SAR的正确图像匹配对；
三、特征筛选输出：分析特征匹配网络获取的光学和SAR的匹配图像对，利用图像后处理进一步分析匹配图像对的正确匹配关系，筛选出正确匹配的图像对的特征点信息，利用匹配特征点计算光学和SAR的图像变换矩阵参数信息，实现待配准图像向参考图像的图像重采样及坐标系的统一，获取到最终配准的图像信息。
本实施例还提出的基于特征点选取的双支路神经网络遥感图像匹配模型，不同于直接利用特征点信息进行遥感图像配准的方法，本模型是以特征点为中心构建特征图像，利用对输入到双支路神经网络模型的特征图像的训练学习，找到参考图像与待配准图像的特征匹配图像对，利用匹配的特征图像实现遥感图像配准。网络结构图如图2所示，整个模型主要包括特征提取模块、双支路神经网络下的特征匹配模块和特征筛选输出模块。
特征提取模块包含特征点提取和特征图像提取，该模块主要用于提取光学和SAR不同图像的特征点，并以特征点为中心生成待匹配的特征图像，将光学和SAR的特征图像分别输入到特征匹配模块的不同支路。特征点提取算法采用经典的点特征提取算法如SIFT和SURF实现。双支路神经网络下的特征匹配模块是用于判断待匹配的特征图像是否为相同区域进而实现特征的匹配，该模块通过双支路神经网络的训练预测输入网络的光学和SAR的特征图像与其匹配标签之间的关系，实现光学和SAR的图像对的匹配判定，将匹配和不匹配的光学和SAR图像的结果分类输出。特征筛选输出模块通过双支路神经网络获取到正确的光学和SAR的匹配特征图像，转化为对应的特征匹配点，通过图像后处理进一步筛选匹配点对，确定最终正确匹配的光学和SAR图像的特征点对，利用匹配的特征点对计算光学和SAR图像的变换矩阵参数，将SAR图像映射到光学图像同一坐标系相同位置下，完成光学和SAR的图像配准。
特征点的提取
获得遥感图像的图像特征信息在遥感图像配准中起重要作用。在遥感图像配准方法中，基于图像灰度信息和变换域信息的配准方法需要考虑全局遥感图像信息，包含有效图像信息和冗余图像信息，配准效率低，基于相关图像变换模型的遥感图像配准方法设计应用于特定类型和结构特点的遥感图像数据，当图像变化导致图像的特征发生变化时，模型配准精度会降低甚至无法匹配到特征信息，特征匹配算法不具有一定的通用性和普遍性。为了提高图像配准的效率，本实施例选择基于特征的遥感图像配准方法，通过选取图像相关特征信息来构建配准模型进而映射到完整图像中，避免利用全局遥感图像信息，提取图像主要的特征信息，可以提高遥感图像配准效率。
在基于特征的遥感图像配准中，特征可以分为点、线和面特征等，线和面特征需要遥感图像中具有明显的线条和特定的区域特征，对遥感图像形态本身要求高，而点特征是对图像特定位置关键点信息进行描述，对图像本身要求低，适用范围广，提取特征信息分布均匀，更适合不同类遥感信息图像特征提取，因此本实施例选择基于图像点特征提取的方法应用于图像特征匹配，特征点提取的方法一般有SIFT、SURF和Harris等不同的提取算法，不同特征点的提取方法由于各自的算法设计不同会导致图像特征点的分布不同会影响后续提取图像特征的匹配。
SIFT算法是点特征提取算法中常用的一种，SIFT算法对图像尺度变换适应性强，可以部分克服图像噪声对图像灰度信息的干扰，SIFT算法在提图像点特征时速度快，SIFT识别的关键点信息一般是如房屋角点、道路交点和农田边缘点等结构性突出且稳定性强的图像信息，对关键点位置信息的提取准确率强，对复杂图像可以快速准确识别特征信息，SIFT提取后的特征点信息可以与其他点特征提取算法交互，可扩展性强，因此综合选取本实施例特征点的提取方法为SIFT点特征提取算法。
特征图像的提取
从图2所示的结构可以看出，本实施例不同于一般基于点特征提取方法后直接对点特征进行匹配，而是在提取图像特征点后获取以特征点为中心的特征图像应用于后续遥感图像配准，特征图像的选用可以比特征点获取到更丰富的图像信息，又不同于基于灰度信息的全局匹配的方法，特征图像只需要对特征点周围区域匹配，获取到特征点周围的地物纹理信息，提取效率比全局灰度图像匹配效率高，通过对特征图像的补充匹配，可以克服特征点获取遥感图像信息不全的缺点，通过一定区域的遥感图像特征信息的补充，丰富了遥感图像的图像灰度特征信息，有助于后续遥感图像匹配。
特征图像的大小选择对后续双支路网络训练提取图像特征信息的速度以及图像匹配识别精度有重要影响，大的特征图像包含的特征信息更多，但是相邻点特征的图像信息重复较多，容易识别错误的关键点信息，有可能包含更多的冗余图像信息，更多的图像信息会提升网络识别的复杂性，对网络结构提出了更高的要求，而小的特征图像包含的特征信息少，对网络结构的要求低，提取识别对应图像特征速度更快，但是由于含有较少的特征信息，在训练的过程中可能会出现图像特征信息丢失及训练不完全的现象。通过对计算机输入格式的分析，对比分析综合选取本实施例特征图像的大小为32×32。
在特征图像输出到网络训练时，假设参考图像和待配准图像经过点特征提取方法获取到一定量的特征点数目，分别为N1和N2，因此对于参考图像特征点N1中的每一个点都需要与待配准图像N2所有特征点匹配训练，通过双支路神经网络训练输出概率，选择其中正确的图像对作为正确匹配，可以发现这样做相比于基于灰度的全局图像依次匹配提高了部分效率，但仍会产生冗余运算，同一个样本会大量重复输入到网络中训练，并不是所有特征点都需要遍历，需要设定条件来提高匹配效率，针对光学和SAR图像配准中参考图像和待配准图像旋转角度差异不大的配准情况，为了进一步提高匹配效率，减少同一个样本多次进入网络训练的问题，本实施例预先通过获取到光学和SAR图像的初始定位位置，可以是光学图像与SAR图像上比较明显的相同特征的地物类型对应的位置来确定，通过人工标记的方法，初步确定SAR图像点与光学图像上同一位置点的大致差值，以该差值的一定范围为搜索目标，本实施例的搜索范围为 32×32，缩小N2中需要遍历点的范围，即对于N1中的每个点，在上述确定的差值范围大小为32×32内寻找正确匹配的N2点，这样使全局的搜素转化为局部区域的搜索，从全局特征点的遍历转化为特定区域内特征点的遍历，减少了冗余的样本输入量，提高了网络的匹配效率。
双支路神经网络下的特征匹配
双支路神经网络下的特征匹配分为两部分，第一部分是光学图像和SAR图像在各分支内的图像特征提取，在各分支内通过卷积神经网络的层级特点提取光学和SAR的各自主要图像特征，第二部分是提取后的光学和SAR的图像特征的融合分类，通过全连接层的层级训练提取分析融合后的图像特征，输出对光学和SAR图像的匹配判定。
图像特征提取
由于光学和SAR图像的传感器和成像机理不同，且不同类型的遥感数据会产生噪声和因成像视角变化引起的图像变形，从而导致光学和SAR图像中的一组表示相同地物类型的遥感图像信息在对应图像灰度信息特征表现上存在明显的差异。为了减轻图像特征差异对配准网络模型造成的影响以及充分利用光学和SAR图像的各自不同图像特征，从本实施例的双支路神经网络的图像配准模型可以看出，在双支路神经网络模型上半部分，分别将光学和SAR图像的输入图像块作为起始输入模块，分别独立输入到双支路卷积神经网络块中训练，各支路神经网络在训练中不影响光学和SAR的各自图像特征提取，通过一定的卷积和池化的层级操作，光学和SAR图像特征不产生交互关系，分别提取各自支路的图像特征，光学支路和SAR支路不相互作用和影响，分别获取到光学和SAR 经过双支路神经网络训练后的各自图像特征。
在深度学习神经网络训练时，更深的网络通常提高了网络的整体性能，直到达到最佳性能，过多的网络层次往往导致网络过度拟合，梯度变化出现指数级下降或上升的状况，产生梯度消失和梯度爆炸的问题，以至于导致某些特征信息消失，降低了网络的性能，当网络层次过少时，训练参数不够，导致训练特征不完全，卷积池化等操作不够导致不能充分训练提取特征，不同类型的特征信息区分效果不好，会在结果识别中产生较大的误差。因此合理选择网络结构的深度对提升网络训练精度有重要影响，既要确保网络训练精度的准确性，又要保证训练精度的稳定性。
本实施例的双支路各分支内神经网络结构的选取综合对比了LeNet、 AlexNet和ResNet等通用的卷积神经网络的结构，LeNet是基础的卷积神经网络结构，介绍了卷积神经网络的组成和结构特点，AlexNet在LeNet的基础上添加了Dropout层和非线性激活函数等，提升了网络结构对训练过程中克服特征丢失和训练过拟合的能力，对神经网络的样本数据输入也提供了数据增强的方法， ResNet在对深层次的卷积神经网络训练提供了新的方法，通过深度残差块有效地利用多层卷积神经网络的结构，抑制了更深层次的训练产生的梯度消失的问题，通过构建深层次的网络结构提升了训练精度。本实施例双支路神经网络结构通过结合上述不同网络结构的特点和本实施例光学和SAR的输入图像的特征，双支路神经网络各分支内的神经网络结构参数设置如图2所示。
图2所示双支路神经网络中的每一层操作的参数设置如下表1所示。其中网络中所有卷积层和全连接层后连接的激活函数都是ReLU激活函数，C1代表卷积层，P1代表池化层，FC1代表全连接层，RB是Residual Block的缩写，代表深度残差网络块，RBi(i＝1,…4)层的结构如图虚线框内所示，每个RB层均经过两次相同的卷积操作和一次池化操作，RB层的输出结果为将输入值与卷积池化后的结果共同聚合作为输出值。表1中输入维度为输入到该操作下的特征向量的维度。每个网络层的输入尺寸如表格中显示为长×宽×核数目，所有卷积层的卷积核大小相同，只是不同卷积层的卷积核数目有所不同，所有池化层操作一致，池化层的操作均采用最大池化操作，包含RB块里的池化层，均采用相同的大小和步长，只体现在表格内的P1层，表格后续不再列出，在尺寸大小中 RB层列出的为RB块内两个卷积层卷积核的大小和数目，在步长中RB层列出的为RB块内两个卷积层的步长。
表1双支路神经网络每一层操作的参数设置
Figure RE-GDA0003636893480000101
由于光学图像输入的分支与SAR图像输入的分支网络结构相同，此处以光学图像分支介绍，当光学特征图像输入到该分支后，经过卷积操作初步提取特征图像的基本特征，不改变图像的输入大小，然后通过池化操作缩减图像特征，提取出主要图像特征，由池化层的步长决定图像大小的改变情况，后接的是一系列的深度残差网络块，深度残差网络块中输入特征在经过卷积和池化操作后再与本身连接作为一个深度残差网络块的输出，这样做可以减轻在训练中特征丢失的现象，避免网络过拟合，提升模型训练精度，通过深度残差网络块的连接，进一步综合提取图像特征信息，最后将图像特征输出为一个平铺的一维序列，这个一维序列即为最终支路输出的图像特征，完成各分支内的网络训练。
图像特征融合与输出
通过两个支路卷积神经网络模型的训练，通过卷积层和池化层等综合提取光学图像和SAR图像的各自图像特征，简化原有图像信息，提取图像主要特征信息，两个支路的遥感图像特征具备了一定的相似性。为了综合利用光学和SAR 图像训练后的相似的图像特征信息，在网络模型的下半部分，由于光学图像特征和SAR图像特征在训练后具有一定的相似性，直接将光学和SAR两个支路的训练后的图像特征信息逐像素聚合叠加，直接将两个一维序列拼接成一个长的一维序列，将经过训练后相似的光学和SAR的图像特征综合起来作为该模块的输入，从而使这两个支路完全融合成一个支路，经过全连接层的层级训练，整合卷积层和池化层综合提取的图像特征信息，提取最终的融合图像特征信息，将卷积、池化和全连接层处理后的图像特征映射到样本预设标签中，估计出一组输入图块的最终匹配分类输出的结果。
通过比较深度残差块后接全连接层的连接方式的不同，本实施例的双支路神经网络结构中在FC1后接的各级全连接层的输入维度为 400-384-256-128-64-32-16-2，是全连接层中层次较深的一种连接方式。一般全连接层的深度越深，模型中的节点数目也就越多，模型复杂度增加，会提升训练精度，随着全连接层的深度加深，会导致运算时间增加，模型训练效率降低，产生过拟合现象，为此本实施例在全连接层的前面添加了卷积层、池化层和深度残差块，没有直接把图像平铺降维成为一阶序列进行全连接层操作，而是通过卷积层和池化层综合提取和分析特征后再连接到全连接层操作，这样做可以一定程度减少直接利用全连接层操作带来的过拟合和梯度消失等问题，同时深层的网络虽然会增加训练时间，降低训练效果速率，但是增加了精度，提升了特征点正确匹配的数量和质量，更适合用于对光学图像和SAR图像的特征提取与匹配。
本实施例遥感图像配准的正负样本分类为二分类，最终输出光学与SAR的图像对结果为匹配的和不匹配的两种情况，所以全连接层输出最终向量为2维特征向量。全连接层经过多结构的层次训练，通过利用Softmax函数的相关特点，最终将全连接层训练的图像特征信息转化为一组与设定样本真实标签结构相同的预测训练标签信息，最终将特征向量转化为一个范围在0～1之间的二维向量，二维向量值的和为1，二维向量的值代表输入到网络中的光学图像和SAR图像对是匹配的概率和不匹配的概率。通过损失函数来比较训练输出值与样本标签的差异性，本结构将交叉熵误差作为最终损失函数，本结构下的交叉熵误差损失函数如下公式所示。
Figure RE-GDA0003636893480000121
该公式利用交叉熵来比较输出特征与真实标签之间的差异，其中n为输入一个批次中训练的所有图像对的数目，yi代表预设实际情况下的光学图像与 SAR图像的匹配标签，1为匹配，0为不匹配，yi为最终网络输出的标签值，通过批次的不断迭代训练，更新网络参数值，用自适应梯度下降算法训练网络，使交叉熵损失函数收敛到最小值，减小真实标签与训练标签的差异性，使得真实标签与对应的训练图像的标签尽可能的相似，最终分类输出匹配的和不匹配的光学和SAR遥感图像块对。
特征图像的筛选
在网络训练完获取到最终训练模型文件后，在输入光学和SAR图像对的测试图像块时，因为网络本身的精度和图像噪声干扰等相关因素，有可能测试的匹配结果会获取到光学图像块对SAR图像块一对多的测试结果，即一幅光学特征图像对应有多幅匹配的SAR特征图像，需要对获取到的一对多图像的结果通过图像后处理来筛选出一对一匹配的光学与SAR的特征图像对。
对一对多图像的筛选方法，本实施例采用基于图像灰度信息的图像配准中的相似性度量函数，其中相似性度量函数的选择影响图像配准的精度，曼哈顿距离下的相似性度量函数计算量小，对图像噪声抑制弱，欧氏距离下的相似性度量函数计算量大，图像抗干扰能力强，整体上两类方法的配准效率都不高，欧氏距离是对图像灰度像素差值的二范数进行计算，计算复杂度比曼哈顿距离高，整体图像匹配精度比曼哈顿距离下的相似性度量函数高，因此为了克服光学和SAR图像噪声干扰及结构性差异大对图像配准的影响，本实施例一对多图像的筛选函数选择欧氏距离下的归一化互相关指数NCC。
归一化互相关指数用来比较一对多光学与SAR的输入特征图像的相似度，基本上归一化互相关指数最大的值，光学与SAR的图像相似度最高。在一对多的识别光学和SAR的图像匹配对中，其中NCC值最大的可以认为是相似性最高的，先通过双支路神经网络来筛选出正确匹配对，再通过NCC剔除出正确匹配对中一对多输出中NCC值较小的一群图像对，筛选正确匹配对中可能识别错误的影像，获取到最终所有光学和SAR图像一对一正确匹配的图像对结果。图像后处理即提高了网络模型识别正确匹配对的能力，又提升了NCC筛选匹配图像的速率，传统NCC是通过模板法逐像素匹配筛选，而本实施例只需要对匹配特征图像对中双支路神经网络测试识别结果匹配的即相似程度最高的几对光学和SAR的图像块运用NCC筛选，避免了全局模板图像匹配效率低的情况，同时也提升了NCC在模板筛选过程中的正确率。
特征点的输出
通过批量输入光学图像和SAR图像的特征图像对，通过双支路神经网络的训练获取到匹配的光学和SAR特征图像对后，通过NCC进一步筛除网络中错误识别的图像匹配对，获取正确匹配图像对的中心点为匹配特征点，利用 RANSAC剔除可能的离群点，构建光学图像与SAR图像的正确匹配特征点对关系，获取到待配准SAR图像到参考光学图像的变换矩阵参数，在计算出变换矩阵后，由特征点的变换矩阵计算映射到所有像素点的变换矩阵计算，考虑到变换过程中坐标信息在变换过程中会发生变化，变换矩阵的参数设置为浮点值，因此导致图像像素点坐标由原先的整数坐标变成浮点坐标，因此采用插值方式中的最邻近插值的方法将像素浮点坐标信息插值为整数坐标信息，使其能够完成像素坐标点的匹配，待配准SAR图像的像素信息通过单应性矩阵投影变换到参考光学图像上，对应的地理空间信息也根据单应性矩阵计算变换后的SAR图像信息变换到对应的光学图像坐标系下，完成待配准图像的重采样，实现光学和SAR的图像地理空间信息的统一，完成图像配准。
通过上述网络结构可知，本实施例使用的双支路神经网络是一种交互式神经网络，由于一组光学和SAR遥感图像的输入图块在进入双支路神经网络时存在较大的差异，不适合直接融合两个支路的图像特征，网络结构更适合于随着网络的不断深入训练和特征提取而逐步融合的策略。与传统直接把两类图像特征拼接进行分类的融合策略相比，本实施例使用的这种双支路神经网络结构可以充分利用光学和SAR图像的各自不同图像特征，在训练初期不干扰光学和 SAR图像各自的特征提取，通过一定网络层次的训练后使得光学图像和SAR图像特征具有一定的相似性后，网络结构末端的聚合可以使光学和SAR图像训练的相似图像特征融合，再将融合后的图像特征进行一定网络层次的深度训练，通过损失函数的计算获取到融合的图像特征与样本预设标签的映射关系，最终获取到光学图像与SAR图像对的匹配关系。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (9)

1.基于双支路神经网络的光学与SAR图像配准方法，其特征在于：包括以下步骤：
一、特征提取：获取光学和SAR图像各自的特征图像信息；采用特征点提取的方式提取光学和SAR图像的点特征信息，将点特征信息转化为以特征点为中心的邻域特征图像信息作为特征匹配网络的输入信息；
二、特征匹配：利用双支路神经网络训练识别输入的光学和SAR的特征图像信息的匹配关系；其中利用光学和SAR图像的样本数据制作样本库输入到网络中训练，通过精度评价分析网络模型的配准精度，迭代对网络进行训练，选出训练效果最佳的模型作为特征匹配网络的模型文件，用以检验光学和SAR特征图像的匹配关系，获取光学和SAR的正确图像匹配对；
三、特征筛选输出：分析特征匹配网络获取的光学和SAR的匹配图像对，利用图像后处理进一步分析匹配图像对的正确匹配关系，筛选出正确匹配的图像对的特征点信息，利用匹配特征点计算光学和SAR的图像变换矩阵参数信息，实现待配准图像向参考图像的图像重采样及坐标系的统一，获取到最终配准的图像信息。
2.根据权利要求1所述的基于双支路神经网络的光学与SAR图像配准方法，其特征在于：步骤一中，特征点提取采用SIFT点特征提取算法。
3.根据权利要求1所述的基于双支路神经网络的光学与SAR图像配准方法，其特征在于：步骤一中，将点特征信息转化为以特征点为中心的邻域特征图像信息的方法为：对特征点周围区域匹配，获取到特征点周围的地物纹理信息即得特征图像。
4.根据权利要求1所述的基于双支路神经网络的光学与SAR图像配准方法，其特征在于：特征匹配包括以下步骤：
步骤1)光学图像和SAR图像在各分支内的图像特征提取，在各分支内通过卷积神经网络的层级特点提取光学和SAR的各自重要图像特征；
步骤2)提取后的光学和SAR的图像特征的融合分类，通过全连接层的层级训练提取分析融合后的图像特征，输出对光学和SAR图像的匹配判定。
5.根据权利要求4所述的基于双支路神经网络的光学与SAR图像配准方法，其特征在于：步骤1)中，分别将光学和SAR图像的输入图像块作为起始输入，分别独立输入到双支路卷积神经网络块中训练，各支路神经网络在训练中不影响光学和SAR的各自图像特征提取，通过一定的卷积和池化的层级操作，光学和SAR图像特征不产生交互关系，分别提取各自支路的重要图像特征，光学支路和SAR支路不相互作用和影响，分别获取到光学和SAR经过双支路神经网络训练后的各自图像特征。
6.根据权利要求5所述的基于双支路神经网络的光学与SAR图像配准方法，其特征在于：当特征图像输入到对应分支后，经过卷积操作初步提取特征图像的基本特征，不改变图像的输入大小，然后通过池化操作缩减图像特征，提取出重要图像特征，由池化层的步长决定图像大小的改变情况，后接的是一系列的深度残差网络块，深度残差网络块中输入特征在经过卷积和池化操作后再与本身连接作为一个深度残差网络块的输出，最后将图像特征输出为一个平铺的一维序列，这个一维序列即为最终支路输出的图像特征，完成各分支内的网络训练。
7.根据权利要求6所述的基于双支路神经网络的光学与SAR图像配准方法，其特征在于：步骤2)中，将光学和SAR两个支路的训练后的图像特征信息逐像素聚合叠加，直接将两个一维序列拼接成一个长的一维序列，从而使这两个支路完全融合成一个支路，经过全连接层的层级训练，整合卷积层和池化层综合提取的图像特征信息，提取最终的融合图像特征信息，将卷积、池化和全连接层处理后的图像特征映射到样本预设标签中，估计出一组输入图块的最终匹配分类输出的结果。
8.根据权利要求1所述的基于双支路神经网络的光学与SAR图像配准方法，其特征在于：特征筛选中，先通过双支路神经网络来筛选出正确匹配对，再通过欧氏距离下的归一化互相关指数NCC剔除出正确匹配对中一对多输出中NCC值较小的一群图像对，筛选正确匹配对中可能识别错误的影像，获取到最终所有光学和SAR图像一对一正确匹配的图像对结果。
9.根据权利要求8所述的基于双支路神经网络的光学与SAR图像配准方法，其特征在于：通过NCC进一步筛除网络中错误识别的图像匹配对后，获取正确匹配图像对的中心点为匹配特征点，利用RANSAC剔除可能的离群点，构建光学图像与SAR图像的正确匹配特征点对关系，获取到待配准SAR图像到参考光学图像的变换矩阵参数，在计算出变换矩阵后，由特征点的变换矩阵计算映射到所有像素点的变换矩阵计算；采用插值方式中的最邻近插值的方法将像素浮点坐标信息插值为整数坐标信息，使其能够完成像素坐标点的匹配，待配准SAR图像的像素信息通过单应性矩阵投影变换到参考光学图像上，对应的地理空间信息也根据单应性矩阵计算变换后的SAR图像信息变换到对应的光学图像坐标系下，完成待配准图像的重采样，实现光学和SAR的图像地理空间信息的统一，完成图像配准。
CN202210301648.7A 2022-03-24 2022-03-24 基于双支路神经网络的光学与sar图像配准方法 Pending CN114708313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210301648.7A CN114708313A (zh) 2022-03-24 2022-03-24 基于双支路神经网络的光学与sar图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210301648.7A CN114708313A (zh) 2022-03-24 2022-03-24 基于双支路神经网络的光学与sar图像配准方法

Publications (1)

Publication Number Publication Date
CN114708313A true CN114708313A (zh) 2022-07-05

Family

ID=82170902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210301648.7A Pending CN114708313A (zh) 2022-03-24 2022-03-24 基于双支路神经网络的光学与sar图像配准方法

Country Status (1)

Country Link
CN (1) CN114708313A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115423855A (zh) * 2022-11-04 2022-12-02 深圳市壹倍科技有限公司 图像的模板匹配方法、装置、设备及介质
CN115828423A (zh) * 2022-11-25 2023-03-21 武汉理工大学 基于双分支深度学习算法的船海装备外板回弹预测方法
CN116363031A (zh) * 2023-02-28 2023-06-30 锋睿领创(珠海)科技有限公司 基于多维光学信息融合的成像方法、装置、设备及介质
CN116382465A (zh) * 2023-02-17 2023-07-04 中国科学院自动化研究所 光学脑机接口系统和方法
CN117635982A (zh) * 2023-12-07 2024-03-01 哈尔滨航天恒星数据系统科技有限公司 一种基于深度学习的面向遥感图像的路网匹配方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115423855A (zh) * 2022-11-04 2022-12-02 深圳市壹倍科技有限公司 图像的模板匹配方法、装置、设备及介质
CN115828423A (zh) * 2022-11-25 2023-03-21 武汉理工大学 基于双分支深度学习算法的船海装备外板回弹预测方法
CN116382465A (zh) * 2023-02-17 2023-07-04 中国科学院自动化研究所 光学脑机接口系统和方法
CN116382465B (zh) * 2023-02-17 2024-02-13 中国科学院自动化研究所 光学脑机接口系统和方法
CN116363031A (zh) * 2023-02-28 2023-06-30 锋睿领创(珠海)科技有限公司 基于多维光学信息融合的成像方法、装置、设备及介质
CN116363031B (zh) * 2023-02-28 2023-11-17 锋睿领创(珠海)科技有限公司 基于多维光学信息融合的成像方法、装置、设备及介质
CN117635982A (zh) * 2023-12-07 2024-03-01 哈尔滨航天恒星数据系统科技有限公司 一种基于深度学习的面向遥感图像的路网匹配方法
CN117635982B (zh) * 2023-12-07 2024-06-04 哈尔滨航天恒星数据系统科技有限公司 一种基于深度学习的面向遥感图像的路网匹配方法

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
CN110728192B (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN114708313A (zh) 基于双支路神经网络的光学与sar图像配准方法
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
CN109146889B (zh) 一种基于高分辨率遥感图像的农田边界提取方法
CN112434745B (zh) 基于多源认知融合的遮挡目标检测识别方法
CN106709486A (zh) 基于深度卷积神经网络的自动车牌识别方法
Biasutti et al. Lu-net: An efficient network for 3d lidar point cloud semantic segmentation based on end-to-end-learned 3d features and u-net
CN109871823B (zh) 一种结合旋转框和上下文信息的卫星图像舰船检测方法
CN111985376A (zh) 一种基于深度学习的遥感影像舰船轮廓提取方法
CN111079685A (zh) 一种3d目标检测方法
Chen et al. Geospatial transformer is what you need for aircraft detection in SAR Imagery
CN111008664B (zh) 一种基于空谱联合特征的高光谱海冰检测方法
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN111738113A (zh) 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN112949407A (zh) 一种基于深度学习和点集优化的遥感影像建筑物矢量化方法
CN113159043A (zh) 基于语义信息的特征点匹配方法及系统
TW202225730A (zh) 基於深度學習之高效率光達物件偵測方法
CN115331029A (zh) 基于跨模态转换网络与最优传输理论的异源图像匹配方法
CN114943902A (zh) 基于多尺度特征感知网络的城市植被无人机遥感分类方法
CN116664892A (zh) 基于交叉注意与可形变卷积的多时相遥感图像配准方法
CN114358133B (zh) 一种基于语义辅助双目视觉slam检测回环帧的方法
CN114140700A (zh) 基于级联网络的分步异源图像模板匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination