CN113838107A - 一种基于稠密连接的异源图像自动配准方法 - Google Patents

Abstract

本发明属于遥感图像配准技术领域，具体涉及一种基于稠密连接的异源图像自动配准方法。本发明先对SAR与光学图像进行转换，再使用结合注意力机制的卷积神经网络进行特征点的提取，接着将提取到的特征点进行特征编码并完成预匹配，通过使用高斯混合模型进行动态内联点选择，从而完成特征点的匹配，最后进行图像配准，得到最终结果。本发明通过使用循环生成式对抗网络，解决了异源图像因成像原理不同给配准带来的困难，同时使用改进后的稠密连接Densenet结构提取特征点，极大提高了精度，从而提升后续模型配准的性能。

Description

一种基于稠密连接的异源图像自动配准方法

技术领域

本发明属于遥感图像配准技术领域，具体涉及一种基于稠密连接的异源图像自动配准方法。

背景技术

遥感是通过测量一定距离的反射和发射辐射来检测和监视区域物理特征的过程。遥感技术通过传感器或遥感器对物体进行电磁波的辐射、反射特性探测，产生遥感图像。近年来航空航天遥感正在向多传感器、多平台、多角度与高空间分辨率、高光谱分辨率、高时相分辨率、高辐射分辨率的方向发展，它们产生的遥感数据产品因此产生了高/中/低空间分辨率、多光谱/高光谱/SAR共存的趋势，由此而来的对这些异源数据的融合处理成为与之相关应用的先决条件。为了实现数据的融合，我们需要将数据的空间基准一致，即不同的数据必须处于同一个坐标系下，这类任务就是图像配准。

传统遥感图像配准方法通常基于人工的手动选择匹配点，进而通过机器学习方法实现图像的配准，这种需要领域专家进行特征点选择。该方法面对不同的场景灵活性较低，精力耗损大，改错容错度差，具有极大的局限性。

此外，我们要克服异源图像成像的不同给配准带来的困难。光学图像为了识别目标和分类提取，通常会含有多个波段的灰度信息；但是SAR图像则以二进制复数的形式记录一个波段的回波信息。同时SAR图像特有的距离的压缩、透视的收缩、叠掩及阴影的问题，会造成图像几何失真，这些都不利于图像的配准。而且SAR图像样本相对较少、训练数据集小、需要标注样本。而现有方法需要大量的样本对，并且在处理步骤中较为繁琐，使得难以从一端到另一端直接配准。

近年来，人工智能逐渐兴起，可以通过深度学习方法实现图像处理，然而多数深度学习方法的研究都用于图像的分类与目标检测领域。对于遥感图像的配准，还需要对现有方法进行进一步的改进与优化。该研究具有极强的理论研究价值和实际应用价值。因此，本发明设计了一种基于稠密连接的异源图像自动配准方法，以解决上述问题。

发明内容

本发明的目的在于解决现有技术中SAR数据集较少、SAR与光学图像配准精度低、效果差的问题，提供一种基于稠密连接的异源图像自动配准方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：SAR图像与光学图像相互转换；

训练一个用于转换SAR与光学图像的深度神经网络循环生成式对抗网络，将SAR图像与光学图像全部转换成光学图像或者SAR图像；

设计两个生成器，一个生成器用于将光学图像转换成SAR图像，另一个生成器用于将SAR图像转换成光学图像；

生成器首先进行编码，使用卷积神经网络对图像进行特征点提取，将图像压缩特征向量，再通过组合图像的不相似特征，将图像的特征向量在两个域中转换，最后利用反卷积层解码，得到生成图像；

鉴别器的输入为一张图像，输出为该图像属于生成器的输出图像或者原始图像；鉴别器从图像中提取相关特征，为了确定提取的特征是否属于某种类别，需要再增加产生单一维度输出的卷积层，通过以上方法完成异源图像的转换；

步骤2：特征点提取与特征编码：

步骤2.1：采用改进的卷积神经网络进行特征点的提取，利用Inception结构将多个不同尺度的池化层、卷积核进行整合，之后再通过稠密连接Densenet结构，使得任何两层之间都有直接连接的密集连接结构；

步骤2.2：结合注意力机制，引入卷积块注意力模块，该模块采用深度可分离卷积对特征图提取出更为集中的注意力区域，得到线性融合对应强化后的注意力特征区域，从而得到了图像的多尺度特征；

步骤2.3：采用三个不同尺度的特征来构建特征编码，选取过渡层后输出的特征构建特征描述符，完成一个样本图像特征点的提取；

步骤3：特征点匹配与坐标变换：

计算两幅待配准图像之间的特征距离，当特征点距离差值小于设定阈值时，则判定两个特征点匹配；再采用一种混合高斯模型进一步动态地筛选特征点，通过期望最大化的过程来获得图像的坐标变换参数，完成图像配准。

本发明的有益效果在于：

本发明先对SAR与光学图像进行转换，再使用结合注意力机制的卷积神经网络进行特征点的提取，接着将提取到的特征点进行特征编码并完成预匹配，通过使用高斯混合模型进行动态内联点选择，从而完成特征点的匹配，最后进行图像配准，得到最终结果。本发明通过使用循环生成式对抗网络，解决了异源图像因成像原理不同给配准带来的困难，同时使用改进后的稠密连接Densenet结构提取特征点，极大提高了精度，从而提升后续模型配准的性能。

附图说明

图1为本发明的整体框架图。

图2为本发明中基于CycleGAN的SAR与光学图像转换框架图。

图3为本发明中Densenet详细网络结构图。

图4为本发明中Inception网络结构图。

图5为本发明中卷积块注意力模块结构图。

具体实施方式

下面结合附图对本发明做进一步描述。

近年来航空航天遥感正在向多传感器、多平台、多角度与高空间分辨率、高光谱分辨率、高时相分辨率、高辐射分辨率的方向发展，它们产生的遥感数据产品因此产生了高/中/低空间分辨率、多光谱/高光谱/SAR共存的趋势，由此而来的对这些异源数据的融合处理成为与之相关应用的先决条件。为了实现数据的融合，我们需要将数据的空间基准一致，即不同的数据必须处于同一个坐标系下，这类任务就是图像配准。

本发明公开了一种基于稠密连接的异源图像自动配准方法，先对SAR与光学图像进行转换，再使用结合注意力机制的卷积神经网络进行特征点的提取，接着将提取到的特征点进行特征编码并完成预匹配，通过使用高斯混合模型进行动态内联点选择，从而完成特征点的匹配，最后进行图像配准，得到最终结果；本发明通过使用循环生成式对抗网络，解决了异源图像因成像原理不同给配准带来的困难，同时使用改进后的稠密连接Densenet结构提取特征点，极大提高了精度，从而提升后续模型配准的性能。

本发明的目的在于解决背景技术中提出的SAR数据集较少、SAR与光学图像配准精度低、效果差的问题。本发明提供如下技术方案：一种基于稠密连接的异源图像自动配准方法，包括SAR与光学图像相互转换以及SAR与光学图像自动配准。本发明所采用的技术方案是：

步骤一，SAR与光学图像相互转换：

第一步，训练一个可以用于转换SAR与光学图像的深度神经网络循环生成式对抗网络(CycleGAN)，将SAR与光学图像全部转换成光学图像或者SAR图像。设计两个生成器，一个生成器用于将光学图像转换成SAR图像。另一个生成器用于将SAR图像转换成光学图像。

第二步，生成器首先进行编码，使用卷积神经网络对图像进行特征点提取，将图像压缩特征向量。再通过组合图像的不相似特征，将图像的特征向量在两个域中转换。最后利用反卷积层解码，得到生成图像。

第三步，鉴别器的输入为一张图像，猜测其为生成器的输出图像或者原始图像。鉴别器从图像中提取相关特征，为了确定提取的特征是否属于某种类别，需要再增加产生单一维度输出的卷积层。通过以上方法完成异源图像的转换。

步骤二，特征点提取与特征编码：

第一步，采用改进的卷积神经网络进行特征点的提取，利用Inception结构将多个不同尺度的池化层、卷积核进行整合，之后再通过稠密连接Densenet结构，使得任何两层之间都有直接连接的密集连接结构。

第二步，结合注意力机制，引入卷积块注意力模块(CBAM)。该模块采用深度可分离卷积对特征图提取出更为集中的注意力区域，得到线性融合对应强化后的注意力特征区域，从而得到了图像的多尺度特征。

第三步，采用三个不同尺度的特征来构建特征编码，选取过渡层后输出的特征构建特征描述符，完成了一个样本图像特征点的提取。

步骤三，特征点匹配与坐标变换：

计算两幅待配准图像之间的特征距离，当特征点距离差值小于一定阈值时，则可认为两个特征点匹配。再采用一种混合高斯模型进一步动态地筛选特征点，通过期望最大化的过程来获得图像的坐标变换参数，完成图像配准。

与现有技术相比，本发明的有益效果是：

(1)本发明通过提出了循环生成式对抗网络(CycleGAN)对图像进行风格迁移，让异源图像统一转变成光学图像或者SAR图像，完成异源图像特征点转换。该网络可以对多模态图像进行数据增强，能够解决异源遥感图像训练集不足的问题。

(2)通过Inception和稠密连接网络的组合方式进行特征提取，借助于多核卷积与网络密集连接结构，解决了图像特征点提取准确率低的问题。

(3)在特征提取阶段通过注意力机制的引入，可以在空间和通道上融合稠密连接网络，提升模型匹配的准确率。

请参阅图1-5，本发明提供一种技术方案：一种基于稠密连接的异源图像自动配准方法，

(1)构建一种基于稠密连接的异源图像自动配准方法，并进行SAR与光学图像转换方法。

利用循环生成式对抗网络将异源图像转换为同源图像后，再使用稠密连接Densenet进行特征提取；将提取到的特征点进行特征编码并完成预匹配；然后通过动态特征点选择完成特征点的匹配，接着进行图像配准，得到最终配准结果，如图1所示，具体步骤如下：

将异源图像转换为同源图像：设计了两个生成器，用于光学图像和SAR图像的相互转换。为了使生成器伪图像与真实图像相似，我们分别在三个方面优化生成器，如图2所示。由上述步骤训练完成的CycleGAN可将SAR和光学图像在无配对的情况下进行转换。

(2)使用一种基于卷积神经网络的深度学习图像特征提取方法，以提高提取的精确度。

本发明中特征点提取由预训练的稠密连接Densenet结构为主干，并引入Inception结构，同时结合注意力机制。如图3所示，具体步骤如下：

1.以稠密连接Densenet架构为主体：稠密连接网络结构主要由密集连接块和过渡层组成。所有密集连接块中每层卷积之后都输出k个特征图。过渡层用于连接两个相邻的密集连接块。

2.引入Inception结构，将神经网络结构的设计进行了优化：在计算量不变的前提下，Inception可以提高网络的宽度和深度，可以从多维尺度提取特征，如图4所示。

3.结合注意力机制：除了通过加大网络的深度、宽度等方面来改进图像模型，也可以通过引入注意力机制来提升特征点提取的效率。本发明通过引入了卷积块注意力模块(CBAM)，从通道和空间两个维度计算特征图的注意力图，一定程度上减少了网络模型对干扰信息的学习，避免了与其他无关特征的联系，其结构图如图5所示。

(3)建立一种特征点匹配与坐标变换方法，获取更高的匹配精度。

先进行特征预匹配过程，再动态地筛选特征点。根据特征点匹配的结果进行坐标变换，完成图像配准，具体步骤如下：

1.特征预匹配：选取三个不同尺度的特征来构建特征描述符，分别是过渡层(1)、过渡层(2)、和过渡层(3)后输出的特征，完成了一个样本图像的特征点的提取。再进行特征预匹配，计算两幅待配准图像之间的特征距离。当特征点距离差值小于一定阈值时，则可认为两个特征点匹配，完成特征预匹配过程。

2.动态筛选特征点：在特征提取部分的方形图像块中心生成两幅待配准图像的特征点，其中具有更高重复比例的特征点应该具有更高的对准度。为了提高配准的性能，本发明采用一种混合高斯模型来进行内联特征点筛选。具体步骤如下：

①首先获得先验概率矩阵P_R。

②接下来计算几个结构损失矩阵，最终得到损失矩阵。

③最后，通过JV算法对损失矩阵进行特征点的匹配概率计算，得到先验概率矩阵，之后根据该先验矩阵的概率，结合阈值动态挑选特征点。

3.按照特征点匹配的结果进行坐标变换：根据上述所得先验概率矩阵P_R，将点集视为高斯混合模型质心。具体步骤如下：

①定义GMM概率密度函数与正态分布密度函数。

②为了找到最佳变换参数，我们使用EM算法。然而，我们无法直接计算梯度。因此，我们通过EM算法最小化负对数似然函数的期望。

③通过不断使用期望最大化算法计算期望和最小化梯度，直到该过程收敛。坐标变换后，可以充分利用光学的信息和SAR的信息进行配准。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于稠密连接的异源图像自动配准方法，其特征在于，包括以下步骤：

步骤1：SAR图像与光学图像相互转换；

训练一个用于转换SAR与光学图像的深度神经网络循环生成式对抗网络，将SAR图像与光学图像全部转换成光学图像或者SAR图像；

设计两个生成器，一个生成器用于将光学图像转换成SAR图像，另一个生成器用于将SAR图像转换成光学图像；

生成器首先进行编码，使用卷积神经网络对图像进行特征点提取，将图像压缩特征向量，再通过组合图像的不相似特征，将图像的特征向量在两个域中转换，最后利用反卷积层解码，得到生成图像；

鉴别器的输入为一张图像，输出为该图像属于生成器的输出图像或者原始图像；鉴别器从图像中提取相关特征，为了确定提取的特征是否属于某种类别，需要再增加产生单一维度输出的卷积层，通过以上方法完成异源图像的转换；

步骤2：特征点提取与特征编码：

步骤2.1：采用改进的卷积神经网络进行特征点的提取，利用Inception结构将多个不同尺度的池化层、卷积核进行整合，之后再通过稠密连接Densenet结构，使得任何两层之间都有直接连接的密集连接结构；

步骤2.2：结合注意力机制，引入卷积块注意力模块，该模块采用深度可分离卷积对特征图提取出更为集中的注意力区域，得到线性融合对应强化后的注意力特征区域，从而得到了图像的多尺度特征；

步骤2.3：采用三个不同尺度的特征来构建特征编码，选取过渡层后输出的特征构建特征描述符，完成一个样本图像特征点的提取；

步骤3：特征点匹配与坐标变换：

计算两幅待配准图像之间的特征距离，当特征点距离差值小于设定阈值时，则判定两个特征点匹配；再采用一种混合高斯模型进一步动态地筛选特征点，通过期望最大化的过程来获得图像的坐标变换参数，完成图像配准。

Images