CN109903299B - 一种条件式生成对抗网络的异源遥感图像配准方法及装置 - Google Patents

Abstract

本发明公开了一种基于图像分割的条件式生成对抗网络的异源遥感图像配准方法及装置，根据两组异源遥感图像数据，获取训练样本；对输入图像进行图像分割，获得分割图像；构建基于图像分割的条件式生成对抗网络；构建图像块的生成对抗网络；训练两个生成对抗网络；将生成图像与待配准图像进行同源图像配准。本发明能够约束生成对抗网络生成图像的空间信息一致性，并提供全尺寸空间信息一致的图像转换解决方案，将异源图像配准问题化简为同源图像配准问题，构建统一的异源遥感图像配准框架。

Description

一种条件式生成对抗网络的异源遥感图像配准方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于图像分割的条件式生成对抗网络的异源遥感图像配准方法及装置。

背景技术

异源遥感图像配准是一种将同一区域不同传感器获取数据的几何信息进行配准的技术，是海量遥感数据自动化处理的关键技术，其运算精度将直接影响到异源遥感图像融合、镶嵌等后续应用的运算精度。然而不同性质的传感器，由于成像机理、拍摄时间、卫星姿态以及传感器参数不同等原因，其获取的数据之间往往会存在较大的尺寸、旋转、平移差异。同时，异源遥感图像的灰度值和特征信息之间也往往会存在非线性的差异。因此，快速、有效、高精度的异源遥感图像自动配准是一个极富挑战性的研究课题，也是当前国内外的研究热点。

目前，异源遥感图像配准方法大致可以分为三类：基于区域的方法、基于特征的方法以及基于机器学习的方法。基于区域的配准方法可以被看作是一种模板匹配的配准方法，是异源图像配准中最经典的配准方法。其中，由于互信息能够比较有效地克服异源遥感图像间灰度值非线性映射的问题，其被广泛地应用于异源遥感图像的配准中。然而，由于基于区域的配准方法计算量太大，难以满足遥感图像配准的实时性需求，也难以满足海量遥感图像的自动配准需求。并且，当图像重叠区域较小、图像存在非线性形变或图像存在较大尺度变化时，基于区域的配准方法难以获得理想的配准结果。

基于特征的配准方法是同源遥感图像配准中最常用的配准方法，该方法将图像的灰度信息抽象为点、线、面等特征信息，利用特征信息良好的光照、尺度、旋转不变性，实现准确、快速、自动的同源遥感图像配准。但是由于不同源遥感图像之间存在非线性的灰度(辐射)差异，将SIFT等基于同源图像研发的特征提取方法应用于异源遥感图像时，其获取特征信息的重复率较低，导致其应用于异源遥感图像配准时，配准的结果不稳定且甚至会导致配准失败。

研发基于机器学习的方法，实现对不同遥感图像的自动适配，是异源遥感图像配准的重要发展方向。目前基于机器学习的异源遥感配准方法需要使用基于生成对抗网络的图像转换，但是并没有严格约束图像转换匹配图像块的空间信息一致性，因此容易造成图像块的误匹配。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于图像分割的条件式生成对抗网络的异源遥感图像配准方法及装置，本发明能够有效约束基于生成对抗网络图像转换的空间信息一致性，并提供全尺寸空间信息一致的图像转换解决方案，将异源遥感图像配准问题化简为同源遥感图像配准问题，构建统一的异源遥感图像配准框架。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，包括如下步骤：

(1)从两组异源遥感图像数据中获取成对的训练样本，两组异源遥感图像数据中的数据互为一一匹配，成对的训练样本中的两张图像分别为两组异源遥感图像数据中一一匹配的数据，将成对的训练样本中的两张图像分别称为输入图像和目标图像；

(2)采用分割方法对图像进行图像分割，获得分割图像；

(3)构建基于图像分割的条件式生成对抗网络I；

(4)构建图像块生成对抗网络Ⅱ；

(5)训练两个生成对抗网络；

(6)将生成图像与待配准图像进行同源图像配准。

优选的，所述步骤(2)中，对图像进行图像分割，采用的分割方法为k-means图像分割法。

优选的，所述步骤(3)中，基于图像分割的条件式生成对抗网络I包括一个生成器G和一个判别器D，满足：

其中：x为输入图像，y为对应输入图像x的目标图像，

表示输入图像x和目标图像y的对抗损失函数，D(x,y)表示判别器D对输入图像x和目标图像y的判别结果，S(x)表示输入图像x经k-means图像分割法分割后获得的分割图像，G(x,S(x))表示输入图像x与分割图像S(x)经生成器G后获得的生成图像，D(x,G(x,S(x)))表示判别器D对输入图像x和生成图像G(x,S(x))的判别结果，

表示数学期望，(x,y)～p_data(x,y)表示变量(x,y)服从某数据分布p_data(x,y)，x～p_data(x)表示变量x服从某数据分布p_data(x)。

优选的，所述步骤(4)中，构建图像块生成对抗网络Ⅱ包括如下步骤：

(41)使用高斯差分函数特征点定位方法对目标图像进行特征点定位；

(42)将目标图像的特征点定位位置在生成图像上共享；

(43)提取目标图像和生成图像上相同特征点定位位置上的对应图像块；

(44)使用图像块生成对抗网络Ⅱ对目标图像和生成图像中对应图像块进行判别。

优选的，所述步骤(44)中，图像块生成对抗网络Ⅱ中的生成器采用步骤(3)中条件式生成对抗网络I中的生成器。

优选的，所述步骤(5)中，按照下面的损失函数训练两个生成对抗网络：

其中：

表示条件式生成对抗网络I和图像块生成对抗网络Ⅱ的目标函数，

表示生成图像和目标图像的图像分割损失函数，

表示第k组图像块的图像块对抗损失函数，

表示像素级约束损失函数；

K为通过图像块生成对抗网络Ⅱ从生成图像以及目标图像中提取出的图像块的数量(步骤43)，k∈K，

为在目标图像上提取的第k个图像块，

为在生成图像上提取的第k个图像块，

和

称为第k组图像块；λ₁和λ₂为加权系数；

H(·)为像素级的交叉熵损失函数，

a和b为图像分割后的标注图，I为a和b对应的像空间，J为标注图的标注空间；S(y)表示目标图像y经k-means图像分割法分割后获得的分割图像；

和

分别表示图像块判别器D_P对

和

的判别结果；y～p_data(y)表示变量y服从某数据分布p_data(y)；

||·||₁表示一范数。

优选的，所述步骤(6)中，使用SIFT特征配准方法对生成图像和待配准图像进行同源图像配准。

一种实现上述任一基于图像分割的条件式生成对抗网络的异源遥感图像配准方法的装置，包括：

获取单元：从两组异源遥感图像数据中获取成对的训练样本，将成对的训练样本中的两张图像分别称为输入图像和目标图像；

图像分割单元：对图像进行图像分割；

条件式生成对抗网络：约束生成图像和目标图像的生成对抗一致性；

图像块生成对抗网络：约束生成图像和目标图像局部特征块的一致性；

训练单元：对基于图像分割的条件式生成对抗网络中的生成器、判别器，图像块生成对抗网络的判别器进行训练；

图像配准单元：对生成图像和待配准图像进行SIFT特征配准。

优选的，所述条件式生成对抗网络包括：

生成模块：根据输入图像和分割图像，输出与目标图像纹理相似的生成图像；

条件式判别模块：输入图像组合为目标图像和输入图像时，判别为真；输入图像组合为生成图像和输入图像时，判别为假。

优选的，所述图像块生成对抗网络包括：

特征点定位模块：对目标图像使用高斯差分函数特征点定位方法进行特征点定位；

特征点位置共享模块：将目标图像的特征点定位位置在生成图像上共享；

图像块提取模块：提取目标图像和生成图像上相同特征点位置上的对应图像块；

图像块判别模块：输入为目标图像的图像块时，判别为真；输入为生成图像的图像块时，判别为假。

有益效果：本发明提供的一种基于图像分割的条件式生成对抗网络的异源遥感图像配准方法及装置，能够实现在空间信息一致的前提下，将整幅遥感图像的纹理风格自动转换为与另一幅异源遥感图像纹理风格一致的图像转换，从而将异源遥感图像配准化简为有较成熟自动化解决方案的同源遥感图像配准，解决异源遥感图像之间较大的尺寸、旋转和平移差异问题以及图像灰度值、特征信息之间的非线性差异问题。

附图说明

图1为本发明方法的实施流程图；

图2为构建图像块生成对抗网络Ⅱ的实施流程图；

图3为本发明装置的结构示意图；

图4为获取的成对的训练样本示意图(以合成孔径雷达图像与光学遥感图像为例)；

图5为条件式生成对抗网络I的网络框架示意图；

图6为图像块生成对抗网络Ⅱ的网络框架示意图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1所示为一种基于图像分割的条件式生成对抗网络的异源遥感图像配准方法及装置，基于图像分割的条件式生成对抗网络的异源遥感图像配准方法的流程图如图1所示，包括如下流程步骤：

步骤S01：从两组异源遥感图像数据中获取成对的训练样本，两组异源遥感图像数据中的数据互为一一匹配，成对的训练样本中的两张图像分别为两组异源遥感图像数据中一一匹配的数据，将成对的训练样本中的两张图像分别称为输入图像和目标图像，输入图像构成输入图像集，目标图像构成目标图像集。图4给出了获取成对的训练样本示意图。

步骤S02：采用k-means图像分割法对图像进行图像分割，获得分割图像。

首先需要分割的图像是输入图像，对输入图像的RGB像素值进行图像分割，获取分割图像集，分割的种类设置为3个。

步骤S03：构建基于图像分割的条件式生成对抗网络I，条件式生成对抗网络I包括一个生成器G和一个判别器D，满足：

其中：x为输入图像，y为对应输入图像x的目标图像，

表示输入图像x和目标图像y的对抗损失函数，D(x,y)表示判别器D对输入图像x和目标图像y的判别结果，S(x)表示输入图像x经k-means图像分割法分割后获得的分割图像，G(x,S(x))表示输入图像x与分割图像S(x)经生成器G后获得的生成图像，D(x,G(x,S(x)))表示判别器D对输入图像x和生成图像G(x,S(x))的判别结果，

表示数学期望，(x,y)～p_data(x,y)表示变量(x,y)服从某数据分布p_data(x,y)，x～p_data(x)表示变量x服从某数据分布p_data(x)。

生成器G为一个包含四层卷积和四层反卷积的卷积神经网络，其中四层卷积中的每层卷积均接有一层最大池化层，四层卷积中从第一层卷积到第四层卷积所对应的滤波器个数分别为32、64、128、256，每层最大池化层的尺度是2×2。四层反卷积中从第一层反卷积至第四层反卷积所对应的滤波器的个数分别为128、64、32、1，其中四层卷积和四层反卷积中的滤波器大小均为3×3。

判别器D为一个包含四层卷积和三层全连接层的卷积神经网络，其中四层卷积中的每层卷积均接有一层最大池化层，所述最大池化层的尺度为2×2；四层卷积层中从第一层卷积到第四层卷积所对应的滤波器个数分别为32、64、128和256，所述滤波器的大小均为3×3；三层全连接层中从第一层全连接层到第三层全连接层所对应的节点数分别为512、128和1。

如图5所示为条件式生成对抗网络I的网络框架示意图。

步骤S04：构建图像块生成对抗网络Ⅱ，其网络架构示意图如图6所示。关于本步骤如何具体的构建图像块生成对抗网络Ⅱ，稍后会有详细描述。

步骤S05：训练两个生成对抗网络，具体就是将步骤S01中获取的成对的训练样本，以及步骤S02中获得的分割图像输入到步骤S03和步骤S04构建的条件式生成对抗网络I和图像块生成对抗网络Ⅱ中的生成器G进行训练，训练得到两个生成对抗网络对应的训练权重。

本实施例按照下面的损失函数训练两个生成对抗网络：

其中：

表示条件式生成对抗网络I和图像块生成对抗网络Ⅱ的目标函数，

表示生成图像和目标图像的图像分割损失函数，

表示第k组图像块的图像块对抗损失函数，

表示像素级约束损失函数；K为通过图像块生成对抗网络Ⅱ从生成图像以及目标图像中提取出的图像块的数量(通过步骤43提取)，k∈K，

为在目标图像上提取的第k个图像块，

为在生成图像上提取的第k个图像块，

和

称为第k组图像块；λ₁和λ₂为加权系数；H(·)为像素级的交叉熵损失函数，

a和b为图像分割后的标注图，I为a和b对应的像空间，J为标注图的标注空间；S(y)表示目标图像y经k-means图像分割法分割后获得的分割图像；

和

分别表示图像块判别器D_P对

和

的判别结果；y～p_data(y)表示变量y服从某数据分布p_data(y)；||·||₁表示一范数。

步骤S06：将生成图像与待配准图像进行同源图像配准，将生成图像与待配准图像进行同源图像配准，具体就是使用SIFT特征提取算子，提取生成图像与待配准图像的特征点以及构建相应的SIFT特征点描述子，然后对生成图像与待配准图像中的特征点进行一一匹配，最后使用随机抽样一致算法(RANSAC)去除错误的匹配。本发明的方法可以完全由计算机实现，而不需要人工辅助。这表明，本发明可以实现批量化自动处理，大大地提高了处理效率、降低了人工成本。

对于本实施例而言，上述步骤S04还可以进一步细化，其细化后的具体流程图如图2所示，图2中，该步骤S04进一步包括：

步骤S41：使用高斯差分函数特征点定位方法对目标图像进行特征点定位。

步骤S42：将在目标图像中提取特征点的位置，共享到生成图像中。

步骤S43：提取目标图像和生成图像上相同特征点定位位置上的对应图像块，具体的提取图像块的像素大小为3×3。

步骤S44：使用图像块生成对抗网络Ⅱ对目标图像和生成图像中对应图像块进行判别，图像块生成对抗网络Ⅱ中的生成器与步骤S03中条件式生成对抗网络I的生成器为同一生成器。图像块判别器为一个包含四层卷积和三层全连接层的卷积神经网络，其中四层卷积中的每层卷积均接有一层最大池化层，所述最大池化层的尺度为2×2；四层卷积层中从第一层卷积到第四层卷积所对应的滤波器个数分别为32、64、128和256，所述滤波器的大小均为3×3；三层全连接层中从第一层全连接层到第三层全连接层所对应的节点数分别为512、128和1。

本实施例还涉及一种实现上述基于图像分割的条件式生成对抗网络的异源遥感图像配准方法的装置，该装置的结构示意图如图3所示。图3中，该装置包括获取单元1、图像分割单元2、条件式生成对抗网络3、图像块生成对抗网络4、训练单元5和图像配准单元6；其中，获取单元1用于从两组异源遥感图像数据中获取成对的训练样本；图像分割单元2用于对图像进行图像分割；条件式生成对抗网络3用于约束生成图像和目标图像的生成对抗一致性；图像块生成对抗网络4用于约束生成图像和目标图像局部特征块的一致性；训练单元5用于对基于图像分割的条件式生成对抗网络中的生成器、判别器，图像块生成对抗网络的判别器进行训练；图像配准单元6用于对生成图像和待配准图像进行SIFT特征配准。

本实施例中，条件式生成对抗网络3进一步包括生成模块31和条件式判别模块32；其中，生成模块31用于根据输入图像和分割图像，输出与目标图像纹理相似的生成图像；条件式判别模块32用于判断：输入图像组合为目标图像和输入图像时，判别为真；输入图像组合为生成图像和输入图像时，判别为假。

本实施例中，图像块生成对抗网络4进一步包括特征点定位模块41、特征点位置共享模块42、图像块提取模块43和图像块判别模块44；其中，特征点定位模块41用于对目标图像使用高斯差分函数特征点定位方法进行特征点定位；特征点位置共享模块42用于将目标图像的特征点定位位置在生成图像上共享；图像块提取模块43用于提取目标图像和生成图像上相同特征点位置上的对应图像块；图像块判别模块44用于判别：输入为目标图像的图像块时，判别为真；输入为生成图像的图像块时，判别为假。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：包括如下步骤：

(1)从两组异源遥感图像数据中获取成对的训练样本，两组异源遥感图像数据中的数据互为一一匹配，成对的训练样本中的两张图像分别为两组异源遥感图像数据中一一匹配的数据，将成对的训练样本中的两张图像分别称为输入图像和目标图像；

(2)采用分割方法对图像进行图像分割，获得分割图像；

(3)构建基于图像分割的条件式生成对抗网络I，包括一个生成器G和一个判别器D，满足：

其中：x为输入图像，y为对应输入图像x的目标图像，

表示输入图像x和目标图像y的对抗损失函数，D(x,y)表示判别器D对输入图像x和目标图像y的判别结果，S(x)表示输入图像x经k-means图像分割法分割后获得的分割图像，G(x,S(x))表示输入图像x与分割图像S(x)经生成器G后获得的生成图像，D(x,G(x,S(x)))表示判别器D对输入图像x和生成图像G(x,S(x))的判别结果，

表示数学期望，(x,y)～p_data(x,y)表示变量(x,y)服从数据分布p_data(x,y)，x～p_data(x)表示变量x服从数据分布p_data(x)；

(4)构建图像块生成对抗网络Π；

(5)按照下面的损失函数训练两个生成对抗网络：

其中：

表示条件式生成对抗网络I和图像块生成对抗网络Π的目标函数，

表示生成图像和目标图像的图像分割损失函数，

表示第k组图像块的图像块对抗损失函数，

表示像素级约束损失函数；

K为通过图像块生成对抗网络Π从生成图像以及目标图像中提取出的图像块的数量，k∈K，

为在目标图像上提取的第k个图像块，

为在生成图像上提取的第k个图像块，

和

称为第k组图像块；λ₁和λ₂为加权系数；

H(·)为像素级的交叉熵损失函数，

a和b为图像分割后的标注图，I为a和b对应的像空间，J为标注图的标注空间；S(y)表示目标图像y经k-means图像分割法分割后获得的分割图像；

和

分别表示图像块判别器D_P对

和

的判别结果；y～p_data(y)表示变量y服从数据分布p_data(y)；

||·||₁表示一范数；

(6)将生成图像与待配准图像进行同源图像配准。

2.根据权利要求1所述的基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(2)中，对图像进行图像分割，采用的分割方法为k-means图像分割法。

3.根据权利要求1所述的基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(4)中，构建图像块生成对抗网络Π包括如下步骤：

(41)使用高斯差分函数特征点定位方法对目标图像进行特征点定位；

(42)将目标图像的特征点定位位置在生成图像上共享；

(43)提取目标图像和生成图像上相同特征点定位位置上的对应图像块；

(44)使用图像块生成对抗网络Π对目标图像和生成图像中对应图像块进行判别。

4.根据权利要求3所述的基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(44)中，图像块生成对抗网络Π中的生成器采用步骤(3)中条件式生成对抗网络I中的生成器。

5.根据权利要求1所述的基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(6)中，使用SIFT特征配准方法对生成图像和待配准图像进行同源图像配准。

6.一种实现权利要求1～5所述的任一基于图像分割的条件式生成对抗网络的异源遥感图像配准方法的装置，其特征在于：包括：

获取单元：从两组异源遥感图像数据中获取成对的训练样本，将成对的训练样本中的两张图像分别称为输入图像和目标图像；

图像分割单元：对图像进行图像分割；

条件式生成对抗网络：约束生成图像和目标图像的生成对抗一致性；

图像块生成对抗网络：约束生成图像和目标图像局部特征块的一致性；

训练单元：对基于图像分割的条件式生成对抗网络中的生成器、判别器，图像块生成对抗网络的判别器进行训练；

图像配准单元：对生成图像和待配准图像进行SIFT特征配准。

7.根据权利要求6所述的装置，其特征在于：所述条件式生成对抗网络包括：

生成模块：根据输入图像和分割图像，输出与目标图像纹理相似的生成图像；

条件式判别模块：输入图像组合为目标图像和输入图像时，判别为真；输入图像组合为生成图像和输入图像时，判别为假。

8.根据权利要求6所述的装置，其特征在于：所述图像块生成对抗网络包括：

特征点定位模块：对目标图像使用高斯差分函数特征点定位方法进行特征点定位；

特征点位置共享模块：将目标图像的特征点定位位置在生成图像上共享；

图像块提取模块：提取目标图像和生成图像上相同特征点位置上的对应图像块；

图像块判别模块：输入为目标图像的图像块时，判别为真；输入为生成图像的图像块时，判别为假。

Images