CN109978897B - 一种多尺度生成对抗网络的异源遥感图像配准方法及装置 - Google Patents

一种多尺度生成对抗网络的异源遥感图像配准方法及装置 Download PDF

Info

Publication number
CN109978897B
CN109978897B CN201910279035.6A CN201910279035A CN109978897B CN 109978897 B CN109978897 B CN 109978897B CN 201910279035 A CN201910279035 A CN 201910279035A CN 109978897 B CN109978897 B CN 109978897B
Authority
CN
China
Prior art keywords
image
scale
countermeasure network
data
generation countermeasure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910279035.6A
Other languages
English (en)
Other versions
CN109978897A (zh
Inventor
杜文亮
周勇
赵佳琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201910279035.6A priority Critical patent/CN109978897B/zh
Publication of CN109978897A publication Critical patent/CN109978897A/zh
Application granted granted Critical
Publication of CN109978897B publication Critical patent/CN109978897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

本发明公开了一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法及装置，根据两组异源遥感图像数据，获取训练样本；对输入图像进行图像分割，获得分割图像；构建基于图像分割的多尺度生成对抗网络；构建图像块的生成对抗网络；训练两个生成对抗网络；将生成图像与待配准图像进行同源图像配准。本发明能够约束生成对抗网络生成图像的空间信息一致性，并提供全尺寸、高分辨率、空间信息一致的图像转换解决方案，将异源图像配准问题化简为同源图像配准问题，构建统一的异源遥感图像配准框架。

Description

一种多尺度生成对抗网络的异源遥感图像配准方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法及装置。
背景技术
异源遥感图像配准是一种将同一区域不同传感器获取数据的几何信息进行配准的技术，是海量遥感数据自动化处理的关键技术，其运算精度将直接影响到异源遥感图像融合、镶嵌等后续应用的运算精度。然而不同性质的传感器，由于成像机理、拍摄时间、卫星姿态以及传感器参数不同等原因，其获取的数据之间往往会存在较大的尺寸、旋转、平移差异。同时，异源遥感图像的灰度值和特征信息之间也往往会存在非线性的差异。因此，快速、有效、高精度的异源遥感图像自动配准是一个极富挑战性的研究课题，也是当前国内外的研究热点。
目前，异源遥感图像配准方法大致可以分为三类：基于区域的方法、基于特征的方法以及基于机器学习的方法。基于区域的配准方法可以被看作是一种模板匹配的配准方法，是异源图像配准中最经典的配准方法。其中，由于互信息能够比较有效地克服异源遥感图像间灰度值非线性映射的问题，其被广泛地应用于异源遥感图像的配准中。然而，由于基于区域的配准方法计算量太大，难以满足遥感图像配准的实时性需求，也难以满足海量遥感图像的自动配准需求。并且，当图像重叠区域较小、图像存在非线性形变或图像存在较大尺度变化时，基于区域的配准方法难以获得理想的配准结果。
基于特征的配准方法是同源遥感图像配准中最常用的配准方法，该方法将图像的灰度信息抽象为点、线、面等特征信息，利用特征信息良好的光照、尺度、旋转不变性，实现准确、快速、自动的同源遥感图像配准。但是由于不同源遥感图像之间存在非线性的灰度(辐射)差异，将SIFT等基于同源图像研发的特征提取方法应用于异源遥感图像时，其获取特征信息的重复率较低，导致其应用于异源遥感图像配准时，配准的结果不稳定且甚至会导致配准失败。
研发基于机器学习的方法，实现对不同遥感图像的自动适配，是异源遥感图像配准的重要发展方向。然而，目前基于机器学习的图像转换方法难以对高分辨率的遥感数据实现高质量的图像生成，使得基于机器学习的异源遥感图像配准方法难以应用到高分辨率的异源遥感数据上。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法及装置，针对高分辨率的异源遥感数据，本发明能够有效约束基于生成对抗网络图像转换的空间信息一致性，并提供全尺寸、高分辨率、空间信息一致的图像转换解决方案，将异源遥感图像配准问题化简为同源遥感图像配准问题，构建统一的异源遥感图像配准框架。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，包括如下步骤：
(1)从两组高分辨率异源遥感图像数据中获取成对的训练样本，两组高分辨率异源遥感图像数据中的数据互为一一匹配，成对的训练样本中的两张图像分别为两组高分辨率异源遥感图像数据中一一匹配的数据，将成对的训练样本中的两张图像分别称为输入图像和目标图像；
(2)采用分割方法对图像进行图像分割，获得多尺度分割图像；
(3)构建基于图像分割的多尺度生成对抗网络Ⅰ；
(4)构建多尺度图像块生成对抗网络Ⅱ；
(5)训练两个生成对抗网络；
(6)将生成图像与待配准图像进行同源图像配准。
优选的，所述步骤(2)中，对图像进行图像分割，采用的分割方法为k-means图像分割法。
优选的，所述步骤(3)中，基于图像分割的多尺度生成对抗网络Ⅰ包括一个多尺度生成器GM和一个多尺度判别器DM，满足：
Figure BDA0002021058690000021
其中：x为输入图像，y为对应输入图像x的目标图像，·(r)为在尺度空间r的图像·，尺度空间1中的图像尺寸是尺度空间2中的图像尺寸的2倍，尺度空间2中的图像尺寸是尺度空间3中的图像尺寸的2倍，x(r)和y(r)分别为在尺度空间r的输入图像x和目标图像y，
Figure BDA0002021058690000031
表示输入图像x和目标图像y的对抗损失函数，S(x)表示输入图像x经k-means图像分割法分割后获得的分割图像，GM(x，S(x))(r)为输入图像x与分割图像S(x)经多尺度生成器GM后在尺度空间r下获得的生成图像，DM(r)(x(r)，y(r))和DM(r)(x(r)，GM(x，S(x))(r))为在尺度空间r下判别器DM(r)对图像组合(x(r)，y(r))和图像组合(x(r)，GM(x，S(x))(r))的判别结果，
Figure BDA0002021058690000036
表示数学期望，(x(r)，y(r))～pdata(x(r)，y(r))表示变量(x(r)，y(r))服从某种数据分布pdata(x(r)，y(r))，x(r)～pdata(x(r))表示变量x(r)服从某种数据分布pdata(x(r))。
优选的，所述步骤(4)中，构建多尺度图像块生成对抗网络II包括如下步骤：
(41)使用高斯差分函数特征点定位方法对多尺度目标图像进行特征点定位；
(42)将多尺度目标图像的特征点定位位置在相应的多尺度生成图像上共享；
(43)提取多尺度目标图像和多尺度生成图像上相同特征点定位位置上的对应图像块；
(44)使用多尺度图像块生成对抗网络II对多尺度目标图像和多尺度生成图像中对应图像块进行判别。
优选的，所述步骤(44)中，多尺度图像块生成对抗网络II中的生成器采用步骤(3)中多尺度生成对抗网络I中的生成器。
优选的，所述步骤(5)中，按照下面的损失函数训练两个生成对抗网络：
Figure BDA0002021058690000032
Figure BDA0002021058690000033
Figure BDA0002021058690000034
其中：
Figure BDA0002021058690000035
表示多尺度生成对抗网络工和多尺度图像块生成对抗网络II的目标函数，
Figure BDA0002021058690000041
表示生成图像和目标图像的多尺度图像分割损失函数，y(1)和y(2)分别表示在尺度空间1和在尺度空间2下的目标图像，y′(1)表示在尺度空间1下的生成图像，y″(2)表示在尺度空间2下的中间生成图像，
Figure BDA0002021058690000042
表示在尺度空间r下第k组图像块的图像块对抗损失函数；
K(r)为在尺度空间r下，通过多尺度图像块生成对抗网络II从尺度空间r下的生成图像以及目标图像中提取出的图像块的数量(步骤43)，k∈K(r)，
Figure BDA0002021058690000043
为在尺度空间r下的目标图像上提取的第k个图像块，
Figure BDA0002021058690000044
为在尺度空间r下的生成图像上提取的第k个图像块，
Figure BDA0002021058690000045
和
Figure BDA0002021058690000046
称为在尺度空间r下的第k组图像块；λ1为加权系数；
H(·)为像素级的交叉熵损失函数，
Figure BDA0002021058690000047
a和b为图像分割后的标注图，I为a和b对应的像空间，J为标注图的标注空间；S(y)表示目标图像y经k-means图像分割法分割后获得的分割图像；
Figure BDA0002021058690000048
和
Figure BDA0002021058690000049
分别表示在尺度空间r下图像块判别器DPM对
Figure BDA00020210586900000410
和
Figure BDA00020210586900000411
的判别结果；(y(1)，y′(1))～pdata(y(1)，y′(1))表示变量(y(1)，y′(1))服从某种数据分布pdata(y(1)，y′(1))，(y(2)，y″(2))～pdata(y(2)，y″(2))表示变量(y(2)，y″(2))服从某种数据分布pdata(y(2)，y″(2))，y(r)～pdata(y(r))表示变量y(r)服从某种数据分布pdata(y(r))，y′(r)～pdata(y′(r))表示变量y′(r)服从某种数据分布pdata(y′(r))。
优选的，所述步骤(6)中，使用SIFT特征配准方法对生成图像和待配准图像进行同源图像配准。
一种实现上述任一基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法的装置，包括：
获取单元：从两组高分辨率异源遥感图像数据中获取成对的训练样本；
图像分割单元：对图像进行图像分割；
多尺度生成对抗网络：约束多尺度生成图像和多尺度目标图像的生成对抗一致件；
多尺度图像块生成对抗网络：约束多尺度生成图像和多尺度目标图像局部特征块的一致性；
训练单元：对基于图像分割的多尺度生成对抗网络中的生成器、判别器，多尺度图像块生成对抗网络的判别器进行训练；
图像配准单元：对生成图像和待配准图像进行SIFT特征配准。
优选的，所述多尺度生成对抗网络包括：
生成模块：根据多尺度输入图像和多尺度分割图像，输出与目标图像纹理相似的多尺度生成图像；
多尺度判别模块：在多尺度空间下，输入图像组合为目标图像和输入图像时，判别为真；输入图像组合为生成图像和输入图像时，判别为假。
优选的，所述多尺度图像块生成对抗网络包括：
特征点定位模块：对多尺度的目标图像使用高斯差分函数特征点定位方法进行特征点定位；
特征点位置共享模块：将多尺度目标图像的特征点定位位置在相应的多尺度生成图像上共享；
图像块提取模块：提取多尺度目标图像和多尺度生成图像上相同特征点位置上的对应图像块；
图像块判别模块：在多尺度空间下，输入为目标图像的图像块时，判别为真；输入为生成图像的图像块时，判别为假。
有益效果：本发明提供的一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法及装置，能够针对高分辨率的异源遥感图像，实现在空间信息一致的前提下，将整幅遥感图像的纹理风格自动转换为与另一幅异源遥感图像纹理风格一致的图像转换，从而将异源遥感图像配准化简为有较成熟自动化解决方案的同源遥感图像配准，解决异源遥感图像之间较大的尺寸、旋转和平移差异问题以及图像灰度值、特征信息之间的非线性差异问题。
附图说明
图1为本发明方法的实施流程图；
图2为构建多尺度图像块生成对抗网络Ⅱ的实施流程图；
图3为本发明装置的结构示意图；
图4为获取的成对的训练样本示意图(以高分辨率的合成孔径雷达图像与高分辨率的光学遥感图像为例)；
图5为多尺度生成对抗网络Ⅰ的网络框架示意图；
图6为多尺度图像块生成对抗网络Ⅱ的网络框架示意图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示为一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法及装置，基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法的流程图如图1所示，包括如下流程步骤：
步骤S01：从两组高分辨率异源遥感图像数据中获取成对的训练样本，两组高分辨率异源遥感图像数据中的数据互为一一匹配，成对的训练样本中的两张图像分别为两组高分辨率异源遥感图像数据中一一匹配的数据，将成对的训练样本中的两张图像分别称为输入图像和目标图像。图4给出了获取成对的训练样本示意图。
步骤S02：采用k-means图像分割法对图像进行图像分割，获得多尺度分割图像。
首先需要分割的图像是输入图像，对输入图像的RGB像素值进行图像分割，然后根据不同尺度空间，获取多尺度的分割图像集，分割的种类设置为3个。
步骤S03：构建基于图像分割的多尺度生成对抗网络Ⅰ，多尺度生成对抗网络Ⅰ包括一个多尺度生成器GM和一个多尺度判别器DM，满足：
Figure BDA0002021058690000061
其中：x为输入图像，y为对应输入图像x的目标图像，·(r)为在尺度空间r的图像·，尺度空间1中的图像尺寸是尺度空间2中的图像尺寸的2倍，尺度空间2中的图像尺寸是尺度空间3中的图像尺寸的2倍，x(r)和y(r)分别为在尺度空间r的输入图像x和目标图像y，
Figure BDA0002021058690000062
表示输入图像x和目标图像y的对抗损失函数，S(x)表示输入图像x经k-means图像分割法分割后获得的分割图像，GM(x，S(x))(r)为输入图像x与分割图像S(x)经多尺度生成器GM后在尺度空间r下获得的生成图像，DM(r)(x(r)，y(r))和DM(r)(x(r)，GM(x，S(x))(r))为在尺度空间r下判别器DM(r)对图像组合(x(r)，y(r))和图像组合(x(r)，GM(x，S(x))(r))的判别结果，
Figure BDA0002021058690000071
表示数学期望，(x(r)，y(rx)～pdata(x(r)，y(r))表示变量(x(r)，y(r))服从某种数据分布pdata(x(r)，y(r))，x(r)～pdata(x(r))表示变量x(r)服从某种数据分布pdata(x(r))。
多尺度生成器GM由两部分组成，第一部分被分为两个组件，第一个组件包含两层卷积层，两个卷积层中的每层卷积均有一层最大池化层，从第一和第二层卷积层所对应的滤波器个数分别为32和64，每层最大池化层的尺度是2×2。第二个组件包含两个反卷积层，第一和第二层反卷积层所对应滤波器的个数分别为32和1，反卷积中的滤波器大小均为3×3。第二部分在第一部分的两个组件之间，为一个残差网络，由10个残差快组成。
每个尺度下的判别器DM均为一个包含四层卷积和三层全连接层的卷积神经网络，其中四层卷积中的每层卷积均接有一层最大池化层，所述最大池化层的尺度为2×2；四层卷积层中从第一层卷积到第四层卷积所对应的滤波器个数分别为32、64、128和256，所述滤波器的大小均为3×3；三层全连接层中从第一层全连接层到第三层全连接层所对应的节点数分别为512、128和1。
如图5所示为多尺度生成对抗网络I的网络框架示意图。
步骤S04：构建多尺度图像块生成对抗网络II，其网络架构示意图如图6所示。关于本步骤如何具体的构建多尺度图像块生成对抗网络II，稍后会有详细描述。
步骤S05：训练两个生成对抗网络，具体就是将步骤S01中获取的成对的多尺度训练样本，以及步骤S02中获得的多尺度分割图像输入到步骤S03和步骤S04构建的多尺度生成对抗网络I和多尺度图像块生成对抗网络II中的多尺度生成器GM进行训练，训练得到两个生成对抗网络对应的训练权重。
本实施例按照下面的损失函数训练两个生成对抗网络：
Figure BDA0002021058690000081
Figure BDA0002021058690000082
Figure BDA0002021058690000083
其中：
Figure BDA0002021058690000084
表示多尺度生成对抗网络I和多尺度图像块生成对抗网络II的目标函数，
Figure BDA0002021058690000085
表示生成图像和目标图像的多尺度图像分割损失函数，y(1)和y(2)分别表示在尺度空间1和在尺度空间2下的目标图像，y′(1)表示在尺度空间1下的生成图像，y″(2)表示在尺度空间2下的中间生成图像，
Figure BDA0002021058690000086
表示在尺度空间r下第k组图像块的图像块对抗损失函数；
K(r)为在尺度空间r下，通过多尺度图像块生成对抗网络II从尺度空间r下的生成图像以及目标图像中提取出的图像块的数量(步骤43)，k∈K(r)，
Figure BDA0002021058690000087
为在尺度空间r下的目标图像上提取的第k个图像块，
Figure BDA0002021058690000088
为在尺度空间r下的生成图像上提取的第k个图像块，
Figure BDA0002021058690000089
和
Figure BDA00020210586900000810
称为在尺度空间r下的第k组图像块；λ1为加权系数；
H(·)为像素级的交叉熵损失函数，
Figure BDA00020210586900000811
a和b为图像分割后的标注图，I为a和b对应的像空间，J为标注图的标注空间；S(y)表示目标图像y经k-means图像分割法分割后获得的分割图像；
Figure BDA00020210586900000812
和
Figure BDA00020210586900000813
分别表示在尺度空间r下图像块判别器DPM对
Figure BDA00020210586900000814
和
Figure BDA00020210586900000815
的判别结果；(y(1)，y′(1))～pdata(y(1)，y′(1))表示变量(y(1)，y′(1))服从某种数据分布pdata(y(1)，y′(1))，(y(2)，y″(2))～pdata(y(2)，y″(2))表示变量(y(2)，y″(2))服从某种数据分布pdata(y(2)，y″(2))，y(r)～pdata(y(r))表示变量y(r)服从某种数据分布pdata(y(r))，y′(r)～pdata(y′(r))表示变量y′(r)服从某种数据分布pdata(y′(r))。
步骤S06：将生成图像与待配准图像进行同源图像配准，将生成图像与待配准图像进行同源图像配准，具体就是使用SIFT特征提取算子，提取生成图像与待配准图像的特征点以及构建相应的SIFT特征点描述子，然后对生成图像与待配准图像中的特征点进行一一匹配，最后使用随机抽样一致算法(RANSAC)去除错误的匹配。本发明的方法可以完全由计算机实现，而不需要人工辅助。这表明，本发明可以实现批量化自动处理，大大地提高了处理效率、降低了人工成本。
对于本实施例而言，上述步骤S04还可以进一步细化，其细化后的具体流程图如图2所示，图2中，该步骤S04进一步包括：
步骤S41：使用高斯差分函数特征点定位方法对多尺度的目标图像进行特征点定位。
步骤S42：将多尺度目标图像的特征点定位位置在相应的多尺度生成图像上共享。
步骤S43：提取多尺度目标图像和多尺度生成图像上相同特征点定位位置上的对应图像块。
步骤S44：使用多尺度图像块生成对抗网络Ⅱ对多尺度目标图像和多尺度生成图像中对应图像块进行判别，多尺度图像块生成对抗网络Ⅱ中的生成器与步骤S03中多尺度生成对抗网络Ⅰ的生成器为同一生成器。图像块判别器为一个包含四层卷积和三层全连接层的卷积神经网络，其中四层卷积中的每层卷积均接有一层最大池化层，所述最大池化层的尺度为2×2；四层卷积层中从第一层卷积到第四层卷积所对应的滤波器个数分别为32、64、128和256，所述滤波器的大小均为3×3；三层全连接层中从第一层全连接层到第三层全连接层所对应的节点数分别为512、128和1。
本实施例还涉及一种实现上述基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法的装置，该装置的结构示意图如图3所示。图3中，该装置包括获取单元1、图像分割单元2、多尺度生成对抗网络3、多尺度图像块生成对抗网络4、训练单元5和图像配准单元6；其中，获取单元1用于从两组高分辨率异源遥感图像数据中获取成对的训练样本；图像分割单元2用于对图像进行图像分割；多尺度生成对抗网络3用于约束多尺度生成图像和多尺度目标图像的生成对抗一致性；多尺度图像块生成对抗网络4用于约束多尺度生成图像和多尺度目标图像局部特征块的一致性；训练单元5用于对基于图像分割的多尺度生成对抗网络中的生成器、判别器，多尺度图像块生成对抗网络的判别器进行训练；图像配准单元6用于对生成图像和待配准图像进行SIFT特征配准。
本实施例中，多尺度生成对抗网络3进一步包括生成模块31和多尺度判别模块32；其中，生成模块31用于根据多尺度输入图像和多尺度分割图像，输出与目标图像纹理相似的多尺度生成图像；多尺度判别模块32用于判断：在多尺度空间下，输入图像组合为目标图像和输入图像时，判别为真；输入图像组合为生成图像和输入图像时，判别为假。
本实施例中，多尺度图像块生成对抗网络4进一步包括特征点定位模块41、特征点位置共享模块42、图像块提取模块43和图像块判别模块44；其中，特征点定位模块41用于对多尺度的目标图像使用高斯差分函数特征点定位方法进行特征点定位；特征点位置共享模块42用于将多尺度目标图像的特征点定位位置在相应的多尺度生成图像上共享；图像块提取模块43用于取多尺度目标图像和多尺度生成图像上相同特征点位置上的对应图像块；图像块判别模块44用于判别：在多尺度空间下，输入为目标图像的图像块时，判别为真；输入为生成图像的图像块时，判别为假。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：包括如下步骤：
(1)从两组高分辨率异源遥感图像数据中获取成对的训练样本，两组高分辨率异源遥感图像数据中的数据互为一一匹配，成对的训练样本中的两张图像分别为两组高分辨率异源遥感图像数据中一一匹配的数据，将成对的训练样本中的两张图像分别称为输入图像和目标图像；
(2)采用分割方法对图像进行图像分割，获得多尺度分割图像；
(3)构建基于图像分割的多尺度生成对抗网络Ⅰ；基于图像分割的多尺度生成对抗网络Ⅰ包括一个多尺度生成器GM和一个多尺度判别器DM，满足：
Figure FDA0002420903890000011
其中：x为输入图像，y为对应输入图像x的目标图像，·(r)为在尺度空间r的图像·，尺度空间1中的图像尺寸是尺度空间2中的图像尺寸的2倍，尺度空间2中的图像尺寸是尺度空间3中的图像尺寸的2倍，x(r)和y(r)分别为在尺度空间r的输入图像x和目标图像y，
Figure FDA0002420903890000012
表示输入图像x和目标图像y的对抗损失函数，S(x)表示输入图像x经k-means图像分割法分割后获得的分割图像，GM(x,S(x))(r)为输入图像x与分割图像S(x)经多尺度生成器GM后在尺度空间r下获得的生成图像，DM(r)(x(r),y(r))和DM(r)(x(r),GM(x,S(x))(r))为在尺度空间r下判别器DM(r)对图像组合(x(r),y(r))和图像组合(x(r),GM(x,S(x))(r))的判别结果，
Figure FDA0002420903890000013
表示数学期望，(x(r),y(r))～pdata(x(r),y(r))表示变量(x(r),y(r))服从数据分布pdata(x(r),y(r))，x(r)～pdata(x(r))表示变量x(r)服从数据分布pdata(x(r))；
(4)构建多尺度图像块生成对抗网络Ⅱ；
(5)训练两个生成对抗网络；按照下面的损失函数训练两个生成对抗网络：
Figure FDA0002420903890000021
Figure FDA0002420903890000022
Figure FDA0002420903890000023
其中：
Figure FDA0002420903890000024
表示多尺度生成对抗网络Ⅰ和多尺度图像块生成对抗网络Ⅱ的目标函数，
Figure FDA0002420903890000025
表示生成图像和目标图像的多尺度图像分割损失函数，y(1)和y(2)分别表示在尺度空间1和在尺度空间2下的目标图像，y'(1)表示在尺度空间1下的生成图像，y”(2)表示在尺度空间2下的中间生成图像，
Figure FDA0002420903890000026
表示在尺度空间r下第k组图像块的图像块对抗损失函数；
K(r)为在尺度空间r下，通过多尺度图像块生成对抗网络Ⅱ从尺度空间r下的生成图像以及目标图像中提取出的图像块的数量，k∈K(r)，
Figure FDA0002420903890000027
为在尺度空间r下的目标图像上提取的第k个图像块，
Figure FDA0002420903890000028
为在尺度空间r下的生成图像上提取的第k个图像块，
Figure FDA0002420903890000029
和
Figure FDA00024209038900000210
称为在尺度空间r下的第k组图像块；λ1为加权系数；
H(·)为像素级的交叉熵损失函数，
Figure FDA00024209038900000211
a和b为图像分割后的标注图，I为a和b对应的像空间，J为标注图的标注空间；S(y)表示目标图像y经k-means图像分割法分割后获得的分割图像；
Figure FDA00024209038900000212
和
Figure FDA00024209038900000213
分别表示在尺度空间r下图像块判别器DPM对
Figure FDA00024209038900000214
和
Figure FDA00024209038900000215
的判别结果；(y(1),y'(1))～pdata(y(1),y'(1))表示变量(y(1),y'(1))服从数据分布pdata(y(1),y'(1))，(y(2),y”(2))～pdata(y(2),y”(2))表示变量(y(2),y”(2))服从数据分布pdata(y(2),y”(2))，y(r)～pdata(y(r))表示变量y(r)服从数据分布pdata(y(r))，y'(r)～pdata(y'(r))表示变量y'(r)服从数据分布pdata(y'(r))；
(6)将生成图像与待配准图像进行同源图像配准。
2.根据权利要求1所述的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(2)中，对图像进行图像分割，采用的分割方法为k-means图像分割法。
3.根据权利要求1所述的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(4)中，构建多尺度图像块生成对抗网络Ⅱ包括如下步骤：
(41)使用高斯差分函数特征点定位方法对多尺度目标图像进行特征点定位；
(42)将多尺度目标图像的特征点定位位置在相应的多尺度生成图像上共享；
(43)提取多尺度目标图像和多尺度生成图像上相同特征点定位位置上的对应图像块；
(44)使用多尺度图像块生成对抗网络Ⅱ对多尺度目标图像和多尺度生成图像中对应图像块进行判别。
4.根据权利要求3所述的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(44)中，多尺度图像块生成对抗网络Ⅱ中的生成器采用步骤(3)中多尺度生成对抗网络Ⅰ中的生成器。
5.根据权利要求1所述的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(6)中，使用SIFT特征配准方法对生成图像和待配准图像进行同源图像配准。
6.一种实现权利要求1～5所述的任一多尺度生成对抗网络的异源遥感图像配准方法的装置，其特征在于：包括：
获取单元：从两组高分辨率异源遥感图像数据中获取成对的训练样本；
图像分割单元：对图像进行图像分割；
多尺度生成对抗网络：约束多尺度生成图像和多尺度目标图像的生成对抗一致性；
多尺度图像块生成对抗网络：约束多尺度生成图像和多尺度目标图像局部特征块的一致性；
训练单元：对基于图像分割的多尺度生成对抗网络中的生成器、判别器，多尺度图像块生成对抗网络的判别器进行训练；
图像配准单元：对生成图像和待配准图像进行SIFT特征配准。
7.根据权利要求6所述的装置，其特征在于：所述多尺度生成对抗网络包括：
生成模块：根据多尺度输入图像和多尺度分割图像，输出与目标图像纹理相似的多尺度生成图像；
多尺度判别模块：在多尺度空间下，输入图像组合为目标图像和输入图像时，判别为真；输入图像组合为生成图像和输入图像时，判别为假。
8.根据权利要求6所述的装置，其特征在于：所述多尺度图像块生成对抗网络包括：
特征点定位模块：对多尺度的目标图像使用高斯差分函数特征点定位方法进行特征点定位；
特征点位置共享模块：将多尺度目标图像的特征点定位位置在相应的多尺度生成图像上共享；
图像块提取模块：提取多尺度目标图像和多尺度生成图像上相同特征点位置上的对应图像块；
图像块判别模块：在多尺度空间下，输入为目标图像的图像块时，判别为真；输入为生成图像的图像块时，判别为假。
CN201910279035.6A 2019-04-09 2019-04-09 一种多尺度生成对抗网络的异源遥感图像配准方法及装置 Active CN109978897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910279035.6A CN109978897B (zh) 2019-04-09 2019-04-09 一种多尺度生成对抗网络的异源遥感图像配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910279035.6A CN109978897B (zh) 2019-04-09 2019-04-09 一种多尺度生成对抗网络的异源遥感图像配准方法及装置

Publications (2)

Publication Number Publication Date
CN109978897A CN109978897A (zh) 2019-07-05
CN109978897B true CN109978897B (zh) 2020-05-08

Family

ID=67083535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910279035.6A Active CN109978897B (zh) 2019-04-09 2019-04-09 一种多尺度生成对抗网络的异源遥感图像配准方法及装置

Country Status (1)

Country Link
CN (1) CN109978897B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598765B (zh) * 2019-08-28 2023-05-26 腾讯科技（深圳）有限公司 样本生成方法、装置、计算机设备及存储介质
TWI740565B (zh) * 2020-07-03 2021-09-21 財團法人國家實驗研究院國家高速網路與計算中心 改善遙測影像品質的方法、電腦程式產品及系統
CN117574161B (zh) * 2024-01-17 2024-04-16 航天宏图信息技术股份有限公司 基于生成对抗网络的地表参量估算方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510532A (zh) * 2018-03-30 2018-09-07 西安电子科技大学 基于深度卷积gan的光学和sar图像配准方法
CN108564606A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 基于图像转换的异源图像块匹配方法
CN108986067A (zh) * 2018-05-25 2018-12-11 上海交通大学 基于跨模态的肺结节检测方法
CN109086668A (zh) * 2018-07-02 2018-12-25 电子科技大学 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN109472817A (zh) * 2018-09-27 2019-03-15 浙江工业大学 一种基于循环生成对抗网络的多序列磁共振图像配准方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537743B (zh) * 2018-03-13 2022-05-20 杭州电子科技大学 一种基于生成对抗网络的面部图像增强方法
CN109493308B (zh) * 2018-11-14 2021-10-26 吉林大学 基于条件多判别生成对抗网络的医疗图像合成与分类方法
CN109544555B (zh) * 2018-11-26 2021-09-03 陕西师范大学 基于生成式对抗网络的细小裂缝分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510532A (zh) * 2018-03-30 2018-09-07 西安电子科技大学 基于深度卷积gan的光学和sar图像配准方法
CN108564606A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 基于图像转换的异源图像块匹配方法
CN108986067A (zh) * 2018-05-25 2018-12-11 上海交通大学 基于跨模态的肺结节检测方法
CN109086668A (zh) * 2018-07-02 2018-12-25 电子科技大学 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN109472817A (zh) * 2018-09-27 2019-03-15 浙江工业大学 一种基于循环生成对抗网络的多序列磁共振图像配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Digital Image Semantic Segmentation Algorithms: A Survey;Wei Song 等;《Journal of Information Hiding and Multimedia Signal Processing》;20190131;第10卷(第1期);全文 *
基于生成式对抗网络的细小桥梁裂缝分割方法;李良福 等;《激光与光电子学进展》;20181225;第1-18页 *

Also Published As

Publication number Publication date
CN109978897A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109903299B (zh) 一种条件式生成对抗网络的异源遥感图像配准方法及装置
CN111401384B (zh) 一种变电设备缺陷图像匹配方法
Chee et al. Airnet: Self-supervised affine registration for 3d medical images using neural networks
CN109978897B (zh) 一种多尺度生成对抗网络的异源遥感图像配准方法及装置
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN110956581B (zh) 一种基于双通道生成-融合网络的图像模态变换方法
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
CN110310310A (zh) 一种针对航空影像配准的改进方法
CN110727819B (zh) 一种尺度自适应病理全切片图像数据库检索方法
CN114693661A (zh) 一种基于深度学习的快速分拣方法
Xie et al. Semantics lead all: Towards unified image registration and fusion from a semantic perspective
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
CN109961435B (zh) 脑图像获取方法、装置、设备及存储介质
CN116664892A (zh) 基于交叉注意与可形变卷积的多时相遥感图像配准方法
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
Yang et al. Visible-assisted infrared image super-resolution based on spatial attention residual network
CN109615577B (zh) 基于卷积网络的高光谱图像超分辨处理方法
CN112215878B (zh) 一种基于surf特征点的x光图像配准方法
CN113610746A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN109993782B (zh) 一种环形生成对抗网络的异源遥感图像配准方法及装置
CN116664856A (zh) 基于点云-图像多交叉混合的三维目标检测方法、系统及存储介质
CN116229455A (zh) 基于多尺度特征深度神经网络的半夏产地识别方法和系统
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
CN112069923A (zh) 3d人脸点云重建方法及系统
CN117475091B (zh) 高精度3d模型生成方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant