CN109993782B - 一种环形生成对抗网络的异源遥感图像配准方法及装置 - Google Patents

一种环形生成对抗网络的异源遥感图像配准方法及装置 Download PDF

Info

Publication number
CN109993782B
CN109993782B CN201910261455.1A CN201910261455A CN109993782B CN 109993782 B CN109993782 B CN 109993782B CN 201910261455 A CN201910261455 A CN 201910261455A CN 109993782 B CN109993782 B CN 109993782B
Authority
CN
China
Prior art keywords
image
input
countermeasure network
images
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910261455.1A
Other languages
English (en)
Other versions
CN109993782A (zh
Inventor
杜文亮
周勇
赵佳琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201910261455.1A priority Critical patent/CN109993782B/zh
Publication of CN109993782A publication Critical patent/CN109993782A/zh
Application granted granted Critical
Publication of CN109993782B publication Critical patent/CN109993782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像分割的环形生成对抗网络的异源遥感图像配准方法及装置，根据两组异源遥感图像数据，获取训练样本；对输入图像进行图像分割，获得分割图像；构建基于图像分割的环形生成对抗网络；构建图像块的生成对抗网络；训练两个生成对抗网络；将生成图像与待配准图像进行同源图像配准。针对非匹配的异源遥感数据，本发明能够约束生成对抗网络生成图像的空间信息一致性，并提供全尺寸空间信息一致的图像转换解决方案，将异源图像配准问题化简为同源图像配准问题，构建统一的异源遥感图像配准框架。

Description

一种环形生成对抗网络的异源遥感图像配准方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于图像分割的环形生成对抗网络的异源遥感图像配准方法及装置。
背景技术
异源遥感图像配准是一种将同一区域不同传感器获取数据的几何信息进行配准的技术，是海量遥感数据自动化处理的关键技术，其运算精度将直接影响到异源遥感图像融合、镶嵌等后续应用的运算精度。然而不同性质的传感器，由于成像机理、拍摄时间、卫星姿态以及传感器参数不同等原因，其获取的数据之间往往会存在较大的尺寸、旋转、平移差异。同时，异源遥感图像的灰度值和特征信息之间也往往会存在非线性的差异。因此，快速、有效、高精度的异源遥感图像自动配准是一个极富挑战性的研究课题，也是当前国内外的研究热点。
目前，异源遥感图像配准方法大致可以分为三类：基于区域的方法、基于特征的方法以及基于机器学习的方法。基于区域的配准方法可以被看作是一种模板匹配的配准方法，是异源图像配准中最经典的配准方法。其中，由于互信息能够比较有效地克服异源遥感图像间灰度值非线性映射的问题，其被广泛地应用于异源遥感图像的配准中。然而，由于基于区域的配准方法计算量太大，难以满足遥感图像配准的实时性需求，也难以满足海量遥感图像的自动配准需求。并且，当图像重叠区域较小、图像存在非线性形变或图像存在较大尺度变化时，基于区域的配准方法难以获得理想的配准结果。
基于特征的配准方法是同源遥感图像配准中最常用的配准方法，该方法将图像的灰度信息抽象为点、线、面等特征信息，利用特征信息良好的光照、尺度、旋转不变性，实现准确、快速、自动的同源遥感图像配准。但是由于不同源遥感图像之间存在非线性的灰度(辐射)差异，将SIFT等基于同源图像研发的特征提取方法应用于异源遥感图像时，其获取特征信息的重复率较低，导致其应用于异源遥感图像配准时，配准的结果不稳定且甚至会导致配准失败。
研发基于机器学习的方法，实现对不同遥感图像的自动适配，是异源遥感图像配准的重要发展方向。目前基于机器学习的异源遥感配准方法需要使用基于生成对抗网络的图像转换，但是并没有严格约束图像转换匹配图像块的空间信息一致性，因此容易造成图像块的误匹配。并且大量的异源遥感图像缺少一一匹配的数据，因此基于学习的方法缺少用于训练的匹配的异源遥感图像样本。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种基于图像分割的环形生成对抗网络的异源遥感图像配准方法及装置，针对非匹配的异源遥感图像，本发明能够有效约束基于生成对抗网络图像转换的空间信息一致性，并提供全尺寸空间信息一致的图像转换解决方案，将异源遥感图像配准问题化简为同源遥感图像配准问题，构建统一的异源遥感图像配准框架。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于图像分割的环形生成对抗网络的异源遥感图像配准方法，包括如下步骤：
(1)从两组异源遥感图像数据中获取成对的训练样本，两组异源遥感图像数据中的数据为非匹配数据，成对的训练样本中的两张图像分别为两组异源遥感图像数据中非匹配的数据(即两张图像为两个不同的遥感探测器拍摄从两个不同区域获取的图像)，将成对的训练样本中的两张图像分别称为第一输入图像和第二输入图像；
(2)采用分割方法对图像进行图像分割，获得分割图像；
(3)构建基于图像分割的环形生成对抗网络Ⅰ；
(4)构建图像块生成对抗网络Ⅱ；
(5)训练两个生成对抗网络；
(6)将生成图像与待配准图像进行同源图像配准。
优选的，所述步骤(2)中，对图像进行图像分割，采用的分割方法为k-means图像分割法。
优选的，所述步骤(3)中，基于图像分割的环形生成对抗网络Ⅰ包括两个生成器G1、G2和两个判别器D1、D2，满足：
Figure BDA0002015415640000021
Figure BDA0002015415640000022
其中：x为第一输入图像，y为对应第一输入图像x的第二输入图像，
Figure BDA0002015415640000031
和
Figure BDA0002015415640000032
表示第一输入图像x和第二输入图像y的对抗损失函数，S(x)和S(y)表示第一输入图像x和第二输入图像y经k-means图像分割法分割后获得的分割图像，G1(x,S(x))为第一输入图像x与分割图像S(x)经生成器G1后获得的生成图像，G2(y,S(y))为第二输入图像y与分割图像S(y)经生成器G2后获得的生成图像，D1(y)和D1(G1(x,S(x)))分别表示判别器D1对第二输入图像y和生成图像G1(x,S(x))的判别结果，D2(x)和D2(G2(y,S(y)))分别表示判别器D2对第一输入图像x和生成图像G2(y,S(y))的判别结果，
Figure BDA0002015415640000035
表示数学期望，x～pdata(x)表示变量x服从某种数据分布x～pdata(x)，y～pdata(y)表示变量y服从某种数据分布pdata(y)。
优选的，所述步骤(4)中，构建图像块生成对抗网络Ⅱ包括如下步骤：
(41)使用高斯差分函数特征点定位方法分别对第一、二输入图像进行特征点定位；
(42)将从第一、第二输入图像中提取的特征点定位位置分别在其对应的反向生成图像上共享；
(43)提取第一、二输入图像及其对应的反向生成图像上相同特征点定位位置上的对应图像块；
(44)使用图像块生成对抗网络Ⅱ对第一、二输入图像及其对应的反向生成图像中对应图像块进行判别。
优选的，所述步骤(44)中，图像块生成对抗网络Ⅱ中的生成器采用步骤(3)中环形生成对抗网络Ⅰ中的生成器。
优选的，所述步骤(5)中，按照下面的损失函数训练两个生成对抗网络：
Figure BDA0002015415640000033
Figure BDA0002015415640000034
Figure BDA0002015415640000041
Figure BDA0002015415640000042
Figure BDA0002015415640000043
Figure BDA0002015415640000044
Figure BDA0002015415640000045
其中：
Figure BDA0002015415640000046
表示环形生成对抗网络Ⅰ和图像块生成对抗网络Ⅱ的目标函数，
Figure BDA0002015415640000047
和
Figure BDA0002015415640000048
分别表示第一、二输入图像对应的反向生成图像，
Figure BDA0002015415640000049
表示第一、二输入图像和其对应的反向生成图像的图像分割损失函数，
Figure BDA00020154156400000410
表示第二输入图像y和其对应的反向生成图像
Figure BDA00020154156400000411
的第m组图像块的图像块对抗损失函数，
Figure BDA00020154156400000412
表示第一输入图像x和其对应的反向生成图像
Figure BDA00020154156400000413
的第n组图像块的图像块对抗损失函数，
Figure BDA00020154156400000414
表示第一、二输入图像和其对应的反向生成图像的像素级反向生成约束损失函数；
M为通过图像块生成对抗网络Ⅱ从第二输入图像y及其反向生成图像
Figure BDA00020154156400000415
中提取出的图像块的数量(步骤43)，m∈M，N为通过图像块生成对抗网络Ⅱ从第一输入图像x及其反向生成图像
Figure BDA00020154156400000416
中提取出的图像块的数量(步骤43)，n∈N，
Figure BDA00020154156400000417
和
Figure BDA00020154156400000418
分别为在第二输入图像y和其反向生成图像
Figure BDA00020154156400000435
上提取的第m个图像块，
Figure BDA00020154156400000419
和
Figure BDA00020154156400000420
分别为在第一输入图像x和其反向生成图像
Figure BDA00020154156400000421
上提取的第n个图像块，
Figure BDA00020154156400000422
和
Figure BDA00020154156400000423
称为第m组图像块，
Figure BDA00020154156400000424
和
Figure BDA00020154156400000425
称为第n组图像块；λ1和λ2为加权系数；
H(·)为像素级的交叉熵损失函数，
Figure BDA00020154156400000426
a和b为图像分割后的标注图，I为a和b对应的像空间，J为标注图的标注空间；
Figure BDA00020154156400000427
和
Figure BDA00020154156400000428
分别表示反向生成图像
Figure BDA00020154156400000429
和
Figure BDA00020154156400000430
经k-means图像分割法分割后获得的分割图像；
Figure BDA00020154156400000431
和
Figure BDA00020154156400000432
分别表示图像块判别器DP1对
Figure BDA00020154156400000433
和
Figure BDA00020154156400000434
的判别结果，
Figure BDA0002015415640000051
和
Figure BDA0002015415640000052
分别表示图像块判别器DP2对
Figure BDA0002015415640000053
和
Figure BDA0002015415640000054
的判别结果；
Figure BDA0002015415640000055
表示变量
Figure BDA0002015415640000056
服从某数据分布
Figure BDA0002015415640000057
Figure BDA0002015415640000058
表示变量
Figure BDA0002015415640000059
服从某数据分布
Figure BDA00020154156400000510
||·||1表示一范数。
优选的，所述步骤(6)中，使用SIFT特征配准方法对生成图像和待配准图像进行同源图像配准。
一种实现上述任一基于图像分割的环形生成对抗网络的异源遥感图像配准方法的装置，包括：
获取单元：从两组异源遥感图像数据中获取成对的训练样本；
图像分割单元：对图像进行图像分割；
环形生成对抗网络：约束输入图像和反向生成图像的生成对抗一致性；
图像块生成对抗网络：约束输入图像和反向生成图像局部特征块的一致性；
训练单元：对基于图像分割的环形生成对抗网络中的生成器、判别器，图像块生成对抗网络的判别器进行训练；
图像配准单元：对生成图像和待配准图像进行SIFT特征配准。
优选的，所述环形生成对抗网络包括：
生成模块一：根据第一输入图像和对应的分割图像，输出与第二输入图像纹理风格相似的生成图像；
判别模块一：输入为第二输入图像时，判别为真；输入为第一输入图像的生成图像时，判别为假；
生成模块二：根据第二输入图像和对应的分割图像，输出与第一输入图像纹理风格相似的生成图像；
判别模块二：输入为第一输入图像时，判别为真；输入为第二生成图像的生成图像时，判别为假。
优选的，所述图像块生成对抗网络包括：
特征点定位模块：对第一、二输入图像使用高斯差分函数特征点定位方法进行特征点定位；
特征点位置共享模块：将第一、二输入图像的特征点定位位置在其对应的反向生成图像上共享；
图像块提取模块：提取第一、二输入图像和其对应的反向生成图像上相同特征点位置上的对应图像块；
图像块判别模块：输入为第一、二输入图像的图像块时，判别为真；输入为第一、二输入图像对应的生成图像的图像块时，判别为假。有益效果：本发明提供的一种基于图像分割的环形生成对抗网络的异源遥感图像配准方法及装置，能够针对非匹配的异源遥感图像数据，实现在空间信息一致的前提下，将整幅遥感图像的纹理风格自动转换为与另一幅异源遥感图像纹理风格一致的图像转换，从而将异源遥感图像配准化简为有较成熟自动化解决方案的同源遥感图像配准，解决异源遥感图像之间较大的尺寸、旋转和平移差异问题以及图像灰度值、特征信息之间的非线性差异问题。
附图说明
图1为本发明方法的实施流程图；
图2为构建图像块生成对抗网络Ⅱ的实施流程图；
图3为本发明装置的结构示意图；
图4为获取的训练样本示意图(以合成孔径雷达图像与光学遥感图像为例)；
图5为环形生成对抗网络Ⅰ的网络框架示意图；
图6为图像块生成对抗网络Ⅱ的网络框架示意图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示为一种基于图像分割的环形生成对抗网络的异源遥感图像配准方法及装置，基于图像分割的环形生成对抗网络的异源遥感图像配准方法的流程图如图1所示，包括如下流程步骤：
步骤S01：从两组异源遥感图像数据中获取成对的训练样本，两组异源遥感图像数据中的数据为非匹配数据，成对的训练样本中的两张图像分别为两组异源遥感图像数据中非匹配的数据，将成对的训练样本中的两张图像分别称为第一输入图像和第二输入图像。图4给出了获取的成对的训练样本示意图。
步骤S02：采用k-means图像分割法对图像进行图像分割，获得分割图像。
首先对第一、二输入图像的RGB像素值进行图像分割，获取对应的分割图像，分割的种类设置为3个。
步骤S03：构建基于图像分割的环形生成对抗网络Ⅰ，环形生成对抗网络Ⅰ包括两个生成器G1、G2和两个判别器D1、D2，满足：
Figure BDA0002015415640000071
Figure BDA0002015415640000072
其中：x为第一输入图像，y为对应第一输入图像x的第二输入图像，
Figure BDA0002015415640000073
和
Figure BDA0002015415640000074
表示第一输入图像x和第二输入图像y的对抗损失函数，S(x)和S(y)表示第一输入图像x和第二输入图像y经k-means图像分割法分割后获得的分割图像，G1(x,S(x))为第一输入图像x与分割图像S(x)经生成器G1后获得的生成图像，G2(y,S(y))为第二输入图像y与分割图像S(y)经生成器G2后获得的生成图像，D1(y)和D1(G1(x,S(x)))分别表示判别器D1对第二输入图像y和生成图像G1(x,S(x))的判别结果，D2(x)和D2(G2(y,S(y)))分别表示判别器D2对第一输入图像x和生成图像G2(y,S(y))的判别结果，
Figure BDA0002015415640000075
表示数学期望，x～pdata(x)表示变量x服从某种数据分布x～pdata(x)，y～pdata(y)表示变量y服从某种数据分布pdata(y)。
两个生成器G1和G2均为一个包含四层卷积和四层反卷积的卷积神经网络，其中四层卷积中的每层卷积均接有一层最大池化层，四层卷积中从第一层卷积到第四层卷积所对应的滤波器个数分别为32、64、128、256，每层最大池化层的尺度是2×2。四层反卷积中从第一层反卷积至第四层反卷积所对应的滤波器的个数分别为128、64、32、1，其中四层卷积和四层反卷积中的滤波器大小均为3×3。
两个判别器D1和D2均为一个包含四层卷积和三层全连接层的卷积神经网络，其中四层卷积中的每层卷积均接有一层最大池化层，所述最大池化层的尺度为2×2；四层卷积层中从第一层卷积到第四层卷积所对应的滤波器个数分别为32、64、128和256，所述滤波器的大小均为3×3；三层全连接层中从第一层全连接层到第三层全连接层所对应的节点数分别为512、128和1。
如图5所示为环形生成对抗网络Ⅰ的网络框架示意图。
步骤S04：构建图像块生成对抗网络Ⅱ，其网络架构示意图如图6所示。关于本步骤如何具体的构建图像块生成对抗网络Ⅱ，稍后会有详细描述。
步骤S05：训练两个生成对抗网络，具体就是将步骤S01中获取的成对的训练样本，以及步骤S02中获得的分割图像输入到步骤S03和步骤S04构建的环形生成对抗网络Ⅰ和图像块生成对抗网络Ⅱ中的生成器G1和生成器G2进行训练，训练得到两个生成对抗网络对应的训练权重。
本实施例按照下面的损失函数训练两个生成对抗网络：
Figure BDA0002015415640000081
Figure BDA0002015415640000082
Figure BDA0002015415640000083
Figure BDA0002015415640000084
Figure BDA0002015415640000085
Figure BDA0002015415640000086
Figure BDA0002015415640000087
其中：
Figure BDA0002015415640000088
表示环形生成对抗网络Ⅰ和图像块生成对抗网络Ⅱ的目标函数，
Figure BDA0002015415640000089
和
Figure BDA00020154156400000810
分别表示第一、二输入图像对应的反向生成图像，
Figure BDA00020154156400000811
表示第一、二输入图像和其对应的反向生成图像的图像分割损失函数，
Figure BDA00020154156400000812
表示第二输入图像y和其对应的反向生成图像
Figure BDA00020154156400000813
的第m组图像块的图像块对抗损失函数，
Figure BDA00020154156400000814
表示第一输入图像x和其对应的反向生成图像
Figure BDA00020154156400000815
的第n组图像块的图像块对抗损失函数，
Figure BDA00020154156400000816
表示第一、二输入图像和其对应的反向生成图像的像素级反向生成约束损失函数；M为通过图像块生成对抗网络Ⅱ从第二输入图像y及其反向生成图像
Figure BDA0002015415640000091
中提取出的图像块的数量，m∈M，N为通过图像块生成对抗网络Ⅱ从第一输入图像x及其反向生成图像
Figure BDA0002015415640000092
中提取出的图像块的数量，n∈N，
Figure BDA0002015415640000093
和
Figure BDA0002015415640000094
分别为在第二输入图像y和其反向生成图像
Figure BDA0002015415640000095
上提取的第m个图像块，
Figure BDA0002015415640000096
和
Figure BDA0002015415640000097
分别为在第一输入图像x和其反向生成图像
Figure BDA0002015415640000098
上提取的第n个图像块，
Figure BDA0002015415640000099
和
Figure BDA00020154156400000910
称为第m组图像块，
Figure BDA00020154156400000911
和
Figure BDA00020154156400000912
称为第n组图像块；λ1和λ2为加权系数；H(·)为像素级的交叉熵损失函数，
Figure BDA00020154156400000913
a和b为图像分割后的标注图，I为a和b对应的像空间，J为标注图的标注空间；
Figure BDA00020154156400000914
和
Figure BDA00020154156400000915
分别表示反向生成图像
Figure BDA00020154156400000916
和
Figure BDA00020154156400000917
经k-means图像分割法分割后获得的分割图像；
Figure BDA00020154156400000918
和
Figure BDA00020154156400000919
分别表示图像块判别器DP1对
Figure BDA00020154156400000920
和
Figure BDA00020154156400000921
的判别结果，
Figure BDA00020154156400000922
和
Figure BDA00020154156400000923
分别表示图像块判别器DP2对
Figure BDA00020154156400000924
和
Figure BDA00020154156400000925
的判别结果；
Figure BDA00020154156400000926
表示变量
Figure BDA00020154156400000927
服从某数据分布
Figure BDA00020154156400000928
表示变量
Figure BDA00020154156400000929
服从某数据分布
Figure BDA00020154156400000930
||·||1表示一范数。
步骤S06：将生成图像与待配准图像进行同源图像配准，将生成图像与待配准图像进行同源图像配准，具体就是使用SIFT特征提取算子，提取生成图像与待配准图像的特征点以及构建相应的SIFT特征点描述子，然后对生成图像与待配准图像中的特征点进行一一匹配，最后使用随机抽样一致算法(RANSAC)去除错误的匹配。本发明的方法可以完全由计算机实现，而不需要人工辅助。这表明，本发明可以实现批量化自动处理，大大地提高了处理效率、降低了人工成本。
对于本实施例而言，上述步骤S04还可以进一步细化，其细化后的具体流程图如图2所示，图2中，该步骤S04进一步包括：
步骤S41：使用高斯差分函数特征点定位方法分别对第一、二输入图像进行特征点定位。
步骤S42：将从第一、第二输入图像中提取的特征点定位位置分别在其对应的反向生成图像上共享。
步骤S43：提取第一、二输入图像及其对应的反向生成图像上相同特征点定位位置上的对应图像块，具体的提取图像块的像素大小为3×3。
步骤S44：使用图像块生成对抗网络Ⅱ对第一、二输入图像及其对应的反向生成图像中对应图像块进行判别，图像块生成对抗网络Ⅱ中的生成器与步骤S03中环形生成对抗网络Ⅰ的生成器为同一生成器。两个图像块判别器DP1和DP2均为一个包含四层卷积和三层全连接层的卷积神经网络，其中四层卷积中的每层卷积均接有一层最大池化层，所述最大池化层的尺度为2×2；四层卷积层中从第一层卷积到第四层卷积所对应的滤波器个数分别为32、64、128和256，所述滤波器的大小均为3×3；三层全连接层中从第一层全连接层到第三层全连接层所对应的节点数分别为512、128和1。
本实施例还涉及一种实现上述基于图像分割的环形生成对抗网络的异源遥感图像配准方法的装置，该装置的结构示意图如图3所示。图3中，该装置包括获取单元1、图像分割单元2、环形生成对抗网络3、图像块生成对抗网络4、训练单元5和图像配准单元6；其中，获取单元1用于从两组异源遥感图像数据中获取成对的训练样本；图像分割单元2用于对图像进行图像分割；环形生成对抗网络3用于约束输入图像和反向生成图像的生成对抗一致性；图像块生成对抗网络4用于约束输入图像和反向生成图像局部特征块的一致性；训练单元5用于对基于图像分割的环形生成对抗网络中的生成器、判别器，图像块生成对抗网络的判别器进行训练；图像配准单元6用于对生成图像和待配准图像进行SIFT特征配准。
本实施例中，环形生成对抗单元3进一步包括生成模块一31、判别模块一32、生成模块一33和判别模块二34；其中，生成模块一31用于根据第一输入图像和对应的分割图像，输出与第二输入图像纹理风格相似的生成图像；判别模块一32用于判断：输入为第二输入图像时，判别为真；输入为第一输入图像的生成图像时，判别为假；生成模块二33用于根据第二输入图像和对应的分割图像，输出与第一输入图像纹理风格相似的生成图像；判别模块二34用于判断：输入为第一输入图像时，判别为真；输入为第二生成图像的生成图像时，判别为假。
本实施例中，图像块生成对抗网络4进一步包括特征点定位模块41、特征点位置共享模块42、图像块提取模块43和图像块判别模块44；其中，特征点定位模块41用于对第一、二输入图像使用高斯差分函数特征点定位方法进行特征点定位；特征点位置共享模块42用于将第一、二输入图像的特征点定位位置在其对应的反向生成图像上共享；图像块提取模块43用于提取第一、二输入图像和其对应的反向生成图像上相同特征点位置上的对应图像块；图像块判别模块44用于判别：输入为第一、二输入图像的图像块时，判别为真；输入为第一、二输入图像对应的生成图像的图像块时，判别为假。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于图像分割的环形生成对抗网络的异源遥感图像配准方法，其特征在于：包括如下步骤：
(1)从两组异源遥感图像数据中获取成对的训练样本，两组异源遥感图像数据中的数据为非匹配数据，成对的训练样本中的两张图像分别为两组异源遥感图像数据中非匹配的数据，将成对的训练样本中的两张图像分别称为第一输入图像和第二输入图像；
(2)采用分割方法对图像进行图像分割，获得分割图像；
(3)构建基于图像分割的环形生成对抗网络Ⅰ；对抗网络Ⅰ包括两个生成器G1、G2和两个判别器D1、D2，满足：
Figure FDA0002693482540000011
Figure FDA0002693482540000012
其中：x为第一输入图像，y为对应第一输入图像x的第二输入图像，
Figure FDA0002693482540000013
和
Figure FDA0002693482540000014
表示第一输入图像x和第二输入图像y的对抗损失函数，S(x)和S(y)表示第一输入图像x和第二输入图像y经图像分割法分割后获得的分割图像，G1(x,S(x))为第一输入图像x与分割图像S(x)经生成器G1后获得的生成图像，G2(y,S(y))为第二输入图像y与分割图像S(y)经生成器G2后获得的生成图像，D1(y)和D1(G1(x,S(x)))分别表示判别器D1对第二输入图像y和生成图像G1(x,S(x))的判别结果，D2(x)和D2(G2(y,S(y)))分别表示判别器D2对第一输入图像x和生成图像G2(y,S(y))的判别结果，
Figure FDA0002693482540000015
表示数学期望，x～pdata(x)表示变量x服从数据分布pdata(x)，y～pdata(y)表示变量y服从数据分布pdata(y)；
(4)构建图像块生成对抗网络Ⅱ，包括如下步骤：
(41)使用高斯差分函数特征点定位方法分别对第一、二输入图像进行特征点定位；
(42)将从第一、第二输入图像中提取的特征点定位位置分别在其对应的反向生成图像上共享；
(43)提取第一、二输入图像及其对应的反向生成图像上相同特征点定位位置上的对应图像块；
(44)使用图像块生成对抗网络Ⅱ对第一、二输入图像及其对应的反向生成图像中对应图像块进行判别；
图像块生成对抗网络Ⅱ中的生成器采用步骤(3)中环形生成对抗网络Ⅰ中的生成器；
(5)训练两个生成对抗网络；
(6)将生成图像与待配准图像进行同源图像配准。
2.根据权利要求1所述的基于图像分割的环形生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(2)中，对图像进行图像分割，采用的分割方法为k-means图像分割法。
3.根据权利要求1所述的基于图像分割的环形生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(5)中，按照下面的损失函数训练两个生成对抗网络：
Figure FDA0002693482540000021
Figure FDA0002693482540000022
Figure FDA0002693482540000023
Figure FDA0002693482540000024
Figure FDA0002693482540000025
Figure FDA0002693482540000026
Figure FDA0002693482540000027
其中：
Figure FDA0002693482540000028
表示环形生成对抗网络Ⅰ和图像块生成对抗网络Ⅱ的目标函数，
Figure FDA0002693482540000029
和
Figure FDA00026934825400000210
分别表示第一、二输入图像对应的反向生成图像，
Figure FDA00026934825400000211
表示第一、二输入图像和其对应的反向生成图像的图像分割损失函数，
Figure FDA00026934825400000212
表示第二输入图像y和其对应的反向生成图像
Figure FDA00026934825400000213
的第m组图像块的图像块对抗损失函数，
Figure FDA00026934825400000214
表示第一输入图像x和其对应的反向生成图像
Figure FDA0002693482540000031
的第n组图像块的图像块对抗损失函数，
Figure FDA0002693482540000032
表示第一、二输入图像和其对应的反向生成图像的像素级反向生成约束损失函数；
M为通过图像块生成对抗网络Ⅱ从第二输入图像y及其反向生成图像
Figure FDA0002693482540000033
中提取出的图像块的数量，m∈M，N为通过图像块生成对抗网络Ⅱ从第一输入图像x及其反向生成图像
Figure FDA0002693482540000034
中提取出的图像块的数量，n∈N，
Figure FDA0002693482540000035
和
Figure FDA0002693482540000036
分别为在第二输入图像y和其反向生成图像
Figure FDA0002693482540000037
上提取的第m个图像块，
Figure FDA0002693482540000038
和
Figure FDA0002693482540000039
分别为在第一输入图像x和其反向生成图像
Figure FDA00026934825400000310
上提取的第n个图像块，
Figure FDA00026934825400000311
和
Figure FDA00026934825400000312
称为第m组图像块，
Figure FDA00026934825400000313
和
Figure FDA00026934825400000314
称为第n组图像块；λ1和λ2为加权系数；
H(·)为像素级的交叉熵损失函数，
Figure FDA00026934825400000315
a和b为图像分割后的标注图，I为a和b对应的像空间，J为标注图的标注空间；
Figure FDA00026934825400000316
和
Figure FDA00026934825400000317
分别表示反向生成图像
Figure FDA00026934825400000318
和
Figure FDA00026934825400000319
经k-means图像分割法分割后获得的分割图像；
Figure FDA00026934825400000320
和
Figure FDA00026934825400000321
分别表示图像块判别器DP1对
Figure FDA00026934825400000322
和
Figure FDA00026934825400000323
的判别结果，
Figure FDA00026934825400000324
和
Figure FDA00026934825400000325
分别表示图像块判别器DP2对
Figure FDA00026934825400000326
和
Figure FDA00026934825400000327
的判别结果；
Figure FDA00026934825400000328
表示变量
Figure FDA00026934825400000329
服从据分布
Figure FDA00026934825400000330
Figure FDA00026934825400000331
表示变量
Figure FDA00026934825400000332
服从数据分布
Figure FDA00026934825400000333
||·||1表示一范数。
4.根据权利要求1所述的基于图像分割的环形生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(6)中，使用SIFT特征配准方法对生成图像和待配准图像进行同源图像配准。
5.一种实现权利要求1～4所述的任一基于图像分割的环形生成对抗网络的异源遥感图像配准方法的装置，其特征在于：包括：
获取单元：从两组异源遥感图像数据中获取成对的训练样本；
图像分割单元：对图像进行图像分割；
环形生成对抗网络：约束输入图像和反向生成图像的生成对抗一致性；
图像块生成对抗网络：约束输入图像和反向生成图像局部特征块的一致性；
训练单元：对基于图像分割的环形生成对抗网络中的生成器、判别器，图像块生成对抗网络的判别器进行训练；
图像配准单元：对生成图像和待配准图像进行SIFT特征配准。
6.根据权利要求5所述的装置，其特征在于：所述环形生成对抗网络包括：
生成模块一：根据第一输入图像和对应的分割图像，输出与第二输入图像纹理风格相似的生成图像；
判别模块一：输入为第二输入图像时，判别为真；输入为第一输入图像的生成图像时，判别为假；
生成模块二：根据第二输入图像和对应的分割图像，输出与第一输入图像纹理风格相似的生成图像；
判别模块二：输入为第一输入图像时，判别为真；输入为第二生成图像的生成图像时，判别为假。
7.根据权利要求6所述的装置，其特征在于：所述图像块生成对抗网络包括：
特征点定位模块：对第一、二输入图像使用高斯差分函数特征点定位方法进行特征点定位；
特征点位置共享模块：将第一、二输入图像的特征点定位位置在其对应的反向生成图像上共享；
图像块提取模块：提取第一、二输入图像和其对应的反向生成图像上相同特征点位置上的对应图像块；
图像块判别模块：输入为第一、二输入图像的图像块时，判别为真；输入为第一、二输入图像对应的生成图像的图像块时，判别为假。
CN201910261455.1A 2019-04-02 2019-04-02 一种环形生成对抗网络的异源遥感图像配准方法及装置 Active CN109993782B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910261455.1A CN109993782B (zh) 2019-04-02 2019-04-02 一种环形生成对抗网络的异源遥感图像配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910261455.1A CN109993782B (zh) 2019-04-02 2019-04-02 一种环形生成对抗网络的异源遥感图像配准方法及装置

Publications (2)

Publication Number Publication Date
CN109993782A CN109993782A (zh) 2019-07-09
CN109993782B true CN109993782B (zh) 2020-12-04

Family

ID=67132145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910261455.1A Active CN109993782B (zh) 2019-04-02 2019-04-02 一种环形生成对抗网络的异源遥感图像配准方法及装置

Country Status (1)

Country Link
CN (1) CN109993782B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435281B (zh) * 2020-09-23 2022-06-24 山东师范大学 一种基于对抗学习的多光谱眼底图像分析方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958246A (zh) * 2018-01-17 2018-04-24 深圳市唯特视科技有限公司 一种基于新型端到端人脸超分辨率网络的图像对齐方法
CN108510532A (zh) * 2018-03-30 2018-09-07 西安电子科技大学 基于深度卷积gan的光学和sar图像配准方法
CN108564606A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 基于图像转换的异源图像块匹配方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958246A (zh) * 2018-01-17 2018-04-24 深圳市唯特视科技有限公司 一种基于新型端到端人脸超分辨率网络的图像对齐方法
CN108510532A (zh) * 2018-03-30 2018-09-07 西安电子科技大学 基于深度卷积gan的光学和sar图像配准方法
CN108564606A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 基于图像转换的异源图像块匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"DEFORMABLE MEDICAL IMAGE REGISTRATION USING GENERATIVE ADVERSARIAL NETWORKS";Dwarikanath Mahapatra;《2018 IEEE 15th International Symposium on Biomedical Imaging》;20181231;摘要、第2.1-3.1节 *
"Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks";Jun-Yan Zhu;《2017 IEEE International Conference on Computer Vision》;20171225;摘要、第3节 *

Also Published As

Publication number Publication date
CN109993782A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN109903299B (zh) 一种条件式生成对抗网络的异源遥感图像配准方法及装置
CN111401384B (zh) 一种变电设备缺陷图像匹配方法
Chen et al. EF-Net: A novel enhancement and fusion network for RGB-D saliency detection
Zhang et al. Deep hierarchical guidance and regularization learning for end-to-end depth estimation
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN111861880B (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
CN109978897B (zh) 一种多尺度生成对抗网络的异源遥感图像配准方法及装置
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
US20220366682A1 (en) Computer-implemented arrangements for processing image having article of interest
CN114693661A (zh) 一种基于深度学习的快速分拣方法
Charco et al. Deep learning based camera pose estimation in multi-view environment
CN114581456B (zh) 一种多图像分割模型的构建方法、图像检测方法及装置
Samadzadegan et al. Automatic detection and classification of damaged buildings, using high resolution satellite imagery and vector data
CN109993782B (zh) 一种环形生成对抗网络的异源遥感图像配准方法及装置
CN114626476A (zh) 基于Transformer与部件特征融合的鸟类细粒度图像识别方法及装置
CN117252928B (zh) 用于电子产品模块化智能组装的视觉图像定位系统
CN114067273A (zh) 一种夜间机场航站楼热成像显著人体分割检测方法
Debaque et al. Thermal and visible image registration using deep homography
CN111079585B (zh) 图像增强结合伪孪生卷积神经网络的行人再识别方法
Wetzer et al. Towards automated multiscale imaging and analysis in TEM: Glomerulus detection by fusion of CNN and LBP maps
CN110766609B (zh) 一种针对ToF相机的景深图超分辨率重建方法
CN116681742A (zh) 基于图神经网络的可见光与红外热成像图像配准方法
Wang et al. A fast dent detection method for curved glass using deep convolutional neural network
Yuan et al. Graph neural network based multi-feature fusion for building change detection
Li et al. PPR-Net: Patch-based multi-scale pyramid registration network for defect detection of printed labels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant