CN109978897A - 一种多尺度生成对抗网络的异源遥感图像配准方法及装置 - Google Patents

一种多尺度生成对抗网络的异源遥感图像配准方法及装置 Download PDF

Info

Publication number
CN109978897A
CN109978897A CN201910279035.6A CN201910279035A CN109978897A CN 109978897 A CN109978897 A CN 109978897A CN 201910279035 A CN201910279035 A CN 201910279035A CN 109978897 A CN109978897 A CN 109978897A
Authority
CN
China
Prior art keywords
image
multiple dimensioned
generation
confrontation network
multiscale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910279035.6A
Other languages
English (en)
Other versions
CN109978897B (zh
Inventor
杜文亮
周勇
赵佳琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201910279035.6A priority Critical patent/CN109978897B/zh
Publication of CN109978897A publication Critical patent/CN109978897A/zh
Application granted granted Critical
Publication of CN109978897B publication Critical patent/CN109978897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法及装置，根据两组异源遥感图像数据，获取训练样本；对输入图像进行图像分割，获得分割图像；构建基于图像分割的多尺度生成对抗网络；构建图像块的生成对抗网络；训练两个生成对抗网络；将生成图像与待配准图像进行同源图像配准。本发明能够约束生成对抗网络生成图像的空间信息一致性，并提供全尺寸、高分辨率、空间信息一致的图像转换解决方案，将异源图像配准问题化简为同源图像配准问题，构建统一的异源遥感图像配准框架。

Description

一种多尺度生成对抗网络的异源遥感图像配准方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法及装置。
背景技术
异源遥感图像配准是一种将同一区域不同传感器获取数据的几何信息进行配准的技术，是海量遥感数据自动化处理的关键技术，其运算精度将直接影响到异源遥感图像融合、镶嵌等后续应用的运算精度。然而不同性质的传感器，由于成像机理、拍摄时间、卫星姿态以及传感器参数不同等原因，其获取的数据之间往往会存在较大的尺寸、旋转、平移差异。同时，异源遥感图像的灰度值和特征信息之间也往往会存在非线性的差异。因此，快速、有效、高精度的异源遥感图像自动配准是一个极富挑战性的研究课题，也是当前国内外的研究热点。
目前，异源遥感图像配准方法大致可以分为三类：基于区域的方法、基于特征的方法以及基于机器学习的方法。基于区域的配准方法可以被看作是一种模板匹配的配准方法，是异源图像配准中最经典的配准方法。其中，由于互信息能够比较有效地克服异源遥感图像间灰度值非线性映射的问题，其被广泛地应用于异源遥感图像的配准中。然而，由于基于区域的配准方法计算量太大，难以满足遥感图像配准的实时性需求，也难以满足海量遥感图像的自动配准需求。并且，当图像重叠区域较小、图像存在非线性形变或图像存在较大尺度变化时，基于区域的配准方法难以获得理想的配准结果。
基于特征的配准方法是同源遥感图像配准中最常用的配准方法，该方法将图像的灰度信息抽象为点、线、面等特征信息，利用特征信息良好的光照、尺度、旋转不变性，实现准确、快速、自动的同源遥感图像配准。但是由于不同源遥感图像之间存在非线性的灰度(辐射)差异，将SIFT等基于同源图像研发的特征提取方法应用于异源遥感图像时，其获取特征信息的重复率较低，导致其应用于异源遥感图像配准时，配准的结果不稳定且甚至会导致配准失败。
研发基于机器学习的方法，实现对不同遥感图像的自动适配，是异源遥感图像配准的重要发展方向。然而，目前基于机器学习的图像转换方法难以对高分辨率的遥感数据实现高质量的图像生成，使得基于机器学习的异源遥感图像配准方法难以应用到高分辨率的异源遥感数据上。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法及装置，针对高分辨率的异源遥感数据，本发明能够有效约束基于生成对抗网络图像转换的空间信息一致性，并提供全尺寸、高分辨率、空间信息一致的图像转换解决方案，将异源遥感图像配准问题化简为同源遥感图像配准问题，构建统一的异源遥感图像配准框架。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，包括如下步骤：
(1)从两组高分辨率异源遥感图像数据中获取成对的训练样本，两组高分辨率异源遥感图像数据中的数据互为一一匹配，成对的训练样本中的两张图像分别为两组高分辨率异源遥感图像数据中一一匹配的数据，将成对的训练样本中的两张图像分别称为输入图像和目标图像；
(2)采用分割方法对图像进行图像分割，获得多尺度分割图像；
(3)构建基于图像分割的多尺度生成对抗网络Ⅰ；
(4)构建多尺度图像块生成对抗网络Ⅱ；
(5)训练两个生成对抗网络；
(6)将生成图像与待配准图像进行同源图像配准。
优选的，所述步骤(2)中，对图像进行图像分割，采用的分割方法为k-means图像分割法。
优选的，所述步骤(3)中，基于图像分割的多尺度生成对抗网络Ⅰ包括一个多尺度生成器GM和一个多尺度判别器DM，满足：
其中：x为输入图像，y为对应输入图像x的目标图像，·(r)为在尺度空间r的图像·，尺度空间1中的图像尺寸是尺度空间2中的图像尺寸的2倍，尺度空间2中的图像尺寸是尺度空间3中的图像尺寸的2倍，x(r)和y(r)分别为在尺度空间r的输入图像x和目标图像y，表示输入图像x和目标图像y的对抗损失函数，S(x)表示输入图像x经k-means图像分割法分割后获得的分割图像，GM(x，S(x))(r)为输入图像x与分割图像S(x)经多尺度生成器GM后在尺度空间r下获得的生成图像，DM(r)(x(r)，y(r))和DM(r)(x(r)，GM(x，S(x))(r))为在尺度空间r下判别器DM(r)对图像组合(x(r)，y(r))和图像组合(x(r)，GM(x，S(x))(r))的判别结果，表示数学期望，(x(r)，y(r))～pdata(x(r)，y(r))表示变量(x(r)，y(r))服从某种数据分布pdata(x(r)，y(r))，x(r)～pdata(x(r))表示变量x(r)服从某种数据分布pdata(x(r))。
优选的，所述步骤(4)中，构建多尺度图像块生成对抗网络II包括如下步骤：
(41)使用高斯差分函数特征点定位方法对多尺度目标图像进行特征点定位；
(42)将多尺度目标图像的特征点定位位置在相应的多尺度生成图像上共享；
(43)提取多尺度目标图像和多尺度生成图像上相同特征点定位位置上的对应图像块；
(44)使用多尺度图像块生成对抗网络II对多尺度目标图像和多尺度生成图像中对应图像块进行判别。
优选的，所述步骤(44)中，多尺度图像块生成对抗网络II中的生成器采用步骤(3)中多尺度生成对抗网络I中的生成器。
优选的，所述步骤(5)中，按照下面的损失函数训练两个生成对抗网络：
其中：表示多尺度生成对抗网络工和多尺度图像块生成对抗网络II的目标函数，表示生成图像和目标图像的多尺度图像分割损失函数，y(1)和y(2)分别表示在尺度空间1和在尺度空间2下的目标图像，y′(1)表示在尺度空间1下的生成图像，y″(2)表示在尺度空间2下的中间生成图像，表示在尺度空间r下第k组图像块的图像块对抗损失函数；
K(r)为在尺度空间r下，通过多尺度图像块生成对抗网络II从尺度空间r下的生成图像以及目标图像中提取出的图像块的数量(步骤43)，k∈K(r)，为在尺度空间r下的目标图像上提取的第k个图像块，为在尺度空间r下的生成图像上提取的第k个图像块，和称为在尺度空间r下的第k组图像块；λ1为加权系数；
H(·)为像素级的交叉熵损失函数，a和b为图像分割后的标注图，I为a和b对应的像空间，J为标注图的标注空间；S(y)表示目标图像y经k-means图像分割法分割后获得的分割图像；
和分别表示在尺度空间r下图像块判别器DPM对和的判别结果；(y(1)，y′(1))～pdata(y(1)，y′(1))表示变量(y(1)，y′(1))服从某种数据分布pdata(y(1)，y′(1))，(y(2)，y″(2))～pdata(y(2)，y″(2))表示变量(y(2)，y″(2))服从某种数据分布pdata(y(2)，y″(2))，y(r)～pdata(y(r))表示变量y(r)服从某种数据分布pdata(y(r))，y′(r)～pdata(y′(r))表示变量y′(r)服从某种数据分布pdata(y′(r))。
优选的，所述步骤(6)中，使用SIFT特征配准方法对生成图像和待配准图像进行同源图像配准。
一种实现上述任一基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法的装置，包括：
获取单元：从两组高分辨率异源遥感图像数据中获取成对的训练样本；
图像分割单元：对图像进行图像分割；
多尺度生成对抗网络：约束多尺度生成图像和多尺度目标图像的生成对抗一致件；
多尺度图像块生成对抗网络：约束多尺度生成图像和多尺度目标图像局部特征块的一致性；
训练单元：对基于图像分割的多尺度生成对抗网络中的生成器、判别器，多尺度图像块生成对抗网络的判别器进行训练；
图像配准单元：对生成图像和待配准图像进行SIFT特征配准。
优选的，所述多尺度生成对抗网络包括：
生成模块：根据多尺度输入图像和多尺度分割图像，输出与目标图像纹理相似的多尺度生成图像；
多尺度判别模块：在多尺度空间下，输入图像组合为目标图像和输入图像时，判别为真；输入图像组合为生成图像和输入图像时，判别为假。
优选的，所述多尺度图像块生成对抗网络包括：
特征点定位模块：对多尺度的目标图像使用高斯差分函数特征点定位方法进行特征点定位；
特征点位置共享模块：将多尺度目标图像的特征点定位位置在相应的多尺度生成图像上共享；
图像块提取模块：提取多尺度目标图像和多尺度生成图像上相同特征点位置上的对应图像块；
图像块判别模块：在多尺度空间下，输入为目标图像的图像块时，判别为真；输入为生成图像的图像块时，判别为假。
有益效果：本发明提供的一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法及装置，能够针对高分辨率的异源遥感图像，实现在空间信息一致的前提下，将整幅遥感图像的纹理风格自动转换为与另一幅异源遥感图像纹理风格一致的图像转换，从而将异源遥感图像配准化简为有较成熟自动化解决方案的同源遥感图像配准，解决异源遥感图像之间较大的尺寸、旋转和平移差异问题以及图像灰度值、特征信息之间的非线性差异问题。
附图说明
图1为本发明方法的实施流程图；
图2为构建多尺度图像块生成对抗网络Ⅱ的实施流程图；
图3为本发明装置的结构示意图；
图4为获取的成对的训练样本示意图(以高分辨率的合成孔径雷达图像与高分辨率的光学遥感图像为例)；
图5为多尺度生成对抗网络Ⅰ的网络框架示意图；
图6为多尺度图像块生成对抗网络Ⅱ的网络框架示意图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示为一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法及装置，基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法的流程图如图1所示，包括如下流程步骤：
步骤S01：从两组高分辨率异源遥感图像数据中获取成对的训练样本，两组高分辨率异源遥感图像数据中的数据互为一一匹配，成对的训练样本中的两张图像分别为两组高分辨率异源遥感图像数据中一一匹配的数据，将成对的训练样本中的两张图像分别称为输入图像和目标图像。图4给出了获取成对的训练样本示意图。
步骤S02：采用k-means图像分割法对图像进行图像分割，获得多尺度分割图像。
首先需要分割的图像是输入图像，对输入图像的RGB像素值进行图像分割，然后根据不同尺度空间，获取多尺度的分割图像集，分割的种类设置为3个。
步骤S03：构建基于图像分割的多尺度生成对抗网络Ⅰ，多尺度生成对抗网络Ⅰ包括一个多尺度生成器GM和一个多尺度判别器DM，满足：
其中：x为输入图像，y为对应输入图像x的目标图像，·(r)为在尺度空间r的图像·，尺度空间1中的图像尺寸是尺度空间2中的图像尺寸的2倍，尺度空间2中的图像尺寸是尺度空间3中的图像尺寸的2倍，x(r)和y(r)分别为在尺度空间r的输入图像x和目标图像y，表示输入图像x和目标图像y的对抗损失函数，S(x)表示输入图像x经k-means图像分割法分割后获得的分割图像，GM(x，S(x))(r)为输入图像x与分割图像S(x)经多尺度生成器GM后在尺度空间r下获得的生成图像，DM(r)(x(r)，y(r))和DM(r)(x(r)，GM(x，S(x))(r))为在尺度空间r下判别器DM(r)对图像组合(x(r)，y(r))和图像组合(x(r)，GM(x，S(x))(r))的判别结果，表示数学期望，(x(r)，y(rx)～pdata(x(r)，y(r))表示变量(x(r)，y(r))服从某种数据分布pdata(x(r)，y(r))，x(r)～pdata(x(r))表示变量x(r)服从某种数据分布pdata(x(r))。
多尺度生成器GM由两部分组成，第一部分被分为两个组件，第一个组件包含两层卷积层，两个卷积层中的每层卷积均有一层最大池化层，从第一和第二层卷积层所对应的滤波器个数分别为32和64，每层最大池化层的尺度是2×2。第二个组件包含两个反卷积层，第一和第二层反卷积层所对应滤波器的个数分别为32和1，反卷积中的滤波器大小均为3×3。第二部分在第一部分的两个组件之间，为一个残差网络，由10个残差快组成。
每个尺度下的判别器DM均为一个包含四层卷积和三层全连接层的卷积神经网络，其中四层卷积中的每层卷积均接有一层最大池化层，所述最大池化层的尺度为2×2；四层卷积层中从第一层卷积到第四层卷积所对应的滤波器个数分别为32、64、128和256，所述滤波器的大小均为3×3；三层全连接层中从第一层全连接层到第三层全连接层所对应的节点数分别为512、128和1。
如图5所示为多尺度生成对抗网络I的网络框架示意图。
步骤S04：构建多尺度图像块生成对抗网络II，其网络架构示意图如图6所示。关于本步骤如何具体的构建多尺度图像块生成对抗网络II，稍后会有详细描述。
步骤S05：训练两个生成对抗网络，具体就是将步骤S01中获取的成对的多尺度训练样本，以及步骤S02中获得的多尺度分割图像输入到步骤S03和步骤S04构建的多尺度生成对抗网络I和多尺度图像块生成对抗网络II中的多尺度生成器GM进行训练，训练得到两个生成对抗网络对应的训练权重。
本实施例按照下面的损失函数训练两个生成对抗网络：
其中：表示多尺度生成对抗网络I和多尺度图像块生成对抗网络II的目标函数，表示生成图像和目标图像的多尺度图像分割损失函数，y(1)和y(2)分别表示在尺度空间1和在尺度空间2下的目标图像，y′(1)表示在尺度空间1下的生成图像，y″(2)表示在尺度空间2下的中间生成图像，表示在尺度空间r下第k组图像块的图像块对抗损失函数；
K(r)为在尺度空间r下，通过多尺度图像块生成对抗网络II从尺度空间r下的生成图像以及目标图像中提取出的图像块的数量(步骤43)，k∈K(r)，为在尺度空间r下的目标图像上提取的第k个图像块，为在尺度空间r下的生成图像上提取的第k个图像块，和称为在尺度空间r下的第k组图像块；λ1为加权系数；
H(·)为像素级的交叉熵损失函数，a和b为图像分割后的标注图，I为a和b对应的像空间，J为标注图的标注空间；S(y)表示目标图像y经k-means图像分割法分割后获得的分割图像；
和分别表示在尺度空间r下图像块判别器DPM对和的判别结果；(y(1)，y′(1))～pdata(y(1)，y′(1))表示变量(y(1)，y′(1))服从某种数据分布pdata(y(1)，y′(1))，(y(2)，y″(2))～pdata(y(2)，y″(2))表示变量(y(2)，y″(2))服从某种数据分布pdata(y(2)，y″(2))，y(r)～pdata(y(r))表示变量y(r)服从某种数据分布pdata(y(r))，y′(r)～pdata(y′(r))表示变量y′(r)服从某种数据分布pdata(y′(r))。
步骤S06：将生成图像与待配准图像进行同源图像配准，将生成图像与待配准图像进行同源图像配准，具体就是使用SIFT特征提取算子，提取生成图像与待配准图像的特征点以及构建相应的SIFT特征点描述子，然后对生成图像与待配准图像中的特征点进行一一匹配，最后使用随机抽样一致算法(RANSAC)去除错误的匹配。本发明的方法可以完全由计算机实现，而不需要人工辅助。这表明，本发明可以实现批量化自动处理，大大地提高了处理效率、降低了人工成本。
对于本实施例而言，上述步骤S04还可以进一步细化，其细化后的具体流程图如图2所示，图2中，该步骤S04进一步包括：
步骤S41：使用高斯差分函数特征点定位方法对多尺度的目标图像进行特征点定位。
步骤S42：将多尺度目标图像的特征点定位位置在相应的多尺度生成图像上共享。
步骤S43：提取多尺度目标图像和多尺度生成图像上相同特征点定位位置上的对应图像块。
步骤S44：使用多尺度图像块生成对抗网络Ⅱ对多尺度目标图像和多尺度生成图像中对应图像块进行判别，多尺度图像块生成对抗网络Ⅱ中的生成器与步骤S03中多尺度生成对抗网络Ⅰ的生成器为同一生成器。图像块判别器为一个包含四层卷积和三层全连接层的卷积神经网络，其中四层卷积中的每层卷积均接有一层最大池化层，所述最大池化层的尺度为2×2；四层卷积层中从第一层卷积到第四层卷积所对应的滤波器个数分别为32、64、128和256，所述滤波器的大小均为3×3；三层全连接层中从第一层全连接层到第三层全连接层所对应的节点数分别为512、128和1。
本实施例还涉及一种实现上述基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法的装置，该装置的结构示意图如图3所示。图3中，该装置包括获取单元1、图像分割单元2、多尺度生成对抗网络3、多尺度图像块生成对抗网络4、训练单元5和图像配准单元6；其中，获取单元1用于从两组高分辨率异源遥感图像数据中获取成对的训练样本；图像分割单元2用于对图像进行图像分割；多尺度生成对抗网络3用于约束多尺度生成图像和多尺度目标图像的生成对抗一致性；多尺度图像块生成对抗网络4用于约束多尺度生成图像和多尺度目标图像局部特征块的一致性；训练单元5用于对基于图像分割的多尺度生成对抗网络中的生成器、判别器，多尺度图像块生成对抗网络的判别器进行训练；图像配准单元6用于对生成图像和待配准图像进行SIFT特征配准。
本实施例中，多尺度生成对抗网络3进一步包括生成模块31和多尺度判别模块32；其中，生成模块31用于根据多尺度输入图像和多尺度分割图像，输出与目标图像纹理相似的多尺度生成图像；多尺度判别模块32用于判断：在多尺度空间下，输入图像组合为目标图像和输入图像时，判别为真；输入图像组合为生成图像和输入图像时，判别为假。
本实施例中，多尺度图像块生成对抗网络4进一步包括特征点定位模块41、特征点位置共享模块42、图像块提取模块43和图像块判别模块44；其中，特征点定位模块41用于对多尺度的目标图像使用高斯差分函数特征点定位方法进行特征点定位；特征点位置共享模块42用于将多尺度目标图像的特征点定位位置在相应的多尺度生成图像上共享；图像块提取模块43用于取多尺度目标图像和多尺度生成图像上相同特征点位置上的对应图像块；图像块判别模块44用于判别：在多尺度空间下，输入为目标图像的图像块时，判别为真；输入为生成图像的图像块时，判别为假。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：包括如下步骤：
(1)从两组高分辨率异源遥感图像数据中获取成对的训练样本，两组高分辨率异源遥感图像数据中的数据互为一一匹配，成对的训练样本中的两张图像分别为两组高分辨率异源遥感图像数据中一一匹配的数据，将成对的训练样本中的两张图像分别称为输入图像和目标图像；
(2)采用分割方法对图像进行图像分割，获得多尺度分割图像；
(3)构建基于图像分割的多尺度生成对抗网络Ⅰ；
(4)构建多尺度图像块生成对抗网络Ⅱ；
(5)训练两个生成对抗网络；
(6)将生成图像与待配准图像进行同源图像配准。
2.根据权利要求1所述的基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(2)中，对图像进行图像分割，采用的分割方法为k-means图像分割法。
3.根据权利要求1所述的基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(3)中，基于图像分割的多尺度生成对抗网络Ⅰ包括一个多尺度生成器GM和一个多尺度判别器DM，满足：
其中：x为输入图像，y为对应输入图像x的目标图像，·(r)为在尺度空间r的图像·，尺度空间1中的图像尺寸是尺度空间2中的图像尺寸的2倍，尺度空间2中的图像尺寸是尺度空间3中的图像尺寸的2倍，x(r)和y(r)分别为在尺度空间r的输入图像x和目标图像y，表示输入图像x和目标图像y的对抗损失函数，S(x)表示输入图像x经k-means图像分割法分割后获得的分割图像，GM(x,S(x))(r)为输入图像x与分割图像S(x)经多尺度生成器GM后在尺度空间r下获得的生成图像，DM(r)(x(r),y(r))和DM(r)(x(r),GM(x,S(x))(r))为在尺度空间r下判别器DM(r)对图像组合(x(r),y(r))和图像组合(x(r),GM(x,S(x))(r))的判别结果，表示数学期望，(x(r),y(r))～pdata(x(r),y(r))表示变量(x(r),y(r))服从数据分布pdata(x(r),y(r))，x(r)～pdata(x(r))表示变量x(r)服从数据分布pdata(x(r))。
4.根据权利要求1所述的基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(4)中，构建多尺度图像块生成对抗网络Ⅱ包括如下步骤：
(41)使用高斯差分函数特征点定位方法对多尺度目标图像进行特征点定位；
(42)将多尺度目标图像的特征点定位位置在相应的多尺度生成图像上共享；
(43)提取多尺度目标图像和多尺度生成图像上相同特征点定位位置上的对应图像块；
(44)使用多尺度图像块生成对抗网络Ⅱ对多尺度目标图像和多尺度生成图像中对应图像块进行判别。
5.根据权利要求4所述的基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(44)中，多尺度图像块生成对抗网络Ⅱ中的生成器采用步骤(3)中多尺度生成对抗网络Ⅰ中的生成器。
6.根据权利要求1所述的基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(5)中，按照下面的损失函数训练两个生成对抗网络：
其中：表示多尺度生成对抗网络Ⅰ和多尺度图像块生成对抗网络Ⅱ的目标函数，表示生成图像和目标图像的多尺度图像分割损失函数，y(1)和y(2)分别表示在尺度空间1和在尺度空间2下的目标图像，y'(1)表示在尺度空间1下的生成图像，y”(2)表示在尺度空间2下的中间生成图像，表示在尺度空间r下第k组图像块的图像块对抗损失函数；
K(r)为在尺度空间r下，通过多尺度图像块生成对抗网络Ⅱ从尺度空间r下的生成图像以及目标图像中提取出的图像块的数量，k∈K(r)，为在尺度空间r下的目标图像上提取的第k个图像块，为在尺度空间r下的生成图像上提取的第k个图像块，和称为在尺度空间r下的第k组图像块；λ1为加权系数；
H(·)为像素级的交叉熵损失函数，a和b为图像分割后的标注图，I为a和b对应的像空间，J为标注图的标注空间；S(y)表示目标图像y经k-means图像分割法分割后获得的分割图像；
和分别表示在尺度空间r下图像块判别器DPM对和的判别结果；(y(1),y'(1))～pdata(y(1),y'(1))表示变量(y(1),y'(1))服从数据分布pdata(y(1),y'(1))，(y(2),y”(2))～pdata(y(2),y”(2))表示变量(y(2),y”(2))服从数据分布pdata(y(2),y”(2))，y(r)～pdata(y(r))表示变量y(r)服从数据分布pdata(y(r))，y'(r)～pdata(y'(r))表示变量y'(r)服从数据分布pdata(y'(r))。
7.根据权利要求1所述的基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(6)中，使用SIFT特征配准方法对生成图像和待配准图像进行同源图像配准。
8.一种实现权利要求1～7所述的任一基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法的装置，其特征在于：包括：
获取单元：从两组高分辨率异源遥感图像数据中获取成对的训练样本；
图像分割单元：对图像进行图像分割；
多尺度生成对抗网络：约束多尺度生成图像和多尺度目标图像的生成对抗一致性；
多尺度图像块生成对抗网络：约束多尺度生成图像和多尺度目标图像局部特征块的一致性；
训练单元：对基于图像分割的多尺度生成对抗网络中的生成器、判别器，多尺度图像块生成对抗网络的判别器进行训练；
图像配准单元：对生成图像和待配准图像进行SIFT特征配准。
9.根据权利要求8所述的装置，其特征在于：所述多尺度生成对抗网络包括：
生成模块：根据多尺度输入图像和多尺度分割图像，输出与目标图像纹理相似的多尺度生成图像；
多尺度判别模块：在多尺度空间下，输入图像组合为目标图像和输入图像时，判别为真；输入图像组合为生成图像和输入图像时，判别为假。
10.根据权利要求8所述的装置，其特征在于：所述多尺度图像块生成对抗网络包括：
特征点定位模块：对多尺度的目标图像使用高斯差分函数特征点定位方法进行特征点定位；
特征点位置共享模块：将多尺度目标图像的特征点定位位置在相应的多尺度生成图像上共享；
图像块提取模块：提取多尺度目标图像和多尺度生成图像上相同特征点位置上的对应图像块；
图像块判别模块：在多尺度空间下，输入为目标图像的图像块时，判别为真；输入为生成图像的图像块时，判别为假。
CN201910279035.6A 2019-04-09 2019-04-09 一种多尺度生成对抗网络的异源遥感图像配准方法及装置 Active CN109978897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910279035.6A CN109978897B (zh) 2019-04-09 2019-04-09 一种多尺度生成对抗网络的异源遥感图像配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910279035.6A CN109978897B (zh) 2019-04-09 2019-04-09 一种多尺度生成对抗网络的异源遥感图像配准方法及装置

Publications (2)

Publication Number Publication Date
CN109978897A true CN109978897A (zh) 2019-07-05
CN109978897B CN109978897B (zh) 2020-05-08

Family

ID=67083535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910279035.6A Active CN109978897B (zh) 2019-04-09 2019-04-09 一种多尺度生成对抗网络的异源遥感图像配准方法及装置

Country Status (1)

Country Link
CN (1) CN109978897B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021036471A1 (zh) * 2019-08-28 2021-03-04 腾讯科技（深圳）有限公司 样本生成方法、装置、计算机设备及存储介质
CN112784865A (zh) * 2019-11-04 2021-05-11 奥多比公司 使用多尺度图块对抗性损失的衣物变形
TWI740565B (zh) * 2020-07-03 2021-09-21 財團法人國家實驗研究院國家高速網路與計算中心 改善遙測影像品質的方法、電腦程式產品及系統
CN117574161A (zh) * 2024-01-17 2024-02-20 航天宏图信息技术股份有限公司 基于生成对抗网络的地表参量估算方法、装置及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510532A (zh) * 2018-03-30 2018-09-07 西安电子科技大学 基于深度卷积gan的光学和sar图像配准方法
CN108537743A (zh) * 2018-03-13 2018-09-14 杭州电子科技大学 一种基于生成对抗网络的面部图像增强方法
CN108564606A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 基于图像转换的异源图像块匹配方法
CN108986067A (zh) * 2018-05-25 2018-12-11 上海交通大学 基于跨模态的肺结节检测方法
CN109086668A (zh) * 2018-07-02 2018-12-25 电子科技大学 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN109472817A (zh) * 2018-09-27 2019-03-15 浙江工业大学 一种基于循环生成对抗网络的多序列磁共振图像配准方法
CN109493308A (zh) * 2018-11-14 2019-03-19 吉林大学 基于条件多判别生成对抗网络的医疗图像合成与分类方法
CN109544555A (zh) * 2018-11-26 2019-03-29 陕西师范大学 基于生成式对抗网络的细小裂缝分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537743A (zh) * 2018-03-13 2018-09-14 杭州电子科技大学 一种基于生成对抗网络的面部图像增强方法
CN108510532A (zh) * 2018-03-30 2018-09-07 西安电子科技大学 基于深度卷积gan的光学和sar图像配准方法
CN108564606A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 基于图像转换的异源图像块匹配方法
CN108986067A (zh) * 2018-05-25 2018-12-11 上海交通大学 基于跨模态的肺结节检测方法
CN109086668A (zh) * 2018-07-02 2018-12-25 电子科技大学 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN109472817A (zh) * 2018-09-27 2019-03-15 浙江工业大学 一种基于循环生成对抗网络的多序列磁共振图像配准方法
CN109493308A (zh) * 2018-11-14 2019-03-19 吉林大学 基于条件多判别生成对抗网络的医疗图像合成与分类方法
CN109544555A (zh) * 2018-11-26 2019-03-29 陕西师范大学 基于生成式对抗网络的细小裂缝分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEI SONG 等: "Digital Image Semantic Segmentation Algorithms: A Survey", 《JOURNAL OF INFORMATION HIDING AND MULTIMEDIA SIGNAL PROCESSING》 *
李良福 等: "基于生成式对抗网络的细小桥梁裂缝分割方法", 《激光与光电子学进展》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021036471A1 (zh) * 2019-08-28 2021-03-04 腾讯科技（深圳）有限公司 样本生成方法、装置、计算机设备及存储介质
CN112784865A (zh) * 2019-11-04 2021-05-11 奥多比公司 使用多尺度图块对抗性损失的衣物变形
TWI740565B (zh) * 2020-07-03 2021-09-21 財團法人國家實驗研究院國家高速網路與計算中心 改善遙測影像品質的方法、電腦程式產品及系統
CN117574161A (zh) * 2024-01-17 2024-02-20 航天宏图信息技术股份有限公司 基于生成对抗网络的地表参量估算方法、装置及设备
CN117574161B (zh) * 2024-01-17 2024-04-16 航天宏图信息技术股份有限公司 基于生成对抗网络的地表参量估算方法、装置及设备

Also Published As

Publication number Publication date
CN109978897B (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN109903299A (zh) 一种条件式生成对抗网络的异源遥感图像配准方法及装置
CN109978897A (zh) 一种多尺度生成对抗网络的异源遥感图像配准方法及装置
Zhou et al. Semantic-supervised infrared and visible image fusion via a dual-discriminator generative adversarial network
Bavirisetti et al. Multi-scale guided image and video fusion: A fast and efficient approach
Li et al. Coupled GAN with relativistic discriminators for infrared and visible images fusion
CN104851099B (zh) 一种基于表示学习的图像融合方法
CN109191382B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
Zheng et al. Multisource image fusion method using support value transform
CN107818554B (zh) 信息处理设备和信息处理方法
CN110310285B (zh) 一种精确的基于三维人体重建的烧伤面积计算方法
CN113099208A (zh) 基于神经辐射场的动态人体自由视点视频生成方法和装置
CN107688856B (zh) 基于深度强化学习的室内机器人场景主动识别方法
CN106897986B (zh) 一种基于多尺度分析的可见光图像与远红外图像融合方法
CN106384383A (zh) 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法
CN110598564B (zh) 基于OpenStreetMap的高空间分辨率遥感影像迁移学习分类方法
CN107122787A (zh) 一种基于特征融合的图像缩放质量评价方法
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN112330813A (zh) 一种基于单目深度摄像头的着装下三维人体模型重建方法
CN109472752A (zh) 基于航拍图像的多曝光融合系统
Kong et al. Multi-Scale translation method from SAR to optical remote sensing images based on conditional generative adversarial network
CN115018979A (zh) 图像重建方法、装置、电子设备、存储介质和程序产品
CN109993782A (zh) 一种环形生成对抗网络的异源遥感图像配准方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant