CN117952901B - 基于生成对抗网络的多源异构图像变化检测方法及装置 - Google Patents

基于生成对抗网络的多源异构图像变化检测方法及装置 Download PDF

Info

Publication number
CN117952901B
CN117952901B CN202311698028.2A CN202311698028A CN117952901B CN 117952901 B CN117952901 B CN 117952901B CN 202311698028 A CN202311698028 A CN 202311698028A CN 117952901 B CN117952901 B CN 117952901B
Authority
CN
China
Prior art keywords
image
edge
detection
network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311698028.2A
Other languages
English (en)
Other versions
CN117952901A (zh
Inventor
苏芝娟
万刚
尹云霞
武易天
丛佃伟
袁梨幻
汪国平
贾玉童
张赛
李万华
魏展基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Original Assignee
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Liberation Army Strategic Support Force Aerospace Engineering University filed Critical Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority to CN202311698028.2A priority Critical patent/CN117952901B/zh
Publication of CN117952901A publication Critical patent/CN117952901A/zh
Application granted granted Critical
Publication of CN117952901B publication Critical patent/CN117952901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种生成对抗网络的多源异构图像变化检测方法及装置，方法包括：获取针对于同一检测场景在不同时刻的第一检测图像以及第二检测图像；基于配置的边缘提取网络，提取第一检测图像以及第二检测图像的边缘图像信息，以构建对应的第一边缘映射以及第二边缘映射；通过第一边缘映射以及第二边缘映射，确定第一检测图像的去噪边缘映射；利用配置的重构网络，将去噪边缘映射重构为具有第二检测图像表示风格的重构图像；基于重构图像与第二检测图像的比较，生成表征图像变化的差分图像。本文通过边缘提取网络和重构网络，利用边缘信息间接转换图像，并在训练过程中通过基于超像素分割的补充数据，使从异构图像中提取的边缘尽可能相似。

Description

基于生成对抗网络的多源异构图像变化检测方法及装置
技术领域
本发明涉及图像变化检测技术领域，尤其涉及一种基于生成对抗网络的多源异构图像变化检测方法及装置。
背景技术
多源异构图像的变化检测是无监督变化检测方法面临的一大挑战。其中基于图像转换的方法是将两幅图像转换成同质图像进行比较，是目前的主流方法之一。
然而，现有技术中大多依赖于不变区域的信息，这导致网络不能完全捕获两个异构表示之间的联系；此外，缺乏先验信息和足够的训练数据使得训练容易受到变化像素的干扰。
发明内容
有鉴于此，本发明提供一种基于生成对抗网络的多源异构图像变化检测方法及装置。
本发明采用的技术方案是，一种基于生成对抗网络的多源异构图像变化检测方法，包括：
步骤S1，获取针对于同一检测场景在不同时刻的第一检测图像以及第二检测图像；
步骤S2，基于配置的边缘提取网络，提取所述第一检测图像以及所述第二检测图像的边缘图像信息，以构建对应的第一边缘映射以及第二边缘映射；
步骤S3，通过所述第一边缘映射以及所述第二边缘映射，确定所述第一检测图像的去噪边缘映射；
步骤S4，利用配置的重构网络，将所述去噪边缘映射重构为具有所述第二检测图像表示风格的重构图像；
步骤S5，基于所述重构图像与所述第二检测图像的比较，生成表征图像变化的差分图像。
在一个实施方式中，方法还包括：对边缘提取网络进行配置，具体包括：
获取针对于同一场景在不同时刻的第一训练图像以及第二训练图像；
基于所述第一训练图像以及所述第二训练图像，构建训练数据集；
基于cGAN在所述训练集中提取两幅目标图像，并利用当前边缘提取网络确定对应的边缘信息；
基于canny算子，获取所述目标图像的边缘信息，作为所述边缘提取网络的参考标签图；
基于所述边缘信息以及所述参考标签图，确定所述边缘提取网络的损失函数。
在一个实施方式中，所述边缘提取网络的损失函数，具体为：
其中，为参考标签图，1为边缘像素，为所述目标图像的边缘信息，为边缘像素的个数，为非边缘像素的个数。
在一个实施方式中，通过所述第一边缘映射以及所述第二边缘映射，确定所述第一检测图像的去噪边缘映射，包括：
获取所述第一边缘映射以及所述第二边缘映射；
将所述第一边缘映射以及所述第二边缘映射的交点，确定为共边映射；
利用所述共边映射，对所述第一检测图像进行补全，以确定对应的去噪边缘映射。
在一个实施方式中，方法还包括：对重构网络进行配置，具体包括：
获取一训练图像；
对该训练图像的部分区域进行改变，以获得其对应的畸变图像；
获取所述畸变图像的边缘信息以及基于canny算子获取所述畸变图像对应的参考标签图；
将所述畸变图像的边缘信息作为输入，对应的参考标签图作为标签，训练重构网络，以使得所述重构网络基于所述畸变图像的边缘信息，重构得到对应的所述畸变图像。
在一个实施方式中，基于所述第一训练图像以及所述第二训练图像，构建训练数据集，包括：
通过SLIC算法将所述第一训练图像以及所述第二训练图像分割成超像素；
在预设的时间间隔内随机选择分段块的数量，其中，分割后的每个超级像素中的像素点属于同一地物的概率高于不同的超级像素中的像素点属于同一地物的概率；
随机选择至少一个超像素，并与其相邻的超像素一起作为要改变的选定区域；
对所述选定区域进行扭曲、旋转、缩放和移动处理中的至少之一，以覆盖原始训练图像。
本发明的另一方面还提供了一种生成对抗网络的多源异构图像变化检测装置，包括：
获取单元，被配置为获取针对于同一检测场景在不同时刻的第一检测图像以及第二检测图像；
边缘提取单元，被配置为基于配置的边缘提取网络，提取所述第一检测图像以及所述第二检测图像的边缘图像信息，以构建对应的第一边缘映射以及第二边缘映射；
去噪单元，被配置为通过所述第一边缘映射以及所述第二边缘映射，确定所述第一检测图像的去噪边缘映射；
重构单元，被配置为利用配置的重构网络，将所述去噪边缘映射重构为具有所述第二检测图像表示风格的重构图像；
比较单元，被配置为基于所述重构图像与所述第二检测图像的比较，生成表征图像变化的差分图像。
本发明的另一方面还提供了一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的生成对抗网络的多源异构图像变化检测方法的步骤。
本发明的另一方面还提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的生成对抗网络的多源异构图像变化检测方法的步骤。
采用上述技术方案，本发明提供的生成对抗网络的多源异构图像变化检测方法至少具有下列优点：
本发明实施例所使用的EO-GAN网络是一种面向边缘的生成对抗网络，由边缘提取网络和重构网络组成，利用图像边缘信息间接转换图像，体现两个异构表示之间的联系，进一步实现图像之间的变化检测；并且，在训练过程中，通过基于超像素分割的补充数据，使网络在较少的训练数据的条件下，能够从异构图像中提取的边缘尽可能相似。进一步地，本发明在异构和同质数据集上的实验结果证明了该方法的有效性。
附图说明
图1为根据本发明实施例的生成对抗网络的多源异构图像变化检测方法流程图；
图2为根据本发明实施例的生成对抗网络的多源异构图像变化检测装置组成结构示意图；
图3为根据本发明实施例的电子设备构成示意图。
具体实施方式
为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。
应理解，用语“包括”、“包括有”、“具有”、“包含”和/或“包含有”，当在本说明书中使用时表示存在所陈述的特征、整体、步骤、操作、但不排除存在或附加有一个或多个其它特征、整体、步骤、操作、元件、部件和/或它们的组合。此外，当诸如“...中的至少一个”的表述出现在所列特征的列表之后时，修饰整个所列特征，而不是修饰列表中的单独元件。此外，当描述本申请的实施方式时，使用“可以”表示“本申请的一个或多个实施方式”。并且，用语“示例性的”旨在指代示例或举例说明。
除非另外限定，否则本文中使用的所有用语（包括技术用语和科学用语）均具有与本申请所属领域普通技术人员的通常理解相同的含义。还应理解的是，用语（例如在常用词典中定义的用语）应被解释为具有与它们在相关技术的上下文中的含义一致的含义，并且将不被以理想化或过度正式意义解释，除非本文中明确如此限定。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明中说明书中对方法流程的描述及本发明说明书附图中流程图的步骤并非必须按步骤标号严格执行，方法步骤是可以改变执行顺序的。而且，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本发明中说明书中对方法流程的描述及本发明说明书附图中流程图的步骤并非必须按步骤标号严格执行，方法步骤是可以改变执行顺序的。而且，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
为了便于理解，下面对本文中出现的一些技术或名词进行解释。
1）边缘检测
传统图像处理领域有各种经典的边缘检测算子，它们通过测量一阶导数或二阶导数来检测灰度、颜色、纹理等的突变。同时，近年来提出了大量基于深度学习的边缘检测方法，例如双向级联网络(BDCN)，其利用多个并行扩展卷积产生多尺度特征，提高了不同尺度下物体边缘检测的准确性。又例如基于卷积网络的边缘检测系统，该系统采用跳层网络架构融合多尺度特征图。
2）超像素分割
超像素算法用于将相干像素分组到新的原子区域，这些原子区域可以取代原始像素网格。它是一种越来越流行的图像预处理技术，应用于许多计算机视觉应用，如图像分割、物体识别、物体跟踪、分类和三维重建。例如超像素算法SLIC（简单线性迭代聚类（SLIC，simple linear iterative clustering））。SLIC是基于聚类的，它唯一的参数是超像素的数量。在间隔像素的规则网格上随机初始化聚类中心，其中，在分配步骤中，对于周围区域内的每个像素，计算与之间的距离。在更新步骤中，计算新的聚类中心。迭代地重复赋值和更新步骤，直到错误收敛。
3）基于GAN（生成对抗网络 Generative adversarial network）的图像到图像转换网络
GAN用于生成数据。如果我们提供一些额外的信息, GAN可以扩展到一个条件版本(cGAN，条件生成对抗网络Conditional Adversarial Networks)。有了生成器G和判别器D，其目标函数可定义为：
(1)
其中和噪声结合起来作为输入发送给生成器。判别器以为条件，分析样本来自训练数据而不是的概率。
本发明第一实施例，一种生成对抗网络的多源异构图像变化检测方法，如图1所示，包括以下具体步骤：
步骤S1，获取针对于同一检测场景在不同时刻的第一检测图像以及第二检测图像；
步骤S2，基于配置的边缘提取网络，提取所述第一检测图像以及所述第二检测图像的边缘图像信息，以构建对应的第一边缘映射以及第二边缘映射；
步骤S3，通过所述第一边缘映射以及所述第二边缘映射，确定所述第一检测图像的去噪边缘映射；
步骤S4，利用配置的重构网络，将所述去噪边缘映射重构为具有所述第二检测图像表示风格的重构图像；
步骤S5，基于所述重构图像与所述第二检测图像的比较，生成表征图像变化的差分图像。
下面将结合图1，分步对本实施例所提供的方法进行详细介绍。
步骤S1，获取针对于同一检测场景在不同时刻的第一检测图像以及第二检测图像。
本实施例中，第一检测图像以及第二检测图像可以是经由图像获取装置（例如摄像机）对于某一场景，在不同的时刻获取到的图像。
步骤S2，基于配置的边缘提取网络，提取第一检测图像以及第二检测图像的边缘图像信息，以构建对应的第一边缘映射以及第二边缘映射。
本实施例中，需要预先对边缘提取网络进行配置，也就是神经网络的训练，具体包括以下步骤：
1）获取针对于同一场景在不同时刻的第一训练图像以及第二训练图像，训练图像的获取过程类似于上述检测图像；
2）基于第一训练图像以及第二训练图像，构建训练数据集；
其中，训练数据集是针对两幅训练图像进行超像素分割等预处理后获得训练数据集，具体包括：
通过SLIC算法将第一训练图像以及第二训练图像分割成超像素；
在预设的时间间隔内随机选择分段块的数量，其中，分割后的每个超级像素中的像素点属于同一地物的概率高于不同的超级像素中的像素点属于同一地物的概率；
随机选择至少一个超像素，并与其相邻的超像素一起作为要改变的选定区域；
对选定区域进行扭曲、旋转、缩放和移动处理中的至少之一，以覆盖原始训练图像。
3）基于cGAN在训练集中提取两幅目标图像，并利用当前边缘提取网络确定对应的边缘信息；
本实施例中, 首先利用公式(1)构造目标图像。随后以目标图像的边缘映射作为潜在表示的cGAN。
4）基于canny算子，获取所述目标图像的边缘信息，作为所述边缘提取网络的参考标签图；
5）基于边缘信息以及参考标签图，确定所述边缘提取网络的损失函数。
本实施例中，训练过程中旋转输入图像，使网络获得像拉普拉斯算子一样的各向同性特征，以便更准确地捕获任何方向的边缘。考虑到边缘像素只占所有像素的一小部分，可以使用批平衡对比损耗（batch-balanced contrastive loss），这是一种改进的对比损耗（contrastive loss）。该方法以批权重先验（batch-weight prior）的形式计算真值中正负样本的数量，以缓解类不平衡问题。则定义边缘提取损失：
（2）
其中为标签图，1为边缘像素，为边缘检测网络的输出，、分别为边缘像素和非边缘像素的个数。
步骤S3，通过第一边缘映射以及第二边缘映射，确定第一检测图像的去噪边缘映射。
本实施例中，步骤S3可以具体包括：
1）获取第一边缘映射以及第二边缘映射；
2）将第一边缘映射以及第二边缘映射的交点，确定为共边映射；
3）利用共边映射，对第一检测图像进行补全，以确定对应的去噪边缘映射。
进一步地，在训练的过程中，同时输入另一张图像。经过与相同的预处理操作后，通过边缘提取网络提取其边缘信息。然后取与的交点得到共边。通过迭代算法将与或作为目标进行补全，得到补全后的图像和。
在每一轮迭代中，对于中每一个值为1的位置，如果在的邻域中存在一个值为1的像素，我们将该位置在中的值设为1。通过使用具有邻域大小的卷积核可以很容易地实现它。如果它被设置为3，则每次迭代中恢复的点必须与中已经存在的边相邻。如果它大于3，一些与中的边没有连接的点也可以被恢复。中的大部分边都是不变区常见的重叠边，其余属于变化区，其中和中的边只能重叠一小部分。利用该迭代算法，可以将变化区域的不完整边缘恢复到中的完整状态。同时，取交集运算滤除大部分孤立噪声，除非噪声点与中存在的边相连，否则无法恢复。用同样的方法也可以得到，它是重构网络的最终输入。
雷达图像的散斑噪声导致边缘缺失和间歇，而光学图像的边缘通常更相干。所以，通过给加上一些额外的噪声。
示例性地，以胡椒噪声为基础，生成不同尺度的随机胡椒噪声，并将它们重叠来掩盖，得到重建网络的实际输入。
步骤S4，利用配置的重构网络，将所述去噪边缘映射重构为具有所述第二检测图像表示风格的重构图像。
本实施例中，对于重构网络的预先配置过程，具体包括以下步骤：
1）获取一训练图像；
2）对该训练图像的部分区域进行改变，以获得其对应的畸变图像；
3）获取畸变图像的边缘信息以及基于canny算子获取畸变图像对应的参考标签图；
4）将畸变图像的边缘信息作为输入，对应的参考标签图作为标签，训练重构网络，以使得重构网络基于所述畸变图像的边缘信息，重构得到对应的所述畸变图像。
以图像为例，首先对其部分区域进行改变，得到另一幅有畸变图像。然后，以边缘提取网络得到的的边缘信息为输入，以Canny算子生成的边缘图为标签，训练重构网络从的边缘重构。假设图像在光学特征空间中有一个内容完全相同的对应图像，这就是我们希望将变换到光学特征空间中得到的图像。我们可以发现，和在特征上是相对应的，都有一些区域与相比发生了变化。由于的边缘也是的边缘，通过将的边缘信息馈送到重构网络中，可以在与内容相同的光学特征空间中重构。这相当于间接地将转换为光学特征空间，然后可以直接与进行比较。
步骤S5，基于重构图像与第二检测图像的比较，生成表征图像变化的差分图像。
相较于现有技术，本实施例至少具备以下优点：
本实施例提出了一种生成对抗网络的多源异构图像变化检测方法，通过训练面向边缘的GAN (EO-GAN)，将一幅图像转换为另一种风格的图像，用于基于异构图像的变化检测。
不同于常见的齐次变换方法，本实施例采用间接方法，利用异构图像中近似常见的边缘信息作为变换的媒介，通过基于cGAN的边缘提取和边缘重建两个过程，实现了从雷达图像边缘重建相应光学图像的功能。
本发明实施例提供了一种基于超像素的失真方法，以促使网络在边缘变化和实际内容变化之间建立联系。并经实验证明了在均匀图像和非均匀图像上的该方法的有效性。
本发明第二实施例，与第一实施例对应，本实施例介绍一种生成对抗网络的多源异构图像变化检测装置，如图2所示，包括以下组成部分：
获取单元，被配置为获取针对于同一检测场景在不同时刻的第一检测图像以及第二检测图像；
边缘提取单元，被配置为基于配置的边缘提取网络，提取所述第一检测图像以及所述第二检测图像的边缘图像信息，以构建对应的第一边缘映射以及第二边缘映射；
去噪单元，被配置为通过所述第一边缘映射以及所述第二边缘映射，确定所述第一检测图像的去噪边缘映射；
重构单元，被配置为利用配置的重构网络，将所述去噪边缘映射重构为具有所述第二检测图像表示风格的重构图像；
比较单元，被配置为基于所述重构图像与所述第二检测图像的比较，生成表征图像变化的差分图像。
本发明第三实施例，一种电子设备，如图3，可以作为实体装置来理解，包括处理器以及存储有所述处理器可执行指令的存储器，当所述指令被处理器执行时，执行如下操作：
步骤S1，获取针对于同一检测场景在不同时刻的第一检测图像以及第二检测图像；
步骤S2，基于配置的边缘提取网络，提取第一检测图像以及第二检测图像的边缘图像信息，以构建对应的第一边缘映射以及第二边缘映射；
步骤S3，通过第一边缘映射以及第二边缘映射，确定第一检测图像的去噪边缘映射；
步骤S4，利用配置的重构网络，将去噪边缘映射重构为具有第二检测图像表示风格的重构图像；
步骤S5，基于重构图像与所述第二检测图像的比较，生成表征图像变化的差分图像。
本发明第四实施例，本实施例的生成对抗网络的多源异构图像变化检测方法的流程与第一、二或三实施例相同，区别在于，在工程实现上，本实施例可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的所述方法可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台设备执行本发明实施例所述的方法。
通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。

Claims (8)

1.一种基于生成对抗网络的多源异构图像变化检测方法，其特征在于，包括：
步骤S1，获取针对于同一检测场景在不同时刻的第一检测图像以及第二检测图像；
步骤S2，基于配置的边缘提取网络，提取所述第一检测图像以及所述第二检测图像的边缘图像信息，以构建对应的第一边缘映射以及第二边缘映射；
步骤S3，通过所述第一边缘映射以及所述第二边缘映射，确定所述第一检测图像的去噪边缘映射；
步骤S4，利用配置的重构网络，将所述去噪边缘映射重构为具有所述第二检测图像表示风格的重构图像，其中，对重构网络进行配置，具体包括：
获取一训练图像；
对该训练图像的部分区域进行改变，以获得其对应的畸变图像；
获取所述畸变图像的边缘信息以及基于canny算子获取所述畸变图像对应的参考标签图；
将所述畸变图像的边缘信息作为输入，对应的参考标签图作为标签，训练重构网络，以使得所述重构网络基于所述畸变图像的边缘信息，重构得到对应的所述畸变图像；
步骤S5，基于所述重构图像与所述第二检测图像的比较，生成表征图像变化的差分图像。
2.根据权利要求1所述的基于生成对抗网络的多源异构图像变化检测方法，其特征在于，所述方法还包括：对边缘提取网络进行配置，具体包括：
获取针对于同一场景在不同时刻的第一训练图像以及第二训练图像；
基于所述第一训练图像以及所述第二训练图像，构建训练数据集；
基于cGAN在所述训练集中提取两幅目标图像，并利用当前边缘提取网络确定对应的边缘信息；
基于canny算子，获取所述目标图像的边缘信息，作为所述边缘提取网络的参考标签图；
基于所述边缘信息以及所述参考标签图，确定所述边缘提取网络的损失函数。
3.根据权利要求2所述的基于生成对抗网络的多源异构图像变化检测方法，其特征在于，所述边缘提取网络的损失函数，具体为：
其中，gt为参考标签图，l为边缘像素，d为所述目标图像的边缘信息，nne为边缘像素的个数，ne为非边缘像素的个数。
4.根据权利要求1所述的基于生成对抗网络的多源异构图像变化检测方法，其特征在于，通过所述第一边缘映射以及所述第二边缘映射，确定所述第一检测图像的去噪边缘映射，包括：
获取所述第一边缘映射以及所述第二边缘映射；
将所述第一边缘映射以及所述第二边缘映射的交点，确定为共边映射；
利用所述共边映射，对所述第一检测图像进行补全，以确定对应的去噪边缘映射。
5.根据权利要求2所述的基于生成对抗网络的多源异构图像变化检测方法，其特征在于，基于所述第一训练图像以及所述第二训练图像，构建训练数据集，包括：
通过SLIC算法将所述第一训练图像以及所述第二训练图像分割成超像素；
在预设的时间间隔内随机选择分段块的数量，其中，分割后的每个超级像素中的像素点属于同一地物的概率高于不同的超级像素中的像素点属于同一地物的概率；
随机选择至少一个超像素，并与其相邻的超像素一起作为要改变的选定区域；
对所述选定区域进行扭曲、旋转、缩放和移动处理中的至少之一，以覆盖原始训练图像。
6.一种基于生成对抗网络的多源异构图像变化检测装置，其特征在于，包括：
获取单元，被配置为获取针对于同一检测场景在不同时刻的第一检测图像以及第二检测图像；
边缘提取单元，被配置为基于配置的边缘提取网络，提取所述第一检测图像以及所述第二检测图像的边缘图像信息，以构建对应的第一边缘映射以及第二边缘映射；
去噪单元，被配置为通过所述第一边缘映射以及所述第二边缘映射，确定所述第一检测图像的去噪边缘映射；
重构单元，被配置为利用配置的重构网络，将所述去噪边缘映射重构为具有所述第二检测图像表示风格的重构图像，其中，所述重构单元具体用于对重构网络进行配置，包括：
获取一训练图像；
对该训练图像的部分区域进行改变，以获得其对应的畸变图像；
获取所述畸变图像的边缘信息以及基于canny算子获取所述畸变图像对应的参考标签图；
将所述畸变图像的边缘信息作为输入，对应的参考标签图作为标签，训练重构网络，以使得所述重构网络基于所述畸变图像的边缘信息，重构得到对应的所述畸变图像；
比较单元，被配置为基于所述重构图像与所述第二检测图像的比较，生成表征图像变化的差分图像。
7.一种电子设备，其特征在于，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的基于生成对抗网络的多源异构图像变化检测方法的步骤。
8.一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的基于生成对抗网络的多源异构图像变化检测方法的步骤。
CN202311698028.2A 2023-12-12 2023-12-12 基于生成对抗网络的多源异构图像变化检测方法及装置 Active CN117952901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311698028.2A CN117952901B (zh) 2023-12-12 2023-12-12 基于生成对抗网络的多源异构图像变化检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311698028.2A CN117952901B (zh) 2023-12-12 2023-12-12 基于生成对抗网络的多源异构图像变化检测方法及装置

Publications (2)

Publication Number Publication Date
CN117952901A CN117952901A (zh) 2024-04-30
CN117952901B true CN117952901B (zh) 2024-07-19

Family

ID=90802696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311698028.2A Active CN117952901B (zh) 2023-12-12 2023-12-12 基于生成对抗网络的多源异构图像变化检测方法及装置

Country Status (1)

Country Link
CN (1) CN117952901B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967526A (zh) * 2020-08-20 2020-11-20 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及系统
CN113436217A (zh) * 2021-07-23 2021-09-24 山东大学 基于深度学习的无人车环境检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101477132B1 (ko) * 2013-10-07 2014-12-29 목포해양대학교 산학협력단 해양 환경에서 크기 변화에 무관한 물표 탐지 장치 및 방법
US11094114B2 (en) * 2019-02-08 2021-08-17 Ursa Space Systems Inc. Satellite SAR artifact suppression for enhanced three-dimensional feature extraction, change detection, and visualizations
CN113487578B (zh) * 2021-07-15 2024-04-19 南京中科智慧应急研究院有限公司 一种基于双边加权核图割的sar图像变化检测方法
US20230154165A1 (en) * 2021-11-12 2023-05-18 Promedius Inc. Image learning method, apparatus, program, and recording medium using generative adversarial network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967526A (zh) * 2020-08-20 2020-11-20 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及系统
CN113436217A (zh) * 2021-07-23 2021-09-24 山东大学 基于深度学习的无人车环境检测方法

Also Published As

Publication number Publication date
CN117952901A (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
Krull et al. Noise2void-learning denoising from single noisy images
US20180300855A1 (en) Method and a system for image processing
US11562166B2 (en) Generating shift-invariant neural network feature maps and outputs
CN108961180B (zh) 红外图像增强方法及系统
KR101723738B1 (ko) 딕셔너리 학습 기반 해상도 향상 장치 및 방법
CN110570440A (zh) 一种基于深度学习边缘检测的图像自动分割方法及装置
CN112766083B (zh) 基于多尺度特征融合的遥感场景分类方法及系统
Djemame et al. Solving reverse emergence with quantum PSO application to image processing
US20230252605A1 (en) Method and system for a high-frequency attention network for efficient single image super-resolution
CN113066030B (zh) 一种基于空谱融合网络的多光谱图像全色锐化方法及系统
Goyal et al. A weighted least squares optimisation strategy for medical image super resolution via multiscale convolutional neural networks for healthcare applications
Thapa et al. A performance comparison among different super-resolution techniques
Liu et al. Multi-scale residual hierarchical dense networks for single image super-resolution
Salvador Example-Based super resolution
Lou et al. Nonlocal similarity image filtering
CN110516731B (zh) 一种基于深度学习的视觉里程计特征点检测方法及系统
Somasundaran et al. Robust image retrieval by cascading a deep quality assessment network
Pérez-Pellitero et al. Antipodally invariant metrics for fast regression-based super-resolution
Rath et al. Boosting deep neural networks with geometrical prior knowledge: A survey
Luo et al. Piecewise linear regression-based single image super-resolution via Hadamard transform
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN117952901B (zh) 基于生成对抗网络的多源异构图像变化检测方法及装置
Yuan et al. Depth map super-resolution via low-resolution depth guided joint trilateral up-sampling
Deka et al. Joint sparse representation-based single image super-resolution for remote sensing applications
Zheng et al. Joint residual pyramid for joint image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant