CN112308156A - 一种基于对抗学习的两阶段图像变化检测方法 - Google Patents

一种基于对抗学习的两阶段图像变化检测方法 Download PDF

Info

Publication number
CN112308156A
CN112308156A CN202011221268.XA CN202011221268A CN112308156A CN 112308156 A CN112308156 A CN 112308156A CN 202011221268 A CN202011221268 A CN 202011221268A CN 112308156 A CN112308156 A CN 112308156A
Authority
CN
China
Prior art keywords
image
change
change detection
neural network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011221268.XA
Other languages
English (en)
Other versions
CN112308156B (zh
Inventor
周川
陈雷霆
郭睿
席烁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202011221268.XA priority Critical patent/CN112308156B/zh
Publication of CN112308156A publication Critical patent/CN112308156A/zh
Application granted granted Critical
Publication of CN112308156B publication Critical patent/CN112308156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于对抗学习的两阶段图像变化检测方法；步骤如下；（1）图像配准；（2）多尺度切割；（3）基于多尺度卷积特征融合的变化判别；（4）基于U形神经网络的变化检测；（5）基于对抗学习的网络训练与调优；（6）基于概率阈值的图像拼接；（7）输出最终结果。本发明基于深度神经网络的方法，根据上文所描述的当前方法的局限性，主要解决3个问题：1、不同大小的目标变化检测效果差异明显；2、变化区域在整幅图像中占比过少导致的样本不平衡问题；3、由拍摄角度、照明强度等不同成像条件带来的噪声问题。本发明在同用的变化检测方法上，分别从图像预处理、变化检测模型设计和模型训练与调优阶段分别提出创新方法，提升变化检测效果。

Description

一种基于对抗学习的两阶段图像变化检测方法
技术领域
本发明涉及图像变化检测领域，具体来讲涉及的是一种基于对抗学习的两阶段图像变化检测方法。
背景技术
变化检测是对不同时间获取的同一位置的图像中检测其变化区域和类型的技术。变化检测技术被广泛应用于现实场景的各种场景理解任务中。在遥感影像分析领域，变化检测技术通过分析多时相的高分辨率遥感影像，可以直观地获取地面特征的变化，在自然灾害评估、城市建设分析、植被变化检测以及战场军事情报收集等多种应用中起着至关重要的作用。在医学图像处理领域，图像变化检测技术可以通过处理电子计算机断层扫描（CT，Computed Tomography）、磁共振成像（MRI，Magnetic Resonance Imaging）图像、皮肤图像等，用于检测患者解剖结构的功能属性变化。医学图像中的变化可能是由于肿瘤的生长、皮肤慢性炎症等造成的，也可能与其他种类的病变相关联，通过医学图像变化检测，能够做到对疾病的检测、变化监测、筛选以及副主诊断等。
现有的变化检测技术通常分为两类：传统方法的变化检测方法和基于深度学习的变化检测方法。传统的变化检测方法根据选取对象的粒度可划分为像素级和对象级检测方法。基于像素的变化检测方法通常只考虑单个像素点的分类而忽略了图像中的语义信息，并且计算量较大。而基于对象的变化检测方法需要先将图像分割为互不相交的同种对象，然后再进行变化检测，检测的效果直接依赖于对象分割的效果，因此精度相对较差。
随着人工智能技术的发展，深度学习的方法在图像变化检测领域取得了进展。目前广泛使用的基于图像语义分割的端到端的变化检测模型可以直接生成变化检测结果，大大提升了检测效率，但是这些算法都存在一些共同的缺陷：1、不能很好的处理小目标的变化区域；2、不能解决变化区域与未变化区域之间的样本不均衡问题；3、对拍摄角度、光照强度等噪声敏感。
与本发明相关的现有技术：
2018年，Qing Wang等人在《Change detection based on Faster R-CNN for high-resolution remote sensing images》中提出使用FasterR-CNN结构应用于高分辨率遥感图像检测上。Daudt等人在《High Resolution Semantic Change Detection》中采用了基于UNet的FCN体系结构，该体系结构利用公开的变化检测数据集，并且采用端到端的训练方式来完成变化检测。次年，Daudt等人又在《Fully convolutional siamese networks forchange detection》首次提出了两种具有跳跃连接的全卷积孪生神经网络结构。Lebedev等人使用基于GANs的端到端变换检测方法检测高分辨率卫星图像中的变化。此外，EnqiangGuo等人在孪生神经网络的基础上提出改进，使用高维的特征取代低维的特征进行融合，提升了孪生神经网络在变化检测中的效果。
现有变化检测技术的缺点：现有的基于深度学习的变化检测技术大多基于语义分割网络UNet或孪生神经网络完成，虽然该类神经网络在图像处理领域应用广泛、有较高的使用度，但是直接用于变化检测任务上却不能达到理想的效果，体现在以下几个方面：1.对于图像中不同尺寸的目标检测效果差异明显，尤其是对小目标检测效果很差。这是由于神经网络通过卷积降低分辨率来提取特征，如果卷积深度不够无法提取高维语义信息，而卷积深度过深则会在降低分辨率的过程中不断丢失图像信息。为解决该问题，本方法提出多尺度切割方法，保证了不同大小的目标在不同分辨率下都保有图像信息。2.数据不平衡给神经网络训练带来较大影响，该问题主要出现在高分辨率的图像变化检测中，每幅图像中变化区域的面积占比不超过10%，大量的无关区域会严重影响神经网络的训练使之无法达到预取结果，本方法提出的两阶段检测技术过滤掉大量无变化区域图像对，从而平衡了输入到变化检测网络的数据3.无法处理图像噪声带来的虚假变化问题，通常变化检测的标准为目标数量、位置、形状发生变化，而由于拍摄环境带来的颜色、阴影、季节性变化不应该作为变化，现有的技术方案通常没有考虑到不同天气、气候、光照等复杂场景中的处理手段，在本方法中使用基于对抗学习的网络训练和调优方法来解决此问题。
发明内容
因此，为了解决上述不足，本发明在此提供一种基于对抗学习的两阶段图像变化检测方法；本发明基于深度神经网络的方法，根据上文所描述的当前方法的局限性，主要解决3个问题：1、不同大小的目标变化检测效果差异明显；2、变化区域在整幅图像中占比过少导致的样本不平衡问题；3、由拍摄角度、照明强度等不同成像条件带来的噪声问题。本发明在同用的变化检测方法上，分别从图像预处理、变化检测模型设计和模型训练与调优阶段分别提出创新方法，提升变化检测效果。
本发明是这样实现的，构造一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤如下；
（1）图像配准；
（2）多尺度切割；
（3）基于多尺度卷积特征融合的变化判别；
（4）基于U形神经网络的变化检测；
（5）基于对抗学习的网络训练与调优；
（6）基于概率阈值的图像拼接；
（7）输出最终结果。
根据本发明所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤1图像配准是变换原图的直方图为目标图像规定的某种形式的直方图，从而使两幅图像具有类似的色调和反差，减小图像风格差异带来的负面影响；对两个直方图都做均衡化，变成相同的归一化的均匀直方图，以此均匀直方图为媒介，再对参考图像做均衡化的逆运算。
根据本发明所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤2多尺度的图像切割是对原始图像进行预处理，缩小输入到神经网络的图像的分辨率以减少计算资源，其次根据目标图像的原始分辨率和图像中目标的对应尺度，将每一对待检测图像以不同的分辨率进行多次切割，这样可以兼顾不同大小的目标，尤其是小目标的检测效果得到提升。
根据本发明所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤3基于多尺度特征融合的变化判别是将切割后的图像对进行变化判别，判断该对图像是否存在变化区域，如果存在变化区域则由变化检测模型进行检测，否则不进行下一步检测，这是两阶段变化检测方法的第一阶段；该阶段可以在一定程度上过滤掉不存在变化区域的图像对，平衡了进入变化检测模型的数据分布，提升了整个检测方法的鲁棒性；具体为；
步骤3.1生成变化判别数据集：基于步骤1切割后的不同尺度图像，生成变化判别数据样本。依据原图像像素级标签，生成对应区域的图像级标签标示给定区域目标变化是否达到阈值，如果达到阈值则进入变化检测网络模型，否则不做处理；
步骤3.2 训练变化判别神经网络：使用步骤3.1生成的变化判别数据集训练用作变化判别的分类神经网络；在数据集中按照1：1的比例挑选若干对无变化图像对和有变化图像对进行训练，保证选取图像对覆盖原图像所有区域并且满足数据平衡的要求。
根据本发明所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤4基于U型神经网络进行变化检测是使用U形神经网络对输入的图像对进行变化检测；采用UNet++神经网络进行检测，输入为一对待检测的图像对，输出为变化区域的预测图像。
根据本发明所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤5基于对抗神经网络的训练与调优是将U形神经网络作为生成器，同时引入一个鉴别器组成对抗神经网络；本步骤和步骤4是两阶段变化检测方法的第二阶段，其中鉴别器的输入分别为（输入图像对、U形神经网络预测结果）和（输入图像对、标签），鉴别器的目的是区分输入的变化区域图像是网络的预测结果还是标签，而生成器的目的是生成变化区域图像让鉴别器无法鉴别；该步骤可以减弱两幅图像的数据分布差异，以此消除由于拍摄角度、照明强度等噪声带来的影响，增加模型的鲁棒性；具体为；
步骤5.1 生成器训练；是进行U形神经网络（生成器）的训练。输入由一对待检测图像对组成，输出一张变化区域概率预测图；为了更好的拟合变化区域的轮廓，在本方法中采用了BCE损失和DICE损失的加权平均作为损失函数，最后根据损失函数计算预测结果与标签之间的损失值并优化U形神经网络；
步骤5.2判别器训练；是进行判别器的训练；鉴别器由基于ResNet的多层全卷积网络构成，在生成器的一次训练结束后，随后进行鉴别器训练。输入由三部分组成：待检测的图像对、变化区域图；
在整体训练流程中，生成器与鉴别器的训练交替进行，由鉴别器来指导生成器生成质量更高的变化预测图。而在验证流程中则丢弃鉴别器，仅用生成器进行验证。
根据本发明所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤6基于概率阈值的图像拼接是将切割后的图像的预测结果进行拼接从而恢复到原始分辨率。由于输入图像经过多尺度切割，直接将预测结果进行拼接会出现同一目标在不同分辨率预测图或跨切割子图中的预测结果不一致导致拼接结果不连贯、出现断裂现象；采用基于概率阈值的图像拼接技术，将不同分辨率下的预测结果按照预设的阈值进行概率加权平均以实现图像的平滑拼接；拼接方法为：
Figure DEST_PATH_IMAGE001
其中i表示图像对上的像素点，Pi和Qi分别为同一像素点在不同分辨率下的预测结果，Tp和Tq分别是分辨率P和Q的加权阈值，Ri为该像素点的最终检测结果。
本发明具有如下优点：本发明在此提供一种基于对抗学习的两阶段图像变化检测方法；本发明基于深度神经网络的方法，根据上文所描述的当前方法的局限性，主要解决3个问题：1、不同大小的目标变化检测效果差异明显；2、变化区域在整幅图像中占比过少导致的样本不平衡问题；3、由拍摄角度、照明强度等不同成像条件带来的噪声问题。本发明在同用的变化检测方法上，分别从图像预处理、变化检测模型设计和模型训练与调优阶段分别提出创新方法，提升变化检测效果。
附图说明
图1是本发明检测方法的流程示意图；
图2是本发明基于多尺度特征融合的变化判别示意图；
图3是本发明中生成器训练流程示意图；
图4是本发明中鉴别器训练流程示意图；
图5是本发明应用场景举例示意图。
具体实施方式
下面将结合附图1-图5对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明通过改进在此提供一种基于对抗学习的两阶段图像变化检测方法，本发明基于深度神经网络的方法，根据上文所描述的当前方法的局限性，主要解决3个问题：1、不同大小的目标变化检测效果差异明显；2、变化区域在整幅图像中占比过少导致的样本不平衡问题；3、由拍摄角度、照明强度等不同成像条件带来的噪声问题。本发明在同用的变化检测方法上，分别从图像预处理、变化检测模型设计和模型训练与调优阶段分别提出创新方法，提升变化检测效果。
如图1所示，本发明主要从图像预处理、模型设计、模型训练与调优三个方面出发，提出改进措施。本发明的技术流程可以概括为以下几点：
(1)图像配准；
(2)多尺度切割；
(3)基于多尺度卷积特征融合的变化判别；
(4)基于U形神经网络的变化检测；
(5)基于对抗学习的网络训练与调优；
(6)基于概率阈值的图像拼接；
(7)输出最终结果。
具体的实施过程如下：
步骤1图像配准：本步骤的目的，是变换原图的直方图为目标图像规定的某种形式的直方图，从而使两幅图像具有类似的色调和反差，减小图像风格差异带来的负面影响。对两个直方图都做均衡化，变成相同的归一化的均匀直方图，以此均匀直方图为媒介，再对参考图像做均衡化的逆运算。
步骤2多尺度的图像切割：本步骤的主要目的是对原始图像进行预处理，缩小输入到神经网络的图像的分辨率以减少计算资源，其次根据目标图像的原始分辨率和图像中目标的对应尺度，将每一对待检测图像以不同的分辨率进行多次切割，这样可以兼顾不同大小的目标，尤其是小目标的检测效果得到提升。
步骤3基于多尺度特征融合的变化判别：本步骤的主要目的是将切割后的图像对进行变化判别，判断该对图像是否存在变化区域，如果存在变化区域则由变化检测模型进行检测，否则不进行下一步检测，这是两阶段变化检测方法的第一阶段。该阶段可以在一定程度上过滤掉不存在变化区域的图像对，平衡了进入变化检测模型的数据分布，提升了整个检测方法的鲁棒性。
步骤3.1生成变化判别数据集：基于步骤1切割后的不同尺度图像，生成变化判别数据样本。依据原图像像素级标签，生成对应区域的图像级标签标示给定区域目标变化是否达到阈值，如果达到阈值则进入变化检测网络模型，否则不做处理。
步骤3.2 训练变化判别神经网络：使用步骤3.1生成的变化判别数据集训练用作变化判别的分类神经网络。在数据集中按照1：1的比例挑选若干对无变化图像对和有变化图像对进行训练，保证选取图像对覆盖原图像所有区域并且满足数据平衡的要求。
步骤4基于U型神经网络进行变化检测：本步骤的主要目的是使用U形神经网络对输入的图像对进行变化检测。在本方法中采用UNet++神经网络进行检测，输入为一对待检测的图像对，输出为变化区域的预测图像。
步骤5基于对抗神经网络的训练与调优：本步骤的主要目的是将U形神经网络作为生成器，同时引入一个鉴别器组成对抗神经网络。本步骤和步骤4是两阶段变化检测方法的第二阶段，其中鉴别器的输入分别为（输入图像对、U形神经网络预测结果）和（输入图像对、标签），鉴别器的目的是区分输入的变化区域图像是网络的预测结果还是标签，而生成器的目的是生成变化区域图像让鉴别器无法鉴别。该步骤可以减弱两幅图像的数据分布差异，以此消除由于拍摄角度、照明强度等噪声带来的影响，增加模型的鲁棒性。具体为；
步骤5.1 生成器训练：本步骤的主要目的是进行U形神经网络（生成器）的训练。输入由一对待检测图像对组成，输出一张变化区域概率预测图。为了更好的拟合变化区域的轮廓，在本方法中采用了BCE损失和DICE损失的加权平均作为损失函数，最后根据损失函数计算预测结果与标签之间的损失值并优化U形神经网络。
步骤5.2判别器训练：本步骤的主要目的是进行判别器的训练。鉴别器由基于ResNet的多层全卷积网络构成，在生成器的一次训练结束后，随后进行鉴别器训练。输入由三部分组成：待检测的图像对、变化区域图，训练流程如下：
在整体训练流程中，生成器与鉴别器的训练交替进行，由鉴别器来指导生成器生成质量更高的变化预测图。而在验证流程中则丢弃鉴别器，仅用生成器进行验证。
步骤6基于概率阈值的图像拼接：本步骤的目的是将切割后的图像的预测结果进行拼接从而恢复到原始分辨率。由于输入图像经过多尺度切割，直接将预测结果进行拼接会出现同一目标在不同分辨率预测图或跨切割子图中的预测结果不一致导致拼接结果不连贯、出现断裂现象。在本方法中，采用基于概率阈值的图像拼接技术，将不同分辨率下的预测结果按照预设的阈值进行概率加权平均以实现图像的平滑拼接。拼接方法为：
Figure 686459DEST_PATH_IMAGE001
其中i表示图像对上的像素点，Pi和Qi分别为同一像素点在不同分辨率下的预测结果，Tp和Tq分别是分辨率P和Q的加权阈值，Ri为该像素点的最终检测结果。
下面对本发明的应用场景实施举例：
近年来，一系列高分辨率遥感卫星的成功发射意味着航天遥感技术进入到了一个新的阶段，遥感影像应用范围大为扩展，应用深度和定位精度也随之大大提高。在军事方面，充分发挥遥感影像真实、高精度、现势性等优越性，可用于情报收集、国防监视、变化检测、精确测图和目标引导等方面。
本发明可应用在实际的军事任务中，通过对遥感卫星图像进行变化检测对关键军事目标，如机场、建筑、飞机、船舶等变化进行检测和分析，由此掌握他国军事规划与动向，及时获得他国军事设施的新建、改建、拆除、变化的进度，了解他国部队与军事装备的调动与增减，对于情报收集、国防建设计划与决策能够提供信息以供参考；其检测流程可以表达为图5所示。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤如下；
（1）图像配准；
（2）多尺度切割；
（3）基于多尺度卷积特征融合的变化判别；
（4）基于U形神经网络的变化检测；
（5）基于对抗学习的网络训练与调优；
（6）基于概率阈值的图像拼接；
（7）输出最终结果。
2.根据权利要求1所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤1图像配准是变换原图的直方图为目标图像规定的某种形式的直方图，从而使两幅图像具有类似的色调和反差，减小图像风格差异带来的负面影响；对两个直方图都做均衡化，变成相同的归一化的均匀直方图，以此均匀直方图为媒介，再对参考图像做均衡化的逆运算。
3.根据权利要求1所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤2多尺度的图像切割是对原始图像进行预处理，缩小输入到神经网络的图像的分辨率以减少计算资源，其次根据目标图像的原始分辨率和图像中目标的对应尺度，将每一对待检测图像以不同的分辨率进行多次切割，这样可以兼顾不同大小的目标，尤其是小目标的检测效果得到提升。
4.根据权利要求1所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤3基于多尺度特征融合的变化判别是将切割后的图像对进行变化判别，判断该对图像是否存在变化区域，如果存在变化区域则由变化检测模型进行检测，否则不进行下一步检测，这是两阶段变化检测方法的第一阶段；该阶段可以在一定程度上过滤掉不存在变化区域的图像对，平衡了进入变化检测模型的数据分布，提升了整个检测方法的鲁棒性；具体为；
步骤3.1生成变化判别数据集：基于步骤1切割后的不同尺度图像，生成变化判别数据样本；
依据原图像像素级标签，生成对应区域的图像级标签标示给定区域目标变化是否达到阈值，如果达到阈值则进入变化检测网络模型，否则不做处理；
步骤3.2 训练变化判别神经网络：使用步骤3.1生成的变化判别数据集训练用作变化判别的分类神经网络；在数据集中按照1：1的比例挑选若干对无变化
图像对和有变化图像对进行训练，保证选取图像对覆盖原图像所有区域并且满足数据平衡的要求。
5.根据权利要求1所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤4基于U形神经网络进行变化检测是使用U形神经网络对输入的图像对进行变化检测；采用UNet++神经网络进行检测，输入为一对待检测的图像对，输出为变化区域的预测图像。
6.根据权利要求1所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤5基于对抗神经网络的训练与调优是将U形神经网络作为生成器，同时引入一个鉴别器组成对抗神经网络；本步骤和步骤4是两阶段变化检测方法的第二阶段，其中鉴别器的输入分别为（输入图像对、U形神经网络预测结果）和（输入图像对、标签），鉴别器的目的是区分输入的变化区域图像是网络的预测结果还是标签，而生成器的目的是生成变化区域图像让鉴别器无法鉴别；该步骤可以减弱两幅图像的数据分布差异，以此消除由于拍摄角度、照明强度等噪声带来的影响，增加模型的鲁棒性；具体为；
步骤5.1 生成器训练；是进行U形神经网络（生成器）的训练；输入由一对待检测图像对组成，输出一张变化区域概率预测图；为了更好的拟合变化区域的轮廓，在本方法中采用了BCE损失和DICE损失的加权平均作为损失函数，最后根据损失函数计算预测结果与标签之间的损失值并优化U形神经网络；
步骤5.2判别器训练；是进行判别器的训练；鉴别器由基于ResNet的多层全卷积网络构成，在生成器的一次训练结束后，随后进行鉴别器训练；输入由三部分组成：待检测的图像对、变化区域图；在整体训练流程中，生成器与鉴别器的训练交替进行，由鉴别器来指导生成器生成质量更高的变化预测图；而在验证流程中则丢弃鉴别器，仅用生成器进行验证。
7.根据权利要求1所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤6基于概率阈值的图像拼接是将切割后的图像的预测结果进行拼接从而恢复到原始分辨率；由于输入图像经过多尺度切割，直接将预测结果进行拼接会出现同一目标在不同分辨率预测图或跨切割子图中的预测结果不一致导致拼接结果不连贯、出现断裂现象；采用基于概率阈值的图像拼接技术，将不同分辨率下的预测结果按照预设的阈值进行概率加权平均以实现图像的平滑拼接；拼接方法为：
Figure DEST_PATH_IMAGE002
其中i表示图像对上的像素点，Pi和Qi分别为同一像素点在不同分辨率下的预测结果，Tp和Tq分别是分辨率P和Q的加权阈值，Ri为该像素点的最终检测结果。
CN202011221268.XA 2020-11-05 2020-11-05 一种基于对抗学习的两阶段图像变化检测方法 Active CN112308156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011221268.XA CN112308156B (zh) 2020-11-05 2020-11-05 一种基于对抗学习的两阶段图像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011221268.XA CN112308156B (zh) 2020-11-05 2020-11-05 一种基于对抗学习的两阶段图像变化检测方法

Publications (2)

Publication Number Publication Date
CN112308156A true CN112308156A (zh) 2021-02-02
CN112308156B CN112308156B (zh) 2022-05-03

Family

ID=74326115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011221268.XA Active CN112308156B (zh) 2020-11-05 2020-11-05 一种基于对抗学习的两阶段图像变化检测方法

Country Status (1)

Country Link
CN (1) CN112308156B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011295A (zh) * 2021-03-08 2021-06-22 中国科学院空天信息创新研究院 基于遥感影像识别光伏发电站的方法、计算机设备和介质
CN113240023A (zh) * 2021-05-19 2021-08-10 中国民航大学 基于变化图像分类和特征差值先验的变化检测方法及装置
CN113450394A (zh) * 2021-05-19 2021-09-28 浙江工业大学 一种基于Siamese网络的异尺寸图像配准方法
CN113762397A (zh) * 2021-09-10 2021-12-07 北京百度网讯科技有限公司 检测模型训练、高精度地图更新方法、设备、介质及产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298968A (zh) * 2014-09-25 2015-01-21 电子科技大学 一种基于超像素的复杂场景下的目标跟踪方法
CN109360155A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于多尺度特征融合的单帧图像去雨方法
CN109993804A (zh) * 2019-03-22 2019-07-09 上海工程技术大学 一种基于条件生成对抗网络的道路场景去雾方法
US10402686B1 (en) * 2019-01-25 2019-09-03 StradVision, Inc. Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same
CN110246171A (zh) * 2019-06-10 2019-09-17 西北工业大学 一种实时单目视频深度估计方法
CN110472634A (zh) * 2019-07-03 2019-11-19 中国民航大学 基于多尺度深度特征差值融合网络的变化检测方法
CN110969088A (zh) * 2019-11-01 2020-04-07 华东师范大学 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN111161295A (zh) * 2019-12-30 2020-05-15 神思电子技术股份有限公司 一种菜品图像背景剥离方法
CN111461295A (zh) * 2020-03-20 2020-07-28 南京理工大学 基于多尺度生成对抗神经网络的单帧条纹分析方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298968A (zh) * 2014-09-25 2015-01-21 电子科技大学 一种基于超像素的复杂场景下的目标跟踪方法
CN109360155A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于多尺度特征融合的单帧图像去雨方法
US10402686B1 (en) * 2019-01-25 2019-09-03 StradVision, Inc. Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same
CN109993804A (zh) * 2019-03-22 2019-07-09 上海工程技术大学 一种基于条件生成对抗网络的道路场景去雾方法
CN110246171A (zh) * 2019-06-10 2019-09-17 西北工业大学 一种实时单目视频深度估计方法
CN110472634A (zh) * 2019-07-03 2019-11-19 中国民航大学 基于多尺度深度特征差值融合网络的变化检测方法
CN110969088A (zh) * 2019-11-01 2020-04-07 华东师范大学 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN111161295A (zh) * 2019-12-30 2020-05-15 神思电子技术股份有限公司 一种菜品图像背景剥离方法
CN111461295A (zh) * 2020-03-20 2020-07-28 南京理工大学 基于多尺度生成对抗神经网络的单帧条纹分析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
K. REGMI: "Bridging the Domain Gap for Ground-to-Aerial Image Matching", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
何昱: "基于深度学习的视网膜眼底图像分割技术研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
聂霄: "弱可压缩流体边界处理算法", 《计算机应用》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011295A (zh) * 2021-03-08 2021-06-22 中国科学院空天信息创新研究院 基于遥感影像识别光伏发电站的方法、计算机设备和介质
CN113240023A (zh) * 2021-05-19 2021-08-10 中国民航大学 基于变化图像分类和特征差值先验的变化检测方法及装置
CN113450394A (zh) * 2021-05-19 2021-09-28 浙江工业大学 一种基于Siamese网络的异尺寸图像配准方法
CN113450394B (zh) * 2021-05-19 2022-12-06 浙江工业大学 一种基于Siamese网络的异尺寸图像配准方法
CN113762397A (zh) * 2021-09-10 2021-12-07 北京百度网讯科技有限公司 检测模型训练、高精度地图更新方法、设备、介质及产品
CN113762397B (zh) * 2021-09-10 2024-04-05 北京百度网讯科技有限公司 检测模型训练、高精度地图更新方法、设备、介质及产品

Also Published As

Publication number Publication date
CN112308156B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN112308156B (zh) 一种基于对抗学习的两阶段图像变化检测方法
CN104778721B (zh) 一种双目图像中显著性目标的距离测量方法
CN110287932B (zh) 基于深度学习图像语义分割的道路阻断信息提取方法
CN110956094A (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN111080629A (zh) 一种图像拼接篡改的检测方法
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN105741375B (zh) 一种大视场双目视觉的红外图像考勤方法
CN110309781B (zh) 基于多尺度光谱纹理自适应融合的房屋损毁遥感识别方法
CN108154159B (zh) 一种基于多级检测器的具有自恢复能力的目标跟踪方法
CN110232389A (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN110059589A (zh) 一种基于Mask R-CNN神经网络的虹膜图像中虹膜区域的分割方法
CN112084869A (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN112150493A (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN113989662A (zh) 一种基于自监督机制的遥感图像细粒度目标识别方法
CN103295013A (zh) 一种基于成对区域的单幅图像阴影检测方法
CN104517095A (zh) 一种基于深度图像的人头分割方法
CN104809433A (zh) 一种基于最大稳定区域和随机采样的斑马线检测方法
CN109410184A (zh) 基于稠密对抗网络半监督学习的直播色情图像检测方法
CN108776777A (zh) 一种基于Faster RCNN的遥感影像对象间空间关系的识别方法
CN110021019B (zh) 一种aga临床图像的ai辅助毛发的粗细分布分析方法
CN113569724B (zh) 基于注意力机制和扩张卷积的道路提取方法及系统
Xing et al. Traffic sign recognition using guided image filtering
CN116403121A (zh) 水体指数与极化信息多路径融合的遥感图像水域分割方法、系统及设备
CN106887002A (zh) 一种红外图像序列显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant