CN113449690A - 图像场景变化的检测方法、系统及电子设备 - Google Patents

图像场景变化的检测方法、系统及电子设备 Download PDF

Info

Publication number
CN113449690A
CN113449690A CN202110824451.7A CN202110824451A CN113449690A CN 113449690 A CN113449690 A CN 113449690A CN 202110824451 A CN202110824451 A CN 202110824451A CN 113449690 A CN113449690 A CN 113449690A
Authority
CN
China
Prior art keywords
image
detected
determining
change
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110824451.7A
Other languages
English (en)
Inventor
王志峰
陈明芽
毛登峰
王庆猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huayan Zhike Hangzhou Information Technology Co ltd
Original Assignee
Huayan Zhike Hangzhou Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huayan Zhike Hangzhou Information Technology Co ltd filed Critical Huayan Zhike Hangzhou Information Technology Co ltd
Priority to CN202110824451.7A priority Critical patent/CN113449690A/zh
Publication of CN113449690A publication Critical patent/CN113449690A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像场景变化的检测方法、系统及电子设备，涉及图像识别技术领域，该方法首先利用预设基准图像对待检测图像进行预处理，确定待检测图像的预处理图像；然后将预处理图像输入至已完成训练的卷积神经网络中，通过卷积神经网络对预处理图像进行编码，确定待检测图像对应的第一特征图像；再对第一特征图像进行解码操作，通过反卷积运算将第一特征图像进行特征融合，确定待检测图像对应的第二特征图像；最后对第二特征图像进行分类计算，确定第二特征图像中每个像素的变化概率值，并对变化概率值进行映射确定待检测图像的变化区域。该方法能在获取更深层语义信息的同时也能够关注更多的图像细节，具有较好的精确性与泛化性。

Description

图像场景变化的检测方法、系统及电子设备
技术领域
本发明涉及图像识别技术领域，尤其是涉及一种图像场景变化的检测方法、系统及电子设备。
背景技术
传统的图像场景变化的检测过程一般基于图像差分、图像比值等方法生成差分图像，然后对差分图像提取变化特征得到主要的变化部分。例如在小波域中利用平均比值图像和对数比值图像的互补信息生成差分图，然后用改良局部邻域模糊C均值聚类算法对生成图像进行分类得到图像的变化部分；类似的还有基于Haar-like特征和随机森林的变化检测方法等。这类方法的优点是速度快，但是上述方法严重依赖于人工构建的特征，对复杂的抽象的高层信息提取能力有限，并且当变化类和非变化类的特征重叠或其统计分布建模不准确时，会对检测效果产生较大的影响。
随着深度学习技术的发展，利用卷积神经网络来实现图像场景变化的检测过程也逐渐成为发展方向。该类方法通过卷积神经网络提取基准图和待测图的深度特征，基于该特征图作为后续变化检测的基础。但该类卷积神经网络如VGGNet和AlexNet等通常包含全连接层，这些模型存在感知区域受限，要求输入图像大小固定等缺点。类似的全卷积神经网络解决对大小输入固定的问题，其跃层连接的联合是通过对应像素的求和，对各像素进行独立分类，但是并未充分考虑像素与像素之间空间和值的关系。
可见，现有技术中利用卷积神经网络来实现图像场景变化的检测过程还存在着精度不足的问题。
发明内容
有鉴于此，本发明的目的在于提供一种图像场景变化的检测方法、系统及电子设备，该方法能在获取更深层语义信息的同时也能够关注更多的图像细节，在图像场景变化的检测上具有较好的精确性与泛化性。
第一方面，本发明实施例提供了一种图像场景变化的检测方法，该方法包括：
利用预设基准图像对待检测图像进行预处理，确定待检测图像的预处理图像；
将预处理图像输入至已完成训练的卷积神经网络中，通过卷积神经网络对预处理图像进行编码，确定待检测图像对应的第一特征图像；
对第一特征图像进行解码操作，通过反卷积运算将第一特征图像进行特征融合，确定待检测图像对应的第二特征图像；
对第二特征图像进行分类计算，确定第二特征图像中每个像素的变化概率值，并对变化概率值进行映射确定待检测图像的变化区域。
在一些实施方式中，利用预设基准图像对待检测图像进行预处理，确定待检测图像的预处理图像的步骤，包括：
分别提取基准图像和待检测图像的关键点及其特征描述符；
利用特征描述符对基准图像的关键点和待检测图像的关键点进行匹配，并对已完成匹配的关键点进行筛选，确定基准图像和待检测图像的匹配点；
根据基准图像和待检测图像的匹配点，将待检测图像与基准图像进行对齐操作；
将完成对齐操作的待检测图像和基准图像进行求差计算，确定待检测图像和基准图像的差值结果，并将差值结果确定预处理图像。
在一些实施方式中，通过卷积神经网络对预处理图像进行编码，确定待检测图像对应的第一特征图像的步骤，包括：
根据卷积神经网络包含的多个编码模块，确定编码模块的执行队列；其中，前一个编码模块的输出图像作为后一个编码模块的输入图像；编码模块用于减小预处理图像的尺度，并增大预处理图像的维度；
将预处理图像输入至执行队列中位于队首的编码模块进行编码操作，编码模块对预处理图像进行卷积运算和池化运算，得到执行队列中位于队首的编码模块对应的编码特征图；
按照执行队列中编码模块的执行顺序，确定所有编码模块对应的编码特征图，并将所有编码模块对应的编码特征图确定为第一特征图像。
在一些实施方式中，对第一特征图像进行解码操作，通过反卷积运算将第一特征图像进行特征融合，确定待检测图像对应的第二特征图像的步骤，包括：
根据卷积神经网络包含的多个解码模块，确定解码模块的执行队列；其中，前一个解码模块的输出图像作为后一个解码模块的输入图像；解码模块用于增大预处理图像的尺度，并减小预处理图像的维度；
将预处理图像输入至执行队列中位于队首的解码模块进行反卷积运算，得到执行队列中位于队首的解码模块对应的解码特征图，并将执行队列中位于队首的编码特征图与解码特征图进行融合计算，确定预处理图像的融合图；
按照执行队列中解码模块的执行顺序，确定所有解码模块对应的融合图，并将所有解码模块对应的融合图确定为第二特征图像。
在一些实施方式中，对第二特征图像进行分类计算，确定第二特征图像中每个像素的变化概率值，并对变化概率值进行映射确定待检测图像的变化区域的步骤，包括：
利用卷积神经网络包含的分类器对第二特征图像进行分类计算；
分类器对第二特征图像中每个像素对应的场景变化概率进行分类计算，得到第二特征图像中每个像素的场景变化概率值；
对第二特征图像中每个像素的场景变化概率值进行映射，判断像素对应的场景变化结果；
根据第二特征图像中所有的像素对应的场景变化结果确定待检测图像的变化区域。
在一些实施方式中，根据第二特征图像中所有的像素对应的场景变化结果确定待检测图像的变化区域的步骤之后，所述方法还包括：
对变化区域进行降噪处理，得到变化区域的降噪图像；
对降噪图像中的连通区域进行提取操作，得到变化区域的连通图像；
将连通图像的外接矩形确定为待检测图像的变化区域。
在一些实施方式中，卷积神经网络至少包含：ResNet34网络、FPN网络和Unet网络；卷积神经网络的架构与Unet网络相同；其中，卷积神经网络的编码模块采用ResNet34网络的残差结构；卷积神经网络的解码模块采用FPN网络融合结构；
卷积神经网络训练时，采用的损失函数为：
Figure BDA0003173162500000041
Figure BDA0003173162500000042
L＝Lcorss+LDice
其中，tn为真实标签类别，当n＝0时表示非场景变化类；当n＝1时表示场景变化类；pn为预测n为场景变化类的概率值；N为一个样本中总的像素数；n为样本中一个像素；yn为预测类别；Lcorss为第一损失函数；LDice为第二损失函数；L为损失函数。
第二方面，本发明实施例提供了一种图像场景变化的检测系统，该系统包括：
预处理图像生成单元，用于利用预设基准图像对待检测图像进行预处理，确定待检测图像的预处理图像；
第一特征图像生成单元，用于将预处理图像输入至已完成训练的卷积神经网络中，通过卷积神经网络对预处理图像进行编码，确定待检测图像对应的第一特征图像；
第二特征图像生成单元，用于对第一特征图像进行解码操作，通过反卷积运算将第一特征图像进行特征融合，确定待检测图像对应的第二特征图像；
场景变化区域确定单元，对第二特征图像进行分类计算，确定第二特征图像中每个像素的变化概率值，并对变化概率值进行映射确定待检测图像的变化区域。
第三方面，本发明实施例提供了一种电子设备，该电子设备包括：处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行第一方面提供的图像场景变化的检测方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时实现第一方面提供的图像场景变化的检测方法的步骤。
本发明实施例带来了以下有益效果：本发明实施例提供了一种图像场景变化的检测方法、系统及电子设备，该方法首先利用预设基准图像对待检测图像进行预处理，确定待检测图像的预处理图像；然后将预处理图像输入至已完成训练的卷积神经网络中，通过卷积神经网络对预处理图像进行编码，确定待检测图像对应的第一特征图像；再对第一特征图像进行解码操作，通过反卷积运算将第一特征图像进行特征融合，确定待检测图像对应的第二特征图像；最后对第二特征图像进行分类计算，确定第二特征图像中每个像素的变化概率值，并对变化概率值进行映射确定待检测图像的变化区域。该方法能在获取更深层语义信息的同时也能够关注更多的图像细节，在图像场景变化的检测上具有较好的精确性与泛化性。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像场景变化的检测方法的流程图；
图2为本发明实施例提供的一种图像场景变化的检测方法中步骤S101的流程图；
图3为本发明实施例提供的一种图像场景变化的检测方法中步骤S102的流程图；
图4为本发明实施例提供的一种图像场景变化的检测方法中步骤S103的流程图；
图5为本发明实施例提供的一种图像场景变化的检测方法中步骤S104的流程图；
图6为本发明实施例提供的一种图像场景变化的检测方法中步骤S504之后的流程图；
图7为本发明实施例提供的一种图像场景变化的检测方法中所用卷积神经网络的编码模块结构示意图；
图8为本发明实施例提供的一种图像场景变化的检测方法中所用卷积神经网络的解码模块结构示意图；
图9为本发明实施例提供的一种图像场景变化的检测方法中所用卷积神经网络的编码模块残差结构示意图；
图10为本发明实施例提供的一种图像场景变化的检测方法中所用卷积神经网络的解码模块FPN结构示意图；
图11为本发明实施例提供的一种图像场景变化的检测方法中所用卷积神经网络的训练流程图；
图12为本发明实施例提供的一种图像场景变化的检测系统的结构示意图；
图13为本发明实施例提供的一种电子设备的结构示意图。
图标：
1210-预处理图像生成单元；1220-第一特征图像生成单元；1230-第二特征图像生成单元；1240-场景变化区域确定单元；101-处理器；102-存储器；103-总线；104-通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图像场景变化的检测是对同一地理位置不同时期获取的多幅图片进行分析和检测的一种检测方法，该技术在排除图片的明亮度，阴影，拍摄角度等非主要因素前提下，通过对比基准图，获取待测图中变化的主要部分。传统的图像场景变化的检测过程一般基于图像差分、图像比值等方法生成差分图像，然后对差分图像提取变化特征得到主要的变化部分。例如在小波域中利用平均比值图像和对数比值图像的互补信息生成差分图，然后用改良局部邻域模糊C均值聚类算法对生成图像进行分类得到图像的变化部分；类似的还有基于Haar-like特征和随机森林的变化检测方法等。这类方法的优点是速度快，但是上述方法严重依赖于人工构建的特征，对复杂的抽象的高层信息提取能力有限，并且当变化类和非变化类的特征重叠或其统计分布建模不准确时，会对检测效果产生较大的影响。
随着深度学习技术的发展，利用卷积神经网络来实现图像场景变化的检测过程也逐渐成为发展方向。该类方法通过卷积神经网络提取基准图和待测图的深度特征，基于该特征图作为后续变化检测的基础。但该类卷积神经网络如VGGNet和AlexNet等通常包含全连接层，这些模型存在感知区域受限，要求输入图像大小固定等缺点。类似的全卷积神经网络解决对大小输入固定的问题，其跃层连接的联合是通过对应像素的求和，对各像素进行独立分类，但是并未充分考虑像素与像素之间空间和值的关系。
可见，现有技术中利用卷积神经网络来实现图像场景变化的检测过程还存在着精度不足的问题。
考虑到现有图像场景变化的检测中存在的上述问题，本发明的目的在于提供一种图像场景变化的检测方法、系统及电子设备，该技术可以应用于图像场景变化的检测的过程中，可以采用相关的软件或硬件实现，下面通过实施例进行描述。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像场景变化的检测方法进行详细介绍，该方法的流程图如图1所示，包括：
步骤S101，利用预设基准图像对待检测图像进行预处理，确定待检测图像的预处理图像。
待检测图像可通过部署在不同场景下的相机来获取，如运动相机、无人机相机、监控相机等；基准图像是用于检测图像场景变化时的标准图像，通过待检测图像与基准图像实时对比来完成图像场景变化的检测结果。
待检测图像的尺寸并不能保证与基准图像完全一致，具体实施过程中需要将待检测图像进行缩放、裁切或者等比例放大，尽可能的与基准图像保持一致。
利用预设基准图像对待检测图像进行预处理，可利用相关数字图像算法进行图像的对齐、裁切、求差等处理，得到待检测图像的预处理图像。该预处理图像可理解为待检测图像与基准图像的初步差异图，包含着图像场景变化的所有数据。
步骤S102，将预处理图像输入至已完成训练的卷积神经网络中，通过卷积神经网络对预处理图像进行编码，确定待检测图像对应的第一特征图像。
该卷积神经网络中包含多个编码模块，预处理图像经过编码模块的卷积和池操作，得到不同层级的多个特征图；卷积操作用于提取特征信息，池化操作用于过滤冗余的高频信息。
该卷积神经网络的编码操作通过其内置的编码模块来实现，编码模块可采用如VGG16、Darknet53、Resnet101等一种或多种神经网络的编码模块，具体选择根据数据集的属性以及模型的性能来考虑，在此不再赘述。
步骤S103，对第一特征图像进行解码操作，通过反卷积运算将第一特征图像进行特征融合，确定待检测图像对应的第二特征图像。
将编码操作得到相关特征图分别进行解码操作，具体实现过程可通过卷积神经网络内置的相关解码模块来实现。每个解码模块的输入数据与对应编码单元的输出数据相融合并进行反卷积运算，降低编码模块中池化层带来的信息损失。
这个过程中，可将解码模块中浅层特征图与深层特征图相融合，融合后的图片可通过上采样操作，使其与待检测图片的尺寸相同，用于后续分类计算。
步骤S104，对第二特征图像进行分类计算，确定第二特征图像中每个像素的变化概率值，并对变化概率值进行映射确定待检测图像的变化区域。
分类计算可利用分类器对第二特征图像中每个像素的变化概率值来实现，该变化概率值表征着该像素对应的场景是否产生变化。通过对概率值进行映射可得到变化区域对应的变化图，并利用变化图中的映射结果确定变化图的变化区域。
通过本发明实施例提到的图像场景变化的检测方法可知，该方法将图像变化检测问题转换为像素级二分类问题，即把图像中每个像素划分为变化类或者非变化类，然后根据变化类的像素得到图像变化检测结果。同时，该方法能够将语义分割思想引入图像变化检测当中，通过卷积神经网络实现了对预处理图像进行图像场景变化的分类检测。该方法能在获取更深层语义信息的同时也能够关注更多的图像细节，在图像场景变化的检测上具有较好的精确性与泛化性。
在对基准图像和待检测图像进行预处理操作时，基准图像和待检测图像若因位移、失真等导致未对齐，则需要在预处理过程中增加对齐操作；如果基准图像和待检测图像需要来自同一地理位置，如同一拍摄角度的摄像机，但只是拍摄时间不同时，在忽略光照等次要因素下则不需要进行对齐操作。但在大部分情况下，如图像采集来自运动的机器人或无人机，则通常需要进行对其操作。具体的说，在一些实施方式中，利用预设基准图像对待检测图像进行预处理，确定待检测图像的预处理图像的步骤S101，如图2所示，包括：
步骤S201，分别提取基准图像和待检测图像的关键点及其特征描述符。
对齐操作可利用关键点检测和特征描述提取的方法来实现，具体的说，可利用关键点检测算法和特征描述符提取算法，如sift，surf，orb等算法；或者是深度学习领域中的D2-Net算法。
步骤S202，利用特征描述符对基准图像的关键点和待检测图像的关键点进行匹配，并对已完成匹配的关键点进行筛选，确定基准图像和待检测图像的匹配点。
在完成基准图像和待检测图像的关键点及其特征描述符的提取后，来对基准图像的关键点和待检测图像的关键点进行关键点匹配，如使用KNN算法匹配两图中的关键点，匹配完成的关键点作为图像对其的参考点。由于关键点匹配过程可能会产生较多的匹配结果，因此需要对已完成匹配的关键点进行筛选，筛选的过程可使用如RANSAC算法得以实现，最终确定基准图像和待检测图像的匹配点。
步骤S203，根据基准图像和待检测图像的匹配点，将待检测图像与基准图像进行对齐操作。
对其操作以基准图像和待检测图像的匹配点作为参考，将多个匹配点进行映射，最终实现待检测图像与基准图像的对齐。对齐过程中可将基准图像作为参考图像，让待检测图像与其进行对齐操作；反之，也可将待检测图像作为参考图像，让基准图像与其进行对其操作。
步骤S204，将完成对齐操作的待检测图像和基准图像进行求差计算，确定待检测图像和基准图像的差值结果，并将差值结果确定预处理图像。
完成对齐后，将待检测图像和基准图像进行求差计算，得到的差值包含图像场景变化的原始数据。这个差值并不一定就代表待检测图像中的场景就一定发生变化，如待检测图像中光照环境与基准图像不同时也会产生差值，但这个差异是所有像素均有差值，并不意味着图像场景发生了变化。
因此，实际实施过程中，需要对求差计算后的结果进行归一化，尽可能的忽略不同光照环境造成的影响。
在一些实施方式中，通过卷积神经网络对预处理图像进行编码，确定待检测图像对应的第一特征图像的步骤S102，如图3所示，包括：
步骤S301，根据卷积神经网络包含的多个编码模块，确定编码模块的执行队列；其中，前一个编码模块的输出图像作为后一个编码模块的输入图像；编码模块用于减小预处理图像的尺度，并增大预处理图像的维度。
例如，卷积神经网络的编码模块结构如图7所示，该卷积神经网络包含4个编码模块，分别为encode1、encode2、encode3、encode4。
步骤S302，将预处理图像输入至执行队列中位于队首的编码模块进行编码操作，编码模块对预处理图像进行卷积运算和池化运算，得到执行队列中位于队首的编码模块对应的编码特征图。
预处理图像经过encode1后，经过编码运算得到该编码模块对应的特征图，记为f1。然后将f1输入至encode2中进行第二次编码。第一编码模块的输出图像的尺寸为256*256，64维；第二编码器的输出图像的尺寸为128*128，128维。
步骤S303，按照执行队列中编码模块的执行顺序，确定所有编码模块对应的编码特征图，并将所有编码模块对应的编码特征图确定为第一特征图像。
经过encode1、encode2、encode3、encode4后，得到不同层级的特征图f1、f2、f3、f4。每个编码块都将输入的特征图的尺度缩小一半并将维度加倍，具体见图7，在此不再赘述。其中卷积操作用以提取特征信息，池化操作用于过滤冗余的高频信息。
在一些实施方式中，对第一特征图像进行解码操作，通过反卷积运算将第一特征图像进行特征融合，确定待检测图像对应的第二特征图像的步骤S103，如图4所示，包括：
步骤S401，根据卷积神经网络包含的多个解码模块，确定解码模块的执行队列；其中，前一个解码模块的输出图像作为后一个解码模块的输入图像；解码模块用于增大预处理图像的尺度，并减小预处理图像的维度。
例如，卷积神经网络的解码模块如图8所示，该卷积神经网络包含4个解码模块，分别为decoder1、decoder2、decoder3、decoder4。
步骤S402，将预处理图像输入至执行队列中位于队首的解码模块进行反卷积运算，得到执行队列中位于队首的解码模块对应的解码特征图，并将执行队列中位于队首的编码特征图与解码特征图进行融合计算，确定预处理图像的融合图。
该步骤中，解码模块的执行队列与编码模块相反，即预处理图像首先进入decoder4解码模块中进行解码，decoder4解码模块输出的解码特征图再输入至decoder3解码模块，依次类推。
融合计算的过程是将每个解码模块的输入与对应层编码块的输出相融合，例如输入至decoder3解码模块的数据包括decoder4解码模块的输出数据，还包括encode3的输出数据。这两类数据通过融合计算后，得到decoder3解码模块对应的融合图。
步骤S403，按照执行队列中解码模块的执行顺序，确定所有解码模块对应的融合图，并将所有解码模块对应的融合图确定为第二特征图像。
在一些实施方式中，对第二特征图像进行分类计算，确定第二特征图像中每个像素的变化概率值，并对变化概率值进行映射确定待检测图像的变化区域的步骤S104，如图5所示，包括：
步骤S501，利用卷积神经网络包含的分类器对第二特征图像进行分类计算。
例如，可使用卷积神经网络包含的softmax分类器，对第二特征图像中每个像素的变化概率值进行计算。
步骤S502，分类器对第二特征图像中每个像素对应的场景变化概率进行分类计算，得到第二特征图像中每个像素的场景变化概率值。
分类计算可利用分类器对第二特征图像中每个像素的变化概率值来实现，该变化概率值表征着该像素对应的场景是否产生变化。
步骤S503，对第二特征图像中每个像素的场景变化概率值进行映射，判断像素对应的场景变化结果。
映射过程可通过二值化的方式进行映射，即将场景变化概率值大于某个阈值的像素标记为场景变化像素，并将其像素值设置为255；将场景变化概率值不大于某个阈值的像素标记为非场景变化像素，并将其像素值设置为0。
步骤S504，根据第二特征图像中所有的像素对应的场景变化结果确定待检测图像的变化区域。
标记完成后，即可得到第二特征图像对应的一个二值化图像，通过该图像中的标记区域能够确定待检测图像的变化区域。
变化区域获取之后，可对其进行相关优化，具体的在一些实施方式中，根据第二特征图像中所有的像素对应的场景变化结果确定待检测图像的变化区域的步骤S504之后，如图6所示，该方法还包括：
步骤S601，对变化区域进行降噪处理，得到变化区域的降噪图像。
通过对变化区域进行降噪处理，滤除变化区域中的相关噪点，最终得到变化区域的降噪图像。
步骤S602，对降噪图像中的连通区域进行提取操作，得到变化区域的连通图像。
降噪处理后再执行连通区域提取操作，进一步提升待检测图像的变化区域的连通性，使得场景变化区域更加完整。
步骤S603，将连通图像的外接矩形确定为待检测图像的变化区域。
外接矩形作为变化区域的输出结果，来对待检测图像中的变化区域进行标记。外接矩形的获取过程可采用数字图像算法中如：最小外接矩形算法得以实现。
在一些实施方式中，卷积神经网络至少包含：ResNet34网络、FPN网络和Unet网络；卷积神经网络的架构与Unet网络相同；其中，卷积神经网络的编码模块采用ResNet34网络的残差结构；卷积神经网络的解码模块采用FPN网络融合结构。具体的说，该模型以Unet模型为基础，将ResNet34网络作为Unet编码部分的特征提取层，将FPN网络融合到Unet解码部分。
编码部分用于提取图像特征、减少空间维度，实现了将Resnet34的残差结构和特征网络融合到Unet模型中，编码模块残差结构示意图如图9所示。其网络结构编码部分将原Unet网络编码中的卷积层替换为Resnet34的残差结构，并在两次卷积过程中加入BN层对数据进行归一化操作，这样可以加快模型的收敛速度、提升模型的鲁棒性。
解码部分恢复图像的细节和空间信息，其网络结构的解码部分通过融合FPN网络结构，在该部分的上采样过程中联合不同尺度的特征图，从而优化Unet模型只对单一的输出特征图进行检测，具体如图10所示。因此，可以在网络的反向传播和权重更新中利用更多尺度信息，充分利用了各层的特征进行检测，即将浅层的细节信息和深层的语义信息用于独立预测。编码部分与解码部分通过跃接连接，从而使解码部分更加精确的还原目标的细节信息。通过将残差结构、Unet及FPN的优点互补，增强了Unet网络的特征提取，获取了更深层的语义信息，同时也改善了对小目标检测的缺陷，提高了检测准确度。
由于变化检测中存在变化部分占整幅图像的比例较小或者完全没有，所以在检测过程中存在样本分布不均衡问题，该问题会使网络对比例较高的部分识别度更高，对占比较低的类别识别度较低，容易陷入局部极小值而得不到全局最优值。因此，在卷积神经网络训练时采用联合损失函数来替换Unet网络中的损失函数，即联合经典的二分类交叉熵损失函数和Dice损失函数来减少类别不平衡对模型的影响，提高模型在变化像素所占比例较小时对变化特征的学习。采用的损失函数为：
Figure BDA0003173162500000161
Figure BDA0003173162500000162
L＝Lcorss+LDice
其中，tn为真实标签类别，当n＝0时表示非场景变化类；当n＝1时表示场景变化类；pn为预测n为场景变化类的概率值；N为一个样本中总的像素数；n为样本中一个像素；yn为预测类别；Lcorss为第一损失函数；LDice为第二损失函数；L为损失函数。
与主流的变化检测技术相比，将深度学习语义分割思想应用在图像变化检测领域，通过把特征提取性能更优的残差网络结构、多尺度预测的FPN网络结构融合到Unet中，使得该模型在获取更深层语义信息的同时也能够关注更多的细节，在变化检测上具有较好的精确性与泛化性。
该卷积神经网络的训练过程如图11所示，首先将基准图像和待检测图像进行做差值等预处理后，将其传输至卷积神经网络的编码单元中。该卷积神经网络的编码模块采用resnet34作为中心骨架网络，该部分由encode1，encode2，encode3，encode4共4个子模块组成。然后经过encode1，encode2，encode3，encode4模块提取到不同层级的特征图f1、f2、f3、f4。每个解码块都将特征图的尺度缩小一半而维度加倍。其中卷积操作用以提取特征信息，池化层用于过滤一些不重要的高频信息。
该卷积神经网络的解码模块由decoder1、decoder2、decode3、decoder4，4个子解码模块组成，每个解码块都将特征图的尺度扩大一倍而维度减半，同时，每个解码模块的输入将与对应层编码块的输出相融合作为下个反卷积层的输入，通过跃接连接降低编码块中池化层带来的信息损失。
将解码得到的不同层的特征图融合FPN网络并上采样至与输入图片相同大小尺寸传送带到末端softmax分类器。利用softmax分类器计算变化特征图中每个像素属于变化类和非变化类的概率值，然后对概率值进行映射，得到变化区域的变化图。
训练过程中采用联合交叉熵损失函数和Dice损失函数来进行训练。因为在图像变化检测中存在样本分布不均衡问题，仅用经典的二分类交叉熵损失函数会导致模型更加侧重占比较多平的非变化部分的特征学习，所以增加仅关注像素点是否被正确分类的Dice函数作为交叉熵损失函数的补充，从而减少类别不平衡对模型准确度的影响。采用的损失函数为：
Figure BDA0003173162500000171
Figure BDA0003173162500000172
L＝Lcorss+LDice
其中，tn为真实标签类别，当n＝0时表示非场景变化类；当n＝1时表示场景变化类；pn为预测n为场景变化类的概率值；N为一个样本中总的像素数；n为样本中一个像素；yn为预测类别；Lcorss为第一损失函数；LDice为第二损失函数；L为损失函数。
通过上述实施例提到的图像场景变化的检测方法可知，该方法将语义分割思想引入图像变化检测当中，通过卷积神经网络实现了对预处理图像进行图像场景变化的分类检测。在卷积神经网络的训练过程中，使用联合损失函数来替换Unet网络中的损失函数，即联合经典的二分类交叉熵损失函数和Dice损失函数来减少类别不平衡对模型的影响，提高模型在变化像素所占比例较小时对变化特征的学习。与主流的变化检测技术相比，将深度学习语义分割思想应用在图像变化检测领域，通过把特征提取性能更优的残差网络结构、多尺度预测的FPN网络结构融合到Unet中，使得该模型在获取更深层语义信息的同时也能够关注更多的细节，在变化检测上具有较好的精确性与泛化性。
对应于上述图像场景变化的检测方法的实施例，本实施例还提供一种图像场景变化的检测系统，如图12所示，该系统包括：
预处理图像生成单元1210，用于利用预设基准图像对待检测图像进行预处理，确定待检测图像的预处理图像；
第一特征图像生成单元1220，用于将预处理图像输入至已完成训练的卷积神经网络中，通过卷积神经网络对预处理图像进行编码，确定待检测图像对应的第一特征图像；
第二特征图像生成单元1230，用于对第一特征图像进行解码操作，通过反卷积运算将第一特征图像进行特征融合，确定待检测图像对应的第二特征图像；
场景变化区域确定单元1240，对第二特征图像进行分类计算，确定第二特征图像中每个像素的变化概率值，并对变化概率值进行映射确定待检测图像的变化区域。
本发明实施例所提供的图像场景变化的检测系统，其实现原理及产生的技术效果和前述图像场景变化的检测方法的实施例相同，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。
本实施例还提供一种电子设备，为该电子设备的结构示意图如图13所示，该设备包括处理器101和存储器102；其中，存储器102用于存储一条或多条计算机指令，一条或多条计算机指令被处理器执行，以实现上述图像场景变化的检测方法。
图13所示的服务器还包括总线103和通信接口104，处理器101、通信接口104和存储器102通过总线103连接。
其中，存储器102可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。总线103可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
通信接口104用于通过网络接口与至少一个用户终端及其它网络单元连接，将封装好的IPv4报文或IPv4报文通过网络接口发送至用户终端。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前述实施例的方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以用软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种图像场景变化的检测方法，其特征在于，所述方法包括：
利用预设基准图像对待检测图像进行预处理，确定所述待检测图像的预处理图像；
将所述预处理图像输入至已完成训练的卷积神经网络中，通过所述卷积神经网络对所述预处理图像进行编码，确定所述待检测图像对应的第一特征图像；
对所述第一特征图像进行解码操作，通过反卷积运算将所述第一特征图像进行特征融合，确定所述待检测图像对应的第二特征图像；
对所述第二特征图像进行分类计算，确定所述第二特征图像中每个像素的变化概率值，并对所述变化概率值进行映射确定所述待检测图像的变化区域。
2.根据权利要求1所述的图像场景变化的检测方法，其特征在于，利用预设基准图像对待检测图像进行预处理，确定所述待检测图像的预处理图像的步骤，包括：
分别提取所述基准图像和所述待检测图像的关键点及其特征描述符；
利用所述特征描述符对所述基准图像的关键点和所述待检测图像的关键点进行匹配，并对已完成匹配的所述关键点进行筛选，确定所述基准图像和所述待检测图像的匹配点；
根据所述基准图像和所述待检测图像的匹配点，将所述待检测图像与所述基准图像进行对齐操作；
将完成对齐操作的所述待检测图像和所述基准图像进行求差计算，确定所述待检测图像和所述基准图像的差值结果，并将所述差值结果确定所述预处理图像。
3.根据权利要求1所述的图像场景变化的检测方法，其特征在于，通过所述卷积神经网络对所述预处理图像进行编码，确定所述待检测图像对应的第一特征图像的步骤，包括：
根据所述卷积神经网络包含的多个编码模块，确定所述编码模块的执行队列；其中，前一个所述编码模块的输出图像作为后一个所述编码模块的输入图像；所述编码模块用于减小所述预处理图像的尺度，并增大所述预处理图像的维度；
将所述预处理图像输入至所述执行队列中位于队首的所述编码模块进行编码操作，所述编码模块对所述预处理图像进行卷积运算和池化运算，得到所述执行队列中位于队首的所述编码模块对应的编码特征图；
按照所述执行队列中所述编码模块的执行顺序，确定所有所述编码模块对应的编码特征图，并将所有所述编码模块对应的编码特征图确定为所述第一特征图像。
4.根据权利要求3所述的图像场景变化的检测方法，其特征在于，对所述第一特征图像进行解码操作，通过反卷积运算将所述第一特征图像进行特征融合，确定所述待检测图像对应的第二特征图像的步骤，包括：
根据所述卷积神经网络包含的多个解码模块，确定所述解码模块的执行队列；其中，前一个所述解码模块的输出图像作为后一个所述解码模块的输入图像；所述解码模块用于增大所述预处理图像的尺度，并减小所述预处理图像的维度；
将所述预处理图像输入至所述执行队列中位于队首的所述解码模块进行反卷积运算，得到所述执行队列中位于队首的所述解码模块对应的解码特征图，并将所述执行队列中位于队首的所述编码特征图与所述解码特征图进行融合计算，确定所述预处理图像的融合图；
按照所述执行队列中所述解码模块的执行顺序，确定所有所述解码模块对应的融合图，并将所有所述解码模块对应的融合图确定为所述第二特征图像。
5.根据权利要求4所述的图像场景变化的检测方法，其特征在于，对所述第二特征图像进行分类计算，确定所述第二特征图像中每个像素的变化概率值，并对所述变化概率值进行映射确定所述待检测图像的变化区域的步骤，包括：
利用所述卷积神经网络包含的分类器对所述第二特征图像进行分类计算；
所述分类器对所述第二特征图像中每个像素对应的场景变化概率进行分类计算，得到所述第二特征图像中每个像素的场景变化概率值；
对所述第二特征图像中每个像素的场景变化概率值进行映射，判断所述像素对应的场景变化结果；
根据所述第二特征图像中所有的像素对应的场景变化结果确定所述待检测图像的变化区域。
6.根据权利要求5所述的图像场景变化的检测方法，其特征在于，根据所述第二特征图像中所有的像素对应的场景变化结果确定所述待检测图像的变化区域的步骤之后，所述方法还包括：
对所述变化区域进行降噪处理，得到所述变化区域的降噪图像；
对所述降噪图像中的连通区域进行提取操作，得到所述变化区域的连通图像；
将所述连通图像的外接矩形确定为所述待检测图像的变化区域。
7.根据权利要求1所述的图像场景变化的检测方法，其特征在于，所述卷积神经网络至少包含：ResNet34网络、FPN网络和Unet网络；所述卷积神经网络的架构与所述Unet网络相同；其中，所述卷积神经网络的编码模块采用所述ResNet34网络的残差结构；所述卷积神经网络的解码模块采用FPN网络融合结构；
所述卷积神经网络训练时，采用的损失函数为：
Figure FDA0003173162490000041
Figure FDA0003173162490000042
L＝Lcorss+LDice
其中，tn为真实标签类别，当n＝0时表示非场景变化类；当n＝1时表示场景变化类；pn为预测n为场景变化类的概率值；N为一个样本中总的像素数；n为样本中一个像素；yn为预测类别；Lcorss为第一损失函数；LDice为第二损失函数；L为损失函数。
8.一种图像场景变化的检测系统，其特征在于，所述系统包括：
预处理图像生成单元，用于利用预设基准图像对待检测图像进行预处理，确定所述待检测图像的预处理图像；
第一特征图像生成单元，用于将所述预处理图像输入至已完成训练的卷积神经网络中，通过所述卷积神经网络对所述预处理图像进行编码，确定所述待检测图像对应的第一特征图像；
第二特征图像生成单元，用于对所述第一特征图像进行解码操作，通过反卷积运算将所述第一特征图像进行特征融合，确定所述待检测图像对应的第二特征图像；
场景变化区域确定单元，对所述第二特征图像进行分类计算，确定所述第二特征图像中每个像素的变化概率值，并对所述变化概率值进行映射确定所述待检测图像的变化区域。
9.一种电子设备，其特征在于，包括：处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时实现如权利要求1至7任一项所述的图像场景变化的检测方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时实现上述权利要求1至7任一项所述的图像场景变化的检测方法的步骤。
CN202110824451.7A 2021-07-21 2021-07-21 图像场景变化的检测方法、系统及电子设备 Pending CN113449690A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110824451.7A CN113449690A (zh) 2021-07-21 2021-07-21 图像场景变化的检测方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110824451.7A CN113449690A (zh) 2021-07-21 2021-07-21 图像场景变化的检测方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN113449690A true CN113449690A (zh) 2021-09-28

Family

ID=77817098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110824451.7A Pending CN113449690A (zh) 2021-07-21 2021-07-21 图像场景变化的检测方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN113449690A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI801029B (zh) * 2021-12-09 2023-05-01 財團法人國家實驗研究院 地理資訊動態顯示方法及地理資訊動態顯示系統
CN116778696A (zh) * 2023-08-14 2023-09-19 易启科技(吉林省)有限公司 一种基于视觉的城市内涝智能预警方法及系统
CN117011730A (zh) * 2023-09-27 2023-11-07 国网江苏省电力有限公司电力科学研究院 一种无人机图像变化的检测方法、电子终端及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663724A (zh) * 2012-03-03 2012-09-12 西安电子科技大学 基于自适应差异图的遥感图像变化检测方法
JP2017098734A (ja) * 2015-11-24 2017-06-01 富士通株式会社 画像符号化装置、画像符号化方法、及び画像符号化プログラム
CN109558806A (zh) * 2018-11-07 2019-04-02 北京科技大学 高分遥感图像变化的检测方法和系统
CN109902600A (zh) * 2019-02-01 2019-06-18 清华大学 一种道路区域检测方法
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN110335262A (zh) * 2019-06-28 2019-10-15 西安理工大学 一种机器视觉中印刷品缺陷自动分类方法
CN110705457A (zh) * 2019-09-29 2020-01-17 核工业北京地质研究院 一种遥感影像建筑物变化检测方法
CN111368915A (zh) * 2020-03-04 2020-07-03 广东博智林机器人有限公司 一种图纸校对方法、装置、设备及存储介质
CN112365462A (zh) * 2020-11-06 2021-02-12 华雁智科(杭州)信息技术有限公司 一种基于图像的变化检测方法
US20210049397A1 (en) * 2018-10-16 2021-02-18 Tencent Technology (Shenzhen) Company Limited Semantic segmentation method and apparatus for three-dimensional image, terminal, and storage medium
CN112668494A (zh) * 2020-12-31 2021-04-16 西安电子科技大学 基于多尺度特征提取的小样本变化检测方法
CN112766045A (zh) * 2020-12-28 2021-05-07 平安科技（深圳）有限公司 场景变化检测方法、系统、电子装置及存储介质
CN112818920A (zh) * 2021-02-25 2021-05-18 哈尔滨工程大学 一种双时相高光谱图像空谱联合变化检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663724A (zh) * 2012-03-03 2012-09-12 西安电子科技大学 基于自适应差异图的遥感图像变化检测方法
JP2017098734A (ja) * 2015-11-24 2017-06-01 富士通株式会社 画像符号化装置、画像符号化方法、及び画像符号化プログラム
US20210049397A1 (en) * 2018-10-16 2021-02-18 Tencent Technology (Shenzhen) Company Limited Semantic segmentation method and apparatus for three-dimensional image, terminal, and storage medium
CN109558806A (zh) * 2018-11-07 2019-04-02 北京科技大学 高分遥感图像变化的检测方法和系统
CN109902600A (zh) * 2019-02-01 2019-06-18 清华大学 一种道路区域检测方法
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN110335262A (zh) * 2019-06-28 2019-10-15 西安理工大学 一种机器视觉中印刷品缺陷自动分类方法
CN110705457A (zh) * 2019-09-29 2020-01-17 核工业北京地质研究院 一种遥感影像建筑物变化检测方法
CN111368915A (zh) * 2020-03-04 2020-07-03 广东博智林机器人有限公司 一种图纸校对方法、装置、设备及存储介质
CN112365462A (zh) * 2020-11-06 2021-02-12 华雁智科(杭州)信息技术有限公司 一种基于图像的变化检测方法
CN112766045A (zh) * 2020-12-28 2021-05-07 平安科技（深圳）有限公司 场景变化检测方法、系统、电子装置及存储介质
CN112668494A (zh) * 2020-12-31 2021-04-16 西安电子科技大学 基于多尺度特征提取的小样本变化检测方法
CN112818920A (zh) * 2021-02-25 2021-05-18 哈尔滨工程大学 一种双时相高光谱图像空谱联合变化检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
安冉: "基于卷积神经网络的遥感图像变化检测", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 *
朱春宇: "基于卷积神经网络的高分辨率遥感影像变化检测", 《中国优秀硕士学位论文全文数据库 (基础科学辑)》 *
王明常 等: "基于FPN Res-Unet的高分辨率遥感影像建筑物变化检测", 《吉林大学学报(地球科学版)》 *
窦方正 等: "基于DBN与对象融合的遥感图像变化检测方法", 《计算机工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI801029B (zh) * 2021-12-09 2023-05-01 財團法人國家實驗研究院 地理資訊動態顯示方法及地理資訊動態顯示系統
CN116778696A (zh) * 2023-08-14 2023-09-19 易启科技(吉林省)有限公司 一种基于视觉的城市内涝智能预警方法及系统
CN116778696B (zh) * 2023-08-14 2023-11-14 易启科技(吉林省)有限公司 一种基于视觉的城市内涝智能预警方法及系统
CN117011730A (zh) * 2023-09-27 2023-11-07 国网江苏省电力有限公司电力科学研究院 一种无人机图像变化的检测方法、电子终端及存储介质

Similar Documents

Publication Publication Date Title
WO2020221298A1 (zh) 文本检测模型训练方法、文本区域、内容确定方法和装置
CN110348294B (zh) Pdf文档中图表的定位方法、装置及计算机设备
CN113449690A (zh) 图像场景变化的检测方法、系统及电子设备
CN109815770B (zh) 二维码检测方法、装置及系统
CN109948497B (zh) 一种物体检测方法、装置及电子设备
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
CN109343920B (zh) 一种图像处理方法及其装置、设备和存储介质
JP2017004480A (ja) 顕著性情報取得装置及び顕著性情報取得方法
US20220230282A1 (en) Image processing method, image processing apparatus, electronic device and computer-readable storage medium
CN112329888A (zh) 图像处理方法、装置、电子设备以及存储介质
Yang et al. No-reference quality assessment for screen content images using visual edge model and adaboosting neural network
CN112101359B (zh) 文本公式的定位方法、模型训练方法及相关装置
JP6989450B2 (ja) 画像解析装置、画像解析方法及びプログラム
CN112364873A (zh) 弯曲文本图像的文字识别方法、装置及计算机设备
CN113781164B (zh) 虚拟试衣模型训练方法、虚拟试衣方法和相关装置
CN113743417B (zh) 语义分割方法和语义分割装置
CN113901972A (zh) 遥感图像建筑物的检测方法、装置、设备及存储介质
CN112749609A (zh) 人体图像分割方法、装置、计算机设备及存储介质
CN111104813A (zh) 二维码图像关键点检测方法、装置、电子设备及存储介质
CN113781510A (zh) 边缘检测方法、装置及电子设备
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN112233077A (zh) 图像分析方法、装置、设备及存储介质
CN114139564B (zh) 二维码检测方法、装置、终端设备及检测网络的训练方法
CN111339315B (zh) 知识图谱构建方法、系统、计算机可读介质和电子设备
CN113240699A (zh) 图像处理方法及装置，模型的训练方法及装置，电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210928

RJ01 Rejection of invention patent application after publication