CN112232249B - 一种基于深度特征的遥感图像变化检测方法及装置 - Google Patents

一种基于深度特征的遥感图像变化检测方法及装置 Download PDF

Info

Publication number
CN112232249B
CN112232249B CN202011141707.6A CN202011141707A CN112232249B CN 112232249 B CN112232249 B CN 112232249B CN 202011141707 A CN202011141707 A CN 202011141707A CN 112232249 B CN112232249 B CN 112232249B
Authority
CN
China
Prior art keywords
image block
remote sensing
image
sensing image
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011141707.6A
Other languages
English (en)
Other versions
CN112232249A (zh
Inventor
霍连志
胡昌苗
唐娉
郑柯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202011141707.6A priority Critical patent/CN112232249B/zh
Publication of CN112232249A publication Critical patent/CN112232249A/zh
Application granted granted Critical
Publication of CN112232249B publication Critical patent/CN112232249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度特征的遥感图像变化检测方法及装置。包括：获取经过配准的不同时相的第一遥感图像和第二遥感图像；对第一遥感图像和第二遥感图像进行初步变化检测，确定第一变化图像块及第二变化图像块；基于第一变化图像块确定第一特征提取图像块，并基于第二变化图像块确定第二特征提取图像块；将第一特征提取图像块和第二特征提取图像块输入至卷积神经网络模型，获取由卷积神经网络模型输出的第一特征提取图像块的第一深度特征，及第二特征提取图像块的第二深度特征；基于第一深度特征和第二深度特征进行相似性判断，确定变化检测结果。本发明能够减小不同时相遥感图像的辐射差异对变换检测效果造成的影响，具有更好的变化检测精度。

Description

一种基于深度特征的遥感图像变化检测方法及装置
技术领域
本发明涉及遥感图像处理技术领域，特别是一种基于深度特征的遥感图像变化检测方法及装置。
背景技术
对重点区域的变化信息快速发现具有重要应用意义，可以为快速发现重点区域的大型目标的动态变化情况，如可以用于飞机场的飞机、港口的大型舰船动态变化等活动监测。
从技术的角度上，这类技术主要依赖于图像分析的变化检测方法。而变化检测方法最基本的思路是通过两个不同时相、已经几何位置配准对齐的遥感图像光谱值进行逐像素的对比，并计算光谱值差异(一般以欧式距离度量)；并设置一定的阈值，每个像素光谱值差异超过阈值，则认为发生了变化。然而对于高空间分辨率遥感图像，这种简单的技术思路并不适用。高分辨率遥感图像光谱更为复杂，“同物异谱，异物同谱”的现象普遍存在，进而使得同一种地物类型类内光谱差异增大，不同的地物类型类间光谱差异减少，因而使得设置合适的阈值去发现两个时相影像上的真正变化变得极其困难。此外，这种按照像素进行变化检测的方法得到的结果比较破碎，很容易检测出一些孤立的变化像素点，用户需要花费大量的时间进行变化检测后处理工作，无法直接检测出有效的感兴趣的变化目标区域。
针对高空间分辨率遥感图像的特点，逐渐有学者将面向对象的图像分析方法引入到变化检测领域。通过图像分割技术，将高空间分辨率遥感图像进行分割，得到不同的图像块，以图像块为后续变化检测的基本处理单元。相比单纯地基于像素的变化检测方法，面向对象的变化检测方法可以综合利用光谱、纹理、形状等信息，从而有利于提高变化检测精度。尽管变化检测精度有所提高，但是仍然难以有效区分变化区域和未变化区域，检测结果往往出现过多细小的实际并没有真正发生变化的区域，用户同样需要在众多检测结果中人工筛选出真正变化的区域，费时费力，实用化程度仍然不高。
变化检测精度比较低的主要原因是无论按照像素还是按照面向对象进行遥感图像的变化检测，其依赖的图像特征如光谱、纹理、形状等信息都属于图像底层特征，缺乏对遥感图像语义级高层特征描述，因而无法像人类一样能够区分出高分辨率遥感图像中真正变化的区域。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供了一种基于深度特征的遥感图像变化检测方法及装置。
为了解决上述技术问题，本发明实施例提供了一种基于深度特征的遥感图像变化检测方法，包括：
获取经过配准的不同时相的第一遥感图像和第二遥感图像；所述第一遥感图像和所述第二遥感图像的空间分辨率均高于设定阈值；
对所述第一遥感图像和所述第二遥感图像进行初步变化检测，确定所述第一遥感图像对应的第一变化图像块，及所述第二遥感图像对应的第二变化图像块；
基于所述第一变化图像块，确定所述第一遥感图像对应的第一特征提取图像块，并基于所述第二变化图像块，确定所述第二遥感图像对应的第二特征提取图像块；
将所述第一特征提取图像块和所述第二特征提取图像块分别输入至卷积神经网络模型，并获取由所述卷积神经网络模型输出的所述第一特征提取图像块的第一深度特征，及所述第二特征提取图像块的第二深度特征；
基于所述第一深度特征和所述第二深度特征进行相似性判断，确定变化检测结果。
可选地，所述对所述第一遥感图像和所述第二遥感图像进行初步变化检测，确定所述第一遥感图像对应的第一变化图像块，及所述第二遥感图像对应的第二变化图像块，包括：
对所述第一遥感图像和所述第二遥感图像进行逐像素对比，计算得到所述第一遥感图像和所述第二遥感图像对应像素对的光谱值之间的欧式距离；
根据所述欧氏距离和设定阈值，将所述第一遥感图像和所述第二遥感图像中像素对的欧式距离大于所述设定阈值的像素分别标记为1；
通过八邻域方向将标记为1的像素区域进行连接，生成所述第一遥感图像对应的第一变化图像块，及所述第二遥感图像对应的第二变化图像块。
可选地，所述基于所述第一变化图像块，确定所述第一遥感图像对应的第一特征提取图像块，并基于所述第二变化图像块，确定所述第二遥感图像对应的第二特征提取图像块，包括：
分别计算所述第一变化图像块的第一面积、第一几何中心和第一外包矩形的第一长宽信息，及所述第二变化图像块的第二面积、第二几何中心和第二外包矩形的第二长宽信息；
删除所述第一遥感图像中第一面积小于面积阈值的第一变化图像块，得到第一目标图像块；
删除所述第一遥感图像中第二面积小于所述面积阈值的第二变化图像块，得到第二目标图像块；
根据所述第一几何中心和所述第一长宽信息，生成所述第一目标图像块对应的第一正方形区域；
根据所述第二几何中心和所述第二长宽信息，生成所述第二目标图像块对应的第二正方形区域；
提取所述第一遥感图像中位于所述第一正方形区域内的图像，得到所述第一特征提取图像块；
提取所述第二遥感图像中位于所述第二正方形区域内的图像，得到所述第二特征提取图像块。
可选地，所述将所述第一特征提取图像块和所述第二特征提取图像块分别输入至卷积神经网络模型，并获取由所述卷积神经网络模型输出的所述第一特征提取图像块的第一深度特征，及所述第二特征提取图像块的第二深度特征，包括：
对所述第一特征提取图像块和所述第二特征提取图像块进行重采样，得到重采样的第一特征提取图像块和第二特征提取图像块；
将所述重采样的第一特征提取图像块和第二特征提取图像块分别输入至所述卷积神经网络模型；
获取由所述卷积神经网络模型的最后全连接层分别输出的所述第一深度特征和所述第二深度特征。
可选地，所述基于所述第一深度特征和所述第二深度特征进行相似性判断，确定变化检测结果，包括：
计算得到所述第一深度特征和所述第二深度特征之间的欧式距离；
在所述欧式距离大于目标阈值的情况下，确定所述第一遥感图像和所述第二遥感图像中存在变化图像块。
为了解决上述技术问题，本发明实施例提供了一种基于深度特征的遥感图像变化检测装置，包括：
遥感图像获取模块，用于获取经过配准的不同时相的第一遥感图像和第二遥感图像；所述第一遥感图像和所述第二遥感图像的空间分辨率均高于设定阈值；
变化图像块确定模块，用于对所述第一遥感图像和所述第二遥感图像进行初步变化检测，确定所述第一遥感图像对应的第一变化图像块，及所述第二遥感图像对应的第二变化图像块；
特征图像块确定模块，用于基于所述第一变化图像块，确定所述第一遥感图像对应的第一特征提取图像块，并基于所述第二变化图像块，确定所述第二遥感图像对应的第二特征提取图像块；
深度特征获取模块，用于将所述第一特征提取图像块和所述第二特征提取图像块分别输入至卷积神经网络模型，并获取由所述卷积神经网络模型输出的所述第一特征提取图像块的第一深度特征，及所述第二特征提取图像块的第二深度特征；
检测结果确定模块，用于基于所述第一深度特征和所述第二深度特征进行相似性判断，确定变化检测结果。
可选地，所述变化图像块确定模块包括：
第一欧式距离计算单元，用于对所述第一遥感图像和所述第二遥感图像进行逐像素对比，计算得到所述第一遥感图像和所述第二遥感图像对应像素对的光谱值之间的欧式距离；
图像像素标记单元，用于根据所述欧氏距离和设定阈值，将所述第一遥感图像和所述第二遥感图像中像素对的欧式距离大于所述设定阈值的像素分别标记为1；
变化图像块生成单元，用于通过八邻域方向将标记为1的像素区域进行连接，生成所述第一遥感图像对应的第一变化图像块，及所述第二遥感图像对应的第二变化图像块。
可选地，所述特征图像块确定模块包括：
面积中心长宽计算单元，用于分别计算所述第一变化图像块的第一面积、第一几何中心和第一外包矩形的第一长宽信息，及所述第二变化图像块的第二面积、第二几何中心和第二外包矩形的第二长宽信息；
第一目标图像块获取单元，用于删除所述第一遥感图像中第一面积小于面积阈值的第一变化图像块，得到第一目标图像块；
第二目标图像块获取单元，用于删除所述第一遥感图像中第二面积小于所述面积阈值的第二变化图像块，得到第二目标图像块；
第一正形区域生成单元，用于根据所述第一几何中心和所述第一长宽信息，生成所述第一目标图像块对应的第一正方形区域；
第二正形区域生成单元，用于根据所述第二几何中心和所述第二长宽信息，生成所述第二目标图像块对应的第二正方形区域；
第一特征图像块获取单元，用于提取所述第一遥感图像中位于所述第一正方形区域内的图像，得到所述第一特征提取图像块；
第二特征图像块获取单元，用于提取所述第二遥感图像中位于所述第二正方形区域内的图像，得到所述第二特征提取图像块。
可选地，所述深度特征获取模块包括：
重采样图像块获取单元，用于对所述第一特征提取图像块和所述第二特征提取图像块进行重采样，得到重采样的第一特征提取图像块和第二特征提取图像块；
重采样图像块输入单元，用于将所述重采样的第一特征提取图像块和第二特征提取图像块分别输入至所述卷积神经网络模型；
深度特征获取单元，用于获取由所述卷积神经网络模型的最后全连接层分别输出的所述第一深度特征和所述第二深度特征。
可选地，所述检测结果确定模块包括：
第二欧式距离计算单元，用于计算得到所述第一深度特征和所述第二深度特征之间的欧式距离；
变化图像块确定单元，用于在所述欧式距离大于目标阈值的情况下，确定所述第一遥感图像和所述第二遥感图像中存在变化图像块。
本发明与现有技术相比的优点在于：
本发明实施例提供了一种基于深度特征的遥感图像变化检测方法及装置。通过获取经过配准的不同时相的第一遥感图像和第二遥感图像；所述第一遥感图像和所述第二遥感图像的空间分辨率均高于设定阈值；对所述第一遥感图像和所述第二遥感图像进行初步变化检测，确定所述第一遥感图像对应的第一变化图像块，及所述第二遥感图像对应的第二变化图像块；基于所述第一变化图像块，确定所述第一遥感图像对应的第一特征提取图像块，并基于所述第二变化图像块，确定所述第二遥感图像对应的第二特征提取图像块；将所述第一特征提取图像块和所述第二特征提取图像块分别输入至卷积神经网络模型，并获取由所述卷积神经网络模型输出的所述第一特征提取图像块的第一深度特征，及所述第二特征提取图像块的第二深度特征；基于所述第一深度特征和所述第二深度特征进行相似性判断，确定变化检测结果。本发明实施例利用目前广泛使用并取到巨大成功的卷积神经网络提取遥感图像特征，这种图像特征由于通过多层的神经网络提取，属于对图像更高层次特征的抽象表达，而不局限于传统的图像浅层次特征的表达，因而能够减小不同时相遥感图像的辐射差异对变换检测效果造成的影响，具有更好的变化检测精度。
附图说明
图1为本发明实施例提供的一种基于深度特征的遥感图像变化检测方法的步骤流程图；
图2为本发明实施例提供的一种潜在变化图像块、潜在变化图像块几何中心、潜在变化图像块外包矩形及特征提取图像块的示意图；
图3为本发明实施例提供的一种基于深度特征的遥感图像变化检测装置的结构示意图。
具体实施方式
近几年迅速发展的深度学习技术，能够有效提取图像中深层次的深度特征，从而为提高变化检测的精度提供了可能。
2012年Krizhevsky A.在机器学习领域的顶级会议2012Conference on NeuralInformation Processing Systems(NIPS)发表的AlexNet工作在经典的图像识别任务上取得重大突破，比传统基于支持向量机的、识别率提高接近10％，引起了学术界以及工业界再次对相对比较经典的神经网络的极大兴趣。在学术界，神经网络在20世纪80年代是一个主流的机器学习流派。但是，由于当时缺乏足够的训练数据以及相对比较弱的计算能力，对多层神经网络的训练及其困难，训练时间过长，并往往会产生过拟合的分类网络，因而在实际应用中的识别效果并不好。近年来，具有足够大数据量、具有类别标记的图像数据集的出现(如ImageNet等)，以及显卡GPU计算能力的增强，使得能够在可以接受的时间里对多层神经网络训练出好的网络模型参数。卷积神经网络最基本的结构单元，包含：卷积层、池化层以及全连接层。卷积层对窗口内的图像进行卷积操作，提取各种类型的特征；池化层典型的操作包括平均和最大化，是对提取特征的进一步抽象；全连接层是将卷积层和池化层的输出使用向量堆叠起来，形成一层或多层全连接层，实现高阶的推导能力。AlexNet取得巨大成功后，后续研究者又在增加网络层数、网络优化方法等各方面广泛研究，又出现了GoogleNet,VGGNet,ResNet等具有影响力、典型的卷积神经网络。研究人员并把设计好的网络结构，以及已经训练好的网络模型参数进行公开，供后续的研究人员直接使用，或者针对自己的数据集进行参数的调整优化。
本发明的基本思路为：对于两个时相的遥感图像，首先使用逐像素计算光谱差值的方式，得到初始的变化检测结果；对初始的变化检测结果，通过连通性分析，得到潜在变化的图像块；对每个图像块，基于两个时相遥感图像，分别使用已经训练好的多层卷积神经网络(如AlexNet，GoogleNet，VGGNet，ResNet等)提取其最后一个全连接层特征，作为其深度特征；并使用通过两个时相遥感图像得到的深度特征进行相似性比对，得到最终的变化检测结果。
实施例一
参照图1，示出了本申请实施例提供的一种基于深度特征的遥感图像变化检测方法的步骤流程图，如图1所示，该方法具体可以包括如下步骤：
步骤101：获取经过配准的不同时相的第一遥感图像和第二遥感图像；所述第一遥感图像和所述第二遥感图像的空间分辨率均高于设定阈值。
在本发明实施例中，首先可以获取经过配准的两幅不同时相的遥感图像，即第一遥感图像(记为T1)和第二遥感图像(记为T2)，可以理解地，配准即是指第一遥感图像和第二遥感图像为同一区域内的遥感图像，且第一遥感图像和第二遥感图像均为高空间分辨率的遥感图像，即第一遥感图像和第二遥感图像的空间分辨率均高于设定阈值。
在获取第一遥感图像和第二遥感图像之后，执行步骤102。
步骤102：对所述第一遥感图像和所述第二遥感图像进行初步变化检测，确定所述第一遥感图像对应的第一变化图像块，及所述第二遥感图像对应的第二变化图像块。
在获取第一遥感图像和第二遥感图像之后，可以对第一遥感图像和第二遥感图像分别进行初步变化检测，以确定第一遥感图像对应的第一变化图像块，及第二遥感图像对应的第二变化图像块，具体地，可以结合下述具体实现方式进行详细描述。
在本发明的一种具体实现方式中，上述步骤102可以包括：
子步骤A1：对所述第一遥感图像和所述第二遥感图像进行逐像素对比，计算得到所述第一遥感图像和所述第二遥感图像对应像素对的光谱值之间的欧式距离；
子步骤A2：根据所述欧氏距离和设定阈值，将所述第一遥感图像和所述第二遥感图像中像素对的欧式距离大于所述设定阈值的像素分别标记为1；
子步骤A3：通过八邻域方向将标记为1的像素区域进行连接，生成所述第一遥感图像对应的第一变化图像块，及所述第二遥感图像对应的第二变化图像块。
在本发明实施例中，在获取第一遥感图像和第二遥感图像之后，可以对经过配准的两个时相的高空间分辨率遥感图像T1、T2使用逐像素对比的方法进行初步的变化检测，得到潜在变化检测结果，潜在变化区域标记为1，其它为0，然后，对得到的潜在变化检测结果即标记为1的像素，以八邻域方向(即以当前像素为中心、周围相邻的8个像素所构成的方向以当前像素为中心、周围相邻的8个像素所构成的方向)进行连通区域标记，得到图像块，即获取第一遥感图像对应的第一变化图像块，及第二遥感图像对应的第二变化图像块。
在获取第一变化图像块和第二变化图像块之后，执行步骤103。
步骤103：基于所述第一变化图像块，确定所述第一遥感图像对应的第一特征提取图像块，并基于所述第二变化图像块，确定所述第二遥感图像对应的第二特征提取图像块。
在获取到第一变化图像块和第二变化图像块之后，可以基于第一变化图像块确定出第一遥感图像对应的第一特征提取图像块，并基于第二变化图像块确定出第二遥感图相对应的第二特征提取图像块，具体地，可以结合下述具体实现方式进行详细描述。
在本发明的另一种具体实现方式中，上述步骤103可以包括：
子步骤B1：分别计算所述第一变化图像块的第一面积、第一几何中心和第一外包矩形的第一长宽信息，及所述第二变化图像块的第二面积、第二几何中心和第二外包矩形的第二长宽信息；
子步骤B2：删除所述第一遥感图像中第一面积小于面积阈值的第一变化图像块，得到第一目标图像块；
子步骤B3：删除所述第一遥感图像中第二面积小于所述面积阈值的第二变化图像块，得到第二目标图像块；
子步骤B4：根据所述第一几何中心和所述第一长宽信息，生成所述第一目标图像块对应的第一正方形区域；
子步骤B5：根据所述第二几何中心和所述第二长宽信息，生成所述第二目标图像块对应的第二正方形区域；
子步骤B6：提取所述第一遥感图像中位于所述第一正方形区域内的图像，得到所述第一特征提取图像块；
子步骤B7：提取所述第二遥感图像中位于所述第二正方形区域内的图像，得到所述第二特征提取图像块。
在本发明实施例中，在获取第一变化图像块和第二变化图像块之后，可以提取每个变化图像块的面积、几何中心、外包矩形长与宽等信息，然后对得到的所有变化图像块，去掉面积小于目标自适应阈值threshold(该阈值依赖于所重点关注的目标(如飞机、大型舰船等)而不同，业务运行部门大都已经积累了大量重点关注目标的典型样本遥感图像库，可以统计获得感兴趣目标的面积信息(以像素计算)，假设得到面积均值为meanV，标准差为stdV，则threshold＝meanV—3×stdV)的图像块，得到潜在变化图像块，即第一目标图像块和第二目标图像块，然后，对每个潜在变化图像块，构造以其几何中心为中心、其外包矩形长与宽两个值中的较大值乘以标准化因子(标准化因子一般可以大于1而小于等于5的整数；通过读取稍微大于其外包矩形范围的图像块有助于提取变化区域的背景信息，从而更加有助于提取有效的图像信息；采用正方形的图像区域则是为了方便后续的处理，并被命名为特征提取图像块)为边长的正方形；并基于构成的正方形，分别从图像T1,T2提取正方形内的图像，得到特征提取图像块，即第一特征提取图像块和第二特征提取图像块，如图2所示。
步骤104：将所述第一特征提取图像块和所述第二特征提取图像块分别输入至卷积神经网络模型，并获取由所述卷积神经网络模型输出的所述第一特征提取图像块的第一深度特征，及所述第二特征提取图像块的第二深度特征。
在获取第一特征提取图像块和第二特征提取图像块之后，可以将第一特征提取图像块和第二特征提取图像块分别输入至卷积神经网络模型，并获取由卷积神经网络模型输出的第一特征提取图像块的第一深度特征，及第二特征提取图像块的第二深度特征，具体地，可以结合下述具体实现方式进行详细描述。
在本发明的另一种具体实现方式中，上述步骤104可以包括：
子步骤C1：对所述第一特征提取图像块和所述第二特征提取图像块进行重采样，得到重采样的第一特征提取图像块和第二特征提取图像块；
子步骤C2：将所述重采样的第一特征提取图像块和第二特征提取图像块分别输入至所述卷积神经网络模型；
子步骤C3：获取由所述卷积神经网络模型的最后全连接层分别输出的所述第一深度特征和所述第二深度特征。
在本发明实施例中，在获取第一特征提取图像块和第二特征提取图像块之后，可以进行重采样，具体地，图像大小进行重采样主要是为了适应不同卷积神经网络对输入大小的要求；而重采样方法选择最近邻采样方法即可。
此时，可以将重采样的第一特征提取图像块和第二特征提取图像块分别输入至预先训练好的卷积神经网络模型(可以为AlexNet，VGGNet，GoogleNet，ResNet等通过使用目前世界上图像识别领域最大、具有大量标记数据的数据库ImageNet训练得到的多层卷积神经网络，其网络结构的参数值已经公开)。
在将特征提取图像块输入至卷积神经网络模型之后，则可以从第一层网络开始逐渐向后计算，直到最后一个全连接层，得到一个高维向量，作为该像素的深度特征，即第一深度特征和第二深度特征。
步骤105：基于所述第一深度特征和所述第二深度特征进行相似性判断，确定变化检测结果。
在获取第一深度特征和第二深度特征之后，则可以对第一深度特征和第二深度特征进行相似性判断，以确定出变化检测结果，具体地，可以结合下述具体实现方式进行详细描述。
在本发明的另一种具体实现方式中，上述步骤105可以包括：
子步骤D1：计算得到所述第一深度特征和所述第二深度特征之间的欧式距离；
子步骤D2：在所述欧式距离大于目标阈值的情况下，确定所述第一遥感图像和所述第二遥感图像中存在变化图像块。
在本发明实施例中，相似性判断，是指以第一特征提取图像块和第二特征提取图像块分别输入到已经训练好的卷积神经网络模型得到的两个高维向量，进行欧氏距离计算，大于一定的阈值，则认为用于构造特征提取图像块所对应的潜在图像块发生了变化，最终得到最终的变化检测结果；而该阈值一般由用户经验设定。
本发明与现有技术相比有如下特点：该高空间分辨率遥感图像变化检测算法充分利用了目前比较成熟的多层的卷积神经网络，从而捕捉了图像高层次的特征，从而避免了两幅不同图像由于辐射差异的造成的图像光谱值的差异性，进而能够更好地提升图像变化检测效果。
实施例二
参照图3，示出了本申请实施例提供的一种基于深度特征的遥感图像变化检测装置的结构示意图，如图3所示，该装置具体可以包括如下模块：
遥感图像获取模块310，用于获取经过配准的不同时相的第一遥感图像和第二遥感图像；所述第一遥感图像和所述第二遥感图像的空间分辨率均高于设定阈值；
变化图像块确定模块320，用于对所述第一遥感图像和所述第二遥感图像进行初步变化检测，确定所述第一遥感图像对应的第一变化图像块，及所述第二遥感图像对应的第二变化图像块；
特征图像块确定模块330，用于基于所述第一变化图像块，确定所述第一遥感图像对应的第一特征提取图像块，并基于所述第二变化图像块，确定所述第二遥感图像对应的第二特征提取图像块；
深度特征获取模块340，用于将所述第一特征提取图像块和所述第二特征提取图像块分别输入至卷积神经网络模型，并获取由所述卷积神经网络模型输出的所述第一特征提取图像块的第一深度特征，及所述第二特征提取图像块的第二深度特征；
检测结果确定模块350，用于基于所述第一深度特征和所述第二深度特征进行相似性判断，确定变化检测结果。
可选地，所述变化图像块确定模块320包括：
第一欧式距离计算单元，用于对所述第一遥感图像和所述第二遥感图像进行逐像素对比，计算得到所述第一遥感图像和所述第二遥感图像对应像素对的光谱值之间的欧式距离；
图像像素标记单元，用于根据所述欧氏距离和设定阈值，将所述第一遥感图像和所述第二遥感图像中像素对的欧式距离大于所述设定阈值的像素分别标记为1；
变化图像块生成单元，用于通过八邻域方向将标记为1的像素区域进行连接，生成所述第一遥感图像对应的第一变化图像块，及所述第二遥感图像对应的第二变化图像块。
可选地，所述特征图像块确定模块330包括：
面积中心长宽计算单元，用于分别计算所述第一变化图像块的第一面积、第一几何中心和第一外包矩形的第一长宽信息，及所述第二变化图像块的第二面积、第二几何中心和第二外包矩形的第二长宽信息；
第一目标图像块获取单元，用于删除所述第一遥感图像中第一面积小于面积阈值的第一变化图像块，得到第一目标图像块；
第二目标图像块获取单元，用于删除所述第一遥感图像中第二面积小于所述面积阈值的第二变化图像块，得到第二目标图像块；
第一正形区域生成单元，用于根据所述第一几何中心和所述第一长宽信息，生成所述第一目标图像块对应的第一正方形区域；
第二正形区域生成单元，用于根据所述第二几何中心和所述第二长宽信息，生成所述第二目标图像块对应的第二正方形区域；
第一特征图像块获取单元，用于提取所述第一遥感图像中位于所述第一正方形区域内的图像，得到所述第一特征提取图像块；
第二特征图像块获取单元，用于提取所述第二遥感图像中位于所述第二正方形区域内的图像，得到所述第二特征提取图像块。
可选地，所述深度特征获取模块340包括：
重采样图像块获取单元，用于对所述第一特征提取图像块和所述第二特征提取图像块进行重采样，得到重采样的第一特征提取图像块和第二特征提取图像块；
重采样图像块输入单元，用于将所述重采样的第一特征提取图像块和第二特征提取图像块分别输入至所述卷积神经网络模型；
深度特征获取单元，用于获取由所述卷积神经网络模型的最后全连接层分别输出的所述第一深度特征和所述第二深度特征。
可选地，所述检测结果确定模块350包括：
第二欧式距离计算单元，用于计算得到所述第一深度特征和所述第二深度特征之间的欧式距离；
变化图像块确定单元，用于在所述欧式距离大于目标阈值的情况下，确定所述第一遥感图像和所述第二遥感图像中存在变化图像块。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (8)

1.一种基于深度特征的遥感图像变化检测方法，其特征在于，包括：
获取经过配准的不同时相的第一遥感图像和第二遥感图像；所述第一遥感图像和所述第二遥感图像的空间分辨率均高于设定阈值；
对所述第一遥感图像和所述第二遥感图像进行初步变化检测，确定所述第一遥感图像对应的第一变化图像块，及所述第二遥感图像对应的第二变化图像块；
基于所述第一变化图像块，确定所述第一遥感图像对应的第一特征提取图像块，并基于所述第二变化图像块，确定所述第二遥感图像对应的第二特征提取图像块；
将所述第一特征提取图像块和所述第二特征提取图像块分别输入至卷积神经网络模型，并获取由所述卷积神经网络模型输出的所述第一特征提取图像块的第一深度特征，及所述第二特征提取图像块的第二深度特征；
基于所述第一深度特征和欧氏所述第二深度特征进行相似性判断，确定变化检测结果；
所述对所述第一遥感图像和所述第二遥感图像进行初步变化检测，确定所述第一遥感图像对应的第一变化图像块，及所述第二遥感图像对应的第二变化图像块，包括：
对所述第一遥感图像和所述第二遥感图像进行逐像素对比，计算得到所述第一遥感图像和所述第二遥感图像对应像素对的光谱值之间的欧氏距离；
根据所述欧氏距离和设定阈值，将所述第一遥感图像和所述第二遥感图像中像素对的欧氏距离大于所述设定阈值的像素分别标记为1；
通过八邻域方向将标记为1的像素区域进行连接，生成所述第一遥感图像对应的第一变化图像块，及所述第二遥感图像对应的第二变化图像块。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一变化图像块，确定所述第一遥感图像对应的第一特征提取图像块，并基于所述第二变化图像块，确定所述第二遥感图像对应的第二特征提取图像块，包括：
分别计算所述第一变化图像块的第一面积、第一几何中心和第一外包矩形的第一长宽信息，及所述第二变化图像块的第二面积、第二几何中心和第二外包矩形的第二长宽信息；
删除所述第一遥感图像中第一面积小于面积阈值的第一变化图像块，得到第一目标图像块；
删除所述第一遥感图像中第二面积小于所述面积阈值的第二变化图像块，得到第二目标图像块；
根据所述第一几何中心和所述第一长宽信息，生成所述第一目标图像块对应的第一正方形区域；
根据所述第二几何中心和所述第二长宽信息，生成所述第二目标图像块对应的第二正方形区域；
提取所述第一遥感图像中位于所述第一正方形区域内的图像，得到所述第一特征提取图像块；
提取所述第二遥感图像中位于所述第二正方形区域内的图像，得到所述第二特征提取图像块。
3.根据权利要求1所述的方法，其特征在于，所述将所述第一特征提取图像块和所述第二特征提取图像块分别输入至卷积神经网络模型，并获取由所述卷积神经网络模型输出的所述第一特征提取图像块的第一深度特征，及所述第二特征提取图像块的第二深度特征，包括：
对所述第一特征提取图像块和所述第二特征提取图像块进行重采样，得到重采样的第一特征提取图像块和第二特征提取图像块；
将所述重采样的第一特征提取图像块和第二特征提取图像块分别输入至所述卷积神经网络模型；
获取由所述卷积神经网络模型的最后全连接层分别输出的所述第一深度特征和所述第二深度特征。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一深度特征和所述第二深度特征进行相似性判断，确定变化检测结果，包括：
计算得到所述第一深度特征和所述第二深度特征之间的欧氏距离；
在所述欧氏距离大于目标阈值的情况下，确定所述第一遥感图像和所述第二遥感图像中存在变化图像块。
5.一种基于深度特征的遥感图像变化检测装置，其特征在于，包括：
遥感图像获取模块，用于获取经过配准的不同时相的第一遥感图像和第二遥感图像；所述第一遥感图像和所述第二遥感图像的空间分辨率均高于设定阈值；
变化图像块确定模块，用于对所述第一遥感图像和所述第二遥感图像进行初步变化检测，确定所述第一遥感图像对应的第一变化图像块，及所述第二遥感图像对应的第二变化图像块；
特征图像块确定模块，用于基于所述第一变化图像块，确定所述第一遥感图像对应的第一特征提取图像块，并基于所述第二变化图像块，确定所述第二遥感图像对应的第二特征提取图像块；
深度特征获取模块，用于将所述第一特征提取图像块和所述第二特征提取图像块分别输入至卷积神经网络模型，并获取由所述卷积神经网络模型输出的所述第一特征提取图像块的第一深度特征，及所述第二特征提取图像块的第二深度特征；
检测结果确定模块，用于基于所述第一深度特征和所述第二深度特征进行相似性判断，确定变化检测结果；
所述变化图像块确定模块包括：
第一欧氏距离计算单元，用于对所述第一遥感图像和所述第二遥感图像进行逐像素对比，计算得到所述第一遥感图像和所述第二遥感图像对应像素对的光谱值之间的欧氏距离；
图像像素标记单元，用于根据所述欧氏距离和设定阈值，将所述第一遥感图像和所述第二遥感图像中像素对的欧氏距离大于所述设定阈值的像素分别标记为1；
变化图像块生成单元，用于通过八邻域方向将标记为1的像素区域进行连接，生成所述第一遥感图像对应的第一变化图像块，及所述第二遥感图像对应的第二变化图像块。
6.根据权利要求5所述的装置，其特征在于，所述特征图像块确定模块包括：
面积中心长宽计算单元，用于分别计算所述第一变化图像块的第一面积、第一几何中心和第一外包矩形的第一长宽信息，及所述第二变化图像块的第二面积、第二几何中心和第二外包矩形的第二长宽信息；
第一目标图像块获取单元，用于删除所述第一遥感图像中第一面积小于面积阈值的第一变化图像块，得到第一目标图像块；
第二目标图像块获取单元，用于删除所述第一遥感图像中第二面积小于所述面积阈值的第二变化图像块，得到第二目标图像块；
第一正形区域生成单元，用于根据所述第一几何中心和所述第一长宽信息，生成所述第一目标图像块对应的第一正方形区域；
第二正形区域生成单元，用于根据所述第二几何中心和所述第二长宽信息，生成所述第二目标图像块对应的第二正方形区域；
第一特征图像块获取单元，用于提取所述第一遥感图像中位于所述第一正方形区域内的图像，得到所述第一特征提取图像块；
第二特征图像块获取单元，用于提取所述第二遥感图像中位于所述第二正方形区域内的图像，得到所述第二特征提取图像块。
7.根据权利要求5所述的装置，其特征在于，所述深度特征获取模块包括：
重采样图像块获取单元，用于对所述第一特征提取图像块和所述第二特征提取图像块进行重采样，得到重采样的第一特征提取图像块和第二特征提取图像块；
重采样图像块输入单元，用于将所述重采样的第一特征提取图像块和第二特征提取图像块分别输入至所述卷积神经网络模型；
深度特征获取单元，用于获取由所述卷积神经网络模型的最后全连接层分别输出的所述第一深度特征和所述第二深度特征。
8.根据权利要求5所述的装置，其特征在于，所述检测结果确定模块包括：
第二欧氏距离计算单元，用于计算得到所述第一深度特征和所述第二深度特征之间的欧氏距离；
变化图像块确定单元，用于在所述欧氏距离大于目标阈值的情况下，确定所述第一遥感图像和所述第二遥感图像中存在变化图像块。
CN202011141707.6A 2020-10-22 2020-10-22 一种基于深度特征的遥感图像变化检测方法及装置 Active CN112232249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011141707.6A CN112232249B (zh) 2020-10-22 2020-10-22 一种基于深度特征的遥感图像变化检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011141707.6A CN112232249B (zh) 2020-10-22 2020-10-22 一种基于深度特征的遥感图像变化检测方法及装置

Publications (2)

Publication Number Publication Date
CN112232249A CN112232249A (zh) 2021-01-15
CN112232249B true CN112232249B (zh) 2023-08-15

Family

ID=74110532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011141707.6A Active CN112232249B (zh) 2020-10-22 2020-10-22 一种基于深度特征的遥感图像变化检测方法及装置

Country Status (1)

Country Link
CN (1) CN112232249B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591933B (zh) * 2021-07-07 2024-04-09 中国人民解放军海军航空大学 一种基于相关性度量的遥感图像变化检测方法及系统
CN114708260A (zh) * 2022-05-30 2022-07-05 阿里巴巴（中国）有限公司 图像检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143191A (zh) * 2014-07-29 2014-11-12 中国科学院遥感与数字地球研究所 一种基于纹理元的遥感图像变化检测方法
CN107239759A (zh) * 2017-05-27 2017-10-10 中国科学院遥感与数字地球研究所 一种基于深度特征的高空间分辨率遥感图像迁移学习方法
CN109886106A (zh) * 2019-01-15 2019-06-14 浙江大学 一种基于深度学习的遥感图像建筑物变化检测方法
WO2019129032A1 (zh) * 2017-12-26 2019-07-04 北京市商汤科技开发有限公司 遥感图像识别方法、装置、存储介质以及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143191A (zh) * 2014-07-29 2014-11-12 中国科学院遥感与数字地球研究所 一种基于纹理元的遥感图像变化检测方法
CN107239759A (zh) * 2017-05-27 2017-10-10 中国科学院遥感与数字地球研究所 一种基于深度特征的高空间分辨率遥感图像迁移学习方法
WO2019129032A1 (zh) * 2017-12-26 2019-07-04 北京市商汤科技开发有限公司 遥感图像识别方法、装置、存储介质以及电子设备
CN109886106A (zh) * 2019-01-15 2019-06-14 浙江大学 一种基于深度学习的遥感图像建筑物变化检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Feature significance-based multibag-of-visual-words model for remote sensing image scene classification;Lijun Zhao 等;《Journal of Applied Remote Sensing》;20160712;第10卷(第3期);全文 *

Also Published As

Publication number Publication date
CN112232249A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109446992B (zh) 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
US11244197B2 (en) Fast and robust multimodal remote sensing image matching method and system
CN110929607B (zh) 一种城市建筑物施工进度的遥感识别方法和系统
CN107480649B (zh) 一种基于全卷积神经网络的指纹汗孔提取方法
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN106981077B (zh) 基于dce和lss的红外图像和可见光图像配准方法
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN109871823B (zh) 一种结合旋转框和上下文信息的卫星图像舰船检测方法
CN105590319A (zh) 一种深度学习的图像显著性区域检测方法
CN112232249B (zh) 一种基于深度特征的遥感图像变化检测方法及装置
CN110458192B (zh) 基于视觉显著性的高光谱遥感图像分类方法及系统
CN112465752A (zh) 一种基于改进的Faster R-CNN小目标检测方法
CN104966054A (zh) 无人机可见光图像中的弱小目标检测方法
CN114494378A (zh) 基于改进的sift算法的多时相遥感图像自动配准方法
Liang et al. Automatic defect detection of texture surface with an efficient texture removal network
CN115731257A (zh) 基于图像的叶片形态信息提取方法
CN104881668A (zh) 一种基于代表性局部模式的图像指纹提取方法及系统
CN107358625B (zh) 基于SPP Net和感兴趣区域检测的SAR图像变化检测方法
CN109785318B (zh) 基于面线基元关联约束的遥感图像变化检测方法
CN108564020B (zh) 基于全景3d图像的微手势识别方法
CN114758139B (zh) 基坑积水检测方法
CN109544608B (zh) 一种无人机图像采集特征配准方法
Kong et al. Effective 3d face depth estimation from a single 2d face image
CN114596343A (zh) 面向复杂地面场景的跨模态遥感图像智能多尺度配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant