CN112819753B - 一种建筑物变化检测方法、装置、智能终端及存储介质 - Google Patents

一种建筑物变化检测方法、装置、智能终端及存储介质 Download PDF

Info

Publication number
CN112819753B
CN112819753B CN202110038829.0A CN202110038829A CN112819753B CN 112819753 B CN112819753 B CN 112819753B CN 202110038829 A CN202110038829 A CN 202110038829A CN 112819753 B CN112819753 B CN 112819753B
Authority
CN
China
Prior art keywords
building
data
periods
remote sensing
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110038829.0A
Other languages
English (en)
Other versions
CN112819753A (zh
Inventor
史文中
张敏
吕旭哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute HKPU
Original Assignee
Shenzhen Research Institute HKPU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute HKPU filed Critical Shenzhen Research Institute HKPU
Priority to CN202110038829.0A priority Critical patent/CN112819753B/zh
Publication of CN112819753A publication Critical patent/CN112819753A/zh
Application granted granted Critical
Publication of CN112819753B publication Critical patent/CN112819753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种建筑物变化检测方法、装置、智能终端及存储介质，其中，上述建筑物变化检测方法包括：获取多源数据，其中，上述多源数据包括点云数据和遥感影像数据；对上述点云数据和上述遥感影像数据进行预处理，获取归一化DSM数据、灰度归一化DSM数据和目标遥感影像数据；基于上述灰度归一化DSM数据和上述目标遥感影像数据获取建筑物概率图；基于上述归一化DSM数据和上述建筑物概率图，获取建筑物变化检测结果。本发明方案有利于提升建筑物变化检测的准确性。

Description

一种建筑物变化检测方法、装置、智能终端及存储介质
技术领域
本发明涉及建筑物变化检测技术领域，尤其涉及的是一种建筑物变化检测方法、装置、智能终端及存储介质。
背景技术
建筑物变化检测通常是通过对建筑物对应的两期数据进行分析，获得建筑物的高度变化、移除建筑物、新增建筑物等变化情况。由于地表覆盖的复杂性，从各种地表变化中准确的识别建筑物变化是一个非常大的挑战。现有技术中，通常基于仅基于数字表面模型(DSM，Digital Surface Model)数据、点云数据或遥感影像数据对不同时期(通常为两个时期)的建筑物变化进行检测。
现有技术的问题在于，基于DSM数据或点云数据进行建筑物变化检测时，容易受植被的干扰，检测精度较低；基于遥感影像数据进行建筑物变化检测时，难以实现对建筑物高度变化的检测；从而不利于对建筑物的变化进行准确的检测。
因此，现有技术还有待改进和发展。
发明内容
本发明的主要目的在于提供一种建筑物变化检测方法、装置、智能终端及存储介质，旨在解决现有技术中仅基于DSM数据或点云数据进行建筑物变化检测时，容易受植被的干扰，检测精度较低；仅基于遥感影像数据进行建筑物变化检测时，难以实现对建筑物高度变化的检测；从而影响建筑物变化检测的准确性的问题。
为了实现上述目的，本发明第一方面提供一种建筑物变化检测方法，其中，上述方法包括：
获取多源数据，其中，上述多源数据包括点云数据和遥感影像数据；
对上述点云数据和上述遥感影像数据进行预处理，获取归一化DSM数据、灰度归一化DSM数据和目标遥感影像数据；
基于上述灰度归一化DSM数据和上述目标遥感影像数据获取建筑物概率图；
基于上述归一化DSM数据和上述建筑物概率图，获取建筑物变化检测结果。
可选的，上述多源数据包括两个时期的点云数据和两个时期的遥感影像数据。
可选的，上述对上述点云数据和上述遥感影像数据进行预处理，获取归一化DSM数据、灰度归一化DSM数据和目标遥感影像数据，包括：
对上述两个时期的点云数据和上述两个时期的遥感影像数据进行配准和辐射校正，获得两个时期的目标点云数据和两个时期的目标遥感影像数据；
基于上述两个时期的目标点云数据生成两个时期的归一化DSM数据；
对上述两个时期的归一化DSM数据进行灰度变换，获得两个时期的灰度归一化DSM数据。
可选的，上述基于上述灰度归一化DSM数据和上述目标遥感影像数据获取建筑物概率图，包括：
基于上述两个时期的灰度归一化DSM数据和上述两个时期的目标遥感影像数据，通过深度卷积神经网络模型实现两个时期的建筑物深度特征信息提取，并获得两个时期的建筑物概率图。
可选的，上述基于上述归一化DSM数据和上述建筑物概率图，获取建筑物变化检测结果，包括：
基于预设的概率阈值对上述两个时期的建筑物概率图进行处理，获得两个时期的建筑物二值图；
分别提取上述两个时期的建筑物二值图中的连通区域，生成两个时期的建筑物实例图，其中，上述两个时期的建筑物实例图包括第一时期建筑物实例图和第二时期建筑物实例图；
基于上述两个时期的归一化DSM数据、上述第一时期建筑物实例图和上述第二时期建筑物实例图，获取建筑物变化检测结果。
可选的，上述基于上述两个时期的归一化DSM数据、上述第一时期建筑物实例图和上述第二时期建筑物实例图，获取建筑物变化检测结果，包括：
对上述两个时期的归一化DSM数据进行差分，获取差异DSM数据；
将上述差异DSM数据中高度变化小于预设的高度变化阈值的区域的高度变化设置为0，且将两个时期均为非建筑物区域的高度变化设置为0，获取建筑物高度变化图像；
基于上述建筑物高度变化图像、上述第一时期建筑物实例图和上述第二时期建筑物实例图，对建筑物的信息进行融合，获取建筑物变化检测结果。
可选的，上述基于上述建筑物高度变化图像、上述第一时期建筑物实例图和上述第二时期建筑物实例图，对建筑物的信息进行融合，获取建筑物变化检测结果，包括：
提取上述第二时期建筑物实例图中的建筑物对象，当对应位置的建筑物高度变化图像中高度变化不为0，且与上述第一时期建筑物实例图中对应位置的建筑物对象的重叠面积小于预设的重叠面积阈值时，标记为新增建筑物；
提取上述第一时期建筑物实例图中的建筑物对象，当对应位置的建筑物高度变化图像中高度变化不为0，且与上述第二时期建筑物实例图中对应位置的建筑物对象的重叠面积小于预设的重叠面积阈值时，标记为移除建筑物；
提取上述第一时期建筑物实例图和上述第二时期建筑物实例图中相交的建筑物对象，当对应位置的建筑物高度变化图像中高度变化不为0，且相交面积大于预设的重叠面积阈值时，标记为建筑物高度发生变化。
本发明第二方面提供一种建筑物变化检测装置，其中，上述装置包括：
数据获取模块，用于获取多源数据，其中，上述多源数据包括点云数据和遥感影像数据；
预处理模块，用于对上述点云数据和上述遥感影像数据进行预处理，获取归一化DSM数据、灰度归一化DSM数据和目标遥感影像数据；
建筑物概率图获取模块，用于基于上述灰度归一化DSM数据和上述目标遥感影像数据获取建筑物概率图；
检测结果获取模块，用于基于上述归一化DSM数据和上述建筑物概率图，获取建筑物变化检测结果。
本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的建筑物变化检测程序，上述建筑物变化检测程序被上述处理器执行时实现任意一项上述建筑物变化检测方法的步骤。
本发明第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有建筑物变化检测程序，上述建筑物变化检测程序被处理器执行时实现任意一项上述建筑物变化检测方法的步骤。
由上可见，本发明方案获取多源数据，其中，上述多源数据包括点云数据和遥感影像数据；对上述点云数据和上述遥感影像数据进行预处理，获取归一化DSM数据、灰度归一化DSM数据和目标遥感影像数据；基于上述灰度归一化DSM数据和上述目标遥感影像数据获取建筑物概率图；基于上述归一化DSM数据和上述建筑物概率图，获取建筑物变化检测结果。本发明方案提供的建筑物变化检测方法可以融合多源数据进行建筑物变化检测，相对于现有技术中仅根据一种数据对建筑物变化进行检测的方案，本发明方案有利于提升建筑物变化检测的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种建筑物变化检测方法的流程示意图；
图2是本发明实施例图1中步骤S200的具体流程示意图；
图3是本发明实施例图1中步骤S400的具体流程示意图；
图4是本发明实施例图3中步骤S403的具体流程示意图；
图5是本发明实施例提供的一种建筑物变化检测方法的实现示意图；
图6是本发明实施例提供的一种建筑物变化检测装置的结构示意图；
图7是本发明实施例图6中预处理模块620的具体结构示意图；
图8是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
由于地表覆盖的复杂性，从各种地表变化中准确的识别建筑物变化是一个非常大的挑战，而且这个过程其实质上也是影像分类的问题。目前大多数建筑物变化检测方法都是基于像素级的，因此通常需要进一步的形态学运算、边缘优化、筛选过滤等后处理过程，这引入了更多的超参数或人工交互过程，而且很难移除由于配准误差导致的误报。而现有技术中仅基于遥感影像数据进行检测的方法很难检测现有建筑物高度的变化，仅基于DSM数据或点云数据进行检测的方法容易受植被的干扰，导致精度较低。因此，需要一种更好的建筑物变化检测方法。
为了解决现有技术的问题，本发明实施例提供一种建筑物变化检测方法，在本发明实施例中，获取多源数据，其中，上述多源数据包括点云数据和遥感影像数据；对上述点云数据和上述遥感影像数据进行预处理，获取归一化DSM数据、灰度归一化DSM数据和目标遥感影像数据；基于上述灰度归一化DSM数据和上述目标遥感影像数据获取建筑物概率图；基于上述归一化DSM数据和上述建筑物概率图，获取建筑物变化检测结果。本发明方案提供的建筑物变化检测方法可以融合多源数据进行建筑物变化检测，相对于现有技术中仅根据一种数据对建筑物变化进行检测的方案，本发明方案有利于提升建筑物变化检测的准确性。
示例性方法
如图1所示，本发明实施例提供一种建筑物变化检测方法，具体的，上述方法包括如下步骤：
步骤S100，获取多源数据，其中，上述多源数据包括点云数据和遥感影像数据。
具体的，上述点云数据为机载点云数据，上述点云数据和上述遥感影响数据的来源不同。
步骤S200，对上述点云数据和上述遥感影像数据进行预处理，获取归一化DSM数据、灰度归一化DSM数据和目标遥感影像数据。
具体的，上述目标遥感影像数据为进行预处理后的遥感影像数据，上述灰度归一化DSM数据为对归一化DSM数据进行灰度转换后的数据。其中，上述预处理为遥感领域中的基础步骤，包括但不限于配准和辐射校正等。
步骤S300，基于上述灰度归一化DSM数据和上述目标遥感影像数据获取建筑物概率图。
步骤S400，基于上述归一化DSM数据和上述建筑物概率图，获取建筑物变化检测结果。
其中，上述建筑物概率图体现图像中对应像素点属于建筑物的概率，具体的，概率值的范围为(0,1)，概率越大，表明对应的像素点为建筑物的概率越大。融合灰度归一化DSM数据和目标遥感影像数据获取建筑物概率图，再基于归一化DSM数据和上述建筑物概率图分析获取建筑物变化检测结果，从而融合多源数据(点云数据和遥感影像数据)对建筑物变化进行检测，将数字表面模型(DSM)与高分遥感影像融合，充分利用DSM的三维空间特征和高分遥感影像的光谱、纹理等特征，更好的实现对建筑物变化的检测。
由上可见，本发明实施例提供的建筑物变化检测方法获取多源数据，其中，上述多源数据包括点云数据和遥感影像数据；对上述点云数据和上述遥感影像数据进行预处理，获取归一化DSM数据、灰度归一化DSM数据和目标遥感影像数据；基于上述灰度归一化DSM数据和上述目标遥感影像数据获取建筑物概率图；基于上述归一化DSM数据和上述建筑物概率图，获取建筑物变化检测结果。本发明方案提供的建筑物变化检测方法可以融合多源数据进行建筑物变化检测，相对于现有技术中仅根据一种数据对建筑物变化进行检测的方案，本发明方案有利于提升建筑物变化检测的准确性。
具体的，本实施例中，上述多源数据包括两个时期的点云数据和两个时期的遥感影像数据。
其中，上述两个时期是指变化发生前的T1时刻(第一时期)和变化发生后的T2时刻(第二时期)，T1≠T2。上述两个时期的点云数据包括T1时刻的第一时期的点云数据和T2时刻的第二时期的点云数据，上述两个时期的遥感影像数据包括T1时刻的第一时期的遥感影像数据和T2时刻或接近T2时刻的第二时期的遥感影像数据。
具体的，本实施例中，如图2所示，上述步骤S200包括：
步骤S201，对上述两个时期的点云数据和上述两个时期的遥感影像数据进行配准和辐射校正，获得两个时期的目标点云数据和两个时期的目标遥感影像数据。
步骤S202，基于上述两个时期的目标点云数据生成两个时期的归一化DSM数据。
步骤S203，对上述两个时期的归一化DSM数据进行灰度变换，获得两个时期的灰度归一化DSM数据。
其中，上述目标点云数据和目标遥感影像数据为进行配准和辐射校正之后的点云数据和遥感影像数据。基于两个时期的目标点云数据生成两个时期的归一化DSM数据(nDSM数据)。具体的，对于每个时期的点云数据，生成归一化DSM数据的流程如下：使用ArcGIS软件的LAS Dataset to Raster工具将LAS格式的点云数据插值为0.5米分辨率的DSM；利用LAStools工具库中的lasground工具提取地面点，其中terrain type参数为city orwarehouses，granularity参数为fine，得到地面点高程图像；为了消除地形的起伏对建筑物高度提取造成的影响，将原始DSM减去地面点高程最后得到归一化的DSM(nDSM)。
进一步的，本实施例中，将上述nDSM数据的灰度值(DN，Digital Number)变换到[0,255]的值域范围，使用的灰度变换公式如下所示：
Figure BDA0002894716460000081
其中，int(.)表示取整，
Figure BDA0002894716460000082
表示变换后的nDSM灰度值，其值域为[0,255]。nDSM经过灰度变换后的灰度归一化DSM数据可以记为
Figure BDA0002894716460000083
具体的，上述步骤S300包括：基于上述两个时期的灰度归一化DSM数据和上述两个时期的目标遥感影像数据，通过深度卷积神经网络模型实现两个时期的建筑物深度特征信息提取，并获得两个时期的建筑物概率图。
本实施例中，通过设计的深度卷积神经网络模型从灰度归一化DSM数据(
Figure BDA0002894716460000091
数据)和遥感影像中提取深度特征。在一种应用场景中，上述遥感影像可以作为可选的输入，以减少计算量，降低检测所需时间。上述深度卷积神经网络模型可以为U-Net网络模型，还可以为其他模型，在此不做具体限定。本实施例中，采用U-Net网络模型，该网络基于全卷积神经网络，并对其架构进行了一些修改和扩展，旨在减少对训练数据的依赖和提高速度，并产生更精确的分割结果。该网络由一条降尺度路径和一条升尺度路径组成，具有U型结构。降尺度路径是一个典型的卷积网络，它由多个卷积层(Conv)的叠加组成，每个卷积之后都有一个批标准化层(BN，BatchNormal)和一个整流线性单元(ReLU，Rectified LinearUnit)，每隔两个卷积层都使用了一个最大的池化操作(MaxPool)进行降尺度，这个过程中空间信息减少，特征信息增加，可以看成是一个特征编码的过程。升尺度路径通过一系列的上采样层(Upsample)并连接与降尺度路径中对应的高分辨率特征实现特征信息和空间信息的结合。本发明实施例所用的U-Net网络具体结构如下表所示：
Figure BDA0002894716460000092
上表中，参数in和out分别表示输入和输出特征通道数。
在建筑物像素提取任务中，模型旨在识别输入像素是否为建筑物，因此是一个经典二分类问题，可以使用Sigmoid函数作为最后一个卷积层神经元输出，其公式如下所示：
Figure BDA0002894716460000101
由于其取值范围为(0,1)，公式(2)可以将一个实数映射到(0,1)的区间作为概率输出，非常适合二分类任务。进一步的，可以使用交叉熵损失函数作为目标优化函数，其公式如下所示：
Figure BDA0002894716460000102
其中，N为样本数，Yn表示样本真值，取值为1和0，分别表示建筑物或非建筑物，
Figure BDA0002894716460000103
表示模型输出的概率，取值范围为(0,1)。
由于U-Net网络模型结构的输入大小为224×224×N，表示224×224像素大小且具有N个通道的图像，在本实施例中，N＝1或者N＝4，分别表示只用
Figure BDA0002894716460000104
单个通道，即基于DSM数据的方法；或者使用R(红)，G(绿)，B(蓝)，D
Figure BDA0002894716460000105
四个通道，即基于RGBD数据的方法，因此需要对训练样本进行裁剪和通道叠加。
训练过程将从
Figure BDA0002894716460000106
影像中或遥感影像和
Figure BDA0002894716460000107
的叠加影像中依次裁剪224×224大小的像素块作为模型输入，并通过水平和垂直翻转输入块作为样本增广策略。实际使用中，由于受到实验区数据量的限制，可以使用国际摄影测量与遥感协会(ISPRS)开放的用于三维场景重建与分析的Potsdam区域数据集作为训练区域。本实施例中实验区域共包括24组数据，每组数据包括：一张大小为6000×6000像素，空间分辨率为0.05米，具有R，G，B共3个波段的遥感影像；一张对应像素大小和分辨的并经过灰度变换的
Figure BDA0002894716460000108
影像；一张对应像素大小和分辨率的建筑物真值标签。
通过交叉熵损失函数和随机梯度下降策略对设计的分类器进行训练，当损失函数值不再下降时停止训练，得到两个训练好的建筑物分类器，一个基于DSM数据，即不使用遥感影像训练；另一个基于RGBD数据，即使用遥感影像训练。
具体的，本实施例中，如图3所示，上述步骤S400包括：
步骤S401，基于预设的概率阈值对上述两个时期的建筑物概率图进行处理，获得两个时期的建筑物二值图。
步骤S402，分别提取上述两个时期的建筑物二值图中的连通区域，生成两个时期的建筑物实例图，其中，上述两个时期的建筑物实例图包括第一时期建筑物实例图和第二时期建筑物实例图。
步骤S403，基于上述两个时期的归一化DSM数据、上述第一时期建筑物实例图和上述第二时期建筑物实例图，获取建筑物变化检测结果。
本实施例中，通过阈值算法将深度卷积神经网络生成的概率图生成为二值图，基于二值图中的建筑物提取结果进行实例化，然后再基于实例化结果和归一化DSM数据获取建筑物变化检测结果。面向对象(实例化)思想的引入减少了影像配准误差造成的误报。
具体的，根据上述深度卷积神经网络模型生成的建筑物概率图
Figure BDA0002894716460000115
通过阈值算法得到每个时期的建筑物提取结果，计算公式如下所示：
Figure BDA0002894716460000111
其中，
Figure BDA0002894716460000112
表示第t时期的像素提取为建筑物，t∈{1,2}，即
Figure BDA0002894716460000113
和
Figure BDA0002894716460000114
分别表示第一时期和第二期的建筑物提取结果。上述预设的概率阈值为预先设置的判断像素点是否为建筑的临界概率值，本实施例中设置为0.5，实际使用中可以根据实际需要进行设置和调整，在此不做具体限定。考虑到两个时期都为建筑物但是高度发生变化的情况，不能直接进行分类后变化检测，而且两个时期影像不可避免的存在几何误差，导致变化检测结果出现大量的碎斑，为了解决此问题，本实施例中进一步基于上述二值图生成建筑物实例图。
利用面向对象的变化检测方法处理nDSM数据时，处理的最小单元是含有更多语义信息的由多个相邻像素组成的对象，而不再是单独的像素。因此能够较好地解决nDSM变化检测的噪声问题。因此首先可以基于高程将建筑物二值分类图像
Figure BDA0002894716460000121
进行实例化，如下公式所示：
Figure BDA0002894716460000122
式中，instance(.)8表示按照8邻域提取连通区域，并为每个连通区域赋一个独有的像素值k，表示一个建筑物实例(建筑物对象)ok，得到建筑物实例图Ot，即
Figure BDA0002894716460000123
其中N表示建筑物实例个数，t＝1或2，表示第一时期或第二时期的结果，即第一时期建筑物实例图O1和第二时期建筑物实例图O2。进一步的，对于上述一时期建筑物实例图O1和第二时期建筑物实例图O2，还可以通过预先设置的最小面积阈值Tmin-area过滤掉其中的小面积区域，即删除面积小于Tmin-area的建筑物实例。
具体的，本实施例中，如图4所示，上述步骤S403包括：
步骤S4031，对上述两个时期的归一化DSM数据进行差分，获取差异DSM数据。
步骤S4032，将上述差异DSM数据中高度变化小于预设的高度变化阈值的区域的高度变化设置为0，且将两个时期均为非建筑物区域的高度变化设置为0，获取建筑物高度变化图像。
步骤S4033，基于上述建筑物高度变化图像、上述第一时期建筑物实例图和上述第二时期建筑物实例图，对建筑物的信息进行融合，获取建筑物变化检测结果。
其中，上述预设的高度变化阈值为预先设置的高度变化阈值，实际使用中，可以根据实际需求进行设定和调整，在此不做具体限定。建筑物变化主要是体现在建筑物高度发生变化，因此可以通过对两个时期的nDSM数据进行差分得到差异DSM(D_DSM)数据，为了移除非建筑物高度变化导致的高程变化，使用上一步生成的两时期建筑物实例图O1和O2作为掩模，将非建筑物区域的高程变化设置为0，而且高度变化小于预设的高度变化阈值Tmin-heihht的区域也设置为0，如下公式所示：
Figure BDA0002894716460000124
其中，(i,j)表示像素坐标，
Figure BDA0002894716460000131
表示该位置像素不为建筑物像素，DI_DSM表示建筑物高度变化图像。
本实施例中，基于上述建筑物高度变化图像DI_DSM、第一时期建筑物实例图O1和第二时期建筑物实例图O2，对建筑物的信息进行决策级融合，获取建筑物变化检测结果。具体的，提取上述第二时期建筑物实例图中的建筑物对象，当对应位置的建筑物高度变化图像中高度变化不为0，且与上述第一时期建筑物实例图中对应位置的建筑物对象的重叠面积小于预设的重叠面积阈值时，标记为新增建筑物；提取上述第一时期建筑物实例图中的建筑物对象，当对应位置的建筑物高度变化图像中高度变化不为0，且与上述第二时期建筑物实例图中对应位置的建筑物对象的重叠面积小于预设的重叠面积阈值时，标记为移除建筑物；提取上述第一时期建筑物实例图和上述第二时期建筑物实例图中相交的建筑物对象，当对应位置的建筑物高度变化图像中高度变化不为0，且相交面积大于预设的重叠面积阈值时，标记为建筑物高度发生变化。
其中，上述预设的重叠面积阈值为预先设置的建筑物重叠面积的临界值，本实施例中，上述预设的重叠面积阈值设置为待判断对象的面积的二分之一，即对于从上述第二时期建筑物实例图中提取出的建筑物对象，当对应位置的建筑物高度变化图像中高度变化不为0时，若满足与上述第一时期建筑物实例图中对应位置的建筑物对象的重叠面积小于自身面积的一半则标记为新增建筑物。实际使用中，上述预设的重叠面积阈值还可以根据实际需求进行设置和调整，在此不做具体限定。
具体的，本实施例中，用M代表最终的建筑物变化检测结果，首先将M初始化为零矩阵，然后按如下规则进行决策融合：
遍历O2中所有实例
Figure BDA0002894716460000132
每个实例按以下公式进行处理：
Figure BDA0002894716460000133
其中，M表示变化检测结果，(i,j)表示像素坐标，S(.)代表求取面积，∩表示实例重叠部分，∧表示同时满足条件。该公式的意义为：提取O2中的建筑物对象，满足对应位置DI_DSM不为0，且与O1中实例重叠的面积小于自身面积的一半，标记为新增建筑物。
遍历O1中所有实例
Figure BDA0002894716460000141
每个实例按以下公式进行处理：
Figure BDA0002894716460000142
该公式的意义为：提取O1中的建筑物对象，满足对应位置DI_DSM不为0，且与O2中实例重叠的重叠面积小于自身面积的一半，标记为移除建筑物。
遍历O1中所有实例
Figure BDA0002894716460000143
针对每一个
Figure BDA0002894716460000144
遍历O2中所有实例
Figure BDA0002894716460000145
按以下公式进行处理：
Figure BDA0002894716460000146
其中，max(.)表示求最大值，该公式的意义为：提取O1和O2中相交的建筑物对象均大于自身面积的一半，且满足对应位置DI_DSM不为0，标记为建筑物高度发生变化。
通过上述决策级融合，可以得到最终的建筑物变化检测结果Mi,j，结果中M＝0表示未变化，M＞0，表示发生建筑物变化，取值M＝1,2,3，分别表示建筑物的新增变化、移除变化和高度变化。
图5是本发明实施例提供的一种建筑物变化检测方法的实现示意图，结合图5和上述具体流程可知，本发明实施例中，结合多源数据进行建筑物变化检测，引入面向对象(建筑物实例)的方法，可以解决多源数据时相不一致而存在变化和观测差异的问题，有效移除多时相数据配准误差或观测差异导致的误报，提高建筑物变化检测的可靠性。
本实施例中，为了定量分析本发明实施例的最终变化检测结果，采用以下四个指标来评估检测结果：漏检像素率Pm：变化像素被错误地检测为未变化像素为漏检像素(MD，Missed detection)，漏检率Pm可由Pm＝MD/N0×100％计算，其中MD为漏检像素的数目，N0为变化像素的数目；虚检像素Pf：未变化的像素被错误地检测为变化像素的数目为虚检像素(FA，False alarms)，虚检率Pf可由Pf＝FA/N1×100％计算，其中FA为虚检像素的数目，N1为未变化像素的数目；总错误率Pt：可由Pt＝(FA+MD)/(N0+N1)×100％计算；Kappa系数。具体的指标对比如下表所示：
方法 P<sub>m</sub>(％) P<sub>f</sub>(％) P<sub>t</sub>(％) Kappa
方法A 28.03 2.88 3.59 0.5124
方法B 35.61 1.92 2.860 0.5430
方法C 13.02 3.97 4.23 0.5175
方法D 33.05 2.68 3.53 0.4983
方法E 8.87 2.95 3.13 0.6195
方法F 22.39 1.21 1.84 0.7061
CNN_DSM 24.05 0.32 1.02 0.8103
CNN_RGBD 22.72 0.22 0.90 0.8327
其中，本发明实施例提供的CNN_RGBD方法(结合多源数据、采用深度学习模型、引入建筑物实例)的检测精度明显优于其它方法。本发明实施例提供的建筑物变化检测方法，可以结合多源数据提高检测结果的可靠性，同时，深度学习模型提高了建筑物分类的精度，面向对象思想的引入减少了影像配准误差造成的虚检，进一步提高精度。
示例性设备
如图6中所示，对应于上述建筑物变化检测方法，本发明实施例还提供一种建筑物变化检测装置，上述建筑物变化检测装置包括：
数据获取模块610，用于获取多源数据，其中，上述多源数据包括点云数据和遥感影像数据。
具体的，上述点云数据为机载点云数据，上述点云数据和上述遥感影响数据的来源不同。
预处理模块620，用于对上述点云数据和上述遥感影像数据进行预处理，获取归一化DSM数据、灰度归一化DSM数据和目标遥感影像数据。
具体的，上述目标遥感影像数据为进行预处理后的遥感影像数据，上述灰度归一化DSM数据为对归一化DSM数据进行灰度转换后的数据。其中，上述预处理为遥感领域中的基础步骤，包括但不限于配准和辐射校正等。
建筑物概率图获取模块630，用于基于上述灰度归一化DSM数据和上述目标遥感影像数据获取建筑物概率图。
检测结果获取模块640，用于基于上述归一化DSM数据和上述建筑物概率图，获取建筑物变化检测结果。
其中，上述建筑物概率图体现图像中对应像素点属于建筑物的概率，具体的，概率值的范围为(0,1)，概率越大，表明对应的像素点为建筑物的概率越大。融合灰度归一化DSM数据和目标遥感影像数据获取建筑物概率图，再基于归一化DSM数据和上述建筑物概率图分析获取建筑物变化检测结果，从而融合多源数据(点云数据和遥感影像数据)对建筑物变化进行检测，将数字表面模型(DSM)与高分遥感影像融合，充分利用DSM的三维空间特征和高分遥感影像的光谱、纹理等特征，更好的实现对建筑物变化的检测。
由上可见，本发明实施例提供的建筑物变化检测装置通过数据获取模块610获取多源数据，其中，上述多源数据包括点云数据和遥感影像数据；通过预处理模块620对上述点云数据和上述遥感影像数据进行预处理，获取归一化DSM数据、灰度归一化DSM数据和目标遥感影像数据；通过建筑物概率图获取模块630基于上述灰度归一化DSM数据和上述目标遥感影像数据获取建筑物概率图；通过检测结果获取模块640基于上述归一化DSM数据和上述建筑物概率图，获取建筑物变化检测结果。本发明方案提供的建筑物变化检测装置可以融合多源数据进行建筑物变化检测，相对于现有技术中仅根据一种数据对建筑物变化进行检测的方案，本发明方案有利于提升建筑物变化检测的准确性。
具体的，本实施例中，上述多源数据包括两个时期的点云数据和两个时期的遥感影像数据。
其中，上述两个时期是指变化发生前的T1时刻(第一时期)和变化发生后的T2时刻(第二时期)，T1≠T2。上述两个时期的点云数据包括T1时刻的第一时期的点云数据和T2时刻的第二时期的点云数据，上述两个时期的遥感影像数据包括T1时刻的第一时期的遥感影像数据和T2时刻或接近T2时刻的第二时期的遥感影像数据。
具体的，本实施例中，如图7所示，上述预处理模块620包括：
校正单元621，用于对上述两个时期的点云数据和上述两个时期的遥感影像数据进行配准和辐射校正，获得两个时期的目标点云数据和两个时期的目标遥感影像数据。
归一化单元622，用于基于上述两个时期的目标点云数据生成两个时期的归一化DSM数据。
灰度转换单元623，用于对上述两个时期的归一化DSM数据进行灰度变换，获得两个时期的灰度归一化DSM数据。
其中，上述目标点云数据和目标遥感影像数据为进行配准和辐射校正之后的点云数据和遥感影像数据。基于两个时期的目标点云数据生成两个时期的归一化DSM数据(nDSM数据)。具体的，对于每个时期的点云数据，生成归一化DSM数据的流程如下：使用ArcGIS软件的LAS Dataset to Raster工具将LAS格式的点云数据插值为0.5米分辨率的DSM；利用LAStools工具库中的lasground工具提取地面点，其中terrain type参数为city orwarehouses，granularity参数为fine，得到地面点高程图像；为了消除地形的起伏对建筑物高度提取造成的影响，将原始DSM减去地面点高程最后得到归一化的DSM(nDSM)。
进一步的，本实施例中，将上述nDSM数据的灰度值(DN，Digital Number)变换到[0,255]的值域范围，使用的灰度变换公式如下所示：
Figure BDA0002894716460000171
其中，int(.)表示取整，
Figure BDA0002894716460000172
表示变换后的nDSM灰度值，其值域为[0,255]。nDSM经过灰度变换后的灰度归一化DSM数据可以记为
Figure BDA0002894716460000173
具体的，上述建筑物概率图获取模块630用于：基于上述两个时期的灰度归一化DSM数据和上述两个时期的目标遥感影像数据，通过深度卷积神经网络模型实现两个时期的建筑物深度特征信息提取，并获得两个时期的建筑物概率图。
本实施例中，通过设计的深度卷积神经网络模型从灰度归一化DSM数据(
Figure BDA0002894716460000174
数据)和遥感影像中提取深度特征。在一种应用场景中，上述遥感影像可以作为可选的输入，以减少计算量，降低检测所需时间。上述深度卷积神经网络模型可以为U-Net网络模型，还可以为其他模型，在此不做具体限定。本实施例中，采用U-Net网络模型，该网络基于全卷积神经网络，并对其架构进行了一些修改和扩展，旨在减少对训练数据的依赖和提高速度，并产生更精确的分割结果。该网络由一条降尺度路径和一条升尺度路径组成，具有U型结构。降尺度路径是一个典型的卷积网络，它由多个卷积层(Conv)的叠加组成，每个卷积之后都有一个批标准化层(BN，BatchNormal)和一个整流线性单元(ReLU，Rectified LinearUnit)，每隔两个卷积层都使用了一个最大的池化操作(MaxPool)进行降尺度，这个过程中空间信息减少，特征信息增加，可以看成是一个特征编码的过程。升尺度路径通过一系列的上采样层(Upsample)并连接与降尺度路径中对应的高分辨率特征实现特征信息和空间信息的结合。
在建筑物像素提取任务中，模型旨在识别输入像素是否为建筑物，因此是一个经典二分类问题，可以使用Sigmoid函数作为最后一个卷积层神经元输出，其公式如下所示：
Figure BDA0002894716460000181
由于其取值范围为(0,1)，公式(11)可以将一个实数映射到(0,1)的区间作为概率输出，非常适合二分类任务。进一步的，可以使用交叉熵损失函数作为目标优化函数，其公式如下所示：
Figure BDA0002894716460000182
其中，N为样本数，Yn表示样本真值，取值为1和0，分别表示建筑物或非建筑物，
Figure BDA0002894716460000183
表示模型输出的概率，取值范围为(0,1)。
由于U-Net网络模型结构的输入大小为224×224×N，表示224×224像素大小且具有N个通道的图像，在本实施例中，N＝1或者N＝4，分别表示只用
Figure BDA0002894716460000184
单个通道，即基于DSM数据的方法；或者使用R(红)，G(绿)，B(蓝)，D
Figure BDA0002894716460000185
四个通道，即基于RGBD数据的方法，因此需要对训练样本进行裁剪和通道叠加。
训练过程将从
Figure BDA0002894716460000186
影像中或遥感影像和
Figure BDA0002894716460000187
的叠加影像中依次裁剪224×224大小的像素块作为模型输入，并通过水平和垂直翻转输入块作为样本增广策略。实际使用中，由于受到实验区数据量的限制，可以使用国际摄影测量与遥感协会(ISPRS)开放的用于三维场景重建与分析的Potsdam区域数据集作为训练区域。本实施例中实验区域共包括24组数据，每组数据包括：一张大小为6000×6000像素，空间分辨率为0.05米，具有R，G，B共3个波段的遥感影像；一张对应像素大小和分辨的并经过灰度变换的
Figure BDA0002894716460000191
影像；一张对应像素大小和分辨率的建筑物真值标签。
通过交叉熵损失函数和随机梯度下降策略对设计的分类器进行训练，当损失函数值不再下降时停止训练，得到两个训练好的建筑物分类器，一个基于DSM数据，即不使用遥感影像训练；另一个基于RGBD数据，即使用遥感影像训练。
具体的，本实施例中，上述检测结果获取模块640具体用于：基于预设的概率阈值对上述两个时期的建筑物概率图进行处理，获得两个时期的建筑物二值图；分别提取上述两个时期的建筑物二值图中的连通区域，生成两个时期的建筑物实例图，其中，上述两个时期的建筑物实例图包括第一时期建筑物实例图和第二时期建筑物实例图；基于上述两个时期的归一化DSM数据、上述第一时期建筑物实例图和上述第二时期建筑物实例图，获取建筑物变化检测结果。
本实施例中，通过阈值算法将深度卷积神经网络生成的概率图生成为二值图，基于二值图中的建筑物提取结果进行实例化，然后再基于实例化结果和归一化DSM数据获取建筑物变化检测结果。面向对象(实例化)思想的引入减少了影像配准误差造成的误报。
具体的，根据上述深度卷积神经网络模型生成的建筑物概率图
Figure BDA0002894716460000196
通过阈值算法得到每个时期的建筑物提取结果，计算公式如下所示：
Figure BDA0002894716460000192
其中，
Figure BDA0002894716460000193
表示第t时期的像素提取为建筑物，t∈{1,2}，即
Figure BDA0002894716460000194
和
Figure BDA0002894716460000195
分别表示第一时期和第二期的建筑物提取结果。上述预设的概率阈值为预先设置的判断像素点是否为建筑的临界概率值，本实施例中设置为0.5，实际使用中可以根据实际需要进行设置和调整，在此不做具体限定。考虑到两个时期都为建筑物但是高度发生变化的情况，不能直接进行分类后变化检测，而且两个时期影像不可避免的存在几何误差，导致变化检测结果出现大量的碎斑，为了解决此问题，本实施例中进一步基于上述二值图生成建筑物实例图。
利用面向对象的变化检测方法处理nDSM数据时，处理的最小单元是含有更多语义信息的由多个相邻像素组成的对象，而不再是单独的像素。因此能够较好地解决nDSM变化检测的噪声问题。因此首先可以基于高程将建筑物二值分类图像
Figure BDA0002894716460000201
进行实例化，如下公式所示：
Figure BDA0002894716460000202
式中，instance(.)8表示按照8邻域提取连通区域，并为每个连通区域赋一个独有的像素值k，表示一个建筑物实例(建筑物对象)ok，得到建筑物实例图Ot，即
Figure BDA0002894716460000203
其中N表示建筑物实例个数，t＝1或2，表示第一时期或第二时期的结果，即第一时期建筑物实例图O1和第二时期建筑物实例图O2。进一步的，对于上述一时期建筑物实例图O1和第二时期建筑物实例图O2，还可以通过预先设置的最小面积阈值Tmin-area过滤掉其中的小面积区域，即删除面积小于Tmin-area的建筑物实例。
进一步的，本实施例中，上述检测结果获取模块640还具体用于：对上述两个时期的归一化DSM数据进行差分，获取差异DSM数据；将上述差异DSM数据中高度变化小于预设的高度变化阈值的区域的高度变化设置为0，且将两个时期均为非建筑物区域的高度变化设置为0，获取建筑物高度变化图像；基于上述建筑物高度变化图像、上述第一时期建筑物实例图和上述第二时期建筑物实例图，对建筑物的信息进行融合，获取建筑物变化检测结果。
其中，上述预设的高度变化阈值为预先设置的高度变化阈值，实际使用中，可以根据实际需求进行设定和调整，在此不做具体限定。建筑物变化主要是体现在建筑物高度发生变化，因此可以通过对两个时期的nDSM数据进行差分得到差异DSM(D_DSM)数据，为了移除非建筑物高度变化导致的高程变化，使用上一步生成的两时期建筑物实例图O1和O2作为掩模，将非建筑物区域的高程变化设置为0，而且高度变化小于预设的高度变化阈值Tmin-heihht的区域也设置为0，如下公式所示：
Figure BDA0002894716460000211
其中，(i,j)表示像素坐标，
Figure BDA0002894716460000212
表示该位置像素不为建筑物像素，DI_DSM表示建筑物高度变化图像。
本实施例中，基于上述建筑物高度变化图像DI_DSM、第一时期建筑物实例图O1和第二时期建筑物实例图O2，对建筑物的信息进行决策级融合，获取建筑物变化检测结果。具体的，提取上述第二时期建筑物实例图中的建筑物对象，当对应位置的建筑物高度变化图像中高度变化不为0，且与上述第一时期建筑物实例图中对应位置的建筑物对象的重叠面积小于预设的重叠面积阈值时，标记为新增建筑物；提取上述第一时期建筑物实例图中的建筑物对象，当对应位置的建筑物高度变化图像中高度变化不为0，且与上述第二时期建筑物实例图中对应位置的建筑物对象的重叠面积小于预设的重叠面积阈值时，标记为新增建筑物；提取上述第一时期建筑物实例图和上述第二时期建筑物实例图中相交的建筑物对象，当对应位置的建筑物高度变化图像中高度变化不为0，且相交面积大于预设的重叠面积阈值时，标记为建筑物高度发生变化。
其中，上述预设的重叠面积阈值为预先设置的建筑物重叠面积的临界值，本实施例中，上述预设的重叠面积阈值设置为待判断对象的面积的二分之一，即对于从上述第二时期建筑物实例图中提取出的建筑物对象，当对应位置的建筑物高度变化图像中高度变化不为0时，若满足与上述第一时期建筑物实例图中对应位置的建筑物对象的重叠面积小于自身面积的一半则标记为新增建筑物。实际使用中，上述预设的重叠面积阈值还可以根据实际需求进行设置和调整，在此不做具体限定。
具体的，本实施例中，用M代表最终的建筑物变化检测结果，首先将M初始化为零矩阵，然后按如下规则进行决策融合：
遍历O2中所有实例
Figure BDA0002894716460000213
每个实例按以下公式进行处理：
Figure BDA0002894716460000214
其中，M表示变化检测结果，(i,j)表示像素坐标，S(.)代表求取面积，∩表示实例重叠部分，∧表示同时满足条件。该公式的意义为：提取O2中的建筑物对象，满足对应位置DI_DSM不为0，且与O1中实例重叠的面积小于自身面积的一半，标记为新增建筑物。
遍历O1中所有实例
Figure BDA0002894716460000221
每个实例按以下公式进行处理：
Figure BDA0002894716460000222
该公式的意义为：提取O1中的建筑物对象，满足对应位置DI_DSM不为0，且与O2中实例重叠的重叠面积小于自身面积的一半，标记为移除建筑物。
遍历O1中所有实例
Figure BDA0002894716460000223
针对每一个
Figure BDA0002894716460000224
遍历O2中所有实例
Figure BDA0002894716460000225
按以下公式进行处理：
Figure BDA0002894716460000226
其中，max(.)表示求最大值，该公式的意义为：提取O1和O2中相交的建筑物对象均大于自身面积的一半，且满足对应位置DI_DSM不为0，标记为建筑物高度发生变化。
通过上述决策级融合，可以得到最终的建筑物变化检测结果Mi,j，结果中M＝0表示未变化，M＞0，表示发生建筑物变化，取值M＝1,2,3，分别表示建筑物的新增变化、移除变化和高度变化。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图8所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和建筑物变化检测程序。该内存储器为非易失性存储介质中的操作系统和建筑物变化检测程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该建筑物变化检测程序被处理器执行时实现上述任意一种建筑物变化检测方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图8中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的建筑物变化检测程序，上述建筑物变化检测程序被上述处理器执行时进行以下操作指令：
获取多源数据，其中，上述多源数据包括点云数据和遥感影像数据；
对上述点云数据和上述遥感影像数据进行预处理，获取归一化DSM数据、灰度归一化DSM数据和目标遥感影像数据；
基于上述灰度归一化DSM数据和上述目标遥感影像数据获取建筑物概率图；
基于上述归一化DSM数据和上述建筑物概率图，获取建筑物变化检测结果。
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有建筑物变化检测程序，上述建筑物变化检测程序被处理器执行时实现本发明实施例提供的任意一种建筑物变化检测方法的步骤。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (7)

1.一种建筑物变化检测方法，其特征在于，所述方法包括：
获取多源数据，其中，所述多源数据包括点云数据和遥感影像数据；
对所述点云数据和所述遥感影像数据进行预处理，获取归一化DSM数据、灰度归一化DSM数据和目标遥感影像数据；
基于所述灰度归一化DSM数据和所述目标遥感影像数据获取建筑物概率图；
基于所述归一化DSM数据和所述建筑物概率图，获取建筑物变化检测结果；
其中，所述多源数据包括两个时期的点云数据和两个时期的遥感影像数据；
所述对所述点云数据和所述遥感影像数据进行预处理，获取归一化DSM数据、灰度归一化DSM数据和目标遥感影像数据，包括：对所述两个时期的点云数据和所述两个时期的遥感影像数据进行配准和辐射校正，获得两个时期的目标点云数据和两个时期的目标遥感影像数据；基于所述两个时期的目标点云数据生成两个时期的归一化DSM数据；对所述两个时期的归一化DSM数据进行灰度变换，获得两个时期的灰度归一化DSM数据；
所述基于所述灰度归一化DSM数据和所述目标遥感影像数据获取建筑物概率图，包括：基于所述两个时期的灰度归一化DSM数据和所述两个时期的目标遥感影像数据，通过深度卷积神经网络模型实现两个时期的建筑物深度特征信息提取，并获得两个时期的建筑物概率图。
2.根据权利要求1所述的建筑物变化检测方法，其特征在于，所述基于所述归一化DSM数据和所述建筑物概率图，获取建筑物变化检测结果，包括：
基于预设的概率阈值对所述两个时期的建筑物概率图进行处理，获得两个时期的建筑物二值图；
分别提取所述两个时期的建筑物二值图中的连通区域，生成两个时期的建筑物实例图，其中，所述两个时期的建筑物实例图包括第一时期建筑物实例图和第二时期建筑物实例图；
基于所述两个时期的归一化DSM数据、所述第一时期建筑物实例图和所述第二时期建筑物实例图，获取建筑物变化检测结果。
3.根据权利要求2所述的建筑物变化检测方法，其特征在于，所述基于所述两个时期的归一化DSM数据、所述第一时期建筑物实例图和所述第二时期建筑物实例图，获取建筑物变化检测结果，包括：
对所述两个时期的归一化DSM数据进行差分，获取差异DSM数据；
将所述差异DSM数据中高度变化小于预设的高度变化阈值的区域的高度变化设置为0，且将两个时期均为非建筑物区域的高度变化设置为0，获取建筑物高度变化图像；
基于所述建筑物高度变化图像、所述第一时期建筑物实例图和所述第二时期建筑物实例图，对建筑物的信息进行融合，获取建筑物变化检测结果。
4.根据权利要求3所述的建筑物变化检测方法，其特征在于，所述基于所述建筑物高度变化图像、所述第一时期建筑物实例图和所述第二时期建筑物实例图，对建筑物的信息进行融合，获取建筑物变化检测结果，包括：
提取所述第二时期建筑物实例图中的建筑物对象，当对应位置的建筑物高度变化图像中高度变化不为0，且与所述第一时期建筑物实例图中对应位置的建筑物对象的重叠面积小于预设的重叠面积阈值时，标记为新增建筑物；
提取所述第一时期建筑物实例图中的建筑物对象，当对应位置的建筑物高度变化图像中高度变化不为0，且与所述第二时期建筑物实例图中对应位置的建筑物对象的重叠面积小于预设的重叠面积阈值时，标记为移除建筑物；
提取所述第一时期建筑物实例图和所述第二时期建筑物实例图中相交的建筑物对象，当对应位置的建筑物高度变化图像中高度变化不为0，且相交面积大于预设的重叠面积阈值时，标记为建筑物高度发生变化。
5.一种建筑物变化检测装置，其特征在于，所述装置包括：
数据获取模块，用于获取多源数据，其中，所述多源数据包括点云数据和遥感影像数据；
预处理模块，用于对所述点云数据和所述遥感影像数据进行预处理，获取归一化DSM数据、灰度归一化DSM数据和目标遥感影像数据；
建筑物概率图获取模块，用于基于所述灰度归一化DSM数据和所述目标遥感影像数据获取建筑物概率图；
检测结果获取模块，用于基于所述归一化DSM数据和所述建筑物概率图，获取建筑物变化检测结果；
其中，所述多源数据包括两个时期的点云数据和两个时期的遥感影像数据；
所述预处理模块具体用于：对所述两个时期的点云数据和所述两个时期的遥感影像数据进行配准和辐射校正，获得两个时期的目标点云数据和两个时期的目标遥感影像数据；基于所述两个时期的目标点云数据生成两个时期的归一化DSM数据；对所述两个时期的归一化DSM数据进行灰度变换，获得两个时期的灰度归一化DSM数据；
所述建筑物概率图获取模块具体用于：基于所述两个时期的灰度归一化DSM数据和所述两个时期的目标遥感影像数据，通过深度卷积神经网络模型实现两个时期的建筑物深度特征信息提取，并获得两个时期的建筑物概率图。
6.一种智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的建筑物变化检测程序，所述建筑物变化检测程序被所述处理器执行时实现如权利要求1-4任意一项所述建筑物变化检测方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有建筑物变化检测程序，所述建筑物变化检测程序被处理器执行时实现如权利要求1-4任意一项所述建筑物变化检测方法的步骤。
CN202110038829.0A 2021-01-12 2021-01-12 一种建筑物变化检测方法、装置、智能终端及存储介质 Active CN112819753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110038829.0A CN112819753B (zh) 2021-01-12 2021-01-12 一种建筑物变化检测方法、装置、智能终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110038829.0A CN112819753B (zh) 2021-01-12 2021-01-12 一种建筑物变化检测方法、装置、智能终端及存储介质

Publications (2)

Publication Number Publication Date
CN112819753A CN112819753A (zh) 2021-05-18
CN112819753B true CN112819753B (zh) 2021-11-30

Family

ID=75868985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110038829.0A Active CN112819753B (zh) 2021-01-12 2021-01-12 一种建筑物变化检测方法、装置、智能终端及存储介质

Country Status (1)

Country Link
CN (1) CN112819753B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051519B (zh) * 2023-02-02 2023-08-22 广东国地规划科技股份有限公司 双时相影像建筑物变化检测方法、装置、设备及存储介质
CN116258967B (zh) * 2023-05-09 2023-08-04 深圳市森歌数据技术有限公司 一种基于改进SNUNet-CD的城市违建变化检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345250B1 (en) * 2009-11-02 2013-01-01 Exelis, Inc. System and method for detecting chemical species from a remote sensing platform
CN104766341A (zh) * 2015-05-04 2015-07-08 福建师范大学 一种基于dsm和核密度估计的遥感影像建筑物变化检测方法
CN109410329A (zh) * 2018-11-01 2019-03-01 中国科学院寒区旱区环境与工程研究所 一种雪崩信息提取方法、装置、电子设备及存储介质
CN110243354A (zh) * 2019-07-04 2019-09-17 桂林理工大学 一种城市违法建筑物动态监测方法和系统
EP3674662A1 (en) * 2018-12-20 2020-07-01 HERE Global B.V. Automatic detection and positioning of pole-like objects in 3d
CN111487643A (zh) * 2020-04-13 2020-08-04 中国科学院空天信息创新研究院 一种基于激光雷达点云和近红外影像的建筑物检测方法
CN112017135A (zh) * 2020-07-13 2020-12-01 香港理工大学深圳研究院 一种遥感影像数据时空融合的方法、系统及设备
CN112099046A (zh) * 2020-09-16 2020-12-18 辽宁工程技术大学 基于多值体素模型的机载lidar三维平面检测方法
CN112183434A (zh) * 2020-10-12 2021-01-05 南方电网能源发展研究院有限责任公司 建筑物变化检测方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11194847B2 (en) * 2018-12-21 2021-12-07 Here Global B.V. Method, apparatus, and computer program product for building a high definition map from crowd sourced data
CN111738972B (zh) * 2019-03-19 2024-05-28 阿里巴巴集团控股有限公司 建筑检测系统、方法和装置
CN112085778A (zh) * 2020-08-04 2020-12-15 广东国地规划科技股份有限公司 基于超像素和形态学的倾斜摄影违法建筑检测方法及系统
CN111968088B (zh) * 2020-08-14 2023-09-15 西安电子科技大学 一种基于像素和区域分割决策融合的建筑物检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345250B1 (en) * 2009-11-02 2013-01-01 Exelis, Inc. System and method for detecting chemical species from a remote sensing platform
CN104766341A (zh) * 2015-05-04 2015-07-08 福建师范大学 一种基于dsm和核密度估计的遥感影像建筑物变化检测方法
CN109410329A (zh) * 2018-11-01 2019-03-01 中国科学院寒区旱区环境与工程研究所 一种雪崩信息提取方法、装置、电子设备及存储介质
EP3674662A1 (en) * 2018-12-20 2020-07-01 HERE Global B.V. Automatic detection and positioning of pole-like objects in 3d
CN110243354A (zh) * 2019-07-04 2019-09-17 桂林理工大学 一种城市违法建筑物动态监测方法和系统
CN111487643A (zh) * 2020-04-13 2020-08-04 中国科学院空天信息创新研究院 一种基于激光雷达点云和近红外影像的建筑物检测方法
CN112017135A (zh) * 2020-07-13 2020-12-01 香港理工大学深圳研究院 一种遥感影像数据时空融合的方法、系统及设备
CN112099046A (zh) * 2020-09-16 2020-12-18 辽宁工程技术大学 基于多值体素模型的机载lidar三维平面检测方法
CN112183434A (zh) * 2020-10-12 2021-01-05 南方电网能源发展研究院有限责任公司 建筑物变化检测方法和装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Building Change Detection by Combining LiDAR Data and Ortho Image;Daifeng Peng等;《The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences》;20160719;第669-676页 *
Building Change Detection Usinga Shape Context Similarity Model for LiDAR Data;XuzheLyu等;《International Journal of Geo-Information》;20201115;第1-15页 *
Kernel Partial Least Squares Based Hierarchical Building Change Detection using High Resolution Aerial Images and Lidar Data;Kaibin Zong等;《2013 International Conference on Digital Image Computing: Technqiues and Applications(DICTA)》;20131128;第1-7页 *
基于多时相DMC影像的建筑物变化检测技术研究;刘春玲;《黑龙江生态工程职业学院学报》;20151115;第28卷(第6期);第23-25+155页 *
结合像元级和目标级的高分辨率遥感影像建筑物变化检测;张志强等;《测绘学报》;20180115;第47卷(第1期);第102-112页 *

Also Published As

Publication number Publication date
CN112819753A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN110084292B (zh) 基于DenseNet和多尺度特征融合的目标检测方法
CN108230329B (zh) 基于多尺度卷积神经网络的语义分割方法
Khoshelham et al. Performance evaluation of automated approaches to building detection in multi-source aerial data
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN110378297B (zh) 基于深度学习的遥感图像目标检测方法、装置、及存储介质
CN109472199B (zh) 一种图像融合分类的方法及装置
Jiang et al. Focal-test-based spatial decision tree learning
Su et al. Deep convolutional neural network–based pixel-wise landslide inventory mapping
Khoshboresh-Masouleh et al. Multiscale building segmentation based on deep learning for remote sensing RGB images from different sensors
CN112819753B (zh) 一种建筑物变化检测方法、装置、智能终端及存储介质
CN112990313B (zh) 高光谱图像异常检测方法、装置、计算机设备及存储介质
CN112016400B (zh) 一种基于深度学习的单类目标检测方法、设备及存储介质
CN114627052A (zh) 一种基于深度学习的红外图像漏气漏液检测方法及系统
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN110570442A (zh) 一种复杂背景下轮廓检测方法、终端设备及存储介质
Valliammal et al. A novel approach for plant leaf image segmentation using fuzzy clustering
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
Rezaei et al. Gland segmentation in histopathology images using deep networks and handcrafted features
Fujii et al. X-net with different loss functions for cell image segmentation
US20170053172A1 (en) Image processing apparatus, and image processing method
CN113673556A (zh) 一种基于多尺度密集卷积网络的高光谱图像分类方法
CN112435214A (zh) 基于先验框线性缩放的花粉检测方法、装置和电子设备
CN114841974A (zh) 一种水果内部结构无损检测方法、系统、电子设备及介质
Martins et al. Machine learning and SLIC for Tree Canopies segmentation in urban areas
CN114332644A (zh) 一种基于视频卫星数据的大视场交通密度获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant