CN112818925B - 一种城市建筑和树冠识别方法 - Google Patents

一种城市建筑和树冠识别方法 Download PDF

Info

Publication number
CN112818925B
CN112818925B CN202110215953.XA CN202110215953A CN112818925B CN 112818925 B CN112818925 B CN 112818925B CN 202110215953 A CN202110215953 A CN 202110215953A CN 112818925 B CN112818925 B CN 112818925B
Authority
CN
China
Prior art keywords
point cloud
dimensional
neural network
deep neural
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110215953.XA
Other languages
English (en)
Other versions
CN112818925A (zh
Inventor
陆新征
孙楚津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110215953.XA priority Critical patent/CN112818925B/zh
Publication of CN112818925A publication Critical patent/CN112818925A/zh
Application granted granted Critical
Publication of CN112818925B publication Critical patent/CN112818925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/28—Design optimisation, verification or simulation using fluid dynamics, e.g. using Navier-Stokes equations or computational fluid dynamics [CFD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/08—Fluids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00—Adapting or protecting infrastructure or their operation
    • Y02A30/60—Planning or developing urban green infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Optimization (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Analysis (AREA)
  • Fluid Mechanics (AREA)
  • Algebra (AREA)
  • Medical Informatics (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于数据处理技术领域，涉及一种城市建筑和树冠识别方法，尤其涉及一种基于倾斜摄影点云和多维融合深度学习的城市建筑和树冠识别方法。包括：基于无人机倾斜摄影测量获取目标区域的稠密点云；栅格化稠密点云生成图片；在二维平面，对图片进行数据增强，训练二维深度网络，预测逐像素分类概率；在三维空间，将逐像素分类概率与稀疏点云进行特征组合，过滤地面后训练三维深度网络，预测逐点标签。本发明方法能够融合二维和三维深度学习技术，实现城市点云中建筑和树冠的高精度识别，可以为城市风环境计算流体力学仿真、城市绿化分析等提供建模的数据基础。

Description

一种城市建筑和树冠识别方法
技术领域
本发明属于数据处理技术领域，涉及一种城市建筑和树冠识别方法，尤其涉及一种基于倾斜摄影点云和多维融合深度学习的城市建筑和树冠识别方法。
背景技术
城市风环境计算流体力学仿真、城市绿化分析等需要建立建筑和树冠的三维模型。倾斜摄影可以生成点云，提供城市环境要素的几何和颜色信息。基于人工识别建筑和树冠，尽管可以较为精细地赋予类别标签，但需要丰富的工作经验和大量的时间成本。为此，有方法采用支持向量机自动识别，参见Zhou,Q.Y.(2012).3D Urban Modeling From City-Scale Aerial LiDAR Data.University of Southern California,CA,US.，但这种方法只能识别城市环境中的建筑，而对于树冠和杂项没有区分能力。另外，这种方法需要预先定义输入特征，受到人为因素的影响且特征计算较为耗时。近年来,深度学习技术在语义分割领域得到了广泛应用，根据输入对象的不同可以分为二维和三维两类问题。二维深度学习网络一般用于二维遥感影像的识别，若直接用于投影到二维平面的倾斜摄影生成的三维点云，则会由于丢失了高度信息而面临边缘预测精度有限、无法反映三维特征的问题。利用三维深度学习网络对三维点云直接识别，目前已有相关应用，参见Lowphansirikul,C.,Kim,K.,Vinayaraj,P.,&Tuarob,S.(2019).3D Semantic Segmentation of Large-ScalePoint-Clouds in Urban Areas Using Deep Learning.201911th InternationalConference on Knowledge and Smart Technology(KST),238–243.https://doi.org/ 10.1109/KST.2019.8687813，但仍然面临由于设备显存限制需要抽稀导致丢失信息，以及对点云误差更加敏感的问题。
发明内容
本发明的目的是提出一种城市建筑和树冠识别方法，基于倾斜摄影点云，融合二维和三维的深度学习技术，以提高城市点云中建筑和树冠的识别精度，为城市风环境计算流体力学仿真、城市绿化分析等提供建模的数据基础。
本发明提出的城市建筑和树冠识别方法，包括：
获取目标区域的稠密点云；
对稠密点云进行栅格化，生成图片；
在二维平面，对图片进行数据增强，训练验证一个二维深度神经网络，利用二维深度神经网络得到图片中每个像素的分类概率；
在三维空间，将每个像素的分类概率与稀疏点云进行特征组合，过滤地面后训练验证一个三维深度神经网络，利用三维深度神经网络，识别每个点的类别标签；
获取待识别区域的稠密点云，利用二维深度神经网络和三维深度神经网络，实现城市建筑和树冠的识别。
本发明提出的城市建筑和树冠识别方法，其优点是：
本发明方法通过融合二维和三维深度神经网络，显著提升了城市点云中建筑和树冠的识别精度。在深圳市某数据集上测试，其结果精确率和召回率对于建筑可分布达到96％和96％，对于树冠可分别达到86％和92％。与已有的基于支持向量机的方法相比，具备了杂项的区分能力，提升了建筑和树冠的识别精确率；与已有的单一的二维深度学习技术相比，由于具备高度信息，提升了在物体边缘的识别能力，进而提升了建筑和树冠的识别召回率；与已有的单一的三维深度学习技术相比，由于具备信息更完备，提升了对于形态复杂的树冠的识别能力，进而提升了树冠的识别精确率。本发明可以为城市风环境计算流体力学仿真、城市绿化分析等提供建模的数据基础。
本发明的详细内容和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为本发明方法的流程框图。
具体实施方式
本发明提出的城市建筑和树冠识别方法，其流程框图如图1所示，包括：
通过无人机倾斜摄影测量，获取目标区域的稠密点云；
对稠密点云进行栅格化，生成图片；
在二维平面，对图片进行数据增强，训练验证一个二维深度神经网络，利用二维深度神经网络得到图片中每个像素的分类概率；
在三维空间，将每个像素的分类概率与稀疏点云进行特征组合，过滤地面后训练验证一个三维深度神经网络，利用三维深度神经网络，识别每个点的类别标签；
获取待识别区域的稠密点云，利用二维深度神经网络和三维深度神经网络，实现城市建筑和树冠的识别。
本方法分为训练验证阶段和识别应用阶段，识别应用阶段使用训练验证阶段得到的模型。
本发明提出的城市建筑和树冠识别方法，其中所述的获取目标区域的稠密点云，具体过程如下：
(1)根据倾斜摄影的重叠影像、空中轨迹和相机参数数据，计算得到具有三维坐标信息和RGB颜色信息的稠密点云；
(2)由有经验的人员对稠密点云进行数据标注，标注的每个点的类别标签为建筑、树冠或杂项，将稠密点云按6:4划分为训练集和验证集。
本发明提出的城市建筑和树冠识别方法，其中所述的对稠密点云进行栅格化，生成图片的具体过程如下：
(1)将具有N个点的稠密点云记为点的集合
Figure BDA0002953787300000031
Figure BDA0002953787300000032
Pi为集合中的第i个点；
(2)将稠密点云投影到二维平面，在稠密点云覆盖范围内创建对应位置的空白图片；根据图片的像素数，将图片划分为正交网格，每个像素对应一个网格；将图片中第m行第n列的像素(m,n)对应的正交网格内的点的集合记为
Figure BDA0002953787300000033
Figure BDA0002953787300000034
(3)使图片中每个像素(m,n)的颜色向量
Figure BDA0002953787300000035
取值为像素(m,n)对应的正交网格内高度最高的点
Figure BDA0002953787300000036
的颜色向量
Figure BDA0002953787300000037
以还原正俯视的航拍视角。颜色向量
Figure BDA0002953787300000038
的计算式如下：
Figure BDA0002953787300000039
其中，z(P)为点P的高度坐标，
Figure BDA00029537873000000310
为使z(P)取得最大值的集合
Figure BDA00029537873000000311
中的点P的运算符；
具有颜色向量
Figure BDA00029537873000000312
的图片即为稠密点云栅格化的图片；
(4)稠密点云栅格化的图片中片每个像素(m,n)的类别标签
Figure BDA00029537873000000313
为像素(m,n)对应的正交网格内所有点的类别标签中占比最大的类别标签
Figure BDA0002953787300000041
Figure BDA0002953787300000042
其中，
Figure BDA0002953787300000048
为计数变量，l(P)为点P的类别标签；点的类别标签集合记为
Figure BDA0002953787300000043
Figure BDA0002953787300000044
其中，lbuilding代表建筑，ltree代表树冠，lmisc代表杂项。
本发明提出的城市建筑和树冠识别方法，其中所述的在二维平面，对图片进行数据增强，训练验证一个二维深度神经网络，得到图片中每个像素的分类概率，具体过程如下：
(1)对稠密点云栅格化的图片进行随机剪裁、旋转和翻转，得到数据增强后的训练集和验证集的图片；
(2)向二维图像语义分割深度神经网络输入步骤(1)的数据增强后的训练集图片，进行训练；
(3)向二维图像语义分割深度神经网络输入步骤(1)的数据增强后的验证集图片，验证训练的模型精度；当模型精度达到用户设定阈值或80％时，完成训练，得到一个二维图像语义分割深度神经网络；
(4)向步骤(3)的二维图像语义分割深度神经网络输入稠密点云栅格化的图片，二维图像语义分割深度神经网络输出图片中每个像素的分类概率向量，分类概率向量的长度为点的类别标签集合
Figure BDA0002953787300000047
的类别数。
本发明的实施例中，二维图像语义分割深度神经网络使用DeepLabv3。DeepLabv3的骨架网络使用在ImageNet数据集上预训练的深度神经网络ResNet18，DeepLabv3采用深度学习代码Pytorch实现。
本发明提出的城市建筑和树冠识别方法，其中所述的在三维空间，将每个像素的分类概率与稀疏点云进行特征组合，过滤地面后训练三维深度神经网络，预测每个点的类别标签，具体过程如下：
(1)根据设备能力对稠密点云进行下采样(英文为downsample，指随机选择稠密点云的一部分点，达到抽稀的目的)得到稀疏点云；稀疏点云的特征包括三维坐标、RGB颜色、法向量和相对高程；其中，稀疏点云中的点Qi的相对高程h(Qi)为点Qi到稀疏点云点的集合
Figure BDA0002953787300000045
中最低点的竖向距离，计算式如下：
Figure BDA0002953787300000046
(2)对稀疏点云的特征进行组合，即根据步骤(1)稀疏点云的三维坐标，确定稀疏点云的点与图片像素对应的正交网格的位置关系，将图片每个像素的分类概率向量映射到该像素对应的正交网格内的每个点，作为稀疏点云的点特征，将该点特征与稀疏点云的三维坐标、RGB颜色、法向量和相对高程连接在一起，得到稀疏点云的特征向量；
(3)采用布料仿真过滤器(Cloth Simulation Filter，CSF)，过滤掉稀疏点云中的地面，得到过滤地面后的稀疏点云；
(4)向三维点云语义分割深度神经网络输入步骤(3)的过滤地面后的训练集稀疏点云和步骤(2)的训练集稀疏点云特征向量，对三维点云语义分割深度神经网络进行训练；
(5)向三维点云语义分割深度神经网络输入步骤(3)的过滤地面后的验证集稀疏点云和步骤(2)的验证集稀疏点云特征向量，验证训练的模型精度；当模型精度达到用户设定阈值或90％时，完成训练，得到三维点云语义分割深度神经网络；
(6)向步骤(5)的三维点云语义分割深度神经网络输入步骤(3)的过滤地面后的稀疏点云和步骤(2)的稀疏点云特征向量，三维点云语义分割深度神经网络输出每个点的类别标签。
本发明的实施例中，三维点云语义分割深度神经网络采用PointNet++。PointNet++的骨架网络使用深度神经网络PointNet，PointNet++采用深度学习代码Pytorch实现。布料仿真过滤器采用点云处理代码CloudCompare的插件代码CSF实现。
本发明提出的城市建筑和树冠识别方法，其中所述的利用二维深度神经网络和三维深度神经网络，实现城市建筑和树冠的识别，具体过程如下：
(1)获取待识别区域的稠密点云；
(2)将待识别区域的稠密点云栅格化为图片；
(3)利用二维图像语义分割深度神经网络，获取步骤(2)的图片中每个像素的分类概率向量；
(4)利用三维点云语义分割深度神经网络和步骤(3)的分类概率向量，获取每个点的类别标签，实现城市建筑和树冠的识别。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种城市建筑和树冠识别方法，其特征在于，包括：
(1)获取目标区域的稠密点云；
(2)对稠密点云进行栅格化，生成图片；
(3)在二维平面，对图片进行数据增强，训练验证一个二维深度神经网络，利用二维深度神经网络得到图片中每个像素的分类概率；
(4)在三维空间，将每个像素的分类概率与稀疏点云进行特征组合，过滤地面后训练验证一个三维深度神经网络，利用三维深度神经网络，识别每个点的类别标签；
(5)获取待识别区域的稠密点云，利用二维深度神经网络和三维深度神经网络，实现城市建筑和树冠的识别；
所述的在三维空间，将每个像素的分类概率与稀疏点云进行特征组合，过滤地面后训练验证一个三维深度神经网络，利用三维深度神经网络，识别每个点的类别标签，具体过程如下：
(4.1)对稠密点云进行下采样得到稀疏点云；稀疏点云的特征包括三维坐标、RGB颜色、法向量和相对高程；其中，稀疏点云中的点Qi的相对高程h(Qi)为点Qi到稀疏点云点的集合
Figure FDA0003929686520000011
中最低点的竖向距离，计算式如下：
Figure FDA0003929686520000012
(4.2)对稀疏点云的特征进行组合，即根据步骤(1)稀疏点云的三维坐标，确定稀疏点云的点与图片像素对应的正交网格的位置关系，将图片每个像素的分类概率向量映射到该像素对应的正交网格内的每个点，作为稀疏点云的点特征，将该点特征与稀疏点云的三维坐标、RGB颜色、法向量和相对高程连接在一起，得到稀疏点云的特征向量；
(4.3)采用布料仿真过滤器，过滤掉稀疏点云中的地面，得到过滤地面后的稀疏点云；
(4.4)向三维深度神经网络输入步骤(4.3)的过滤地面后的训练集稀疏点云和步骤(4.2)的训练集稀疏点云特征向量，对三维深度神经网络进行训练；
(4.5)向三维深度神经网络输入步骤(4.3)的过滤地面后的验证集稀疏点云和步骤(4.2)的验证集稀疏点云特征向量，验证训练的模型精度；当模型精度达到用户设定阈值或90％时，完成训练，得到三维深度神经网络；
(4.6)向步骤(4.5)的三维深度神经网络输入步骤(4.3)的过滤地面后的稀疏点云和步骤(4.2)的稀疏点云特征向量，三维深度神经网络输出每个点的类别标签。
2.如权利要求1所述的城市建筑和树冠识别方法，其特征在于，所述的获取目标区域的稠密点云，具体过程如下：
(1.1)根据倾斜摄影的重叠影像、空中轨迹和相机参数数据，计算得到具有三维坐标信息和RGB颜色信息的稠密点云；
(1.2)对稠密点云进行数据标注，标注的每个点的类别标签为建筑、树冠或杂项，将稠密点云按6：4划分为训练集和验证集。
3.如权利要求1所述的城市建筑和树冠识别方法，其特征在于，所述的对稠密点云进行栅格化，生成图片，具体过程如下：
(2.1)将具有N个点的稠密点云记为点的集合
Figure FDA0003929686520000021
Figure FDA0003929686520000022
Pi为集合中的第i个点；
(2.2)将稠密点云投影到二维平面，在稠密点云覆盖范围内创建对应位置的空白图片；根据图片的像素数，将图片划分为正交网格，每个像素对应一个网格；将图片中第m行第n列的像素(m，n)对应的正交网格内的点的集合记为
Figure FDA0003929686520000023
Figure FDA0003929686520000024
(2.3)使图片中每个像素(m，n)的颜色向量
Figure FDA0003929686520000025
取值为像素(m，n)对应的正交网格内高度最高的点
Figure FDA0003929686520000026
的颜色向量
Figure FDA0003929686520000027
颜色向量
Figure FDA0003929686520000028
的计算式如下：
Figure FDA0003929686520000029
其中，z(P)为点P的高度坐标，
Figure FDA00039296865200000210
为使z(P)取得最大值的集合
Figure FDA00039296865200000211
中的点P的运算符；
具有颜色向量
Figure FDA00039296865200000212
的图片即为稠密点云栅格化的图片；
(2.4)稠密点云栅格化的图片中每个像素(m，n)的类别标签
Figure FDA00039296865200000213
为像素(m，n)对应的正交网格内所有点的类别标签中占比最大的类别标签
Figure FDA00039296865200000214
Figure FDA00039296865200000215
其中，
Figure FDA00039296865200000216
为计数变量，l(P)为点P的类别标签；点的类别标签集合记为
Figure FDA00039296865200000217
Figure FDA00039296865200000218
其中，lbuilding代表建筑，ltree代表树冠，lmisc代表杂项。
4.如权利要求1所述的方法，其特征在于，所述的在二维平面，对图片进行数据增强，训练验证一个二维深度神经网络，利用二维深度神经网络得到图片中每个像素的分类概率，具体过程如下：
(3.1)对稠密点云栅格化的图片进行随机剪裁、旋转和翻转，得到数据增强后的训练集和验证集的图片；
(3.2)向二维深度神经网络输入步骤(3.1)的数据增强后的训练集图片，进行训练；
(3.3)向二维深度神经网络输入步骤(1)的数据增强后的验证集图片，验证训练的模型精度；当模型精度达到用户设定阈值或80％时，完成训练，得到一个二维深度神经网络；
(3.4)向步骤(3.3)的二维深度神经网络输入稠密点云栅格化的图片，二维深度神经网络输出图片中每个像素的分类概率向量，分类概率向量的长度为点的类别标签集合
Figure FDA0003929686520000031
的类别数。
5.如权利要求1所述的方法，其特征在于，利用二维深度神经网络和三维深度神经网络，实现城市建筑和树冠的识别，具体过程如下：
(5.1)获取待识别区域的稠密点云；
(5.2)将待识别区域的稠密点云栅格化为图片；
(5.3)利用二维深度神经网络，获取步骤(5.2)的图片中每个像素的分类概率向量；
(5.4)利用三维深度神经网络和步骤(5.3)的分类概率向量，获取每个点的类别标签，实现城市建筑和树冠的识别。
CN202110215953.XA 2021-02-26 2021-02-26 一种城市建筑和树冠识别方法 Active CN112818925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110215953.XA CN112818925B (zh) 2021-02-26 2021-02-26 一种城市建筑和树冠识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110215953.XA CN112818925B (zh) 2021-02-26 2021-02-26 一种城市建筑和树冠识别方法

Publications (2)

Publication Number Publication Date
CN112818925A CN112818925A (zh) 2021-05-18
CN112818925B true CN112818925B (zh) 2023-04-07

Family

ID=75864004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110215953.XA Active CN112818925B (zh) 2021-02-26 2021-02-26 一种城市建筑和树冠识别方法

Country Status (1)

Country Link
CN (1) CN112818925B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506305B (zh) * 2021-06-09 2023-10-24 西交利物浦大学 三维点云数据的图像增强方法、语义分割方法及装置
CN114972646B (zh) * 2022-05-31 2023-06-06 广东省核工业地质局测绘院 一种实景三维模型独立地物的提取与修饰方法及系统
CN115115806B (zh) * 2022-08-30 2022-11-22 北京飞渡科技有限公司 一种基于单基元解析的屋顶参数化重构方法及系统
CN115457496B (zh) * 2022-09-09 2023-12-08 北京百度网讯科技有限公司 自动驾驶的挡墙检测方法、装置及车辆
CN116152458A (zh) * 2023-03-14 2023-05-23 南京宇天智云仿真技术有限公司 一种基于影像的三维仿真建筑生成方法
CN116597150B (zh) * 2023-07-14 2023-09-22 北京科技大学 基于深度学习的倾斜摄影模型全要素单体化方法及装置
CN116740307A (zh) * 2023-08-15 2023-09-12 青岛星邦光电科技有限责任公司 智慧城市三维模型构建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650278B1 (en) * 2017-07-21 2020-05-12 Apple Inc. Semantic labeling of point clouds using images
CN111652085B (zh) * 2020-05-14 2021-12-21 东莞理工学院 基于2d与3d特征结合的物体识别方法
CN111898688B (zh) * 2020-08-04 2023-12-05 沈阳建筑大学 一种基于三维深度学习的机载LiDAR数据树种分类方法
CN111950658B (zh) * 2020-08-28 2024-02-09 南京大学 一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法

Also Published As

Publication number Publication date
CN112818925A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN112818925B (zh) 一种城市建筑和树冠识别方法
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
US11816907B2 (en) Systems and methods for extracting information about objects from scene information
CN110415342B (zh) 一种基于多融合传感器的三维点云重建装置与方法
CN110097553B (zh) 基于即时定位建图与三维语义分割的语义建图系统
US20210390329A1 (en) Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium
CN109934115B (zh) 人脸识别模型的构建方法、人脸识别方法及电子设备
CN110222626B (zh) 一种基于深度学习算法的无人驾驶场景点云目标标注方法
CN109102547A (zh) 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN112270249A (zh) 一种融合rgb-d视觉特征的目标位姿估计方法
CN113012122B (zh) 一种类别级6d位姿与尺寸估计方法及装置
CN110223351B (zh) 一种基于卷积神经网络的深度相机定位方法
JP2017033197A (ja) 変化領域検出装置、方法、及びプログラム
US20220004740A1 (en) Apparatus and Method For Three-Dimensional Object Recognition
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN116222577B (zh) 闭环检测方法、训练方法、系统、电子设备及存储介质
CN113724387A (zh) 一种激光与相机融合的地图构建方法
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
EP3825804A1 (en) Map construction method, apparatus, storage medium and electronic device
CN113313765A (zh) 定位方法、装置、电子设备和存储介质
Gupta et al. Tree annotations in LiDAR data using point densities and convolutional neural networks
CN113033386A (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
CN113192204B (zh) 单幅倾斜遥感图像中建筑物的三维重建方法
CN115131407A (zh) 面向数字仿真环境的机器人目标跟踪方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant