CN115272864A - 一种基于无人机航空摄影的实景三维建筑物智能提取方法 - Google Patents

一种基于无人机航空摄影的实景三维建筑物智能提取方法 Download PDF

Info

Publication number
CN115272864A
CN115272864A CN202210982425.1A CN202210982425A CN115272864A CN 115272864 A CN115272864 A CN 115272864A CN 202210982425 A CN202210982425 A CN 202210982425A CN 115272864 A CN115272864 A CN 115272864A
Authority
CN
China
Prior art keywords
model
building
live
dimensional
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210982425.1A
Other languages
English (en)
Inventor
谭晴
胡洪
刘辉
周伟明
王保国
刘虎
余剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bengbu Survey Design And Research Institute
Anhui University
Original Assignee
Bengbu Survey Design And Research Institute
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bengbu Survey Design And Research Institute, Anhui University filed Critical Bengbu Survey Design And Research Institute
Priority to CN202210982425.1A priority Critical patent/CN115272864A/zh
Publication of CN115272864A publication Critical patent/CN115272864A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于无人机航空摄影的实景三维建筑物智能提取方法，包括如下步骤：步骤1、将无人机倾斜摄影测量获得的正射影像以及实景三维模型的数据格式进行转化后，对正射影像中的建筑物进行矢量绘制，并从三维模型文件中提取出建筑物矢量文件；步骤2、对格式转化后的数据以及所提取的矢量进行点云样本的制作以及样本库的构建；步骤3、在Pointnet++网络模型上进行模型构建，利用制作好的样本数据进行模型的模拟训练；步骤4、通过模型训练对点的特征进行学习后，得到其对应的权重，将需要进行测试的点云数据,用训练模型对每一个点进行预测打分，借此，本发明使用卷积神经网络有益于从场景影像中快速、准确地提取建筑物对象，适于广泛推广应用。

Description

一种基于无人机航空摄影的实景三维建筑物智能提取方法
技术领域
本发明属于三维数据处理技术领域，特别涉及一种基于无人机航空摄影的实景三维建筑物智能提取方法。
背景技术
目前，无人机航空摄影测量已被广泛应用于城市快速实景三维建模、大比例尺地形图测绘、城市空间数据基础设施建设等工程应用，具有数据采集简单、建模成本低、建模速度快等优势，是城市场景数据获取、高精度三维模型构建的重要方式，可以快速地生成整体场景的三维地理信息模型。其构建的三维模型真实感强且纹理丰富，是大场景城市三维建模的理想方式。
建筑物的自动提取技术对于城市人口计算、规划管理、变化监测以及自然灾害的预防与警报都起着不可忽视的作用，快速以及准确的提取建筑物可为城市相关管理人员提供有力的指导意见，对于目前数字城市化建设具有重要价值。但是通过倾斜摄影软件对无人机倾斜摄影影像自动处理后生成的三维模型是整个场景的几何模型,无法区分不同的地物,无法对建筑物等地物进行分析管理。
当前无人机倾斜摄影建筑物单体化建模方法工作量大、效率低,难以得到具有高细节层级的建筑物精细三维模型,无法运用于大范围城市场景的建筑物三维模型构建。
发明内容
本发明提出一种基于无人机航空摄影的实景三维建筑物智能提取方法，解决了上述问题。
本发明的技术方案是这样实现的：一种基于无人机航空摄影的实景三维建筑物智能提取方法，包括如下步骤：
步骤1、将无人机倾斜摄影测量获得的正射影像以及实景三维模型的数据格式进行转化后，对正射影像中的建筑物进行矢量绘制，并从与实景三维模型相对应的3D模型文件中提取出建筑物矢量文件；
步骤2、对格式转化后的数据以及所提取的矢量进行点云样本的制作以及样本库的构建；
步骤3、在Pointnet++网络模型上进行模型构建，然后利用制作好的样本数据进行模型的模拟训练；
步骤4、通过模型训练对点的特征进行学习后，得到其对应的权重，将需要进行测试的点云数据,用训练模型对每一个点进行预测打分。
作为一种优选的实施方式，步骤1中将无人机倾斜摄影测量获得的正射影像以及实景三维模型的数据格式进行转化的方式为，利用倾斜伴侣软件转换为点云格式，并将转换后的点云格式文件加载至三维点云处理软件中，并下采样另存为文本格式。
作为一种优选的实施方式，步骤1中对正射影像中的建筑物进行矢量绘制的方法为，无人机倾斜摄影测量的数字正射影像图加载至计算机制图软件中，对建筑物的轮廓特征进行矢量绘制；
所述步骤1中从与实景三维模型相对应的3D模型文件中提取出建筑物矢量文件的方法为，将与实景三维模型相对应的图纸文件加载至计算机制图软件中，并将其中的建筑物转存为矢量文件。
作为一种优选的实施方式，步骤2中对格式转化后的数据以及所提取的矢量进行点云样本的制作以及样本库的构建的方法为，将数据和矢量文件加载至计算机制图软件中，通过矢量裁剪点云，将建筑物的点云分割出来，对分割后的点云进行语义标注，并完成样本集的封装。
作为一种优选的实施方式，步骤4中训练模型对每一个点进行预测打分，分数越高对应的标签即为预测标签，生成的结果为3D模型文件，并用点云可视化软件进行可视化。
作为一种优选的实施方式，生成的结果的好坏采用语义分割评价指标(MIoU)计算真实值和预测值两个集合的交集和并集之比，其计算方式为：
Figure BDA0003800705430000021
其中，TP为交集，FP、TN和FN三个为并集，K+1为类别个数。
作为一种优选的实施方式，步骤4后还包括步骤5，对训练后的可视化结果进行精度分析，检查数据并对模型提取结果进行修改。
作为一种优选的实施方式，修改的方式为，通过目视判别法进行剔除。
采用了上述技术方案后，本发明的有益效果是：
本发明基于无人机航空摄影实景三维建筑物已有的测绘成果，按照人工智能深度学习的技术要求，构建用于建筑物智能提取关键技术，从场景影像中快速、准确地提取建筑物对象并为基础测绘数据更新、地理国情监测、智慧城市建设等工作的有序开展打下坚实基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图；
图2为矢量裁剪点云示意图；
图3为pointnet网格结构示意图；
图4为pointnet++网格结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
根据图1至图4所示，一种基于无人机航空摄影的实景三维建筑物智能提取方法，包括如下步骤：
步骤1、将无人机倾斜摄影测量获得的正射影像以及实景三维模型的数据进行预处理，预处理的方式为，将格式进行转化后，对正射影像中的建筑物进行矢量绘制，并从与实景三维模型相对应的3D模型文件中提取出建筑物矢量文件；
步骤2、对格式转化后的数据以及所提取的矢量进行点云样本的制作以及样本库的构建；
步骤3、在Pointnet++网络模型上进行模型构建，然后利用制作好的样本数据进行模型的模拟训练；
步骤4、通过模型训练对点的特征进行学习后，得到其对应的权重，将需要进行测试的点云数据,用训练模型对每一个点进行预测打分。
步骤1中将无人机倾斜摄影测量获得的正射影像以及实景三维模型的数据格式进行转化的方式为，利用倾斜伴侣软件转换为点云格式，本实施例中所使用的倾斜伴侣为OSGBLab，并将转换后的点云格式文件加载至三维点云处理软件中，本实施例中三维点云处理软件为Cloudcompare，并下采样另存为文本格式。区别于传统二维影响的样本库制作方法，三维点云具有庞大的数据量的特点，一个场景里包含几百万个甚至上亿个点的信息，需要在不改变点云数据所表达的信息前提下对它进行下采样，以减少原始点云的数据量来提高深度学习处理速度。
步骤1中对正射影像中的建筑物进行矢量绘制的方法为，无人机倾斜摄影测量的数字正射影像图加载至计算机制图软件中，对建筑物的轮廓特征进行矢量绘制；
所述步骤1中从与实景三维模型相对应的3D模型文件中提取出建筑物矢量文件的方法为，将与实景三维模型相对应的图纸文件加载至计算机制图软件中，并将其中的建筑物转存为矢量文件；
本实施例中所采用的计算机制图软件为Arcgis。
步骤2中对格式转化后的数据以及所提取的矢量进行点云样本的制作以及样本库的构建的方法为，将数据和矢量文件加载至计算机制图软件(Arcgis Pro)中，通过矢量裁剪点云，将建筑物的点云分割出来，对分割后的点云进行语义标注，并完成样本集的封装，提供后续模型训练与建筑物分类提取，本发明中通过矢量裁剪点云，将建筑物的点云分割出来，对分割后的点云进行语义标注，并完成样本集的封装的方法为现有技术中的常用技术手段，因此此处不再做过多的赘述。
Pointnet是首个能够直接处理点云数据的网络，其通过结构对称操作MaxPooling(最大池化)，有效的解决了传统二维卷积网络无法解决的点集无序性问题，但是该网络不能很好的捕获由度量空间引入的局部特征，所以提出了改进版本PointNet++,它借鉴了卷积神经网络这种多层感受野的思想，设计了set abstraction(抽象层)对点云进行分层提取特征，每一个特征提取层都分为采样层、分组层和特征提取层三个部分。
步骤4中训练模型对每一个点进行预测打分，分数越高对应的标签即为预测标签，生成的结果为3D模型文件，并用点云可视化软件进行可视化，通过模型训练对点的特征进行学习后，得到其对应的权重。将需要进行测试的点云数据。用训练模型对每一个点进行预测打分，分数越高对应的标签即为预测标签。循环遍历每个点给出对应的分数，并重新进行标签。
生成的结果的好坏采用语义分割评价指标(MIoU)计算真实值和预测值两个集合的交集和并集之比，其计算方式为：
Figure BDA0003800705430000051
其中，TP为交集，FP、TN和FN三个为并集，K+1为类别个数。
TP为True positive，FP为False positive，TN为True negative，FN为Falsenegative。
步骤4后还包括步骤5，模型提取结果可能产生误差，主要是因为在点的特征学习过程中，可能会将表征相似但不是一类物体的点云划分为同一类别，因此对训练后的可视化结果进行精度分析，可视化所采用的为Mashlab软件，检查数据并对模型提取结果进行修改，修改的方式为，通过目视判别法进行剔除。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于无人机航空摄影的实景三维建筑物智能提取方法，其特征在于，包括如下步骤：
步骤1、将无人机倾斜摄影测量获得的正射影像以及实景三维模型的数据格式进行转化后，对正射影像中的建筑物进行矢量绘制，并从与实景三维模型相对应的3D模型文件中提取出建筑物矢量文件；
步骤2、对格式转化后的数据以及所提取的矢量进行点云样本的制作以及样本库的构建；
步骤3、在Pointnet++网络模型上进行模型构建，然后利用制作好的样本数据进行模型的模拟训练；
步骤4、通过模型训练对点的特征进行学习后，得到其对应的权重，将需要进行测试的点云数据,用训练模型对每一个点进行预测打分。
2.根据权利要求1所述的一种基于无人机航空摄影的实景三维建筑物智能提取方法，其特征在于，所述步骤1中将无人机倾斜摄影测量获得的正射影像以及实景三维模型的数据格式进行转化的方式为，利用倾斜伴侣软件转换为点云格式，并将转换后的点云格式文件加载至三维点云处理软件中，并下采样另存为文本格式。
3.根据权利要求1所述的一种基于无人机航空摄影的实景三维建筑物智能提取方法，其特征在于，所述步骤1中对正射影像中的建筑物进行矢量绘制的方法为，无人机倾斜摄影测量的数字正射影像图加载至计算机制图软件中，对建筑物的轮廓特征进行矢量绘制；
所述步骤1中从与实景三维模型相对应的3D模型文件中提取出建筑物矢量文件的方法为，将与实景三维模型相对应的图纸文件加载至计算机制图软件中，并将其中的建筑物转存为矢量文件。
4.根据权利要求1所述的一种基于无人机航空摄影的实景三维建筑物智能提取方法，其特征在于，所述步骤2中对格式转化后的数据以及所提取的矢量进行点云样本的制作以及样本库的构建的方法为，将数据和矢量文件加载至计算机制图软件中，通过矢量裁剪点云，将建筑物的点云分割出来，对分割后的点云进行语义标注，并完成样本集的封装。
5.根据权利要求1所述的一种基于无人机航空摄影的实景三维建筑物智能提取方法，其特征在于，所述步骤4中训练模型对每一个点进行预测打分，分数越高对应的标签即为预测标签，生成的结果为3D模型文件，并用点云可视化软件进行可视化。
6.根据权利要求5所述的一种基于无人机航空摄影的实景三维建筑物智能提取方法，其特征在于，所述生成的结果的好坏采用语义分割评价指标(MIoU)计算真实值和预测值两个集合的交集和并集之比，其计算方式为：
Figure FDA0003800705420000021
其中，TP为交集，FP、TN和FN三个为并集，K+1为类别个数。
7.根据权利要求5所述的一种基于无人机航空摄影的实景三维建筑物智能提取方法，其特征在于，所述步骤4后还包括步骤5，对训练后的可视化结果进行精度分析，检查数据并对模型提取结果进行修改。
8.根据权利要求7所述的一种基于无人机航空摄影的实景三维建筑物智能提取方法，其特征在于，所述步骤5中进行修改的方式为，通过目视判别法进行剔除。
CN202210982425.1A 2022-08-16 2022-08-16 一种基于无人机航空摄影的实景三维建筑物智能提取方法 Pending CN115272864A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210982425.1A CN115272864A (zh) 2022-08-16 2022-08-16 一种基于无人机航空摄影的实景三维建筑物智能提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210982425.1A CN115272864A (zh) 2022-08-16 2022-08-16 一种基于无人机航空摄影的实景三维建筑物智能提取方法

Publications (1)

Publication Number Publication Date
CN115272864A true CN115272864A (zh) 2022-11-01

Family

ID=83750416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210982425.1A Pending CN115272864A (zh) 2022-08-16 2022-08-16 一种基于无人机航空摄影的实景三维建筑物智能提取方法

Country Status (1)

Country Link
CN (1) CN115272864A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315160A (zh) * 2023-10-31 2023-12-29 重庆市规划和自然资源信息中心 一种建筑物三维实景建模工作方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315160A (zh) * 2023-10-31 2023-12-29 重庆市规划和自然资源信息中心 一种建筑物三维实景建模工作方法
CN117315160B (zh) * 2023-10-31 2024-05-14 重庆市规划和自然资源信息中心 一种建筑物三维实景建模工作方法

Similar Documents

Publication Publication Date Title
CN113065000B (zh) 一种基于地理实体的多源异构数据融合方法
CN110245644A (zh) 一种基于深度学习的无人机图像输电杆塔倒伏识别的方法
Wang et al. Modeling indoor spaces using decomposition and reconstruction of structural elements
Hacıefendioğlu et al. Landslide detection using visualization techniques for deep convolutional neural network models
CN115482355A (zh) 一种众源数据驱动的lod2级城市建筑物模型增强建模算法
CN115393240A (zh) Gis和bim融合的方法、装置、电子设备及可读存储介质
CN115809833B (zh) 基于画像技术的基建项目智能监督方法、装置
CN114693932B (zh) 一种大型飞机大部件点云语义分割方法
CN115272864A (zh) 一种基于无人机航空摄影的实景三维建筑物智能提取方法
CN112446343B (zh) 一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN113723558A (zh) 基于注意力机制的遥感图像小样本舰船检测方法
CN116258820B (zh) 大规模城市点云数据集与建筑单体化构建方法及相关装置
Liu et al. Research on building data acquisition methods in smart city
CN112097743A (zh) 基于无人机技术的建筑抗震特性分析方法
CN116503750A (zh) 融合目标检测和视觉注意机制的大范围遥感影像农村街区式居民地提取方法及系统
CN115482386A (zh) 一种基于深度学习的三维点云语义分割方法
CN112015937B (zh) 一种图片地理定位方法及系统
CN112634447B (zh) 一种露头岩层分层方法、装置、设备及存储介质
CN112700464B (zh) 地图信息的处理方法、装置、电子设备以及存储介质
KR20160120955A (ko) 수변구조물 피해탐지를 위한 대용량 다차원 영상정보 가시화 모듈 개발
CN112800895B (zh) 基于深度学习算法识别建筑物的方法
Xiao Detecting changes in trees using multi-temporal airborne LIDAR point clouds
CN116977572B (zh) 一种多尺度动态图卷积的建筑物立面结构提取方法
CN117371949B (zh) 基于三维可视化模型的输电线路施工安全监测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Tan Qing

Inventor after: Hu Hong

Inventor after: Liu Hui

Inventor after: Zhou Weiming

Inventor after: Wang Baoguo

Inventor after: Liu Hu

Inventor after: Yu Jian

Inventor after: Wu Yanlan

Inventor before: Tan Qing

Inventor before: Hu Hong

Inventor before: Liu Hui

Inventor before: Zhou Weiming

Inventor before: Wang Baoguo

Inventor before: Liu Hu

Inventor before: Yu Jian

CB03 Change of inventor or designer information