CN116222579B - 一种基于建筑施工的无人机巡察方法及系统 - Google Patents

一种基于建筑施工的无人机巡察方法及系统 Download PDF

Info

Publication number
CN116222579B
CN116222579B CN202310496274.3A CN202310496274A CN116222579B CN 116222579 B CN116222579 B CN 116222579B CN 202310496274 A CN202310496274 A CN 202310496274A CN 116222579 B CN116222579 B CN 116222579B
Authority
CN
China
Prior art keywords
point cloud
unmanned aerial
aerial vehicle
cloud data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310496274.3A
Other languages
English (en)
Other versions
CN116222579A (zh
Inventor
李帅
徐杰
宋克滨
牟爱灵
郭晓欣
焦保全
李冲
王曼
黄海涛
李翠磊
陈萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yidong Technology Co ltd
Xi'an Maisha Technology Co ltd
Original Assignee
Nanjing Yidong Technology Co ltd
Xi'an Maisha Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yidong Technology Co ltd, Xi'an Maisha Technology Co ltd filed Critical Nanjing Yidong Technology Co ltd
Priority to CN202310496274.3A priority Critical patent/CN116222579B/zh
Publication of CN116222579A publication Critical patent/CN116222579A/zh
Application granted granted Critical
Publication of CN116222579B publication Critical patent/CN116222579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047Optimisation of routes or paths, e.g. travelling salesman problem
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Strategic Management (AREA)
  • Medical Informatics (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于建筑施工的无人机巡察方法及系统,该方法包括以下步骤:基于无人机搭载的相机设备对建筑工地进行三维扫描,生成环境点云数据;建立无人机巡察模型,利用改进的ICP算法对环境点云数据进行配准,构建环境点云地图;利用卷积神经网络对环境点云地图处理;基于Fermat曲线的路径规划对环境点云地图的规律特征进行路径规划;将路径规划的信息传输到无人机中,对建筑工地进行巡察;采集巡察过程的数据,上传到云端;根据分析结果进行预警。本发明的Fermat曲线具有较快的搜索速度和高效的路径规划能力,在较短时间内计算出最优路径,提高无人机运动效率和工作效能。

Description

一种基于建筑施工的无人机巡察方法及系统
技术领域
本发明涉及建筑施工领域,具体来说,涉及一种基于建筑施工的无人机巡察方法及系统。
背景技术
无人机是一种具有动力装置和导航模块机且无人驾驶的航空器,通过无线电遥控技术或电脑编程能够在一定范围内实现自主飞行。无人机已经逐渐出现在人们的生活中,给人们深刻的印象是航拍,由于成本及维修费用低廉,得到了空前发展。无人机像手机一样拥有近乎无限的APP搭载能力,将应用于更多、更专业的领域,如灾害预测监测与评估、天气预报、农业监测管理、国土资源环境调查、城市管理、海事信息化建设和农业监测管理等。
近年来,随着建筑行业的不断扩大和发展,各个建筑工地不断兴建,但是建筑工地需要定期进行人工巡察,小范围内的巡察可以采用人工进行,但是整体范围内进行人工巡察则存在费事费力,效率低的情况,为了更好进行巡察,使用了巡察机器人,但是巡察机器人也存在很多的缺陷,例如:当路面有障碍或某一路段进行检修工作时,巡察机器人绕行存在困难,还有无法对高处进行有效巡察的问题。
随着无人机的发展,为了更好的进行巡察,将无人机引入了建筑工地巡察领域,无人机具有机动性强,方便操控,巡察范围广等优点,极大的提升了建筑工地巡察的效率和质量。
但是无人机在使用时,基于现有技术进行数据处理和分析需要耗费大量时间和精力,可能会影响实时性和应用效果,此外,缺乏与施工现场实际需求相适应的路径规划算法,导致无人机在施工现场巡察效率低下。
针对相关技术中的问题,目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题,本发明提出一种基于建筑施工的无人机巡察方法及系统,以克服现有相关技术所存在的上述技术问题。
为此,本发明采用的具体技术方案如下:
根据本发明的一个方面,提供了一种基于建筑施工的无人机巡察方法,该无人机巡察方法包括以下步骤:
S1、基于无人机搭载的相机设备对建筑工地进行三维扫描,生成环境点云数据,并上传至云端;
S2、建立无人机巡察模型,利用改进的ICP算法对环境点云数据进行配准,提取出环境信息并构建环境点云地图;
S3、利用卷积神经网络对环境点云地图处理,并提取环境点云地图的规律特征;
S4、基于Fermat曲线的路径规划对环境点云地图的规律特征进行路径规划;
S5、将路径规划的信息传输到无人机中,对建筑工地进行巡察;
S6、采集巡察过程中图像、视频的数据,上传到云端进行分析;
S7、根据数据的分析结果进行预警,并基于无人机巡察模型提供决策参考。
进一步的,所述建立无人机巡察模型,利用改进的ICP算法对环境点云数据进行配准,提取出环境信息并构建环境点云地图包括以下步骤:
S21、选择一个环境点云数据作为参考坐标系,将初始点云通过旋转矩阵和平移矩阵变换到参考坐标系中;
S22、利用最近邻算法找到初始点云数据和目标点云数据之间的匹配点对;
S23、以最小化匹配点对的距离误差为目标,运用最小二乘法计算旋转矩阵和平移矩阵,得到点云配准中的配准参数;
S24、将配准参数应用于初始点云数据,更新点云数据;
S25、设定阈值δ,若当前迭代的匹配点对与上一次迭代的匹配点对之间的距离误差小于阈值δ,则当前迭代的匹配点对最优的点云变换参数;
若否,则继续迭代执行步骤S22;
S26、利用最优的点云变换参数将点云数据变换到目标坐标系中,并合并得到环境点云地图。
进一步的,所述利用最近邻算法找到初始点云数据和目标点云数据之间的匹配点对包括以下步骤:
S221、对于每个初始点云数据,计算与目标点云数据中所有点之间的距离,并将其按照距离从小到大排序;
S222、取前n个距离最近的目标点作为该初始点云数据的n个最近邻点,并计算与初始点云数据中所有点之间的距离并按照距离从小到大排序;
S223、取前n个距离最近的初始点云数据作为该目标点的k个最近邻点,并获取邻近点的距离最小为其匹配点。
进一步的,所述以最小化匹配点对的距离误差为目标,运用最小二乘法计算旋转矩阵和平移矩阵,得到点云配准中的配准参数包括以下步骤:
S231、获取初始点云数据和目标点云数据的匹配点,根据匹配点得出初始点云数据和目标点云数据的距离;
S232、定义误差函数,计算初始点云数据和目标点云数据的距离误差;
S233、利用最小二乘法计算对误差函数进行求导,得出旋转矩阵和平移矩阵;
S234、将旋转矩阵和平移矩阵作用于原始点云数据,得到变换后的点云数据。
进一步的,所述利用卷积神经网络对环境点云地图处理,并提取环境点云地图的规律特征包括以下步骤:
S31、引入ε贪心策略并利用卷积神经网络对环境点云数据进行处理,用以提高卷积神经网络的性能和鲁棒性;
S32、根据环境点云数据的重要程度,使用不同的抽样权重生成概率分布,并为卷积神经网络提供学习的样本;
S33、利用卷积神经网络对环境点云地图进行处理,使用ε贪心策略来扩大样本空间,用以增强卷积神经网络的鲁棒性;
S34、通过特征提取器对处理后的环境点云数据进行规律特征提取。
进一步的,所述根据环境点云数据的重要程度,使用不同的抽样权重生成概率分布,并为卷积神经网络提供学习的样本包括以下步骤:
S321、根据环境点云数据的重要程度计算每个样本的抽样权重,并将所有样本的抽样权重标准化为概率分布,并按此概率抽取M个样本;
S322、计算每个样本的学习率;
S323、对于抽取出的M个样本根据样本误差更新M次网络参数。
进一步的,所述概率计算公式如下:
式中,为样本;
为优先级参数;
N为经验回放池的样本总数;
为选用第/>个样本的误差表示;
n为经验回放池的样本数;
计算每个样本的学习率计算公式如下:
式中,为学习率;
N为经验回放池的样本总数;
β为重要性采样超参数;
为样本。
进一步的,所述基于Fermat曲线的路径规划对环境点云地图的规律特征进行路径规划包括以下步骤:
S41、构建Fermat曲线笛卡尔参数方程式,其中,第一段Fermat回旋曲线和第二段Fermat回旋曲线作为过渡曲线;
S42、根据不同的初始点和转向不同时不同的初始切角,计算第一段Fermat回旋曲线的方程表达式和第二段Fermat回旋曲线的方程表达式;
S43、将第一段Fermat回旋曲线和第二段Fermat回旋曲线看成方向相反的同一段曲线,并计算其中一个Fermat回旋曲线的速度参数方程和加速度参数方程;
S44、通过改变变量来消除奇点,并使用振幅相位表达法来简化速度参数方程与加速度参数方程;
S45、消除奇点后,使得FS曲线用于路径跟踪,同时对环境点云地图的规律特征进行路径规划。
进一步的,所述将第一段Fermat回旋曲线和第二段Fermat回旋曲线看成方向相反的同一段曲线,并计算其中一个Fermat回旋曲线的速度参数方程和加速度参数方程包括以下步骤:
S431、将第一段Fermat回旋曲线和第二段Fermat回旋曲线看成方向相反的同一段曲线,并让两段曲线的起点和终点连接在一起,形成一个闭合曲线;
S432、让曲线长度与参数之间的比例保持不变,对这个闭合曲线进行等比例参数化;
S433、根据Fermat曲线的性质,令每一个点到前一个点的距离都等于一个常数,求出该曲线每一个点的位置坐标;
S434、利用计算出的位置坐标,可以对曲线进行速度参数化和加速度参数化。
根据本发明的另一方面,还提供了一种基于建筑施工的无人机巡察系统,该系统包括数据采集模块、环境点云配准与构建模块、特征提取模块、无人机路径规划模块、无人机巡察模块、无人机数据收集与上传模块及数据分析与决策模块;
数据采集模块,用于基于无人机搭载的相机设备对建筑工地进行三维扫描,生成环境点云数据,并上传至云端;
环境点云配准与构建模块,用于建立无人机巡察模型,利用改进的ICP算法对环境点云数据进行配准,提取出环境信息并构建环境点云地图;
特征提取模块,用于利用卷积神经网络对环境点云地图处理,并提取环境点云地图的规律特征;
无人机路径规划模块,用于基于Fermat曲线的路径规划对环境点云地图的规律特征进行路径规划;
无人机巡察模块,用于将路径规划的信息传输到无人机中,对建筑工地进行巡察;
无人机数据收集与上传模块,用于采集巡察过程中图像、视频的数据,上传到云端进行分析;
数据分析与决策模块,用于根据数据的分析结果进行预警,并基于无人机巡察模型提供决策参考。
本发明的有益效果为:
1、本发明采用改进的ICP算法进行点云配准,可以在保证匹配精度的前提下,提高配准速度和鲁棒性,从而实现高精度的点云配准,将多组采集到的点云数据经过配准和合并后生成一张点云地图,可以节省数据存储空间和处理时间,同时还能够实现快速的目标识别、规划和导航等应用,通过多角度、多距离的数据采集,减少了环境障碍物以及遮挡等因素的干扰,提高了算法的鲁棒性和可靠性,从而更加精确地进行环境感知和导航。
2、本发明采用卷积神经网络可以保留图像的空间信息,从而更好地处理大尺寸图像和点云地图,避免了丢失空间信息的问题,卷积神经网络可以共享卷积核参数,减少了模型参数的数量,提高了训练和预测效率,同时,卷积神经网络还可以通过池化操作进一步减少参数,卷积神经网络具有平移不变性和局部区域感知性,使得其对图像中的局部变化和噪声有很好的鲁棒性,在处理复杂的环境信息时表现出了更好的能力,卷积神经网络可以学习到环境点云地图的规律特征,如建筑物、道路、植被等,为后续应用提供了更加准确、有效的数据基础。
3、本发明采用Fermat曲线,Fermat曲线是一种光学曲线,其路径遵循最短路原则,并且具有连续性和可微性,因此根据Fermat曲线进行路径规划可以使得无人机的行驶更加平稳、平滑,Fermat曲线路径规划算法具有较快的搜索速度和高效的路径规划能力,可以在较短时间内计算出最优路径,提高了无人机运动效率和工作效能,基于Fermat曲线的路径规划算法能够利用环境点云地图的规律特征来生成路径,比其他算法更能够考虑到环境的特征和限制条件,从而生成更加适合实际场景的路径规划方案。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于建筑施工的无人机巡察方法的流程图。
具体实施方式
为进一步说明各实施例,本发明提供有附图,这些附图为本发明揭露内容的一部分,其主要用以说明实施例,并可配合说明书的相关描述来解释实施例的运作原理,配合参考这些内容,本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点,图中的组件并未按比例绘制,而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例,提供了一种基于建筑施工的无人机巡察方法及系统。
现结合附图和具体实施方式对本发明进一步说明,如图1所示,根据本发明的一个实施例,提供了一种的基于建筑施工的无人机巡察方法,该无人机巡察方法包括以下步骤:
S1、基于无人机搭载的相机设备对建筑工地进行三维扫描,生成环境点云数据,并上传至云端。
具体的,在实际应用的过程中,准备无人机和相机设备,确保其状态良好并充足电量,在建筑工地选择合适的起飞点和航线,规划好扫描区域,启动无人机和相机设备(采用英特尔实感D400系列摄像头),进行预飞检查,确保各项参数正常稳定后,开始进行航拍任务,通过相机设备进行无人机航拍,获取建筑工地的景象数据,包括不同角度的照片等信息,对采集到的照片进行处理,生成全景图、高清图等照片数据,将全景图、高清图作为输入,运行三维重建算法,生成建筑工地的三维环境点云数据和模型,整理、打包并上传所生成的环境点云数据和模型文件至云端存储,同时备份本地数据。
S2、建立无人机巡察模型,利用改进的ICP算法对环境点云数据进行配准,提取出环境信息并构建环境点云地图;
在一个实施例中,所述建立无人机巡察模型,利用改进的ICP算法对环境点云数据进行配准,提取出环境信息并构建环境点云地图包括以下步骤:
S21、选择一个环境点云数据作为参考坐标系,将初始点云通过旋转矩阵和平移矩阵变换到参考坐标系中;
S22、利用最近邻算法找到初始点云数据和目标点云数据之间的匹配点对;
S23、以最小化匹配点对的距离误差为目标,运用最小二乘法计算旋转矩阵和平移矩阵,得到点云配准中的配准参数;
S24、将配准参数应用于初始点云数据,更新点云数据;
S25、设定阈值δ,若当前迭代的匹配点对与上一次迭代的匹配点对之间的距离误差小于阈值δ,则当前迭代的匹配点对最优的点云变换参数;
若否,则继续迭代执行步骤S22;
S26、利用最优的点云变换参数将点云数据变换到目标坐标系中,并合并得到环境点云地图。
在一个实施例中,所述利用最近邻算法找到初始点云数据和目标点云数据之间的匹配点对包括以下步骤:
S221、对于每个初始点云数据,计算与目标点云数据中所有点之间的距离,并将其按照距离从小到大排序;
S222、取前n个距离最近的目标点作为该初始点云数据的n个最近邻点,并计算与初始点云数据中所有点之间的距离并按照距离从小到大排序;
S223、取前n个距离最近的初始点云数据作为该目标点的k个最近邻点,并获取邻近点的距离最小为其匹配点。
在一个实施例中,所述以最小化匹配点对的距离误差为目标,运用最小二乘法计算旋转矩阵和平移矩阵,得到点云配准中的配准参数包括以下步骤:
S231、获取初始点云数据和目标点云数据的匹配点,根据匹配点得出初始点云数据和目标点云数据的距离;
S232、定义误差函数,计算初始点云数据和目标点云数据的距离误差;
S233、利用最小二乘法计算对误差函数进行求导,得出旋转矩阵和平移矩阵;
S234、将旋转矩阵和平移矩阵作用于原始点云数据,得到变换后的点云数据。
具体的,点云地图构建过程中,可以使用SLAM算法对点云数据进行实时处理和更新,以适应不同场景和应用需求,同时为后续的任务执行和数据处理提供更加灵活和开放的平台。
其中,SLAM算法包括通过激光雷达等设备进行多角度、高分辨率的点云数据采集,从采集到的点云数据中提取出具有特别标记的Landmark点(如窗户、门、电线杆等)以及关键点,作为后续的SLAM算法计算的基础,将不同时刻、不同位置的点云数据进行配准,并在已有地图的基础上进行更新和合并,构建完整的环境地图,通过卡尔曼滤波等算法估计移动无人机在地图上的位置和朝向,实现SLAM算法的定位和建图。
S3、利用卷积神经网络对环境点云地图处理,并提取环境点云地图的规律特征;
在一个实施例中,所述利用卷积神经网络对环境点云地图处理,并提取环境点云地图的规律特征包括以下步骤:
S31、引入ε贪心策略并利用卷积神经网络对环境点云数据进行处理,用以提高卷积神经网络的性能和鲁棒性;
S32、根据环境点云数据的重要程度,使用不同的抽样权重生成概率分布,并为卷积神经网络提供学习的样本;
S33、利用卷积神经网络对环境点云地图进行处理,使用ε贪心策略来扩大样本空间,用以增强卷积神经网络的鲁棒性;
S34、通过特征提取器对处理后的环境点云数据进行规律特征提取。
在一个实施例中,所述根据环境点云数据的重要程度,使用不同的抽样权重生成概率分布,并为卷积神经网络提供学习的样本包括以下步骤:
S321、根据环境点云数据的重要程度计算每个样本的抽样权重,并将所有样本的抽样权重标准化为概率分布,并按此概率抽取M个样本;
S322、计算每个样本的学习率;
S323、对于抽取出的M个样本根据样本误差更新M次网络参数。
在一个实施例中,所述概率计算公式如下:
式中,为样本;
为优先级参数;
N为经验回放池的样本总数;
为选用第/>个样本的误差表示;
n为经验回放池的样本数;
计算每个样本的学习率计算公式如下:
式中,为学习率;
N为经验回放池的样本总数;
β为重要性采样超参数;
为样本。
具体的,可以将环境点云地图看作一系列三维数据点,然后将其输入到卷积神经网络中进行处理。由于环境点云地图的数据较为庞大、异构且噪声较多,因此需要对其进行预处理,如对点云数据进行降采样、滤除离群点等操作,以提高网络的处理效率和稳定性,通过不断堆叠多个卷积层和池化层,可以逐层提取环境点云地图的抽象特征,并最终输出其高阶特征表示。在此基础上,可以采用全连接层进行分类或回归任务,将环境点云地图的规律特征进行提取。
S4、基于Fermat曲线的路径规划对环境点云地图的规律特征进行路径规划;
在一个实施例中,所述基于Fermat曲线的路径规划对环境点云地图的规律特征进行路径规划包括以下步骤:
S41、构建Fermat曲线笛卡尔参数方程式,其中,第一段Fermat回旋曲线和第二段Fermat回旋曲线作为过渡曲线;
S42、根据不同的初始点和转向不同时不同的初始切角,计算第一段Fermat回旋曲线的方程表达式和第二段Fermat回旋曲线的方程表达式;
S43、将第一段Fermat回旋曲线和第二段Fermat回旋曲线看成方向相反的同一段曲线,并计算其中一个Fermat回旋曲线的速度参数方程和加速度参数方程;
S44、通过改变变量来消除奇点,并使用振幅相位表达法来简化速度参数方程与加速度参数方程;
S45、消除奇点后,使得FS曲线用于路径跟踪,同时对环境点云地图的规律特征进行路径规划。
在一个实施例中,所述将第一段Fermat回旋曲线和第二段Fermat回旋曲线看成方向相反的同一段曲线,并计算其中一个Fermat回旋曲线的速度参数方程和加速度参数方程包括以下步骤:
S431、将第一段Fermat回旋曲线和第二段Fermat回旋曲线看成方向相反的同一段曲线,并让两段曲线的起点和终点连接在一起,形成一个闭合曲线;
S432、让曲线长度与参数之间的比例保持不变,对这个闭合曲线进行等比例参数化;
S433、根据Fermat曲线的性质,令每一个点到前一个点的距离都等于一个常数,求出该曲线每一个点的位置坐标;
S434、利用计算出的位置坐标,可以对曲线进行速度参数化和加速度参数化。
具体的,基于Fermat曲线的路径规划是一种在环境点云地图上进行路径规划的方法,可以利用环境点云地图的规律特征,在路径规划中遵循最短路原则,并且具有连续性和可微性,从而可以生成平滑、高效的路径
S5、将路径规划的信息传输到无人机中,对建筑工地进行巡察。
具体的,将路径规划信息传输到无人机中,可以通过实时监测建筑工地,提高工地的巡察效率和安全性。在路径规划的过程中,可以利用环境点云地图等技术,对工地内部的细节进行精确的探测和分析,确定路径规划的点位和飞行高度,通过将路径规划信息传输到无人机中,可以实现自主化巡察,避免人力资源浪费和人员安全问题。
S6、采集巡察过程中图像、视频的数据,上传到云端进行分析。
具体的,可以通过传感器、摄像头和无人机等设备进行采集。采集到的数据可以上传到云端进行分析,以实现更高效的数据处理和管理,在云端,可以利用深度学习、计算机视觉等技术对采集到的图像和视频数据进行处理和分析,提取其中的特征信息,如目标物体的位置、大小、形状等。同时,还可以对图像和视频进行标注,建立起标注库,便于后续的数据分析和查询。
S7、根据数据的分析结果进行预警,并基于无人机巡察模型提供决策参考。
具体的,可以结合无人机巡察模型,通过在建筑工地或其他需要巡察的场所安装无人机设备,采集图像视频等数据,并上传到云端进行数据分析,根据分析结果进行预警提醒。同时,在无人机巡察模型中,还可以将数据分析结果用于判断巡察区域的安全性和风险评估,为后续的决策提供参考。
根据本发明的另一个实施例,还提供了一种基于建筑施工的无人机巡察系统,该系统包括数据采集模块、环境点云配准与构建模块、特征提取模块、无人机路径规划模块、无人机巡察模块、无人机数据收集与上传模块及数据分析与决策模块;
数据采集模块,用于基于无人机搭载的相机设备对建筑工地进行三维扫描,生成环境点云数据,并上传至云端;
环境点云配准与构建模块,用于建立无人机巡察模型,利用改进的ICP算法对环境点云数据进行配准,提取出环境信息并构建环境点云地图;
特征提取模块,用于利用卷积神经网络对环境点云地图处理,并提取环境点云地图的规律特征;
无人机路径规划模块,用于基于Fermat曲线的路径规划对环境点云地图的规律特征进行路径规划;
无人机巡察模块,用于将路径规划的信息传输到无人机中,对建筑工地进行巡察;
无人机数据收集与上传模块,用于采集巡察过程中图像、视频的数据,上传到云端进行分析;
数据分析与决策模块,用于根据数据的分析结果进行预警,并基于无人机巡察模型提供决策参考。
综上所述,借助于本发明的上述技术方案,本发明采用改进的ICP算法进行点云配准,可以在保证匹配精度的前提下,提高配准速度和鲁棒性,从而实现高精度的点云配准,将多组采集到的点云数据经过配准和合并后生成一张点云地图,可以节省数据存储空间和处理时间,同时还能够实现快速的目标识别、规划和导航等应用,通过多角度、多距离的数据采集,减少了环境障碍物以及遮挡等因素的干扰,提高了算法的鲁棒性和可靠性,从而更加精确地进行环境感知和导航;本发明采用卷积神经网络可以保留图像的空间信息,从而更好地处理大尺寸图像和点云地图,避免了丢失空间信息的问题,卷积神经网络可以共享卷积核参数,减少了模型参数的数量,提高了训练和预测效率,同时,卷积神经网络还可以通过池化操作进一步减少参数,卷积神经网络具有平移不变性和局部区域感知性,使得其对图像中的局部变化和噪声有很好的鲁棒性,在处理复杂的环境信息时表现出了更好的能力,卷积神经网络可以学习到环境点云地图的规律特征,如建筑物、道路、植被等,为后续应用提供了更加准确、有效的数据基础;本发明采用Fermat曲线,Fermat曲线是一种光学曲线,其路径遵循最短路原则,并且具有连续性和可微性,因此根据Fermat曲线进行路径规划可以使得无人机的行驶更加平稳、平滑,Fermat曲线路径规划算法具有较快的搜索速度和高效的路径规划能力,可以在较短时间内计算出最优路径,提高了无人机运动效率和工作效能,基于Fermat曲线的路径规划算法能够利用环境点云地图的规律特征来生成路径,比其他算法更能够考虑到环境的特征和限制条件,从而生成更加适合实际场景的路径规划方案。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于建筑施工的无人机巡察方法,其特征在于,该无人机巡察方法包括以下步骤:
S1、基于无人机搭载的相机设备对建筑工地进行三维扫描,生成环境点云数据,并上传至云端;
S2、建立无人机巡察模型,利用改进的ICP算法对环境点云数据进行配准,提取出环境信息并构建环境点云地图;
S3、利用卷积神经网络对环境点云地图处理,并提取环境点云地图的规律特征;
S4、基于Fermat曲线的路径规划对环境点云地图的规律特征进行路径规划;
S5、将路径规划的信息传输到无人机中,对建筑工地进行巡察;
S6、采集巡察过程中图像、视频的数据,上传到云端进行分析;
S7、根据数据的分析结果进行预警,并基于无人机巡察模型提供决策参考;
所述建立无人机巡察模型,利用改进的ICP算法对环境点云数据进行配准,提取出环境信息并构建环境点云地图包括以下步骤:
S21、选择一个环境点云数据作为参考坐标系,将初始点云通过旋转矩阵和平移矩阵变换到参考坐标系中;
S22、利用最近邻算法找到初始点云数据和目标点云数据之间的匹配点对;
S23、以最小化匹配点对的距离误差为目标,运用最小二乘法计算旋转矩阵和平移矩阵,得到点云配准中的配准参数;
S24、将配准参数应用于初始点云数据,更新点云数据;
S25、设定阈值δ,若当前迭代的匹配点对与上一次迭代的匹配点对之间的距离误差小于阈值δ,则当前迭代的匹配点对最优的点云变换参数;
若否,则继续迭代执行步骤S22;
S26、利用最优的点云变换参数将点云数据变换到目标坐标系中,并合并得到环境点云地图;
所述利用最近邻算法找到初始点云数据和目标点云数据之间的匹配点对包括以下步骤:
S221、对于每个初始点云数据,计算与目标点云数据中所有点之间的距离,并将其按照距离从小到大排序;
S222、取前n个距离最近的目标点作为该初始点云数据的n个最近邻点,并计算与初始点云数据中所有点之间的距离并按照距离从小到大排序;
S223、取前n个距离最近的初始点云数据作为该目标点的k个最近邻点,并获取邻近点的距离最小为其匹配点;
所述以最小化匹配点对的距离误差为目标,运用最小二乘法计算旋转矩阵和平移矩阵,得到点云配准中的配准参数包括以下步骤:
S231、获取初始点云数据和目标点云数据的匹配点,根据匹配点得出初始点云数据和目标点云数据的距离;
S232、定义误差函数,计算初始点云数据和目标点云数据的距离误差;
S233、利用最小二乘法计算对误差函数进行求导,得出旋转矩阵和平移矩阵;
S234、将旋转矩阵和平移矩阵作用于原始点云数据,得到变换后的点云数据。
2.根据权利要求1所述的一种基于建筑施工的无人机巡察方法,其特征在于,所述利用卷积神经网络对环境点云地图处理,并提取环境点云地图的规律特征包括以下步骤:
S31、引入ε贪心策略并利用卷积神经网络对环境点云数据进行处理,用以提高卷积神经网络的性能和鲁棒性;
S32、根据环境点云数据的重要程度,使用不同的抽样权重生成概率分布,并为卷积神经网络提供学习的样本;
S33、利用卷积神经网络对环境点云地图进行处理,使用ε贪心策略来扩大样本空间,用以增强卷积神经网络的鲁棒性;
S34、通过特征提取器对处理后的环境点云数据进行规律特征提取。
3.根据权利要求2所述的一种基于建筑施工的无人机巡察方法,其特征在于,所述根据环境点云数据的重要程度,使用不同的抽样权重生成概率分布,并为卷积神经网络提供学习的样本包括以下步骤:
S321、根据环境点云数据的重要程度计算每个样本的抽样权重,并将所有样本的抽样权重标准化为概率分布,并按此概率抽取M个样本;
S322、计算每个样本的学习率;
S323、对于抽取出的M个样本根据样本误差更新M次网络参数。
4.根据权利要求3所述的一种基于建筑施工的无人机巡察方法,其特征在于,所述概率计算公式如下:
式中,为样本;
为优先级参数;
N为经验回放池的样本总数;
为选用第/>个样本的误差表示;
n为经验回放池的样本数;
计算每个样本的学习率计算公式如下:
式中,为学习率;
N为经验回放池的样本总数;
β为重要性采样超参数;
为样本。
5.根据权利要求1所述的一种基于建筑施工的无人机巡察方法,其特征在于,所述基于Fermat曲线的路径规划对环境点云地图的规律特征进行路径规划包括以下步骤:
S41、构建Fermat曲线笛卡尔参数方程式,其中,第一段Fermat回旋曲线和第二段Fermat回旋曲线作为过渡曲线;
S42、根据不同的初始点和转向不同时不同的初始切角,计算第一段Fermat回旋曲线的方程表达式和第二段Fermat回旋曲线的方程表达式;
S43、将第一段Fermat回旋曲线和第二段Fermat回旋曲线看成方向相反的同一段曲线,并计算Fermat回旋曲线的速度参数方程和加速度参数方程;
S44、通过改变变量来消除奇点,并使用振幅相位表达法来简化速度参数方程与加速度参数方程;
S45、消除奇点后,使得FS曲线用于路径跟踪,同时对环境点云地图的规律特征进行路径规划。
6.根据权利要求5所述的一种基于建筑施工的无人机巡察方法,其特征在于,所述将第一段Fermat回旋曲线和第二段Fermat回旋曲线看成方向相反的同一段曲线,并计算Fermat回旋曲线的速度参数方程和加速度参数方程包括以下步骤:
S431、将第一段Fermat回旋曲线和第二段Fermat回旋曲线看成方向相反的同一段曲线,并让两段曲线的起点和终点连接在一起,形成一个闭合曲线;
S432、让曲线长度与参数之间的比例保持不变,对这个闭合曲线进行等比例参数化;
S433、根据Fermat曲线的性质,令每一个点到前一个点的距离都等于一个常数,求出该曲线每一个点的位置坐标;
S434、利用计算出的位置坐标,可以对曲线进行速度参数化和加速度参数化。
7.一种基于建筑施工的无人机巡察系统,用于实现权利要求1-6中任一项所述的基于建筑施工的无人机巡察方法,其特征在于,该系统包括数据采集模块、环境点云配准与构建模块、特征提取模块、无人机路径规划模块、无人机巡察模块、无人机数据收集与上传模块及数据分析与决策模块;
所述数据采集模块,用于基于无人机搭载的相机设备对建筑工地进行三维扫描,生成环境点云数据,并上传至云端;
所述环境点云配准与构建模块,用于建立无人机巡察模型,利用改进的ICP算法对环境点云数据进行配准,提取出环境信息并构建环境点云地图;
所述特征提取模块,用于利用卷积神经网络对环境点云地图处理,并提取环境点云地图的规律特征;
所述无人机路径规划模块,用于基于Fermat曲线的路径规划对环境点云地图的规律特征进行路径规划;
所述无人机巡察模块,用于将路径规划的信息传输到无人机中,对建筑工地进行巡察;
所述无人机数据收集与上传模块,用于采集巡察过程中图像、视频的数据,上传到云端进行分析;
所述数据分析与决策模块,用于根据数据的分析结果进行预警,并基于无人机巡察模型提供决策参考。
CN202310496274.3A 2023-05-05 2023-05-05 一种基于建筑施工的无人机巡察方法及系统 Active CN116222579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310496274.3A CN116222579B (zh) 2023-05-05 2023-05-05 一种基于建筑施工的无人机巡察方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310496274.3A CN116222579B (zh) 2023-05-05 2023-05-05 一种基于建筑施工的无人机巡察方法及系统

Publications (2)

Publication Number Publication Date
CN116222579A CN116222579A (zh) 2023-06-06
CN116222579B true CN116222579B (zh) 2023-07-18

Family

ID=86580864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310496274.3A Active CN116222579B (zh) 2023-05-05 2023-05-05 一种基于建筑施工的无人机巡察方法及系统

Country Status (1)

Country Link
CN (1) CN116222579B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118031804B (zh) * 2024-04-12 2024-06-11 西安麦莎科技有限公司 一种基于无人机的施工过程监测方法及系统
CN118623893B (zh) * 2024-08-09 2024-10-15 国网江西省电力有限公司南昌供电分公司 一种变电站无人机巡视路径规划方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112002013A (zh) * 2020-08-27 2020-11-27 苏州飞特西普三维科技有限公司 一种三维交叠式建模方法
CN113077497A (zh) * 2021-04-28 2021-07-06 北京坤世拓智能科技有限公司 基于3d ndt-icp算法的掘进巷道点云配准方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247040B (zh) * 2013-05-13 2015-11-25 北京工业大学 基于分层拓扑结构的多机器人系统地图拼接方法
WO2019099802A1 (en) * 2017-11-17 2019-05-23 DeepMap Inc. Iterative closest point process based on lidar with integrated motion estimation for high definitions maps
CN109410321B (zh) * 2018-10-17 2022-09-20 大连理工大学 基于卷积神经网络的三维重建方法
US20220307849A1 (en) * 2021-07-30 2022-09-29 Intel Corporation Path planning system and method with intelligent sampling and two-way search (its)
CN114459470A (zh) * 2022-01-19 2022-05-10 国网江西省电力有限公司超高压分公司 基于多传感器融合的巡检机器人定位方法
CN114756027A (zh) * 2022-04-08 2022-07-15 重庆邮电大学 一种基于改进蚁群算法与贝塞尔曲线的移动机器人路径规划方法
CN116030076A (zh) * 2023-01-12 2023-04-28 华中科技大学 基于因果推理的隧道点云多目标分割集成方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112002013A (zh) * 2020-08-27 2020-11-27 苏州飞特西普三维科技有限公司 一种三维交叠式建模方法
CN113077497A (zh) * 2021-04-28 2021-07-06 北京坤世拓智能科技有限公司 基于3d ndt-icp算法的掘进巷道点云配准方法

Also Published As

Publication number Publication date
CN116222579A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN116222579B (zh) 一种基于建筑施工的无人机巡察方法及系统
CN107818571B (zh) 基于深度学习网络和均值漂移的船只自动跟踪方法及系统
US10817731B2 (en) Image-based pedestrian detection
CN111169468B (zh) 一种自动泊车的系统及方法
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
CN112923904B (zh) 面向多无人机协同摄影测量的地质灾害隐患探测方法
CN112380312B (zh) 基于栅格检测的激光地图更新方法、终端及计算机设备
CN110487286B (zh) 基于点特征投影与激光点云融合的机器人位姿判断方法
CN116448773B (zh) 一种图像-振动特征融合的路面病害检测方法及系统
CN112863186B (zh) 一种基于车载无人机的逃逸车辆快速识别和追踪方法
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN116518984B (zh) 一种煤矿井下辅助运输机器人车路协同定位系统及方法
CN113406659A (zh) 一种基于激光雷达信息的移动机器人位置重识别方法
Shao et al. PTZ camera-based image processing for automatic crack size measurement in expressways
Liu et al. Framework for automated UAV-based inspection of external building façades
CN117406789A (zh) 基于图像分析的多无人机桥梁支座巡检航线自动规划方法
Liu An enhanced LiDAR-inertial SLAM system for robotics localization and mapping
CN117288094B (zh) 基于激光传感器的掘进机实时定位系统
Li et al. 3D-SeqMOS: A novel sequential 3D moving object segmentation in autonomous driving
Rezaei et al. A deep learning-based approach for vehicle motion prediction in autonomous driving
Yu et al. Adaptive vehicle extraction in real-time traffic video monitoring based on the fusion of multi-objective particle swarm optimization algorithm
CN115761265A (zh) 一种用于提取激光雷达点云中变电站设备的方法及装置
Mohamed et al. Low-cost cloud-based HD-Map Updates for Infrastructure Management and Maintenance
CN117191005B (zh) 一种空地异构协同建图方法、装置、设备及存储介质
Xiao et al. No Longer Getting Lost on Fork Road: Vehicle Off-Route Detection Via Multi-Sensor Integration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant