CN117538861A - 视觉、激光slam和探地雷达结合的无人机检测方法 - Google Patents

视觉、激光slam和探地雷达结合的无人机检测方法 Download PDF

Info

Publication number
CN117538861A
CN117538861A CN202311388339.9A CN202311388339A CN117538861A CN 117538861 A CN117538861 A CN 117538861A CN 202311388339 A CN202311388339 A CN 202311388339A CN 117538861 A CN117538861 A CN 117538861A
Authority
CN
China
Prior art keywords
ground
unmanned aerial
aerial vehicle
data
slam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311388339.9A
Other languages
English (en)
Inventor
陈德强
韦凯
畅振超
莫鹏
龙夏毅
李广合
廖永生
刘耀凤
骆俊晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Beitou Transportation Maintenance Technology Group Co Ltd
Aerospace Hongtu Information Technology Co Ltd
Original Assignee
Guangxi Beitou Transportation Maintenance Technology Group Co Ltd
Aerospace Hongtu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Beitou Transportation Maintenance Technology Group Co Ltd, Aerospace Hongtu Information Technology Co Ltd filed Critical Guangxi Beitou Transportation Maintenance Technology Group Co Ltd
Priority to CN202311388339.9A priority Critical patent/CN117538861A/zh
Publication of CN117538861A publication Critical patent/CN117538861A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/885—Radar or analogous systems specially adapted for specific applications for ground probing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了视觉、激光SLAM和探地雷达结合的无人机检测方法，涉及土木工程技术领域，本发明基于工程需求确定任务的优先级和关键区域，同时计算任务区域的面积和任务飞行高度，任务计划和飞行执行的同时，探地雷达用于地下病害检测，然后进行多信息融合，通过视觉SLAM、激光SLAM和探地雷达协同工作，对无人机的位姿、地面和地下病害的位置进行确定，数据融合的过程包括相机图像处理、双目SLAM位姿估计、激光SLAM和地下雷达数据的转化，以及最终的地图生成，确保地面和地下数据的融合，生成了一体化的地图，其中包括地下病害的位置和性质，以及地面病害的详细信息，将无人机的检测结果实时反馈给工程人员，及时提供信息，使工程人员能够迅速作出决策。

Description

视觉、激光SLAM和探地雷达结合的无人机检测方法
技术领域
本发明涉及土木工程技术领域，具体为视觉、激光SLAM和探地雷达结合的无人机检测方法。
背景技术
路面性能检测是公路建设与管理中的关键性、基础性技术，它不仅对检测和控制工程质量至关重要，而且决定着路网养护决策的科学性，直接影响养护资金分配的合理性。
根据相关规范，旧路面检测的主要指标包括弯沉、平整度、摩擦系数、破损状况等。此外，还可根据实际项目需求加入车辙、厚度、基层完整性等指标。传统的检测手段主要包括：(1)采用贝克曼梁弯沉仪，百分表，配合标准轴载黄河车，利用杠杆原理测试路表回弹弯沉；(2)采用3米直尺，测试路面纵向平整度、横向断面车辙状况；(3)采用摆式摩擦系数仪，人工逐点测试路面摩擦系数；(4)采用取芯机，钻取芯样测试路面厚度，判断芯样完整性；(5)采用人工破损调查，了解路面破损状况。这些早期测试方法不仅费时费力、影响交通，而且有些还要破坏路面结构，数据精度也难以得到可靠保证，因此，已经在逐步被新型检测设备所取代，如无人机监测。
而针对土木工程领域，目前应用的无人机检测主要依赖于摄像头和激光雷达，用于表面检测，但未涵盖道路地下病害情况，道路表面病害实际上反映了道路地下病害的存在，忽略地下病害可能导致工程人员错失最佳病害处治时机，目前，为了分析地面和地下病害，无人机需要与其他设备如车载探地雷达和车载FWD共同协作，但这会引发设备众多、数据源分散、后期数据难以融合的问题，此外，车载探测设备在繁忙交通地段还可能影响交通流畅。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了视觉、激光SLAM和探地雷达结合的无人机检测方法，解决现有技术中存在的目前应用的无人机检测主要依赖于摄像头和激光雷达，用于表面检测，但未涵盖道路地下病害情况，忽略地下病害可能导致工程人员错失最佳病害处治时机的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现，本发明提供了视觉、激光SLAM和探地雷达结合的无人机检测方法，包括：
步骤1.集成传感器无人机部署，无人机上集成传感器单元，传感器单元包括摄像头、激光雷达以及探地雷达传感器；
步骤2.检测计划执行实施，基于工程要求规划无人机的任务区域和路线，确定任务的优先级和关键区域，启动无人机，执行任务计划，同时记录地面和地下数据；
步骤3.数据采集传输，通过摄像头和激光雷达进行地面检测，同时使用探地雷达传感器进行地下探测，传感器定期采集数据生成详细的地图，同时实时将数据传输到地面站；
步骤4.多信息融合，设置地面站，在地面站上对数据进行预处理，包括去噪、数据校准和格式转换，采用优化SLAM算法，将地面和地下数据进行融合，生成一体化的地图，地图包括地下病害的位置和性质，以及地面病害的详细信息；
步骤5.实时反馈，在飞行过程中，通过地面站将地下病害的检测结果实时反馈给工程人员。
本发明进一步地设置为：所述检测计划执行实施步骤中，规划无人机的任务区域和路线方式具体为：
根据工程地图确定任务边界区域，设任务区域的边界坐标为(xb,yb)；
基于工程需求确定任务优先级和目标区域，设目标区域的坐标为(xt,yt)，表示目标关注区域；
任务区域的面积A使用多边形面积计算公式计算，具体为：
其中n为边界上的点数，xi,yi表示边界上的点的坐标，i+1表示邻近的坐标点；
任务飞行高度H通过地面分辨率D和传感器视场角α计算，地面分辨率表示无人机能够识别的最小地面特征尺寸，具体为：
其中α表示传感器视场角，D表示地面分辨率；
定义任务区域的边界和飞行高度，确定路径点(xp,yp)，具体为：
其中N表示路径点的总数，i表示当前路径点的索引；
本发明进一步地设置为：所述任务计划和飞行步骤中，规划无人机的任务区域和路线方式还包括：
确定任务飞行时长T，通过任务区域飞行总长度、飞行速度V以及任务区域的形状计算；
飞行总长度使用边界点坐标计算，具体的：
其中L表示任务飞行总长度，n为边界上的点数，xi，yi为边界上的点的坐标，xi+1，yi+1为邻近的边界点坐标；
任务飞行时长T计算公式表示为：
本发明进一步地设置为：所述数据采集和传输步骤中：
无人机上的摄像头用于地面检测，以150000帧/秒的频率拍摄照片，I(t)表示在时刻t拍摄的图像，图像用于地面特征提取和地图生成；
激光雷达用于获取地面的三维点云数据，激光雷达将以5000hz的频率执行扫描操作，生成点云数据P(t)，其中t表示时间，点云数据提供了地面的高程和形状信息；
控制雷达传感器用于地下病害检测，通过地下发送信号并接收反射信号，接收反射过程表示为：
其中d(t)表示探地雷达测得的深度，c为电磁波在地下传播的速度，Δt为从发送到接收的时间差；
本发明进一步地设置为：所述数据采集和传输步骤中：
在地面站上对采集的数据进行预处理，包括数据去噪、坐标系校准和数据格式转换；
无人机将经过预处理的数据实时传输到地面站；
本发明进一步地设置为：所述多信息融合步骤中，采用优化SLAM算法将地面和地下数据融合，以生成一体化的地图，具体包括：
在进行数据融合之前，对采集的数据进行预处理，包括去噪、坐标系校准和数据格式转换；
采用视觉SLAM、激光SLAM、多传感器SLAM进行数据融合，同时估计无人机的位姿以及地面和地下病害的位置；
通过传感器融合以及特征点匹配将地下数据和地面数据进行关联；
本发明进一步地设置为：所述多信息融合步骤中，数据融合步骤具体包括：
使用视觉SLAM算法提取图像特征，包括关键点和描述子；
采用Harris角点检测、SIFT尺度不变特征法变换识别图像中的关键点；
Harris角点检测使用角点响应函数确定角点：
R＝det(M)＝k*trace(M)2，
其中R表示M矩阵，det(M)表示M矩阵的行列式，trace(M)2表示M矩阵的迹，即矩阵对角元素之和，k为矩阵常数；
采用SIFT描述子为每个关键点计算描述子，描述关键点周围的图像局部特征；
采用基于最近邻法将不同图像中的关键点和描述子进行匹配，确定在不同图像之间的对应关系；
本发明进一步地设置为：所述多信息融合步骤中，数据融合步骤还包括：
基于双目SLAM算法使用相机图像和特征匹配来估计无人机的位姿，采用运动方程和相机投影方程进行估计，具体为：
从双目相机采集的图像中提取特征点，包括角点、斑点；
为每个特征点计算描述子，描述子用于描述特征点周围的图像局部特征；
将左右相机图像中的特征点和描述子进行匹配，确定在不同相机视图之间的对应关系；
双目SLAM使用相机投影方程将特征点的三维位置与其在图像中的投影关联，相机成像过程的形式表示为：
其中s表示尺度因子，(u,v)表示特征点在图像中的像素坐标，K为相机内参矩阵，(R,t)为相机的位姿，即旋转矩阵和平移向量，(X,Y,Z)表示是特征点的世界坐标；
双目SLAM使用基础矩阵确定相机位姿和特征点的三维位置，矩阵通过特征点的像素坐标和对应的图像中的特征点计算；
本发明还提供一种终端设备，该设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的视觉、激光SLAM和探地雷达结合的无人机检测方法的控制程序，所述视觉、激光SLAM和探地雷达结合的无人机检测方法的控制程序被所述处理器执行时实现上述视觉、激光SLAM和探地雷达结合的无人机检测方法；
本发明还提供一种存储介质，该介质应用于计算机，所述存储介质上存储有视觉、激光SLAM和探地雷达结合的无人机检测方法的控制程序，所述视觉、激光SLAM和探地雷达结合的无人机检测方法的控制程序被所述处理器执行时实现上述视觉、激光SLAM和探地雷达结合的无人机检测方法。
(三)有益效果
本发明提供了视觉、激光SLAM和探地雷达结合的无人机检测方法。具备以下
有益效果：
本申请所提供的视觉、激光SLAM和探地雷达结合的无人机检测方法中，无人机装备多种传感器，包括摄像头、激光雷达和探地雷达传感器，传感器的集成使得无人机能够同时获取地面和地下的数据，基于工程需求确定任务的优先级和关键区域，用于设定任务区域的边界和目标关注区域，同时计算任务区域的面积和任务飞行高度，基于坐标点的计算，保证无人机在任务执行期间的路径和任务优先级。
任务计划和飞行执行的同时，无人机使用搭载的摄像头、激光雷达和探地雷达传感器采集数据，摄像头以高帧率拍摄地面图像，激光雷达生成地面的三维点云数据，而探地雷达用于地下病害检测，数据定期采集和传输至地面站，保证实时数据的可用性，数据采集和传输的步骤还包括预处理，包括去噪、坐标系校准和数据格式转换，保证数据的质量和一致性。
然后进行多信息融合，通过视觉SLAM、激光SLAM和探地雷达协同工作，对无人机的位姿、地面和地下病害的位置进行确定，数据融合的过程包括特征点的提取、匹配、相机图像处理、双目SLAM位姿估计、激光SLAM和地下雷达数据的转化，以及最终的地图生成，确保地面和地下数据的融合，生成了一体化的地图，其中包括地下病害的位置和性质，以及地面病害的详细信息，同时通过地面站，将无人机的检测结果实时反馈给工程人员，及时提供信息，使工程人员能够迅速作出决策。
解决了现有技术中存在的目前应用的无人机检测主要依赖于摄像头和激光雷达，用于表面检测，但未涵盖道路地下病害情况，忽略地下病害可能导致工程人员错失最佳病害处治时机的问题。
附图说明
图1为本发明的视觉、激光SLAM和探地雷达结合的无人机检测方法流程图；
图2为本发明的视觉、激光SLAM和探地雷达结合的无人机检测方法多信息融合流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
请参阅图1-图2，本发明提供视觉、激光SLAM和探地雷达结合的无人机检测方法，包括：
S1.集成传感器无人机部署，无人机上集成传感器单元，传感器单元包括摄像头、激光雷达以及探地雷达传感器；
S2.检测计划执行实施，基于工程要求规划无人机的任务区域和路线，确定任务的优先级和关键区域，启动无人机，执行任务计划，同时记录地面和地下数据；
检测计划执行实施步骤中，规划无人机的任务区域和路线方式具体为：
根据工程地图确定任务边界区域，设任务区域的边界坐标为(xb,yb)；
基于工程需求确定任务优先级和目标区域，设目标区域的坐标为(xt,yt)，表示目标关注区域；
任务区域的面积A使用多边形面积计算公式计算，具体为：
其中n为边界上的点数，xi,yi表示边界上的点的坐标，i+1表示邻近的坐标点；
任务飞行高度H通过地面分辨率D和传感器视场角α计算，地面分辨率表示无人机能够识别的最小地面特征尺寸，具体为：
其中α表示传感器视场角，D表示地面分辨率；
定义任务区域的边界和飞行高度，确定路径点(xp,yp)，具体为：
其中N表示路径点的总数，i表示当前路径点的索引；
任务计划和飞行步骤中，规划无人机的任务区域和路线方式还包括：
确定任务飞行时长T，通过任务区域飞行总长度、飞行速度V以及任务区域的形状计算；
飞行总长度使用边界点坐标计算，具体的：
其中L表示任务飞行总长度，n为边界上的点数，xi，yi为边界上的点的坐标，xi61，yi61为邻近的边界点坐标；
任务飞行时长T计算公式表示为：
S3.数据采集传输，通过摄像头和激光雷达进行地面检测，同时使用探地雷达传感器进行地下探测，传感器定期采集数据生成详细的地图，同时实时将数据传输到地面站；
数据采集和传输步骤中：
无人机上的摄像头用于地面检测，以150000帧/秒的频率拍摄照片，I(t)表示在时刻t拍摄的图像，图像用于地面特征提取和地图生成；
激光雷达用于获取地面的三维点云数据，激光雷达将以5000hz的频率执行扫描操作，生成点云数据P(t)，其中t表示时间，点云数据提供了地面的高程和形状信息；
控制雷达传感器用于地下病害检测，通过地下发送信号并接收反射信号，接收反射过程表示为：
其中d(t)表示探地雷达测得的深度，c为电磁波在地下传播的速度，Δt为从发送到接收的时间差；
数据采集和传输步骤中：
在地面站上对采集的数据进行预处理，包括数据去噪、坐标系校准和数据格式转换；
无人机将经过预处理的数据实时传输到地面站；
S4.多信息融合，设置地面站，在地面站上对数据进行预处理，包括去噪、数据校准和格式转换，采用优化SLAM算法，将地面和地下数据进行融合，生成一体化的地图，地图包括地下病害的位置和性质，以及地面病害的详细信息；
多信息融合步骤中，采用优化SLAM算法将地面和地下数据融合，以生成一体化的地图，具体包括：
在进行数据融合之前，对采集的数据进行预处理，包括去噪、坐标系校准和数据格式转换；
采用视觉SLAM、激光SLAM、多传感器SLAM进行数据融合，同时估计无人机的位姿以及地面和地下病害的位置；
通过传感器融合以及特征点匹配将地下数据和地面数据进行关联；
多信息融合步骤中，数据融合步骤具体包括：
使用视觉SLAM算法提取图像特征，包括关键点和描述子；
采用Harris角点检测、SIFT尺度不变特征法变换识别图像中的关键点；
Harris角点检测使用角点响应函数确定角点：
R＝det(M)＝k*trace(M)2，
其中R表示M矩阵，det(M)表示M矩阵的行列式，trace(M)2表示M矩阵的迹，即矩阵对角元素之和，k为矩阵常数；
采用SIFT描述子为每个关键点计算描述子，描述关键点周围的图像局部特征；
采用基于最近邻法将不同图像中的关键点和描述子进行匹配，确定在不同图像之间的对应关系；
多信息融合步骤中，数据融合步骤还包括：
基于双目SLAM算法使用相机图像和特征匹配来估计无人机的位姿，采用运动方程和相机投影方程进行估计，具体为：
从双目相机采集的图像中提取特征点，包括角点、斑点；
为每个特征点计算描述子，描述子用于描述特征点周围的图像局部特征；
将左右相机图像中的特征点和描述子进行匹配，确定在不同相机视图之间的对应关系；
双目SLAM使用相机投影方程将特征点的三维位置与其在图像中的投影关联，相机成像过程的形式表示为：
其中s表示尺度因子，(u,v)表示特征点在图像中的像素坐标，K为相机内参矩阵，(R,t)为相机的位姿，即旋转矩阵和平移向量，(X,Y,Z)表示是特征点的世界坐标；
双目SLAM使用基础矩阵确定相机位姿和特征点的三维位置，矩阵通过特征点的像素坐标和对应的图像中的特征点计算；
多信息融合步骤中，数据融合步骤还包括：
采用激光SLAM算法，将激光雷达数据转化为地面地图；
基于扩展卡尔曼滤波EKF通过激光雷达数据估计无人机的位姿；
利用探地雷达传感器数据生成地下地图，包括地下病害的位置；
采用扩展多传感器EKF-SLAM将来自视觉SLAM、激光SLAM和地下雷达的数据进行融合；
通过非线性优化算法联合优化估计无人机的位姿、地面和地下病害的位置；
生成一体化的地图，包括地面和地下地图，以及无人机的位姿估计；
将地面和地下病害的位置和性质以及无人机的位姿实时记录在地图中；
S5.实时反馈，在飞行过程中，通过地面站将地下病害的检测结果实时反馈给工程人员。
本发明还提供一种终端设备，该设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的视觉、激光SLAM和探地雷达结合的无人机检测方法的控制程序，视觉、激光SLAM和探地雷达结合的无人机检测方法的控制程序被处理器执行时实现上述的视觉、激光SLAM和探地雷达结合的无人机检测方法；
本发明还提供一种存储介质，该介质应用于计算机，存储介质上存储有视觉、激光SLAM和探地雷达结合的无人机检测方法的控制程序，视觉、激光SLAM和探地雷达结合的无人机检测方法的控制程序被处理器执行时实现上述的视觉、激光SLAM和探地雷达结合的无人机检测方法。
综合以上内容，在本申请中：
本申请所提供的视觉、激光SLAM和探地雷达结合的无人机检测方法中，无人机装备多种传感器，包括摄像头、激光雷达和探地雷达传感器，传感器的集成使得无人机能够同时获取地面和地下的数据，基于工程需求确定任务的优先级和关键区域，用于设定任务区域的边界和目标关注区域，同时计算任务区域的面积和任务飞行高度，基于坐标点的计算，保证无人机在任务执行期间的路径和任务优先级。
任务计划和飞行执行的同时，无人机使用搭载的摄像头、激光雷达和探地雷达传感器采集数据，摄像头以高帧率拍摄地面图像，激光雷达生成地面的三维点云数据，而探地雷达用于地下病害检测，数据定期采集和传输至地面站，保证实时数据的可用性，数据采集和传输的步骤还包括预处理，包括去噪、坐标系校准和数据格式转换，保证数据的质量和一致性。
然后进行多信息融合，通过视觉SLAM、激光SLAM和探地雷达协同工作，对无人机的位姿、地面和地下病害的位置进行确定，数据融合的过程包括特征点的提取、匹配、相机图像处理、双目SLAM位姿估计、激光SLAM和地下雷达数据的转化，以及最终的地图生成，确保地面和地下数据的融合，生成了一体化的地图，其中包括地下病害的位置和性质，以及地面病害的详细信息，同时通过地面站，将无人机的检测结果实时反馈给工程人员，及时提供信息，使工程人员能够迅速作出决策。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.视觉、激光SLAM和探地雷达结合的无人机检测方法，其特征在于，包括：
步骤1.集成传感器无人机部署，无人机上集成传感器单元，传感器单元包括摄像头、激光雷达以及探地雷达传感器；
步骤2.检测计划执行实施，基于工程要求规划无人机的任务区域和路线，确定任务的优先级和关键区域，启动无人机，执行任务计划，同时记录地面和地下数据；
步骤3.数据采集传输，通过摄像头和激光雷达进行地面检测，同时使用探地雷达传感器进行地下探测，传感器定期采集数据生成详细的地图，同时实时将数据传输到地面站；
步骤4.多信息融合，设置地面站，在地面站上对数据进行预处理，包括去噪、数据校准和格式转换，采用优化SLAM算法，将地面和地下数据进行融合，生成一体化的地图，地图包括地下病害的位置和性质，以及地面病害的详细信息；
步骤5.实时反馈，在飞行过程中，通过地面站将地下病害的检测结果实时反馈给工程人员。
2.根据权利要求1所述的视觉、激光SLAM和探地雷达结合的无人机检测方法，其特征在于，所述检测计划执行实施步骤中，规划无人机的任务区域和路线方式具体为：
根据工程地图确定任务边界区域，设任务区域的边界坐标为(xb,yb)；
基于工程需求确定任务优先级和目标区域，设目标区域的坐标为(xt,yt)，表示目标关注区域；
任务区域的面积A使用多边形面积计算公式计算，具体为：
其中n为边界上的点数，xi,yi表示边界上的点的坐标，i+1表示邻近的坐标点；
任务飞行高度H通过地面分辨率D和传感器视场角α计算，地面分辨率表示无人机能够识别的最小地面特征尺寸，具体为：
其中α表示传感器视场角，D表示地面分辨率；
定义任务区域的边界和飞行高度，确定路径点(xp,yp)，具体为：
其中N表示路径点的总数，i表示当前路径点的索引。
3.根据权利要求1所述的视觉、激光SLAM和探地雷达结合的无人机检测方法，其特征在于，所述任务计划和飞行步骤中，规划无人机的任务区域和路线方式还包括：
确定任务飞行时长T，通过任务区域飞行总长度、飞行速度V以及任务区域的形状计算；
飞行总长度使用边界点坐标计算，具体的：
其中L表示任务飞行总长度，n为边界上的点数，xi，yi为边界上的点的坐标，xi+1，yi+1为邻近的边界点坐标；
任务飞行时长T计算公式表示为：
4.根据权利要求1所述的视觉、激光SLAM和探地雷达结合的无人机检测方法，其特征在于，所述数据采集和传输步骤中：
无人机上的摄像头用于地面检测，以150000帧/秒的频率拍摄照片，I(t)表示在时刻t拍摄的图像，图像用于地面特征提取和地图生成；
激光雷达用于获取地面的三维点云数据，激光雷达将以5000hz的频率执行扫描操作，生成点云数据P(t)，其中t表示时间，点云数据提供了地面的高程和形状信息；
控制雷达传感器用于地下病害检测，通过地下发送信号并接收反射信号，接收反射过程表示为：
其中d(t)表示探地雷达测得的深度，c为电磁波在地下传播的速度，Δt为从发送到接收的时间差。
5.根据权利要求1所述的视觉、激光SLAM和探地雷达结合的无人机检测方法，其特征在于，所述数据采集和传输步骤中：
在地面站上对采集的数据进行预处理，包括数据去噪、坐标系校准和数据格式转换；
无人机将经过预处理的数据实时传输到地面站。
6.根据权利要求1所述的视觉、激光SLAM和探地雷达结合的无人机检测方法，其特征在于，所述多信息融合步骤中，采用优化SLAM算法将地面和地下数据融合，以生成一体化的地图，具体包括：
在进行数据融合之前，对采集的数据进行预处理，包括去噪、坐标系校准和数据格式转换；
采用视觉SLAM、激光SLAM、多传感器SLAM进行数据融合，同时估计无人机的位姿以及地面和地下病害的位置；
通过传感器融合以及特征点匹配将地下数据和地面数据进行关联。
7.根据权利要求1所述的视觉、激光SLAM和探地雷达结合的无人机检测方法，其特征在于，所述多信息融合步骤中，数据融合步骤具体包括：
使用视觉SLAM算法提取图像特征，包括关键点和描述子；
采用Harris角点检测、SIFT尺度不变特征法变换识别图像中的关键点；
Harris角点检测使用角点响应函数确定角点：
R＝det(M)＝k*trace(M)2，
其中R表示M矩阵，det(M)表示M矩阵的行列式，trace(M)2表示M矩阵的迹，即矩阵对角元素之和，k为矩阵常数；
采用SIFT描述子为每个关键点计算描述子，描述关键点周围的图像局部特征；
采用基于最近邻法将不同图像中的关键点和描述子进行匹配，确定在不同图像之间的对应关系。
8.根据权利要求1所述的视觉、激光SLAM和探地雷达结合的无人机检测方法，其特征在于，所述多信息融合步骤中，数据融合步骤还包括：
基于双目SLAM算法使用相机图像和特征匹配来估计无人机的位姿，采用运动方程和相机投影方程进行估计，具体为：
从双目相机采集的图像中提取特征点，包括角点、斑点；
为每个特征点计算描述子，描述子用于描述特征点周围的图像局部特征；
将左右相机图像中的特征点和描述子进行匹配，确定在不同相机视图之间的对应关系；
双目SLAM使用相机投影方程将特征点的三维位置与其在图像中的投影关联，相机成像过程的形式表示为：
其中s表示尺度因子，(u,v)表示特征点在图像中的像素坐标，K为相机内参矩阵，(R,t)为相机的位姿，即旋转矩阵和平移向量，(X,Y,Z)表示是特征点的世界坐标；
双目SLAM使用基础矩阵确定相机位姿和特征点的三维位置，矩阵通过特征点的像素坐标和对应的图像中的特征点计算。
9.一种终端设备，其特征在于，该设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的视觉、激光SLAM和探地雷达结合的无人机检测方法的控制程序，所述视觉、激光SLAM和探地雷达结合的无人机检测方法的控制程序被所述处理器执行时实现如权利要求1-8中任一项所述的视觉、激光SLAM和探地雷达结合的无人机检测方法。
10.一种存储介质，其特征在于，该介质应用于计算机，所述存储介质上存储有视觉、激光SLAM和探地雷达结合的无人机检测方法的控制程序，所述视觉、激光SLAM和探地雷达结合的无人机检测方法的控制程序被所述处理器执行时实现如权利要求1-8中任一项所述的视觉、激光SLAM和探地雷达结合的无人机检测方法。
CN202311388339.9A 2023-10-24 2023-10-24 视觉、激光slam和探地雷达结合的无人机检测方法 Pending CN117538861A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311388339.9A CN117538861A (zh) 2023-10-24 2023-10-24 视觉、激光slam和探地雷达结合的无人机检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311388339.9A CN117538861A (zh) 2023-10-24 2023-10-24 视觉、激光slam和探地雷达结合的无人机检测方法

Publications (1)

Publication Number Publication Date
CN117538861A true CN117538861A (zh) 2024-02-09

Family

ID=89794875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311388339.9A Pending CN117538861A (zh) 2023-10-24 2023-10-24 视觉、激光slam和探地雷达结合的无人机检测方法

Country Status (1)

Country Link
CN (1) CN117538861A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117784120A (zh) * 2024-02-23 2024-03-29 南京新航线无人机科技有限公司 一种无人机飞行状态监测方法及系统
CN117890999A (zh) * 2024-03-15 2024-04-16 中国民用航空飞行学院 无人机排雷控制方法、装置、电子设备及存储介质
CN117890999B (zh) * 2024-03-15 2024-05-31 中国民用航空飞行学院 无人机排雷控制方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117784120A (zh) * 2024-02-23 2024-03-29 南京新航线无人机科技有限公司 一种无人机飞行状态监测方法及系统
CN117784120B (zh) * 2024-02-23 2024-05-28 南京新航线无人机科技有限公司 一种无人机飞行状态监测方法及系统
CN117890999A (zh) * 2024-03-15 2024-04-16 中国民用航空飞行学院 无人机排雷控制方法、装置、电子设备及存储介质
CN117890999B (zh) * 2024-03-15 2024-05-31 中国民用航空飞行学院 无人机排雷控制方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11085775B2 (en) Methods and systems for generating and using localisation reference data
EP3137850B1 (en) Method and system for determining a position relative to a digital map
EP3332217B1 (en) Methods and systems for generating and using localisation reference data
CN106645205A (zh) 一种无人机桥梁底面裂纹检测方法及系统
CN113870343B (zh) 相对位姿标定方法、装置、计算机设备和存储介质
CN117538861A (zh) 视觉、激光slam和探地雷达结合的无人机检测方法
Leonardi et al. 3D mapping of pavement distresses using an Unmanned Aerial Vehicle (UAV) system
Moreno et al. An instrumented vehicle for efficient and accurate 3D mapping of roads
Shan et al. Feasibility of Accurate Point Cloud Model Reconstruction for Earthquake‐Damaged Structures Using UAV‐Based Photogrammetry
Alkaabi et al. Application of A Drone camera in detecting road surface cracks: A UAE testing case study
Saponaro et al. Influence of co-alignment procedures on the co-registration accuracy of multi-epoch SFM points clouds
CN113593026A (zh) 车道线标注辅助地图生成方法、装置和计算机设备
Markovic et al. Application of modern technologies in assessing facade condition of building structures
Roshchin Improving the accuracy of forming a digital terrain model along a railway track
Li et al. High‐resolution model reconstruction and bridge damage detection based on data fusion of unmanned aerial vehicles light detection and ranging data imagery
WO2024048056A1 (ja) データ解析装置、探査システム、データ解析方法、及びプログラム
CN117970285B (zh) 一种基于机载激光雷达的路基沉降监测方法
Sun A new method for monitoring machinery movement using an Unmanned Aerial Vehicle (UAV) system
Ruan et al. A Novel Method for Ground-truth Determination of Lane Information through a Single Web Camera
CN115877367A (zh) 一种车辆定位方法及装置
CN117746288A (zh) 车辆重量预测、样本数据构建、模型训练方法及装置
CN115731300A (zh) 用于校准基础设施传感器系统的方法和装置以及基础设施系统
Vasić et al. The importance of Mobile laser scanning in the collection of road infrastructure data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination