CN114820595B - 四足机器人协同无人机检测区域损伤的方法及相关组件 - Google Patents

四足机器人协同无人机检测区域损伤的方法及相关组件 Download PDF

Info

Publication number
CN114820595B
CN114820595B CN202210714315.7A CN202210714315A CN114820595B CN 114820595 B CN114820595 B CN 114820595B CN 202210714315 A CN202210714315 A CN 202210714315A CN 114820595 B CN114820595 B CN 114820595B
Authority
CN
China
Prior art keywords
detection
aerial vehicle
unmanned aerial
quadruped robot
damage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210714315.7A
Other languages
English (en)
Other versions
CN114820595A (zh
Inventor
褚鸿鹄
曹然
邓露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202210714315.7A priority Critical patent/CN114820595B/zh
Publication of CN114820595A publication Critical patent/CN114820595A/zh
Application granted granted Critical
Publication of CN114820595B publication Critical patent/CN114820595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Architecture (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了四足机器人协同无人机检测区域损伤的方法及相关组件，涉及无人地下空间探测领域，先通过四足机器人使用深度学习目标检测算法来确定待测区域的图像和点云模型，通过图像来确定隧道内的粗略损伤区域，再控制无人机前往粗略损伤区域进行精细损伤检测，最后精细损伤检测的检测结果映射到点云模型中，得到待测区域的损伤检测结果。通过使用了四足机器人与无人机相互配合以检测损伤区域的方法，能够检测各种复杂和恶劣环境中的损伤区域，并利用了深度学习目标检测算法来确定损伤区域，只需要在区域内配置四足机器人和无人机即可实现检测区域损伤，不需要人工参与区域损伤检测，提高损伤检测的效率，避免了人工检测给人员带来的安全风险。

Description

四足机器人协同无人机检测区域损伤的方法及相关组件
技术领域
本发明涉及无人地下空间探测领域，特别是涉及四足机器人协同无人机检测区域损伤的方法及相关组件。
背景技术
随着使用时间的增长，公路隧道和地下隧道等隧道设施会因为受到地质环境变化或本身结构负荷变化等因素的影响而产生裂缝，称作是隧道损伤，隧道损伤对隧道稳定性的威胁很大，具体会威胁到隧道的结构安全，导致出现隧道变形、渗漏水、衬砌脱落和坍塌等现象，甚至可能会危及隧道内人员的生命安全，所以需要及时检测到隧道损伤以进行处理。现有技术在检测隧道损伤时，通常是通过人工进行检测，人员通过肉眼观察或使用超声波探测仪等仪器检测隧道损伤，但是人工检测的方法效率较低，而一些隧道的半径较大，需要使用升降平台来辅助检测，进一步降低了隧道损伤的检测效率，而且由于人工检测需要人员进入隧道内部进行检测，给人员带来了一定的安全风险。
发明内容
本发明的目的是提供一种四足机器人协同无人机检测区域损伤的方法及相关组件，不需要人工参与区域损伤检测，提高了区域损伤的检测效率，避免了人工检测给人员带来的安全风险。
为解决上述技术问题，本发明提供了一种四足机器人协同无人机检测区域损伤的方法，应用于四足机器人中的处理器，包括：
确定以所述四足机器人为原点的预设半径的待测区域的点云模型；
获取所述四足机器人的摄像机拍摄到的隧道图像；
将所述隧道图像发送到预先训练好的深度学习目标检测算法中，确定所述隧道图像中的所有的粗略损伤区域，所述深度学习目标检测算法预先由预设数量的隧道图像训练得到的；
将各个所述粗略损伤区域均映射到所述点云模型中，得到各个所述粗略损伤区域的空间位置信息；
根据所述空间位置信息控制无人机前往各个所述粗略损伤区域，以便所述无人机对所述粗略损伤区域进行精细损伤检测；
将所述无人机对所述粗略损伤区域进行精细损伤检测的各个检测结果均映射到所述点云模型中，得到所述待测区域的损伤检测结果。
优选的，根据所述空间位置信息控制无人机前往各个所述粗略损伤区域，包括：
确定所述无人机从第一预设位置出发并依次经过各个所述粗略损伤区域再返回所述第一预设位置的N条飞行路线，N为不小于2的整数；
确定各个所述飞行路线的飞行成本；
基于所述飞行成本最小的飞行路线控制所述无人机飞行。
优选的，确定各个所述飞行路线的飞行成本，包括：
对于任一所述飞行路线，均执行以下步骤：
S21：确定所述飞行路线上的各个路径点与预设水平面之间的高度；
S22：确定所述飞行路线上的第一个路径点作为当前路径点；
S23：判断所述当前路径点是否为所述飞行路线上的最后一个路径点；若是，则进入S26；若否，则进入S24；
S24：确定所述当前路径点与所述当前路径点的下一个路径点之间的直线长度，确定当前路径点的所述高度对于所述直线长度的积分，并进入S25；
S25：将所述当前路径点的下一个路径点作为新的当前路径点，返回S23；
S26：确定所有所述直线长度相加得到的第一数量和所有所述高度的曲线积分，并将所述第一数量和与所述曲线积分相加得到的第二数量和作为所述飞行路线的飞行成本。
优选的，确定待测区域的点云模型，包括：
S31：控制所述四足机器人的激光探测器随机向任一方向进行探测，得到所述方向上的激光探测点；
S32：将探测次数加1，所述探测次数初始为0；
S33：判断所述探测次数是否达到预设次数，若是，则进入S34；若否，则返回S31；
S34：基于所有的所述激光探测点确定所述待测区域的点云模型。
优选的，还包括：
判断所述无人机的当前电量是否低于预设电量阈值；
若是，则确定所述无人机当前所在的位置至预设充电位置之间的最短路线；
根据所述最短路线控制所述无人机前往所述预设充电位置，以便所述无人机进行充电；
当确定所述无人机充电完成后，根据所述最短路线控制所述无人机返回所述无人机当前所在的位置。
优选的，所述深度学习目标检测算法为单阶段目标检测算法，所述单阶段目标检测算法中预设有M个串联的尺寸均一致的卷积层，M为不小于2的整数。
优选的，在确定待测区域的点云模型之前，还包括：
获取所述四足机器人的移动路线以及所述移动路线上的各个检测点；
根据所述移动路线控制所述四足机器人依次前往各个所述检测点；
当所述四足机器人到达任一所述检测点时，控制所述四足机器人停止移动，进入确定以所述四足机器人为原点的预设半径的待测区域的点云模型的步骤；
在得到所述待测区域的损伤检测结果之后，还包括：
判断所述四足机器人当前所在的所述检测点是否为所述移动路线上的最后一个检测点；
若是，则确定所述四足机器人到达所述移动路线终点，得到多个所述点云模型，所述点云模型的数量等于所述检测点的数量；
若否，则控制所述四足机器人前往当前所在的所述检测点的下一个所述检测点。
优选的，在确定所述四足机器人到达所述移动路线终点之后，还包括：
确定各个所述点云模型对应的协方差矩阵和轴对齐边界框；
根据各个所述轴对齐边界框确定各个所述点云模型的排列顺序；
利用邻接矩阵和各个所述协方差矩阵将各个相邻的所述点云模型进行拼接，得到完整的点云模型。
本发明还提供一种四足机器人协同无人机检测区域损伤的装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述的四足机器人协同无人机检测区域损伤的方法的步骤。
本发明还提供一种四足机器人，包括四足机器人本体，还包括如上述的四足机器人协同无人机检测区域损伤的装置；
所述四足机器人本体与所述四足机器人协同无人机检测区域损伤的装置连接。
本发明提供了一种四足机器人协同无人机检测区域损伤的方法及相关组件，涉及无人地下空间探测领域，首先确定以四足机器人为原点的预设半径的待测区域的点云模型，然后获取四足机器人的摄像机拍摄到的隧道图像，将隧道图像发送到预先训练好的深度学习目标检测算法中，确定出隧道图像中的所有的粗略损伤区域，将各个粗略损伤区域均映射到点云模型中得到各个粗略损伤区域的空间位置信息，根据空间位置信息控制无人机前往各个粗略损伤区域，以便无人机对粗略损伤区域进行精细损伤检测，将无人机对粗略损伤区域进行精细损伤检测的各个检测结果均映射到点云模型中，得到待测区域的损伤检测结果。由于使用了四足机器人与无人机配合检测的方法，能够检测各种复杂和恶劣环境中的损伤区域，同时还利用了深度学习目标检测算法来确定损伤区域，所以只需要在区域内配置四足机器人和无人机即可实现检测区域损伤，不需要人工参与区域损伤检测，提高了区域损伤的检测效率，避免了人工检测给人员带来的安全风险。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的四足机器人协同无人机检测区域损伤的方法的流程图；
图2为本申请提供的一种点云模型的示意图；
图3为本申请提供的一种无人机的结构示意图；
图4为本申请提供的一种无人机方向校准方法的流程图；
图5为本申请提供的一种精细损伤检测结果映射方法的流程图；
图6为本申请提供的一种四足机器人的结构示意图；
图7为本申请提供的一种四足机器人协同无人机检测隧道损伤的示意图；
图8为本申请提供的四足机器人协同无人机检测区域损伤的装置的结构示意图；
图9为本申请提供的另一种四足机器人的结构示意图。
具体实施方式
本发明的核心是提供一种四足机器人协同无人机检测区域损伤的方法及相关组件，不需要人工参与区域损伤检测，提高了区域损伤的检测效率，避免了人工检测给人员带来的安全风险。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1为本申请提供的四足机器人协同无人机检测区域损伤的方法的流程图，应用于四足机器人中的处理器，包括：
S11：确定以四足机器人为原点的预设半径的待测区域的点云模型；
点云模型是一种表示目标表面的多个点的集合，当使用一束光照射到物体表面时，其反射光会携带方位、距离等信息，如激光测距。若对物体表面上的多个位置进行照射，则会得到多个反射点，这些反射点的集合即为点云模型，具体的，请参照图2，图2为本申请提供的一种点云模型的示意图，在建立待测区域的点云模型时，由于待测区域是一个三维空间区域，通过对待测区域内各个方向上的各个位置进行照射，以得到待测区域的三维角度上的点云模型，相当于是通过点云模型使四足机器人得知该待测区域的空间结构。
S12：获取四足机器人的摄像机拍摄到的隧道图像；
四足机器人的摄像机拍摄到的隧道图像可以看作是四足机器人的视野，通过隧道图像可以观察到四足机器人视野内的待测区域的大致结构以及轮廓，具体的，可以使用广角短焦镜头作为摄像机的镜头，以便四足机器人的摄像机能够拍摄到范围更广的隧道图像。
S13：将隧道图像发送到预先训练好的深度学习目标检测算法中，确定隧道图像中的所有的粗略损伤区域，深度学习目标检测算法预先由预设数量的隧道图像训练得到的；
由于摄像机拍摄到的隧道图像是二维图像，其虽然能够表现出待测区域的整体轮廓以及结构布局，但是其受到拍摄距离以及摄像机分辨率的影响，难以直接通过隧道图像得知待测区域内的轮廓细节以及损伤细节，所以在本申请中，可以预先设定一个深度学习目标检测算法，通过多个隧道图像来对该深度学习目标检测算法进行训练，在实际应用时，将摄像机拍摄到的隧道图像发送到深度学习目标检测算法中，以确定出待测区域内的所有的粗略损伤区域。
S14：将各个粗略损伤区域均映射到点云模型中，得到各个粗略损伤区域的空间位置信息；
为了确定粗略损伤区域的空间信息，本申请中，由于隧道图像是二维图像，得到的粗略损伤区域的特征也是二维的特征，可见基于二维的特征难以得知损伤区域在待测区域中的具体空间位置，所以需要将粗略损伤区域映射到点云模型中，以确定粗略损伤区域在点云模型中的位置，进而通过三维的点云模型来得知粗略损伤区域的空间位置信息。
S15：根据空间位置信息控制无人机前往各个粗略损伤区域，以便无人机对粗略损伤区域进行精细损伤检测；
在确定了粗略损伤区域后，控制无人机前往各个粗略损伤区域，考虑到隧道通常高度较高，所以采用可以飞行的无人机，请参照图3，图3为本申请提供的一种无人机的结构示意图，无人机在接收到四足机器人的控制指令后，无人机起飞并前往粗略损伤区域执行精细损伤检测。具体的，可以在无人机上设置照明设备，使用照明设备对粗略损伤区域进行打光，以便无人机能够更好地进行精细损伤检测，并使用无人机上的彩色摄像机机对粗略损伤区域进行高分辨率的图像采集，然后利用语义分割算法对采集到的图像进行语义分割，对其中的具体损伤（如渗水和裂缝等损伤）进行准确分割，得到准确地确定损伤区域的详细轮廓以及位置，并将语义分割结果标注在无人机所拍摄的图像上。
此外，为了进一步确定损伤类型，可以在无人机上搭载温度检测器，根据其检测到的温度来判断损伤类型，例如某个损伤，区域的损伤类型为渗水时，由于水的温度较低，所以通过温度检测器检测到某部分区域的温度相比于其他部分区域的温度更低时，可以确定该处为渗水损伤。
具体的，为了提高无人机进行精细损伤检测的速度，可以在无人机搭载的语义分割算法中，将该算法自带的通道注意力模块替换为一个全局编码层，该编码层由传统字典学习和残差编码相结合构成，将损伤部位纹理的特征统计作为先验信息在网络中表示。假设在无人机的摄像机拍摄的图像中，总共需要确定X个图像特征的编码向量信息，而编码层中总共有Y个编码文本，于是在将编码文本应用于图像特征时，有：
Figure 249137DEST_PATH_IMAGE001
其中，
Figure 334905DEST_PATH_IMAGE002
表示为将第
Figure 93914DEST_PATH_IMAGE003
个编码文件应用于各个图像特征时得到的残差编码向量，
Figure 302041DEST_PATH_IMAGE004
表示为第
Figure 444703DEST_PATH_IMAGE004
个图像特征，
Figure 6265DEST_PATH_IMAGE003
表示为将第
Figure 9993DEST_PATH_IMAGE003
个编码文件应用在该图像特征上，
Figure 483962DEST_PATH_IMAGE005
，其表示为编码向量的残差，而
Figure 384092DEST_PATH_IMAGE006
为编码向量残差的权重，有：
Figure 139559DEST_PATH_IMAGE007
其中，
Figure 902853DEST_PATH_IMAGE008
和
Figure 593729DEST_PATH_IMAGE009
均为预设的平滑因子，其与各个编码文本一一对应。基于此，可以得到
Figure 271835DEST_PATH_IMAGE010
个
Figure 706358DEST_PATH_IMAGE011
，然后，使用带有ReLU（rectified linear unit，修正线性单元）激活的归一化方法对所有的
Figure 825624DEST_PATH_IMAGE011
进行归一化以得到最终的语义分割结果也即精细损伤检测的检测结果。综上所述，通过编码层以实现字典学习，可以作为模型从特征图中学习损伤区域图像的语义上下文的补充，从而更好地突出表示损伤图像的通道。
此外，考虑到部分待测区域内部没有GPS（Global Positioning System，全球定位系统）信号，无法通过GPS来校准无人机的飞行方向，因此，可以基于深度学习目标跟踪算法以及视觉惯性里程计原理来校准无人机的飞行方向，以使无人机能够准确地根据控制指令前往粗略损伤区域，具体的，请参照图4，图4为本申请提供的一种无人机方向校准方法的流程图，为了准确地确定无人机在待测区域内的空间位置，可以同步校准无人机内部的IMU（Inertial Measurement Unit，惯性测量单元），将其停放位置作为坐标原点或者起始点，以便计算粗略损伤区域的方位，并通过无人机上的摄像机进行拍摄来辅助计算，而深度学习跟踪算法可以但不限于使用YOLO算法或者其他算法来对无人机的飞行方向进行校准，具体的，首先通过视觉惯性融合初始化四足机器人的视觉sfm（Structure From Motion，运动恢复结构），初始化后根据视觉惯性里程计量定位确定无人机的原始数据和最新数据等，并基于VIO（Visual Inertial Odometry，视觉惯性里程计）以及无人机中的损伤目标跟踪以及IMU信息对无人机的运动进行矫正；此外，在对无人机的运动进行矫正时，通过关键帧判定回路，并返回无人机的各种数据，以便在下次对无人机的运动进行矫正时使用。
S16：将无人机对粗略损伤区域进行精细损伤检测的各个检测结果均映射到点云模型中，得到待测区域的损伤检测结果。
在无人机对待测区域内所有的粗略损伤区域均进行精细损伤检测后，获取无人机的语义分割结果也即检测结果，由于无人机将语义分割结果标注在其拍摄的图像上，所以还需要使用3D映射算法先将图像转换成点云信息，请参照图5，图5为本申请提供的一种精细损伤检测结果映射方法的流程图，首先将全局的坐标转换成体素，将语义分割结果与体素进行坐标统一，再经过欧几里得聚类和特征提取，将其特征输入至分类器中，与现有的语义图一并进行语义信息融合，语义映射完成后更新现有的语义图，并修正其空间分布，最后将其映射到点云模型上，以得到待测区域最终的损伤检测结果。
综上所述，首先确定以四足机器人为原点的预设半径的待测区域的点云模型，然后获取四足机器人的摄像机拍摄到的隧道图像，将隧道图像发送到预先训练好的深度学习目标检测算法中，确定出隧道图像中的所有的粗略损伤区域，将各个粗略损伤区域均映射到点云模型中得到各个粗略损伤区域的空间位置信息，根据空间位置信息控制无人机前往各个粗略损伤区域，以便无人机对粗略损伤区域进行精细损伤检测，将无人机对粗略损伤区域进行精细损伤检测的各个检测结果均映射到点云模型中，得到待测区域的损伤检测结果。由于使用了四足机器人与无人机配合检测的方法，能够检测各种复杂和恶劣环境中的损伤区域，同时还利用了深度学习目标检测算法来确定损伤区域，所以只需要在区域内配置四足机器人和无人机即可实现检测区域损伤，不需要人工参与区域损失检测，提高了区域损伤的检测效率，避免了人工检测给人员带来的安全风险。
在上述实施例的基础上：
作为一种优选的实施例，根据空间位置信息控制无人机前往各个粗略损伤区域，包括：
确定无人机从第一预设位置出发并依次经过各个粗略损伤区域再返回第一预设位置的N条飞行路线，N为不小于2的整数；
确定各个飞行路线的飞行成本；
基于飞行成本最小的飞行路线控制无人机飞行。
为了提高无人机的效率，本申请中，考虑到待测区域内可能会存在多处粗略损伤区域，需要使用无人机一一为这些粗略损伤区域进行精细损伤检测，所以需要规划出无人机最佳的飞行路线，以提高无人机的飞行效率以及检测效率。具体的，可以基于四足机器人上搭载的高算力GPU（Graphics Processing Unit，图形处理器）通过多目标遍历路径规划算法先规划出无人机遍历各个粗略损伤区域的多条飞行路线，再根据每条飞行路线的能量消耗以及时间消耗等成本来控制无人机根据成本最小的飞行路线开始飞行，以缩短无人机的飞行时间，提高无人机的效率。
作为一种优选的实施例，确定各个飞行路线的飞行成本，包括：
对于任一飞行路线，均执行以下步骤：
S21：确定飞行路线上的各个路径点与预设水平面之间的高度；
S22：确定飞行路线上的第一个路径点作为当前路径点；
S23：判断当前路径点是否为飞行路线上的最后一个路径点；若是，则进入S26；若否，则进入S24；
S24：确定当前路径点与当前路径点的下一个路径点之间的直线长度，确定当前路径点的高度对于直线长度的积分，并进入S25；
S25：将当前路径点的下一个路径点作为新的当前路径点，返回S23；
S26：确定所有直线长度相加得到的第一数量和所有高度的曲线积分，并将第一数量和与曲线积分相加得到的第二数量和作为飞行路线的飞行成本。
为了准确地确定各个飞行路线的飞行成本，本申请中，由于规划出了无人机遍历各个粗略损伤区域的多条飞行路线，而无人机从每条飞行路线进行遍历的成本会受到多种原因的影响，例如，无人机总的飞行路程越长则飞行成本越高、无人机在高空中停留的时间越长则飞行成本越高或飞行路线越复杂则飞行成本越高等。所以可以根据无人机实际的飞行路线来确定该飞行路线的飞行成本，具体的，飞行路线上有多个路径点，无人机从会从飞行路线上的第一个路径点出发，依次经过各个路径点，最终再返回第一个路径点，而于任一条飞行路线而言，路径点设定的位置不同，所以各个路径点与预设水平面之间的高度以及相邻路径点之间的直线长度也不同，基于此，可以预先建立一个空间坐标系，空间坐标系的横轴为x轴，纵轴为y轴，竖轴为z轴，可以以无人机的初始位置作为坐标系原点，对于直线长度的成本，有：
Figure 546455DEST_PATH_IMAGE012
Figure 151005DEST_PATH_IMAGE013
其中，
Figure 123641DEST_PATH_IMAGE014
为飞行路线的直线长度成本，也即第一数量和，
Figure 690888DEST_PATH_IMAGE015
为无人机从k路径点移动到k+1路径点所经过的空间直线距离，x、y和z分别为路径点在空间坐标系上的坐标值，k和k+1均为该飞行路线上的路径点，N为该飞行路线上路径点的数量。
对于高度的成本，有：
Figure 457987DEST_PATH_IMAGE016
Figure 48368DEST_PATH_IMAGE017
其中，
Figure 949328DEST_PATH_IMAGE018
为飞行路线的高度成本，
Figure DEST_PATH_IMAGE019
和
Figure DEST_PATH_IMAGE020
均表示为k路径点与预设水平面之间的高度，
Figure DEST_PATH_IMAGE021
为该路径点在空间坐标系上的z轴坐标值，l为上述的空间直线距离。
基于此，在计算每条飞行路线的飞行成本时，有：
Figure DEST_PATH_IMAGE022
J即为各个飞行路线对应的最终飞行成本。可见，通过计算直线长度成本和高度成本，可以准确地计算出飞行路线的飞行成本，以便后续根据飞行成本最小的飞行路线控制无人机飞行。
作为一种优选的实施例，确定待测区域的点云模型，包括：
S31：控制四足机器人的激光探测器随机向任一方向进行探测，得到方向上的激光探测点；
S32：将探测次数加1，探测次数初始为0；
S33：判断探测次数是否达到预设次数，若是，则进入S34；若否，则返回S31；
S34：基于所有的激光探测点确定待测区域的点云模型。
为了准确地确定待测区域的点云模型，本申请中，考虑到点云模型是由多个激光探测点组成的一个模型，激光探测器每进行探测一次则得到一个激光探测点，检测点的数量越多，则点云模型则越详细，能够更准确地表达待测区域的空间信息，但同时考虑到激光探测器探测需要时间，进行过多次数的探测会减低工作效率，基于此，设定一个预设次数，该预设次数是预先根据激光探测器的探测时间以及点云模型的详细程度来设定的，可以是在保证点云模型能够准确表达待测区域的空间信息的前提下的最少探测次数，当激光探测器的探测次数到达预设次数时，则可以确定探测完成，基于所有的激光探测点来确定待测区域的点云模型。可见，通过激光探测器的多次探测，可以准确地确定待测区域的点云模型，并且保证了工作效率。
作为一种优选的实施例，还包括：
判断无人机的当前电量是否低于预设电量阈值；
若是，则确定无人机当前所在的位置至预设充电位置之间的最短路线；
根据最短路线控制无人机前往预设充电位置，以便无人机进行充电；
当确定无人机充电完成后，根据最短路线控制无人机返回无人机当前所在的位置。
考虑到无人机在工作过程中可能会出现电量不足的情况，本申请中，为了及时为无人机充电，在无人机进行精细损伤检测时，实时检测无人机的当前电量，若小于预先设定的电量阈值，则控制无人机从最短路线处前往预设充电位置，以便无人机进行充电，具体的，在确定最短路线时，若待测区域中较为空旷，则可以将无人机当前所在的位置至预设充电位置之间的直线线段直接作为最短路线，若待测区域中环境较为复杂，则可以先计算出无人机前往预设充电位置之间的多条路线，并将耗时最低的路线作为最短路线。而在无人机充电完毕后，则可以控制无人机原路返回到之前的位置，以便无人机继续执行之前的任务，基于此，能够在无人机工作的途中及时为无人机充电。
作为一种优选的实施例，深度学习目标检测算法为单阶段目标检测算法，单阶段目标检测算法中预设有M个串联的尺寸均一致的卷积层，M为不小于2的整数。
为了提高确定粗略损伤区域的效率，本申请中，可以使用单阶段目标检测算法作为深度学习目标检测算法，由于单阶段目标检测算法是一种端到端进行训练的算法，因此单阶段目标检测算法中只有一条网络分支，其网络结构简单，且执行速度快。而在实际应用时，将隧道图像输入到单阶段目标检测算法的网络中进行卷积以提取图像特征，主要通过特征交互网络来增强主干提供的原始特征，特征交互网络将来自主干的原始多尺度特征融合在一起，然后将其重新分配回每个特征尺度。而在进行卷积时，可以对单阶段目标检测算法做一些改进，具体是将该算法的卷积层替换为4个1*1的卷积层串联而成的卷积层，其中一个作为加权卷积层，两个作为移动网络卷积层，另外还可以根据损伤目标的实际尺寸来决定是否需要添加提升微小目标检测敏感性的上采样和下采样层。基于此，通过使用单阶段目标检测算法作为深度学习目标检测算法，可以提高确定粗略损伤区域的效率。
作为一种优选的实施例，在确定待测区域的点云模型之前，还包括：
获取四足机器人的移动路线以及移动路线上的各个检测点；
根据移动路线控制四足机器人依次前往各个检测点；
当四足机器人到达任一检测点时，控制四足机器人停止移动，进入确定以四足机器人为原点的预设半径的待测区域的点云模型的步骤；
在得到待测区域的损伤检测结果之后，还包括：
判断四足机器人当前所在的检测点是否为移动路线上的最后一个检测点；
若是，则确定四足机器人到达移动路线终点，得到多个点云模型，点云模型的数量等于检测点的数量；
若否，则控制四足机器人前往当前所在的检测点的下一个检测点。
为了使机器人检测范围更大的待测区域，本申请中，考虑到使用机器人确定待测区域的点云模型时，若待测区域较为宽广，则可能会出现机器人无法准确地确定离自身较远位置处的点云模型的情况；若待测区域较为复杂或地面不平坦，则可能会出现机器人移动困难、点云模型不准确甚至是机器人倒地的情况，所以，本申请采用的机器人为四足机器人，四足机器人设置有四条可模拟四足动物的步态模式的支撑结构，能够保证四足机器人在移动时的稳定程度相当于动物在地面上行走时的稳定程度。四足机器人相比于轮式机器人以及履带机器人等机器人而言能够更应对各种复杂和不平坦的地面；四足机器人相比于传统的大型探测机械而言体积更小、成本更低而且检测效率更高，可见四足机器人能够较好地应用在隧道损伤检测上。在实际应用时，请参照图6，图6为本申请提供的一种四足机器人的结构示意图，其主体结构为长方体的身躯连接上四条模拟动物姿态的支撑结构，也即连接有四条腿部结构，可以将无人机放置在四足机器人上方，将四足机器人作为无人机的停机平台以及初始位置，以便无人机以四足机器人为中心展开精细损伤检测，此外，还可以为四足机器人预先设定其移动路线，请参照图7，图7为本申请提供的一种四足机器人协同无人机检测隧道损伤的示意图，并在移动路线上设置多个检测点，四足机器人启动后，走到根据其移动路线依次前往各个检测点，当四足机器人到达某个检测点时，则会停止移动，并将该检测点附近的区域作为待测区域开始检测，例如可以将以检测点为原点的5米范围内的区域作为待测区域进行检测，当将该待测区域的精细损伤检测的检测结果映射到该待测区域的点云模型中后，也即损伤检测结束后，四足机器人再前往移动路线上的下一个检测点，并再次进行损伤检测。当四足机器人到达移动路线终点后，则说明四足机器人完成了对移动路线上所有检测点对应的待测区域的损伤检测。可见，通过使用可通过指令进行移动的四足机器人，并设定其移动路线，能够使使四足机器人准确地检测范围更大的待测区域。
作为一种优选的实施例，在确定四足机器人到达移动路线终点之后，还包括：
确定各个点云模型对应的协方差矩阵和轴对齐边界框；
根据各个轴对齐边界框确定各个点云模型的排列顺序；
利用邻接矩阵和各个协方差矩阵将各个相邻的点云模型进行拼接，得到完整的点云模型。
为了用户能够直观地观察完整的点云模型，本申请中，考虑到四足机器人在探测范围较大的待测区域时，需要进行多次探测，也即会生成多个点云模型，用户在观察其中一个点云模型时，相当于只能观察到部分待测区域，不能观察到整个待测区域。基于此，在四足机器人的损伤检测结束后，首先通过建立各个点云对应的局部坐标系，然后将点云模型转换为坐标系上的里程计信息。由于待测区域的测量点云分布在自由空间，点云在对应的坐标系中的轴对齐边界框近似于球体边界框。因此，可以基于轴对齐边界框的碰撞检测算法来确定各个点云模型的邻接关系，具体的，首先计算各个点云的协方差矩阵，再计算各个点云的轴对齐边界框，基于碰撞检测算法判断每两个点云模型之间的轴对齐边界框是否有相交点，有则说明这两个点云模型邻接，在对所有点云模型均进行邻接判断后，基于邻接矩阵对点云模型进行拼接，得到完整的待测区域的点云模型，以便用户能够直观地观察完整的点云模型。
请参照图8，图8为本申请提供的四足机器人协同无人机检测区域损伤的装置的结构示意图，包括：
存储器21，用于存储计算机程序；
处理器22，用于执行计算机程序时实现如上述的四足机器人协同无人机检测区域损伤的方法的步骤。
对于本申请提供的四足机器人协同无人机检测区域损伤的装置的详细介绍，请参照上述本申请提供的四足机器人协同无人机检测区域损伤的方法的实施例，本申请在此不再赘述。
请参照图9，图9为本申请提供的另一种四足机器人的结构示意图，包括四足机器人本体31，还包括上述的四足机器人协同无人机检测区域损伤的装置32；
四足机器人本体31与四足机器人协同无人机检测区域损伤的装置32连接。
对于本申请提供的另一种四足机器人的详细介绍，请参照上述本申请提供的四足机器人协同无人机检测区域损伤的方法的实施例，本申请在此不再赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种四足机器人协同无人机检测区域损伤的方法，其特征在于，应用于四足机器人中的处理器，包括：
确定以所述四足机器人为原点的预设半径的待测区域的点云模型；
获取所述四足机器人的摄像机拍摄到的隧道图像；
将所述隧道图像发送到预先训练好的深度学习目标检测算法中，确定所述隧道图像中的所有的粗略损伤区域，所述深度学习目标检测算法预先由预设数量的隧道图像训练得到的；
将各个所述粗略损伤区域均映射到所述点云模型中，得到各个所述粗略损伤区域的空间位置信息；
根据所述空间位置信息控制无人机前往各个所述粗略损伤区域，以便所述无人机对所述粗略损伤区域进行精细损伤检测；
将所述无人机对所述粗略损伤区域进行精细损伤检测的各个检测结果均映射到所述点云模型中，得到所述待测区域的损伤检测结果。
2.如权利要求1所述的四足机器人协同无人机检测区域损伤的方法，其特征在于，根据所述空间位置信息控制无人机前往各个所述粗略损伤区域，包括：
确定所述无人机从第一预设位置出发并依次经过各个所述粗略损伤区域再返回所述第一预设位置的N条飞行路线，N为不小于2的整数；
确定各个所述飞行路线的飞行成本；
基于所述飞行成本最小的飞行路线控制所述无人机飞行。
3.如权利要求2所述的四足机器人协同无人机检测区域损伤的方法，其特征在于，确定各个所述飞行路线的飞行成本，包括：
对于任一所述飞行路线，均执行以下步骤：
S21：确定所述飞行路线上的各个路径点与预设水平面之间的高度；
S22：确定所述飞行路线上的第一个路径点作为当前路径点；
S23：判断所述当前路径点是否为所述飞行路线上的最后一个路径点；若是，则进入S26；若否，则进入S24；
S24：确定所述当前路径点与所述当前路径点的下一个路径点之间的直线长度，确定当前路径点的所述高度对于所述直线长度的积分，并进入S25；
S25：将所述当前路径点的下一个路径点作为新的当前路径点，返回S23；
S26：确定所有所述直线长度相加得到的第一数量和所有所述高度的曲线积分，并将所述第一数量和与所述曲线积分相加得到的第二数量和作为所述飞行路线的飞行成本。
4.如权利要求1所述的四足机器人协同无人机检测区域损伤的方法，其特征在于，确定待测区域的点云模型，包括：
S31：控制所述四足机器人的激光探测器随机向任一方向进行探测，得到所述方向上的激光探测点；
S32：将探测次数加1，所述探测次数初始为0；
S33：判断所述探测次数是否达到预设次数，若是，则进入S34；若否，则返回S31；
S34：基于所有的所述激光探测点确定所述待测区域的点云模型。
5.如权利要求1所述的四足机器人协同无人机检测区域损伤的方法，其特征在于，还包括：
判断所述无人机的当前电量是否低于预设电量阈值；
若是，则确定所述无人机当前所在的位置至预设充电位置之间的最短路线；
根据所述最短路线控制所述无人机前往所述预设充电位置，以便所述无人机进行充电；
当确定所述无人机充电完成后，根据所述最短路线控制所述无人机返回所述无人机当前所在的位置。
6.如权利要求1所述的四足机器人协同无人机检测区域损伤的方法，其特征在于，所述深度学习目标检测算法为单阶段目标检测算法，所述单阶段目标检测算法中预设有M个串联的尺寸均一致的卷积层，M为不小于2的整数。
7.如权利要求1至6任一项所述的四足机器人协同无人机检测区域损伤的方法，其特征在于，在确定待测区域的点云模型之前，还包括：
获取所述四足机器人的移动路线以及所述移动路线上的各个检测点；
根据所述移动路线控制所述四足机器人依次前往各个所述检测点；
当所述四足机器人到达任一所述检测点时，控制所述四足机器人停止移动，进入确定以所述四足机器人为原点的预设半径的待测区域的点云模型的步骤；
在得到所述待测区域的损伤检测结果之后，还包括：
判断所述四足机器人当前所在的所述检测点是否为所述移动路线上的最后一个检测点；
若是，则确定所述四足机器人到达所述移动路线终点，得到多个所述点云模型，所述点云模型的数量等于所述检测点的数量；
若否，则控制所述四足机器人前往当前所在的所述检测点的下一个所述检测点。
8.如权利要求7所述的四足机器人协同无人机检测区域损伤的方法，其特征在于，在确定所述四足机器人到达所述移动路线终点之后，还包括：
确定各个所述点云模型对应的协方差矩阵和轴对齐边界框；
根据各个所述轴对齐边界框确定各个所述点云模型的排列顺序；
利用邻接矩阵和各个所述协方差矩阵将各个相邻的所述点云模型进行拼接，得到完整的点云模型。
9.一种四足机器人协同无人机检测区域损伤的装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述的四足机器人协同无人机检测区域损伤的方法的步骤。
10.一种四足机器人，其特征在于，包括四足机器人本体，还包括如权利要求9所述的四足机器人协同无人机检测区域损伤的装置；
所述四足机器人本体与所述四足机器人协同无人机检测区域损伤的装置连接。
CN202210714315.7A 2022-06-23 2022-06-23 四足机器人协同无人机检测区域损伤的方法及相关组件 Active CN114820595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210714315.7A CN114820595B (zh) 2022-06-23 2022-06-23 四足机器人协同无人机检测区域损伤的方法及相关组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210714315.7A CN114820595B (zh) 2022-06-23 2022-06-23 四足机器人协同无人机检测区域损伤的方法及相关组件

Publications (2)

Publication Number Publication Date
CN114820595A CN114820595A (zh) 2022-07-29
CN114820595B true CN114820595B (zh) 2022-09-02

Family

ID=82520479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210714315.7A Active CN114820595B (zh) 2022-06-23 2022-06-23 四足机器人协同无人机检测区域损伤的方法及相关组件

Country Status (1)

Country Link
CN (1) CN114820595B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118192664A (zh) * 2024-03-12 2024-06-14 中国人民解放军军事科学院系统工程研究院 一种固定翼无人机编队飞行控制方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109060821A (zh) * 2018-07-10 2018-12-21 深圳大学 基于激光检测的隧道病害检测方法及隧道病害检测装置
CN113092495A (zh) * 2021-03-19 2021-07-09 成都国铁电气设备有限公司 一种车地协同的地铁隧道缺陷智能巡检系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017217470A1 (ja) * 2016-06-16 2017-12-21 日本電気株式会社 点検システム、移動ロボット装置及び点検方法
WO2021068846A1 (zh) * 2019-10-09 2021-04-15 山东大学 一种用于运营期隧道衬砌检测及病害诊断的多臂机器人

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109060821A (zh) * 2018-07-10 2018-12-21 深圳大学 基于激光检测的隧道病害检测方法及隧道病害检测装置
CN113092495A (zh) * 2021-03-19 2021-07-09 成都国铁电气设备有限公司 一种车地协同的地铁隧道缺陷智能巡检系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A UAV-based machine vision method for bridge crack recognition and width quantification through hybrid feature learning;XiongPeng等;《Construction and Building Materials》;20210930;第299卷;1-19 *
隧道病害监测检测技术研究现状概述;陈湘生等;《隧道与地下工程灾害防治》;20201130;第2卷(第3期);1-12 *

Also Published As

Publication number Publication date
CN114820595A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN111486855B (zh) 一种具有物体导航点的室内二维语义栅格地图构建方法
KR102327185B1 (ko) 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법
CN109682381B (zh) 基于全向视觉的大视场场景感知方法、系统、介质及设备
CN107167139A (zh) 一种变电站巡检机器人视觉定位导航方法及系统
JP6590653B2 (ja) 点群データ利用システム
Surmann et al. An autonomous mobile robot with a 3D laser range finder for 3D exploration and digitalization of indoor environments
US9921069B2 (en) Map data creation device, autonomous movement system and autonomous movement control device
CN113870343B (zh) 相对位姿标定方法、装置、计算机设备和存储介质
CN109059942A (zh) 一种井下高精度导航地图构建系统及构建方法
KR20180079428A (ko) 자동 로컬리제이션을 위한 장치 및 방법
KR102305328B1 (ko) 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법
CN105928498A (zh) 通过基于模板的uav控制来确定对象数据
CN109829908B (zh) 基于双目影像的电力线下方地物安全距离检测方法及设备
CN112132144B (zh) 一种基于遥感图像的无人机航线撞地风险评估方法
JP2018081008A (ja) 基準映像地図を用いた自己位置姿勢標定装置
CN113899360B (zh) 港口自动驾驶高精度地图的生成与精度评价方法及装置
Belter et al. Estimating terrain elevation maps from sparse and uncertain multi-sensor data
CN110361026A (zh) 一种基于3d点云的仿人机器人路径规划方法
CN114820595B (zh) 四足机器人协同无人机检测区域损伤的方法及相关组件
CN112146627B (zh) 在无特征表面上使用投影图案的飞行器成像系统
Forsman et al. 3-D mapping of natural environments with trees by means of mobile perception
US11976939B2 (en) High-definition maps and localization for road vehicles
KR20200142315A (ko) 도로 네트워크를 갱신하는 방법 및 장치
Tao et al. Automatic reconstruction of road centerlines from mobile mapping image sequences
CN112785686A (zh) 一种基于大数据的林区地图构建方法及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant