CN117516480A - 一种基于车机协同的未爆弹位姿精确探测系统及方法 - Google Patents

一种基于车机协同的未爆弹位姿精确探测系统及方法 Download PDF

Info

Publication number
CN117516480A
CN117516480A CN202311494507.2A CN202311494507A CN117516480A CN 117516480 A CN117516480 A CN 117516480A CN 202311494507 A CN202311494507 A CN 202311494507A CN 117516480 A CN117516480 A CN 117516480A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
point cloud
target
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311494507.2A
Other languages
English (en)
Inventor
杨卓
马江飞
郝一凝
刘荣华
郝铎
李成伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yizhong Group Heilongjiang Special Equipment Technology Co ltd
China First Heavy Industries Co Ltd
Original Assignee
Yizhong Group Heilongjiang Special Equipment Technology Co ltd
China First Heavy Industries Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yizhong Group Heilongjiang Special Equipment Technology Co ltd, China First Heavy Industries Co Ltd filed Critical Yizhong Group Heilongjiang Special Equipment Technology Co ltd
Priority to CN202311494507.2A priority Critical patent/CN117516480A/zh
Publication of CN117516480A publication Critical patent/CN117516480A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明属于车机协同技术领域,公开了一种基于车机协同的未爆弹位姿精确探测系统及方法,通过基于CNN网络框架的无人机与地面机器人协同位姿估计技术,完成未爆弹精确位姿信息获取。无人机先进行远程侦查,通过全局路径规划主动搜索目标,在探测到目标物后将位置信息发送给地面站,地面站引导地面机器人抵达目标位置附近,通过地面机器人自带深度相机获取的影像与无人机提供的第三视角影像协同,获取目标物点云数据进行位姿估计。通过实时数据通讯,实现“地面站——无人机——地面机器人”三位一体数据共享和联合控制,能够保证未爆弹药排爆工作的稳定性和全方位可视化。

Description

一种基于车机协同的未爆弹位姿精确探测系统及方法
技术领域
本发明涉及车机协同技术领域,尤其涉及一种基于车机协同的未爆弹位姿精确探测系统及方法。
背景技术
未爆弹的精准探测与定位是维护人员安全的至关重要环节,而传统的人工探测方法存在效率低下和安全风险。为了解决这一问题,已提出无人机空中探测技术以及地面机器人探测技术。这两项技术虽然在某些情况下表现出良好的效果,但在复杂的探测环境中各自存在一些挑战和不足之处:
无人机通常以一定的高度和角度飞行,从较高高度俯瞰目标时,远处的目标可能会出现透视变形,使其看起来不准确或扭曲。这会导致目标的实际位置与传感器观测到的位置之间存在偏差。这种情况下,传感器无法准确识别目标的完整轮廓和位置。
地面机器人在受到地形、树木和其他障碍物的影响时,其视野通常有限,因此在单独进行探测未爆弹任务时容易导致遗漏或无法准确识别隐藏在障碍物后面的危险品;在遇到崎岖不平的地形如山区或丘陵地带,或者遇到沼泽或泥泞的地带时,地面机器人的行动会受到限制,导致探测范围无法覆盖这些地区。同时,由于地面机器人可提供视角有限,不能准确获得目标物的位姿信息。
因此,设计一种基于车机协同的未爆弹位姿精确探测系统及方法是十分有必要的。地面机器人可以提供近距离视野,提高目标检测的准确率以及精确的目标位置信息;无人机可以为地面机器人提供第三视角,二者协同工作获取目标物的精确位姿信息。
发明内容
本发明为解决现有技术所存在的不足,设计了一种基于车机协同的未爆弹位姿精确探测系统及方法。
本发明的技术方案如下:一种基于车机协同的未爆弹位姿精确探测系统,包括:
基于无人机落点精细化搜寻子系统:无人机对预设目标区域进行自动巡航,通过使用CNN网络框架对未爆弹落点进行自主探测并发送未爆弹位置到地面站;
基于智能移动底盘的位姿估计子系统:地面站远程引导地面机器人抵达目标地点区域,地面机器人通过自带深度相机拍摄的影像及无人机提供的第三视角影像获取未爆弹的精准位姿信息。
所述基于无人机落点精细化搜寻子系统包括:
无人机信息与地面站集成:地面站控制无人机的运动,同时实时监控无人机的各种数据状态;
无人机路径规划:无人机采用RRT算法进行路径规划,实现在预设目标区域内的自主巡航;
无人机物体检测:无人机通过搭载的光电设备采集环境影像,使用CNN网络框架对采集到的影像进行目标识别,实现未爆弹落点的自主探测。
所述无人机路径规划的具体处理过程如下:
无人机初始化设置初始位置和预设目标区域;所述初始位置是无人机当前所在的位置,预设目标区域是无人机待巡航的区域范围;
构建RRT树:
步骤a.创建一个树,树的初始节点是初始位置;
步骤b.在每个迭代中,生成一个随机点;
步骤c.在树中找到最接近所生成随机点的节点;
步骤d.从最接近的节点出发,沿着随机点方向按设定的步长进行扩展,扩展后的点作为一个新节点;
步骤e.检查路径是否遇到障碍物或者是否在预设目标区域内;路径未遇到障碍物为路径有效,路径有效且进入预设目标区域时,停止迭代;
步骤f.将有效路径的末端节点当作新节点添加到树中,并将其与最接近的节点连接起来,形成新的树结构;
RRT算法找到从初始位置到预设目标区域的路径后,通过分析RRT树结构选择最佳路径;
无人机按照选择的最佳路径进行飞行;
飞行过程中,无人机实时获取无人机机载传感器数据,当无人机遇到障碍物或者需要重新规划路径时,随时返回RRT算法重新计算新的路径。
所述无人机物体检测的具体处理过程如下:
构建危险物数据集,将危险物数据集图像作为CNN网络的输入;
对每张图像利用卷积神经网络CNN进行特征提取,得到特征图;
根据区域建议网络RPN生成特征图的候选区域;
对候选区域提取出固定尺寸的特征图;
对特征图利用全连接层进行分类和得到候选框;
对特征图利用Mask分支生成掩码,最终得到危险物品在图像上所占的像素;
根据图像中的危险物品标注,对特征图中的候选框进行目标检测过程的边框回归操作,得到检测物体在图像中的位置和置信度。
所述智能移动底盘的位姿估计子系统包括:
智能移动底盘路径规划:地面机器人采用与无人机相同的路径规划策略,根据地面站发送的目标位置信息以及无人机提供的目标位置指引前往未爆弹落点位置;
智能移动底盘物体检测:地面机器人由自带深度相机获取周围环境影像,使用与无人机相同的CNN网络框架检测方案对未爆弹药落点进行自主探测;
位姿估计:成功识别未爆弹后,通过地面机器人自带的深度相机采集未爆弹及周边环境的点云数据,对点云数据进行处理后实现对未爆弹精确位姿信息获取。
所述位姿估计的具体处理过程如下:
获取待检测物体的第一点云数据;
确定待检测物体的目标部位在第一点云数据中的位置信息,使用特征提取算法从第一点云数据中提取关键特征,找到目标物体的目标部位;
根据目标部位在第一点云数据中的位置信息,确定感兴趣区域对应的第二点云数据;
根据第二点云数据,确定与目标部位对应的检测平面匹配的点云平面,用于表示物体的表面部位或特定部位;
根据点云平面确定目标部位对应的目标点云数据,根据目标点云数据,确定待检测物体的位姿信息,包括物体的位置和方向。
一种基于车机协同的未爆弹位姿精确探测方法,包括步骤如下:
步骤1:无人机采用RRT算法进行路径规划,对未爆弹药进行自动巡航;
步骤2:无人机将拍摄的影像通过基于CNN网络框架的图像处理算法,对预定目标区域进行探测,并标记可疑目标,将可疑目标点三维信息回传到主控中心;
步骤3:通过无人机与地面站、地面机器人的通信,将拍摄的视频、无人机定位信息和目标点定位信息回传到地面站;
步骤4:地面站对地面机器人发送排爆指令,使其到达指定位置;
步骤5:地面机器人抵达预设目标区域,地面机器人使用自带深度相机进行监测,并且采用与无人机相同的CNN网络框架对未爆弹进行目标检测;
步骤6:调整地面机器人携带的深度摄像头获取点云数据,通过处理点云数据获取未爆弹的精准位姿信息。
本发明的有益效果:本发明提供了一种基于车机协同的未爆弹位姿精确探测系统及方法,将地面机器人和无人机联合使用,提高对未爆弹位姿的精准探测能力;地面机器人提供近距离视野,有助于准确检测目标,获取精确的目标位置信息;无人机则提供第三视角,纠正透视变形,从高处俯瞰目标,确保目标的准确位置。
与现有的未爆弹探测技术相比,本发明充分发挥了地面机器人与无人机协同工作的优势,地面机器人可以提供精准的近距离探测,而无人机可以快速覆盖大面积区域,从高空俯瞰目标,这提高了任务执行的效率,缩短了未爆弹探测的时间。车技协同工作更适用于复杂的探测环境,如山区、丘陵或有其他障碍物影响的地方,提供了更广泛的应用领域。本发明提供的车机协同技术具有高自主性,减少人员直接参与未爆弹探测任务,降低潜在的安全风险,确保维护人员的安全。
附图说明
图1是本发明基于车机协同的未爆弹位姿精确探测方法流程图;
图2是本发明基于车机协同的未爆弹位姿精确探测系统示意图。
具体实施方式
下面将结合本发明的实际应用流程,对本发明实施例中的技术方案进行清楚、完整的描述:
本申请实施例公开了基于车机协同的未爆弹位姿精确探测系统,能够通过无人机与地面机器人协同操作获取探测范围内未爆弹位姿信息,提高位姿检测的准确性。通过无人机与地面机器人的协同操作,实现未爆弹位姿精确探测与处理。
本申请实施例公开了一种基于无人机落点精细化搜寻子系统,该系统主要功能包括:
(1)将无人机信息与地面站集成:地面站使用Qt开发的基于Prometheus系统的人机交互界面,采用TCP/UDP通信支持无人机的起飞、降落、悬停、以及惯性系和机体系的移动控制,同时实现实时监控无人机的各种数据状态。以下是对地面站功能和开发的详细描述:
人机交互界面:地面站的界面由Qt框架创建,提供直观的用户界面,以便用户与Prometheus系统进行交互。界面包括控制按钮、数据显示区域、状态指示器和实时画面影像等元素,以便用户进行操作和监控。
通信协议:地面站使用TCP和UDP通信协议与Prometheus系统通信。TCP通信用于稳定的数据传输,例如命令和状态更新;UDP用于实时性要求较高的数据传输,例如视频流。
无人机控制:地面站允许用户发出命令来控制无人机的起飞、降落和悬停操作,用户可以通过界面提供的控制按钮来执行这些操作,同时可以调整相关参数。地面站还支持对无人机进行惯性系和机体系的移动控制,用户可以使用界面上的控制元素来指定无人机的目标位置和方向,从而实现飞行路径规划和导航。
数据监控:地面站实时监控无人机的各种数据状态,包括高度、速度、电池状态、GPS位置以及实时影像。这些数据以图形和数字形式显示在界面上,以便用户了解无人机的当前状态。
(2)无人机路径规划:此系统采用Rapidly Exploring Random Trees(RRT)算法进行路径规划,RRT是一种用于路径规划的随机采样算法,相比其他算法更加适用于高维、复杂环境中的路径规划问题。以下是采用RRT算法进行路径规划的详细步骤:
初始化一个树状结构,将起点作为树的根节点。
通过重复采样、寻找最近节点、扩展树、检查目标条件的循环迭代过程来寻找从起点到目标点的路径。
当目标点已被确定,通过从目标点回溯到起点,依次连接父节点以构建路径,最终返回该路径以指导无人机的移动。
将生成的路径应用于机器人或无人机的控制,以指导其飞行或移动,并在执行路径时实时监控状态,以应对动态障碍物或不可预测情况并进行调整。
(3)无人机物体检测:所述探测信息采集模块通过搭载的光电设备,使用CNN网络框架对未爆弹药落点进行自主探测。实现具体过程如下:
通过网络爬虫的方式构建危险物数据集,之后采用基于样本空间的数据增强技术,将通过翻转、旋转、调节亮度等策略后的扩充数据集作为深度学习网络的输入;
对每张图像利用卷积神经网络CNN进行特征提取,得到特征图。本设计采用的卷积神经网络包括5层卷积层和3层最大池化层;
根据区域建议网络RPN生成特征图的候选区域;RPN的作用是在CNN生成的特征图上提出候选目标区域,这些候选区域后续会被送入目标检测网络进行进一步处理,RPN采用anchor机制来提出这些候选区域。
对候选区域利用ROI Align提取出固定尺寸的特征图;ROI Align(Region ofInterest Align)是一种用于提取候选区域内特征的方法,通常用于目标检测和语义分割任务。
对特征图利用全连接层进行分类和得到包围盒;对特征图利用全连接层进行分类和得到包围盒是目标检测任务中的一种典型方法,用于将特征图中提取的目标特征与类别标签以及边界框坐标关联起来。
根据图像中的危险物品标注,对特征图中的包围盒进行目标检测过程的边框回归操作,得到检测物体在图像中的位置和置信度。
在无人机巡航过程中,通过搭载的光电设备进行实时图像采集,将图像数据作为输入,传递给深度学习程序框架,利用已加载的网络模型参数进行危险物品检测,并实时传送给地面站。
本申请实施例公开了一种基于智能移动底盘的位姿估计子系统,根据无人机和地面排爆车的协同定位,对未爆弹药进行探测,获取未爆弹精确位置信息以及位姿信息。该系统主要功能包括:
(1)智能移动底盘路径规划:地面机器人采用与无人机相同的路径规划策略,根据地面站发送的目标位置信息以及三维地形图规划出合适路径前往目标地点。
(2)智能移动底盘目标检测:地面机器人由自带深度相机获取周围环境影像,使用与无人机相同的CNN网络框架检测方案对未爆弹药落点进行自主探测。如果当前处理的图像中存在危险物品,则标记危险物品,并立即提示地面站人员;如果不存在危险物品,则继续在目标区域内寻找。
(3)位姿估计:处理点云数据以确定待检测物体的位姿信息。具体处理方式如下:
获取针对待检测物体的第一点云数据。点云数据是由深度相机收集的大量点的三维坐标数据,用于描述物体的形状和表面。以下是该过程的详细步骤:
点云生成:深度相机采集到的深度数据经过处理,将每个点的三维坐标(x、y、z)、颜色、反射强度等信息整合成点云数据。
点云预处理:在获得第一点云数据之后,进行点云滤波处理来去除噪声、消除运动伪影等,以确保点云数据的质量和完整性。
目标物体筛选:根据应用需求,选择感兴趣的待检测物体或区域,并从整个点云数据中提取与该物体相关的点云子集。最终,获取到的第一点云数据即是包含了待检测物体的三维坐标信息的数据集。
确定待检测物体的目标部位在第一点云数据中的位置信息。以下是该过程的详细步骤:
特征点筛选:SIFT算法可以在点云数据中检测出具有旋转不变性和尺度不变性的特征点,因此在整个第一点云数据中,本设计采用SIFT(Scale-Invariant FeatureTransform)算法筛选出与目标部位相关的特征点。
位置估计:一旦特定特征点被筛选出来,通过分析这些特征点的三维坐标,就可以估计目标部位的精确位置信息。
坐标系统转换:根据需要,将目标部位的位置信息从相机坐标系或传感器坐标系转换到世界坐标系,以便后续的任务或控制操作。
根据目标部位在第一点云数据中的位置信息,确定感兴趣区域对应的第二点云数据。以下是该过程的详细步骤:
定义感兴趣区域:基于目标部位的位置信息,定义一个感兴趣区域(Region ofInterest,ROI)。这个ROI是一个特定形状和大小的区域,通常是一个立方体或球体,使用点云滤波算法,从ROI中去除噪声或不相关的点,以确保包括目标部位以及周围的点。
生成第二点云数据:根据上述操作,生成第二点云数据,这个数据集包含了经过精确提取的与目标部位相关的点。这个数据集比第一点云数据更小,能更精确地描述目标部位及其周围的环境。
根据第二点云数据,确定与目标部位对应的检测平面匹配的点云平面。以下是该过程的详细步骤:
点云平面检测:使用点云平面检测算法对第二点云数据进行处理。本设计采用随机抽样一致(RANSAC)算法,这是一种常用于点云平面检测的方法,它通过随机选择一小组点来拟合一个平面模型,并找到与模型最佳匹配的点,最终确定平面参数(包括平面的法线和平面上的一个点)。
应用检测平面:检测到的平面参数可以用于表示物体的表面及特定部位,通过将物体视为一个平面,可以简化复杂度较高的三维数据分析任务。
根据点云平面确定目标部位对应的目标点云数据,这个目标点云数据包括了更详细的信息,用于位姿检测。以下是该过程的详细步骤:
点云数据筛选:使用已知的点云平面来筛选第二点云数据,使用已知平面参数,构建一个平面方程,以确定哪些点在平面上或接近平面上。
提取目标点云数据:根据上述筛选和分析,生成目标点云数据。这个数据集包含了与已知平面相关的点的三维坐标。与第二点云数据相比,这个目标点云数据更小,它包含了更详细的信息,因为它限制在目标部位周围。
最后,根据目标点云数据,确定待检测物体的位姿信息,包括物体的位置和方向。以下是该过程的详细步骤:
位置估计:通过分析点云数据中的点的坐标,可以确定物体的中心点位置。
方向估计:为了确定物体的方向,需要考虑目标点云数据中的点的分布和排列。这可以通过计算点云数据的协方差矩阵来实现,以找到物体的主要轴线与方向。
位姿确定:一旦物体的位置和方向被估计出来,就可以确定物体的位姿信息。位姿信息通常包括物体的位置坐标(通常是三维坐标)和方向(通常以欧拉角或四元数表示)。
一种基于车机协同的未爆弹位姿精确探测方法,具体步骤如下:
步骤1:无人机采用RRT算法进行路径规划,对未爆弹药进行自动巡航。
采用RRT算法进行路径规划的具体实施方式如下:
初始化:首先,无人机需要初始化,包括设置初始位置和目标区域。初始位置是无人机当前所在的位置,而目标区域是无人机需要巡航的区域范围。
构建RRT树:RRT算法的核心是构建一个随机探索的树结构,该树从初始位置开始,不断扩展以尝试覆盖目标区域。具体步骤如下:
a.创建一个树,树的初始节点是初始位置。
b.在每个迭代中,生成一个随机点。
c.在树中找到最接近这个随机点的节点,即离随机点最近的节点。
d.从最接近的节点出发,沿着路径向随机点扩展。
e.检查路径是否遇到障碍物或者是否在目标区域内。如果路径有效且进入目标区域,那么停止迭代。
f.将新节点添加到树中,并将其与最接近的节点连接起来,形成新的树结构。
路径选择:一旦RRT算法找到了从初始位置到目标区域的路径,可以通过分析树结构来选择路径。
自主巡航:无人机按照选择的路径进行飞行。这可能涉及到导航控制、姿态调整和避障等操作,以确保无人机能够按照规划的路径自主飞行。
实时反馈和调整:在飞行过程中,无人机通常需要实时获取传感器数据,并根据实际情况进行调整。如果无人机遇到障碍物或者需要重新规划路径,它可以随时返回RRT算法来重新计算新的路径。
步骤2:无人机将拍摄的影像通过基于CNN网络框架的图像处理算法,对预定目标进行探测,并标记可疑目标,将目标点三维信息回传到主控中心。采用CNN网络框架的图像处理算法具体实施方式如下:
通过网络爬虫的方式构建危险物数据集,之后采用基于样本空间的数据增强技术,将通过翻转、旋转、调节亮度等策略后的扩充数据集作为深度学习网络的输入;
对每张图像利用卷积神经网络CNN进行特征提取,得到特征图。本设计采用的卷积神经网络包括5层卷积层和3层最大池化层;
根据区域建议网络RPN生成特征图的候选区域;RPN的作用是在CNN生成的特征图上提出候选目标区域,这些候选区域后续会被送入目标检测网络进行进一步处理。RPN采用anchor机制来提出这些候选区域。
对候选区域利用ROI Align提取出固定尺寸的特征图;ROI Align(Region ofInterest Align)是一种用于提取候选区域内特征的方法,通常用于目标检测和语义分割任务。
对特征图利用全连接层进行分类和得到包围盒;对特征图利用全连接层进行分类和得到包围盒是目标检测任务中的一种典型方法,用于将特征图中提取的目标特征与类别标签以及边界框坐标关联起来。
根据图像中的危险物品标注,对特征图中的包围盒进行目标检测过程的边框回归操作,得到检测物体在图像中的位置和置信度。
步骤3:通过无人机与地面站、排爆机器人的通信,将拍摄的视频、无人机和目标点定位等信息回传到地面站。无人机信息与地面站集成的具体实施方式如下:
人机交互界面:地面站的界面由Qt框架创建,提供直观的用户界面,以便用户与Prometheus系统进行交互。界面包括控制按钮、数据显示区域、状态指示器和实时画面影像等元素,以便用户进行操作和监控。
通信协议:地面站使用TCP和UDP通信协议与Prometheus系统通信。TCP通信用于稳定的数据传输,例如命令和状态更新;UDP用于实时性要求较高的数据传输,例如视频流。
步骤4:地面站对地面机器人发送排爆指令,使其到达指定位置。地面机器人到达目标位置采用的是与无人机相同的路径规划策略。
步骤5:地面机器人携带超高强度复合材料研制而成的防爆桶抵达目标区域附近,地面机器人使用自带深度相机进行监测,并且采用与无人机相同的CNN网络框架对未爆弹进行目标检测。
步骤6:调整地面机器人携带的深度摄像头在适当的位置和角度获取点云数据,通过处理点云数据获取未爆弹的精准位姿信息。利用点云数据获取未爆弹的精准位姿信息具体实施方式如下:
获取针对待检测物体的第一点云数据。点云数据是由深度相机收集的大量点的三维坐标数据,用于描述物体的形状和表面。以下是该过程的详细步骤:
点云生成:深度相机采集到的深度数据经过处理,将每个点的三维坐标(x、y、z)、颜色、反射强度等信息整合成点云数据。
点云预处理:在获得第一点云数据之后,进行点云滤波处理来去除噪声、消除运动伪影等,以确保点云数据的质量和完整性。
目标物体筛选:根据应用需求,选择感兴趣的待检测物体或区域,并从整个点云数据中提取与该物体相关的点云子集。最终,获取到的第一点云数据即是包含了待检测物体的三维坐标信息的数据集。
确定待检测物体的目标部位在第一点云数据中的位置信息。以下是该过程的详细步骤:
特征点筛选:SIFT算法可以在点云数据中检测出具有旋转不变性和尺度不变性的特征点,因此在整个第一点云数据中,本设计采用SIFT(Scale-Invariant FeatureTransform)算法筛选出与目标部位相关的特征点。
位置估计:一旦特定特征点被筛选出来,通过分析这些特征点的三维坐标,就可以估计目标部位的精确位置信息。
坐标系统转换:根据需要,将目标部位的位置信息从相机坐标系或传感器坐标系转换到世界坐标系,以便后续的任务或控制操作。
根据目标部位在第一点云数据中的位置信息,确定感兴趣区域对应的第二点云数据。以下是该过程的详细步骤:
定义感兴趣区域:基于目标部位的位置信息,定义一个感兴趣区域(Region ofInterest,ROI)。这个ROI是一个特定形状和大小的区域,通常是一个立方体或球体,使用点云滤波算法,从ROI中去除噪声或不相关的点,以确保包括目标部位以及周围的点。
生成第二点云数据:根据上述操作,生成第二点云数据,这个数据集包含了经过精确提取的与目标部位相关的点。这个数据集比第一点云数据更小,能更精确地描述目标部位及其周围的环境。
根据第二点云数据,确定与目标部位对应的检测平面匹配的点云平面。以下是该过程的详细步骤:
点云平面检测:使用点云平面检测算法对第二点云数据进行处理。本设计采用随机抽样一致(RANSAC)算法,这是一种常用于点云平面检测的方法,它通过随机选择一小组点来拟合一个平面模型,并找到与模型最佳匹配的点,最终确定平面参数(包括平面的法线和平面上的一个点)。
应用检测平面:检测到的平面参数可以用于表示物体的表面及特定部位,通过将物体视为一个平面,可以简化复杂度较高的三维数据分析任务。
根据点云平面确定目标部位对应的目标点云数据,这个目标点云数据包括了更详细的信息,用于位姿检测。以下是该过程的详细步骤:
点云数据筛选:使用已知的点云平面来筛选第二点云数据,使用已知平面参数,构建一个平面方程,以确定哪些点在平面上或接近平面上。
提取目标点云数据:根据上述筛选和分析,生成目标点云数据。这个数据集包含了与已知平面相关的点的三维坐标。与第二点云数据相比,这个目标点云数据更小,它包含了更详细的信息,因为它限制在目标部位周围。
最后,根据目标点云数据,确定待检测物体的位姿信息,包括物体的位置和方向。以下是该过程的详细步骤:
位置估计:通过分析点云数据中的点的坐标,可以确定物体的中心点位置。
方向估计:为了确定物体的方向,需要考虑目标点云数据中的点的分布和排列。这可以通过计算点云数据的协方差矩阵来实现,以找到物体的主要轴线与方向。
位姿确定:一旦物体的位置和方向被估计出来,就可以确定物体的位姿信息。位姿信息通常包括物体的位置坐标(通常是三维坐标)和方向(通常以欧拉角或四元数表示)。

Claims (7)

1.一种基于车机协同的未爆弹位姿精确探测系统,其特征在于,所述基于车机协同的未爆弹位姿精确探测系统包括:
基于无人机落点精细化搜寻子系统:无人机对预设目标区域进行自动巡航,通过使用CNN网络框架对未爆弹落点进行自主探测并发送未爆弹位置到地面站;
基于智能移动底盘的位姿估计子系统:地面站远程引导地面机器人抵达目标地点区域,地面机器人通过自带深度相机拍摄的影像及无人机提供的第三视角影像获取未爆弹的精准位姿信息。
2.根据权利要求1所述的一种基于车机协同的未爆弹位姿精确探测系统,其特征在于,所述基于无人机落点精细化搜寻子系统包括:
无人机信息与地面站集成:地面站控制无人机的运动,同时实时监控无人机的各种数据状态;
无人机路径规划:无人机采用RRT算法进行路径规划,实现在预设目标区域内的自主巡航;
无人机物体检测:无人机通过搭载的光电设备采集环境影像,使用CNN网络框架对采集到的影像进行目标识别,实现未爆弹落点的自主探测。
3.根据权利要求2所述的一种基于车机协同的未爆弹位姿精确探测系统,其特征在于,所述无人机路径规划的具体处理过程如下:
无人机初始化设置初始位置和预设目标区域;所述初始位置是无人机当前所在的位置,预设目标区域是无人机待巡航的区域范围;
构建RRT树:
步骤a.创建一个树,树的初始节点是初始位置;
步骤b.在每个迭代中,生成一个随机点;
步骤c.在树中找到最接近所生成随机点的节点;
步骤d.从最接近的节点出发,沿着随机点方向按设定的步长进行扩展,扩展后的点作为一个新节点;
步骤e.检查路径是否遇到障碍物或者是否在预设目标区域内;路径未遇到障碍物为路径有效,路径有效且进入预设目标区域时,停止迭代;
步骤f.将有效路径的末端节点当作新节点添加到树中,并将其与最接近的节点连接起来,形成新的树结构;
RRT算法找到从初始位置到预设目标区域的路径后,通过分析RRT树结构选择最佳路径;
无人机按照选择的最佳路径进行飞行;
飞行过程中,无人机实时获取无人机机载传感器数据,当无人机遇到障碍物或者需要重新规划路径时,随时返回RRT算法重新计算新的路径。
4.根据权利要求2或3所述的一种基于车机协同的未爆弹位姿精确探测系统,其特征在于,所述无人机物体检测的具体处理过程如下:
构建危险物数据集,将危险物数据集图像作为CNN网络的输入;
对每张图像利用卷积神经网络CNN进行特征提取,得到特征图;
根据区域建议网络RPN生成特征图的候选区域;
对候选区域提取出固定尺寸的特征图;
对特征图利用全连接层进行分类和得到候选框;
对特征图利用Mask分支生成掩码,最终得到危险物品在图像上所占的像素;
根据图像中的危险物品标注,对特征图中的候选框进行目标检测过程的边框回归操作,得到检测物体在图像中的位置和置信度。
5.根据权利要求4所述的一种基于车机协同的未爆弹位姿精确探测系统,其特征在于,所述智能移动底盘的位姿估计子系统包括:
智能移动底盘路径规划:地面机器人采用与无人机相同的路径规划策略,根据地面站发送的目标位置信息以及无人机提供的目标位置指引前往未爆弹落点位置;
智能移动底盘物体检测:地面机器人由自带深度相机获取周围环境影像,使用与无人机相同的CNN网络框架检测方案对未爆弹药落点进行自主探测;
位姿估计:成功识别未爆弹后,通过地面机器人自带的深度相机采集未爆弹及周边环境的点云数据,对点云数据进行处理后实现对未爆弹精确位姿信息的获取。
6.根据权利要求5所述的一种基于车机协同的未爆弹位姿精确探测系统,其特征在于,所述位姿估计的具体处理过程如下:
获取待检测物体的第一点云数据;
确定待检测物体的目标部位在第一点云数据中的位置信息,使用特征提取算法从第一点云数据中提取关键特征,找到目标物体的目标部位;
根据目标部位在第一点云数据中的位置信息,确定感兴趣区域对应的第二点云数据;
根据第二点云数据,确定与目标部位对应的检测平面匹配的点云平面,用于表示物体的表面部位或特定部位;
根据点云平面确定目标部位对应的目标点云数据,根据目标点云数据,确定待检测物体的位姿信息,包括物体的位置和方向。
7.一种基于车机协同的未爆弹位姿精确探测方法,其特征在于,包括步骤如下:
步骤1:无人机采用RRT算法进行路径规划,对未爆弹药进行自动巡航;
步骤2:无人机将拍摄的影像通过基于CNN网络框架的图像处理算法,对预定目标区域进行探测,并标记可疑目标,将可疑目标点三维信息回传到主控中心;
步骤3:通过无人机与地面站、地面机器人的通信,将拍摄的视频、无人机定位信息和目标点定位信息回传到地面站;
步骤4:地面站对地面机器人发送排爆指令,使其到达指定位置;
步骤5:地面机器人抵达预设目标区域,地面机器人使用自带深度相机进行监测,并且采用与无人机相同的CNN网络框架对未爆弹进行目标检测;
步骤6:调整地面机器人携带的深度摄像头获取点云数据,通过处理点云数据获取未爆弹的精准位姿信息。
CN202311494507.2A 2023-11-10 2023-11-10 一种基于车机协同的未爆弹位姿精确探测系统及方法 Pending CN117516480A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311494507.2A CN117516480A (zh) 2023-11-10 2023-11-10 一种基于车机协同的未爆弹位姿精确探测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311494507.2A CN117516480A (zh) 2023-11-10 2023-11-10 一种基于车机协同的未爆弹位姿精确探测系统及方法

Publications (1)

Publication Number Publication Date
CN117516480A true CN117516480A (zh) 2024-02-06

Family

ID=89748947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311494507.2A Pending CN117516480A (zh) 2023-11-10 2023-11-10 一种基于车机协同的未爆弹位姿精确探测系统及方法

Country Status (1)

Country Link
CN (1) CN117516480A (zh)

Similar Documents

Publication Publication Date Title
Lee et al. Deep learning-based monocular obstacle avoidance for unmanned aerial vehicle navigation in tree plantations: Faster region-based convolutional neural network approach
CN111932588B (zh) 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法
US20220197281A1 (en) Intelligent decision-making method and system for unmanned surface vehicle
Cesetti et al. A vision-based guidance system for UAV navigation and safe landing using natural landmarks
CN110426046B (zh) 一种无人机自主着陆跑道区域障碍物判断与跟踪方法
US20200301015A1 (en) Systems and methods for localization
Steich et al. Tree cavity inspection using aerial robots
KR102289752B1 (ko) Gps 음영 지역에서 경로 비행을 수행하는 드론 및 그 방법
Li et al. Intelligent mobile drone system based on real-time object detection
US20230152123A1 (en) Route planning for a ground vehicle through unfamiliar terrain
CN111831010A (zh) 一种基于数字空间切片的无人机避障飞行方法
CN117036989A (zh) 基于计算机视觉的微型无人机目标识别与跟踪控制方法
Huo et al. Path planning based on map matching in UAV/UGV collaboration system
CN117406771A (zh) 一种基于四旋翼无人机的高效自主探索方法、系统及设备
CN114689030A (zh) 一种基于机载视觉的无人机辅助定位方法及系统
Bakirci Enhancing vehicle detection in intelligent transportation systems via autonomous UAV platform and YOLOv8 integration
Subramanian et al. Integrating computer vision and photogrammetry for autonomous aerial vehicle landing in static environment
Kamat et al. A survey on autonomous navigation techniques
Rudol Increasing autonomy of unmanned aircraft systems through the use of imaging sensors
CN113110597A (zh) 一种基于ros系统的室内无人机自主飞行系统
Serrano et al. YOLO-Based Terrain Classification for UAV Safe Landing Zone Detection
CN113589835B (zh) 一种基于自主感知的智能机器人飞行员飞行方法及装置
Al-Kaff Vision-based navigation system for unmanned aerial vehicles
CN117516480A (zh) 一种基于车机协同的未爆弹位姿精确探测系统及方法
US20240142995A1 (en) Information processing method, information processing apparatus, and information processing system, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination