CN116540706A - 一种无人机为地面无人车提供局部路径规划系统及方法 - Google Patents
一种无人机为地面无人车提供局部路径规划系统及方法 Download PDFInfo
- Publication number
- CN116540706A CN116540706A CN202310513089.0A CN202310513089A CN116540706A CN 116540706 A CN116540706 A CN 116540706A CN 202310513089 A CN202310513089 A CN 202310513089A CN 116540706 A CN116540706 A CN 116540706A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- path
- unmanned
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013439 planning Methods 0.000 title claims abstract description 48
- 238000004891 communication Methods 0.000 claims abstract description 15
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 20
- 230000007613 environmental effect Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000001172 regenerating effect Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000010008 shearing Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种无人机为地面无人车提供局部路径规划系统及方法，包括无人机、地面无人车、传感器、算法模块和通信模块，无人机通过VICON、GPS等方式获取自身与无人车位置信息，利用多传感器融合生成三维地图，使用深度学习等算法识别障碍物，采用基于RRT*算法优化改进的局部路径规划算法生成路径方案。无人机与无人车通讯采用基于ROS节点的UDP协议，实现快速、低延迟数据传输。地面无人车通过ROS节点反馈状态信息，若电量不足，则规划至最近充电位置。如遇路径偏离或失效问题，使用扩展卡尔曼滤波器估计无人车位置与速度，调整无人车速度或转向角度修正行驶方向。提高了无人车在复杂环境中的路径规划效率与安全性。
Description
技术领域
本发明属于无人机技术领域，尤其涉及一种无人机为地面无人车提供局部路径规划系统及方法。
背景技术
随着无人驾驶技术的快速发展，无人车已经在许多领域得到广泛应用，如物流、农业和安防等。然而，在复杂的环境中，地面无人车仍然面临许多挑战，例如动态障碍物的检测和避免、实时路径规划和定位精度。为解决这些问题，研究者开始探讨将无人机与无人车相结合，以提高整体导航性能。
无人机因其具备更高的机动性和视野，可以有效地为地面无人车提供环境感知和路径规划。然而，在现有技术中，无人机和无人车的协同导航仍然存在一些局限性。例如，无人机都只是用作一开始的先验地图搭建，实时性较差，对一些突发的未知因素难以处理。因此，开发一种有效的方法，使无人机能为地面无人车提供实时、高精度的局部路径规划可以极大提高空地协同的实用性。
发明内容
本发明目的在于提供一种无人机为地面无人车提供局部路径规划系统及方法，以解上述的技术问题。
为解决上述技术问题，本发明的一种无人机为地面无人车提供局部路径规划的方法的具体技术方案如下：
一种无人机为地面无人车提供局部路径规划系统，包括无人机、地面无人车、传感器、算法模块和通信模块，
所述传感器用于采集周围的环境信息，包括地面的普通障碍物、负障碍物、动态障碍物的位置信息数据，并将采集的数据传递给算法模块；
所述算法模块用于整合处理收集到的环境信息，并根据环境信息制定并优化局部路径方案；
所述通讯模块用于将算法模块生成的实时局部路径方案发送给地面无人车，地面无人车接收路径方案后实现相应路径行驶。
进一步的，所述无人机与无人车的通讯方式采用的是ROS通信，采用UDP用户数据报协议。
进一步的，地面无人车通过ROS节点反馈的信息中，包括其电池电量信息，通过测试时建立的无人车电量与行驶里程关系的模型，计算无人车在行驶完给定路线后的所需电量，若在行驶过程中，无人车电量不足以完成剩下路程，无人机可以直接将目的地规划为最近的充电位置。
进一步的，所述无人机和无人车上各自安装四个反光标志物，并在室内环境中布置了二十四个摄像头，通过VICON定位装置，实时获取无人机和无人车的三维坐标。
本发明还公开了一种无人机为地面无人车提供局部路径规划系统的局部路径规划的方法，包括如下步骤：
步骤1：无人机与无人车的定位；
步骤2：无人机端的环境信息采集与处理；
步骤3：无人机端生成路径规划并传输；
步骤4：无人车端的路径执行与反馈。
进一步地，所述步骤1包括如下具体步骤：
步骤1.1：室内定位：
通过VICON定位装置，实时获取无人机和无人车的三维坐标，并计算出它们之间的相对距离和方向，无人机在通过主机获得位置信息后就可以根据无人车的位置进行跟
随飞行，并保持一定的高度和角度；
步骤1.2：室外定位：
在室外，使用GPS跟AprilTag结合的方法，无人机通过无人车顶部携带的二维码进行比较精准地定位和追踪，从而得到无人车与无人机的相对位姿信息。
进一步地，所述无人机上搭载有RBG-D相机，用于获取彩色图像和深度图像；有激光雷达，用于获取点云数据；有惯性测量单元IMU，用于获取姿态数据；
所述步骤2在环境信息处理时，对于不同障碍物的识别方法如下：
对于负障碍物：
在处理负障碍物信息时，无人机事先进行预训练处理，通过在无人机对负障碍物的录制中抽帧的办法，获取包含负障碍物的数千张图像，作为初始负障碍物数据集，通过筛选排除掉不完整的负障碍物图像后，通过剪切、旋转、透视变换操作增加图像数量较少的负障碍物种类，增加数据集的多样性。
在得到最终的数据集后经过标定、模型训练、测试后实装到无人机上应用；
对于动态障碍物：
使用激光雷达的点云数据识别动态障碍物，然后使用扩展卡尔曼滤波器进行障碍物的定位和预测，扩展卡尔曼滤波器，以下是整个过程的概述：
1)从激光雷达获取点云数据：激光雷达生成高分辨率的三维点云数据，提供环境中物体的精确位置信息；
2)点云处理与物体识别：对点云数据进行预处理，如降采样、滤波，接着，通过聚类、分割方法从点云中识别出目标物体；
3)特征提取：从识别出的物体中提取有关动态障碍物的特征，这些特征作为观测数据输入到EKF中；
4)EKF定位和预测：使用EKF来估计动态障碍物的状态，EKF通过结合预测模型和观测数据来提高估计的准确性，此外，EKF预测障碍物在未来的位置，从而为无人机的避障规划提供更多信息。
进一步地，所述步骤2在采集完成环境信息后，进行以下处理：
步骤2.1：利用RGB-D相机和激光雷达融合生成三维地图；
步骤2.2：利用深度学习算法识别障碍物并标记其类别和属性，其中在处理负障碍物时，利用YOLOV5深度学习算法，在预训练处理后，进行识别，在处理动态障碍物时，使用激光雷达的点云数据识别动态障碍物，然后使用扩展卡尔曼滤波器进行障碍物的定位和预测；
步骤2.3：利用IMU校准地图的方向和尺度。
进一步地，所述步骤3中无人机根据三维地图和无人车的起始点和目标点来生成局部路径规划，并通过ROS节点传输给无人车，采用RRT*算法来生成局部路径方案，并在实际的运用过程中进行优化和改进，所述RRT*算法的具体步骤如下：
步骤3.1：初始化随机树，在状态空间中随机生成一个初始节点，将其作为树的根节点；
步骤3.2：在状态空间中生成一个随机节点xrand，并在随机树中查找距离该节点最近的节点xnear，即：
xnear＝argmin(dist(xrand,x))
这里的dist表示节点之间的距离函数；
步骤3.3：生成一条从xnear到xrand的路径，即：
xnew＝steer(xnear,xrand,delta)
这里的steer函数表示从xnear出发，以步长delta向xrand前进，得到的新状态xnew，
该函数通常采用插值方法，如线性插值或者样条插值，来得到平滑的路径；
步骤3.4：检查路径[xnear,xnew]是否与环境障碍物相交，如果路径不相交，则将xnew作为一个新的节点加入随机树中，并将该节点连接到距离最近的节点xnear上；
步骤3.5：对于新加入的节点xnew，重新计算它与其它节点之间的距离，并尝试将其与那些距离比原来更短的节点进行重连，具体而言，对于每个节点xnear'，满足dist(xnear',xnew)<r，其中r是一个半径参数，我们检查路径[xnear',xnew]是否可行，如果路径可行，并且路径上的代价比原来的路径更小，即
C(xnear')+dist(xnear',xnew)＜C(xnew)
则将xnew与xnear'进行重连，并更新代价函数值，C函数表示该点的代价值；
步骤3.6：重复步骤3.1-3.5，直到找到可行路径或者达到规定的迭代次数，
如果找到了可行路径，则从终点开始，沿着树的连接路径向起点回溯，得到一条可行路径，否则输出无法找到可行路径。
进一步地，所述步骤4使用无人车根据接收到的路径规划来执行行驶，并通过ROS节点反馈其状态给无人机，若在行驶过程中，无人车电量不足以完成剩下路程，无人机可以直接将目的地规划为最近的充电位置；
使用PID控制器来控制无人车的速度和转向角，并利用视觉里程计VO来估计其实际位置，同时，设计一种基于卡尔曼滤波器的自适应调整策略，用于处理由于误差或干扰导致的路径偏离或失效问题，该策略具有以下步骤：
步骤4.1：利用卡尔曼滤波器预测并更新无人车的位置信息；
步骤4.2：比较预测位置与期望位置之间的偏差；
步骤4.3：根据偏差的大小和方向，选择合适的调整方式；
步骤4.4：利用无人机重新生成或修正路径规划，并传输给无人车。
本发明的一种无人机为地面无人车提供局部路径规划系统及方法具有以下优点：
(1)本发明使用的方法无人车可以在无人机的帮助下实现避障功能，其中包括但不仅限于负障碍物，有视野遮挡的动态障碍物等。
(2)本发明使用的方法灵活度高，无人机可以根据目标无人车的运动状态及时做出反应，从而保证一个相对的位置。
(3)本发明使用的方法可扩展性强，未来可以部署多智能体路径规划，同时场景也可以不局限于室内，随着技术的迭代，无人机计算能力的增强，只要保证数据交互的速度和低延迟，就可以实现多智能体路径规划。
(4)本发明使用的方法使用场景广。在多约束的条件下，通过对深度学习算法等地不断迭代，能够适应不同复杂的环境，例如对于路边单元设施不完善的地点，野外、战场等，本方法都可以进行部署应用，而不依赖于基础设施。
附图说明
图1为本发明的一种概念示意图；
图2为本发明主要的方法流程图；
图3为本发明实施例1的示意图；
图4为本发明实施例2的示意图；
图5为本发明实施例2的示意图；
图6为本发明实施例3的示意图。
具体实施方式
为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种无人机为地面无人车提供局部路径规划系统及方法做进一步详细的描述。
如图1所示，为本发明的一种概念示意图，本发明的一种无人机为地面无人车提供局部路径规划系统，包括无人机、地面无人车、传感器、算法模块和通信模块。
传感器用于采集周围的环境信息，例如地面的普通障碍物、负障碍物、动态障碍物等的位置信息数据，并将采集的数据传递给算法模块；
算法模块用于整合处理收集到的环境信息，并根据环境信息制定并优化局部路径方案；
通讯模块用于将算法模块生成的实时局部路径方案发送给地面无人车，地面无人车接收路径方案后实现相应路径行驶。
无人机与无人车的通讯方式采用的是ROS通信。ROS节点的通信原理是基于ROS中的消息传递机制。在ROS中，一个节点可以通过发布(Publisher)一个主题(Topic)来向其他节点发送消息，其他节点可以通过订阅(Subscriber)该主题来接收消息。当一个节点发布一个主题时，它会将消息发送到ROS Master，ROS Master会负责将消息传递给所有订阅该主题的节点。在此方法中，为了保证无人机和无人车数据传输的实时性，可以牺牲一部分的数据可靠性，选择传输速度更快，延迟更低的协议。
UDP是用户数据报协议(User Datagram Protocol)的缩写，是一种无连接的、不可靠的传输层协议。它与TCP/IP协议一样属于互联网协议族的一部分，常用于实现轻量级的网络通信功能。
UDP协议的特点如下：
(1)无连接：在使用UDP协议进行通信时，发送端不需要与接收端建立连接，数据包直接从发送端发送到接收端。
(2)不可靠：UDP协议是一种不可靠的协议，无法保证数据包的可靠性，也不会进行重传或者确认操作。如果数据包在传输过程中出现丢失或者错误，接收端无法得知，并且无法对发送端进行反馈。
(3)快速：由于UDP协议没有连接建立和确认等额外的开销，因此传输速度较快，延迟较低。
(4)简单：UDP协议的头部信息比TCP/IP协议的头部信息简单，只包含源端口、目标端口、数据长度和校验和等信息，因此实现比较简单，占用的带宽和资源也比较少。
地面无人车通过ROS节点反馈的信息中，包括其电池电量信息。通过测试时建立的无人车电量与行驶里程关系的模型，可以大致计算无人车在行驶完给定路线后的所需电量。若在行驶过程中，无人车电量不足以完成剩下路程，无人机可以直接将目的地规划为最近的充电位置。
无人机和无人车上各自安装四个反光标志物，并在室内环境中布置了二十四个摄像头。通过VICON定位装置，可以实时且精确地获取无人机和无人车的三维坐标，为无人机与无人车直接的互定位节省了很多计算资源。
如图2所示，本发明的一种无人机为地面无人车提供局部路径规划的方法，该方法包括如下步骤：
步骤1：无人机与无人车的定位：
步骤1.1：室内定位：
针对无人机和无人车的相对位置信息问题，本方法中，在无人机和无人车上各自安装四个反光标志物，并在室内环境中布置了二十四个摄像头。通过VICON定位装置，可以实时获取无人机和无人车的三维坐标，并计算出它们之间的相对距离和方向。无人机在通过主机获得位置信息后就可以根据无人车的位置进行跟随飞行，并保持一定的高度和角度。
步骤1.2：室外定位：
在室外，可以使用GPS跟AprilTag结合的方法，无人机可以通过无人车顶部携带的二维码进行比较精准地定位和追踪，从而得到无人车与无人机的相对位姿信息。
步骤2：无人机端的环境信息采集与处理：
无人机上搭载有RBG-D相机，用于获取彩色图像和深度图像；有激光雷达，用于获取点云数据；有惯性测量单元IMU，用于获取姿态数据。
在环境信息处理时，对于不同障碍物的识别方法如下：
(1)负障碍物：
在处理负障碍物信息时，无人机可以事先进行预训练处理。通过在无人机对负障碍物的录制中抽帧的办法，可以获取包含负障碍物的数千张图像，作为初始负障碍物数据集。通过筛选排除掉不完整的负障碍物图像后，可以通过剪切、旋转、透视变换等操作增加图像数量较少的负障碍物种类，增加数据集的多样性。
在得到最终的数据集后经过标定、模型训练、测试，便可以实装到无人机上应用了。
(2)动态障碍物：
可以使用激光雷达(LiDAR)的点云数据识别动态障碍物，然后使用扩展卡尔曼滤波器(Extended Kalman Filter，EKF)进行障碍物的定位和预测。扩展卡尔曼滤波器，它是一种针对非线性系统的卡尔曼滤波器的扩展，它通过在线性化状态转移和观测模型，从而使得卡尔曼滤波器能够用于非线性系统的状态估计。以下是整个过程的概述：
1)从激光雷达获取点云数据：激光雷达会生成高分辨率的三维点云数据，为您提供环境中物体的精确位置信息。
2)点云处理与物体识别：对点云数据进行预处理，如降采样、滤波等。接着，通过聚类、分割等方法从点云中识别出目标物体。
3)特征提取：从识别出的物体中提取有关动态障碍物的特征，如位置、尺寸和速度等。这些特征将作为观测数据输入到EKF中。
4)EKF定位和预测：使用EKF来估计动态障碍物的状态，如位置和速度等。EKF通过结合预测模型和观测数据来提高估计的准确性。此外，EKF可以预测障碍物在未来的位置，从而为无人机的避障规划提供更多信息。
在采集完成环境信息后，进行以下处理：
步骤2.1：利用RGB-D相机和激光雷达融合生成三维地图。
步骤2.2：利用深度学习等算法识别障碍物并标记其类别和属性，其中在处理负障碍物时，可以利用YOLOV5等深度学习算法，在预训练处理后，进行识别。在处理动态障碍物时，可以使用激光雷达的点云数据识别动态障碍物，然后使用扩展卡尔曼滤波器进行障碍物的定位和预测。
步骤2.3：利用IMU校准地图的方向和尺度。
步骤3：无人机端生成路径规划并传输：
本方法中，无人机根据三维地图和无人车的起始点和目标点来生成局部路径规划，并通过ROS节点传输给无人车。
本方法中将采用RRT*算法来生成局部路径方案，并在实际的运用过程中进行优化和改进。RRT*算法是一种基于采样的运动规划算法，它是在RRT算法的基础上加入了代价函数和重连策略，以提高路径的质量。其优势在于：
(1)具备收敛性，这意味着在树不断扩展的同时，路径的质量也会逐渐提高。这使得算法能够快速地找到最短路径。
(2)考虑了动态变化或不确定性因素，如移动障碍物、通信延迟等；
(3)考虑了多种约束条件，如时间、距离、安全等；
(4)考虑了多种优化目标，如平滑、快速、节能等。
(5)考虑了未来的发展方向，RRT*算法可以很容易地扩展到多代理路径规划问题和机器人协同路径规划问题中。这使得它成为解决复杂的多智能体路径规划问题的一种有力工具。
RRT算法的具体步骤如下：
步骤3.1：初始化随机树。在状态空间中随机生成一个初始节点，将其作为树的根节点。
步骤3.2：在状态空间中生成一个随机节点xrand，并在随机树中查找距离该节点最近的节点xnear，即：
xnear＝argmin(dist(xrand,x))
这里的dist表示节点之间的距离函数，可以是欧式距离等。
步骤3.3：生成一条从xnear到xrand的路径，即：
xnew＝steer(xnear,xrand,delta)
这里的steer函数表示从xnear出发，以步长delta向xrand前进，得到的新状态xnew。该函数通常采用插值方法，如线性插值或者样条插值，来得到平滑的路径。
步骤3.4：检查路径[xnear,xnew]是否与环境障碍物相交。如果路径不相交，则将xnew作为一个新的节点加入随机树中，并将该节点连接到距离最近的节点xnear上；
步骤3.5：对于新加入的节点xnew，重新计算它与其它节点之间的距离，并尝试将其与那些距离比原来更短的节点进行重连。具体而言，对于每个节点xnear'，满足dist(xnear',xnew)<r，其中r是一个半径参数，我们检查路径[xnear',xnew]是否可行。如果路径可行，并且路径上的代价比原来的路径更小，即
C(xnear')+dist(xnear',xnew)＜C(xnew)
则将xnew与xnear'进行重连，并更新代价函数值，C函数表示该点的代价值；
步骤3.6：重复步骤3.1-3.5，直到找到可行路径或者达到规定的迭代次数。
如果找到了可行路径，则从终点开始，沿着树的连接路径向起点回溯，得到一条可行路径。否则输出无法找到可行路径。
步骤4：无人车端的路径执行与反馈
本发明使用无人车根据接收到的路径规划来执行行驶，并通过ROS节点反馈其状态给无人机。若在行驶过程中，无人车电量不足以完成剩下路程，无人机可以直接将目的地规划为最近的充电位置。
本发明使用PID控制器来控制无人车的速度和转向角，并利用视觉里程计VO来估计其实际位置。同时，本发明设计了一种基于卡尔曼滤波器的自适应调整策略，用于处理由于误差或干扰导致的路径偏离或失效问题。该策略具有以下步骤：
步骤4.1：利用卡尔曼滤波器预测并更新无人车的位置信息；
步骤4.2：比较预测位置与期望位置之间的偏差；
步骤4.3：根据偏差的大小和方向，选择合适的调整方式；
步骤4.4：利用无人机重新生成或修正路径规划，并传输给无人车。
实施例1：如图3所示，城市快递配送在城市快递配送场景中，无人车需要在繁忙的城市街道中穿梭，面临诸多负障碍物(如下沉的人行道、地下管道口等)和动态障碍物(如行人、骑行者、动态车辆等)。无人机可以协助无人车实现更精确的障碍物识别和规避，提高配送效率。在实施过程中，无人机可以在无人车顶部携带的二维码上方飞行，同时利用激光雷达、RGB-D相机等设备实时采集环境信息，生成更准确的局部路径规划并传输给无人车。
实施例2：如图4图5所示，野外科考探险在野外科考探险中，无人车需要穿越复杂多变的地形，如山地、丛林、沙漠等。在这些环境下，无人车可能面临更多未知的负障碍物(如洼地、河流、树根等)和动态障碍物(如野生动物等)。通过本发明方法，无人机可以协助无人车进行更为准确的地形识别与规划。无人机可以在无人车上方飞行，利用激光雷达、RGB-D相机等设备实时采集环境信息，为无人车提供更精确的局部路径规划。
实施例3：如图6所示，智能停车场管理在智能停车场管理场景中，无人车需要在狭窄的空间中寻找合适的停车位，并避免与其他车辆、停车设施等障碍物发生碰撞。无人机可以通过实时获取无人车和周围环境的三维信息，协助无人车进行精确的路径规划。在实施过程中，无人机可以在无人车顶部携带的二维码上方飞行，同时利用激光雷达、RGB-D相机等设备实时采集环境信息，为无人车提供准确的局部路径规划，提高停车场管理效率。
实施例4：低电量自动导航充电站
在无人车行驶中，如电量低于预设阈值，无人机将协助无人车规划前往最近充电站的路线。无人机利用携带的激光雷达、RGB-D相机等设备，实时获取周围环境信息及无人车位置。结合充电站地理位置信息，无人机重新生成局部路径规划并通过ROS节点传输给无人车。在行驶过程中，无人机监测无人车电量及周围障碍物，确保安全抵达充电站。
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。
Claims (10)
1.一种无人机为地面无人车提供局部路径规划系统，其特征在于，包括无人机、地面无人车、传感器、算法模块和通信模块，
所述传感器用于采集周围的环境信息，包括地面的普通障碍物、负障碍物、动态障碍物的位置信息数据，并将采集的数据传递给算法模块；
所述算法模块用于整合处理收集到的环境信息，并根据环境信息制定并优化局部路径方案；
所述通讯模块用于将算法模块生成的实时局部路径方案发送给地面无人车，地面无人车接收路径方案后实现相应路径行驶。
2.根据权利要求1所述的无人机为地面无人车提供局部路径规划系统，其特征在于，所述无人机与无人车的通讯方式采用的是ROS通信，采用UDP用户数据报协议。
3.根据权利要求1所述的无人机为地面无人车提供局部路径规划系统，其特征在于，地面无人车通过ROS节点反馈的信息中，包括其电池电量信息，通过测试时建立的无人车电量与行驶里程关系的模型，计算无人车在行驶完给定路线后的所需电量，若在行驶过程中，无人车电量不足以完成剩下路程，无人机可以直接将目的地规划为最近的充电位置。
4.根据权利要求1所述的无人机为地面无人车提供局部路径规划系统，其特征在于，所述无人机和无人车上各自安装四个反光标志物，并在室内环境中布置了二十四个摄像头，通过VICON定位装置，实时获取无人机和无人车的三维坐标。
5.一种如权利要求1-4任一项所述的无人机为地面无人车提供局部路径规划系统的局部路径规划的方法，其特征在于，包括如下步骤：
步骤1：无人机与无人车的定位；
步骤2：无人机端的环境信息采集与处理；
步骤3：无人机端生成路径规划并传输；
步骤4：无人车端的路径执行与反馈。
6.根据权利要求5所述的方法，其特征在于，所述步骤1包括如下具体步骤：
步骤1.1：室内定位：
通过VICON定位装置，实时获取无人机和无人车的三维坐标，并计算出它们之间的相对距离和方向，无人机在通过主机获得位置信息后就可以根据无人车的位置进行跟随飞行，并保持一定的高度和角度；
步骤1.2：室外定位：
在室外，使用GPS跟AprilTag结合的方法，无人机通过无人车顶部携带的二维码进行比较精准地定位和追踪，从而得到无人车与无人机的相对位姿信息。
7.根据权利要求5所述的方法，其特征在于，所述无人机上搭载有RBG-D相机，用于获取彩色图像和深度图像；有激光雷达，用于获取点云数据；有惯性测量单元IMU，
用于获取姿态数据；
所述步骤2在环境信息处理时，对于不同障碍物的识别方法如下：
对于负障碍物：
在处理负障碍物信息时，无人机事先进行预训练处理，通过在无人机对负障碍物的录制中抽帧的办法，获取包含负障碍物的数千张图像，作为初始负障碍物数据集，通过筛选排除掉不完整的负障碍物图像后，通过剪切、旋转、透视变换操作增加图像数量较少的负障碍物种类，增加数据集的多样性。
在得到最终的数据集后经过标定、模型训练、测试后实装到无人机上应用；
对于动态障碍物：
使用激光雷达的点云数据识别动态障碍物，然后使用扩展卡尔曼滤波器进行障碍物的定位和预测，扩展卡尔曼滤波器，以下是整个过程的概述：
1)从激光雷达获取点云数据：激光雷达生成高分辨率的三维点云数据，提供环境中物体的精确位置信息；
2)点云处理与物体识别：对点云数据进行预处理，如降采样、滤波，接着，通过聚类、分割方法从点云中识别出目标物体；
3)特征提取：从识别出的物体中提取有关动态障碍物的特征，这些特征作为观测数据输入到EKF中；
4)EKF定位和预测：使用EKF来估计动态障碍物的状态，EKF通过结合预测模型和观测数据来提高估计的准确性，此外，EKF预测障碍物在未来的位置，从而为无人机的避障规划提供更多信息。
8.根据权利要求5所述的方法，其特征在于，所述步骤2在采集完成环境信息后，进行以下处理：
步骤2.1：利用RGB-D相机和激光雷达融合生成三维地图；
步骤2.2：利用深度学习算法识别障碍物并标记其类别和属性，其中在处理负障碍物时，利用YOLOV5深度学习算法，在预训练处理后，进行识别，在处理动态障碍物时，使用激光雷达的点云数据识别动态障碍物，然后使用扩展卡尔曼滤波器进行障碍物的定位和预测；
步骤2.3：利用IMU校准地图的方向和尺度。
9.根据权利要求5所述的方法，其特征在于，所述步骤3中无人机根据三维地图和无人车的起始点和目标点来生成局部路径规划，并通过ROS节点传输给无人车，采用RRT*算法来生成局部路径方案，并在实际的运用过程中进行优化和改进，所述RRT*算法的具体步骤如下：
步骤3.1：初始化随机树，在状态空间中随机生成一个初始节点，将其作为树的根节点；
步骤3.2：在状态空间中生成一个随机节点xrand，并在随机树中查找距离该节点最近的节点xnear，即：
xnear＝argmin(dist(xrand,x))
这里的dist表示节点之间的距离函数；
步骤3.3：生成一条从xnear到xrand的路径，即：
xnew＝steer(xnear,xrand,delta)
这里的steer函数表示从xnear出发，以步长delta向xrand前进，得到的新状态xnew，该函数通常采用插值方法，如线性插值或者样条插值，来得到平滑的路径；
步骤3.4：检查路径[xnear,xnew]是否与环境障碍物相交，如果路径不相交，则将xnew作为一个新的节点加入随机树中，并将该节点连接到距离最近的节点xnear上；
步骤3.5：对于新加入的节点xnew，重新计算它与其它节点之间的距离，并尝试将其与那些距离比原来更短的节点进行重连，具体而言，对于每个节点xnear'，满足dist(xnear',xnew)<r，其中r是一个半径参数，我们检查路径[xnear',xnew]是否可行，如果路径可行，并且路径上的代价比原来的路径更小，即
C(xnear')+dist(xnear',xnew)＜C(xnew)
则将xnew与xnear'进行重连，并更新代价函数值，C函数表示该点的代价值；
步骤3.6：重复步骤3.1-3.5，直到找到可行路径或者达到规定的迭代次数，如果找到了可行路径，则从终点开始，沿着树的连接路径向起点回溯，得到一条可行路径，否则输出无法找到可行路径。
10.根据权利要求5所述的方法，其特征在于，所述步骤4使用无人车根据接收到的路径规划来执行行驶，并通过ROS节点反馈其状态给无人机，若在行驶过程中，无人车电量不足以完成剩下路程，无人机可以直接将目的地规划为最近的充电位置；
使用PID控制器来控制无人车的速度和转向角，并利用视觉里程计VO来估计其实际位置，同时，设计一种基于卡尔曼滤波器的自适应调整策略，用于处理由于误差或干扰导致的路径偏离或失效问题，该策略具有以下步骤：
步骤4.1：利用卡尔曼滤波器预测并更新无人车的位置信息；
步骤4.2：比较预测位置与期望位置之间的偏差；
步骤4.3：根据偏差的大小和方向，选择合适的调整方式；
步骤4.4：利用无人机重新生成或修正路径规划，并传输给无人车。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310513089.0A CN116540706A (zh) | 2023-05-05 | 2023-05-05 | 一种无人机为地面无人车提供局部路径规划系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310513089.0A CN116540706A (zh) | 2023-05-05 | 2023-05-05 | 一种无人机为地面无人车提供局部路径规划系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116540706A true CN116540706A (zh) | 2023-08-04 |
Family
ID=87451861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310513089.0A Pending CN116540706A (zh) | 2023-05-05 | 2023-05-05 | 一种无人机为地面无人车提供局部路径规划系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116540706A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409341A (zh) * | 2023-12-15 | 2024-01-16 | 深圳市光明顶技术有限公司 | 基于无人机照明的图像分析方法及系统 |
-
2023
- 2023-05-05 CN CN202310513089.0A patent/CN116540706A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409341A (zh) * | 2023-12-15 | 2024-01-16 | 深圳市光明顶技术有限公司 | 基于无人机照明的图像分析方法及系统 |
| CN117409341B (zh) * | 2023-12-15 | 2024-02-13 | 深圳市光明顶技术有限公司 | 基于无人机照明的图像分析方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Marin-Plaza et al. | Global and local path planning study in a ROS-based research platform for autonomous vehicles | |
| Barry et al. | High‐speed autonomous obstacle avoidance with pushbroom stereo | |
| EP3693944A1 (en) | Method and device for short-term path planning of autonomous driving through information fusion by using v2x communication and image processing | |
| US10310087B2 (en) | Range-view LIDAR-based object detection | |
| Furgale et al. | Toward automated driving in cities using close-to-market sensors: An overview of the v-charge project | |
| CN107328418B (zh) | 移动机器人在陌生室内场景下的核辐射探测路径自主规划方法 | |
| Tisdale et al. | Autonomous UAV path planning and estimation | |
| Li et al. | Collaborative mapping and autonomous parking for multi-story parking garage | |
| CN107015238A (zh) | 基于三维激光雷达的无人车自主定位方法 | |
| US20220185271A1 (en) | Method and apparatus for controlling vehicle driving | |
| US11231283B2 (en) | Localization with neural network based image registration of sensor data and map data | |
| CN111982114B (zh) | 一种采用imu数据融合估计三维位姿的救援机器人 | |
| US11754415B2 (en) | Sensor localization from external source data | |
| CN112558608A (zh) | 一种基于无人机辅助的车机协同控制及路径优化方法 | |
| US20220101155A1 (en) | Trajectory Generation Using Road Network Model | |
| Wu et al. | Robust LiDAR-based localization scheme for unmanned ground vehicle via multisensor fusion | |
| CN116540706A (zh) | 一种无人机为地面无人车提供局部路径规划系统及方法 | |
| JP2022027593A (ja) | 可移動機器の測位方法、装置及び可移動機器 | |
| Lei et al. | A bio-inspired neural network approach to robot navigation and mapping with nature-inspired algorithms | |
| Fassbender et al. | Landmark-based navigation in large-scale outdoor environments | |
| SE2050258A1 (en) | Machine learning based system, methods, and control arrangement for positioning of an agent | |
| CN112747752B (zh) | 基于激光里程计的车辆定位方法、装置、设备和存储介质 | |
| Wang et al. | Research on mobile robot localization and mapping method for underground long-narrow tunnels | |
| CN109901589B (zh) | 移动机器人控制方法和装置 | |
| Lee et al. | Infrastructure Node-based Vehicle Localization for Autonomous Driving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |