CN116540784B - 一种基于视觉的无人系统空地协同导航与避障方法 - Google Patents
一种基于视觉的无人系统空地协同导航与避障方法 Download PDFInfo
- Publication number
- CN116540784B CN116540784B CN202310775277.0A CN202310775277A CN116540784B CN 116540784 B CN116540784 B CN 116540784B CN 202310775277 A CN202310775277 A CN 202310775277A CN 116540784 B CN116540784 B CN 116540784B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- unmanned
- aerial vehicle
- information
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000004438 eyesight Effects 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 238000005516 engineering process Methods 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 31
- 230000015572 biosynthetic process Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000007613 environmental effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 230000003068 static effect Effects 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000011217 control strategy Methods 0.000 claims description 4
- 230000002787 reinforcement Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 6
- 230000002068 genetic effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 208000003164 Diplopia Diseases 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 208000029444 double vision Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
本发明属于无人系统协同导航与避障技术领域，公开了一种基于视觉的无人系统空地协同导航与避障方法，本发明设计搭建了无人机与无人车结合的空地协同异构平台，充分发挥各自优势，实现优势互补及功能拓展，提升无人系统在协同中的任务执行效能；针对不同场景复杂多变的特点，本发明基于深度学习理论及图像识别技术实现目标检测与定位，使空地无人系统具有互为视角的全面协同感知能力，并有效简化了系统，降低实施成本。
Description
技术领域
本发明属于无人系统协同导航与避障技术领域，涉及一种基于视觉的无人系统空地协同导航与避障方法。
背景技术
随着科学技术的发展，面向空地协同控制的无人系统在军事领域和民用领域都具有广阔的应用前景，特别是面向未来临地安防体系下的低空安防。无人机因具有作战能力强、活动空间广以及成本低等诸多优势，然而无人机承载和续航能力有限。无人车具有承载能力强、可扩展性高以及适应范围广等诸多优势，能够承载高算力平台，但活动范围有限。因此，通过无人机和无人车空地协同实现优势互补，能够提升系统整体执行任务的效能。随着无人系统广泛应用于各种复杂场景中，因而对无人系统的自主性提出了更高的要求。而空地协同导航与避障技术是无人系统的核心点与难点，因此该技术受到广泛的关注。
无人系统的导航与避障技术可以看作对如何安全、快速地到达目标位置进行规划的过程，它主要依赖于无人系统对当前的环境和位置的感知。为了顺利完成预定任务，无人系统必须充分了解各个智能体状态，包括位置、导航速度、航向以及出发点和目标位置等。传统导航方法多数基于惯性导航与卫星导航，惯性导航是以牛顿力学定律为基础，依靠安装在载体(无人机，无人车等)内部的加速度计测量载体在三个轴向运动加速度，经积分运算得出载体的瞬时速度和位置，以及测量载体姿态的一种导航方式。该方法的定位误差会随时间积累，从而影响系统导航精度。定位卫星导航是通过不断对目标物体进行定位从而实现导航功能，该方法易受电磁干扰的影响,且在复杂环境中信号易丢失。因此，面对复杂的外部环境，要求无人集群系统具有高精度、低成本和智能化的自主执行任务的能力，从而保证完成任务的效率。传统的无人系统避障方法多是基于无人系统本体搭载的传感器感知周围环境信息进而躲避障碍物，如超声波雷达、激光雷达和毫米波雷达等，但由于智能体承重能力和电源供应能力有限，携带大重量、高功耗的传感器（如激光雷达）会大幅度减少智能体执行任务的续航时间并增加额外的成本。此外，单一无人平台自身局限性问题无法全方位的感知周边场景信息，因此需要搭建一种空地结合的空地协同异构平台，能够充分发挥各自感知优势，实现优势互补及功能拓展，提升多智能体在协同中的任务执行效能。目前已有的空地协同异构平台避障多数聚焦于地面无人系统导航与避障，而在协同过程中常忽略无人机的导航与避障需求，因此需要一种空地协同异构平台能够为空中无人平台提供协同导航和避障功能，从而提升无人系统在协同任务中的使用效能。
发明内容
为了解决无人系统空地协同导航系统与避障问题，本发明旨在提供一种基于视觉的无人系统空地协同导航与避障方法，其能够较为简单地、低成本地实现对无人系统之间的协同导航与躲避障碍物。
为实现以上目的，本发明采用如下技术方案：
一种基于视觉的无人系统空地协同导航与避障方法，一个无人机群包括4台无人机、一台无人车和中央处理器，所述中央处理器包括基于视觉的地对空感知与控制系统和基于视觉的空对地感知与导航系统，所述基于视觉的地对空感知与控制系统和基于视觉的空对地感知与导航系统分别均包括图像处理系统、三维坐标转换系统、快速目标检测系统、目标轨迹预测系统、路径规划系统和无人集群最优控制系统，能够实现图像处理功能、三维坐标转换功能、基于深度学习的快速目标检测功能、目标轨迹预测功能、路径规划功能和无人集群控制功能，每台无人机均包含一个双目摄像机，所述无人车搭载一个双目摄像机，包括的主要步骤如下：
步骤1：异构无人平台编队执行前布置
将无人机群的4台无人机按照矩形几何编队布置于起飞场地，确保各无人机之间的初始实际距离应大于相互之间的安全半径之和，确保无人车置于无人机集群后方L米处，并保证至少一台无人机的双目摄像机能够观测到无人车周边场景信息；应保证无人车车载双目摄像机能够观测到4台无人机及4台无人机的周边场景信息；
步骤2：无人机起飞前自动基准构建；无人车行进前自动基准构建；
步骤3：4台无人机按照矩形几何编队起飞，无人车按照指定位置启动；
步骤4：通过无人车双目摄像机观测环境信息并采用基于视觉的地对空感知与控制系统感知无人机状态与场景环境信息；
步骤5：无人车按照任务指定航线方向行进；
步骤6：将4台无人机观测的环境信息传输至中央处理器中，随后采用基于视觉的空对地感知和导航系统感知无人车周边场景环境信息并得到执行任务的最优航线。
进一步地，步骤1中，所述的L米是指无人车视觉感知的最大范围的1/3处。
进一步地，步骤4具体包括以下步骤：
步骤4.1：利用车载双目摄像机采集目标区域的环境信息并将采集的环境信息以图像帧的方式传输至图像处理系统进行图像处理，对传入图像处理系统的视频信息预处理得到指定尺寸的预处理图像；
步骤4.2：将预处理后的图像传入快速目标检测系统，基于深度学习的快速目标检测算法YOLOv5 (You Only Look Once)能够依据先验模型迅速识别并定位当前场景中4台无人机及动静态障碍物；
步骤4.3：基于上述环境信息利用视觉惯性融合技术估计相机自身的运动姿态，融合多帧深度信息，重建空间环境的体素地图和对场景中无人机及动静态障碍物进行三维坐标转换，得到所述目标区域的场景地图和不同物体多时刻位置信息；
步骤4.4：将所述场景地图和不同物体多时刻的位置信息传入到目标轨迹预测系统，基于LSTM（Long Short Term Memory）的目标轨迹预测算法依据先验模型与数据库将预测和判定场景地图中无人机和其他动态障碍物运动轨迹并对可能受到威胁的无人机发出碰撞预警。
进一步地，步骤6具体包括以下步骤：
步骤6.1：利用至少4台无人机双目摄像机在稳定飞行后采集目标区域的环境信息并将采集的环境信息以图像帧的方式传输至图像处理系统，对传入图像处理系统的视频信息进行预处理得到4张场景图片融合后的预处理图像；
步骤6.2：将预处理图像分为两路输出，一路传入基于双目摄像机的三维坐标转换系统并依据图像数据计算出无人车在场景环境中的相对位置坐标，另一路传入快速目标检测系统，基于深度学习的快速目标检测算法YOLOv5 (You Only Look Once)能够检测场景信息、计算场景信息中动态和静态目标威胁度并构建场景信息的栅格地图；
步骤6.3：在给定位置信息与场景信息栅格地图的条件下，建立威胁模型与地形信息，与此同时，路径规划系统依据给定信息求解无人车行进的最优路径或者次最优路径；
步骤6.4：无人集群最优控制系统依据上述最优路径或次最优路径对无人车发出控制指令，基于强化学习的空地协同最优控制策略算法依据获取的环境状态信息输出无人车控制指令，收到控制指令的无人车依据指令按照指定的路径行进。
进一步地，协同任务执行的过程中，事先在车载双目摄像机获得无人机集群的场景图片中指定4个虚拟编队位置点并固定在场景图片的相对位置处，进而无人车行进过程中虚拟编队位置点伴随着无人车行进，与此同时，虚拟位置点与无人机所在位置导致一定偏差，通过其姿态闭环控制器实现无人机群编队保持。
进一步地，所述车载处理器设置于无人车上，为车载中央处理器。
在本发明的一种优选实施方式中，所述的L米具体为5米。
说明：本发明所指的安全半径为无人机机体最大轮廓外接圆半径的2倍。
说明：4个虚拟编队位置点为场景以矩形方式固定在场景图片的中心出，四个虚拟编队位置点之间距离相等，且距离为2米。
与现有技术相比，本发明具有以下有益效果：
（1）本发明通过无人机和无人车搭载的双目摄像机实现了无人系统协同导航与避障，无需增加额外传感器设备，无需依赖GPS、激光雷达和超声波雷达，且基于视觉的传感器因包含的信息量大并能够显著降低无人系统的成本及功耗；
（2）本发明充分发挥无人车与无人机各自优势，实现优势互补，无人机与无人车均搭载双目视觉摄像机，无人机协助无人车导航与避障并且无人车利用计算机视觉同样能够感知无人机位置及协助无人机导航与避障，空地无人系统协同性更加全面，大幅提升无人系统的任务执行效能，使用场景更加多样化，提高了无人系统全面协同感知能。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例技术方案图。
图2为本发明实施例求解最优路径技术方案图。
图3为本发明方法工作流程图。
图4 为本发明方法工作组成图。
实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本实例提供一种基于视觉的无人系统空地协同导航与避障方法；如附图1及图所示，一个无人机群主要包括4台无人机1~4和1台无人车，每台无人机均包含一个双目摄像机，无人车包含一个双目摄像机和车载中央处理器，其中双目摄像机用于感知场景信息，所述中央处理器包括基于视觉的地对空感知与控制系统和基于视觉的空对地感知与导航系统，所述基于视觉的地对空感知与控制系统和基于视觉的空对地感知与导航系统分别包括图像处理系统、三维坐标转换系统、快速目标检测系统、目标轨迹预测系统、路径规划系统和无人集群最优控制系统，能够实现图像处理功能、三维坐标转换功能、基于深度学习的快速目标检测功能、目标轨迹预测功能、路径规划功能和无人集群控制功能。此外，本实施例中异构无人平台所执行的任务是通过指定区域抵达目标点，与此同时，应保证无人机能够躲避空中动静态障碍物；应保证无人车能够在指定区域内躲避地面障碍物并抵达任务指定目标点。
具体实施流程图如附图3所示，步骤如下所示：
步骤1：异构无人平台编队执行前布置：
将各无人机群按照附图1所示矩形几何编队布置于起飞场地，应确保无人机之间的初始实际距离应大于相互之安全半径之和，从而避免碰撞风险；应确保无人车置于无人机集群后方L米处，与此同时，应保证至少一台无人机的双目摄像机能够观测到无人车周边场景信息；应保证无人车车载双目摄像机能够观测到无人机1~4及周边场景信息。
所述的L米是指无人车视觉感知的最大范围的1/3处，例如，L米可以为五米。
步骤2：无人机起飞前自动基准构建；无人车行进前自动基准构建。
进一步地，步骤2中，无人机起飞前自动基准构建包含：智能飞行电池以及移动设备的电量是否充足；螺旋桨是否正确安装；电源开启后相机是否正常工作；检查电机是否正常启动；检查飞行状态；周围环境是否符合飞行条件（建议在空旷的场地，避开高楼，人群）；
无人车自基准构建包含：行进前先检查遥控器，是否正常以及移动设备的电量是否充足；电源开启后相机是否正常工作；检查电机是否正常启动；检查无人车状态；周围环境是否符合行进条件。
步骤3：无人机1~4按照附图1所示矩形几何编队起飞，无人车按照指定位置启动。
步骤4：通过无人车双目摄像机观测环境信息并采用基于视觉的地对空感知与控制系统（车载双目摄像机、目标轨迹预测功能）感知无人机状态与场景环境信息。
步骤4.1：利用车载双目摄像机采集目标区域的环境信息并将采集的环境信息以图像帧的方式传输至图像处理系统，对传入图像处理系统的视频信息预处理得到指定尺寸（416*416）的预处理图像；
步骤4.2：将预处理后的图像传入快速目标检测系统，基于深度学习的快速目标检测YOLOv5算法能够依据先验模型迅速识别并定位当前场景中无人机1~4及动静态障碍物；
此处先验模型的获取是采用YOLOv5算法对训练样本多次训练得到的算法权重模型，该算法权重模型能够对传入图片进行实时目标检测，同时输出为检测到目标所处的位置和大小。因此，这个经过训练的权重模型被称为先验模型。所述的训练样本一部分来自于公开数据集coco128，另一部分来自于自行标注的常见障碍物数据集所构成，如汽车，行人，石墩，树木等。
步骤4.3：基于上述环境信息利用视觉惯性融合技术估计车载摄像机自身的运动姿态，融合多帧深度信息，重建空间环境的体素地图和对场景中无人机及动静态障碍物进行三维坐标转换，得到所述目标区域的场景地图和不同物体多时刻位置信息；
步骤4.4：将上述场景地图和不同物体多时刻的位置信息传入到目标轨迹预测系统，基于LSTM的目标轨迹预测算法依据先验模型与数据库将预测和判定场景地图中无人机和其他动态障碍物运动轨迹并对可能受到威胁的无人机发出碰撞预警；
此处先验模型的获取是根据基于预先采集的障碍物相对于无人机或无人车的运动轨迹数据作为训练样本，通过LSTM算法对训练样本进行迭代训练得到得算法（权重）模型，该权重模型可以根据实时采集的数据预测障碍物的运动轨迹。因此，这个经过训练的权重模型被称为先验模型。
所述数据库就是实验中采集得动态障碍物的运动轨迹信息和位置信息。
说明：本实施例中动态障碍物为外界环境干预下实验人员向目标无人机集群投掷的小球，小球直径不低于5cm，投掷小球速度不高于10m/s，如附图1所示。
步骤4.5：无人集群最优控制系统对收到碰撞预警的无人机发出躲避控制指令，基于强化学习PPO（Proximal Policy Optimization）算法的空地协同最优控制策略算法依据获取的环境状态信息输出预警无人机的控制指令，收到碰撞预警的无人机依据指令规避动态障碍物。
步骤5：无人车按照任务指定航线方向行进。
步骤6：将无人机1~4观测的环境信息传输至中央处理器中，随后采用基于视觉的空对地感知和导航系统感知无人车周边场景环境信息并得到执行任务的最优航线。
步骤6.1：利用至少4架无人机双目摄像机在稳定飞行后采集目标区域的环境信息并将采集的环境信息以图像帧的方式传输至图像处理系统，对传入图像处理系统的视频信息进行预处理得到4张场景图片融合后的预处理图像；
步骤6.2：将预处理图像分为两路输出，一路传入三维坐标转换系统并依据图像数据计算出无人车在场景环境中的相对位置坐标，另一路传入基于深度学习YOLOv5算法的快速目标检测系统并检测场景信息、计算场景信息中动态和静态目标威胁度并构建场景信息的栅格地图；
步骤6.3：在给定位置信息与场景信息栅格地图的条件下，建立威胁模型与地形信息，与此同时，基于遗传算法GA（Proximal Policy Optimization）路径规划系统依据给定信息（包括地图信息与位置信息）求解无人车行进的最优路径或者次最优路径；如附图2所示；栅格地图中标记了场景中障碍物的威胁区域，将威胁区域转换成遗传算法中的约束条件（约束条件在遗传算法GA中的作用是限制解空间，确保生成的解满足问题的要求。），遗传算法GA根据给定的终点，起点与约束条件，求解起点和终点之间的最短路径。
步骤6.4：无人集群最优控制系统依据上述最优路径或次最优路径对无人车发出控制指令，基于强化学习的空地协同最优控制策略算法依据获取的环境状态信息输出无人车控制指令，收到控制指令的无人车依据指令按照指定的路径行进。
补充说明：协同任务执行的过程中，事先在车载双目摄像机获得的无人机集群的场景图片中指定虚拟编队位置点并固定在场景图片的相对位置处，进而无人车行进过程中虚拟编队位置点伴随着无人车行进，与此同时，虚拟位置点与无人机所在位置导致一定偏差，通过其姿态闭环控制器实现无人机群编队保持。4个虚拟编队位置点为场景以矩形方式固定在场景图片的中心出，四个虚拟编队位置点之间距离相等，且距离为2米。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以做出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (4)
1.一种基于视觉的无人系统空地协同导航与避障方法，其特征在于，一个无人机群包括4台无人机、一台无人车和中央处理器，所述中央处理器包括基于视觉的地对空感知与控制系统和基于视觉的空对地感知与导航系统，所述基于视觉的地对空感知与控制系统和基于视觉的空对地感知与导航系统分别包括图像处理系统、三维坐标转换系统、快速目标检测系统、目标轨迹预测系统、路径规划系统和无人集群最优控制系统，能够实现图像处理功能、三维坐标转换功能、基于深度学习的快速目标检测功能、目标轨迹预测功能、路径规划功能和无人集群控制功能，每台无人机均包含一个双目摄像机，所述无人车搭载一个双目摄像机，包括的主要步骤如下：
步骤1：异构无人平台编队执行前布置
将无人机群的4台无人机按照矩形几何编队布置于起飞场地，确保各无人机之间的初始实际距离应大于相互之间的安全半径之和，确保无人车置于无人机集群后方L米处，并保证至少一台无人机的双目摄像机能够观测到无人车周边场景信息；应保证无人车车载双目摄像机能够观测到4台无人机及4台无人机的周边场景信息；
步骤2：无人机起飞前自动基准构建；无人车行进前自动基准构建；
步骤3：4台无人机按照矩形几何编队起飞，无人车按照指定位置启动；
步骤4：通过无人车双目摄像机观测环境信息并采用基于视觉的地对空感知与控制系统感知无人机状态与场景环境信息；
步骤5：无人车按照任务指定航线方向行进；
步骤6：将4台无人机观测的环境信息传输至中央处理器中，随后采用基于视觉的空对地感知和导航系统感知无人车周边场景环境信息并得到执行任务的最优航线；
步骤4具体包括以下步骤：
步骤4.1：利用车载双目摄像机采集目标区域的环境信息并将采集的环境信息以图像帧的方式传输至图像处理系统进行图像处理，对传入图像处理系统的视频信息预处理得到指定尺寸的预处理图像；
步骤4.2：将预处理后的图像传入快速目标检测系统，基于深度学习的快速目标检测YOLOv5算法能够依据先验知识迅速识别并定位当前场景中4台无人机及动静态障碍物；
步骤4.3：基于上述环境信息利用视觉惯性融合技术估计相机自身的运动姿态，融合多帧深度信息，重建空间环境的体素地图和对场景中无人机及动静态障碍物进行三维坐标转换，得到所述目标区域的场景地图和不同物体多时刻位置信息(x,y,z)；
步骤4.4：将所述场景地图和不同物体多时刻的位置信息传入到目标轨迹预测系统，目标轨迹预测系统依据先验模型与数据库将预测和判定场景地图中无人机和其他动态障碍物运动轨迹并对可能受到威胁的无人机发出碰撞预警；
步骤6具体包括以下步骤：
步骤6.1：利用至少4台无人机双目摄像机在稳定飞行后采集目标区域的环境信息并将采集的环境信息以图像帧的方式传输至图像处理系统，对传入图像处理系统的视频信息进行预处理得到4张场景图片融合后的预处理图像；
步骤6.2：将预处理图像分为两路输出，一路传入基于双目摄像机的三维坐标转换系统并依据图像数据计算出无人车在场景环境中的相对位置坐标，另一路传入快速目标检测系统并检测场景信息、计算场景信息中动态和静态目标威胁度并构建场景信息的栅格地图；
步骤6.3：在给定位置信息与场景信息栅格地图的条件下，建立威胁模型与地形信息，与此同时，路径规划系统依据给定信息求解无人车行进的最优路径或者次最优路径；
步骤6.4：无人集群最优控制系统依据上述最优路径或次最优路径对无人车发出控制指令，基于强化学习的空地协同最优控制策略算法依据获取的环境状态信息输出无人车控制指令，收到控制指令的无人车依据指令按照指定的路径行进；
协同任务执行的过程中，事先在车载双目摄像机获得无人机集群的场景图片中指定虚拟编队位置点并固定在场景图片的相对位置处，进而无人车行进过程中虚拟编队位置点伴随着无人车行进，与此同时，虚拟位置点与无人机所在位置导致一定偏差，通过其姿态闭环控制器实现无人机群编队保持。
2.根据权利要求1所述的基于视觉的无人系统空地协同导航与避障方法，其特征在于，步骤1中，所述的L米是指无人车视觉感知的最大范围的1/3处。
3.根据权利要求1所述的基于视觉的无人系统空地协同导航与避障方法，其特征在于，所述中央处理器设置于无人车上，为车载中央处理器。
4.根据权利要求2所述的基于视觉的无人系统空地协同导航与避障方法，其特征在于，步骤1中，所述的L米为5米。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310775277.0A CN116540784B (zh) | 2023-06-28 | 2023-06-28 | 一种基于视觉的无人系统空地协同导航与避障方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310775277.0A CN116540784B (zh) | 2023-06-28 | 2023-06-28 | 一种基于视觉的无人系统空地协同导航与避障方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116540784A CN116540784A (zh) | 2023-08-04 |
| CN116540784B true CN116540784B (zh) | 2023-09-19 |
Family
ID=87458102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310775277.0A Active CN116540784B (zh) | 2023-06-28 | 2023-06-28 | 一种基于视觉的无人系统空地协同导航与避障方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116540784B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116929350B (zh) * | 2023-08-23 | 2023-11-21 | 南京理工大学 | 一种基于数据链测距的快速临机重构协同导航系统及方法 |
| CN116989771B (zh) * | 2023-09-18 | 2024-01-23 | 中冶建筑研究总院有限公司 | 一种用于检测结构缺陷的地空协同方法、系统及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110470301A (zh) * | 2019-08-13 | 2019-11-19 | 上海交通大学 | 多动态任务目标点下的无人机路径规划方法 |
| CN110888456A (zh) * | 2019-12-05 | 2020-03-17 | 中国北方车辆研究所 | 一种无人机与无人车的自主协同侦察控制方法 |
| CN111707988A (zh) * | 2020-05-29 | 2020-09-25 | 江苏科技大学 | 基于无人车车载uwb基站的无人器定位系统及定位方法 |
| WO2021196529A1 (zh) * | 2020-04-02 | 2021-10-07 | 同济人工智能研究院(苏州)有限公司 | 空地协同式智能巡检机器人及巡检方法 |
| CN114489112A (zh) * | 2021-12-13 | 2022-05-13 | 深圳先进技术研究院 | 一种智能车-无人机的协同感知系统及方法 |
| CN115469660A (zh) * | 2022-09-02 | 2022-12-13 | 西北工业大学 | 多无人机对多无人车动态跟踪控制方法、装置及设备 |
| CN115826622A (zh) * | 2023-02-13 | 2023-03-21 | 西北工业大学 | 一种无人机群夜间协同定位方法 |
| CN115993825A (zh) * | 2022-12-27 | 2023-04-21 | 中国人民解放军陆军工程大学 | 一种基于空地协同的无人车集群控制系统 |
| CN116091952A (zh) * | 2023-04-10 | 2023-05-09 | 江苏智绘空天技术研究院有限公司 | 一种基于大数据的地空一体智能云控管理系统及方法 |
-
2023
- 2023-06-28 CN CN202310775277.0A patent/CN116540784B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110470301A (zh) * | 2019-08-13 | 2019-11-19 | 上海交通大学 | 多动态任务目标点下的无人机路径规划方法 |
| CN110888456A (zh) * | 2019-12-05 | 2020-03-17 | 中国北方车辆研究所 | 一种无人机与无人车的自主协同侦察控制方法 |
| WO2021196529A1 (zh) * | 2020-04-02 | 2021-10-07 | 同济人工智能研究院(苏州)有限公司 | 空地协同式智能巡检机器人及巡检方法 |
| CN111707988A (zh) * | 2020-05-29 | 2020-09-25 | 江苏科技大学 | 基于无人车车载uwb基站的无人器定位系统及定位方法 |
| CN114489112A (zh) * | 2021-12-13 | 2022-05-13 | 深圳先进技术研究院 | 一种智能车-无人机的协同感知系统及方法 |
| CN115469660A (zh) * | 2022-09-02 | 2022-12-13 | 西北工业大学 | 多无人机对多无人车动态跟踪控制方法、装置及设备 |
| CN115993825A (zh) * | 2022-12-27 | 2023-04-21 | 中国人民解放军陆军工程大学 | 一种基于空地协同的无人车集群控制系统 |
| CN115826622A (zh) * | 2023-02-13 | 2023-03-21 | 西北工业大学 | 一种无人机群夜间协同定位方法 |
| CN116091952A (zh) * | 2023-04-10 | 2023-05-09 | 江苏智绘空天技术研究院有限公司 | 一种基于大数据的地空一体智能云控管理系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| Finite-Time Adaptive Fuzzy Backstepping Control for Quadrotor UAV With Stochastic Disturbance;Dengxiu Yu;Transactions on Automation Science and Engineering;第1-11页 * |
| 基于视觉的无人系统空地协同方法研究;于斌;中国优秀硕士学位论文全文数据库信息科技辑(第2期);第1-85页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116540784A (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116540784B (zh) | 一种基于视觉的无人系统空地协同导航与避障方法 | |
| CN107272731B (zh) | 无人机自动避撞系统 | |
| CN114911243A (zh) | 车路协同自动驾驶的控制方法、装置、设备及车辆 | |
| CN109863513A (zh) | 用于自主车辆控制的神经网络系统 | |
| CN109923492A (zh) | 飞行路径确定 | |
| Armbrust et al. | RAVON: The robust autonomous vehicle for off-road navigation | |
| EP3841525B1 (en) | Autonomous vehicle operational management with visual saliency perception control | |
| CN107608346A (zh) | 基于人工势场的船舶智能避障方法及系统 | |
| CN105892489A (zh) | 一种基于多传感器融合的自主避障无人机系统及控制方法 | |
| RU2691679C1 (ru) | Способ создания трека пути движения для автономного движения подвижного объекта и способ осуществления автономного движения подвижного объекта по треку пути движения | |
| WO2020226085A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN112068574A (zh) | 一种无人车在动态复杂环境中的控制方法及系统 | |
| CN107783547A (zh) | 灾后救援旋翼无人机避障系统及方法 | |
| CN110208783B (zh) | 基于环境轮廓的智能车辆定位方法 | |
| US11754415B2 (en) | Sensor localization from external source data | |
| Gläser et al. | Environment perception for inner-city driver assistance and highly-automated driving | |
| US20230415739A1 (en) | Systems and methods for controlling longitudinal acceleration based on lateral objects | |
| Ahmed et al. | An energy efficient IoD static and dynamic collision avoidance approach based on gradient optimization | |
| Yang et al. | Optimization of dynamic obstacle avoidance path of multirotor UAV based on ant colony algorithm | |
| Suganuma et al. | Development of an autonomous vehicle—System overview of test ride vehicle in the Tokyo motor show 2011 | |
| Yang et al. | Smart autonomous moving platforms | |
| CN118362124A (zh) | 一种配电线路无人机巡检的实时避障及地图更新方法 | |
| US20230415781A1 (en) | Systems and methods for controlling longitudinal acceleration based on lateral objects | |
| Hongbo et al. | Relay navigation strategy study on intelligent drive on urban roads | |
| Li et al. | Research on the intelligent obstacle avoidance and path planning strategy of UAV based on multi-sensor fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |