CN111813089A - 一种飞行器避障算法的仿真验证方法、装置及系统 - Google Patents
一种飞行器避障算法的仿真验证方法、装置及系统 Download PDFInfo
- Publication number
- CN111813089A CN111813089A CN202010685491.3A CN202010685491A CN111813089A CN 111813089 A CN111813089 A CN 111813089A CN 202010685491 A CN202010685491 A CN 202010685491A CN 111813089 A CN111813089 A CN 111813089A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- aircraft
- real
- obstacle avoidance
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24065—Real time diagnostics
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种飞行器避障算法的仿真验证方法、装置及系统,方法包括:获取预先训练的实时目标检测单元、飞行器模型和障碍物模型;运行仿真前述单元及模型;将飞行器运行数据及障碍物信息发送给视景仿真系统,并得到其返回的视景图片;基于实时目标检测单元对视景图片中的障碍物进行实时检测;在需要避障时,基于预设的避障算法的避障结果确定所述避障算法的避障效果。所述飞行器避障算法的仿真验证方法、装置及系统,提供了一个基于实时目标检测的飞行器避障算法的验证方式,通过该方式不仅能够方便的对避障算法的避障效果进行验证,且实现中不需要价格昂贵的专用设备用于环境感知,因此能够大大的降低避障算法的仿真验证成本。
Description
技术领域
本发明涉及飞行器控制领域,更具体的说,是涉及一种飞行器避障算法的仿真验证方法、装置及系统。
背景技术
在飞行器系统中,避障系统是飞行器在各种复杂飞行环境中完成飞行任务的重要保障。在飞行器飞行过程中,若探测到飞行路线上存在障碍物时,需要进行避障飞行,绕过障碍物继续向目的地飞行。
目前飞行器的避障技术主要可分为主动式避障与被动式避障两种。但无论是主动式避障还是被动式避障,对环境的感知是飞行器避障的基础。当前飞行器常规的环境感知系统需要基于专用设备实现,成本高昂,无法大规模应用。
发明内容
有鉴于此,本发明提供了一种飞行器避障算法的仿真验证方法、装置及系统,以克服现有技术中采用专用设备实现环境感知而存在的成本高昂的问题。
为实现上述目的,本发明提供如下技术方案:
一种飞行器避障算法的仿真验证方法,包括:
获取预先训练的实时目标检测单元、飞行器模型和障碍物模型;
运行仿真所述实时目标检测单元、所述飞行器模型和所述障碍物模型;
将飞行器运行数据及障碍物信息发送给视景仿真系统,并接收所述视景仿真系统基于所述飞行器运行数据及所述障碍物信息返回的视景图片,所述飞行器运行数据基于所述飞行器模型获取,所述障碍物信息基于所述障碍物模型获取;
基于所述实时目标检测单元对所述视景图片中的障碍物进行实时检测;
在所述实时检测的检测结果满足预设条件时,发出避障指令;
基于预设的避障算法对所述避障指令的执行结果确定所述避障算法的避障效果。
可选的,所述实时目标检测单元为YOLO v3网络结构,其训练过程包括:
加载YOLO v3网络结构及预训练参数;
修改所述YOLO v3网络结构的输出层结构,使其仅输出障碍物识别结果;
基于视景仿真系统生成的图片,采用迁移学习的方式对所述YOLO v3网络结构进行训练,得到满足预设要求的实时目标检测单元。
可选的,所述飞行器模型中的参数包含飞行器的初始位置和速度,所述障碍物模型中的参数包括障碍物的位置和运动规律。
可选的,在所述实时检测的检测结果表示存在障碍物,且所述障碍物距离飞行器的距离小于第一预设值的情况下,确定检测结果满足预设条件。
可选的,确定所述实时检测的检测结果表示存在障碍物,且所述障碍物距离飞行器的距离小于第一预设值,包括:
若所述实时目标检测单元检测到障碍物,确定所述障碍物的位置信息,所述位置信息对应所述障碍物距离所述飞行器的距离为第二预设值时的位置;
实时监测所述障碍物的位置信息,确定所述障碍物距离所述飞行器的距离的小于第一预设值,所述第一预设值小于所述第二预设值。
可选的,所述确定所述障碍物的位置信息,包括:
采用模拟的激光雷达或模拟的红外射线确定所述障碍物的位置信息。
可选的,所述基于预设的避障算法对所述避障指令的执行结果确定所述避障算法的避障效果,包括:
若飞行器基于预设的避障算法避开了所述障碍物模型中的所有障碍物,或成功避开的障碍物数量占所述障碍物模型中的所有障碍物总数的比例达到第三预设值,确定所述避障算法的避障效果合格。
一种飞行器避障算法的仿真验证装置,包括:
模型获取模块,用于获取预先训练的实时目标检测单元、飞行器模型和障碍物模型;
模型运行模块,用于运行仿真所述实时目标检测单元、所述飞行器模型和所述障碍物模型;
视景处理模块,用于将飞行器运行数据及障碍物信息发送给视景仿真系统,并接收所述视景仿真系统基于所述飞行器运行数据及所述障碍物信息返回的视景图片,所述飞行器运行数据基于所述飞行器模型获取,所述障碍物信息基于所述障碍物模型获取;
障碍物检测模块,用于基于所述实时目标检测单元对所述视景图片中的障碍物进行实时检测;
指令触发模块,用于在所述实时检测的检测结果满足预设条件时,发出避障指令;
效果验证模块,用于基于预设的避障算法对所述避障指令的执行结果确定所述避障算法的避障效果。
可选的,所述实时目标检测单元为YOLO v3网络结构,则还包括模型训练模块,用于对所述YOLO v3网络结构进行训练;
所述模型训练模块包括:
数据加载模块,用于加载YOLO v3网络结构及预训练参数;
输出层修改模块,用于修改所述YOLO v3网络结构的输出层结构,使其仅输出障碍物识别结果;
结构训练模块,用于基于视景仿真系统生成的图片,采用迁移学习的方式对所述YOLO v3网络结构进行训练,得到满足预设要求的时目标检测模块。
一种飞行器避障算法的仿真验证系统,包括:
主控计算机,用于训练实时目标检测单元,并配置飞行器模型和障碍物模型;
实时仿真系统,用于仿真运行所述实时目标检测单元、所述飞行器模型和所述障碍物模型,将飞行器运行数据及障碍物信息发送给视景仿真系统,并接收所述视景仿真系统基于所述飞行器运行数据及所述障碍物信息返回的视景图片,基于所述实时目标检测单元对所述视景图片中的障碍物进行实时检测;在所述实时检测的检测结果满足预设条件时,发出避障指令;基于预设的避障算法对所述避障指令的执行结果确定所述避障算法的避障效果;
视景仿真系统,用于接收所述实时仿真系统发送的飞行器运行数据及障碍物信息,生成对应的视景图片并返回实时仿真系统。
经由上述的技术方案可知,与现有技术相比,本发明实施例公开了一种飞行器避障算法的仿真验证方法、装置及系统,方法包括:获取预先训练的实时目标检测单元、飞行器模型和障碍物模型;运行仿真前述单元及模型;将飞行器运行数据及障碍物信息发送给视景仿真系统,并接收所述视景仿真系统基于所述飞行器运行数据及所述障碍物信息返回的视景图片;基于所述实时目标检测单元对所述视景图片中的障碍物进行实时检测;在检测结果满足预设条件时,发出避障指令;基于预设的避障算法对所述避障指令的执行结果确定所述避障算法的避障效果。所述飞行器避障算法的仿真验证方法、装置及系统,引入了实时目标检测单元,提供了一个基于实时目标检测的飞行器避障算法的验证方式,通过该方式不仅能够方便的对避障算法的避障效果进行验证,且实现中不需要价格昂贵的专用设备用于环境感知,因此能够大大的降低避障算法的仿真验证成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种飞行器避障算法的仿真验证方法的流程图;
图2为本发明实施例公开的实时目标检测单元的训练流程图;
图3为本发明实施例公开的另一种飞行器避障算法的仿真验证方法的流程图;
图4为本发明实施例公开的一种飞行器避障算法的仿真验证装置的结构示意图;
图5为本发明实施例公开的模型训练模块的结构示意图;
图6为本发明实施例公开的飞行器避障算法的仿真验证系统的架构示意图。
具体实施方式
为了引用和清楚起见,下文中使用的技术名词的说明、简写或缩写总结如下:
YOLO v3:YOLOv3是YOLO(You Only Look Once)系列目标检测算法中的第三版,相比之前同系列版本的算法,尤其是针对小目标,精度有显著提升。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例公开的飞行器避障算法的仿真验证方法的流程图,参见图1所示,飞行器避障算法的仿真验证方法可以包括:
步骤101:获取预先训练的实时目标检测单元、飞行器模型和障碍物模型。
其中,实时目标检测单元可以基于深度学习方法训练;实时目标检测单元可以基于当前已有的或未来可能出现的能够满足目标检测的神经网络结构。在使用某种类型的神经网络结构时,根据选用的神经网络结构特点以及目标检测的用途,可以适应性的手动对选取的神经网络结构进行一些调整或修改,以使得调整或修改后的神经网络结构能够更好的进行目标检测(在本申请中对应障碍物检测)。
其中,飞行器模型可基于预先配置的飞行器仿真参数确定,飞行器仿真参数可以但不限定为包括飞行器的初始位置、速度等参数。障碍物模型可基于预先配置的障碍物参数确定,障碍物参数可以但不限定为包括障碍物位置、障碍物运动规律等。
步骤102:运行仿真实时目标检测单元、飞行器模型和障碍物模型。
运行仿真飞行器模型和障碍物模型,即按照预先配置的相关参数模拟飞行器的飞行状态和障碍物的移动状态;运行仿真实时目标检测单元即实时检测飞行器周边或一定角度范围内是否有障碍物出现,并确定障碍物与飞行器之间的距离,以指导后续操作。
步骤103:将飞行器运行数据及障碍物信息发送给视景仿真系统,并接收视景仿真系统基于飞行器运行数据及障碍物信息返回的视景图片。
其中,飞行器运行数据基于飞行器模型获取,障碍物信息基于障碍物模型获取。飞行器模型的参数可包含飞行器的初始位置和速度,障碍物模型的参数可包括障碍物的位置和运动规律。当然,飞行器模型的参数和障碍物模型的参数还可以包含其他和飞行器和/或障碍物运行状态的数据,本申请实施例中对此不做固定限制。
具体实现中,飞行器避障算法的仿真验证方法的执行主体(如飞行器控制系统和仿真系统)可以通过总线将飞行器轨迹、速度这些运行数据以及障碍物信息实时发送给视景仿真系统,视景仿真系统可在线显示飞行器和障碍物的位置关系,并且可以通过模拟的导引头传感器将视景图片经总线传给飞行器避障算法的仿真验证方法的执行主体。
需要说明的是,由于实际情况中,飞行器和/或障碍物都是实时移动的,因此为了保证仿真验证结果的准确度,可采用高速高精度的系统来完成或配合完成本申请实施例公开的飞行器避障算法的仿真验证方法。其中的高速高精度的系统可以是运算能力满足一定标准的处理系统,如GPU(:Graphics Processing Unit,图形处理器)、FPGA(Field-Programmable Gate Array),现场可编程门阵列)等。
步骤104:基于实时目标检测单元对视景图片中的障碍物进行实时检测。
接收到视景仿真系统发送的视景图片后,飞行器避障算法的仿真验证方法的执行主体可以基于实时目标检测单元对接收到的视景图片中的障碍物进行检测。
步骤105:在实时检测的检测结果满足预设条件时,发出避障指令。
当检测结果满足预设条件时,认为飞行器如继续按照当前参数继续飞行,则可能与障碍物发生碰撞,则需要马上出发避障指令,使得飞行器运行相关的避障算法,以“躲避”障碍物,避免碰撞。
步骤106:基于预设的避障算法对避障指令的执行结果确定避障算法的避障效果。
若采用该避障算法实施避障操作时,飞行器能够顺利躲开或绕过障碍物,然后继续向目标地点飞行,那么判断预设的避障算法可以满足避障要求;若采用该避障算法实施避障操作时,飞行器不能准确躲开或绕过障碍物,导致飞行器与障碍物碰撞事故的发生,那么判断预设的避障算法不满足避障需求。因此,可以基于避障算法对避障指令的执行结果确定避障效果,也即验证避障效果的过程。
本实施例飞行器避障算法的仿真验证方法,引入了实时目标检测单元,提供了一个基于实时目标检测的飞行器避障算法的验证方式,通过该方式不仅能够方便的对避障算法的避障效果进行验证,且实现中不需要价格昂贵的专用设备用于环境感知,因此能够大大的降低避障算法的仿真验证成本。
上述实施例中,实时目标检测单元可以采用YOLO v3网络结构训练而成。 YOLO v3网络结构的性能优良,实现了真正意义上的实时检测,且对小尺度、密集目标的检测也取得了很好的检测效果。
实时目标检测单元(YOLO v3网络结构)的训练过程可参见图2,如图2 所示,可以包括:
步骤201:加载YOLO v3网络结构及预训练参数。
其中的预训练参数可以是卷积神经网络中的参数,这些参数是神经网络训练和学习的基础,例如预训练参数可以为每个输入信号的增益值、阈值等参数。
步骤202:修改YOLO v3网络结构的输出层结构,使其仅输出障碍物识别结果。
原始的YOLO v3网络结构针对的是ImageNet的识别,有上千种被识别的目标。本专申请实施例只涉及到对障碍物的识别,因此需要修改输出层的结构,使其能够满足障碍物的识别即可。若不对输出层的结构进行修改,则无法实现避障效果,不能满足使用要求。
步骤203:基于视景仿真系统生成的图片,采用迁移学习的方式对YOLO v3网络结构进行训练,得到满足预设要求的时目标检测模块。
YOLO v3网络结构的训练数据可由视景仿真系统生成,从而保证能够获得足够数量的障碍物图片数据。
迁移学习可以在训练任务的训练图片较少时也能取得相对而言更好的训练效果。采用迁移学习,可以充分利用YOLO V3在ImageNet上预训练学习到的“知识”,实现更优的训练效果。
本申请实施例,针对缺乏足够多种类和数量的航拍障碍物图片数据的现状,本申请实施例引入了视景仿真系统,由视景仿真系统产生足够训练数据,可保证能训练得到可应用于视景图片检测的实时目标检测单元。
上述实施例中,记载了在检测结果满足预设条件时,发出避障指令。具体的,可以在实时检测的检测结果表示存在障碍物,且障碍物距离飞行器的距离小于第一预设值的情况下,确定检测结果满足预设条件。
具体的,确定上述情况的具体实现可以包括:
若所述实时目标检测单元检测到障碍物,确定所述障碍物的位置信息,所述位置信息对应所述障碍物距离所述飞行器的距离为第二预设值时的位置;实时监测所述障碍物的位置信息,确定所述障碍物距离所述飞行器的距离的小于第一预设值,所述第一预设值小于所述第二预设值。其中,第二预设值可以为障碍物距离飞行器的距离达到警戒状态的临界值,进入警戒状态后,即障碍物距离飞行器的距离小于或等于第二预设值时,需要实时监测障碍物相对于飞行器的距离;第一预设值为飞行器避障行为开始的位置,即当障碍物与飞行器之间的距离达到第一预设值时,确定满足避障条件,飞行器需要执行相应的避障操作。其中的位置信息均包括距离和角度,距离表示的是飞行器和障碍物之间的距离,角度表示的是障碍物相对于飞行器的角度。
其中,确定障碍物的位置信息,可以包括:采用模拟的激光雷达或模拟的红外射线确定障碍物的位置信息。当然,除了模拟的激光雷达和模拟的红外射线外,也可以采用其他模拟的测距模块确定障碍物的位置信息。
上述实施例中,基于预设的避障算法对避障指令的执行结果确定避障算法的避障效果,可以包括:若飞行器基于预设的避障算法避开了障碍物模型中的所有障碍物,或成功避开的障碍物数量占障碍物模型中的所有障碍物总数的比例达到第三预设值,确定避障算法的避障效果合格。其中第三预设值可根据应用场景对飞行器的避障精度要求确定。
图3为本发明实施例公开的另一种飞行器避障算法的仿真验证方法的流程图,参见图3所示,在一个具体实现中,飞行器避障算法的仿真验证方法可以包括:
Step 1,训练数据生成;
由视景仿真系统(可基于现有的视景仿真软件实现)生成足够数量的不同种类的障碍物图片,并进行人工标注。
Step 2,YOLO v3网络训练;
在公开的YOLO v3网络结构及预训练权重基础上,修改输出层网络结构,基于Step1生成的训练数据,用迁移学习方法重新训练YOLO v3网络,并将训练的网络加载到主控计算机中。
Step 3,模型编译下载:
在主控计算机中设置飞行器飞行轨迹参数及障碍物参数,加载Step 2训练的实时目标检测单元,编译模型,并通过以太网下载到实时仿真计算机中。
Step 4,实时仿真;
控制实时仿真计算机进行实时仿真,通过总线将飞行器位置、速度信息及障碍物位置、速度信息发送给视景计算机。
Step 5,仿真显示与视景图片回传;
根据视景计算机接收到的飞行器、障碍物等信息,实时显示仿真场景,并将视景图片经总线回传给实时仿真计算机中的实时目标检测单元。
Step 6,障碍物实时检测;
实时目标检测单元完成对视景图片的实时检测。若检测到障碍物,触发模拟的激光雷达或者其他测距装置模块,获取目标相对位置信息,并融合飞行器自身定位信息,得到障碍物的高精度位置信息。
Step 7,避障算法激活判断:
若Step 6检测到障碍物,且障碍物离飞行器距离小于安全阈值,则发出避障指令,飞行器执行避障飞行策略;若Step 6未检测到障碍物或障碍物离飞行器距离大于安全阈值,则不触发避障算法。本申请实施例提供了一个针对不同的避障算法的检测方法,默认避障算法由外部提供。可用成熟算法,也可用新研究出的避障算法。
在以上步骤中,Step 4至Step 7循环进行,直至模型停止运行。
若避障算法能成功避开所有障碍物,则说明该避障算法通过了本避障算法仿真验证装置的实时仿真验证。
通过本发明实施例公开的飞行器避障算法的仿真验证方法,引入了实时目标检测单元,提供了一个基于实时目标检测的飞行器避障算法的验证方式,通过该方式不仅能够方便的对避障算法的避障效果进行验证,且实现中不需要价格昂贵的专用设备用于环境感知,因此能够大大的降低避障算法的仿真验证成本。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
上述本发明公开的实施例中详细描述了方法,对于本发明的方法可采用多种形式的装置实现,因此本发明还公开了一种装置,下面给出具体的实施例进行详细说明。
图4为本发明实施例公开的一种飞行器避障算法的仿真验证装置的结构示意图,参见图4所示,飞行器避障算法的仿真验证装置40可以包括:
模型获取模块401,用于获取预先训练的实时目标检测单元、飞行器模型和障碍物模型。
模型运行模块402,用于运行仿真实时目标检测单元、飞行器模型和障碍物模型。
视景处理模块403,用于将飞行器运行数据及障碍物信息发送给视景仿真系统,并接收视景仿真系统基于飞行器运行数据及障碍物信息返回的视景图片。
其中,飞行器运行数据基于飞行器模型获取,障碍物信息基于障碍物模型获取。
障碍物检测模块404,用于基于实时目标检测单元对视景图片中的障碍物进行实时检测。
指令触发模块405,用于在实时检测的检测结果满足预设条件时,发出避障指令。
效果验证模块406,用于基于预设的避障算法对避障指令的执行结果确定避障算法的避障效果。
本实施例飞行器避障算法的仿真验证装置,引入了实时目标检测单元,提供了一个基于实时目标检测的飞行器避障算法的验证方式,通过该方式不仅能够方便的对避障算法的避障效果进行验证,且实现中不需要价格昂贵的专用设备用于环境感知,因此能够大大的降低避障算法的仿真验证成本。
上述实施例中,实时目标检测单元可以为YOLO v3网络结构,则飞行器避障算法的仿真验证装置还可以包括模型训练模块50,用于对YOLO v3网络结构进行训练。
图5为本发明实施例公开的模型训练模块的结构示意图,如图5所示,模型训练模块50可以包括:
数据加载模块501,用于加载YOLO v3网络结构及预训练参数。
输出层修改模块502,用于修改YOLO v3网络结构的输出层结构,使其仅输出障碍物识别结果。
结构训练模块503,用于基于视景仿真系统生成的图片,采用迁移学习的方式对YOLO v3网络结构进行训练,得到满足预设要求的时目标检测模块。
本申请实施例,针对缺乏足够多种类和数量的航拍障碍物图片数据的现状,本申请实施例引入了视景仿真系统,由视景仿真系统产生足够训练数据,可保证能训练得到可应用于视景图片检测的实时目标检测单元。
上述实施例中,记载了在指令触发模块用于在检测结果满足预设条件时,发出避障指令。具体的,可以用于在实时检测的检测结果表示存在障碍物,且障碍物距离飞行器的距离小于第一预设值的情况下,确定检测结果满足预设条件。其中第一预设值可根据应用场景对飞行器的避障精度要求确定。
具体的,确定上述情况的具体实现可以包括:若所述实时目标检测单元检测到障碍物,确定所述障碍物的位置信息,所述位置信息对应所述障碍物距离所述飞行器的距离为第二预设值时的位置;实时监测所述障碍物的位置信息,确定所述障碍物距离所述飞行器的距离的小于第一预设值,所述第一预设值小于所述第二预设值。。
其中,确定障碍物的位置信息,可以包括:采用模拟的激光雷达或模拟的红外射线确定障碍物的位置信息。
上述实施例中,效果验证模块具体可用于:若飞行器基于预设的避障算法避开了障碍物模型中的所有障碍物,或成功避开的障碍物数量占障碍物模型中的所有障碍物总数的比例达到第三预设值,确定避障算法的避障效果合格。
进一步的,本申请还公开了一种飞行器避障算法的仿真验证系统,图6 为本发明实施例公开的飞行器避障算法的仿真验证系统的架构示意图,参见图6所示,飞行器避障算法的仿真验证系统可以包括:
主控计算机,用于训练实时目标检测单元,并配置飞行器模型和障碍物模型;
实时仿真系统,用于仿真运行实时目标检测单元、飞行器模型和障碍物模型,将飞行器运行数据及障碍物信息发送给视景仿真系统,并接收视景仿真系统基于飞行器运行数据及障碍物信息返回的视景图片,基于实时目标检测单元对视景图片中的障碍物进行实时检测;在实时检测的检测结果满足预设条件时,发出避障指令;基于预设的避障算法对避障指令的执行结果确定避障算法的避障效果;
视景仿真系统,用于接收实时仿真系统发送的飞行器运行数据及障碍物信息,生成对应的视景图片并返回实时仿真系统。
在主控计算机中加载预先训练的YOLO v3实时目标检测单元,配置飞行器仿真及障碍物参数,如飞行器的初始位置、速度,障碍物的位置、运动规律等,将实时目标检测单元和飞行器模型、障碍物模型等下载到实时仿真系统中,由实时仿真系统运行仿真模型。实时仿真系统通过总线将飞行器轨迹、速度及障碍物信息实时发送给视景仿真系统,由视景仿真系统在线显示飞行器、障碍物等位置关系。通过模拟的导引头传感器将视景图片经总线传给实时仿真系统中的实时目标检测单元,由该模块完成对图片中障碍物的实时检测。若检测到障碍物,触发模拟的激光雷达或者其他测距装置模块,获取目标相对位置信息,并融合飞行器自身定位信息,得到障碍物的高精度位置信息。将检测结果返回给飞行器控制系统,由事先设定的控制逻辑确定是否触发飞行器避障算法。
飞行器避障算法的仿真验证系统,引入了实时目标检测单元,提供了一个基于实时目标检测的飞行器避障算法的验证方式,通过该方式不仅能够方便的对避障算法的避障效果进行验证,且实现中不需要价格昂贵的专用设备用于环境感知,因此能够大大的降低避障算法的仿真验证成本。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种飞行器避障算法的仿真验证方法,其特征在于,包括:
获取预先训练的实时目标检测单元、飞行器模型和障碍物模型;
运行仿真所述实时目标检测单元、所述飞行器模型和所述障碍物模型;
将飞行器运行数据及障碍物信息发送给视景仿真系统,并接收所述视景仿真系统基于所述飞行器运行数据及所述障碍物信息返回的视景图片,所述飞行器运行数据基于所述飞行器模型获取,所述障碍物信息基于所述障碍物模型获取;
基于所述实时目标检测单元对所述视景图片中的障碍物进行实时检测;
在所述实时检测的检测结果满足预设条件时,发出避障指令;
基于预设的避障算法对所述避障指令的执行结果确定所述避障算法的避障效果。
2.根据权利要求1所述的飞行器避障算法的仿真验证方法,其特征在于,所述实时目标检测单元为YOLO v3网络结构,其训练过程包括:
加载YOLO v3网络结构及预训练参数;
修改所述YOLO v3网络结构的输出层结构,使其仅输出障碍物识别结果;
基于视景仿真系统生成的图片,采用迁移学习的方式对所述YOLO v3网络结构进行训练,得到满足预设要求的实时目标检测单元。
3.根据权利要求1所述的飞行器避障算法的仿真验证方法,其特征在于,所述飞行器模型中的参数包含飞行器的初始位置和速度,所述障碍物模型中的参数包括障碍物的位置和运动规律。
4.根据权利要求1所述的飞行器避障算法的仿真验证方法,其特征在于,在所述实时检测的检测结果表示存在障碍物,且所述障碍物距离飞行器的距离小于第一预设值的情况下,确定检测结果满足预设条件。
5.根据权利要求4所述的飞行器避障算法的仿真验证方法,其特征在于,确定所述实时检测的检测结果表示存在障碍物,且所述障碍物距离飞行器的距离小于第一预设值,包括:
若所述实时目标检测单元检测到障碍物,确定所述障碍物的位置信息,所述位置信息对应所述障碍物距离所述飞行器的距离为第二预设值时的位置;
实时监测所述障碍物的位置信息,确定所述障碍物距离所述飞行器的距离的小于第一预设值,所述第一预设值小于所述第二预设值。
6.根据权利要求5所述的飞行器避障算法的仿真验证方法,其特征在于,所述确定所述障碍物的位置信息,包括:
采用模拟的激光雷达或模拟的红外射线确定所述障碍物的位置信息。
7.根据权利要求1-6任一项所述的飞行器避障算法的仿真验证方法,其特征在于,所述基于预设的避障算法对所述避障指令的执行结果确定所述避障算法的避障效果,包括:
若飞行器基于预设的避障算法避开了所述障碍物模型中的所有障碍物,或成功避开的障碍物数量占所述障碍物模型中的所有障碍物总数的比例达到第三预设值,确定所述避障算法的避障效果合格。
8.一种飞行器避障算法的仿真验证装置,其特征在于,包括:
模型获取模块,用于获取预先训练的实时目标检测单元、飞行器模型和障碍物模型;
模型运行模块,用于运行仿真所述实时目标检测单元、所述飞行器模型和所述障碍物模型;
视景处理模块,用于将飞行器运行数据及障碍物信息发送给视景仿真系统,并接收所述视景仿真系统基于所述飞行器运行数据及所述障碍物信息返回的视景图片,所述飞行器运行数据基于所述飞行器模型获取,所述障碍物信息基于所述障碍物模型获取;
障碍物检测模块,用于基于所述实时目标检测单元对所述视景图片中的障碍物进行实时检测;
指令触发模块,用于在所述实时检测的检测结果满足预设条件时,发出避障指令;
效果验证模块,用于基于预设的避障算法对所述避障指令的执行结果确定所述避障算法的避障效果。
9.根据权利要求8所述的飞行器避障算法的仿真验证装置,其特征在于,所述实时目标检测单元为YOLO v3网络结构,则还包括模型训练模块,用于对所述YOLO v3网络结构进行训练;
所述模型训练模块包括:
数据加载模块,用于加载YOLO v3网络结构及预训练参数;
输出层修改模块,用于修改所述YOLO v3网络结构的输出层结构,使其仅输出障碍物识别结果;
结构训练模块,用于基于视景仿真系统生成的图片,采用迁移学习的方式对所述YOLOv3网络结构进行训练,得到满足预设要求的时目标检测模块。
10.一种飞行器避障算法的仿真验证系统,其特征在于,包括:
主控计算机,用于训练实时目标检测单元,并配置飞行器模型和障碍物模型;
实时仿真系统,用于仿真运行所述实时目标检测单元、所述飞行器模型和所述障碍物模型,将飞行器运行数据及障碍物信息发送给视景仿真系统,并接收所述视景仿真系统基于所述飞行器运行数据及所述障碍物信息返回的视景图片,基于所述实时目标检测单元对所述视景图片中的障碍物进行实时检测;在所述实时检测的检测结果满足预设条件时,发出避障指令;基于预设的避障算法对所述避障指令的执行结果确定所述避障算法的避障效果;
视景仿真系统,用于接收所述实时仿真系统发送的飞行器运行数据及障碍物信息,生成对应的视景图片并返回实时仿真系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010685491.3A CN111813089B (zh) | 2020-07-16 | 2020-07-16 | 一种飞行器避障算法的仿真验证方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010685491.3A CN111813089B (zh) | 2020-07-16 | 2020-07-16 | 一种飞行器避障算法的仿真验证方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111813089A true CN111813089A (zh) | 2020-10-23 |
CN111813089B CN111813089B (zh) | 2021-11-23 |
Family
ID=72866055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010685491.3A Active CN111813089B (zh) | 2020-07-16 | 2020-07-16 | 一种飞行器避障算法的仿真验证方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111813089B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114326808A (zh) * | 2021-12-29 | 2022-04-12 | 北京润科通用技术有限公司 | 一种飞行器飞行轨迹的优化方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080059015A1 (en) * | 2006-06-09 | 2008-03-06 | Whittaker William L | Software architecture for high-speed traversal of prescribed routes |
US8924011B2 (en) * | 2012-04-03 | 2014-12-30 | Knu-Industry Cooperation Foundation | Intelligent robot apparatus responsive to environmental change and method of controlling and reconfiguring intelligent robot apparatus |
CN105204370A (zh) * | 2015-08-18 | 2015-12-30 | 成都前沿动力科技有限公司 | 固定翼飞行器实时仿真系统及仿真方法 |
CN105303595A (zh) * | 2014-07-30 | 2016-02-03 | Tcl集团股份有限公司 | 一种基于三维虚拟场景的物体智能避障方法及系统 |
CN106444423A (zh) * | 2016-09-30 | 2017-02-22 | 天津大学 | 室内多无人机编队飞行仿真验证平台及其实现方法 |
CN106682370A (zh) * | 2017-02-28 | 2017-05-17 | 郑州云海信息技术有限公司 | 一种仿真验证系统 |
CN108646586A (zh) * | 2018-03-20 | 2018-10-12 | 重庆邮电大学 | 一种智能网联汽车在环仿真、测试验证系统与方法 |
CN109189057A (zh) * | 2018-07-03 | 2019-01-11 | 中国船舶重工集团公司第七〇九研究所 | 一种深海爬游机器人自主避障仿真实验系统 |
-
2020
- 2020-07-16 CN CN202010685491.3A patent/CN111813089B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080059015A1 (en) * | 2006-06-09 | 2008-03-06 | Whittaker William L | Software architecture for high-speed traversal of prescribed routes |
US8924011B2 (en) * | 2012-04-03 | 2014-12-30 | Knu-Industry Cooperation Foundation | Intelligent robot apparatus responsive to environmental change and method of controlling and reconfiguring intelligent robot apparatus |
CN105303595A (zh) * | 2014-07-30 | 2016-02-03 | Tcl集团股份有限公司 | 一种基于三维虚拟场景的物体智能避障方法及系统 |
CN105204370A (zh) * | 2015-08-18 | 2015-12-30 | 成都前沿动力科技有限公司 | 固定翼飞行器实时仿真系统及仿真方法 |
CN106444423A (zh) * | 2016-09-30 | 2017-02-22 | 天津大学 | 室内多无人机编队飞行仿真验证平台及其实现方法 |
CN106682370A (zh) * | 2017-02-28 | 2017-05-17 | 郑州云海信息技术有限公司 | 一种仿真验证系统 |
CN108646586A (zh) * | 2018-03-20 | 2018-10-12 | 重庆邮电大学 | 一种智能网联汽车在环仿真、测试验证系统与方法 |
CN109189057A (zh) * | 2018-07-03 | 2019-01-11 | 中国船舶重工集团公司第七〇九研究所 | 一种深海爬游机器人自主避障仿真实验系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114326808A (zh) * | 2021-12-29 | 2022-04-12 | 北京润科通用技术有限公司 | 一种飞行器飞行轨迹的优化方法及装置 |
CN114326808B (zh) * | 2021-12-29 | 2024-03-15 | 北京润科通用技术有限公司 | 一种飞行器飞行轨迹的优化方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111813089B (zh) | 2021-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11783590B2 (en) | Method, apparatus, device and medium for classifying driving scenario data | |
CN111133485A (zh) | 自主交通工具的对象预测优先级排序系统和方法 | |
CN114830138A (zh) | 训练轨迹评分神经网络以准确分配分数 | |
EP4000015A1 (en) | Occupancy prediction neural networks | |
US11242050B2 (en) | Reinforcement learning with scene decomposition for navigating complex environments | |
US11941888B2 (en) | Method and device for generating training data for a recognition model for recognizing objects in sensor data of a sensor, in particular, of a vehicle, method for training and method for activating | |
US20210104171A1 (en) | Multi-agent simulations | |
US11679783B2 (en) | Method of and system for generating trajectory for self-driving car (SDC) | |
US20220137630A1 (en) | Motion-Plan Validator for Autonomous Vehicle | |
US20220169244A1 (en) | Multi-modal multi-agent trajectory prediction | |
US20200250553A1 (en) | Out-of-vehicle communication device, out-of-vehicle communication method, information processing device, and computer readable medium | |
US10754030B2 (en) | Methods and systems for radar simulation and object classification | |
EP3722906A1 (en) | Device motion control | |
US20230347979A1 (en) | Methods and processors for controlling steering of self-driving car | |
CN111813089B (zh) | 一种飞行器避障算法的仿真验证方法、装置及系统 | |
CN113128272B (zh) | 一种碰撞预测方法、装置、存储介质和服务器 | |
US20220297728A1 (en) | Agent trajectory prediction using context-sensitive fusion | |
US20220156517A1 (en) | Method for Generating Training Data for a Recognition Model for Recognizing Objects in Sensor Data from a Surroundings Sensor System of a Vehicle, Method for Generating a Recognition Model of this kind, and Method for Controlling an Actuator System of a Vehicle | |
US20230040006A1 (en) | Agent trajectory planning using neural networks | |
US20210364637A1 (en) | Object localization using machine learning | |
US11657268B1 (en) | Training neural networks to assign scores | |
CN110377982B (zh) | 自动驾驶性能的测试方法及系统、电子设备、存储介质 | |
US20230082079A1 (en) | Training agent trajectory prediction neural networks using distillation | |
González et al. | Vision-based UAV detection for air-to-air neutralization | |
CN113885496A (zh) | 智能驾驶仿真传感器模型及智能驾驶仿真方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |