CN111880576B - 基于视觉的无人机飞行控制方法及装置 - Google Patents

基于视觉的无人机飞行控制方法及装置 Download PDF

Info

Publication number
CN111880576B
CN111880576B CN202010842718.0A CN202010842718A CN111880576B CN 111880576 B CN111880576 B CN 111880576B CN 202010842718 A CN202010842718 A CN 202010842718A CN 111880576 B CN111880576 B CN 111880576B
Authority
CN
China
Prior art keywords
inertial
positioning results
sensor
visual
inertial navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010842718.0A
Other languages
English (en)
Other versions
CN111880576A (zh
Inventor
刘旭
唐甜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Lianfei Intelligent Equipment Research Institute Co ltd
Original Assignee
Xi'an Lianfei Intelligent Equipment Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Lianfei Intelligent Equipment Research Institute Co ltd filed Critical Xi'an Lianfei Intelligent Equipment Research Institute Co ltd
Priority to CN202010842718.0A priority Critical patent/CN111880576B/zh
Publication of CN111880576A publication Critical patent/CN111880576A/zh
Application granted granted Critical
Publication of CN111880576B publication Critical patent/CN111880576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12Target-seeking control

Abstract

本发明实施例提供了一种基于视觉的无人机飞行控制方法及装置,其中方法包括:获取预设时间段内的多个视觉定位结果和多个惯导定位结果,以及获取视觉传感器的状态参数和惯性传感器的状态参数,获取预设的、与当前飞行区域对应的惯导定位结果选取比例,并按照惯导定位结果选取比例从多个惯导定位结果中选取第一数量个惯导定位结果,在多个视觉定位结果的均值与第一数量个惯导定位结果的均值之间的差别值小于或者等于预设阈值的情况下,利用多个视觉定位结果、第一数量个惯导定位结果、视觉传感器的状态参数、以及惯性传感器的状态参数进行定位计算,得到当前定位结果。本发明能够提高无人机自主定位以及执行任务的可靠性。

Description

基于视觉的无人机飞行控制方法及装置
技术领域
本发明涉及无人机定位技术领域,特别是涉及一种基于视觉的无人机飞行控制方法及装置。
背景技术
无人驾驶飞机简称“无人机”,无需人类亲自驾驶,可以在危险的环境下执行任务,被广泛地应用于空中侦察、监视以及通信等任务。
无人机可以通过自身的飞行控制与管理系统实现飞行控制功能,飞行控制与管理系统一般包括:传感器子系统、控制与管理计算机、伺服动作子系统以及地面操控与显示终端。传感器子系统中主要包括组合导航系统,组合导航系统包括:GPS(Global PositioningSystem,全球定位系统)、惯性测量元件、地磁指南针以及气压计,GPS可以测得无人机的三维位置,惯性测量元件可以测得无人机的加速度以及角速度,地磁指南针可以测得无人机的航向,气压计可以测得无人机的海拔高度。现有无人机可以运用组合导航系统中的一个或多个传感器测的无人机的运动状态量,无人机的运动状态量包括:三维位置、三维角度、三维速度、三维加速度以及三维角速度。
然而,组合导航系统中的传感器很容易受到外界环境的干扰,比如,GPS会受到障碍物的干扰,气压计会受到空气的温度以及湿度的干扰,使得组合导航系统对无人机的运动状态量的测量产生误差,从而,无人机无法安全可靠地飞行以及完成任务。
发明内容
本发明实施例的目的在于提供一种基于视觉的无人机飞行控制方法及装置,以提高无人机在组合导航系统发生故障时的定位精度。具体技术方案如下:
第一方面,本发明实施例提供了一种基于视觉的无人机飞行控制方法,所述方法包括:
获取预设时间段内的多个视觉定位结果和多个惯导定位结果,以及,获取视觉传感器的状态参数和惯性传感器的状态参数,所述视觉传感器的状态参数用于表征该视觉传感器的输入与输出之间是否正常,所述惯性传感器的状态参数用于表征该惯性传感器的输入与输出之间是否正常;
获取预设的、与当前飞行区域对应的惯导定位结果选取比例,并按照所述惯导定位结果选取比例从所述多个惯导定位结果中选取第一数量个惯导定位结果;
在所述多个视觉定位结果的均值与所述第一数量个惯导定位结果的均值之间的差别值小于或者等于预设阈值的情况下,利用所述多个视觉定位结果、所述第一数量个惯导定位结果、视觉传感器的状态参数、以及惯性传感器的状态参数进行定位计算,得到当前定位结果。
可选的,所述获取预设时间段内的多个视觉定位结果和多个惯导定位结果的步骤,包括:
利用视觉传感器获取所述预设时间段内的无人机的多个视觉定位结果,以及,利用惯性传感器获取所述预设时间段内的无人机的多个惯导定位结果。
可选的,则所述获取预设的、与当前飞行区域对应的惯导定位结果选取比例,并按照所述惯导定位结果选取比例从所述多个惯导定位结果中选取第一数量个惯导定位结果的步骤,包括:
从预存的参数文件中获得所述惯导定位结果选取比例,所述参数文件中保存有:不同的飞行区域对应的惯导定位结果选取比例;
按照所述惯导定位结果的选取比例,从所述多个惯导定位结果中选取第一数量个惯导定位结果。
可选的,所述在所述多个视觉定位结果的均值与所述第一数量个惯导定位结果的均值之间的差别值小于或者等于预设阈值的情况下,利用所述多个视觉定位结果、所述第一数量个惯导定位结果、视觉传感器的状态参数、以及惯性传感器的状态参数进行定位计算,得到当前定位结果之前,所述方法还包括:
将所述多个视觉定位结果的均值与所述第一数量个惯导定位结果的均值作差,得到所述差别值;
判断所述差别值与所述预设阈值之间的大小关系。
可选的,所述利用所述多个视觉定位结果、所述第一数量个惯导定位结果、视觉传感器的状态参数、以及惯性传感器的状态参数进行定位计算,得到当前定位结果的步骤,包括:
将所述视觉传感器的多个状态参数分别与所述视觉传感器预设的标定参数作差,得到多个第一误差值,所述第一误差值表示所述视觉传感器的误差值;
将所述惯性传感器的多个状态参数分别与所述惯性传感器预设的标定参数作差,得到多个第二误差值,所述第二误差值表示所述惯性传感器的误差值;
将所述多个视觉定位结果、所述第一数量个惯导定位结果、所述多个第一误差值以及多个第二误差值输入预设的滤波计算模型,得到所述当前定位结果,所述滤波计算模型基于卡尔曼滤波公式生成。
可选的,所述在所述多个视觉定位结果的均值与所述当前预设置信度下的多个惯导定位结果的均值的差别值小于或者等于预设阈值的情况下,利用预设融合时间段内的所述多个视觉定位结果、所述当前预设置信度下的多个惯导定位结果、所述视觉传感器的多个状态参数以及惯性传感器系统的多个状态参数进行滤波计算,得到当前定位结果之后,所述方法还包括:
利用所述多个视觉定位结果与预先载入的任务目标信息进行目标识别,得到所述任务目标的定位结果;
根据所述任务目标的定位结果设计任务航路;
沿所述任务航路飞行并执行预先载入的任务。
第二方面,本发明实施例提供了一种基于视觉的无人机飞行控制装置,所述装置包括:
获取模块,用于获取预设时间段内的多个视觉定位结果和多个惯导定位结果,以及,获取视觉传感器的状态参数和惯性传感器的状态参数,所述视觉传感器的状态参数用于表征该视觉传感器的输入与输出之间是否正常,所述惯性传感器的状态参数用于表征该惯性传感器的输入与输出之间是否正常;
选取模块,用于获取预设的、与当前飞行区域对应的惯导定位结果选取比例,并按照所述惯导定位结果选取比例从所述多个惯导定位结果中选取第一数量个惯导定位结果;
第一计算模块,用于在所述多个视觉定位结果的均值与所述第一数量个惯导定位结果的均值之间的差别值小于或者等于预设阈值的情况下,利用所述多个视觉定位结果、所述第一数量个惯导定位结果、视觉传感器的状态参数、以及惯性传感器的状态参数进行定位计算,得到当前定位结果。
可选的,所述获取模块,包括:
获取子模块,用于利用视觉传感器获取所述预设时间段内的无人机的多个视觉定位结果,以及,利用惯性传感器获取所述预设时间段内的无人机的多个惯导定位结果。
可选的,所述选取模块,包括:
获得子模块,用于从预存的参数文件中获得所述惯导定位结果选取比例,所述参数文件中保存有:不同的飞行区域对应的惯导定位结果选取比例;
选取子模块,用于按照所述惯导定位结果的选取比例,从所述多个惯导定位结果中选取第一数量个惯导定位结果。
可选的,所述装置还包括:
第二计算模块,用于将所述多个视觉定位结果的均值与所述第一数量个惯导定位结果的均值作差,得到所述差别值;
判断模块,用于判断所述差别值与所述预设阈值之间的大小关系。
可选的,所述第一计算模块,包括:
第一计算子模块,用于将所述视觉传感器的多个状态参数分别与所述视觉传感器预设的标定参数作差,得到多个第一误差值,所述第一误差值表示所述视觉传感器的误差值;
第二计算子模块,用于将所述惯性传感器的多个状态参数分别与所述惯性传感器预设的标定参数作差,得到多个第二误差值,所述第二误差值表示所述惯性传感器的误差值;
输入子模块,用于将所述多个视觉定位结果、所述第一数量个惯导定位结果、所述多个第一误差值以及多个第二误差值输入预设的滤波计算模型,得到所述当前定位结果,所述滤波计算模型基于卡尔曼滤波公式生成。
可选的,所述装置还包括:
识别模块,用于利用所述多个视觉定位结果与预先载入的任务目标信息进行目标识别,得到所述任务目标的定位结果;
设计模块,用于根据所述任务目标的定位结果设计任务航路;
执行模块,用于沿所述任务航路飞行并执行预先载入的任务。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面所述的方法步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法步骤。
本发明实施例有益效果:
本发明实施例提供的一种基于视觉的无人机飞行控制方法及装置,能够获取预设时间段内的多个视觉定位结果和多个惯导定位结果,以及,获取视觉传感器的状态参数和惯性传感器的状态参数,再获取预设的、与当前飞行区域对应的惯导定位结果选取比例,并按照惯导定位结果选取比例从多个惯导定位结果中选取第一数量个惯导定位结果,在多个视觉定位结果的均值与第一数量个惯导定位结果的均值之间的差别值小于或者等于预设阈值的情况下,利用多个视觉定位结果、第一数量个惯导定位结果、视觉传感器的状态参数、以及惯性传感器的状态参数进行定位计算,得到当前定位结果,从而使得无人机在惯性传感器因干扰而产生故障时,能够根据视觉传感器定位结果以及少量的惯性传感器定位结果获得可靠性高的定位结果。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的第一种基于视觉的无人机飞行控制方法的流程图;
图2为本发明实施例中步骤S102的一种流程示意图;
图3为本发明实施例提供的第二种基于视觉的无人机飞行控制方法的流程图;
图4为本发明实施例中步骤S103的一种流程示意图;
图5为本发明实施例提供的第三种基于视觉的无人机飞行控制方法的流程图;
图6为本发明实施例提供的第一种基于视觉的无人机飞行控制装置的结构示意图;
图7为本发明实施例中的选取模块的一种结构示意图;
图8为本发明实施例提供的第二种基于视觉的无人机飞行控制装置的结构示意图;
图9为本发明实施例中的第一计算模块的一种结构示意图;
图10为本发明实施例提供的第三种基于视觉的无人机飞行控制装置的结构示意图;
图11为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种基于视觉的无人机飞行控制方法,该过程可以包括以下步骤:
S101,获取预设时间段内的多个视觉定位结果和多个惯导定位结果,以及,获取视觉传感器的状态参数和惯性传感器的状态参数。
本发明实施例的一种基于视觉的无人机飞行控制方法可以应用于电子设备中,该电子设备可以应用本发明实施例提高无人机定位结果的可靠性。
无人机中的系统可以包括:动力系统、飞行控制与管理系统、电气系统以及测控系统,其中,飞行控制与管理系统是无人机执行任务的关键部分,该系统可以包括:传感器子系统、控制与管理计算机以及伺服动作子系统,传感器子系统可以包括:视觉传感器以及惯性传感器,无人机可以利用视觉传感器获取多个视觉定位结果,以及,可以利用惯性传感器获取多个惯导定位结果,定位结果为无人机的经度、纬度以及高度,无人机在起飞前可以载入一些参数文件,其中包括视觉传感器的状态参数以及惯性传感器的状态参数,视觉传感器的状态参数用于表征该视觉传感器的输入与输出之间是否正常,惯性传感器的状态参数用于表征该惯性传感器的输入与输出之间是否正常。无人机在状态参数良好的情况下,可以获取准确的定位结果,从而为执行任务提供有力的保障,其中,预设时间段可以由技术人员根据实际业务需求设置,例如,预设时间段可以设置为3s,6s或9s。
S102,获取预设的、与当前飞行区域对应的惯导定位结果选取比例,并按照惯导定位结果选取比例从多个惯导定位结果中选取第一数量个惯导定位结果。
在本发明实施例中,无人机可以载入地图信息,即无人机需要飞行的整体区域的信息,地图信息中包含任务区域信息,无人机机载系统可以根据载入的地图信息将整体区域划分为安全区域、疑似威胁区域以及任务区域,威胁包括雷达威胁以及地形威胁,再结合无人机内部因素规划航路,设计备选方案以及任务动作并存储在机载系统中,其中,内部因素可以指无人机本身的性能对航路规划的影响因素,包括:最大续航里程、可飞行的高度以及最小转弯半径。与划分后的区域对应,控制与管理计算机可以生成三个惯导定位结果选取比例,安全区域对应最高级选取比例,疑似威胁区域对应中间级选取比例,任务区域对应最低级选取比例,无人机在飞行过程中飞行到预先划分的某个区域时,可以获取当前飞行区域对应的惯导定位结果选取比例,并按照惯导定位结果选取比例从多个惯导定位结果中选取第一数量个惯导定位结果,其中,预设的、与当前飞行区域对应的惯导定位结果选取比例可以由技术人员根据实际业务需求设置,例如,安全区域对应的惯导定位结果选取比例可以设置为90%,85%或80%,疑似威胁区域对应的惯导定位结果选取比例可以设置为60%,55%或50%,任务区域对应的惯导定位结果选取比例可以设置为40%,35%或30%。
S103,在多个视觉定位结果的均值与第一数量个惯导定位结果的均值之间的差别值小于或者等于预设阈值的情况下,利用多个视觉定位结果、第一数量个惯导定位结果、视觉传感器的状态参数以及惯性传感器的状态参数进行定位计算,得到当前定位结果。
在本发明实施例中,控制与管理计算机可以将多个视觉定位结果的均值与第一数量个惯导定位结果的均值作差,得到两种定位结果的差别值,并判断差别值是否小于或者等于预设阈值,当差别值小于或者等于预设阈值时,表示惯性传感器没有受到外界的干扰或者受到外界的干扰较小,多个惯导定位结果选取比例也获取正确,则可以将多个视觉定位结果、第一数量个惯导定位结果、视觉传感器的状态参数以及惯性传感器的状态参数输入预设的滤波模型,计算得到当前的定位结果,状态参数可以表征传感器的输入与输出是否正常,即传感器是否处于正常工作状态,其中,预设阈值可以由技术人员根据实际业务需求设置,本发明实施例不做具体限定。
作为本发明实施例一种可选的实施方式,上述步骤S101具体包括:
利用视觉传感器获取预设时间段内的无人机的多个视觉定位结果,以及,利用惯性传感器获取预设时间段内的无人机的多个惯导定位结果。
在本发明实施例中,视觉传感器可以包括:红外摄像机,红外摄像机可以获得无人机飞行过程中周围环境的图像信息,再对图像进行去噪等预处理,然后利用现有的不变矩算法或贪婪算法对去噪后的图像进行特征提取,根据提取出的特征可以计算出无人机的运动状态,进而得到无人机的视觉定位结果。惯性传感器包括:GPS(Global PositioningSystem,全球定位系统)、惯性测量元件、地磁指南针以及气压计,GPS用于获取无人机的经纬度信息,惯性测量元件包含一个三轴加速度计和一个三轴陀螺仪,来测量无人机的角速度和加速度,并以此解算出无人机的姿态,地磁指南针用于分辨无人机在坐标系中的朝向,气压计用来测量无人机飞行过程中的气压,用以获取无人机的高度信息,惯性传感器可以采用其中的一个或几个来获取无人机的定位结果,示例性地,无人机可以通过GPS和气压计获得无人机的经度、纬度以及高度,也可以在GPS接收到的信号较弱时,将惯性测量元件的测得的加速度进行积分,从而获得无人机的经度以及纬度,也可以同时使用所有惯性传感器结合各自优点以获得更精确的惯导定位结果,多个惯导定位结果并不是指各惯性传感器在同一时刻内各自测得的定位结果,而是在预设时间段内,一个时间点对应一个惯导定位结果,一个惯导定位结果可以由一个传感器测得,也可以由多个传感器组合测得。
作为本发明实施例一种可选的实施方式,如图2所示,上述步骤S102具体包括:
S1021,从预存的参数文件中获得惯导定位结果选取比例。
在本发明实施例中,无人机可以通过视觉传感器获取飞行过程中周围环境的图像信息,并利用这些信息构建飞行数字地图,将飞行数字地图与起飞前载入的地图信息进行比对,判断当前处于哪一类飞行区域,并从预存的参数文件中获得对应的惯导定位结果选取比例。
S1022,按照惯导定位结果的选取比例,从多个惯导定位结果中选取第一数量个惯导定位结果。
在本发明实施例中,无人机中的控制与管理计算机可以按照当前飞行区域对应的惯导定位结果选取比例,从多个惯导定位结果中选取第一数量个惯导定位结果。示例性地,在预存的参数文件中,安全区域对应的选取比例为80%,疑似威胁区域对应的选取比例为50%,任务区域对应的选取比例为20%,无人机当前飞行区域安全区域,在预设时间段内惯性传感器获取了10个定位结果,则控制与管理计算机可以从中选取8个定位结果,选取的方法可以为随机抽样,分层抽样或系统抽样。
如图3所示,本发明实施例还提供了一种基于视觉的无人机飞行控制方法,该过程可以包括以下步骤:
S201,获取预设时间段内的多个视觉定位结果和多个惯导定位结果,以及,获取视觉传感器的状态参数和惯性传感器的状态参数。
该步骤与图1所示实施例中的步骤S101相同,在此不再赘述。
S202,获取预设的、与当前飞行区域对应的惯导定位结果选取比例,并按照惯导定位结果选取比例从多个惯导定位结果中选取第一数量个惯导定位结果。
该步骤与图1所示实施例中的步骤S102相同,在此不再赘述。
S203,将多个视觉定位结果的均值与第一数量个惯导定位结果的均值作差,得到差别值。
在本发明实施例中,预设时间段内视觉传感器可以获取多个视觉定位结果,惯性传感器可以获取多个视觉定位结果,控制与管理计算机可以根据当前飞行区域的不同选取第一数量个惯导定位结果,两种定位结果包含的结果数不同,无法直接比较两种定位结果的差异,因此需要计算多个视觉定位结果的均值与第一数量个惯导定位结果的均值,将两个均值作差,利用差值判断多个视觉定位结果与第一数量个惯导定位结果的差别。
S204,判断差别值与预设阈值之间的大小关系。
在本发明实施例中,控制与管理计算机可以将差别值与预设阈值作差,若差别值小于或等于0,则表示差别值在预设阈值范围内,可以将多个视觉定位结果与第一数量个惯导定位结果进行融合处理,若差别值大于0,则表示差别值超出预设阈值范围,此时,控制与管理计算机可以重新获取多个惯导定位结果的选取比例,再获取新的第一数量个惯导定位结果并计算均值,然后计算多个视觉定位结果的均值与新的第一数量个惯导定位结果的均值的差别值,判断差别值与预设阈值的关系,若差别值依然超出预设阈值范围,则重复上面的步骤,在差别值始终大于预设阈值的情况下,控制与管理计算机可以在无人机平台发出提示异常的信息,同时触发预存的备选方案。
S205,在多个视觉定位结果的均值与第一数量个惯导定位结果的均值之间的差别值小于或者等于预设阈值的情况下,利用多个视觉定位结果、第一数量个惯导定位结果、视觉传感器的状态参数、以及惯性传感器的状态参数进行定位计算,得到当前定位结果。
该步骤与图1所示实施例中的步骤S103相同,在此不再赘述。
作为本发明实施例一种可选的实施方式,如图4所示,上述步骤S103具体包括:
S1031,将视觉传感器的多个状态参数分别与视觉传感器预设的标定参数作差,得到多个第一误差值。
在本发明实施例中,无人机起飞前,可以让其在无威胁的区域内进行试飞,并记录下视觉传感器的输入与输出的信息,在视觉传感器没有受到干扰正常工作的情况下,视觉传感器的输入与输出的关系,可以作为视觉传感器件预设的标定参数,起飞后,控制与管理计算机可以实时获得多个视觉传感器的状态参数,并将多个状态参数与预设的标定参数作差,得到多个第一误差值,其中,视觉传感器预设的标定参数可以由技术人员根据实际业务需求设置,本发明实施例不做具体限定。
S1032,将惯性传感器的多个状态参数分别与惯性传感器预设的标定参数作差,得到多个第二误差值。
在本发明实施例中,无人机起飞前的试飞阶段,可以记录下惯性传感器的输入与输出的信息,在没有受到干扰的情况下的惯性传感器的输入与输出的关系可以作为惯性传感器预设的标定参数,多个传感器可以取其均值,起飞后,控制与管理计算机可以实时获得多个视觉传感器的状态参数,多个视觉传感器的状态参数指的是各个时刻的状态参数,每一时刻的状态参数可以是GPS、惯性测量元件以及气压计等多个传感器的状态参数的均值,并将多个视觉传感器的状态参数与预设的标定参数作差,得到多个误差值,此时,多个误差值与第一数量个惯导定位结果的数目是不一致的,可以将与第一数量个惯导定位结果对应的误差值留下作为第二误差值,其中,惯性传感器预设的标定参数可以由技术人员根据实际业务需求设置,本发明实施例不做具体限定。
S1033,将多个视觉定位结果、第一数量个惯导定位结果、多个第一误差值以及多个第二误差值输入预设的滤波计算模型,得到当前定位结果。
在本发明实施例中,传感器的误差越小,则表明传感器的定位精度越高,即误差与定位精度成反比,可以将1分别与多个第一误差值作差,得到的多个差值作为视觉传感器的定位精度值,多个视觉定位结果与多个视觉传感器的定位精度值对应且服从高斯分布,再将1分别与多个第二误差值作差,得到的多个差值作为惯性传感器的定位精度值,第一数量个惯导定位结果与多个惯性传感器的定位精度值对应且服从高斯分布,可以将两个高斯分布相乘,得到当前定位结果,示例性地,在经度上,多个视觉定位结果与多个视觉传感器的定位精度服从高斯分布N(1000,0.82),第一数量个惯导定位结果与多个惯性传感器的定位精度值服从高斯分布N(988,0.752),将N(1000,0.82)与N(988,0.752)相乘,得到的结果即为当前定位结果,卡尔曼滤波解决的问题是如何从多个不确定的数据中得到相对精确的数据,上述将两种传感器数据的高斯分布相乘包含了卡尔曼滤波的基本思想,其中,预设的滤波模型可以由技术人员根据实际业务需求设置,本发明实施例不做具体限定。
如图5所示,本发明实施例还提供了一种基于视觉的无人机飞行控制方法,该过程可以包括以下步骤:
S301,获取预设时间段内的多个视觉定位结果和多个惯导定位结果,以及,获取视觉传感器的状态参数和惯性传感器的状态参数。
该步骤与图1所示实施例中的步骤S101相同,在此不再赘述。
S302,获取预设的、与当前飞行区域对应的惯导定位结果选取比例,并按照惯导定位结果选取比例从多个惯导定位结果中选取第一数量个惯导定位结果。
该步骤与图1所示实施例中的步骤S102相同,在此不再赘述。
S303,在多个视觉定位结果的均值与第一数量个惯导定位结果的均值之间的差别值小于或者等于预设阈值的情况下,利用多个视觉定位结果、第一数量个惯导定位结果、视觉传感器的状态参数、以及惯性传感器的状态参数进行定位计算,得到当前定位结果。
该步骤与图1所示实施例中的步骤S103相同,在此不再赘述。
S304,利用多个视觉定位结果与预先载入的任务目标信息进行目标识别,得到任务目标的定位结果。
在本发明实施例中,可以利用视觉传感器获取多个视觉定位结果,视觉传感器可以包括:红外摄像机,红外摄像机可以获取无人机飞行过程中周围环境的图像信息,再将这些图像信息发送给控制与管理计算机,控制与管理计算机可以将接收到的周围环境的图像信息与预先载入的任务目标信息进行比对,计算两种信息的相似度,当相似度达到预设相似度值时,则可以将周围环境的图像信息中达到预设相似度值的部分作为任务目标,根据预设时间段内任务目标的移动距离计算出任务目标相对无人机的运动速度,再对该运动速度进行积分可以得到任务目标的定位结果,其中,预设相似度值可以由技术人员根据实际业务需求设置,本发明实施例不做具体限定。
S305,根据任务目标的定位结果设计任务航路。
在本发明实施例中,控制与管理计算机可以利用任务目标的定位结果以及无人机的当前定位结果计算任务目标与无人机的相对距离以及角度,当相对距离以及角度达到预设任务条件启动参数时,可以根据当前时刻的相对距离、角度、周围环境信息以及无人机自身性能,在避开威胁以及耗油最少的原则上设计任务航路,任务航路中包括多个航路点,设计任务航路可以采用动态规划算法或迪杰斯特拉算法,其中,预设任务条件启动参数可以由技术人员根据实际业务需求设置,本发明实施例不做具体限定。
S306,沿任务航路飞行并执行预先载入的任务。
在本发明实施例中,无人机可以沿着任务航路飞行靠近任务目标,并根据预先载入的任务不同采取不同的动作执行相应的任务动作,无人机可以执行的任务包括:侦查任务、通信任务以及打击任务等。
本发明实施例提供的一种基于视觉的无人机飞行控制方法,能够获取预设时间段内的多个视觉定位结果和多个惯导定位结果,以及,获取视觉传感器的状态参数和惯性传感器的状态参数,再获取预设的、与当前飞行区域对应的惯导定位结果选取比例,并按照惯导定位结果选取比例从多个惯导定位结果中选取第一数量个惯导定位结果,在多个视觉定位结果的均值与第一数量个惯导定位结果的均值之间的差别值小于或者等于预设阈值的情况下,利用多个视觉定位结果、第一数量个惯导定位结果、视觉传感器的状态参数、以及惯性传感器的状态参数进行定位计算,得到当前定位结果,从而使得无人机在惯性传感器因干扰而产生故障时,能够根据视觉传感器定位结果以及少量的惯性传感器定位结果获得可靠性高的定位结果。
相应于方法实施例,本发明实施例还提供了一种基于视觉的无人机飞行控制装置,与图1所示流程对应,如图6所示,该装置包括:
获取模块401,用于获取预设时间段内的多个视觉定位结果和多个惯导定位结果,以及,获取视觉传感器的状态参数和惯性传感器的状态参数。
选取模块402,用于获取预设的、与当前飞行区域对应的惯导定位结果选取比例,并按照惯导定位结果选取比例从多个惯导定位结果中选取第一数量个惯导定位结果。
第一计算模块403,用于在多个视觉定位结果的均值与第一数量个惯导定位结果的均值之间的差别值小于或者等于预设阈值的情况下,利用多个视觉定位结果、第一数量个惯导定位结果、视觉传感器的状态参数、以及惯性传感器的状态参数进行定位计算,得到当前定位结果。
作为本发明实施例一种可选的实施方式,上述获取模块401包括:
获取子模块,用于利用视觉传感器获取预设时间段内的无人机的多个视觉定位结果,以及,利用惯性传感器获取预设时间段内的无人机的多个惯导定位结果。
如图7所示,作为本发明实施例一种可选的实施方式,上述选取模块402包括:
获得子模块4021,用于从预存的参数文件中获得惯导定位结果选取比例。
选取子模块4022,用于按照惯导定位结果的选取比例,从多个惯导定位结果中选取第一数量个惯导定位结果。
如图8所示,作为本发明实施例一种可选的实施方式,在图6所示装置结构的基础上,本发明实施例的一种基于视觉的无人机飞行控制装置,还可以包括:
第二计算模块501,用于将多个视觉定位结果的均值与第一数量个惯导定位结果的均值作差,得到差别值。
判断模块502,用于判断差别值与预设阈值之间的大小关系。
如图9所示,作为本发明实施例一种可选的实施方式,上述第一计算模块403包括:
第一计算子模块4031,用于将视觉传感器的多个状态参数分别与视觉传感器预设的标定参数作差,得到多个第一误差值。
第二计算子模块4032,用于将惯性传感器的多个状态参数分别与惯性传感器预设的标定参数作差,得到多个第二误差值。
输入子模块4033,用于将多个视觉定位结果、第一数量个惯导定位结果、多个第一误差值以及多个第二误差值输入预设的滤波计算模型,得到当前定位结果。
如图10所示,作为本发明实施例一种可选的实施方式,在图6所示装置结构的基础上,本发明实施例的一种基于视觉的无人机飞行控制装置,还可以包括:
识别模块601,用于利用多个视觉定位结果与预先载入的任务目标信息进行目标识别,得到任务目标的定位结果;
设计模块602,用于根据任务目标的定位结果设计任务航路;
执行模块603,用于沿任务航路飞行并执行预先载入的任务。
本发明实施例提供的一种基于视觉的无人机飞行控制装置,能够获取预设时间段内的多个视觉定位结果和多个惯导定位结果,以及,获取视觉传感器的状态参数和惯性传感器的状态参数,再获取预设的、与当前飞行区域对应的惯导定位结果选取比例,并按照惯导定位结果选取比例从多个惯导定位结果中选取第一数量个惯导定位结果,在多个视觉定位结果的均值与第一数量个惯导定位结果的均值之间的差别值小于或者等于预设阈值的情况下,利用多个视觉定位结果、第一数量个惯导定位结果、视觉传感器的状态参数、以及惯性传感器的状态参数进行定位计算,得到当前定位结果,从而使得无人机在惯性传感器因干扰而产生故障时,能够根据视觉传感器定位结果以及少量的惯性传感器定位结果获得可靠性高的定位结果。
本发明实施例还提供了一种电子设备,如图11所示,包括处理器701、通信接口702、存储器703和通信总线704,其中,处理器701,通信接口702,存储器703通过通信总线704完成相互间的通信,
存储器703,用于存放计算机程序;
处理器701,用于执行存储器703上所存放的程序时,实现如下步骤:
获取预设时间段内的多个视觉定位结果和多个惯导定位结果,以及,获取视觉传感器的状态参数和惯性传感器的状态参数。
获取预设的、与当前飞行区域对应的惯导定位结果选取比例,并按照惯导定位结果选取比例从多个惯导定位结果中选取第一数量个惯导定位结果。
在多个视觉定位结果的均值与第一数量个惯导定位结果的均值之间的差别值小于或者等于预设阈值的情况下,利用多个视觉定位结果、第一数量个惯导定位结果、视觉传感器的状态参数、以及惯性传感器的状态参数进行定位计算,得到当前定位结果。
本发明实施例提供的一种基于视觉的无人机飞行控制电子设备,能够获取预设时间段内的多个视觉定位结果和多个惯导定位结果,以及,获取视觉传感器的状态参数和惯性传感器的状态参数,再获取预设的、与当前飞行区域对应的惯导定位结果选取比例,并按照惯导定位结果选取比例从多个惯导定位结果中选取第一数量个惯导定位结果,在多个视觉定位结果的均值与第一数量个惯导定位结果的均值之间的差别值小于或者等于预设阈值的情况下,利用多个视觉定位结果、第一数量个惯导定位结果、视觉传感器的状态参数、以及惯性传感器的状态参数进行定位计算,得到当前定位结果,从而使得无人机在惯性传感器因干扰而产生故障时,能够根据视觉传感器定位结果以及少量的惯性传感器定位结果获得可靠性高的定位结果。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一基于视觉的无人机飞行控制方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一基于视觉的无人机飞行控制方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (8)

1.一种基于视觉的无人机飞行控制方法,其特征在于,所述方法包括:
获取预设时间段内的多个视觉定位结果和多个惯导定位结果,以及,获取视觉传感器的状态参数和惯性传感器的状态参数,所述视觉传感器的状态参数用于表征该视觉传感器的输入与输出之间是否正常,所述惯性传感器的状态参数用于表征该惯性传感器的输入与输出之间是否正常;
获取预设的、与当前飞行区域对应的惯导定位结果选取比例,并按照所述惯导定位结果选取比例从所述多个惯导定位结果中选取第一数量个惯导定位结果;
在所述多个视觉定位结果的均值与所述第一数量个惯导定位结果的均值之间的差别值小于或者等于预设阈值的情况下,利用所述多个视觉定位结果、所述第一数量个惯导定位结果、视觉传感器的状态参数、以及惯性传感器的状态参数进行定位计算,得到当前定位结果,包括如下步骤:
将所述视觉传感器的多个状态参数分别与所述视觉传感器预设的标定参数作差,得到多个第一误差值,所述第一误差值表示所述视觉传感器的误差值;
将所述惯性传感器的多个状态参数分别与所述惯性传感器预设的标定参数作差,得到多个第二误差值,所述第二误差值表示所述惯性传感器的误差值;
将所述多个视觉定位结果、所述第一数量个惯导定位结果、所述多个第一误差值以及多个第二误差值输入预设的滤波计算模型,得到所述当前定位结果,所述滤波计算模型基于卡尔曼滤波公式生成。
2.根据权利要求1所述的方法,其特征在于,所述获取预设时间段内的多个视觉定位结果和多个惯导定位结果的步骤,包括:
利用视觉传感器获取所述预设时间段内的无人机的多个视觉定位结果,以及,利用惯性传感器获取所述预设时间段内的无人机的多个惯导定位结果。
3.根据权利要求1所述的方法,其特征在于,则所述获取预设的、与当前飞行区域对应的惯导定位结果选取比例,并按照所述惯导定位结果选取比例从所述多个惯导定位结果中选取第一数量个惯导定位结果的步骤,包括:
从预存的参数文件中获得所述惯导定位结果选取比例,所述参数文件中保存有:不同的飞行区域对应的惯导定位结果选取比例;
按照所述惯导定位结果的选取比例,从所述多个惯导定位结果中选取第一数量个惯导定位结果。
4.根据权利要求1所述的方法,其特征在于,所述在所述多个视觉定位结果的均值与所述第一数量个惯导定位结果的均值之间的差别值小于或者等于预设阈值的情况下,利用所述多个视觉定位结果、所述第一数量个惯导定位结果、视觉传感器的状态参数、以及惯性传感器的状态参数进行定位计算,得到当前定位结果之前,所述方法还包括:
将所述多个视觉定位结果的均值与所述第一数量个惯导定位结果的均值作差,得到所述差别值;
判断所述差别值与所述预设阈值之间的大小关系。
5.一种基于视觉的无人机飞行控制装置,其特征在于,所述装置包括:
获取模块,用于获取预设时间段内的多个视觉定位结果和多个惯导定位结果,以及,获取视觉传感器的状态参数和惯性传感器的状态参数,所述视觉传感器的状态参数用于表征该视觉传感器的输入与输出之间是否正常,所述惯性传感器的状态参数用于表征该惯性传感器的输入与输出之间是否正常;
选取模块,用于获取预设的、与当前飞行区域对应的惯导定位结果选取比例,并按照所述惯导定位结果选取比例从所述多个惯导定位结果中选取第一数量个惯导定位结果;
第一计算模块,用于在所述多个视觉定位结果的均值与所述第一数量个惯导定位结果的均值之间的差别值小于或者等于预设阈值的情况下,利用所述多个视觉定位结果、所述第一数量个惯导定位结果、视觉传感器的状态参数、以及惯性传感器的状态参数进行定位计算,得到当前定位结果,包括如下步骤:
将所述视觉传感器的多个状态参数分别与所述视觉传感器预设的标定参数作差,得到多个第一误差值,所述第一误差值表示所述视觉传感器的误差值;
将所述惯性传感器的多个状态参数分别与所述惯性传感器预设的标定参数作差,得到多个第二误差值,所述第二误差值表示所述惯性传感器的误差值;
将所述多个视觉定位结果所述第一数量个惯导定位结果所述多个第一误差值以及多个第二误差值输入预设的滤波计算模型,得到所述当前定位结果,所述滤波计算模型基于卡尔曼滤波公式生成。
6.根据权利要求5所述的装置,其特征在于,所述获取模块,包括:
获取子模块,用于利用视觉传感器获取所述预设时间段内的无人机的多个视觉定位结果,以及,利用惯性传感器获取所述预设时间段内的无人机的多个惯导定位结果。
7.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-4任一所述的方法步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
CN202010842718.0A 2020-08-20 2020-08-20 基于视觉的无人机飞行控制方法及装置 Active CN111880576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010842718.0A CN111880576B (zh) 2020-08-20 2020-08-20 基于视觉的无人机飞行控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010842718.0A CN111880576B (zh) 2020-08-20 2020-08-20 基于视觉的无人机飞行控制方法及装置

Publications (2)

Publication Number Publication Date
CN111880576A CN111880576A (zh) 2020-11-03
CN111880576B true CN111880576B (zh) 2024-02-02

Family

ID=73203026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010842718.0A Active CN111880576B (zh) 2020-08-20 2020-08-20 基于视觉的无人机飞行控制方法及装置

Country Status (1)

Country Link
CN (1) CN111880576B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113325871A (zh) * 2021-06-07 2021-08-31 广东电网有限责任公司 基于场强监测的无人机避障方法、系统、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707724A (zh) * 2012-06-05 2012-10-03 清华大学 一种无人机的视觉定位与避障方法及系统
CN106054931A (zh) * 2016-07-29 2016-10-26 北方工业大学 一种基于视觉定位的无人机定点飞行控制系统
CN106225787A (zh) * 2016-07-29 2016-12-14 北方工业大学 一种无人机视觉定位方法
EP3158417A1 (en) * 2015-05-23 2017-04-26 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
CN110018691A (zh) * 2019-04-19 2019-07-16 天津大学 小型多旋翼无人机飞行状态估计系统和方法
CN110209184A (zh) * 2019-06-21 2019-09-06 太原理工大学 一种基于双目视觉系统的无人机避障方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3814864A1 (en) * 2018-07-24 2021-05-05 Tg-17, Llc Systems and methods for autonomous machine tracking and localization of mobile objects

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707724A (zh) * 2012-06-05 2012-10-03 清华大学 一种无人机的视觉定位与避障方法及系统
EP3158417A1 (en) * 2015-05-23 2017-04-26 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
CN107615211A (zh) * 2015-05-23 2018-01-19 深圳市大疆创新科技有限公司 使用惯性传感器和图像传感器的传感器融合
CN106054931A (zh) * 2016-07-29 2016-10-26 北方工业大学 一种基于视觉定位的无人机定点飞行控制系统
CN106225787A (zh) * 2016-07-29 2016-12-14 北方工业大学 一种无人机视觉定位方法
CN110018691A (zh) * 2019-04-19 2019-07-16 天津大学 小型多旋翼无人机飞行状态估计系统和方法
CN110209184A (zh) * 2019-06-21 2019-09-06 太原理工大学 一种基于双目视觉系统的无人机避障方法

Also Published As

Publication number Publication date
CN111880576A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
US11915598B2 (en) Fleet management of unmanned aerial vehicles and flight authorization system
CN109435955B (zh) 一种自动驾驶系统性能评估方法、装置、设备及存储介质
US9845164B2 (en) System and method of monitoring an industrial plant
JP6506302B2 (ja) モバイルプラットフォームを操作するための方法及び装置
CN112204346B (zh) 用于确定车辆位置的方法
CN111983936B (zh) 一种无人机半物理仿真系统及测评方法
EP3671397B1 (en) Computer-vision-based autonomous or supervised-autonomous landing of aircraft
García et al. Real evaluation for designing sensor fusion in UAV platforms
US10655983B2 (en) Method for calibrating aircraft tri-axial balance and device thereof
CN113147738A (zh) 一种自动泊车定位方法和装置
CN111123964B (zh) 一种无人机降落方法、设备以及计算机可读介质
CN112298602B (zh) 无人机的故障检测方法、装置、设备及存储介质
CN113296532A (zh) 载人飞行器的飞行控制方法和装置、以及载人飞行器
US20210304315A1 (en) Flight characteristics analysis system, device, and method
CN114111774A (zh) 车辆的定位方法、系统、设备及计算机可读存储介质
CN111880576B (zh) 基于视觉的无人机飞行控制方法及装置
CN115164936A (zh) 高精地图制作中用于点云拼接的全局位姿修正方法及设备
CN110412626B (zh) 物流无人机的多gps定位方法、系统、设备及存储介质
CN110375710A (zh) 飞行器高度的确定方法、装置和飞行器系统
CN112154355B (zh) 高精度地图定位方法、系统、平台及计算机可读存储介质
CN109885598B (zh) 故障识别方法、装置、计算机可读存储介质及电子设备
CN112629547A (zh) 用于创建定位地图的方法和设备
CN111469781B (zh) 用于输出信息的方法和装置
CN113074955B (zh) 控制数据采集的方法、装置、电子设备和介质
CN110412632B (zh) 无人驾驶设备的航向的确定方法及装置、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant