CN113589835B - 一种基于自主感知的智能机器人飞行员飞行方法及装置 - Google Patents

一种基于自主感知的智能机器人飞行员飞行方法及装置 Download PDF

Info

Publication number
CN113589835B
CN113589835B CN202110932497.0A CN202110932497A CN113589835B CN 113589835 B CN113589835 B CN 113589835B CN 202110932497 A CN202110932497 A CN 202110932497A CN 113589835 B CN113589835 B CN 113589835B
Authority
CN
China
Prior art keywords
data
module
environment
flight
aircraft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110932497.0A
Other languages
English (en)
Other versions
CN113589835A (zh
Inventor
马超
郜夯
郝李子翼
晏志超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202110932497.0A priority Critical patent/CN113589835B/zh
Publication of CN113589835A publication Critical patent/CN113589835A/zh
Application granted granted Critical
Publication of CN113589835B publication Critical patent/CN113589835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于自主感知的智能机器人飞行员飞行方法及装置,涉及飞行器控制技术领域。包括:感知系统、决策系统、控制系统、硬件视景系统以及数据管理系统;整体采用分布式设计,各个系统均为分布式模块化,实现了多自由度双臂协作机器人的协同控制、机器人智能操作、图像数据处理的功能。系统之间通过以太网和串口的交叉融合进行高度集成,保证了数据传输的实时性以及系统的稳定性。将多自由度双臂协作机器人与视景系统相结合,研究飞行过程中机器人的协同操作,很好的利用了协作机器人体积小、重量轻、高精度、高灵敏度的优点,并且多自由度协作机器人被认为是人类手臂的延伸。

Description

一种基于自主感知的智能机器人飞行员飞行方法及装置
技术领域
本发明涉及飞行器控制技术领域,特别是指一种基于自主感知的智能机器人飞行员飞行方法及装置。
背景技术
随着科技水平和生活质量的不断提高,人类对飞行器及飞行员的需求正在迅速增长。然而,培养一名合格的飞行员需要极高的成本,并且战时飞行员数量也消耗巨大。近年来,随着无人机技术的发展,无人驾驶飞行器能够在战斗中用于执行侦查、监视、设置假目标、骚扰与诱惑和电子干扰等任务,并取得了相当好的战果,同时也在执行各类前线或者深入敌后的作战任务中有效的避免了人员的损伤。尽管目前有很多无人飞行器已经投入使用,但每台飞行器终端都需要1名或者1名以上飞行员进行手动或是半手动操作以应对突发状况,其无人驾驶系统仅适用于高空平缓的巡航以及程序化的机场起降操作中。此外,基于飞行控制系统的无人化改造也带来了高昂的改造成本。因此,如何把有经验飞行员的驾驶技术通过多自由度双臂协作机器人移植到其它无人飞行器上进而实现飞行员无人化替代以及飞行器进一步无人化是一个亟待解决的问题。
另一方面,动态避障是无人飞行的一个重大需求。由于近年来雷达侦测和卫星监控水平的提高,无人飞行器的作战范围逐渐向低空和超高空的方向发展。低空飞行时,复杂地形所带来的动态障碍(山地、雨雾以及飞行生物等)对无人飞行器而言是一个严峻的挑战,处理不当将直接影响飞行任务的成败。由于动态障碍的数量、幅度和空间位置都具有较强的随机性,并且其运行过程也是不可预测的,大部分基于地形模型的避障算法对其的处理效果都微乎其微,而终端的飞行员遥控处理手段也因为通信线路的延迟和不稳定降低了飞行器的应急性能。这些都对于飞行任务的空间精度和时间精度有着极大的约束。因而,拥有一个实时、自主动态避障的决策系统对于无人飞行器而言具有重要意义。
发明内容
本发明针对现有技术中,飞行员无人化替代、飞行器无人化以及飞行器的避障无人飞行不稳定的问题,提供了一种基于自主感知的智能机器人飞行员飞行方法及装置。
为解决上述技术问题,本发明提供如下技术方案:
一方面,本发明提供了一种基于自主感知的智能机器人飞行员飞行方法,包括:
S1:通过感知系统对飞行器的参数配置文件以及飞行姿态进行校准,对飞行环境进行辨识,输出相应的姿态数据以及环境数据;
S2:通过决策系统接收感知系统生成的姿态数据以及环境数据,对飞行器与飞行环境做出态势估计,形成完整策略,输出策略数据;
S3:通过控制系统根据接收的策略数据进行由机器人飞行员控制的自动操作指令完成对机械臂的控制;或根据手动指令进行由人类飞行员控制的手动操作完成对机械臂的控制;
S4:通过硬件视景系统对飞行器座舱内的物理环境以及飞行器座舱外的地面环境进行监控;
S5:通过数据管理系统综合调用感知系统、决策系统以及控制系统运行中产生的各项数据,对飞行数据进行综合分析并存储。
可选地,通过感知系统对飞行器的飞行姿态进行参数校准,对飞行环境进行辨识,输出相应的姿态数据以及环境数据,包括:
S11:通过自动校准模块对加载的参数配置文件进行参数校准;
S12:通过惯性传感器模块识别飞行器的飞行姿态;
S13:通过图像识别算法模块实时识别飞行器的飞行环境信息;
S14:通过数据传输模块整合飞行器的飞行姿态以及飞行环境信息,输出相应的姿态数据以及环境数据。
可选地,通过决策系统接收感知系统生成的姿态数据以及环境数据,对飞行器与飞行环境做出态势估计,形成完整策略,并输出策略数据,包括:
S21:通过地图自动生成模块接收感知系统中获得的环境数据的信息,提取物理环境中各物体位置,生成带有坐标信息的环境地图;
S22:通过环境分析模块分析环境地图中各物体的属性以及威胁等级,生成环境分析数据;
S23:通过路径规划模块根据环境分析数据以及环境地图的信息生成多条飞行器可行路径;
S24:通过策略生成子模块对多条可行路径进行选择,提取最有利的一条路径;
S25:通过态势估计模块对飞行器在飞行过程中的人员、环境以及事件要素的变化趋势进行态势估计;做出动作决策,形成完整策略,通过数据传输子模块输出策略数据。
可选地,通过控制系统根据接收的策略数据进行由机器人飞行员控制的自动操作指令完成对机械臂的控制;或根据手动指令进行由人类飞行员控制的手动操作完成对机械臂的控制,包括:
S31:通过指令判断模块判断接收的指令是决策指令还是手动指令;
S32:当接收到手动指令时,通过指令解析子模块对手动指令进行解析;通过遥操作控制模块对机械臂进行控制;判断是否完成控制,若是,则退出控制系统;若不是,则返回步骤S31,对指令进行重新选择;
S33:当接收到决策指令时,通过指令解析模块对决策指令进行解析;通过路径规划模块进行飞行器路径规划,形成飞行器运动轨迹;通过碰撞检测模块检测机器人飞行员在运动过程中是否发生自碰撞或环境碰撞;
若检测到发生碰撞,则通过避障模块进行机器人飞行员预设动作的避障,完成对机械臂的控制;
若未检测到发生碰撞,则通过定速巡航模块对机器人飞行员的预设动作进行控制,完成对机械臂的控制。
可选地,通过数据管理系统综合调用感知系统、决策系统以及控制系统运行中产生的各项数据,对飞行数据进行综合分析并存储,包括:
S51:通过专家系统数据模块生成用于专家系统数据的参数配置文件;进行参数输入、修改以及查询;
S52:通过硬件视景数据模块记录实验过程中飞行器自身的位置信息、路径轨迹以及飞行姿态数据;评判实验过程中操作的有效性;
S53:通过策略生成数据模块对决策数据进行修改、添加、删除;根据时间标签查看实验过程中保存的实验决策数据;
S54:通过协作机器人数据模块对单个机器人飞行员的运动数据包进行解析;对实验过程中惯性传感器采集到的传感器数据进行解析;对实验过程中机器人飞行员数据进行修改、添加、删除;根据事件标签查看以往实验过程中的机器人飞行员数据以及传感器数据。
一方面,本发明提供了一种基于自主感知的智能机器人飞行员飞行装置,该装置应用于上述方法,包括:
感知系统,用于对飞行器的参数配置文件以及飞行姿态进行校准,对飞行环境进行辨识,输出相应的姿态数据以及环境数据;
决策系统,用于接收感知系统生成的姿态数据以及环境数据,对飞行器与飞行环境做出态势估计,形成完整策略,输出策略数据;
控制系统,用于根据接收的策略数据进行由机器人飞行员控制的自动操作指令;根据手动操作指令进行由人类飞行员控制的手动操作;
硬件视景系统,用于对飞行器座舱内的物理环境以及飞行器座舱外的地面环境进行监控;
数据管理系统,用于综合调用感知系统、决策系统以及控制系统运行中产生的各项数据,对飞行数据进行综合分析并存储。
可选地,感知系统还包括,
自动校准模块,用于对加载的参数配置文件进行参数校准;
惯性传感器模块,用于识别飞行器的飞行姿态;
图像识别算法模块,用于实时识别飞行器的飞行环境;
数据传输模块,用于整合飞行器的飞行姿态以及飞行环境信息,输出相应的姿态数据以及环境数据。
可选地,决策系统还包括:
地图自动生成模块,用于接收感知系统中获得的环境数据的信息,提取物理环境中各物体位置,生成带有坐标信息的环境地图;
环境分析模块,用于分析环境地图中各物体的属性以及威胁等级,生成环境分析数据;
路径规划模块,用于根据环境分析数据以及环境地图的信息生成多条飞行器可行路径;
态势估计模块,用于对飞行器在飞行过程中的人员、环境以及事件要素的变化趋势进行态势估计;做出动作决策,形成完整策略,通过数据传输子模块输出策略数据。
可选地,控制系统还包括:
指令判断模块,用于判断接收的指令是决策指令还是手动指令;
指令解析模块,用于对决策指令或手动指令进行解析;
遥操作控制模块,用于对机械臂进行手动控制;
路径规划模块,用于进行飞行器路径规划,形成飞行器运动轨迹;
碰撞检测模块,用于检测机器人飞行员在运动中过程中是否发生自碰撞或环境碰撞;
避障模块,用于进行机器人飞行员预设动作的避障;
定速巡航模块,用于进行机器人飞行员预设动作的控制。
可选地,数据管理模还包括:
专家系统数据模块,用于生成用于专家系统数据的参数配置文件;并进行参数输入、修改以及查询;
硬件视景数据模块,用于记录实验过程中飞行器自身的位置信息、路径轨迹以及飞行姿态数据;并评判实验过程中操作的有效性;
策略生成数据模块,用于对决策数据进行修改、添加、删除;并根据时间标签查看实验过程中保存的实验决策数据;
协作机器人数据模块,用于对单个机器人飞行员运动数据包进行解析;对实验过程中惯性传感器采集到的传感器数据进行解析;对实验过程中机器人飞行员数据进行修改、添加、删除;并根据事件标签查看以往实验过程中的机器人飞行员数据以及传感器数据。
本发明实施例的上述技术方案至少具有如下有益效果:
上述方案中,本发明包括感知系统、决策系统、控制系统、硬件视景系统,数据管理系统,这些系统之间通过以太网和串口的交叉融合进行高度集成,保证了数据传输的实时性以及系统的稳定性。
本发明采用分布式设计,各个系统均为分布式模块化设计,实现了多自由度双臂协作机器人的协同控制、机器人智能操作、图像数据处理的功能。各个系统之间独立运行,互不影响,各个系统之间无相互控制指令,只有数据的传输与记录,所以该系统具有较强的鲁棒性和通用性,能够适用于高动态环境下多种数据的可视化、记录和分析。
本系统将多自由度双臂协作机器人与视景系统相结合,来研究飞行过程中机器人的协同操作,很好的利用了协作机器人体积小、重量轻、高精度、高灵敏度的优点,并且多自由度协作机器人被认为是人类手臂的延伸。因此该系统不仅为研究机器人智能操作提供了平台基础,也为多机器人协作提供了新的实际应用场景。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例基于自主感知的智能机器人飞行员飞行方法流程图;
图2是本发明实施例基于自主感知的智能机器人飞行员飞行方法的感知系统流程图;
图3是本发明实施例基于自主感知的智能机器人飞行员飞行方法的决策系统流程图;
图4是本发明实施例基于自主感知的智能机器人飞行员飞行方法的控制系统流程图;
图5是本发明实施例基于自主感知的智能机器人飞行员飞行方法的硬件视景系统架构图;
图6是本发明实施例基于自主感知的智能机器人飞行员飞行方法的数据管理系统流程图;
图7是本发明实施例基于自主感知的智能机器人飞行员飞行方法的数据管理系统构架图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
如图1所示,本发明实施例提供了一种基于自主感知的智能机器人飞行员飞行方法,包括:
S1:通过感知系统对飞行器的参数配置文件以及飞行姿态进行校准,对飞行环境进行辨识,输出相应的姿态数据以及环境数据;
S2:通过决策系统接收感知系统生成的姿态数据以及环境数据,对飞行器与飞行环境做出态势估计,形成完整策略,输出策略数据;
S3:通过控制系统根据接收的策略数据进行由机器人飞行员控制的自动操作指令完成对机械臂的控制;或根据手动指令进行由人类飞行员控制的手动操作完成对机械臂的控制;
S4:通过硬件视景系统对飞行器座舱内的物理环境以及飞行器座舱外的地面环境进行监控;
S5:通过数据管理系统综合调用感知系统、决策系统以及控制系统运行中产生的各项数据,对飞行数据进行综合分析并存储。
为了使无人飞行器能够灵活顺利地执行飞行任务,需要综合利用自主感知的智能机器人飞行员系统对无人飞行器的性能进行提升,通过采集、解析、增强、克隆的手段将飞行员的决策过程数字化,融入无人飞行器中。将飞行员、飞行器和动态环境的全状态信息端到端地映射到智能机器人飞行员系统的控制决策中,尽可能发挥出系统的最大效能。
本发明实施例采用分布式设计,各个系统均为分布式模块化设计,实现了多自由度双臂协作机器人的协同控制、机器人智能操作、图像数据处理的功能。各个子系统之间独立运行,互不影响,各个子系统之间无相互控制指令,只有数据的传输与记录,所以该系统具有较强的鲁棒性和通用性,能够适用于高动态环境下多种数据的可视化、记录和分析。
如图2所示,通过感知系统对飞行器的飞行姿态进行参数校准,对飞行环境进行辨识,输出相应的姿态数据以及环境数据,包括:
S11:通过自动校准模块对加载的参数配置文件进行参数校准;
S12:通过惯性传感器模块识别飞行器的飞行姿态;
S13:通过图像识别算法模块实时识别飞行器的飞行环境信息;
S14:通过数据传输模块整合飞行器的飞行姿态以及飞行环境信息,输出相应的姿态数据以及环境数据。
本发明实施例中,通过自动校准模块,加载默认配置,并根据当前飞行器所处的环境以及自身状态进行实时调参,使得感知系统更为适应当前的环境,以便于传感器获得更好的图像信息;
感知系统包括视觉算法,需要通过视频读取的方式导入外部环境的图像数据,比如飞行器外部的地形、天气等。将图像进行预处理,例如数据的归一化处理,转化为灰度图像,滤波去噪,二值化处理。将图像进行处理,例如边缘检测,霍夫变换用于检测表盘以及指针,最终输出仪表数据;
通过惯性传感器系统,检测与测量飞行器的加速度与旋转运动,可以得到飞行器当前的姿态与加速度;
数据传输子模块通过TCP通信,将整合信息至决策模块与数据管理系统;
本实施例中,感知系统的主要功能在于实现对飞行姿态及周围环境辨识,主要用于解决识别过程中出现的目标过小、目标有伪装、环境遮挡、训练样本过小的视觉问题。
如图3所示,通过决策系统接收感知系统生成的姿态数据以及环境数据,对飞行器与飞行环境做出态势估计,形成完整策略,并输出策略数据,包括:
S21:通过地图自动生成模块接收感知系统中获得的环境数据的信息,提取物理环境中各物体位置,生成带有坐标信息的环境地图;
S22:通过环境分析模块分析环境地图中各物体的属性以及威胁等级,生成环境分析数据;
S23:通过路径规划模块根据环境分析数据以及环境地图的信息生成多条飞行器可行路径;
S24:通过策略生成子模块对多条可行路径进行选择,提取最有利的一条路径;
S25:通过态势估计模块对飞行器在飞行过程中的人员、环境以及事件要素的变化趋势进行态势估计;做出动作决策,形成完整策略,通过数据传输子模块输出策略数据。
在本实施例中,地图自动生成模块,通过由感知系统获得图像后将图片分为多个区域,对各个区域进行识别,得到地图信息,例如山谷,丘陵,森林,沙漠或房屋等;
环境分析模块,对生成的环境地图进行分析,将不会对我方飞行器造成威胁的物体忽略,将可能有威胁的物体映射为通俗易懂的位置示意图,并将威胁评定等级,例如极度危险、危险等;
路径规划模块,使用原理简单且效果优良的智能算法,例如遗传算法、蚁群算法等,根据起点至终点的障碍物多次迭代,找到数条最优路径,规避威胁单位;
策略生成子模块,在对上述地图自动生成模块、环境分析模块、路径规划模块进行总结分析,从已获得的数条最优路径中选择当前情况下最有利的一条路径;
态势估计子模块,是整个飞行任务中的重点和关节环节,在保证飞行任务安全的基础上建立数学模型,对飞行过程中可能遭受的安全威胁程度进行评估。全面掌握飞行过程中的安全状况;评估过程包括:数据采集,数据预处理,信息提取,态势分析,态势展现等。
本实施例中,决策系统的主要功能在于对感知系统获取的准确信息进行快速决策,以及实现决策信息的整合。用于分析目标的威胁程度,决定是否对物体进行跟踪等行动,尽量避免地面不利地势,管制区域等。在跟踪任务中使得目标尽量保持在较好的视野范围内,防止丢失。
如图4所示,通过控制系统根据接收的策略数据进行由机器人飞行员控制的自动操作指令完成对机械臂的控制;或根据手动指令进行由人类飞行员控制的手动操作完成对机械臂的控制,包括:
S31:通过指令判断模块判断接收的指令是决策指令还是手动指令;
S32:当接收到手动指令时,通过指令解析子模块对手动指令进行解析;通过遥操作控制模块对机械臂进行控制;判断是否完成控制,若是,则退出控制系统;若不是,则返回步骤S31,对指令进行重新选择;
S33:当接收到决策指令时,通过指令解析模块对决策指令进行解析;通过路径规划模块进行飞行器路径规划,形成飞行器运动轨迹;通过碰撞检测模块检测机器人飞行员在运动过程中是否发生自碰撞或环境碰撞;
若检测到发生碰撞,则通过避障模块进行机器人飞行员预设动作的避障,完成对机械臂的控制;
若未检测到发生碰撞,则通过定速巡航模块对机器人飞行员的预设动作进行控制,完成对机械臂的控制。
本实施例中,手动模式下的指令解析模块用于将地面站人类驾驶员接入本飞行系统后的指令解析为机器人控制指令,以便于控制机器人驾驶飞行器;遥操作模块用于将地面站的人类飞行员接管本发明的系统,达到在紧急状况下的手动飞行;
自动模式下的指令解析模块用于将决策系统中的运动指令解析为机器人控制指令,以便于控制机器人驾驶飞行器;路径规划模块用于生成机器人末端在工作空间下可行轨迹;定速巡航模块以及避障模块,保证机器人在正常情况下预设动作的平稳性,保持系统在自动模式下的稳定。
本实施例中,决策系统中的机械部分由多自由度双臂协作机器人组成,包括手动模式模块和自动模式模块,获取所属决策命令,实现相应的动作。在机器人运动过程中,需要避免相互碰撞的同时,提高机器人运动速度、精度;
如图4所示,通过硬件视景系统对飞行器座舱内的物理环境以及飞行器座舱外的地面环境进行监控。
本实施例中,硬件视景系统用于飞行器座舱的真实物理环境以及复杂地面环境;包括:多台液晶显示器、脚舵、节流阀、操纵杆、摄像头、可调节支架、电压转换器、交换机、数据储存计算机、机器人控制计算机、仿真系统计算机、视景计算机、图像信号处理计算机;多台液晶显示器包括三台用于显示视景的液晶显示器以及实现单独仪表面板显示的液晶显示器。
如图5所示,通过数据管理系统综合调用感知系统、决策系统以及控制系统运行中产生的各项数据,对飞行数据进行综合分析并存储,包括:
S51:通过专家系统数据模块生成用于专家系统数据的参数配置文件;进行参数输入、修改以及查询;
S52:通过硬件视景数据模块记录实验过程中飞行器自身的位置信息、路径轨迹以及飞行姿态数据;评判实验过程中操作的有效性;
S53:通过策略生成数据模块对决策数据进行修改、添加、删除;根据时间标签查看实验过程中保存的实验决策数据;
S54:通过协作机器人数据模块对单个机器人飞行员的运动数据包进行解析;对实验过程中惯性传感器采集到的传感器数据进行解析;对实验过程中机器人飞行员数据进行修改、添加、删除;根据事件标签查看以往实验过程中的机器人飞行员数据以及传感器数据。
如图6所示,本实施例中,专家系统数据模块包括:模糊参数输入子模块、参数修改子模块、参数查询子模块以及配置文件输出子模块;
通过模糊参数输入子模块将包含所有参数的数据或配置文件导入专家系统中;
通过参数查询子模块帮助实验人员在操作过程中快速找到需要数据;
通过配置文件输出子模块将所有参数统一输出,生成用于专家系统数据模块参数的配置文件。
硬件视景数据模块包括:GPS数据子模块、飞行轨迹数据子模块、飞行器姿态数据子模块、控制率子模块;
通过GPS数据子模块记录实验过程中飞行器自身的位置信息;
通过飞行轨迹数据子模块观测记录实验过程中飞行器飞行的路径轨迹;
通过飞行器姿态数据子模块观测记录试验过程中飞行器的飞行姿态数据;
通过控制率子模块评判实验过程中操作的有效性。
策略生成数据模块包括:数据解析子模块、参数修改子模块、参数查询子模块、历史记录查询子模块;
通过数据解析子模块选择需要的实验决策数据包进行解析;
通过参数修改子模块对决策数据进行修改、添加、删除等操作;
通过参数查询子模块帮助实验人员在操作过程中快速找到需要数据;
通过历史记录查询子模块根据时间标签查看以往实验过程中保存的实验决策数据。
协作机器人数据模块包含:机器人数据解析子模块、传感器数据解析子模块、路径数据子模块、参数修改子模块,历史记录查询子模块,位姿数据子模块;
通过机器人数据解析子模块选择需要的单个机器人运动数据包进行解析;
通过传感器数据解析子模块对实验过程中传感器采集到的数据进行解析;
通过路径数据子模块:用于实验过程中协作机器人的运动数据收集;
通过参数修改子模块:用于对实验过程中机器人数据进行修改、添加、删除等操作;
通过历史记录查询子模块根据事件标签查看以往实验过程中的机器人数据以及传感器数据;
通过位姿数据子模块记录实验过程中多自由度双臂协同机器人的位置数据以及姿态数据。
本实施例中,各个模块之间独立运行,互不影响,各个模块之间无相互控制指令,只有数据的传输与记录,所以该系统具有较强的鲁棒性和通用性,能够适用于高动态环境下多种数据的可视化、记录和分析。
本发明还提供了一种基于自主感知的智能机器人飞行员飞行装置,该装置应用于上述方法,包括:
感知系统,用于对飞行器的参数配置文件以及飞行姿态进行校准,对飞行环境进行辨识,输出相应的姿态数据以及环境数据;
决策系统,用于接收感知系统生成的姿态数据以及环境数据,对飞行器与飞行环境做出态势估计,形成完整策略,输出策略数据;
控制系统,用于根据接收的策略数据进行由机器人飞行员控制的自动操作指令;根据手动操作指令进行由人类飞行员控制的手动操作;
硬件视景系统,用于对飞行器座舱内的物理环境以及飞行器座舱外的地面环境进行监控;
数据管理系统,用于综合调用感知系统、决策系统以及控制系统运行中产生的各项数据,对飞行数据进行综合分析并存储。
本发明以研究智能机器人代替人类进行飞行器控制为目的,运用机器人控制理论及相关智能算法和飞行技术,搭建了一套拥有自主感知功能的飞行驾驶平台。通过对视景模块中飞行环境的高频采样,经感知模块分析处理为实时可读解析数据,再由决策模块根据数据结合当前飞行情景产生一系列的实时决策指令,随后由控制模块对决策指令进行快速反应,控制多自由度双臂协作机器人操作飞行器在视景模块中稳定飞行,从而形成一个完整的反馈控制回路。将上述所有数据以及实时时间戳进行处理与储存,飞行结束后由飞行评价算法和专业飞行人员对飞行任务进行综合评价,帮助系统的自主感知算法进行学习和进化。该系统平台为无人飞行器驾驶规划等问题提供了良好的实验平台与解决方法。
感知系统还包括:
自动校准模块,用于对加载的参数配置文件进行参数校准;
惯性传感器模块,用于识别飞行器的飞行姿态;
图像识别算法模块,用于实时识别飞行器的飞行环境;
数据传输模块,用于整合飞行器的飞行姿态以及飞行环境信息,输出相应的姿态数据以及环境数据。
决策系统还包括:
地图自动生成模块,用于接收感知系统中获得的环境数据的信息,提取物理环境中各物体位置,生成带有坐标信息的环境地图;
环境分析模块,用于分析环境地图中各物体的属性以及威胁等级,生成环境分析数据;
路径规划模块,用于根据环境分析数据以及环境地图的信息生成多条飞行器可行路径;
态势估计模块,用于对飞行器在飞行过程中的人员、环境以及事件要素的变化趋势进行态势估计;做出动作决策,形成完整策略,通过数据传输子模块输出策略数据。
控制系统还包括:
指令判断模块,用于判断接收的指令是决策指令还是手动指令;
指令解析模块,用于对决策指令或手动指令进行解析;
遥操作控制模块,用于对机械臂进行手动控制;
路径规划模块,用于进行飞行器路径规划,形成飞行器运动轨迹;
碰撞检测模块,用于检测机器人飞行员在运动中过程中是否发生自碰撞或环境碰撞;
避障模块,用于进行机器人飞行员预设动作的避障;
定速巡航模块,用于进行机器人飞行员预设动作的控制。
数据管理模还包括:
专家系统数据模块,用于生成用于专家系统数据的参数配置文件;并进行参数输入、修改以及查询;
硬件视景数据模块,用于记录实验过程中飞行器自身的位置信息、路径轨迹以及飞行姿态数据;并评判实验过程中操作的有效性;
策略生成数据模块,用于对决策数据进行修改、添加、删除;并根据时间标签查看实验过程中保存的实验决策数据;
协作机器人数据模块,用于对单个机器人飞行员运动数据包进行解析;对实验过程中惯性传感器采集到的传感器数据进行解析;对实验过程中机器人飞行员数据进行修改、添加、删除;并根据事件标签查看以往实验过程中的机器人飞行员数据以及传感器数据。
如图7所示,硬件视景数据模块包括:GPS数据子模块、飞行轨迹数据子模块、飞行器姿态数据子模块、控制率子模块;
GPS数据子模块用于记录实验过程中飞行器自身的位置信息;
飞行轨迹数据子模块用于观测记录实验过程中飞行器飞行的路径轨迹;
飞行器姿态数据子模块用于观测记录试验过程中飞行器的飞行姿态数据;
控制率子模块用于评判实验过程中操作的有效性。
策略生成数据模块包括:数据解析子模块、参数修改子模块、参数查询子模块、历史记录查询子模块;
数据解析子模块用于选择需要的实验决策数据包进行解析;
参数修改子模块用于对决策数据进行修改、添加、删除等操作;
参数查询子模块用于帮助实验人员在操作过程中快速找到需要数据;
历史记录查询子模块用于根据时间标签查看以往实验过程中保存的实验决策数据。
协作机器人数据模块包括:机器人数据解析子模块、传感器数据解析子模块、路径数据子模块、参数修改子模块,历史记录查询子模块,位姿数据子模块;
机器人数据解析子模块用于选择需要的单个机器人运动数据包进行解析;
传感器数据解析子模块用于对实验过程中传感器采集到的数据进行解析;
路径数据子模块用于实验过程中协作机器人的运动数据收集;
参数修改子模块用于对实验过程中机器人数据进行修改、添加、删除等操作;
历史记录查询子模块用于根据事件标签查看以往实验过程中的机器人数据以及传感器数据;
位姿数据子模块用于记录实验过程中多自由度双臂协同机器人的位置数据以及姿态数据。
本发明实施例提供的基于自主感知的智能飞行装置中,多自由度协作机器人可以通过感知系统,实时观测驾驶仓内外物理环境,分析当前环境状况,经由决策系统对飞行策略进行规划,控制飞行器按照预定轨迹飞行,实现包括但不限于避障,追踪,巡航等功能。特别在紧急状况下通过地面站人类飞行员的遥操作控制可以提高飞行器控制的稳定性,安全性。一方面,本发明旨在提高飞行驾驶的安全性,可靠新,抗干扰性,另一方面,旨在发展一种新型的,具有自主感知的智能机器人飞行员系统。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于自主感知的智能机器人飞行员飞行方法,其特征在于,包括:
S1:通过感知系统对飞行器的参数配置文件以及飞行姿态进行校准,对飞行环境进行辨识,输出相应的姿态数据以及环境数据;
S2:通过决策系统接收所述感知系统生成的姿态数据以及环境数据,对所述飞行器与飞行环境做出态势估计,形成完整策略,输出策略数据;
S3:通过控制系统根据接收的策略数据进行由机器人飞行员控制的自动操作指令完成对机械臂的控制;或根据手动指令进行由人类飞行员控制的手动操作完成对机械臂的控制;
所述通过控制系统根据接收的策略数据进行由机器人飞行员控制的自动操作指令完成对机械臂的控制;或根据手动指令进行由人类飞行员控制的手动操作完成对机械臂的控制,包括:
S31:通过指令判断模块判断接收的指令是决策指令还是手动指令;
S32:当接收到手动指令时,通过指令解析子模块对手动指令进行解析;通过遥操作控制模块对机械臂进行控制;判断是否完成控制,若是,则退出控制系统;若不是,则返回步骤S31,对指令进行重新选择;
S33:当接收到决策指令时,通过指令解析模块对决策指令进行解析;通过路径规划模块进行飞行器路径规划,形成飞行器运动轨迹;通过碰撞检测模块检测机器人飞行员在运动过程中是否发生自碰撞或环境碰撞;
若检测到发生碰撞,则通过避障模块进行所述机器人飞行员预设动作的避障,完成对机械臂的控制;
若未检测到发生碰撞,则通过定速巡航模块对机器人飞行员的预设动作进行控制,完成对机械臂的控制;
S4:通过硬件视景系统对飞行器座舱内的物理环境以及飞行器座舱外的地面环境进行监控;
S5:通过数据管理系统综合调用所述感知系统、所述决策系统以及所述控制系统运行中产生的各项数据,对飞行数据进行综合分析并存储。
2.根据权利要求1所述的基于自主感知的智能机器人飞行员飞行方法,其特征在于,所述通过感知系统对所述飞行器的飞行姿态进行参数校准,对飞行环境进行辨识,输出相应的姿态数据以及环境数据,包括:
S11:通过自动校准模块对加载的参数配置文件进行参数校准;
S12:通过惯性传感器模块识别所述飞行器的飞行姿态;
S13:通过图像识别算法模块实时识别所述飞行器的飞行环境信息;
S14:通过数据传输模块整合所述飞行器的飞行姿态以及飞行环境信息,输出相应的姿态数据以及环境数据。
3.根据权利要求1所述的基于自主感知的智能机器人飞行员飞行方法,其特征在于,所述通过决策系统接收所述感知系统生成的姿态数据以及环境数据,对所述飞行器与飞行环境做出态势估计,形成完整策略,并输出策略数据,包括:
S21:通过地图自动生成模块接收感知系统中获得的环境数据的信息,提取物理环境中各物体位置,生成带有坐标信息的环境地图;
S22:通过环境分析模块分析环境地图中各物体的属性以及威胁等级,生成环境分析数据;
S23:通过路径规划模块根据所述环境分析数据以及环境地图的信息生成多条飞行器可行路径;
S24:通过策略生成子模块对多条可行路径进行选择,提取最有利的一条路径;
S25:通过态势估计模块对所述飞行器在飞行过程中的人员、环境以及事件要素的变化趋势进行态势估计;做出动作决策,形成完整策略,通过数据传输子模块输出策略数据。
4.根据权利要求1所述的基于自主感知的智能机器人飞行员飞行方法,其特征在于,通过数据管理系统综合调用所述感知系统、所述决策系统以及所述控制系统运行中产生的各项数据,对飞行数据进行综合分析并存储,包括:
S51:通过专家系统数据模块生成用于专家系统数据的参数配置文件;进行参数输入、修改以及查询;
S52:通过硬件视景数据模块记录实验过程中所述飞行器自身的位置信息、路径轨迹以及飞行姿态数据;评判实验过程中操作的有效性;
S53:通过策略生成数据模块对决策数据进行修改、添加、删除;根据时间标签查看实验过程中保存的实验决策数据;
S54:通过协作机器人数据模块对单个所述机器人飞行员的运动数据包进行解析;对实验过程中惯性传感器采集到的传感器数据进行解析;对实验过程中机器人飞行员数据进行修改、添加、删除;根据事件标签查看以往实验过程中的机器人飞行员数据以及传感器数据。
5.一种基于自主感知的智能机器人飞行员飞行装置,其特征在于,所述装置应用于如权利要求1-4任意一项所述的方法,包括:
感知系统,用于对所述飞行器的参数配置文件以及飞行姿态进行校准,对飞行环境进行辨识,输出相应的姿态数据以及环境数据;
决策系统,用于接收所述感知系统生成的姿态数据以及环境数据,对所述飞行器与飞行环境做出态势估计,形成完整策略,输出策略数据;
控制系统,用于根据接收的策略数据进行由所述机器人飞行员控制的自动操作指令;根据手动操作指令进行由人类飞行员控制的手动操作;
所述控制系统还包括:
指令判断模块,用于判断接收的指令是决策指令还是手动指令;
指令解析模块,用于对决策指令或手动指令进行解析;
遥操作控制模块,用于对机械臂进行手动控制;
路径规划模块,用于进行飞行器路径规划,形成飞行器运动轨迹;
碰撞检测模块,用于检测所述机器人飞行员在运动中过程中是否发生自碰撞或环境碰撞;
避障模块,用于进行机器人飞行员预设动作的避障;
定速巡航模块,用于进行机器人飞行员预设动作的控制;
硬件视景系统,用于对飞行器座舱内的物理环境以及飞行器座舱外的地面环境进行监控;
数据管理系统,用于综合调用所述感知系统、所述决策系统以及所述控制系统运行中产生的各项数据,对飞行数据进行综合分析并存储。
6.根据权利要求5所述的基于自主感知的智能机器人飞行员飞行装置,其特征在于,所述感知系统还包括,
自动校准模块,用于对加载的参数配置文件进行参数校准;
惯性传感器模块,用于识别所述飞行器的飞行姿态;
图像识别算法模块,用于实时识别所述飞行器的飞行环境;
数据传输模块,用于整合所述飞行器的飞行姿态以及飞行环境信息,输出相应的姿态数据以及环境数据。
7.根据权利要求5所述的基于自主感知的智能机器人飞行员飞行装置,其特征在于,所述决策系统还包括:
地图自动生成模块,用于接收感知系统中获得的环境数据的信息,提取物理环境中各物体位置,生成带有坐标信息的环境地图;
环境分析模块,用于分析环境地图中各物体的属性以及威胁等级,生成环境分析数据;
路径规划模块,用于根据所述环境分析数据以及环境地图的信息生成多条飞行器可行路径;
态势估计模块,用于对所述飞行器在飞行过程中的人员、环境以及事件要素的变化趋势进行态势估计;做出动作决策,形成完整策略,通过数据传输子模块输出策略数据。
8.根据权利要求5所述的基于自主感知的智能机器人飞行员飞行装置,其特征在于,所述数据管理模还包括:
专家系统数据模块,用于生成用于专家系统数据的参数配置文件;并进行参数输入、修改以及查询;
硬件视景数据模块,用于记录实验过程中所述飞行器自身的位置信息、路径轨迹以及飞行姿态数据;并评判实验过程中操作的有效性;
策略生成数据模块,用于对决策数据进行修改、添加、删除;并根据时间标签查看实验过程中保存的实验决策数据;
协作机器人数据模块,用于对单个所述机器人飞行员运动数据包进行解析;对实验过程中惯性传感器采集到的传感器数据进行解析;对实验过程中机器人飞行员数据进行修改、添加、删除;并根据事件标签查看以往实验过程中的机器人飞行员数据以及传感器数据。
CN202110932497.0A 2021-08-13 2021-08-13 一种基于自主感知的智能机器人飞行员飞行方法及装置 Active CN113589835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110932497.0A CN113589835B (zh) 2021-08-13 2021-08-13 一种基于自主感知的智能机器人飞行员飞行方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110932497.0A CN113589835B (zh) 2021-08-13 2021-08-13 一种基于自主感知的智能机器人飞行员飞行方法及装置

Publications (2)

Publication Number Publication Date
CN113589835A CN113589835A (zh) 2021-11-02
CN113589835B true CN113589835B (zh) 2024-05-14

Family

ID=78257867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110932497.0A Active CN113589835B (zh) 2021-08-13 2021-08-13 一种基于自主感知的智能机器人飞行员飞行方法及装置

Country Status (1)

Country Link
CN (1) CN113589835B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356828B (zh) * 2021-12-23 2024-05-24 中国航空工业集团公司西安航空计算技术研究所 一种双双余度飞控计算机间异步交叉传输的方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617497A (zh) * 2013-12-03 2014-03-05 中国航空无线电电子研究所 一种飞机任务系统任务合成方法
CN105468012A (zh) * 2016-01-07 2016-04-06 哈尔滨理工大学 一种重型载人足式机器人线控转向系统的路感模拟方法
CN107117243A (zh) * 2017-04-07 2017-09-01 北京科技大学 智能座驾机器人
CN107272731A (zh) * 2017-06-05 2017-10-20 陈金良 无人机自动避撞系统
JP2017199265A (ja) * 2016-04-28 2017-11-02 株式会社リコー ロボット、姿勢安定化方法、およびプログラム
CN107614308A (zh) * 2015-05-05 2018-01-19 B.G.内盖夫技术与应用有限公司 通用自主机器人驾驶系统
WO2018117872A1 (en) * 2016-12-25 2018-06-28 Baomar Haitham The intelligent autopilot system
CN109070997A (zh) * 2016-03-22 2018-12-21 极光飞行科学公司 机组自动化系统和方法
CN109308076A (zh) * 2017-07-27 2019-02-05 极光飞行科学公司 具有集成成像和力感测模态的机组自动化系统和方法
CN110456663A (zh) * 2019-08-19 2019-11-15 哈尔滨工业大学 基于多源信息融合的飞行器导航控制技术仿真装置及方法
CN111552315A (zh) * 2020-05-11 2020-08-18 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种飞行驾驶方法、装置、设备和存储介质
CN112540671A (zh) * 2019-09-20 2021-03-23 辉达公司 基于视觉的灵巧机器人系统的远程操作
CN113119085A (zh) * 2021-03-24 2021-07-16 北京航空航天大学 一种直升机飞行驾驶机器人系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10816970B2 (en) * 2017-06-15 2020-10-27 Aurora Flight Sciences Corporation System and method for performing an emergency descent and landing
US10775793B2 (en) * 2017-12-22 2020-09-15 The Boeing Company Systems and methods for in-flight crew assistance

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617497A (zh) * 2013-12-03 2014-03-05 中国航空无线电电子研究所 一种飞机任务系统任务合成方法
CN107614308A (zh) * 2015-05-05 2018-01-19 B.G.内盖夫技术与应用有限公司 通用自主机器人驾驶系统
CN105468012A (zh) * 2016-01-07 2016-04-06 哈尔滨理工大学 一种重型载人足式机器人线控转向系统的路感模拟方法
CN109070997A (zh) * 2016-03-22 2018-12-21 极光飞行科学公司 机组自动化系统和方法
JP2017199265A (ja) * 2016-04-28 2017-11-02 株式会社リコー ロボット、姿勢安定化方法、およびプログラム
WO2018117872A1 (en) * 2016-12-25 2018-06-28 Baomar Haitham The intelligent autopilot system
CN107117243A (zh) * 2017-04-07 2017-09-01 北京科技大学 智能座驾机器人
CN107272731A (zh) * 2017-06-05 2017-10-20 陈金良 无人机自动避撞系统
CN109308076A (zh) * 2017-07-27 2019-02-05 极光飞行科学公司 具有集成成像和力感测模态的机组自动化系统和方法
CN110456663A (zh) * 2019-08-19 2019-11-15 哈尔滨工业大学 基于多源信息融合的飞行器导航控制技术仿真装置及方法
CN112540671A (zh) * 2019-09-20 2021-03-23 辉达公司 基于视觉的灵巧机器人系统的远程操作
CN111552315A (zh) * 2020-05-11 2020-08-18 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种飞行驾驶方法、装置、设备和存储介质
CN113119085A (zh) * 2021-03-24 2021-07-16 北京航空航天大学 一种直升机飞行驾驶机器人系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
MD1200-YJ码垛机器人大臂的多目标轻量化设计;贺莹,等;食品与机械;20201231;第36卷(第10期);全文 *
Peter Kaiser ; 等.An affordance-based pilot interface for high-level control of humanoid robots in supervised autonomy.2016 IEEE-RAS 16th International Conference on Humanoid Robots (Humanoids).2017,全文. *
Wireless Hand Gesture Recognition Based on Continuous-Wave Doppler Radar Sensors;Fan, TL等;IEEE TRANSACTIONS ON MICROWAVE THEORY AND TECHNIQUES;20161231;全文 *
人工智能在军用机器人的应用;陆震;;兵器装备工程学报;20190525(第05期);全文 *
基于非线性模型预测控制的移动机器人实时路径跟踪;白国星,等;农业机械学报;20201231;第51卷(第9期);全文 *
驾驶机器人车辆的多模式切换控制;吴俊;陈刚;;汽车工程;20181025(第10期);全文 *

Also Published As

Publication number Publication date
CN113589835A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
Lee et al. Deep learning-based monocular obstacle avoidance for unmanned aerial vehicle navigation in tree plantations: Faster region-based convolutional neural network approach
Odelga et al. Obstacle detection, tracking and avoidance for a teleoperated UAV
KR101390141B1 (ko) 자율적 운송수단의 신속한 개발 테스트 시험대 시스템 및 방법
Cesetti et al. A vision-based guidance system for UAV navigation and safe landing using natural landmarks
Albus 4-D/RCS reference model architecture for unmanned ground vehicles
Ludington et al. Augmenting UAV autonomy
CN108469817B (zh) 基于fpga和信息融合的无人船避障控制系统
CN111044052B (zh) 一种基于智能感知的无人机自适应导航系统及方法
Chun et al. Robot surveillance and security
CN116907282B (zh) 基于人工智能算法的无人靶机超低空飞行控制方法
CN114200471B (zh) 基于无人机的森林火源检测系统、方法、存储介质、设备
CN113589835B (zh) 一种基于自主感知的智能机器人飞行员飞行方法及装置
Lee Research on multi-functional logistics intelligent Unmanned Aerial Vehicle
Anthony et al. UAV localization in row crops
Lee et al. Research on logistics of intelligent unmanned aerial vehicle integration system
Cesetti et al. Vision-based autonomous navigation and landing of an unmanned aerial vehicle using natural landmarks
EP4180767A1 (en) Route planning for a ground vehicle through unfamiliar terrain
Ho et al. Characterization of flow field divergence for MAVs vertical control landing
Sanchez-Lopez et al. Deep learning based semantic situation awareness system for multirotor aerial robots using LIDAR
Borshchova et al. Marker-guided auto-landing on a moving platform
Klymenko et al. Development of software tools for testing the autonomous navigation system of UAVs
CN117516480A (zh) 一种基于车机协同的未爆弹位姿精确探测系统及方法
Araújo Jr et al. Towards autonomous investigation of crime scene by using drones
CN115804926B (zh) 一种无人机投射灭火弹瞄准系统及其方法
Vu et al. Design and implement UAV for low-altitude data collection in precision agriculture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant