CN113253750B - 一种面向扑翼飞行器的多模态控制系统 - Google Patents
一种面向扑翼飞行器的多模态控制系统 Download PDFInfo
- Publication number
- CN113253750B CN113253750B CN202110716226.1A CN202110716226A CN113253750B CN 113253750 B CN113253750 B CN 113253750B CN 202110716226 A CN202110716226 A CN 202110716226A CN 113253750 B CN113253750 B CN 113253750B
- Authority
- CN
- China
- Prior art keywords
- control
- operator
- wing aircraft
- flapping wing
- controlled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims abstract description 53
- 230000001360 synchronised effect Effects 0.000 claims abstract description 24
- 230000009471 action Effects 0.000 claims abstract description 5
- 230000004424 eye movement Effects 0.000 claims description 42
- 210000003128 head Anatomy 0.000 claims description 31
- 230000004886 head movement Effects 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 16
- 230000004397 blinking Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 11
- 230000000193 eyeblink Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 abstract description 10
- 238000004891 communication Methods 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 9
- 210000004556 brain Anatomy 0.000 description 7
- 239000011664 nicotinic acid Substances 0.000 description 6
- 238000002360 preparation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005611 electricity Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 240000007651 Rubus glaucus Species 0.000 description 2
- 235000011034 Rubus glaucus Nutrition 0.000 description 2
- 235000009122 Rubus idaeus Nutrition 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Toys (AREA)
Abstract
本发明公开了一种面向扑翼飞行器的多模态控制系统,包括多模态信号同步采集模块、多模态信号处理模块以及搭载在受控扑翼飞行器上的机载扑翼飞行器控制模块;其中,多模态信号同步采集模块用于捕获操控者发出的多模态操控信号并将捕获的多模态操控信号发送至多模态信号处理模块;多模态信号处理模块用于基于多模态操控信号中的至少一种信号,生成控制指令,并将控制指令发送至机载扑翼飞行器控制模块;机载扑翼飞行器控制模块用于根据控制指令控制受控扑翼飞行器的飞行状态,使得受控扑翼飞行器按照操控者的意愿执行相应的飞行动作。本发明可以兼顾飞行控制的稳定性、智能性和舒适性。
Description
技术领域
本发明涉及仿生扑翼飞行器控制技术领域,特别涉及一种面向扑翼飞行器的多模态控制系统。
背景技术
二十世纪以来,脑-机接口作为新兴的人机交互模式被逐渐研究开发,这一根据人的意志自由控制外围设备的新型交互方式在无人机控制领域也被应用,但是目前的控制方式主要是脑电单独控制无人机或者脑电和肌电信号结合控制无人机,这种只利用脑电信号或肌电信号进行无人机控制的方法稳定性低,很容易受外部环境的干扰,造成信号识别率低,控制效果差。
仿生扑翼飞行器是一种新型的无人飞行器,与传统旋翼和固定翼飞机相比,仿生扑翼飞行器飞行效率更高,灵活性也更好,适合执行更长时间、更远距离的飞行任务,其仿生的外形使其有更好的隐蔽性,在民用和国防军事领域有着非常广泛的应用前景,目前仿生扑翼飞行器大多采用遥控器手动进行飞行控制,控制方式单一,长时间的手动遥控容易产生疲劳,并且对操控者有很强的约束性,操控者必须全神贯注进行手动遥控,无法进行其他工作;另外,仿生扑翼飞行器的驱动与其他飞行器不同,其空气动力更为复杂,控制难度更大,仅利用脑电和肌电信号很难保证起飞-高空飞行-降落这一整个飞行过程的准确控制。
发明内容
本发明提供了一种面向扑翼飞行器的多模态控制系统,以解决现有的扑翼飞行器控制方法所存在的控制方式单一,操控者容易产生疲劳,对操控者有很强的约束性,以及控制准确度及舒适性不够高的技术问题。
为解决上述技术问题,本发明提供了如下技术方案:
一种面向扑翼飞行器的多模态控制系统,所述面向扑翼飞行器的多模态控制系统包括:多模态信号同步采集模块、多模态信号处理模块,以及搭载在受控扑翼飞行器上的机载扑翼飞行器控制模块;其中,
所述多模态信号同步采集模块用于捕获操控者发出的多模态操控信号,并将捕获的多模态操控信号发送至所述多模态信号处理模块;其中,所述多模态操控信号包括操控者通过运动想象产生的脑电信号、操控者通过眼部运动产生的眼动信号、操控者通过改变头部姿态产生的头动信号和操控者的手动操控信号;
所述多模态信号处理模块用于基于所述多模态操控信号中的至少一种信号,生成控制指令,并将所述控制指令发送至所述机载扑翼飞行器控制模块;
所述机载扑翼飞行器控制模块用于根据所述控制指令控制受控扑翼飞行器的飞行状态,使得所述受控扑翼飞行器按照操控者的意愿执行相应的飞行动作。
进一步地,所述机载扑翼飞行器控制模块还用于采集所述受控扑翼飞行器的飞行状态信息,并将采集的飞行状态信息发送至所述多模态信号处理模块,由所述多模态信号处理模块以可视化的方式向操控者展示所述受控扑翼飞行器当前的飞行状态。
进一步地,所述飞行状态信息包括受控扑翼飞行器的飞行姿态和飞行高度。
进一步地,所述多模态信号处理模块用于根据所述飞行状态信息生成实时姿态及高度曲线。
进一步地,所述多模态信号同步采集模块包括Emotiv脑电设备、姿态传感器和航模遥控器;
所述Emotiv脑电设备佩戴于操控者的头部,用于采集操控者的脑电信号和眼动信号,并将采集的脑电信号和眼动信号发送至所述多模态信号处理模块;
所述姿态传感器设置在所述Emotiv脑电设备上,用于采集操控者的头动信号,并将采集的头动信号发送至所述多模态信号处理模块;
所述航模遥控器用于接收操控者的手动操控信号,并将接收的手动操控信号发送至所述多模态信号处理模块;其中,所述航模遥控器包括两个控制摇杆,其中一个控制摇杆用于控制所述受控扑翼飞行器的飞行高度,另外一个控制摇杆用于控制所述受控扑翼飞行器的飞行姿态。
进一步地,所述多模态信号处理模块具体用于:
解析所述多模态信号同步采集模块采集的操控信号,并根据操控者的选择指令确定当前要使用的操控信号,识别操控者的操控意图,生成控制指令。
进一步地,解析所述多模态信号同步采集模块采集的操控信号,包括:
对所述Emotiv脑电设备采集的脑电信号依次进行滤波、特征提取和分类,获得操控者当前的运动想象状态;其中,所述运动想象状态包括:平静状态、左手运动想象、右手运动想象、舌部运动想象和足部运动想象;
对所述Emotiv脑电设备采集的眼动信号依次进行滤波、特征提取和分类,获得操控者当前的眼动状态;其中,所述眼动状态包括:平静状态、左眼眨动、右眼眨动、双眼眨动和皱眉;
对所述姿态传感器采集的头动信号进行解析,获取操控者当前头部相对于初始状态时的俯仰角度和水平偏转角度;
对所述航模遥控器接收的手动操控信号进行解析,获取所述航模遥控器的两个控制摇杆的摆动角度。
进一步地,所述识别操控者的操控意图,生成控制指令,包括:
当操控者选择一种操控信号时,按照当前要使用的操控信号与控制指令的映射关系,生成相应的控制指令;当操控者选择多种操控信号时,分别按照当前要使用的每一操控信号与控制指令的映射关系,确定每一操控信号对应的控制效果,并将各操控信号对应的控制效果叠加,生成相应的控制指令。
进一步地,脑电信号与控制指令的映射关系为:左手运动想象对应受控扑翼飞行器左转30度指令,右手运动想象对应受控扑翼飞行器右转30度指令,舌部运动想象对应受控扑翼飞行器盘旋指令,足部运动想象对应受控扑翼飞行器起飞或降落指令;
眼动信号与控制指令的映射关系为:左眼眨动对应受控扑翼飞行器左转30度指令,右眼眨动对应受控扑翼飞行器右转30度指令,皱眉对应受控扑翼飞行器盘旋指令,双眼眨动对应受控扑翼飞行器起飞或降落指令;
头动信号与控制指令的映射关系为:头部水平偏转角度对应受控扑翼飞行器的转动角度指令,头部俯仰角度对应受控扑翼飞行器的高度升降指令。
进一步地,当运动想象状态为平静状态时,无控制指令产生;
当眼动状态为平静状态时,无控制指令产生;
当头部姿态位于初始状态时,无控制指令产生;
当航模遥控器的两个控制摇杆均处于中值状态时,无控制指令产生。
本发明提供的技术方案带来的有益效果至少包括:
1、本发明首次将脑电信号、眼动信号、头动信号和手动操控信号进行结合,可以选择以上四种信号中的一种或多种进行飞行控制,弥补了使用单一信号进行扑翼飞行器控制时,稳定性差或操控者容易产生疲劳的问题,更能满足在不同环境下扑翼飞行器的控制要求,在不同的环境下选择不同的控制方法,可以有效提高控制效果和操控者的控制体验;具体地,使用脑电信号进行单独控制,使操控者完全突破肢体束缚,融合度极高,但是容易受环境干扰,稳定性较差,适合安静的操控环境;使用眼动信号进行单独控制的融合度较高,稳定性比运动想象信号更高,适合较安静的操控环境;使用头动信号进行单独控制,可以完全解放操控者的双手,且稳定性高,适合一般环境;使用手动遥控进行单独控制,稳定性极高,适合其他复杂的工作环境;除此之外,本发明的系统可以选择利用任意多种信号同时进行控制,以提高控制的灵敏度和效率,避免操控者长时间使用单一控制方式产生疲劳感,改善了操控者控制体验。
2、本发明首次提出了面向扑翼飞行器的多模态控制方案,将四种信号映射到扑翼飞行器的控制命令,且利用机载扑翼飞行器控制模块对扑翼飞行器进行闭环反馈控制,保证了控制命令的精准执行,使扑翼飞行器的控制多样且高效。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明第一实施例提供的面向扑翼飞行器的多模态控制系统的结构框图;
图2为本发明第二实施例提供的面向扑翼飞行器的多模态控制系统实现扑翼飞行器飞行控制的流程示意图;
图3为本发明第二实施例提供的多模态控制信号处理模块中上位机软件的功能界面示意图;
图4为本发明第二实施例提供的机载扑翼飞行器控制模块对受控扑翼飞行器进行闭环反馈控制的控制原理示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
第一实施例
本实施例提供了一种面向扑翼飞行器的多模态控制系统,如图1所示,该面向扑翼飞行器的多模态控制系统包括:多模态信号同步采集模块、多模态信号处理模块,以及搭载在受控扑翼飞行器上的机载扑翼飞行器控制模块;其中,
多模态信号同步采集模块用于捕获操控者发出的多模态操控信号,并将捕获的多模态操控信号发送至多模态信号处理模块;其中,多模态操控信号包括:操控者通过运动想象产生的脑电信号、操控者通过眼部运动产生的眼动信号、操控者通过改变头部姿态产生的头动信号和操控者的手动操控信号;
多模态信号处理模块用于基于多模态操控信号中的至少一种信号,生成控制指令,并将控制指令发送至机载扑翼飞行器控制模块;
机载扑翼飞行器控制模块用于根据控制指令控制受控扑翼飞行器的飞行状态,使得受控扑翼飞行器按照操控者的意愿执行相应的飞行动作。
本实施例的多模态控制系统将脑电信号、眼动信号、头动信号和手动操控信号进行结合,可以选择以上四种信号中的一种或多种进行飞行控制,弥补了使用单一信号进行扑翼飞行器控制时,稳定性差或操控者容易产生疲劳的问题,更能满足在不同环境下扑翼飞行器的控制要求,在不同的环境下选择不同的控制方法,可以有效提高控制效果和操控者的控制体验;提高控制的灵敏度和效率,避免操控者长时间使用单一控制方式产生疲劳感,改善了操控者控制体验。
第二实施例
本实施例面向仿生扑翼飞行器,针对现有单一控制方法的局限性,搭建了一套多模态控制系统,该系统旨在通过对操控者的运动想象、眼动、头动和手动遥控多模态信号同步采集、同步在线分析、选择及融合等关键技术,提供高效且可靠的扑翼飞行任务执行能力,解决单一控制方法的局限性,兼顾可靠性和舒适性。该多模态控制系统包括:多模态信号同步采集模块、多模态信号处理模块,以及搭载在受控扑翼飞行器上的机载扑翼飞行器控制模块;其中,
多模态信号同步采集模块用于捕获操控者发出的多模态操控信号,并将捕获的多模态操控信号发送至多模态信号处理模块;其中,多模态操控信号包括:操控者通过运动想象产生的脑电信号、操控者通过眼部运动产生的眼动信号、操控者通过改变头部姿态产生的头动信号和操控者的手动操控信号;
多模态信号处理模块用于基于多模态操控信号中的至少一种信号,生成控制指令,并将控制指令发送至机载扑翼飞行器控制模块;
机载扑翼飞行器控制模块用于根据控制指令控制受控扑翼飞行器的飞行状态,使得受控扑翼飞行器按照操控者的意愿执行相应的飞行动作;同时,机载扑翼飞行器控制模块还用于采集受控扑翼飞行器的飞行状态信息,并将采集的飞行状态信息发送至多模态信号处理模块,由多模态信号处理模块以可视化的方式向操控者展示受控扑翼飞行器当前的飞行状态。
具体地,请参阅图2至图4,本实施例中,如图2所示,多模态信号同步采集模块与多模态信号处理模块之间采用蓝牙通信的方式进行通信,多模态信号处理模块与机载扑翼飞行器控制模块之间采用无线串口通信的方式进行通信。
多模态信号同步采集模块由Emotiv开源脑电设备、姿态传感器和航模遥控器组成;其中,Emotiv开源脑电设备通过14个电极通道与操控者头皮接触,可以获取操控者的大脑脉冲信号,包括脑电信号和眼动信号,Emotiv脑电设备内置信号预处理模块和蓝牙通信模块;其中,信号预处理模块对电极采集到的电信号进行滤波,去除噪声,得到质量更高的脑电信号和眼动信号,并通过蓝牙通信模块将处理过的脑电信号和眼动信号实时发送到多模态信号处理模块;姿态传感器固定在Emotiv脑电设备上,通过Emotiv脑电设备中的电源模块进行供电,该姿态传感器由MPU6050六轴姿态传感器、控制板、蓝牙通信模块组成;其中,MPU6050六轴姿态传感器用于获取操控者的头部姿态信息,控制板用于生成操控者的头动信号,并通过蓝牙通信模块将操控者的头动信号发送到多模态信号处理模块;航模遥控器包括两个控制摇杆和蓝牙通信模块,两个控制摇杆可以产生双通道的控制信号,其中一个控制摇杆用于控制受控扑翼飞行器的飞行高度,另外一个控制摇杆用于控制受控扑翼飞行器的飞行姿态;蓝牙通信模块用于将航模遥控器产生的控制信号发送到多模态信号处理模块。
多模态信号处理模块为便携式设备,其由树莓派、通信模块及电源模块组成,树莓派中安装Linux操作系统,并安装上位机软件,上位机软件的界面如图3所示,上位机软件的功能包括:同步解析多模态信号同步采集模块传来的多模态操控信号,并根据操控者的选择指令确定当前要使用的操控信号,识别操控者的操控意图,生成控制指令;并且实时接收和显示由机载扑翼飞行器控制模块发送的受控扑翼飞行器的飞行状态信息;其中,飞行状态信息包括受控扑翼飞行器的飞行姿态和飞行高度。具体地,在本实施例中,多模态信号处理模块向操控者显示受控扑翼飞行器的飞行状态信息的方式为:根据机载扑翼飞行器控制模块发送的受控扑翼飞行器的飞行姿态信息和飞行高度信息,生成受控扑翼飞行器的实时姿态及高度曲线,并在上位机界面显示。
具体地,如图2所示,多模态信号处理模块的工作流程为:
步骤1,通过自身的通信模块接收多模态信号采集模块传来的脑电信号、眼动信号、头动信号和手动操控信号,并将接收的信号传到上位机软件;
步骤2,上位机软件对Emotiv脑电设备采集的操控者的脑电信号和眼动信号分别依次进行滤波、特征提取和分类处理,以获得操控者当前的运动想象状态和眼动状态;其中,运动想象状态包括:平静状态、左手运动想象、右手运动想象、舌部运动想象和足部运动想象;眼动状态包括:平静状态、左眼眨动、右眼眨动、双眼眨动和皱眉;
步骤3,上位机软件对多模态信号同步采集模块中的姿态传感器采集的头动信号进行解析,获取操控者当前头部相对于初始状态的俯仰角和水平偏转角度;
步骤4,上位机软件对航模遥控器接收的手动操控信号进行解析,获取航模遥控器的两个控制摇杆的摆动角度;
步骤5,操控者通过上位机软件的信号选择界面选择当前想要使用的操控信号,可选择四种操控信号中的一种或多种,当操控者选择一种操控信号时,上位机软件按照被选信号与扑翼飞行器控制指令的映射关系生成控制指令,当操控者选择多于一种操控信号时,上位机软件分别按照当前要使用的每一操控信号与控制指令的映射关系,确定每一操控信号对应的控制效果,并将各操控信号对应的控制效果叠加,生成相应的控制指令。并通过多模态信号处理模块的通信模块将控制指令发送到机载扑翼飞行器控制模块;
步骤6,通过自身的通信模块接收机载扑翼飞行器控制模块传回的飞行器姿态和高度信息,进行解算,生成实时姿态及高度曲线,在上位机界面显示。
其中,需要说明的是,本实施例中,上述步骤2、步骤3和步骤4同步进行。
具体地,在本实施例中,操控信号与扑翼飞行器控制指令的映射关系如下:
脑电信号与控制指令的映射关系为:左手运动想象对应扑翼飞行器左转30度指令,右手运动想象对应扑翼飞行器右转30度指令,舌部运动想象对应扑翼飞行器盘旋指令,足部运动想象对应扑翼飞行器起飞、降落指令;
眼动信号与控制指令的映射关系为:左眼眨动对应扑翼飞行器左转30度指令,右眼眨动对应扑翼飞行器右转30度指令,皱眉对应扑翼飞行器盘旋指令,双眼眨动对应扑翼飞行器起飞、降落指令;
头动信号与控制指令的映射关系为:头部水平偏转角度对应扑翼飞行器的转动角度指令,头部俯仰角度对应扑翼飞行器的高度升降指令;
航模遥控器的两个控制摇杆的输出信号分别对应扑翼飞行器的偏转角度指令(转向指令)和高度升降指令;
其中,当运动想象状态为平静状态时,无控制指令产生;当眼动状态为平静状态时,无控制指令产生;当头部姿态位于初始状态时,无控制指令产生;当航模遥控器的两个控制摇杆均处于中值状态时,无控制指令产生。
机载扑翼飞行器控制模块固定在受控扑翼飞行器上,由STM32芯片及飞控板、JY-901姿态传感器、通信模块组成,其中,JY-901姿态传感器固定在飞控板上,可以获取三轴加速度、三轴角速度、三轴磁场及海拔高度等数据,作用是采集当前扑翼飞行器的飞行姿态信息和飞行高度信息;通信模块的作用是接收多模态信号处理模块发来的控制指令,并且将JY-901传感器获取到的飞行姿态信息和飞行高度信息发送给多模态信号处理模块;STM32芯片及飞控板的作用是将多模态信号处理模块发来的控制指令转换成受控扑翼飞行器的电机和舵机的PWM控制信号,驱动扑翼飞行器内部的电机和舵机转动,并实时接收和处理扑翼飞行器当前的高度和姿态,形成闭环反馈控制,如图4所示。
在接收到控制指令后,受控扑翼飞行器可在机载扑翼飞行器控制模块的闭环控制下实现左转、右转、盘旋和起飞降落等运动。
其中,受控扑翼飞行器由机身、电机减速组驱动的扑翼机构、舵机驱动的可调节尾翼组成,电机在机载扑翼飞行器控制模块的STM32芯片及飞控板的驱动下转动,带动受控扑翼飞行器的扑翼机构往复扑动,为受控扑翼飞行器提供升力和推力,舵机在机载扑翼飞行器控制模块的STM32芯片及飞控板的驱动下带动受控扑翼飞行器的尾翼偏航面左右摆动,改变受控扑翼飞行器的飞行方向。
具体地,在本实施例中,受控扑翼飞行器的飞行状态分为六种,分别为起飞状态、匀速直线运动状态、左转状态、右转状态、原地盘旋状态和降落状态。
其中,在起飞状态,受控扑翼飞行器的机翼扑动频率逐渐增大,飞行高度逐渐升高,当到达设定高度后,受控扑翼飞行器在机载扑翼飞行器控制模块的闭环控制下进行定高匀速直线飞行;在匀速直线运动状态,机载扑翼飞行器控制模块在接收到多模态信号处理模块发来的左转角度或右转角度后,驱动受控扑翼飞行器的尾翼偏航舵机,舵机臂转动带动尾翼偏航面摆动,实现受控扑翼飞行器的转向,实现左转状态或右转状态;在原地盘旋状态,机载扑翼飞行器控制模块接收到盘旋指令后,驱动受控扑翼飞行器的尾翼偏航舵机,舵机臂转动带动尾翼偏航面摆动,控制扑翼飞行器从当前位置开始向左做定半径圆周运动,待接收到新的控制指定后,扑翼飞行器完成当前一整圈的盘旋,回到盘旋起点后执行新的控制命令,受控扑翼飞行器进入新的飞行状态;在降落状态,受控扑翼飞行器的机翼扑动频率逐渐降低,飞行高度降低,直至降落到地面。
基于上述,本实施例的多模态控制系统的使用步骤如下:
S1,给整个控制系统上电,完成多模态信号同步采集模块中各个模块与多模态信号处理模块间的蓝牙连接,并完成多模态信号处理模块与机载扑翼飞行器控制模块间的无线串口连接,实现系统内各个模块正常通信;
S2,受控扑翼飞行器上电后进入起飞准备状态,等待多模态信号处理模块发出起飞指令即可进入起飞状态;
S3,操控者通过上位机中的信号选择界面,选择脑电信号、眼动信号、头动信号和手动遥控信号中的一种或多种,作为当前想要使用的控制信号;
S4,操控者正确佩戴Emotiv脑电设备,调整Emotiv脑电设备电极的位置,使Emotiv脑电设备的电极与操控者头皮贴紧,直至上位机中显示的信号质量大于90,此时Emotiv脑电设备可以采集操控者的脑电信号和眼动信号,并将采集的信号发送给多模态信号处理模块;同时还可以通过姿态传感器和航模遥控器向多模态信号处理模块发送操控者头动信号和手动操控信号;
S5,多模态信号处理模块根据多模态信号同步采集模块采集的多模态操控信号产生飞行器控制指令,并将控制指令发送至机载扑翼飞行器控制模块;
当操控者利用脑电信号控制扑翼飞行器时,首先在上位机软件中选择脑电控制,然后根据飞行器当前状态确定期望的飞行器控制指令,随后进行相应的运动想象,以产生控制指令;操控者运动想象状态和扑翼飞行器的目标飞行状态的对应关系为:进行一次左手运动想象,扑翼飞行器左转30度,然后回到匀速直线运动状态;进行一次右手运动想象,扑翼飞行器右转30度,然后回到匀速直线运动状态;进行一次舌部运动想象,扑翼飞行器将进入盘旋状态;进行足部运动想象,控制扑翼飞行器的起飞和降落,具体地,当扑翼飞行器处于飞行状态时,进行一次足部运动想象后,扑翼飞行器进入降落状态,当扑翼飞行器处在起飞准备状态时,进行一次足部运动想象后扑翼飞行器切换到起飞状态;
当操控者利用眼动信号控制扑翼飞行器时,首先在上位机软件中选择眼动控制,然后根据扑翼飞行器当前状态确定期望的飞行器控制指令,随后进行相应的眼部运动,以产生控制指令;眼部运动状态和扑翼飞行器的目标飞行状态的对应关系为:左眼眨动一次,扑翼飞行器左转30度;右眼眨动一次,扑翼飞行器右转30度;皱眉一次,扑翼飞行器进入盘旋状态;通过双眼眨动,控制扑翼飞行器起飞和降落,具体地,当扑翼飞行器处在飞行状态时,进行一次双眼眨动后,扑翼飞行器进入降落状态,当扑翼飞行器处在飞行准备状态时,进行一次双眼眨动后,扑翼飞行器进入起飞状态;
当操控者利用头部姿态控制扑翼飞行器时,首先在上位机软件中选择头部姿态控制,然后确定期望的飞行器控制指令,通过上下左右转动头部产生控制命令;在使用头部姿态控制扑翼飞行器之前,操控者应先将头部转到舒适的角度,并按下上位机软件的“重置”按钮,以设定当前头部姿态为初始状态;操控者头部姿态和扑翼飞行器飞行状态的对应关系为:当操控者头部保持在初始状态时,飞行器处于飞行准备状态;操控者头部上仰,飞行器机翼扑动频率升高,扑动频率与头部上仰角度成正比,扑动频率最高为8Hz;操控者头部左右转动对应飞行器飞行方向,飞行器转弯的角度与头部左右转动的角度相等;
当操控者使用航模遥控器控制扑翼飞行器时,首先在上位机软件中选择遥控控制,然后确定期望的飞行器控制指令,通过控制左右摇杆产生控制指令;
其中,航模遥控器有两个控制摇杆,摇杆位置与扑翼飞行器飞行状态的对应关系为:右摇杆控制扑翼飞行器的机翼扑动频率,摇杆上调,飞行器机翼扑动频率增大,飞行器飞行高度升高;左摇杆控制扑翼飞行器的飞行方向,左摇杆向左,扑翼飞行器左转,左摇杆向右,扑翼飞行器右转,且左摇杆角度摆动角度越大,扑翼飞行器转弯速度越快。
当操控者在上位机软件中选择了一种操控信号时,按照被选信号与控制指令设定的映射关系,生成控制指令,当选择多于一种操控信号时,将被选的多种操控信号控制效果进行叠加,生成控制指令,以控制扑翼飞行器飞行。
S6,机载扑翼飞行器控制模块根据控制指令,生成控制扑翼飞行器的电机和舵机的PWM信号,控制扑翼飞行器内部的电机转速和舵机臂角度,进而控制扑翼频率和尾翼偏航面的摆动角度,改变扑翼飞行器的飞行状态;同时,机载扑翼飞行器控制模块实时采集当前扑翼飞行器的飞行姿态和飞行高度信息,通过HC-12无线串口通信将采集的飞行姿态和飞行高度信息发送到多模态信号处理模块,由上位机软件对当前扑翼飞行器的飞行姿态和飞行高度信息进行解算,得到扑翼飞行器当前的俯仰角、偏航角和滚转角以及海拔高度,以曲线图的形式实时显示;从而形成闭环控制,保证控制的精确度。
综上,本实施例的多模态控制系统将脑电信号、眼动信号、头动信号和手动操控信号进行结合,可以选择以上四种信号中的一种或多种进行飞行控制,弥补了使用单一信号进行扑翼飞行器控制时,稳定性差或操控者容易产生疲劳的问题,更能满足在不同环境下扑翼飞行器的控制要求,在不同的环境下选择不同的控制方法,可以有效提高控制效果和操控者的控制体验;提高控制的灵敏度和效率,避免操控者长时间使用单一控制方式产生疲劳感,改善了操控者控制体验。并且,本实施例利用机载扑翼飞行器控制模块对扑翼飞行器进行闭环反馈控制,保证了控制命令的精准执行,使扑翼飞行器的控制多样且高效。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是,以上所述是本发明优选实施方式,应当指出,尽管已描述了本发明优选实施例,但对于本技术领域的技术人员来说,一旦得知了本发明的基本创造性概念,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
Claims (1)
1.一种面向扑翼飞行器的多模态控制系统,其特征在于,所述面向扑翼飞行器的多模态控制系统包括:多模态信号同步采集模块、多模态信号处理模块,以及搭载在受控扑翼飞行器上的机载扑翼飞行器控制模块;其中,
所述多模态信号同步采集模块用于捕获操控者发出的多模态操控信号,并将捕获的多模态操控信号发送至所述多模态信号处理模块;其中,所述多模态操控信号包括操控者通过运动想象产生的脑电信号、操控者通过眼部运动产生的眼动信号、操控者通过改变头部姿态产生的头动信号和操控者的手动操控信号;
所述多模态信号处理模块用于基于所述多模态操控信号中的至少一种信号,生成控制指令,并将所述控制指令发送至所述机载扑翼飞行器控制模块;
所述机载扑翼飞行器控制模块用于根据所述控制指令控制受控扑翼飞行器的飞行状态,使得所述受控扑翼飞行器按照操控者的意愿执行相应的飞行动作;
所述多模态信号同步采集模块包括Emotiv脑电设备、姿态传感器和航模遥控器;
所述Emotiv脑电设备佩戴于操控者的头部,用于采集操控者的脑电信号和眼动信号,并将采集的脑电信号和眼动信号发送至所述多模态信号处理模块;
所述姿态传感器设置在所述Emotiv脑电设备上,用于采集操控者的头动信号,并将采集的头动信号发送至所述多模态信号处理模块;
所述航模遥控器用于接收操控者的手动操控信号,并将接收的手动操控信号发送至所述多模态信号处理模块;其中,所述航模遥控器包括两个控制摇杆,其中一个控制摇杆用于控制所述受控扑翼飞行器的飞行高度,另外一个控制摇杆用于控制所述受控扑翼飞行器的飞行姿态;
所述多模态信号处理模块具体用于:
解析所述多模态信号同步采集模块采集的操控信号,并根据操控者的选择指令确定当前要使用的操控信号,识别操控者的操控意图,生成控制指令;
解析所述多模态信号同步采集模块采集的操控信号,包括:
对所述Emotiv脑电设备采集的脑电信号依次进行滤波、特征提取和分类,获得操控者当前的运动想象状态;其中,所述运动想象状态包括:平静状态、左手运动想象、右手运动想象、舌部运动想象和足部运动想象;
对所述Emotiv脑电设备采集的眼动信号依次进行滤波、特征提取和分类,获得操控者当前的眼动状态;其中,所述眼动状态包括:平静状态、左眼眨动、右眼眨动、双眼眨动和皱眉;
对所述姿态传感器采集的头动信号进行解析,获取操控者当前头部相对于初始状态时的俯仰角度和水平偏转角度;
对所述航模遥控器接收的手动操控信号进行解析,获取所述航模遥控器的两个控制摇杆的摆动角度;
所述识别操控者的操控意图,生成控制指令,包括:
当操控者选择一种操控信号时,按照当前要使用的操控信号与控制指令的映射关系,生成相应的控制指令;当操控者选择多种操控信号时,分别按照当前要使用的每一操控信号与控制指令的映射关系,确定每一操控信号对应的控制效果,并将各操控信号对应的控制效果叠加,生成相应的控制指令;
脑电信号与控制指令的映射关系为:左手运动想象对应受控扑翼飞行器左转30度指令,右手运动想象对应受控扑翼飞行器右转30度指令,舌部运动想象对应受控扑翼飞行器盘旋指令,足部运动想象对应受控扑翼飞行器起飞或降落指令;
眼动信号与控制指令的映射关系为:左眼眨动对应受控扑翼飞行器左转30度指令,右眼眨动对应受控扑翼飞行器右转30度指令,皱眉对应受控扑翼飞行器盘旋指令,双眼眨动对应受控扑翼飞行器起飞或降落指令;
头动信号与控制指令的映射关系为:头部水平偏转角度对应受控扑翼飞行器的转动角度指令,头部俯仰角度对应受控扑翼飞行器的高度升降指令;
当运动想象状态为平静状态时,无控制指令产生;
当眼动状态为平静状态时,无控制指令产生;
当头部姿态位于初始状态时,无控制指令产生;
当航模遥控器的两个控制摇杆均处于中值状态时,无控制指令产生;
所述机载扑翼飞行器控制模块还用于采集所述受控扑翼飞行器的飞行状态信息,并将采集的飞行状态信息发送至所述多模态信号处理模块,由所述多模态信号处理模块以可视化的方式向操控者展示所述受控扑翼飞行器当前的飞行状态;
所述飞行状态信息包括所述受控扑翼飞行器的飞行姿态和飞行高度;
所述多模态信号处理模块用于根据所述飞行状态信息生成实时姿态及高度曲线;
所述机载扑翼飞行器控制模块还用于根据实时接收的扑翼飞行器当前的高度和姿态,形成闭环反馈控制,实现左转、右转、盘旋和起飞降落。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110716226.1A CN113253750B (zh) | 2021-06-28 | 2021-06-28 | 一种面向扑翼飞行器的多模态控制系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110716226.1A CN113253750B (zh) | 2021-06-28 | 2021-06-28 | 一种面向扑翼飞行器的多模态控制系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113253750A CN113253750A (zh) | 2021-08-13 |
CN113253750B true CN113253750B (zh) | 2021-11-05 |
Family
ID=77189795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110716226.1A Active CN113253750B (zh) | 2021-06-28 | 2021-06-28 | 一种面向扑翼飞行器的多模态控制系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113253750B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113867378A (zh) * | 2021-09-30 | 2021-12-31 | 江苏集萃脑机融合智能技术研究所有限公司 | 基于眼电的飞行器控制方法、控制系统及飞行装置 |
CN115808186B (zh) * | 2023-01-29 | 2023-05-23 | 中国空气动力研究与发展中心高速空气动力研究所 | 一种扑翼飞行器距离测量结果的校正方法 |
CN117032303B (zh) * | 2023-08-14 | 2024-04-30 | 北京科技大学 | 一种基于视觉引导的扑翼飞行机器人自主降落方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106671084B (zh) * | 2016-12-20 | 2019-11-15 | 华南理工大学 | 一种基于脑机接口的机械臂自主辅助方法 |
CN106940593B (zh) * | 2017-02-20 | 2019-10-11 | 上海大学 | 基于VC++和Matlab混合编程的Emotiv脑控无人机系统及方法 |
DE102018002782A1 (de) * | 2018-04-06 | 2019-10-10 | Peter Jüstel | Flugsystem |
CN109085766A (zh) * | 2018-08-24 | 2018-12-25 | 赵小川 | 一种多模态无人机人机交互操控半实物仿真系统及方法 |
CN109623835B (zh) * | 2018-12-05 | 2023-08-29 | 济南大学 | 基于多模态信息融合的轮椅机械手系统 |
CN110083241B (zh) * | 2019-04-26 | 2022-02-11 | 南京邮电大学 | 一种用于vr头盔控制无人机运动的映射机制 |
CN110716578A (zh) * | 2019-11-19 | 2020-01-21 | 华南理工大学 | 一种基于混合型脑机接口的飞行器控制系统及其控制方法 |
CN112817322A (zh) * | 2020-12-31 | 2021-05-18 | 珠海紫燕无人飞行器有限公司 | 一种头戴式无人直升机控制系统及其控制方法 |
-
2021
- 2021-06-28 CN CN202110716226.1A patent/CN113253750B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113253750A (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113253750B (zh) | 一种面向扑翼飞行器的多模态控制系统 | |
CN205891228U (zh) | 一种飞行机器人 | |
CN103365295B (zh) | 基于dsp的四旋翼无人飞行器自主悬停控制系统及方法 | |
CN110687902B (zh) | 用于免控制器式用户无人机交互的系统和方法 | |
JP7265017B2 (ja) | 無人飛行システム及び無人飛行システムに用いられる制御システム | |
WO2017157313A1 (zh) | 一种可穿戴设备、无人机控制装置和控制实现方法 | |
CN106647790A (zh) | 面向复杂环境的四旋翼无人机飞行器系统及飞行方法 | |
CN104597912A (zh) | 一种六旋翼无人直升机跟踪飞行控制系统及方法 | |
CN105817037B (zh) | 一种基于肌电控制的玩具飞行器及其控制方法 | |
CN108415565A (zh) | 无人机脑机一体化智能控制方法与技术 | |
CN104898524A (zh) | 基于手势的无人机遥控系统 | |
CN109164829A (zh) | 一种基于力反馈装置和vr感知的飞行机械臂系统及控制方法 | |
CN102789709A (zh) | 飞行模拟器多轴无线运动方法的机械结构 | |
CN105204514A (zh) | 一种新型倾转旋翼无人机姿态控制系统 | |
CN105843252A (zh) | 无人驾驶飞机系统及其飞行控制方法 | |
WO2019073417A1 (en) | AERIAL SYSTEM COMPRISING A FOLDING FRAME ARCHITECTURE | |
De Nardi et al. | Swarmav: A swarm of miniature aerial vehicles | |
CN108058825A (zh) | 一种可前后扫掠式的扑翼飞行器装置 | |
Deng et al. | A VR-based BCI interactive system for UAV swarm control | |
CN109044753A (zh) | 一种人机体感交互导盲机器人及工作方法 | |
CN209814271U (zh) | 一种四自由度扑翼飞行器装置 | |
CN112061390B (zh) | 仿蝙蝠柔性变形扑翼机器人的飞行控制装置及控制方法 | |
Sato et al. | A simple autonomous flight control of multicopter using only web camera | |
CN204856212U (zh) | 一种四旋翼飞行系统 | |
CN205521430U (zh) | 一种高度方位自适应的服务机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |