CN113253750A - 一种面向扑翼飞行器的多模态控制系统 - Google Patents

Abstract

本发明公开了一种面向扑翼飞行器的多模态控制系统，包括多模态信号同步采集模块、多模态信号处理模块以及搭载在受控扑翼飞行器上的机载扑翼飞行器控制模块；其中，多模态信号同步采集模块用于捕获操控者发出的多模态操控信号并将捕获的多模态操控信号发送至多模态信号处理模块；多模态信号处理模块用于基于多模态操控信号中的至少一种信号，生成控制指令，并将控制指令发送至机载扑翼飞行器控制模块；机载扑翼飞行器控制模块用于根据控制指令控制受控扑翼飞行器的飞行状态，使得受控扑翼飞行器按照操控者的意愿执行相应的飞行动作。本发明可以兼顾飞行控制的稳定性、智能性和舒适性。

Description

一种面向扑翼飞行器的多模态控制系统

技术领域

本发明涉及仿生扑翼飞行器控制技术领域，特别涉及一种面向扑翼飞行器的多模态控制系统。

背景技术

二十世纪以来，脑-机接口作为新兴的人机交互模式被逐渐研究开发，这一根据人的意志自由控制外围设备的新型交互方式在无人机控制领域也被应用，但是目前的控制方式主要是脑电单独控制无人机或者脑电和肌电信号结合控制无人机，这种只利用脑电信号或肌电信号进行无人机控制的方法稳定性低，很容易受外部环境的干扰，造成信号识别率低，控制效果差。

仿生扑翼飞行器是一种新型的无人飞行器，与传统旋翼和固定翼飞机相比，仿生扑翼飞行器飞行效率更高，灵活性也更好，适合执行更长时间、更远距离的飞行任务，其仿生的外形使其有更好的隐蔽性，在民用和国防军事领域有着非常广泛的应用前景，目前仿生扑翼飞行器大多采用遥控器手动进行飞行控制，控制方式单一，长时间的手动遥控容易产生疲劳，并且对操控者有很强的约束性，操控者必须全神贯注进行手动遥控，无法进行其他工作；另外，仿生扑翼飞行器的驱动与其他飞行器不同，其空气动力更为复杂，控制难度更大，仅利用脑电和肌电信号很难保证起飞-高空飞行-降落这一整个飞行过程的准确控制。

发明内容

本发明提供了一种面向扑翼飞行器的多模态控制系统，以解决现有的扑翼飞行器控制方法所存在的控制方式单一，操控者容易产生疲劳，对操控者有很强的约束性，以及控制准确度及舒适性不够高的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一种面向扑翼飞行器的多模态控制系统，所述面向扑翼飞行器的多模态控制系统包括：多模态信号同步采集模块、多模态信号处理模块，以及搭载在受控扑翼飞行器上的机载扑翼飞行器控制模块；其中，

所述多模态信号同步采集模块用于捕获操控者发出的多模态操控信号，并将捕获的多模态操控信号发送至所述多模态信号处理模块；其中，所述多模态操控信号包括操控者通过运动想象产生的脑电信号、操控者通过眼部运动产生的眼动信号、操控者通过改变头部姿态产生的头动信号和操控者的手动操控信号；

所述多模态信号处理模块用于基于所述多模态操控信号中的至少一种信号，生成控制指令，并将所述控制指令发送至所述机载扑翼飞行器控制模块；

所述机载扑翼飞行器控制模块用于根据所述控制指令控制受控扑翼飞行器的飞行状态，使得所述受控扑翼飞行器按照操控者的意愿执行相应的飞行动作。

进一步地，所述机载扑翼飞行器控制模块还用于采集所述受控扑翼飞行器的飞行状态信息，并将采集的飞行状态信息发送至所述多模态信号处理模块，由所述多模态信号处理模块以可视化的方式向操控者展示所述受控扑翼飞行器当前的飞行状态。

进一步地，所述飞行状态信息包括受控扑翼飞行器的飞行姿态和飞行高度。

进一步地，所述多模态信号处理模块用于根据所述飞行状态信息生成实时姿态及高度曲线。

进一步地，所述多模态信号同步采集模块包括Emotiv脑电设备、姿态传感器和航模遥控器；

所述Emotiv脑电设备佩戴于操控者的头部，用于采集操控者的脑电信号和眼动信号，并将采集的脑电信号和眼动信号发送至所述多模态信号处理模块；

所述姿态传感器设置在所述Emotiv脑电设备上，用于采集操控者的头动信号，并将采集的头动信号发送至所述多模态信号处理模块；

所述航模遥控器用于接收操控者的手动操控信号，并将接收的手动操控信号发送至所述多模态信号处理模块；其中，所述航模遥控器包括两个控制摇杆，其中一个控制摇杆用于控制所述受控扑翼飞行器的飞行高度，另外一个控制摇杆用于控制所述受控扑翼飞行器的飞行姿态。

进一步地，所述多模态信号处理模块具体用于：

解析所述多模态信号同步采集模块采集的操控信号，并根据操控者的选择指令确定当前要使用的操控信号，识别操控者的操控意图，生成控制指令。

进一步地，解析所述多模态信号同步采集模块采集的操控信号，包括：

对所述Emotiv脑电设备采集的脑电信号依次进行滤波、特征提取和分类，获得操控者当前的运动想象状态；其中，所述运动想象状态包括：平静状态、左手运动想象、右手运动想象、舌部运动想象和足部运动想象；

对所述Emotiv脑电设备采集的眼动信号依次进行滤波、特征提取和分类，获得操控者当前的眼动状态；其中，所述眼动状态包括：平静状态、左眼眨动、右眼眨动、双眼眨动和皱眉；

对所述姿态传感器采集的头动信号进行解析，获取操控者当前头部相对于初始状态时的俯仰角度和水平偏转角度；

对所述航模遥控器接收的手动操控信号进行解析，获取所述航模遥控器的两个控制摇杆的摆动角度。

进一步地，所述识别操控者的操控意图，生成控制指令，包括：

当操控者选择一种操控信号时，按照当前要使用的操控信号与控制指令的映射关系，生成相应的控制指令；当操控者选择多种操控信号时，分别按照当前要使用的每一操控信号与控制指令的映射关系，确定每一操控信号对应的控制效果，并将各操控信号对应的控制效果叠加，生成相应的控制指令。

进一步地，脑电信号与控制指令的映射关系为：左手运动想象对应受控扑翼飞行器左转30度指令，右手运动想象对应受控扑翼飞行器右转30度指令，舌部运动想象对应受控扑翼飞行器盘旋指令，足部运动想象对应受控扑翼飞行器起飞或降落指令；

眼动信号与控制指令的映射关系为：左眼眨动对应受控扑翼飞行器左转30度指令，右眼眨动对应受控扑翼飞行器右转30度指令，皱眉对应受控扑翼飞行器盘旋指令，双眼眨动对应受控扑翼飞行器起飞或降落指令；

头动信号与控制指令的映射关系为：头部水平偏转角度对应受控扑翼飞行器的转动角度指令，头部俯仰角度对应受控扑翼飞行器的高度升降指令。

进一步地，当运动想象状态为平静状态时，无控制指令产生；

当眼动状态为平静状态时，无控制指令产生；

当头部姿态位于初始状态时，无控制指令产生；

当航模遥控器的两个控制摇杆均处于中值状态时，无控制指令产生。

本发明提供的技术方案带来的有益效果至少包括：

1、本发明首次将脑电信号、眼动信号、头动信号和手动操控信号进行结合，可以选择以上四种信号中的一种或多种进行飞行控制，弥补了使用单一信号进行扑翼飞行器控制时，稳定性差或操控者容易产生疲劳的问题，更能满足在不同环境下扑翼飞行器的控制要求，在不同的环境下选择不同的控制方法，可以有效提高控制效果和操控者的控制体验；具体地，使用脑电信号进行单独控制，使操控者完全突破肢体束缚，融合度极高，但是容易受环境干扰，稳定性较差，适合安静的操控环境；使用眼动信号进行单独控制的融合度较高，稳定性比运动想象信号更高，适合较安静的操控环境；使用头动信号进行单独控制，可以完全解放操控者的双手，且稳定性高，适合一般环境；使用手动遥控进行单独控制，稳定性极高，适合其他复杂的工作环境；除此之外，本发明的系统可以选择利用任意多种信号同时进行控制，以提高控制的灵敏度和效率，避免操控者长时间使用单一控制方式产生疲劳感，改善了操控者控制体验。

2、本发明首次提出了面向扑翼飞行器的多模态控制方案，将四种信号映射到扑翼飞行器的控制命令，且利用机载扑翼飞行器控制模块对扑翼飞行器进行闭环反馈控制，保证了控制命令的精准执行，使扑翼飞行器的控制多样且高效。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例提供的面向扑翼飞行器的多模态控制系统的结构框图；

图2为本发明第二实施例提供的面向扑翼飞行器的多模态控制系统实现扑翼飞行器飞行控制的流程示意图；

图3为本发明第二实施例提供的多模态控制信号处理模块中上位机软件的功能界面示意图；

图4为本发明第二实施例提供的机载扑翼飞行器控制模块对受控扑翼飞行器进行闭环反馈控制的控制原理示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

第一实施例

本实施例提供了一种面向扑翼飞行器的多模态控制系统，如图1所示，该面向扑翼飞行器的多模态控制系统包括：多模态信号同步采集模块、多模态信号处理模块，以及搭载在受控扑翼飞行器上的机载扑翼飞行器控制模块；其中，

多模态信号同步采集模块用于捕获操控者发出的多模态操控信号，并将捕获的多模态操控信号发送至多模态信号处理模块；其中，多模态操控信号包括：操控者通过运动想象产生的脑电信号、操控者通过眼部运动产生的眼动信号、操控者通过改变头部姿态产生的头动信号和操控者的手动操控信号；

多模态信号处理模块用于基于多模态操控信号中的至少一种信号，生成控制指令，并将控制指令发送至机载扑翼飞行器控制模块；

机载扑翼飞行器控制模块用于根据控制指令控制受控扑翼飞行器的飞行状态，使得受控扑翼飞行器按照操控者的意愿执行相应的飞行动作。

本实施例的多模态控制系统将脑电信号、眼动信号、头动信号和手动操控信号进行结合，可以选择以上四种信号中的一种或多种进行飞行控制，弥补了使用单一信号进行扑翼飞行器控制时，稳定性差或操控者容易产生疲劳的问题，更能满足在不同环境下扑翼飞行器的控制要求，在不同的环境下选择不同的控制方法，可以有效提高控制效果和操控者的控制体验；提高控制的灵敏度和效率，避免操控者长时间使用单一控制方式产生疲劳感，改善了操控者控制体验。

第二实施例

本实施例面向仿生扑翼飞行器，针对现有单一控制方法的局限性，搭建了一套多模态控制系统，该系统旨在通过对操控者的运动想象、眼动、头动和手动遥控多模态信号同步采集、同步在线分析、选择及融合等关键技术，提供高效且可靠的扑翼飞行任务执行能力，解决单一控制方法的局限性，兼顾可靠性和舒适性。该多模态控制系统包括：多模态信号同步采集模块、多模态信号处理模块，以及搭载在受控扑翼飞行器上的机载扑翼飞行器控制模块；其中，

多模态信号同步采集模块用于捕获操控者发出的多模态操控信号，并将捕获的多模态操控信号发送至多模态信号处理模块；其中，多模态操控信号包括：操控者通过运动想象产生的脑电信号、操控者通过眼部运动产生的眼动信号、操控者通过改变头部姿态产生的头动信号和操控者的手动操控信号；

多模态信号处理模块用于基于多模态操控信号中的至少一种信号，生成控制指令，并将控制指令发送至机载扑翼飞行器控制模块；

机载扑翼飞行器控制模块用于根据控制指令控制受控扑翼飞行器的飞行状态，使得受控扑翼飞行器按照操控者的意愿执行相应的飞行动作；同时，机载扑翼飞行器控制模块还用于采集受控扑翼飞行器的飞行状态信息，并将采集的飞行状态信息发送至多模态信号处理模块，由多模态信号处理模块以可视化的方式向操控者展示受控扑翼飞行器当前的飞行状态。

具体地，请参阅图2至图4，本实施例中，如图2所示，多模态信号同步采集模块与多模态信号处理模块之间采用蓝牙通信的方式进行通信，多模态信号处理模块与机载扑翼飞行器控制模块之间采用无线串口通信的方式进行通信。

多模态信号同步采集模块由Emotiv开源脑电设备、姿态传感器和航模遥控器组成；其中，Emotiv开源脑电设备通过14个电极通道与操控者头皮接触，可以获取操控者的大脑脉冲信号，包括脑电信号和眼动信号，Emotiv脑电设备内置信号预处理模块和蓝牙通信模块；其中，信号预处理模块对电极采集到的电信号进行滤波，去除噪声，得到质量更高的脑电信号和眼动信号，并通过蓝牙通信模块将处理过的脑电信号和眼动信号实时发送到多模态信号处理模块；姿态传感器固定在Emotiv脑电设备上，通过Emotiv脑电设备中的电源模块进行供电，该姿态传感器由MPU6050六轴姿态传感器、控制板、蓝牙通信模块组成；其中，MPU6050六轴姿态传感器用于获取操控者的头部姿态信息，控制板用于生成操控者的头动信号，并通过蓝牙通信模块将操控者的头动信号发送到多模态信号处理模块；航模遥控器包括两个控制摇杆和蓝牙通信模块，两个控制摇杆可以产生双通道的控制信号，其中一个控制摇杆用于控制受控扑翼飞行器的飞行高度，另外一个控制摇杆用于控制受控扑翼飞行器的飞行姿态；蓝牙通信模块用于将航模遥控器产生的控制信号发送到多模态信号处理模块。

多模态信号处理模块为便携式设备，其由树莓派、通信模块及电源模块组成，树莓派中安装Linux操作系统，并安装上位机软件，上位机软件的界面如图3所示，上位机软件的功能包括：同步解析多模态信号同步采集模块传来的多模态操控信号，并根据操控者的选择指令确定当前要使用的操控信号，识别操控者的操控意图，生成控制指令；并且实时接收和显示由机载扑翼飞行器控制模块发送的受控扑翼飞行器的飞行状态信息；其中，飞行状态信息包括受控扑翼飞行器的飞行姿态和飞行高度。具体地，在本实施例中，多模态信号处理模块向操控者显示受控扑翼飞行器的飞行状态信息的方式为：根据机载扑翼飞行器控制模块发送的受控扑翼飞行器的飞行姿态信息和飞行高度信息，生成受控扑翼飞行器的实时姿态及高度曲线，并在上位机界面显示。

具体地，如图2所示，多模态信号处理模块的工作流程为：

步骤1，通过自身的通信模块接收多模态信号采集模块传来的脑电信号、眼动信号、头动信号和手动操控信号，并将接收的信号传到上位机软件；

步骤2，上位机软件对Emotiv脑电设备采集的操控者的脑电信号和眼动信号分别依次进行滤波、特征提取和分类处理，以获得操控者当前的运动想象状态和眼动状态；其中，运动想象状态包括：平静状态、左手运动想象、右手运动想象、舌部运动想象和足部运动想象；眼动状态包括：平静状态、左眼眨动、右眼眨动、双眼眨动和皱眉；

步骤3，上位机软件对多模态信号同步采集模块中的姿态传感器采集的头动信号进行解析，获取操控者当前头部相对于初始状态的俯仰角和水平偏转角度；

步骤4，上位机软件对航模遥控器接收的手动操控信号进行解析，获取航模遥控器的两个控制摇杆的摆动角度；

步骤5，操控者通过上位机软件的信号选择界面选择当前想要使用的操控信号，可选择四种操控信号中的一种或多种，当操控者选择一种操控信号时，上位机软件按照被选信号与扑翼飞行器控制指令的映射关系生成控制指令，当操控者选择多于一种操控信号时，上位机软件分别按照当前要使用的每一操控信号与控制指令的映射关系，确定每一操控信号对应的控制效果，并将各操控信号对应的控制效果叠加，生成相应的控制指令。并通过多模态信号处理模块的通信模块将控制指令发送到机载扑翼飞行器控制模块；

步骤6，通过自身的通信模块接收机载扑翼飞行器控制模块传回的飞行器姿态和高度信息，进行解算，生成实时姿态及高度曲线，在上位机界面显示。

其中，需要说明的是，本实施例中，上述步骤2、步骤3和步骤4同步进行。

具体地，在本实施例中，操控信号与扑翼飞行器控制指令的映射关系如下：

脑电信号与控制指令的映射关系为：左手运动想象对应扑翼飞行器左转30度指令，右手运动想象对应扑翼飞行器右转30度指令，舌部运动想象对应扑翼飞行器盘旋指令，足部运动想象对应扑翼飞行器起飞、降落指令；

眼动信号与控制指令的映射关系为：左眼眨动对应扑翼飞行器左转30度指令，右眼眨动对应扑翼飞行器右转30度指令，皱眉对应扑翼飞行器盘旋指令，双眼眨动对应扑翼飞行器起飞、降落指令；

头动信号与控制指令的映射关系为：头部水平偏转角度对应扑翼飞行器的转动角度指令，头部俯仰角度对应扑翼飞行器的高度升降指令；

航模遥控器的两个控制摇杆的输出信号分别对应扑翼飞行器的偏转角度指令（转向指令）和高度升降指令；

其中，当运动想象状态为平静状态时，无控制指令产生；当眼动状态为平静状态时，无控制指令产生；当头部姿态位于初始状态时，无控制指令产生；当航模遥控器的两个控制摇杆均处于中值状态时，无控制指令产生。

机载扑翼飞行器控制模块固定在受控扑翼飞行器上，由STM32芯片及飞控板、JY-901姿态传感器、通信模块组成，其中，JY-901姿态传感器固定在飞控板上，可以获取三轴加速度、三轴角速度、三轴磁场及海拔高度等数据，作用是采集当前扑翼飞行器的飞行姿态信息和飞行高度信息；通信模块的作用是接收多模态信号处理模块发来的控制指令，并且将JY-901传感器获取到的飞行姿态信息和飞行高度信息发送给多模态信号处理模块；STM32芯片及飞控板的作用是将多模态信号处理模块发来的控制指令转换成受控扑翼飞行器的电机和舵机的PWM控制信号，驱动扑翼飞行器内部的电机和舵机转动，并实时接收和处理扑翼飞行器当前的高度和姿态，形成闭环反馈控制，如图4所示。

在接收到控制指令后，受控扑翼飞行器可在机载扑翼飞行器控制模块的闭环控制下实现左转、右转、盘旋和起飞降落等运动。

其中，受控扑翼飞行器由机身、电机减速组驱动的扑翼机构、舵机驱动的可调节尾翼组成，电机在机载扑翼飞行器控制模块的STM32芯片及飞控板的驱动下转动，带动受控扑翼飞行器的扑翼机构往复扑动，为受控扑翼飞行器提供升力和推力，舵机在机载扑翼飞行器控制模块的STM32芯片及飞控板的驱动下带动受控扑翼飞行器的尾翼偏航面左右摆动，改变受控扑翼飞行器的飞行方向。

具体地，在本实施例中，受控扑翼飞行器的飞行状态分为六种，分别为起飞状态、匀速直线运动状态、左转状态、右转状态、原地盘旋状态和降落状态。

其中，在起飞状态，受控扑翼飞行器的机翼扑动频率逐渐增大，飞行高度逐渐升高，当到达设定高度后，受控扑翼飞行器在机载扑翼飞行器控制模块的闭环控制下进行定高匀速直线飞行；在匀速直线运动状态，机载扑翼飞行器控制模块在接收到多模态信号处理模块发来的左转角度或右转角度后，驱动受控扑翼飞行器的尾翼偏航舵机，舵机臂转动带动尾翼偏航面摆动，实现受控扑翼飞行器的转向，实现左转状态或右转状态；在原地盘旋状态，机载扑翼飞行器控制模块接收到盘旋指令后，驱动受控扑翼飞行器的尾翼偏航舵机，舵机臂转动带动尾翼偏航面摆动，控制扑翼飞行器从当前位置开始向左做定半径圆周运动，待接收到新的控制指定后，扑翼飞行器完成当前一整圈的盘旋，回到盘旋起点后执行新的控制命令，受控扑翼飞行器进入新的飞行状态；在降落状态，受控扑翼飞行器的机翼扑动频率逐渐降低，飞行高度降低，直至降落到地面。

基于上述，本实施例的多模态控制系统的使用步骤如下：

S1，给整个控制系统上电，完成多模态信号同步采集模块中各个模块与多模态信号处理模块间的蓝牙连接，并完成多模态信号处理模块与机载扑翼飞行器控制模块间的无线串口连接，实现系统内各个模块正常通信；

S2，受控扑翼飞行器上电后进入起飞准备状态，等待多模态信号处理模块发出起飞指令即可进入起飞状态；

S3，操控者通过上位机中的信号选择界面，选择脑电信号、眼动信号、头动信号和手动遥控信号中的一种或多种，作为当前想要使用的控制信号；

S4，操控者正确佩戴Emotiv脑电设备，调整Emotiv脑电设备电极的位置，使Emotiv脑电设备的电极与操控者头皮贴紧，直至上位机中显示的信号质量大于90，此时Emotiv脑电设备可以采集操控者的脑电信号和眼动信号，并将采集的信号发送给多模态信号处理模块；同时还可以通过姿态传感器和航模遥控器向多模态信号处理模块发送操控者头动信号和手动操控信号；

S5，多模态信号处理模块根据多模态信号同步采集模块采集的多模态操控信号产生飞行器控制指令，并将控制指令发送至机载扑翼飞行器控制模块；

当操控者利用脑电信号控制扑翼飞行器时，首先在上位机软件中选择脑电控制，然后根据飞行器当前状态确定期望的飞行器控制指令，随后进行相应的运动想象，以产生控制指令；操控者运动想象状态和扑翼飞行器的目标飞行状态的对应关系为：进行一次左手运动想象，扑翼飞行器左转30度，然后回到匀速直线运动状态；进行一次右手运动想象，扑翼飞行器右转30度，然后回到匀速直线运动状态；进行一次舌部运动想象，扑翼飞行器将进入盘旋状态；进行足部运动想象，控制扑翼飞行器的起飞和降落，具体地，当扑翼飞行器处于飞行状态时，进行一次足部运动想象后，扑翼飞行器进入降落状态，当扑翼飞行器处在起飞准备状态时，进行一次足部运动想象后扑翼飞行器切换到起飞状态；

当操控者利用眼动信号控制扑翼飞行器时，首先在上位机软件中选择眼动控制，然后根据扑翼飞行器当前状态确定期望的飞行器控制指令，随后进行相应的眼部运动，以产生控制指令；眼部运动状态和扑翼飞行器的目标飞行状态的对应关系为：左眼眨动一次，扑翼飞行器左转30度；右眼眨动一次，扑翼飞行器右转30度；皱眉一次，扑翼飞行器进入盘旋状态；通过双眼眨动，控制扑翼飞行器起飞和降落，具体地，当扑翼飞行器处在飞行状态时，进行一次双眼眨动后，扑翼飞行器进入降落状态，当扑翼飞行器处在飞行准备状态时，进行一次双眼眨动后，扑翼飞行器进入起飞状态；

当操控者利用头部姿态控制扑翼飞行器时，首先在上位机软件中选择头部姿态控制，然后确定期望的飞行器控制指令，通过上下左右转动头部产生控制命令；在使用头部姿态控制扑翼飞行器之前，操控者应先将头部转到舒适的角度，并按下上位机软件的“重置”按钮，以设定当前头部姿态为初始状态；操控者头部姿态和扑翼飞行器飞行状态的对应关系为：当操控者头部保持在初始状态时，飞行器处于飞行准备状态；操控者头部上仰，飞行器机翼扑动频率升高，扑动频率与头部上仰角度成正比，扑动频率最高为8Hz；操控者头部左右转动对应飞行器飞行方向，飞行器转弯的角度与头部左右转动的角度相等；

当操控者使用航模遥控器控制扑翼飞行器时，首先在上位机软件中选择遥控控制，然后确定期望的飞行器控制指令，通过控制左右摇杆产生控制指令；

其中，航模遥控器有两个控制摇杆，摇杆位置与扑翼飞行器飞行状态的对应关系为：右摇杆控制扑翼飞行器的机翼扑动频率，摇杆上调，飞行器机翼扑动频率增大，飞行器飞行高度升高；左摇杆控制扑翼飞行器的飞行方向，左摇杆向左，扑翼飞行器左转，左摇杆向右，扑翼飞行器右转，且左摇杆角度摆动角度越大，扑翼飞行器转弯速度越快。

当操控者在上位机软件中选择了一种操控信号时，按照被选信号与控制指令设定的映射关系，生成控制指令，当选择多于一种操控信号时，将被选的多种操控信号控制效果进行叠加，生成控制指令，以控制扑翼飞行器飞行。

S6，机载扑翼飞行器控制模块根据控制指令，生成控制扑翼飞行器的电机和舵机的PWM信号，控制扑翼飞行器内部的电机转速和舵机臂角度，进而控制扑翼频率和尾翼偏航面的摆动角度，改变扑翼飞行器的飞行状态；同时，机载扑翼飞行器控制模块实时采集当前扑翼飞行器的飞行姿态和飞行高度信息，通过HC-12无线串口通信将采集的飞行姿态和飞行高度信息发送到多模态信号处理模块，由上位机软件对当前扑翼飞行器的飞行姿态和飞行高度信息进行解算，得到扑翼飞行器当前的俯仰角、偏航角和滚转角以及海拔高度，以曲线图的形式实时显示；从而形成闭环控制，保证控制的精确度。

综上，本实施例的多模态控制系统将脑电信号、眼动信号、头动信号和手动操控信号进行结合，可以选择以上四种信号中的一种或多种进行飞行控制，弥补了使用单一信号进行扑翼飞行器控制时，稳定性差或操控者容易产生疲劳的问题，更能满足在不同环境下扑翼飞行器的控制要求，在不同的环境下选择不同的控制方法，可以有效提高控制效果和操控者的控制体验；提高控制的灵敏度和效率，避免操控者长时间使用单一控制方式产生疲劳感，改善了操控者控制体验。并且，本实施例利用机载扑翼飞行器控制模块对扑翼飞行器进行闭环反馈控制，保证了控制命令的精准执行，使扑翼飞行器的控制多样且高效。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (10)

1.一种面向扑翼飞行器的多模态控制系统，其特征在于，所述面向扑翼飞行器的多模态控制系统包括：多模态信号同步采集模块、多模态信号处理模块，以及搭载在受控扑翼飞行器上的机载扑翼飞行器控制模块；其中，

所述多模态信号同步采集模块用于捕获操控者发出的多模态操控信号，并将捕获的多模态操控信号发送至所述多模态信号处理模块；其中，所述多模态操控信号包括操控者通过运动想象产生的脑电信号、操控者通过眼部运动产生的眼动信号、操控者通过改变头部姿态产生的头动信号和操控者的手动操控信号；

所述多模态信号处理模块用于基于所述多模态操控信号中的至少一种信号，生成控制指令，并将所述控制指令发送至所述机载扑翼飞行器控制模块；

所述机载扑翼飞行器控制模块用于根据所述控制指令控制受控扑翼飞行器的飞行状态，使得所述受控扑翼飞行器按照操控者的意愿执行相应的飞行动作。

2.如权利要求1所述的面向扑翼飞行器的多模态控制系统，其特征在于，所述机载扑翼飞行器控制模块还用于采集所述受控扑翼飞行器的飞行状态信息，并将采集的飞行状态信息发送至所述多模态信号处理模块，由所述多模态信号处理模块以可视化的方式向操控者展示所述受控扑翼飞行器当前的飞行状态。

3.如权利要求2所述的面向扑翼飞行器的多模态控制系统，其特征在于，所述飞行状态信息包括所述受控扑翼飞行器的飞行姿态和飞行高度。

4.如权利要求3所述的面向扑翼飞行器的多模态控制系统，其特征在于，所述多模态信号处理模块用于根据所述飞行状态信息生成实时姿态及高度曲线。

5.如权利要求1所述的面向扑翼飞行器的多模态控制系统，其特征在于，所述多模态信号同步采集模块包括Emotiv脑电设备、姿态传感器和航模遥控器；

所述Emotiv脑电设备佩戴于操控者的头部，用于采集操控者的脑电信号和眼动信号，并将采集的脑电信号和眼动信号发送至所述多模态信号处理模块；

所述姿态传感器设置在所述Emotiv脑电设备上，用于采集操控者的头动信号，并将采集的头动信号发送至所述多模态信号处理模块；

所述航模遥控器用于接收操控者的手动操控信号，并将接收的手动操控信号发送至所述多模态信号处理模块；其中，所述航模遥控器包括两个控制摇杆，其中一个控制摇杆用于控制所述受控扑翼飞行器的飞行高度，另外一个控制摇杆用于控制所述受控扑翼飞行器的飞行姿态。

6.如权利要求5所述的面向扑翼飞行器的多模态控制系统，其特征在于，所述多模态信号处理模块具体用于：

解析所述多模态信号同步采集模块采集的操控信号，并根据操控者的选择指令确定当前要使用的操控信号，识别操控者的操控意图，生成控制指令。

7.如权利要求6所述的面向扑翼飞行器的多模态控制系统，其特征在于，解析所述多模态信号同步采集模块采集的操控信号，包括：

对所述Emotiv脑电设备采集的脑电信号依次进行滤波、特征提取和分类，获得操控者当前的运动想象状态；其中，所述运动想象状态包括：平静状态、左手运动想象、右手运动想象、舌部运动想象和足部运动想象；

对所述Emotiv脑电设备采集的眼动信号依次进行滤波、特征提取和分类，获得操控者当前的眼动状态；其中，所述眼动状态包括：平静状态、左眼眨动、右眼眨动、双眼眨动和皱眉；

对所述姿态传感器采集的头动信号进行解析，获取操控者当前头部相对于初始状态时的俯仰角度和水平偏转角度；

对所述航模遥控器接收的手动操控信号进行解析，获取所述航模遥控器的两个控制摇杆的摆动角度。

8.如权利要求7所述的面向扑翼飞行器的多模态控制系统，其特征在于，所述识别操控者的操控意图，生成控制指令，包括：

当操控者选择一种操控信号时，按照当前要使用的操控信号与控制指令的映射关系，生成相应的控制指令；当操控者选择多种操控信号时，分别按照当前要使用的每一操控信号与控制指令的映射关系，确定每一操控信号对应的控制效果，并将各操控信号对应的控制效果叠加，生成相应的控制指令。

9.如权利要求8所述的面向扑翼飞行器的多模态控制系统，其特征在于，脑电信号与控制指令的映射关系为：左手运动想象对应受控扑翼飞行器左转30度指令，右手运动想象对应受控扑翼飞行器右转30度指令，舌部运动想象对应受控扑翼飞行器盘旋指令，足部运动想象对应受控扑翼飞行器起飞或降落指令；

眼动信号与控制指令的映射关系为：左眼眨动对应受控扑翼飞行器左转30度指令，右眼眨动对应受控扑翼飞行器右转30度指令，皱眉对应受控扑翼飞行器盘旋指令，双眼眨动对应受控扑翼飞行器起飞或降落指令；

头动信号与控制指令的映射关系为：头部水平偏转角度对应受控扑翼飞行器的转动角度指令，头部俯仰角度对应受控扑翼飞行器的高度升降指令。

10.如权利要求9所述的面向扑翼飞行器的多模态控制系统，其特征在于，当运动想象状态为平静状态时，无控制指令产生；

当眼动状态为平静状态时，无控制指令产生；

当头部姿态位于初始状态时，无控制指令产生；

当航模遥控器的两个控制摇杆均处于中值状态时，无控制指令产生。

Images