CN208796050U - 一种多模态无人机人机交互操控半实物仿真系统 - Google Patents

Abstract

本实用新型涉及一种多模态无人机人机交互操控半实物仿真系统，包括：机载处理器，其搭载在无人机上；手势识别设备和脑电信号测量设备，其通过串口通讯模块与转接模块连接，转接模块与机载处理器连接；遥控器，其通过PPM接口与机载处理器连接；仿真上位机，其上搭载AirSim模拟器，并通过串口通讯模块与机载处理器连接；地面控制站，其通过串口通讯模块与机载处理器连接，并通过UDP协议与仿真上位机连接。本实用新型的有益效果为：实现多种模态控制下的脑电和手势控制以及遥控器控制无人机飞行过程的仿真，也可实现地面控制站控制无人机飞行过程的仿真。

Description

一种多模态无人机人机交互操控半实物仿真系统

技术领域

本实用新型涉及一种多模态无人机人机交互操控半实物仿真系统。

背景技术

无人机作为模拟飞机类来袭目标，可为防空武器系统的火控雷达校飞、射击等任务提供空中靶标，是武器系统研制、鉴定过程中必不可少的装备。作为无人机的核心组成部分之一，飞控系统通过控制无人机的姿态，从而完成无人机各种模态下的飞行任务。在无人机的研制过程中，人机交互是非常重要的一个环节。手势识别和脑电控制技术是新一代自然人机交互的一项关键技术，相对于传统的鼠标，键盘等接触式的操作方式，手势和脑电具有自然直观、容易理解、操作简单、体验性好等优点，更加符合人类日常交流习惯，手势识别和脑电控制已经成为人机交互方案的研究热点。将操控者与无人机之间结合应用，具有良好的应用前景。现有技术中，只能实现地面控制站控制无人机飞行过程中的仿真，无法实现多种模态控制下的操控者脑电和手势控制无人机飞行过程的仿真，从而无法对人机交互的控制指令有针对性的修正，进而提高识别的可靠性，避免误触发的发生。

实用新型内容

针对上述问题中存在的不足之处，本实用新型提供一种多模态无人机人机交互操控半实物仿真系统，实现多种模态控制下的脑电和手势控制、遥控器控制无人机飞行过程的仿真，同时可以实现地面控制站控制无人机飞行过程的仿真。

为实现上述目的，本实用新型提供一种多模态无人机人机交互操控半实物仿真系统，包括：

机载处理器，其搭载在无人机上；

手势识别设备，其通过串口通讯模块与转接模块输入端连接，所述转接模块输出端与所述机载处理器通信连接；

脑电信号测量设备，其通过串口通讯模块与转接模块输入端连接，所述转接模块输出端与所述机载处理器通信连接；

遥控器，其通过PPM接口与所述机载处理器通信连接；

仿真上位机，其上搭载有AirSim模拟器，并通过串口通讯模块与所述机载处理器通信连接；

地面控制站，其通过串口通讯模块与所述机载处理器通信连接，并通过UDP协议与所述仿真上位机通信连接。

作为本实用新型进一步改进，所述手势识别设备包括：

肌电信号测量设备，其包括佩戴在操控者两只手臂上的若干个肌电电极、用以消除共模干扰的驱动电路、模数转换芯片、微控制单元MCU以及佩戴在操控者腿上的震动马达，若干个肌电电极以环状阵列形式粘贴在操控者左前臂和右前臂上，用于采集操控者的肌电信号，若干个肌电电极和所述驱动电路均与所述模数转换芯片相连，所述模数转换芯片通过SPI接口与所述微控制单元MCU双向通信连接，所述微控制单元MCU与所述震动马达相连；

姿态信号测量设备，其包括佩戴在操控者两只手臂上的若干IMU；

手势识别解码设备，其输入端通过串口通讯模块与所述微控制单元MCU和所述若干IMU相连，输出端通过串口与所述转接模块输入端相连，所述转接模块输出端与所述机载处理器通信连接。

作为本实用新型进一步改进，所述转接模块选用基于AVR处理器的Arduino mega2560芯片，具有四路串口和四路中断源。

作为本实用新型进一步改进，所述遥控器为八通道遥控器，其中，通道一为控制滚转，通道二为控制俯仰，通道三为控制油门，通道四为控制航向，通道五为切换飞行模式，包括自稳飞行模式、定高飞行模式和定点飞行模式，通道六为切换输入方式，包括遥控控制方式、脑机控制方式和手势控制方式，通道七和通道八均为备用通道。

作为本实用新型进一步改进，所述串口通讯模块采用APC2770通讯模块。

作为本实用新型进一步改进，所述脑电信号测量设备包括粘贴在操控者脑部的A2干电极、Fp2干电极和C4干电极，以及脑电检测与处理芯片，所述脑电检测与处理芯片将所述A2干电极、Fp2干电极和C4干电极采集到的脑电信号处理后获取操控者的大脑思维信息。

本实用新型的有益效果为：

可以实现多种模态控制下的操控者脑电和手势控制以及遥控器控制无人机飞行过程的仿真，实现对人机交互的控制指令有针对性的修正，进而提高识别的可靠性，避免误触发的发生；同时可以实现地面控制站控制无人机飞行过程的仿真；

能直观展示仿真过程，直观显示无人机飞行全过程，后续可对飞行过程定性分析；

采用HIL半实物仿真方式，节省了仿真成本，同时也提高了整个仿真系统的置信度。

附图说明

图1为本实用新型实施例所述的一种多模态无人机人机交互操控半实物仿真系统的示意图；

图2为本实用新型实施例所述的手势识别设备的示意图。

具体实施方式

本实用新型实施例所述的一种如图1所示，一种多模态无人机人机交互操控半实物仿真系统，包括：手势识别设备、脑电信号测量设备、遥控器、仿真上位机、地面控制站和机载处理器，其中，手势识别设备、脑电信号测量设备和遥控器实现对无人机的多模态控制。

机载处理器搭载在无人机上，用于接收手势识别设备、脑电信号测量设备和遥控接收器发送的控制指令，以及地面控制站下发的特性控制指令，按照相应的控制指令或特定控制指令控制无人机，并将控制指令通过串口通讯模块传输至地面控制站和仿真上位机。

手势识别设备通过串口通讯模块与转接模块输入端连接，转接模块输出端与机载处理器通信连接，用于将采集到的手势信号融合处理后转换成对无人机的控制指令，并将控制指令传递给机载处理器。

脑电信号测量设备通过串口通讯模块与转接模块输入端连接，转接模块输出端与机载处理器通信连接，用于将采集到的脑电信号分类处理后转换成对无人机的控制指令，并将控制指令传递给机载处理器。

遥控器通过PPM接口与机载处理器通信连接，用于将遥控器的控制指令传递给机载处理器。

仿真上位机上搭载有AirSim模拟器，并通过串口通讯模块与机载处理器通信连接，用于接收机载处理器的控制指令和地面控制站传输的特定控制指令，根据控制指令或特定控制指令建立无人机飞行的仿真模型、设置仿真参数，对无人机进行飞行模拟，并显示控制无人机飞行过程的仿真界面。

地面控制站通过串口通讯模块与机载处理器通信连接，并通过UDP协议与仿真上位机通信连接，用于接收机载处理器传输的无人机控制指令，可根据需求下发特定控制指令至机载处理器，并将特定控制指令传输至仿真上位机。

如图2所示，手势识别设备包括：肌电信号测量设备、姿态信号测量设备和手势识别解码设备。

肌电信号测量设备包括佩戴在操控者两只手臂上的8干个肌电电极、用以消除共模干扰的驱动电路、模数转换芯片、微控制单元MCU以及佩戴在操控者腿上的震动马达，8个肌电电极以环状阵列形式粘贴在操控者左前臂和右前臂上，用于采集操控者的肌电信号，8个肌电电极和驱动电路均与模数转换芯片相连，模数转换芯片通过SPI接口与微控制单元MCU双向通信连接，微控制单元MCU与震动马达相连。肌电信号测量设备用于采集操控者的肌电信号，将模数转换后的肌电信号输出至手势识别解码进行融合处理，并接收来自手势识别解码的反馈指令，根据该反馈指令控制用于向操控者触控反馈的震动马达的震动频率。

姿态信号测量设备包括佩戴在操控者两只手臂上的6个IMU(即惯性测量单元)，每只手臂的腕关节附近、肘关节附近和肩关节附近均绑缚一个IMU。通过每只手臂上的三个惯性测量单元测量的数据，剔除各个关节之间相对运动的影响，可以精确解析出手臂的运动姿态信息。IMU包括电源模块、三轴加速度计、三轴陀螺仪、三轴磁强计，电源模块为惯性测量单元提供电源，三轴加速度计、三轴陀螺仪、三轴磁强计分别用于采集操控者左手臂或右手臂的运动时的加速度、角速度和磁场强度。姿态信号测量设备用于采集操控者的上臂和前臂运动传感信号，并将上臂和前臂运动传感信号输出至手势识别解码设备进行融合处理。

手势识别解码设备输入端通过串口通讯模块与微控制单元MCU和若干IMU相连，输出端通过串口与转接模块输入端相连，转接模块输出端与机载处理器通信连接。用于对肌电信号进行处理和运算，获取操作者的手部运动状态信息。手势识别解码设备对上臂和前臂运动传感信号进行处理及运算，获取操作者的上臂和前臂运动状态信息，对手部运动状态信息及上臂和前臂运动状态信息进行融合处理，获取操控者的手势信息，实现对操控者手势的识别，并将手势信息转化成对无人机飞行控制系统的控制指令，并将控制指令下发至无人机的机载处理器，实现对无人机飞行控制系统的实时控制，接收来自无人机机载处理器的状态信息，并根据状态信息下发反馈指令至肌电信号测量设备。

脑电信号测量设备包括粘贴在操控者脑部的A2干电极、Fp2干电极和C4干电极，以及脑电检测与处理芯片，脑电检测与处理芯片将A2干电极、Fp2干电极和C4干电极采集到的A2区域脑电信号、Fp2区域脑电信号和C4区域脑电信号分类处理后，转换成对应的控制指令输出至机载处理器。

遥控器为八通道遥控器，其中，通道一为控制滚转，通道二为控制俯仰，通道三为控制油门，通道四为控制航向，通道五为切换飞行模式，包括自稳飞行模式、定高飞行模式和定点飞行模式，通道六为切换输入方式，包括遥控控制方式(即通过遥控器控制)、脑机控制方式和(即通过操控者脑电信号控制)手势控制方式(即通过操控者手势信号控制)，通道七和通道八均为备用通道。

转接模块选用基于AVR处理器的Arduino mega 2560芯片，具有四路串口和四路中断源。作用是：接收并处理脑电信号测量设备和手势识别设备发来的指令协议，转换成机载处理器可识别的mavlink指令，并通过串口发送给飞控，同时为了保证更逼真的模拟飞行效果，读取遥控器的PPM波信号，直接转发给机载处理器，保证遥控飞行手感最真实，通过串口读取无人机姿态信息，解包信息，按照一定协议发送给脑电信号测量设备与手势识别设备的处理器用于反馈。选Arduino mega 2560芯片的理由：Arduino mega 2560处理器具有体积小，重量轻的特点，便于携带，真机飞行时可以挎在身上，同时具有四路串口，四路中断源，可以完美处理与脑电信号测量设备和手势识别设备通讯(串口3)，与机载处理器通讯(串口2)，调试信息打印(串口0)，四路中断可以保证截取遥控器的PPM波信号并转发。

串口通讯模块采用APC2770通讯模块，其作用将串口信息转化为2.4G无线电信息，工作距离室外可达1公里以上。

本实用新型的仿真系统在仿真时，采用如下方法：

步骤1，手势识别设备采集操控者的手势信号，获取操控者的手势信息，实现对操控者手势的识别，并将手势信息转化成对无人机的控制指令，转接模块接收并处理手势识别设备发来的控制指令协议，转换成机载处理器可识别的mavlink指令，并通过串口通讯模块发送给机载处理器；

步骤2，脑电信号测量设备采集操控者的脑电信号，获取操控者的大脑思维信息，并将大脑思维信息转化成对无人机的控制指令，转接模块接收并处理脑电信号测量设备发来的控制指令协议，转换成机载处理器可识别的mavlink指令，并通过串口通讯模块发送给机载处理器；

步骤3，转接模块读取遥控器的控制指令所编码的PPM波信号，直接转发给机载处理器，机载处理器对PPM波信号解码后获取遥控器的控制指令；

步骤4，机载处理器将手势识别设备、脑电信号测量设备和遥控器的控制指令通过串口通讯模块传输至地面控制站和仿真上位机；

步骤5，地面控制站通过串口通讯模块接收机载处理器传输的无人机控制指令，并以文字和图形显示，如有需求时，将特定控制指令通过UDP协议传输至仿真上位机；

步骤6，机载处理器按照接收到的控制指令或特定控制指令控制无人机，转接模块接收机载处理器返回的mavlink指令，并通过串口通讯模块读取无人机飞行姿态信息，按照一定协议发送给手势识别设备用于反馈；

步骤7，仿真上位机通过串口通讯模块接收机载处理器的控制指令和地面控制站传输的特定控制指令，根据控制指令或特定控制指令建立无人机飞行的仿真模型、设置仿真参数，对无人机进行飞行模拟，并显示控制无人机飞行过程的仿真界面。

其中，步骤1中，手势识别设备采集操控者的手势信号时，包括：

肌电信号测量设备采集操控者的肌电信号，将模数转换后的肌电信号输出至手势识别解码设备进行融合处理，并接收来自手势识别解码设备的反馈指令，根据该反馈指令控制用于向操控者触控反馈的震动马达的震动频率；

姿态信号测量设备采集操控者的上臂和前臂运动传感信号，并将上臂和前臂运动传感信号输出至手势识别解码设备进行融合处理；

手势识别解码设备接收来自肌电信号测量设备传递的数据，获取操控者的手部运动状态信息，接收来自姿态信号测量设备传递的数据，获取操控者上臂和前臂运动传感信号并处理运算后，获取操作者的上臂和前臂运动状态信息，将手部运动状态信息及上臂和前臂运动状态信息进行融合处理，获取操控者的手势信息，实现对操控者手势的识别。

PPM波形是一个由若干脉冲幅度固定的高电平方波组成，低电平长度即为各个通道值，一个PPM波周期为20ms，理论上可以读取10个通道值。其中，步骤3中，转接模块利用中断，读取每个PPM波形上升沿和下降沿信号，存入寄存器，实时获取PPM波形每个通道宽度；当检测到遥控器的六通道进入遥控控制模式时，模拟引脚转发PPM波形；当检测到遥控器的六通道进入手势控制或脑机控制模式时，通知机载处理器进入外部控制模式，串口通讯模块转发控制指令，将手势识别设备或肌电信号测量设备的控制指令转化为无人机期望姿态，打包成mavlink通讯协议，通过串口发送给机载处理器，机载处理器解析指令后，通过uORB通讯流发送给机载处理器上的MIXER混控器，控制无人机电机发生变化执行相应的控制指令。

其中，步骤6中，通过仿真上位机上搭载的AirSim模拟器所自带的API接口获取无人机的飞行姿态信息，包括四元数格式的姿态角以及基于NED坐标系的位置信息，并通过AirSim模拟器所自带的rpclib库读取飞行姿态信息转发给串口通讯模块，转接模块接收串口通讯模块转发的飞行姿态信息，并按照mavlink通讯协议发送给手势识别设备用于反馈。

本实用新型的AirSim模拟器参数如下：串口波特率为11500，数据位为8，停止位为1，校验位为NONE，流控为NONE。

本实用新型的仿真采用HIL半实物仿真，半实物仿真与纯实物仿真相比，最突出的特点是显著降低了测试成本，另一个优势是降低了系统的干扰。由于飞机等设备组成部件很多，系统自由度相对较高。当进行仿真时，全实物平台虽然能够得到更加真实全面的结果，但也同时提高了数据的复杂度，增加了分析的难度。而半实物仿真则能使仿真过程更加可控，在得到相对真实全面的数据同时，降低了数据的自由度。另外，因为半实物仿真系统价格相对低廉，大幅提高测试效率。与纯数字仿真相比，HIL仿真虽然成本较高，但其将需要仿真的硬件引入仿真回路，提高了整个仿真系统的置信度。

以上所述仅为本实用新型的优选实施例而已，并不用于限制本实用新型，对于本领域的技术人员来说，本实用新型可以有各种更改和变化。凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。

Claims (6)

1.一种多模态无人机人机交互操控半实物仿真系统，其特征在于，包括：

机载处理器，其搭载在无人机上；

手势识别设备，其通过串口通讯模块与转接模块输入端连接，所述转接模块输出端与所述机载处理器通信连接；

脑电信号测量设备，其通过串口通讯模块与转接模块输入端连接，所述转接模块输出端与所述机载处理器通信连接；

遥控器，其通过PPM接口与所述机载处理器通信连接；

仿真上位机，其上搭载有AirSim模拟器，并通过串口通讯模块与所述机载处理器通信连接；

地面控制站，其通过串口通讯模块与所述机载处理器通信连接，并通过UDP协议与所述仿真上位机通信连接。

2.根据权利要求1所述的多模态无人机人机交互操控半实物仿真系统，其特征在于，所述手势识别设备包括：

肌电信号测量设备，其包括佩戴在操控者两只手臂上的若干个肌电电极、用以消除共模干扰的驱动电路、模数转换芯片、微控制单元MCU以及佩戴在操控者腿上的震动马达，若干个肌电电极以环状阵列形式粘贴在操控者左前臂和右前臂上，用于采集操控者的肌电信号，若干个肌电电极和所述驱动电路均与所述模数转换芯片相连，所述模数转换芯片通过SPI接口与所述微控制单元MCU双向通信连接，所述微控制单元MCU与所述震动马达相连；

姿态信号测量设备，其包括佩戴在操控者两只手臂上的若干IMU；

手势识别解码设备，其输入端通过串口通讯模块与所述微控制单元MCU和所述若干IMU相连，输出端通过串口与所述转接模块输入端相连，所述转接模块输出端与所述机载处理器通信连接。

3.根据权利要求2所述的多模态无人机人机交互操控半实物仿真系统，其特征在于，所述转接模块选用基于AVR处理器的Arduino mega 2560芯片，具有四路串口和四路中断源。

4.根据权利要求1所述的多模态无人机人机交互操控半实物仿真系统，其特征在于，所述遥控器为八通道遥控器，其中，通道一为控制滚转，通道二为控制俯仰，通道三为控制油门，通道四为控制航向，通道五为切换飞行模式，包括自稳飞行模式、定高飞行模式和定点飞行模式，通道六为切换输入方式，包括遥控控制方式、脑机控制方式和手势控制方式，通道七和通道八均为备用通道。

5.根据权利要求1所述的多模态无人机人机交互操控半实物仿真系统，其特征在于，所述串口通讯模块采用APC2770通讯模块。

6.根据权利要求1所述的多模态无人机人机交互操控半实物仿真系统，其特征在于，所述脑电信号测量设备包括粘贴在操控者脑部的A2干电极、Fp2干电极和C4干电极，以及脑电检测与处理芯片，所述脑电检测与处理芯片将所述A2干电极、Fp2干电极和C4干电极采集到的脑电信号处理后获取操控者的大脑思维信息。