CN111124126A - 一种无人机手势控制方法 - Google Patents

Abstract

本发明公开了一种无人机手势控制方法，属于无人机控制领域。首先在右手的手套上构建无人机手势控制装置，无人机本体上安装无人机指令执行模块；通过设定阈值，判定无人机手势控制装置中的弯曲传感器处于伸直或弯曲状态。然后根据无人机手势控制装置中的加速度传感器的X轴与Y轴加速度分量数据，判断手掌的倾斜姿态；将弯曲信息和手掌状态信息组合输入到PIC单片机中，得到各组合信息对应的手势状态以及该手势对应的指令。最后按照要求对手掌和手指分别作出对应的手势动作，PIC单片机通过蓝牙通信模块将指令信号传送到树莓派；树莓派使用Mavlink协议调用飞控模块中对应动作的库函数，从而控制无人机完成指令动作。本发明手势识别更准确，同时降低了成本。

Description

一种无人机手势控制方法

技术领域

本发明属于无人机控制领域，具体涉及一种无人机手势控制方法。

背景技术

近年来，国家对于无人机的发展越来越重视，无人机的热度不断上升，国内外各大无人机公司不断吸引外部投资，在续航，作业和安全稳定等方面不断创新，使得无人机越来越趋于稳定化和先进化。

而且随着人工智能的发展和5G时代的到来，无人机更加智能化，京东无人机配送站宣布成立，大疆和徕卡地理信息公司合作开发航拍系统和5G无人机安防系统，可携带AI深度学习平台，可实现多场景，多人物以及多维度的快速视频分析。不仅如此，据了解，消费级的无人机所占市场比例超过了军用无人机，成为了未来的市场竞争主力。

同时，消费级的无人机在操控方面，要求简单方便。然而，国内外在无人机操控方面的革新并不多见，很大程度上无人机的操作仍然依赖于遥控器。遥控器的操作复杂，控制起来不方便，且对操作者的专业性要求较高，对于普通大众来说，具有一定的学习成本，不利于无人机的普及。

虽然，目前无人机操控中出现了手势控制，但是，大多采用模式识别或图像识别手势。采用图像识别需要配备一定清晰度的摄像模组和图像处理芯片，成本较高；在远距离时，图像识别手势的精度不高，容易造成误操作；在一些环境下(比如暗光、雾霾天气等)，图像识别效果很差。而且使用图像识别还意味着操控的手必须在摄像模组视野范围内，具有很大的局限性；同样模式识别手势在无人机控制领域有较多不足，无法完美满足无人机控制的需要。

也有少数无人机手势控制采用传感器识别手势，但都只采用了单独一种传感器。如公告号为CN207718231U的实用新型专利申请在2018年8月10日公开的“一种手势识别遥控无人机”；其所能识别的手势动作极为有限，用于操控无人机的指令极少，很难实现无人机飞行的灵活控制。

发明内容

本发明针对上述问题，提出了一种无人机手势控制方法，通过使用多种传感器协同获取手势信号，并将手势指令信号与飞行控制信号一一对应进而控制无人机，能灵活识别多种手势动作实现无人机灵活飞行，提高了控制灵活性。

所述的无人机手势控制方法，具体步骤如下：

步骤一、在右手的手套上构建无人机手势控制装置，无人机本体上安装无人机指令执行模块；

无人机手势控制装置包括弯曲传感器、固定电阻、加速度传感器、集成运算放大器、PIC单片机和蓝牙通信发送模块。

无人机指令执行模块包括飞控模块、树莓派、FT4232H转换模块和蓝牙通信接收模块。

弯曲传感器共4个，分别贴附于手套上除去大拇指外的其余四个手指背上，用于识别并采集手指弯曲信号。每个弯曲传感器的电阻与固定电阻串联形成分压电路，将电阻值变化转化成分压变化，再经过集成运算放大器连接成的电压跟随器稳定电压信号后，通过I/O端口输入PIC单片机；

同时，加速度传感器有1个，贴附于手套手背的中心处，用于检测手部的运动加速度及手部不同放置状态下重力加速度在加速度传感器三轴上的分量，进而识别出手部所处姿态。通过I2C协议与PIC单片机连接；PIC单片机通过UART协议与蓝牙通信发送模块连接；

蓝牙通信接收模块通过UART协议连接树莓派，树莓派将指令信号转换为无人机对应飞行模式的控制信号，同时树莓派通过Mavlink协议连接飞控模块，飞控模块控制无人机本体完成各种动作。

进一步树莓派通过数据线连接FT4232H转换模块作为中介。

步骤二、通过设定阈值，判定无人机手势控制装置中的弯曲传感器处于伸直或弯曲状态。

具体过程如下：

首先，在PIC单片机中设定阈值ave：ave＝(a1+a2)/2；

a1为弯曲传感器伸直n次对应的变量平均值，a2为弯曲传感器弯曲n次对应的变量平均值；

然后，当弯曲传感器的弯曲程度固定于某一角度时，对应的数据值超出阈值ave，即认为弯曲传感器伸直，反之弯曲传感器为弯曲状态。

步骤三、根据无人机手势控制装置中的加速度传感器的X轴与Y轴加速度分量数据，判断手掌的倾斜姿态；

具体判断过程如下：

首先，使用卡尔曼算法将加速度传感器接收的数据进行滤波。

然后，当手部静止状态时，三个加速度值为重力加速度在三个坐标轴上的分量；当加速度传感器姿态发生变化时，三个分量亦随之变化，当X轴的加速度分量数据>0.5*g时，判断为手掌左倾；X轴加速度分量数据<-0.5*g时，判断为手掌右倾；当Y轴加速度分量数据>0.5*g时，判断为手掌上倾，Y轴加速度分量数据<-0.5*g时，判断为手掌下倾；没有出现上述情况则判断为手掌水平。

步骤四、将弯曲传感器的弯曲信息和加速度传感器的手掌状态信息组合输入到PIC单片机中，得到各组合信息对应的手势状态以及该手势对应的指令；

手势动作及对应的指令如下：

1)、手掌左倾，四指弯曲状态下，无人机实现向左偏航；

2)、手掌左倾，非四指弯曲状态下，无人机实现向左飞行；

3)、手掌右倾，四指弯曲状态下，无人机实现向右偏航；

4)、手掌右倾，非四指弯曲状态下，无人机实现向右飞行；

5)、手掌上倾，一指伸直状态下，无人机实现返航；

6)、手掌上倾，非一指伸直状态下，无人机实现上升；

7)、手掌下倾，四指弯曲状态下，无人机实现强行断电；

8)、手掌下倾，一指伸直状态下，无人机实现着陆；

9)、手掌下倾，非一指伸直状态下，无人机实现下降；

10)、手掌水平，四指伸直状态下，无人机实现悬停；

11)、手掌水平，四指弯曲状态下，无人机实现后退；

12)、手掌水平，一指伸直状态下，无人机实现前进；

注：“一指伸直”即四指中任意一根手指伸直，“非一指伸直”即除“一指伸直”外的所有手指状态。

步骤五、执行者按照要求对手掌和手指分别作出对应的手势动作，PIC单片机通过蓝牙通信模块将指令信号传送到树莓派；

步骤六、树莓派使用Mavlink协议调用飞控模块中对应动作的库函数，从而控制无人机完成指令动作。

本发明与现有技术相比，具有以下优势：

(1)一种无人机手势控制方法，采用手套对无人机进行操控，操作过程简单方便，降低了无人机的上手难度；

(2)一种无人机手势控制方法，通过传感器采集手势信号，结构简单可靠，进而提高了环境适应能力，手势识别更准确，同时降低了成本；

(3)一种无人机手势控制方法，传感器选用多种传感器组合使用，可以识别更加复杂的手势，增加了无人机操控中的手势指令数量，也提高了无人机的操控性和灵活性；

(4)一种无人机手势控制方法，在信息传输中使用树莓派进行数据中转，在更换相近类型飞控后仍能保证系统的有效性，保证了该控制系统的可移植性。

附图说明

图1为本发明一种无人机手势控制方法的流程图；

图2为本发明无人机手势控制方法基于的控制装置示意图；

图3为本发明右手手套上安装的手势控制装置的实物展示图；

图4为本发明加速度传感器和手套的坐标对应关系示意图；

图5为本发明构建在右手手套上的各芯片之间的连接图；

图6为本发明无人机本体上集成的各芯片实物展示图；

图7为本发明无人机本体上集成的各芯片的电路连接示意图；

图8为本发明手势控制的指令设计和对应指令函数示意图；

图9为本发明无人机本体上树莓派运行的部分代码示意图；

图10为本发明无人机起飞准备展示示意图；

图11-13分别为本发明无人机左右滚转、上升、降落飞行效果展示图；

图14为本发明无人机试飞过程中返馈的飞行参数示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细和深入描述。

本发明一种无人机手势控制方法，首先由两种传感器采集手势信号，单片机读取传感器信号并判断手势状态，在单片机程序中存储有与每一种有效手势对应的飞行指令，判断到当前手势状态后，将对应的指令信号通过串口通信传递到手套端的蓝牙，由蓝牙将信号无线发出。

在无人机端，首先由无人机端的配对蓝牙接收到指令信号，树莓派通过串口通信与蓝牙连接，从而读取到蓝牙接收到的指令信号，并判断该指令信号对应无人机的哪种飞行动作。树莓派与飞控通过Mavlink协议连接，通过调用控制对应飞行动作的库函数控制飞控，使无人机执行对应的飞行动作。

如图1所示，具体步骤如下：

步骤一、在右手的手套上构建无人机手势控制装置，无人机本体上安装无人机指令执行模块；

如图2所示，无人机手势控制装置包括弯曲传感器、固定电阻、加速度传感器、集成运算放大器、PIC单片机和蓝牙通信发送模块。

如图6所示，无人机指令执行模块包括飞控模块、树莓派、FT4232H转换模块和蓝牙通信接收模块。

如图3所示，弯曲传感器为flex2.2’弯曲传感器，共4套；分别贴附于手套上除去大拇指外的其余四个手指背上，用于识别并采集手指弯曲信号。通过添加布料缝制的方式与手套手指部分贴附，方便安放、取出，同时有助于弯曲时纵向移动卸除纵向应力，数据采集更加稳定可靠；

每套传感器均采用完全相同的电路连接方式：PIC单片机的5V电源端口Vcc，通过导线连接到弯曲传感器的一个引脚，经由弯曲传感器另一个引脚，串联固定阻值的电阻后再连接到PIC单片机上的GND引脚，形成分压电路，分压从弯曲传感器和固定电阻之间引出，连接到集成运算放大器的正极输入，集成运算放大器的输出引脚与负极输入引脚连接后与PIC单片机的I/O口相连。

同时，加速度传感器有1个，为MPU6050加速度传感器，即MPU6050惯性传感器，用于检测手部的运动加速度及手部不同放置状态下重力加速度在加速度传感器x、y和z三轴上的分量，进而识别出手部所处姿态；通过I2C协议与PIC单片机连接；

具体安装方式为：先使用热熔胶与一块较大塑料板固连，之后将塑料板与手套手背部分使用热熔胶粘连，有利于惯性传感器紧密跟随手部运动，测量数据更加准确。

弯曲传感器和加速度传感器协同获取手势的各种姿态，发送给PIC单片机，PIC单片机通过UART协议与蓝牙通信发送模块连接，将手势的各种姿态指令发出；

蓝牙通信模块为HC-42蓝牙串口透传模块，即BT模块；

PIC单片机为CHIPKIT MAX32单片机，使用Arduino安装对应开发板包后编译使用。

PIC单片机与加速度传感器和蓝牙通信发送模块的连接图如图5所示。

无人机本体上与蓝牙通信发送模块配对的蓝牙通信接收模块接收PIC单片机发送的指令信号，通过UART协议发送给FT4232H转换模块，进一步传输给通过数据线连接的树莓派。

FT4232H转换模块为FT4232H Mini Module；

蓝牙通信接收模块与FT4232H转换模块的接线如图7所示；

树莓派与飞控模块通过Mavlink协议连接，将指令信号转换为无人机对应飞行模式的控制信号后传送给飞控模块，控制无人机本体完成对应的指令动作。

飞控模块为pixhawk飞控，相当于无人机的大脑。在本发明中，飞控工作模式为自动飞行模式，并通过地面站Mission Planner打开飞控Telem2的通信功能，设置波特率为921600，配置飞控日志参数，可以从树莓派接收指令并执行。Pixhawk飞控有多个UART接口，其中Telem2为uartD次数传接口，可用于Mavlink协议的数据传输。

树莓派为Raspberry Pi 3Model B，需要使用两组UART总线，但是其共有40个引脚，只有一组UART总线的引脚，故连接蓝牙需使用FT4232H转换模块，该模块可以实现将树莓派的一个USB口引出成为4对UART总线引脚。如图7所示；即将树莓派的Vcc、GND、TX、RX引脚与飞控Telem2接口中的Vcc、GND、RX、TX引脚对应连接。

FT4232H转换模块与树莓派通过USB A-micro USB数据线连接并供电，为实现FT4232H所有模块得到正常供电，还需要做到FT4232H转换模块内部线路连接。

步骤二、通过设定阈值，判定无人机手势控制装置中的弯曲传感器处于伸直或弯曲状态。

弯曲传感器的弯曲程度的变化能够转换成电阻值的变化，电阻值随弯曲由小变大，flex2.2’弯曲传感器的阻值由约7000Ω到约13000Ω变化(弯曲程度与阻值大小有大致正相关对应关系，但不严格，误差较大，在本装置中通过实验，设立阈值将其信号二值化)，将其与固定阻值10k的电阻串联构成一分压电路，将分压经过集成运算放大器稳压后输入PIC单片机模拟输入端，即可通过电压值的大小反映弯曲传感器(手指)的弯曲程度。

同时考虑到PIC单片机输入引脚的电阻效应，加入集成运算放大器，即集成运放tl084cn构成电压跟随器，保证PIC单片机获取的数据稳定、准确而且可靠。电压数据读取到PIC单片机中具体体现为十进制数据0-1023，将弯曲传感器固定于某一角度，读出数据值，即可完成对于弯曲传感器的标定。

在本发明中，通过实验对数据值设定一阈值，超出该阈值即认为弯曲传感器伸直，反之亦然，由此得到手指部分是否伸直的姿态数据。

阈值设定在单片机中进行，不同单片机对应的阈值大小不同。通过实验设定阈值的方法：单片机中会有一个变量A存储经过一定处理的数值，对应弯曲传感器弯曲程度，记录n次伸直状态下对应的A的值并取均值a1，再记录n次弯曲状态下对应的A的值并取均值a2，则阈值设定为ave＝(a1+a2)/2。

步骤三、根据无人机手势控制装置中的加速度传感器的X轴与Y轴加速度分量数据，判断手掌的倾斜姿态；

加速度传感器是一种空间运动传感器芯片，可以获取加速度传感器当前的三个加速度分量、三个旋转角速度以及当前芯片温度(角速度和温度数据在本发明中未使用，加速度分量指加速度传感器的加速度在其芯片固连坐标系三个轴上的分量)。加速度传感器芯片采集到的数据会存储到加速度传感器芯片的寄存器中。

本发明使用I2C协议将PIC单片机与加速度传感器互联，加速度传感器的数据每个占据2字节空间，PIC单片机需要读取两次，再进行位运算得到一个完整的数据。

MPU6050加速度传感器的数据带有较大噪声，需要在PIC单片机中使用卡尔曼算法进行滤波。当手部呈静止状态时所读到的三个加速度值为重力加速度在三个坐标轴上的分量，其数值为(-16384，16384)的某个值，对应(-g,g)的加速度分量，将三个分量数值做/16384的计算可以得到(-1，1)的值，为加速度分量与重力加速度g的倍数关系。当加速度传感器姿态发生变化时，三个分量亦随之变化，在本发明中仅用到X轴与Y轴加速度分量数据。结合加速度传感器和手套的坐标对应关系如图4所示，并考虑误差容限，当读取到的X轴加速度分量数据>0.5*g时判断为手掌左倾，X轴加速度分量数据<-0.5*g时判断为手掌右倾；当读取到的Y轴加速度分量数据>0.5*g时判断为手掌上倾，Y轴加速度分量数据<-0.5*g时判断为手掌下倾；没有出现上述情况则判断为手掌水平。

步骤四、将弯曲传感器的弯曲信息和加速度传感器的手掌状态信息组合输入到PIC单片机中，得到各组合信息对应的手势状态以及该手势对应的指令；

如图8所示，为手势控制的指令设计和对应指令函数。

编排手势姿态并将之与期望无人机完成的飞行动作一一对应，如手掌水平五指伸直时无人机保持静止、手掌上倾伸直食指无人机返航等。

手势动作及对应的指令如下：

1)、手掌左倾，四指弯曲状态下，无人机实现向左偏航；

2)、手掌左倾，非四指弯曲状态下，无人机实现向左飞行；

3)、手掌右倾，四指弯曲状态下，无人机实现向右偏航；

4)、手掌右倾，非四指弯曲状态下，无人机实现向右飞行；

5)、手掌上倾，一指伸直状态下，无人机实现返航；

6)、手掌上倾，非一指伸直状态下，无人机实现上升；

7)、手掌下倾，四指弯曲状态下，无人机实现强行断电；

8)、手掌下倾，一指伸直状态下，无人机实现着陆；

9)、手掌下倾，非一指伸直状态下，无人机实现下降；

10)、手掌水平，四指伸直状态下，无人机实现悬停；

11)、手掌水平，四指弯曲状态下，无人机实现后退；

12)、手掌水平，一指伸直状态下，无人机实现前进；

注：“一指伸直”即四指中任意一根手指伸直，“非一指伸直”即除“一指伸直”外的所有手指状态。

步骤五、执行者按照要求对手掌和手指分别作出对应的手势动作，PIC单片机通过蓝牙通信模块将指令信号传送到树莓派；

步骤六、树莓派使用Mavlink协议调用飞控模块中对应动作的库函数，从而控制无人机完成指令动作。

树莓派上运行的代码如图9所示，树莓派在系统中作为由蓝牙通信模块到飞控模块的数据中转站。树莓派运行Linix系统，使用Python编程，可以从蓝牙通信接收模块中读取指令信号，并将该信号对应的飞行动作指令发送给飞控模块。由树莓派到飞控模块的指令传输过程数据通道为串口通信，使用Mavlink协议可以直接调用飞控的特定飞行程序，从而控制无人机完成指令动作。

飞控每执行完一个指令动作后均会向树莓派返馈的飞机状态参数，由此判断指令执行情况，如图14所示。

实施例：

将无人机起飞前的所有准备工作都做好之后，运行树莓派上的代码，无人机指令执行部分的蓝牙通信接收模块开始接收手套发出的消息：

起飞及悬停如图10所示：无人机接收到手套的起飞指令，较为稳定的起飞到一定高度，当到达预定高度自动悬停3秒后，接收手势的悬停指令，无人机在原高度和位置悬停。

左右滚转(移动)如图11所示：出于安全考虑，无人机的左右移动速度设计为0.2m/s，在接收到手势指令后，左右移动。

上升下降如图12所示：当无人机接收到手势的上升指令时，不断攀升，当达到预定高度时，悬停，等待接受下一次的命令。当无人机收到下降的命令时，会缓慢的下降一定高度。

着陆如图13所示：当试验完成之后，无人机接收到手势的着陆信号后，不断下降高度，当离地面高度低于0.2m后，给予断电信号，无人机桨叶停转。无人机安全着陆在草地上。

在上电实验的过程中，无人机能够根据手势的运动接收到消息改变运动状态，从而达到控制的要求，且无人机的飞行过程并未出现任何安全和通信故障的问题。所以本发明是成功的，无人机的运动控制完全离开了遥控器，这对于初学者来说是一件好事，再也不用为无人机的复杂操作而害怕。

本发明采用了多种传感器共同识别手势姿态，进而控制无人机的技术手段，通过在手势采集设备上附加多种传感器采集手势指令信号，并将指令信号发送至无人机指令执行部分，通过飞控使无人机执行手势对应的命令，达到了无人机运动受手势操控的目的，具有操作简单、手势识别准确、手势动作多样和成本低的优势，使无人机的操控更加简单。

Claims (4)

1.一种无人机手势控制方法，其特征在于，具体步骤如下：

步骤一、在右手的手套上构建无人机手势控制装置，无人机本体上安装无人机指令执行模块；

无人机手势控制装置包括弯曲传感器、固定电阻、加速度传感器、集成运算放大器、PIC单片机和蓝牙通信发送模块；

无人机指令执行模块包括飞控模块、树莓派、FT4232H转换模块和蓝牙通信接收模块；

弯曲传感器共4个，分别贴附于手套上除去大拇指外的其余四个手指背上，用于识别并采集手指弯曲信号；每个弯曲传感器的电阻与固定电阻串联形成分压电路，将电阻值变化转化成分压变化，再经过集成运算放大器连接成的电压跟随器稳定电压信号后，通过I/O端口输入PIC单片机；

同时，加速度传感器有1个，贴附于手套手背的中心处，用于检测手部的运动加速度及手部不同放置状态下重力加速度在加速度传感器三轴上的分量，进而识别出手部所处姿态；通过I2C协议与PIC单片机连接；PIC单片机通过UART协议与蓝牙通信发送模块连接；

蓝牙通信接收模块通过UART协议连接树莓派，树莓派将指令信号转换为无人机对应飞行模式的控制信号，同时树莓派通过Mavlink协议连接飞控模块，飞控模块控制无人机本体完成各种动作；

步骤二、通过设定阈值，判定无人机手势控制装置中的弯曲传感器处于伸直或弯曲状态；

步骤三、根据无人机手势控制装置中的加速度传感器的X轴与Y轴加速度分量数据，判断手掌的倾斜姿态；

具体判断过程如下：

首先，使用卡尔曼算法将加速度传感器接收的数据进行滤波；

然后，当手部静止状态时，三个加速度值为重力加速度在三个坐标轴上的分量；当加速度传感器姿态发生变化时，三个分量亦随之变化，当X轴的加速度分量数据>0.5*g时，判断为手掌左倾；X轴加速度分量数据<-0.5*g时，判断为手掌右倾；当Y轴加速度分量数据>0.5*g时，判断为手掌上倾，Y轴加速度分量数据<-0.5*g时，判断为手掌下倾；没有出现上述情况则判断为手掌水平；

步骤四、将弯曲传感器的弯曲信息和加速度传感器的手掌状态信息组合输入到PIC单片机中，得到各组合信息对应的手势状态以及该手势对应的指令；

步骤五、执行者按照要求对手掌和手指分别作出对应的手势动作，PIC单片机通过蓝牙通信模块将指令信号传送到树莓派；

步骤六、树莓派使用Mavlink协议调用飞控模块中对应动作的库函数，从而控制无人机完成指令动作。

2.如权利要求1所述的一种无人机手势控制方法，其特征在于，所述的树莓派通过数据线连接FT4232H转换模块作为中介。

3.如权利要求1所述的一种无人机手势控制方法，其特征在于，所述的步骤二具体过程如下：

首先，在PIC单片机中设定阈值ave：ave＝(a1+a2)/2；

a1为弯曲传感器伸直n次对应的变量平均值，a2为弯曲传感器弯曲n次对应的变量平均值；

然后，当弯曲传感器的弯曲程度固定于某一角度时，对应的数据值超出阈值ave，即认为弯曲传感器伸直，反之弯曲传感器为弯曲状态。

4.如权利要求1所述的一种无人机手势控制方法，其特征在于，所述的步骤四中手势动作及对应的指令如下：

1)、手掌左倾，四指弯曲状态下，无人机实现向左偏航；

2)、手掌左倾，非四指弯曲状态下，无人机实现向左飞行；

3)、手掌右倾，四指弯曲状态下，无人机实现向右偏航；

4)、手掌右倾，非四指弯曲状态下，无人机实现向右飞行；

5)、手掌上倾，一指伸直状态下，无人机实现返航；

6)、手掌上倾，非一指伸直状态下，无人机实现上升；

7)、手掌下倾，四指弯曲状态下，无人机实现强行断电；

8)、手掌下倾，一指伸直状态下，无人机实现着陆；

9)、手掌下倾，非一指伸直状态下，无人机实现下降；

10)、手掌水平，四指伸直状态下，无人机实现悬停；

11)、手掌水平，四指弯曲状态下，无人机实现后退；

12)、手掌水平，一指伸直状态下，无人机实现前进；

注：“一指伸直”即四指中任意一根手指伸直，“非一指伸直”即除“一指伸直”外的所有手指状态。

Images