CN210109640U - 一种无人机手势控制装置 - Google Patents

Abstract

本实用新型公开了一种无人机手势控制装置，属于无人机控制领域。该装置包括弯曲传感器、分压电阻、加速度传感器、集成运算放大器、PIC单片机、蓝牙通信模块、飞控模块、USB转串口和树莓派。4套弯曲传感器获取四根手指弯曲信息，加速度传感器获取手掌倾斜状态，PIC单片机读取弯曲传感器和加速度传感器所得数据并判断手势状态，在PIC单片机中存储有与每一种有效手势对应的飞行指令，判断到当前手势状态后，将对应的指令信号通过串口传递到蓝牙通信模块，并发送到树莓派，树莓派读取指令，并判断对应的飞行动作，通过调用控制对应飞行动作的库函数控制飞控模块，使无人机执行对应的飞行动作。本实用新型操作过程简单方便，结构简单可靠，识别更准确。

Description

一种无人机手势控制装置

技术领域

本实用新型属于无人机控制领域，具体涉及一种无人机手势控制装置。

背景技术

近年来，国家对于无人机的发展越来越重视，无人机的热度不断上升，国内外各大无人机公司不断吸引外部投资，在续航，作业和安全稳定等方面不断创新，使得无人机越来越趋于稳定化和先进化。

而且随着人工智能的发展和5G时代的到来，无人机更加智能化，京东无人机配送站宣布成立，大疆和徕卡地理信息公司合作开发航拍系统和5G无人机安防系统，可携带AI深度学习平台，可实现多场景，多人物以及多维度的快速视频分析。不仅如此，据了解，消费级的无人机所占市场比例超过了军用无人机，成为了未来的市场竞争主力。

同时，消费级的无人机在操控方面，要求简单方便。然而，国内外在无人机操控方面的革新并不多见，很大程度上无人机的操作仍然依赖于遥控器。遥控器的操作复杂，控制起来不方便，且对操作者的专业性要求较高，对于普通大众来说，具有一定的学习成本，不利于无人机的普及。

虽然，目前无人机操控中出现了手势控制，但是，大多采用模式识别或图像识别手势。采用图像识别需要配备一定清晰度的摄像模组和图像处理芯片，成本较高；在远距离时，图像识别手势的精度不高，容易造成误操作；在一些环境下(比如暗光、雾霾天气等)，图像识别效果很差。而且使用图像识别还意味着操控的手必须在摄像模组视野范围内，具有很大的局限性；同样模式识别手势在无人机控制领域有较多不足，无法完美满足无人机控制的需要。

也有少数无人机手势控制采用传感器识别手势，但都只采用了单独一种传感器。如公告号为CN207718231U的实用新型专利申请在2018年8月10日公开的“一种手势识别遥控无人机”；其所能识别的手势动作极为有限，用于操控无人机的指令极少，很难实现无人机飞行的灵活控制。

实用新型内容

本实用新型针对上述问题，提出了一种无人机手势控制装置，能灵活识别多种手势动作实现无人机灵活飞行。

包括弯曲传感器、分压电阻、加速度传感器、集成运算放大器、PIC单片机、蓝牙通信模块、飞控模块、USB转串口和树莓派；

蓝牙通信模块包括蓝牙通信发送模块和蓝牙通信接收模块；

其中，弯曲传感器、分压电阻、加速度传感器、集成运算放大器、PIC单片机、蓝牙通信发送模块建立在右手的手套上，蓝牙通信接收模块、飞控模块、USB转串口和树莓派集成在无人机本体上；

弯曲传感器共4个，分别贴附于手套上除去大拇指外的其余四个手指背上；每个弯曲传感器分别串联一个分压电阻，PIC单片机的5V电源端口Vcc，通过导线连接到弯曲传感器的一个引脚，经由弯曲传感器另一个引脚，串联固定阻值的分压电阻后再连接到PIC单片机上的GND引脚，形成分压电路，分压从弯曲传感器和分压电阻之间引出，连接到集成运算放大器的正极输入，集成运算放大器的输出引脚与负极输入引脚连接后与PIC单片机的I/O口相连；

同时，加速度传感器贴附于手套手背的中心处，通过I2C协议与PIC单片机连接；连接方式为：加速度传感器的VCC引脚连接5V电源，加速度传感器的GND引脚连接PIC单片机的GND引脚；加速度传感器的SCL引脚连接PIC单片机的SCL引脚；加速度传感器的SDA引脚连接PIC单片机的SDA引脚；加速度传感器的ADO引脚连接PIC单片机的GND引脚；其余管脚悬空；

弯曲传感器和加速度传感器协同获取手势的各种姿态，发送给PIC单片机，PIC单片机通过UART协议与蓝牙通信发送模块连接，将手势的各种姿态指令发出；

蓝牙通信发送模块与PIC单片机的连接方式为：

蓝牙通信模块的VCC连接5V电源，蓝牙通信模块的GND引脚连接PIC单片机的GND引脚；蓝牙通信模块的TXD引脚连接PIC单片机的RXD引脚；蓝牙通信模块的RXD引脚连接PIC单片机的TXD引脚；其余管脚悬空；

无人机本体上与蓝牙通信发送模块配对的蓝牙通信接收模块接收PIC单片机发送的指令信号，通过UART协议发送给USB转串口，进一步传输给通过数据线连接的树莓派；

蓝牙通信接收模块与USB转串口的接线为：

USB转串口的CN3 pin22引脚连接蓝牙通信接收模块的VCC引脚；USB转串口的CN2pin2引脚连接蓝牙通信接收模块的GND引脚；USB转串口的CN2 pin7引脚连接蓝牙通信接收模块的RXD引脚；USB转串口的CN2 pin10引脚连接蓝牙通信接收模块的TXD引脚；USB转串口的CN3 pin1引脚连接CN3 pin3引脚；CN2 pin1引脚连接CN2 pin11引脚；CN2 pin3引脚连接CN2 pin21引脚；CN2 pin5引脚连接CN3 pin12引脚；

树莓派与飞控模块通过Mavlink协议连接，将指令信号转换为无人机对应飞行模式的控制信号后传送给飞控模块，控制无人机本体完成对应的指令动作；

树莓派与飞控模块的连接如下：

将树莓派的Vcc引脚连接飞控模块中的Vcc引脚，将树莓派的GND引脚连接飞控模块中的GND引脚，将树莓派的TX引脚连接飞控模块中的RX引脚，将树莓派的RX引脚连接飞控模块中的TX引脚。

本实用新型具有以下优势：

(1)一种无人机手势控制装置，采用手套对无人机进行操控，操作过程简单方便，降低了无人机的上手难度；

(2)一种无人机手势控制装置，通过传感器采集手势信号，结构简单可靠，进而提高了环境适应能力，手势识别更准确，同时降低了成本；

(3)一种无人机手势控制装置，传感器选用多种传感器组合使用，可以识别更加复杂的手势，增加了无人机操控中的手势指令数量，也提高了无人机的操控性和灵活性；

(4)一种无人机手势控制装置，在信息传输中使用树莓派进行数据中转，在更换相近类型飞控后仍能保证系统的有效性，保证了该控制系统的可移植性。

附图说明

图1为本实用新型无人机手势控制装置的组成及连接方式示意图；

图2为本实用新型构建在右手手套上的各芯片之间的连接图；

图3为本实用新型无人机本体上集成的各芯片之间的连接图；

1-弯曲传感器；2-分压电阻；3-集成运算放大器；4-加速度传感器；5-PIC单片机；6-蓝牙通信模块；7-树莓派；8-飞控模块；9-USB转串口。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本实用新型作进一步的详细和深入描述。

本实用新型一种无人机手势控制装置，通过在手势采集手套上附加多种传感器，多种传感器协同采集手势指令信号，并将手势指令信号发送至无人机，使无人机执行手势对应的命令，无人机运动受手势操控具有操作简单、手势识别准确、手势动作多样和成本低的优势。

如图1所示，所述的无人机手势控制装置，包括弯曲传感器1、分压电阻2、加速度传感器4、集成运算放大器3、PIC单片机5、蓝牙通信模块6、飞控模块8、树莓派7和USB转串口9。

蓝牙通信模块6包括蓝牙通信发送模块和蓝牙通信接收模块，通过2.4GHz的电磁信号互传信息。考虑到其传输效率较低，使用单个字符作为指令在两个蓝牙通信模块间传输。

弯曲传感器1、分压电阻2、加速度传感器4、集成运算放大器3、PIC单片机5和蓝牙通信发送模块建立在右手的手套上，蓝牙通信接收模块、飞控模块8、USB转串口和9树莓派7集成在无人机本体上。

弯曲传感器1共4个，分别贴附于手套上除去大拇指外的其余四个手指背上，每个弯曲传感器1的位置从手指与手背的连接处开始，直至指甲前结束，用于识别并采集手指弯曲信号，每套传感器均采用完全相同的电路连接方式：

每个弯曲传感器1分别串联一个分压电阻2形成分压电路，将电阻值转化成分压变化的电压信号，经集成运算放大器3接成的电压跟随器稳定电压信号后，通过I/O端口输入PIC单片机5；

具体电路连线为：

每个弯曲传感器1为一可变电阻，有两个等效引脚；Vcc是PIC单片机5的5V电源端口，PIC单片机5的Vcc引脚通过导线连接到弯曲传感器1的其中一个引脚上，经由弯曲传感器1的另一引脚连接分压电阻2后再连接PIC单片机5的GND引脚，形成分压电路。分压从弯曲传感器1和分压电阻2之间引出，连接到集成运算放大器3的正极输入，集成运算放大器3的输出引脚与负极输入引脚连接后与PIC单片机5的I/O口相连。

优选地，弯曲传感器1为flex2.2’弯曲传感器；通过添加布料缝制的方式与手套手指部分贴附，方便安放、取出，同时有助于弯曲时纵向移动卸除纵向应力，数据采集更加稳定可靠。弯曲传感器1弯曲程度的变化能够转换成电阻值的变化，电阻值随弯曲由小变大，本实施例中flex2.2’弯曲传感器的阻值由约7000Ω到约13000Ω变化，将其与固定阻值10k的电阻串联构成一分压电路，将分压经过集成运算放大器稳压后输入PIC单片机模拟输入端，即可通过电压值的大小反映弯曲传感器(手指)的弯曲程度。同时考虑到PIC单片机输入引脚的电阻效应，加入集成运算放大器，即集成运放tl084cn构成电压跟随器，保证PIC单片机获取的数据稳定、准确而且可靠。电压数据读取到PIC单片机中具体体现为十进制数据0-1023，将弯曲传感器固定于某一角度，读出数据值，即可完成对于弯曲传感器的标定。

加速度传感器4即惯性传感器通过I2C协议与PIC单片机5连接；加速度传感器4贴附于手套手背中心处，用于检测手部的运动加速度及手不同放置状态下重力加速度在加速度传感器三轴x、y和z上的分量，进而识别出手部所处姿态。

优选地，加速度传感器4为MPU6050加速度传感器，即MPU6050惯性传感器。惯性传感器PCB板先使用热熔胶与一块较大塑料板固连，之后将塑料板与手套手背部分使用热熔胶粘连，有利于惯性传感器紧密跟随手部运动，测量数据更加准确。

如图2所示，加速度传感器4的引脚包括：VCC、GND、SCL、SDA、XDA、XCL、AD0、INT，其与PIC单片机5连接方式为：加速度传感器4的VCC引脚连接5V电源，加速度传感器4的GND引脚连接PIC单片机5的GND引脚；加速度传感器4的SCL引脚连接PIC单片机5的SCL引脚；加速度传感器4的SDA引脚连接PIC单片机5的SDA引脚；加速度传感器4的ADO引脚连接PIC单片机5的GND引脚；其余管脚悬空。

加速度传感器是一种空间运动传感器芯片，可以获取加速度传感器当前的三个加速度分量、三个旋转角速度以及当前芯片温度(角速度和温度数据在本实用新型中未使用，加速度分量指加速度传感器的加速度在其芯片固连坐标系三个轴上的分量)。加速度传感器芯片采集到的数据会存储到加速度传感器芯片的寄存器中。

当手部呈静止状态时所读到的三个加速度值为重力加速度在三个坐标轴上的分量，其数值为(-16384，16384)的某个值，对应(-g,g)的加速度分量，将三个分量数值做/16384的计算可以得到(-1，1)的值，为加速度分量与重力加速度g的倍数关系。当加速度传感器姿态发生变化时，三个分量亦随之变化，在本实用新型中仅用到X轴与Y轴加速度分量数据。结合加速度传感器和手套的坐标对应关系并考虑误差容限，当读取到的X轴加速度分量数据>0.5*g时判断为手掌左倾，X轴加速度分量数据<-0.5*g时判断为手掌右倾；当读取到的Y轴加速度分量数据>0.5*g时判断为手掌上倾，Y轴加速度分量数据<-0.5*g时判断为手掌下倾；没有出现上述情况则判断为手掌水平。

弯曲传感器1和加速度传感器4协同获取手势姿态数据，可增多可识别的手势种类，发送给PIC单片机5，PIC单片机5通过UART协议与蓝牙通信发送模块连接，将手势的各种姿态指令发出；

优选地，PIC单片机5为CHIPKIT MAX32单片机，使用Arduino安装对应开发板包后编译使用。

优选地，蓝牙通信模块6为HC-42蓝牙串口透传模块，蓝牙通信模块的引脚包括VCC、GND、TXD、RXD，如图2所示，其与PIC单片机5连接方式为：

Hc42的-Max32蓝牙通信模块的VCC连接5V电源，蓝牙通信模块的GND引脚连接PIC单片机5的GND引脚；蓝牙通信模块的TXD引脚连接PIC单片机5的RXD引脚；蓝牙通信模块的RXD引脚连接PIC单片机5的TXD引脚；其余管脚悬空。

无人机本体上与蓝牙通信发送模块配对的蓝牙通信接收模块接收PIC单片机5发送的指令信号，通过UART协议发送给USB转串口9，进一步传输给通过数据线连接的树莓派7。

所述的树莓派7为Raspberry Pi 3Model B，只有一组串口通信引脚：TX和RX引脚，通过数据线连接FT4232H USB转串口9，将树莓派7的一个USB口引出成为4对UART总线引脚，树莓派7同时连接飞控模块8。

蓝牙通信接收模块与FT4232H USB转串口模块的接线为：

FT4232H USB转串口9的CN3 pin22引脚连接蓝牙通信接收模块的VCC引脚；FT4232H USB转串口9的CN2 pin2引脚连接蓝牙通信接收模块的GND引脚；FT4232H USB转串口9的CN2 pin7引脚连接蓝牙通信接收模块的RXD引脚；FT4232H USB转串口模块的CN2pin10引脚连接蓝牙通信接收模块的TXD引脚；FT4232H USB转串口9的CN3 pin1引脚连接CN3 pin3引脚；CN2 pin1引脚连接CN2 pin11引脚；CN2 pin3引脚连接CN2 pin21引脚；CN2 pin5引脚连接CN3 pin12引脚。

树莓派7与飞控模块8通过Mavlink协议连接，树莓派7作为由蓝牙通信模块6到飞控模块8的数据中转站。树莓派7运行Linix系统，使用Python编程，从蓝牙通信模块6中读取指令信号，并将该信号对应的飞行动作指令发送给飞控模块8。由树莓派7到飞控模块8的指令传输过程数据通道为串口通信，使用Mavlink协议可以直接调用飞控模块8的特定飞行程序，从而控制无人机完成指令动作。

优选地，飞控模块为pixhawk飞控，有多个UART接口，其中Telem2为uartD次数传接口，可用于Mavlink协议的数据传输。本实用新型中，飞控工作模式为自动飞行模式，并通过地面站Mission Planner打开飞控模块Telem2的通信功能，设置波特率为921600，配置飞控日志参数，可以从树莓派7接收指令并执行。

树莓派7共40个引脚，第一排前五个引脚分别为Vcc(5V)、Vcc(5V)、GND、TX、RX，与飞控模块的连接如下：

如图3所示，将树莓派7的Vcc引脚连接飞控模块8中的Vcc引脚，将树莓派7的GND引脚连接飞控模块8中的GND引脚，将树莓派7的TX引脚连接飞控模块8中的RX引脚，将树莓派7的RX引脚连接飞控模块8中的TX引脚。

所述的无人机手势控制装置的工作原理如下：

使用4套弯曲传感器获取四根手指弯曲信息，通过加速度传感器获取手掌倾斜状态，PIC单片机读取弯曲传感器和加速度传感器这两种传感器所得数据并判断手势状态，在PIC单片机中存储有与每一种有效手势对应的飞行指令，判断到当前手势状态后，将对应的指令信号通过串口通信传递到蓝牙通信模块，并发送到树莓派，树莓派读取蓝牙接收到的指令，并判断该指令信号对应无人机的哪种飞行动作，通过调用控制对应飞行动作的库函数控制飞控，使无人机执行对应的飞行动作。

所述的手势状态对应的指令信号如下：

1)、手掌左倾，四指弯曲状态下，无人机实现向左偏航；

2)、手掌左倾，非四指弯曲状态下，无人机实现向左飞行；

3)、手掌右倾，四指弯曲状态下，无人机实现向右偏航；

4)、手掌右倾，非四指弯曲状态下，无人机实现向右飞行；

5)、手掌上倾，一指伸直状态下，无人机实现返航；

6)、手掌上倾，非一指伸直状态下，无人机实现上升；

7)、手掌下倾，四指弯曲状态下，无人机实现强行断电；

8)、手掌下倾，一指伸直状态下，无人机实现着陆；

9)、手掌下倾，非一指伸直状态下，无人机实现下降；

10)、手掌水平，四指伸直状态下，无人机实现悬停；

11)、手掌水平，四指弯曲状态下，无人机实现后退；

12)、手掌水平，一指伸直状态下，无人机实现前进；

“一指伸直”即四指中任意一根手指伸直，“非一指伸直”即除“一指伸直”外的所有手指状态。

本实施例中实际的指令包括：

起飞及悬停：无人机接收到手势的起飞指令，然后较为稳定的起飞到一定高度，当到达预定高度自动悬停3秒后，接收手势的悬停指令，无人机在原高度和位置悬停。

左右滚转(移动)：出于安全考虑，无人机的左右移动速度设计为0.2m/s，在接收到手势指令后，左右移动。

上升下降：当无人机接收到手势的上升指令时，不断攀升，当达到预定高度时，悬停，等待接受下一次的命令。当无人机收到下降的命令时，会缓慢的下降一定高度。

着陆：当试验完成之后，无人机接收到手势的着陆信号后，不断下降高度，当离地面高度低于0.2m后，给予断电信号，无人机桨叶停转。无人机安全着陆在草地上。

飞控每执行完一个指令动作后均会向树莓派返馈的飞机状态参数，由此判断指令执行情况。

Claims (7)

1.一种无人机手势控制装置，其特征在于，包括弯曲传感器、分压电阻、加速度传感器、集成运算放大器、PIC单片机、蓝牙通信模块、飞控模块、USB转串口和树莓派；

蓝牙通信模块包括蓝牙通信发送模块和蓝牙通信接收模块；

其中，弯曲传感器、分压电阻、加速度传感器、集成运算放大器、PIC单片机、蓝牙通信发送模块建立在右手的手套上，蓝牙通信接收模块、飞控模块、USB转串口和树莓派集成在无人机本体上；

弯曲传感器共4个，分别贴附于手套上除去大拇指外的其余四个手指背上；每个弯曲传感器分别串联一个分压电阻，PIC单片机的5V电源端口Vcc，通过导线连接到弯曲传感器的一个引脚，经由弯曲传感器另一个引脚，串联固定阻值的分压电阻后再连接到PIC单片机上的GND引脚，形成分压电路，分压从弯曲传感器和分压电阻之间引出，连接到集成运算放大器的正极输入，集成运算放大器的输出引脚与负极输入引脚连接后与PIC单片机的I/O口相连；

同时，加速度传感器贴附于手套手背的中心处，通过I2C协议与PIC单片机连接；连接方式为：加速度传感器的VCC引脚连接5V电源，加速度传感器的GND引脚连接PIC单片机的GND引脚；加速度传感器的SCL引脚连接PIC单片机的SCL引脚；加速度传感器的SDA引脚连接PIC单片机的SDA引脚；加速度传感器的ADO引脚连接PIC单片机的GND引脚；其余管脚悬空；

弯曲传感器和加速度传感器协同获取手势的各种姿态，发送给PIC单片机，PIC单片机通过UART协议与蓝牙通信发送模块连接，将手势的各种姿态指令发出；

蓝牙通信发送模块与PIC单片机的连接方式为：

蓝牙通信模块的VCC连接5V电源，蓝牙通信模块的GND引脚连接PIC单片机的GND引脚；蓝牙通信模块的TXD引脚连接PIC单片机的RXD引脚；蓝牙通信模块的RXD引脚连接PIC单片机的TXD引脚；其余管脚悬空；

无人机本体上与蓝牙通信发送模块配对的蓝牙通信接收模块接收PIC单片机发送的指令信号，通过UART协议发送给USB转串口，进一步传输给通过数据线连接的树莓派；

蓝牙通信接收模块与USB转串口的接线为：

USB转串口的CN3 pin22引脚连接蓝牙通信接收模块的VCC引脚；USB转串口的CN2 pin2引脚连接蓝牙通信接收模块的GND引脚；USB转串口的CN2 pin7引脚连接蓝牙通信接收模块的RXD引脚；USB转串口的CN2 pin10引脚连接蓝牙通信接收模块的TXD引脚；USB转串口的CN3 pin1引脚连接CN3 pin3引脚；CN2 pin1引脚连接CN2 pin11引脚；CN2 pin3引脚连接CN2 pin21引脚；CN2 pin5引脚连接CN3 pin12引脚；

树莓派与飞控模块通过Mavlink协议连接，将指令信号转换为无人机对应飞行模式的控制信号后传送给飞控模块，控制无人机本体完成对应的指令动作；

树莓派与飞控模块的连接如下：

将树莓派的Vcc引脚连接飞控模块中的Vcc引脚，将树莓派的GND引脚连接飞控模块中的GND引脚，将树莓派的TX引脚连接飞控模块中的RX引脚，将树莓派的RX引脚连接飞控模块中的TX引脚。

2.如权利要求1所述的一种无人机手势控制装置，其特征在于，弯曲传感器为flex2.2’弯曲传感器；通过添加布料缝制的方式与手套手指部分贴附。

3.如权利要求1所述的一种无人机手势控制装置，其特征在于，加速度传感器为MPU6050加速度传感器，即MPU6050惯性传感器；惯性传感器PCB板先使用热熔胶与一块较大塑料板固连，之后将塑料板与手套手背部分使用热熔胶粘连。

4.如权利要求1所述的一种无人机手势控制装置，其特征在于，所述的PIC单片机为CHIPKIT MAX32单片机。

5.如权利要求1所述的一种无人机手势控制装置，其特征在于，所述的蓝牙通信模块为HC-42蓝牙串口透传模块。

6.如权利要求1所述的一种无人机手势控制装置，其特征在于，所述的树莓派为Raspberry Pi 3Model B，只有一组串口通信引脚：TX和RX引脚，通过数据线连接FT4232HUSB转串口，将树莓派的一个USB口引出成为4对UART总线引脚，树莓派同时连接飞控模块。

7.如权利要求1所述的一种无人机手势控制装置，其特征在于，所述的飞控模块为pixhawk飞控，有多个UART接口，其中Telem2为uartD次数传接口，用于Mavlink协议的数据传输。

Images