CN106227341A - 基于深度学习的无人机手势交互方法及系统 - Google Patents

Abstract

本发明公开了基于深度学习的无人机手势交互方法及系统，属于无人机控制的技术领域。本发明的方案，实时采集手势图像，采用深度学习算法识别手势图像中的手势动作，对识别的手势动作分类以形成对应于无人机各遥控通道控制指令的手势定义集，按照手势定义集将待识别的手势动作映射为飞行指令，传输飞行指令给无人机。将深度学习算法引入无人机控制领域，基于海量手势定义集的数据对深度学习网络进行训练，让系统智能理解用户的手势动作并将识别的手势动作转化为无人机多通道控制的物理指令，提高了识别率。

Description

基于深度学习的无人机手势交互方法及系统

技术领域

本发明公开了基于深度学习的无人机手势交互方法及系统，属于无人机控制的技术领域。

背景技术

手势交互是指利用计算机图形学等技术对人类肢体动作进行识别和分析，并转化为命令进行操作的交互方式。现今的手势交互大致分为触屏手势交互和三维手势操控两大类。触屏手势在操作方面更为直观，然而触屏手势操控缺少物理反馈，技术限制也会引发操作敏感性和响应时间长等问题.。三维手势操控作为体感交互的一种方式具有巨大的研究及应用潜力。

近年来无人机市场蓬勃发展，尤其是可垂直起降的多旋翼无人机已经成为航模和微小型无人机的主流产品，它大大降低了航拍的成本与难度，汇聚一大批消费受众，并在物流、安全等诸多领域得到广泛应用。但现有的飞控技术，源于20世纪90年代产生的微电机系统，通过遥控器进行操作，专业化程度较高，用户体验亟待提高。无人机手势交互是2013年出现的一种新技术，基于该技术，用户可以可将自己的“手”视为“一架旋翼无人机”，无需在大脑中进行“操作指令与无人机飞行通道”之间的映射思考，自由实现第一人称的飞行控制。无人机手势交互技术目前处于幼年期，苏黎世联邦理工学院(ETH)在该领域处于世界前沿，他们基于深度摄像机(Kinect)在实验室环境，初步实现了手对无人机的多通道飞行控制。

名称为“基于手势的无人机遥控系统”的专利(申请号为201510324347.6)，采用佩戴在操作人员身上的固定设备探测人手或人手上设备的实时运动轨迹，将实时运动轨迹处理后作为无人机运动的遥控指令，此方案需要穿戴设备获取手势信息，穿戴设备的引入对于体验用户来说是累赘，人机互动效果不佳。

名称为“一种能够识别手势的无人机及其识别方法”的专利(申请号为201510257015.0)，通过离线训练好的手势运动模型来识别人的手势，再将人的手势翻译为无人机控制指令，存在速度慢、识别率低的缺陷。

名称为“一种基于计算机视觉的无人飞行器控制方法和装置”的专利(申请号为201511024647.9)，将手势信息中的位移信息转换为飞行器的位移以获取姿态控制信号，手势信息通过采集手部深度信息并估计手部各标定点距离手势信息采集装置的距离信息得到，计算量大。

自2006年7月28日，Hinton G.E.和Salakhutdinov R.R.在Science上发表降维论文<Reducing the Dimensionality of Data with Neural Networks>，深度学习作为一种机器学习方法引起学术界和业界的广泛兴趣。目前，深度学习已经被成功应用于分类、降维、目标跟踪、情感识别等各个领域。目前，还没有将深度学习用于无人机手势交互的方法，本申请旨在提出一种基于深度学习的无人机手势交互方法。

发明内容

本发明的发明目的是针对上述背景技术的不足，提供了基于深度学习的无人机手势交互方法及系统，利用深度学习算法海量训练手势图像以获取对应于多遥控通道控制指令的手势定义集，将识别的手势动作语义映射为飞行指令，有效识别了用户的手势动作，解决了现有无人机手势识别速度慢且识别率低的技术问题。

本发明为实现上述发明目的采用如下技术方案：

基于深度学习的无人机手势交互方法，包括如下步骤：

实时采集手势图像；

采用深度学习算法识别手势图像中的手势动作，对识别的手势动作分类以形成对应于无人机各遥控通道控制指令的手势定义集；

按照手势定义集将待识别的手势动作映射为飞行指令；及，

传输飞行指令给无人机。

作为所述基于深度学习的无人机手势交互方法的进一步优化方案，采用深度学习算法识别手势图像中的手势动作，具体方法为：采用堆叠自编码器模型对手势图像数据进行无监督训练，提取使得重构数据与输入数据误差最小的特征函数，并由目标函数调整各层自编码器的参数。

作为所述基于深度学习的无人机手势交互方法的再进一步优化方案，对识别的手势动作分类的方法为：在堆叠自编码器模型顶层添加一个分类器形成输入层-多隐层-输出层结构的神经网络，以带有标签的手势图像数据为训练样本进行监督学习，微调各层自编码器的参数，手势图像数据与分类器输出数据之间的映射关系构成手势定义集。

基于深度学习的无人机手势交互系统，包括：

视频采集终端，用于实时采集手势图像；

手势识别模块，采用深度学习算法识别手势图像中的手势动作，对识别的手势动作分类以形成对应于无人机各遥控通道控制指令的手势定义集；

语义映射模块，用于按照手势定义集将待识别的手势动作映射为飞行指令；及，

指令发射模块，用于传输飞行指令至无人机。

进一步的，所述基于深度学习的无人机手势交互系统，还包括对语义映射模块进行纠正的纠错与检错模块。

实现所述系统的无人机远程控制接口，包括：

摄像头，用于将实时采集的手势图像传输给主控制器；

主控制器，用于处理手势图像得到待识别手势动作对应的飞控指令；及，

指令发射与飞控装置，用于将主控制器输出的飞控指令通过2.4G载波发送至无人机。

本发明采用上述技术方案，具有以下有益效果：

(1)本发明涉及的交互方法和系统将深度学习算法引入无人机控制领域，基于海量手势定义集的数据对深度学习网络进行训练，让系统智能理解用户的手势动作并将识别的手势动作转化为无人机多通道控制的物理指令，提高了识别率。

(2)提出了一种实现交互方法和系统的无人机远程控制接口，基于该硬件接口，用户将自己的“手”视为无人机，即可实现第一人称的飞行操控，使得即使是没有受过专业化训练的用户也能准确操控无人机，提高了用户体验。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1为无人机远程控制接口与无人机进行手势交互的示意图。

图2为无人机阵列远程控制接口的控制模块架构。

图3为基于深度学习的手势交互系统的模块图。

图4为专业型手势集合的示意图。

图5(a)、图5(b)、图5(c)为简单型手势集合的示意图。

图6为自编码器模型。

图7为多层堆叠自编码器模型。

图8为基于深度学习的多层神经网络模型。

图9为手势识别率对比图。

具体实施方式

下面结合附图对发明的技术方案进行详细说明。深度学习采用多隐层方式从海量数据中提取特征，能够在盲条件下获取能见度特征，很适合全自由度的手势交互，本发明提出了将深度学习算法应用于无人机手势交互的方案.。

如图2、图3所示，实时采集手势图像，采用深度学习算法识别手势图像中的手势动作，对识别的手势动作分类以形成对应于无人机各遥控通道控制指令的手势定义集，按照手势定义集将待识别的手势动作映射为飞行指令，传输飞行指令给无人机。

1.手势定义集

多旋翼无人机一般有前进、后退、左移、右移、上升、下降、左旋、右旋、前翻滚、后翻滚、左翻滚、右翻滚等12个通道。本发明的目的在于降低无人机操控的门槛，让用户以第一人称自由操控无人机，无需专业培训即可操控无人机。由此，从人的主观意识出发，将手视为无人机对手势进行定义，根据通道数量将所有手势归为12类并预留扩展接口。比如，对于“左移”通道，用户一般会有向左移动的动作，但使用左手还是右手、臂膀还是手掌、以及移动幅度等等各不相同。本发明将所有可示意“左移”的手势动作全部归为一类，并采集海量手势图像，基于深度学习算法进行训练学习以不断完善手势定义集。专业型手势集如图4所示，简单型手势集如图5(a)、图5(b)、图5(c)所示。

手势定义集的目的是建立各种手势动作与无人机飞行动作的关系，表征了手势动作与无人机各遥控通道控制指令的映射关系，后续识别中由手势定义集表征的映射关系将体验用户的手势动作转化为具体的飞行命令，再通过2.4G载波发送飞行命令给无人机，从而控制无人机的有效飞行。

传统遥控器控制的无人机需要操作人员在脑海中思考如何操作遥控器才能使无人机按照预定的方向飞行，操作动作与飞行方向映射关系需要通过若干次专业训练才能在大脑中形成潜意识，降低了用户的体验感和飞行乐趣，但在本发明中不需要建立遥控器操作动作与飞行方向的映射关系，通过硬件设备及烧制在核心芯片上的程序实现手势动作与飞行命令的映射，用户只需要做相应动作，即可控制飞行方向。

2.基于深度学习的手势训练与识别算法

深度学习算法的优势在于通过逐层训练实现分类，因此深度学习方法非常适合用于无人机的手势交互控制。对于深度学习而言，数据统计和训练算法最为关键，其步骤如下：

(1)初始化参数

上述手势集的定义为初始化奠定了基础。在训练阶段，对各个子集做标记，以定义手势的不同训练样本，并对隐层的数量、偏差向量等做初始化参数设定。

需要初始化的参数主要有隐层数、初始化编码矩阵及偏差向量。

假设输入信号S的训练样本为{s₁,s₂,s₃,…,s_n-1,s_N,}，通过图6所示框架，能够在隐层得到对输入信号的编码信号Y，Y＝{y₁,y₂,y₃,…,y_n-1,y_n,}。通过解码得到的重构信号Z为{z₁,z₂,z₃,…,z_n-1,z_n,}，如果Z和S之间误差很小，甚至一致，那么该编码是有效的。

在公式(1)、(2)中，W1为编码矩阵，W2为解码矩阵，p是编码偏差向量，q是解码偏差向量：

y＝f₁(W₁x+p) (1)

z＝f₂(W₂x+q) (2)

通过求解输入信号与重构信号之间的误差R(S,Z)，可以得到公式(3)，N为输入信号S的维数：

$I=\underset{I}{\arg \min }R(S,Z)=\underset{I}{\arg \min }\frac{1}{2}\underset{i=1}{\overset{N}{\&Sigma;}}\left|\right|S-Z|{|}^2---\left(3\right)$

(2)逐层训练

由于手势识别仅用一个隐层无法很好地提取其特征，本发明采用多隐层法以提取手势动作的特征。如图7所示，采用多层堆叠自编码器模型对数据进行训练，将无标记的样本数据输入系统，每当输入一个数据查看重构信号与原始数据的差别，然后我们调整重构信号中编码器与解码器的参数使它们之间的误差达到最小。当重构信号Z1完成以后，对于重构信号Z2这一层来说，重构信号Z1是类似于第一层的输入数据S。然后把重构信号Z1当做第二层的输入数据，经过第二层的编码、解码形成重构信号Z2。调节编码器、解码器的参数使重构信号Z2与重构信号Z1之间的误差达到最小，然后依次进行下一层的训练直到最后一层为止。

(3)监督微调

经过前述无监督训练的自动编码器模型还不能实现分类识别。要把数据进行标签分类处理，需要在上述多层堆叠自编码器模型的顶层加上一个分类器(如：罗切斯特分类器、SVM分类器)。然后通过标准的多层神经网络的监督训练方法(梯度下降法)去训练。如图8所示，需要将最后层的特征代码输入到最后的分类器。然后以有标签样本为多层神经网络的输入数据，通过监督学习进行微调，调整各层编码器、解码器的参数。

为实现上述基于深度学习的无人机手势交互方法，本发明提出了无人机阵列远程控制接口如图2、图3所示，包括摄像头、服务器(DL server)以及指令发射与飞控装置(Control Unit和Transmission unit)。摄像头用于将实时采集的手势图像传输给服务器。服务器主板(Development mainboard)上烧制有手势识别程序、语义映射程序，对手势图像做如下处理：识别手势图像中手势动作，获取对应于无人机各遥控通道控制指令的手势定义集，将待识别的手势动作映射为飞控指令。指令发射与飞控装置用于将接收的飞控指令通过2.4G载波发送至无人机。此外，服务器主板上还烧制有对语义映射相关程序进行纠正的纠错与检错程序。

本发明提出的无人机阵列远程控制接口与无人机进行指令交互，如图1所示，该接口的输入是用户的各种手势图片，输出的控制信号通过载波输送给无人机，以实现飞行控制。

UAV阵列远程控制接口中的服务器经过深度学习后具备了手势识别的能力。操作人员只要在摄像头面前做出相应的飞行手势，交互系统就能够自动识别，并根据定义好语义映射关系得到相应的飞控指令。

图9是本发明算法的识别率，上方的图像表示模型正确分类的情形，共有634例，下方的图像表示模型错误分类的情形，共78例，总数为712例。从统计的角度，可得：

$accuracy=\frac{634}{712}\&ap;89.04\%.$

综上所述，本发明具有以下有益效果：

(1)本发明涉及的交互方法和系统将深度学习算法引入无人机控制领域，基于海量手势定义集的数据对深度学习网络进行训练，让系统智能理解用户的手势动作并将识别的手势动作转化为无人机多通道控制的物理指令，提高了识别率。

(2)提出了一种实现交互方法和系统的无人机远程控制接口，基于该硬件接口，用户将自己的“手”视为无人机，即可实现第一人称的飞行操控，使得即使是没有受过专业化训练的用户也能准确操控无人机，提高了用户体验。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案实质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器，或者网络设备等)执行本发明的实施例或实施例的某些部分所述的方法。

Claims (6)

1.基于深度学习的无人机手势交互方法，其特征在于，包括如下步骤：

实时采集手势图像；

采用深度学习算法识别手势图像中的手势动作，对识别的手势动作分类以形成对应于无人机各遥控通道控制指令的手势定义集；

按照手势定义集将待识别的手势动作映射为飞行指令；及，

传输飞行指令给无人机。

2.根据权利要求1所述基于深度学习的无人机手势交互方法，其特征在于，采用深度学习算法识别手势图像中的手势动作，具体方法为：采用堆叠自编码器模型对手势图像数据进行无监督训练，提取使得重构数据与输入数据误差最小的特征函数，并由目标函数调整各层自编码器的参数。

3.根据权利要求2所述基于深度学习的无人机手势交互方法，其特征在于，对识别的手势动作分类的方法为：在堆叠自编码器模型顶层添加一个分类器形成输入层-多隐层-输出层结构的神经网络，以带有标签的手势图像数据为训练样本进行监督学习，微调各层自编码器的参数，手势图像数据与分类器输出数据之间的映射关系构成手势定义集。

4.基于深度学习的无人机手势交互系统，其特征在于，包括：

视频采集终端，用于实时采集手势图像；

手势识别模块，采用深度学习算法识别手势图像中的手势动作，对识别的手势动作分类以形成对应于无人机各遥控通道控制指令的手势定义集；

语义映射模块，用于按照手势定义集将待识别的手势动作映射为飞行指令；及，

指令发射模块，用于传输飞行指令至无人机。

5.根据权利要求4所述基于深度学习的无人机手势交互系统，其特征在于，所述系统还包括对语义映射模块进行纠正的纠错与检错模块。

6.实现权利要求4所述系统的无人机远程控制接口，其特征在于，包括：

摄像头，用于将实时采集的手势图像传输给主控制器；

主控制器，用于处理手势图像得到待识别手势动作对应的飞控指令；及，

指令发射与飞控装置，用于将主控制器输出的飞控指令通过2.4G载波发送至无人机。