CN104808799A - 一种能够识别手势的无人机及其识别方法 - Google Patents

Abstract

本发明涉及无人机控制及计算机视觉结合的技术领域，本发明公开了一种能够识别手势的无人机，其具体包括设置在无人机上的图像获取装置、图像处理模块、手势识别模块和手势翻译器；所述图像获取装置用于获取视角范围内的图像；所述图像处理模块根据获取到的图像判断图像中是否存在人，当图像中存在人的时候，启动手势识别模块；所述手势识别模块根据图像中人的手势以及事先建立的人的手势运动模型，识别出图像中人的手势；所述手势翻译器将图像中的人的手势翻译为无人机的控制命令，并发送给无人机。将手势识别引入到无人机控制中，可降低无人机硬件成本，还可增加无人机的操控乐趣，增强人与无人机的互动。

Description

一种能够识别手势的无人机及其识别方法

技术领域

本发明涉及无人机及计算机视觉相结合的技术领域，尤其涉及一种能够识别手势的无人机及其识别方法。

背景技术

现有技术中的无人机有很多种类型，其不同的无人机各自的应用范围也非常广泛，以旋翼无人机为例，其是一种可垂直起降的飞行器,这种飞行器具有体积小、重量轻、飞行稳定、价格低廉、可进行悬停等诸多优点,有非常良好的应用和研究价值。由于无人机上没有搭载飞行员，因此其飞行控制多采用遥控来实现。

目前通用的遥控方法有定制的手持遥控器和通用移动终端（如：平板电脑和手机等）。这种方法的优点是能够对无人机实现精准、实时控制，可靠性较高；缺点是增加额外成本且不利于携带，在出现硬件故障时，会出现“提控归”现象。因此有必要在不增加现有无人机硬件成本的基础上，研究新的无人机控制方法，作为独立的无人机遥控解决方案或者现有遥控方法的有益辅助。

发明内容

针对现有技术中的无人机控制需要额外的硬件设备，导致成本高步不便于携带的技术问题，本发明公开了一种能够识别手势的无人机及其识别方法。

本发明的具体实现方式如下：

一种能够识别手势的无人机，其具体包括设置在无人机上的图像获取装置、图像处理模块、手势识别模块和手势翻译器；所述图像获取装置用于获取视角范围内的图像；所述图像处理模块根据获取到的图像判断图像中是否存在人，当图像中存在人的时候，启动手势识别模块；所述手势识别模块根据图像中人的手势以及事先建立的人的手势运动模型，识别出图像中人的手势；所述手势翻译器将图像中的人的手势翻译为无人机的控制命令，并发送给无人机。

更进一步地，上述图像处理模块包括预处理模块和特征提取模块，所述预处理模块用于对输入的图像进行分割、边缘检测和角点检测，然后将结果送入特征提取模块；所述特征提取模块首先对预处理后的图像中的人脸进行特征提取，确定人脸位置后进一步确定头肩的坐标，然后以头肩坐标为参考，提取上肢特征，并利用训练好的手势运动模型对输入图像进行手势识别。

更进一步地，采用非线性分类器对待检测图像进行手势识别，利用离线训练好的手势运动模型对输入图像进行手势识别，然后将手势识别的结果发送给手势翻译器。

更进一步地，上述手势翻译器用于建立手势与控制命令之间的映射关系，从而将手势翻译成无人机的控制命令，其首先建立手势字典，该字典定义了手势与控制命令间的对应关系，当有新的手势识别结果输入时，手势翻译器随即查找手势字典，并将查找结果输出到无人机，完成手势遥控行为。

更进一步地，上述图像获取装置通过云台安装在无人机上，所述云台带动图像获取装置向任意角度旋转，以获取到用户的手势。

更进一步地，上述无人机还包括切换开关，所述切换开关用于切换无人机当前的被控制方式，所述被控制方式包括遥控器遥控控制和/或者移动终端遥控控制和/或者手势遥控控制。

本发明还公开了一种能够识别手势的无人机的识别方法，其具体包括以下的步骤：步骤一、根据人的手势建立人的手势运动识别模型，并训练该手势运动识别模型；步骤二、设置在无人机上的图像获取装置获取视角范围内的图像，并判断该图像中是否存在人，是则启动手势识别的步骤，否则继续获取视角范围内的图像；步骤三、根据步骤二获取到的图像中人的手势以及事先建立的手势运动识别模型，识别出图像中人的手势；步骤四、将图像中的人的手势翻译为无人机的控制命令，并发送给无人机。

更进一步地，上述图像获取装置通过云台安装在无人机上，所述云台带动图像获取装置向任意角度旋转，以获取到用户的手势。

更进一步地，当图像获取装置获取到人的手势后，根据人在图像中的位置变化，调整云台的旋转角度，以控制该图像获取装置的视角始终面向控制该无人机的人。

更进一步地，上述无人机还包括切换开关，所述切换开关用于切换无人机当前的被控制方式，所述被控制方式包括遥控器遥控控制和/或者移动终端遥控控制和/或者手势遥控控制。

通过采用以上的技术方案，本发明具有以下的有益效果：本发明通过在无人机上设置图像获取装置（比如摄像头或者相机或者高速相机等等），可以实时获取视角范围内的图像，并分析该图象中是否存在人的控制手势，是，则识别出后翻译为无人机的控制命令，从而通过人的手势对无人机进行控制，使得不需要携带其他的控制硬件，方便了用户的使用，降低了用户的购置成本。将手势识别引入到无人机控制中，可独立对无人机进行控制或作为遥控装置的辅助。不但可降低无人机硬件成本，还可增加无人机的操控乐趣，增强人与无人机的互动。使用非线性分类器对手势特征进行离线训练和在线识别，提高了手势识别的成功率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为无人机的手势检测的功能模块图。

图2为基于手势的无人机控制方法实施流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，很显然，下文所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开了一种能够识别手势的无人机，其具体包括设置在无人机上的图像获取装置、图像处理模块、手势识别模块和手势翻译器；所述图像获取装置用于获取实时的视角范围内的图像；所述图像处理模块根据获取到的图像判断图像中是否存在人，当图像中存在人的时候，启动手势识别模块，否则继续获取实时的视角范围内的图像；所述手势识别模块根据图像中人的手势以及事先建立的人的手势运动模型，识别出图像中人的手势；所述手势翻译器将图像中的人的手势翻译为无人机的控制命令，并发送给无人机。本发明通过在无人机上设置图像获取装置（比如摄像头），实时获取处于摄像头视角范围内的图像，并分析该图象中是否存在人的控制手势，是，则识别出后翻译为无人机的控制命令，从而通过人的手势对无人机进行控制，使得不需要携带其他的控制硬件，方便了用户的使用，降低了用户的购置成本。将手势识别引入到无人机控制中，可独立对无人机进行控制或作为遥控装置的辅助。不但可降低无人机硬件成本，还可增加无人机的操控乐趣，增强人与无人机的互动。使用非线性分类器对手势特征进行离线训练和在线识别，提高了手势识别的成功率。

其中图像处理模块包括预处理模块和特征提取模块，所述预处理模块用于对输入的图像（比如视频图像）进行分割、边缘检测和角点检测等操作，然后将结果送入特征提取模块，所述特征提取模块首先对预处理后的图像中的人脸进行特征提取，确定人脸位置后进一步确定头肩的坐标；然后以头肩坐标为参考，提取上肢特征，并利用训练好的手势运动模型对输入图像进行手势识别。在进行手势识别时，可以利用非线性分类器对待检测图像进行手势识别，利用离线训练好的手势运动模型对输入图像进行手势识别，然后将手势识别的结果发送给手势翻译器。所述的手势翻译器就是建立手势动作与控制命令之间的映射关系，从而将手势动作翻译成无人机的控制命令。首先建立手势字典，该字典定义了手势动作与控制命令间的一一对应关系。当有新的手势识别结果输入时，手势翻译器随即查找手势字典，并将查找结果输出到无人机的飞控装置，完成手势遥控行为。

图1为无人机的手势检测的功能模块图。其包括离线的手势运动模型训练过程，其首先输入多个离线图像，再将离线图像进行预处理和手势特征提取，然后进行非线性分类，得到手势运动模型的手势运动模型。当检测到人的控制手势时，通过非线性分类器匹配手势运动模型，匹配出该控制手势的类型，然后发送给手势翻译器翻译为对应的控制指令以控制无人机的动作。

更进一步地，上述图像获取装置通过云台安装在无人机上，所述云台带动图像获取装置向任意角度旋转，以获取到用户的控制手势。通过云台带动摄像头向任意的角度进行旋转，不停地搜索视角范围内的人，以得到人的控制手势。

更进一步地，上述无人机还包括切换开关，所述切换开关用于切换无人机当前的被控制方式，所述被控制方式包括遥控器遥控控制和/或者移动终端遥控控制和/或者手势遥控控制。通过切换开关的控制，能够兼容目前常规的遥控器的控制方式，当切换开关切换到遥控器的控制方式时，无人机的控制方式和现有的遥控器的控制方式完全相同，遥控器根据人的按键输出不同的红外或者其他的控制指令给无人机，无人机接收后执行对应的指令。现有的遥控器的控制方式属于现有的常规技术，在此不详细赘述其原理和实现过程。

本发明公开了还公开了一种能够识别手势的无人机的识别方法，其具体包括以下的步骤：步骤一、根据人的手势建立人的手势运动识别模型，并训练该手势运动识别模型；步骤二、设置在无人机上的图像获取装置获取实时的视角范围内的图像，并判断该图像中是否存在人，是则启动手势识别的步骤，否则继续获取实时的视角范围内的图像；步骤三、根据步骤二获取到的图像中人的手势以及事先建立的手势运动识别模型，识别出图像中人的手势；步骤四、将图像中的人的手势翻译为无人机的控制命令，并发送给无人机。将手势识别引入到无人机控制中，可独立对无人机进行控制或作为遥控装置的辅助。不但可降低无人机硬件成本，还可增加无人机的操控乐趣，增强人与无人机的互动。使用非线性分类器对手势特征进行离线训练和在线识别，提高了手势识别的成功率。其中手势运动识别模型的建立是基于事先拍摄的人的运动手势，并逐步进行模型训练，其和上述的手势运动模型相对应。

其中图像处理模块包括预处理和特征提取，所述预处理模块用于对输入的图像（比如视频图像）进行分割、边缘检测和角点检测等操作，然后将结果送入特征提取模块，所述特征提取模块首先对预处理后的图像中的人脸进行特征提取，确定人脸位置后进一步确定头肩的坐标；然后以头肩坐标为参考，提取上肢特征，并利用训练好的手势运动模型对输入图像进行手势识别。在进行手势识别时，可以利用非线性分类器对待检测图像进行手势识别，利用离线训练好的手势运动模型对输入图像进行手势识别，然后将手势识别的结果发送给手势翻译器。所述的手势翻译器就是建立手势动作与控制命令之间的映射关系，从而将手势动作翻译成无人机的控制命令。首先建立手势字典，该字典定义了手势动作与控制命令间的一一对应关系。当有新的手势识别结果输入时，手势翻译器随即查找手势字典，并将查找结果输出到无人机的飞控装置，完成手势遥控行为。

图2为基于手势的无人机控制方法实施流程图。当拍摄到图像时，先进行预处理，比如判断是否有人脸，然后进行特征提取，并通过非线性分类器进行手势识别，然后翻译为控制指令发送给无人机。

更进一步地，上述图像获取装置通过云台安装在无人机上，所述云台带动图像获取装置向任意角度旋转，以获取到用户的控制手势。通过云台带动摄像头向任意的角度进行旋转，不停地搜索视角范围内的人，以得到人的控制手势。当图像获取装置获取到人的手势后，根据人在图像中的位置变化，调整云台的旋转或者偏转的角度，以控制该图像获取装置的视角始终面向控制该无人机的人。通过这样的方式，实时调整云台的旋转角度，使得无人机上的摄像头始终对向控制该无人机的人，提高了控制该无人机的精度。

更进一步地，上述无人机还包括切换开关，所述切换开关用于切换无人机当前的被控制方式，所述被控制方式包括遥控器遥控控制和/或者移动终端遥控控制和/或者手势遥控控制。通过切换开关的控制，能够兼容目前常规的遥控器的控制方式，当切换开关切换到遥控器的控制方式时，无人机的控制方式和现有的遥控器的控制方式完全相同，遥控器根据人的按键输出不同的红外或者其他的控制指令给无人机，无人机接收后执行对应的指令。现有的遥控器的控制方式属于现有的常规技术，在此不详细赘述其原理和实现过程。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种能够识别手势的无人机，其特征在于具体包括设置在无人机上的图像获取装置、图像处理模块、手势识别模块和手势翻译器；所述图像获取装置用于获取视角范围内的图像；所述图像处理模块根据获取到的图像判断图像中是否存在人，当图像中存在人的时候，启动手势识别模块；所述手势识别模块根据图像中人的手势以及事先建立的人的手势运动模型，识别出图像中人的手势；所述手势翻译器将图像中的人的手势翻译为无人机的控制命令，并发送给无人机。

2.如权利要求1所述的能够识别手势的无人机，其特征在于所述图像处理模块包括预处理模块和特征提取模块，所述预处理模块用于对输入的图像进行分割、边缘检测和角点检测，然后将结果送入特征提取模块；所述特征提取模块首先对预处理后的图像中的人脸进行特征提取，确定人脸位置后进一步确定头肩的坐标，然后以头肩坐标为参考，提取上肢特征，并利用训练好的手势运动模型对输入图像进行手势识别。

3.如权利要求2所述的能够识别手势的无人机，其特征在于采用非线性分类器对待检测图像进行手势识别，利用离线训练好的手势运动模型对输入图像进行手势识别，然后将手势识别的结果发送给手势翻译器。

4.如权利要求3所述的能够识别手势的无人机，其特征在于所述手势翻译器用于建立手势与控制命令之间的映射关系，从而将手势翻译成无人机的控制命令，其首先建立手势字典，该字典定义了手势与控制命令间的对应关系，当有新的手势识别结果输入时，手势翻译器随即查找手势字典，并将查找结果输出到无人机，完成手势遥控行为。

5.如权利要求1或者4所述的能够识别手势的无人机，其特征在于所述图像获取装置通过云台安装在无人机上，所述云台带动图像获取装置向任意角度旋转，以获取到用户的手势。

6.如权利要求1所述的能够识别手势的无人机，其特征在于所述无人机还包括切换开关，所述切换开关用于切换无人机当前的被控制方式，所述被控制方式包括遥控器遥控控制和/或者移动终端遥控控制和/或者手势遥控控制。

7.一种能够识别手势的无人机的识别方法，其具体包括以下的步骤：步骤一、根据人的手势建立人的手势运动识别模型，并训练该手势运动识别模型；步骤二、设置在无人机上的图像获取装置获取视角范围内的图像，并判断该图像中是否存在人，是则启动手势识别的步骤，否则继续获取视角范围内的图像；步骤三、根据步骤二获取到的图像中人的手势以及事先建立的手势运动识别模型，识别出图像中人的手势；步骤四、将图像中的人的手势翻译为无人机的控制命令，并发送给无人机。

8.如权利要求7所述的能够识别手势的无人机的识别方法，其特征在于所述图像获取装置通过云台安装在无人机上，所述云台带动图像获取装置向任意角度旋转，以获取到用户的手势。

9.如权利要求8所述的能够识别手势的无人机的识别方法，其特征在于当图像获取装置获取到人的手势后，根据人在图像中的位置变化，调整云台的旋转角度，以控制该图像获取装置的视角始终面向控制该无人机的人。

10.如权利要求9所述的能够识别手势的无人机的识别方法，其特征在于无人机还包括切换开关，所述切换开关用于切换无人机当前的被控制方式，所述被控制方式包括遥控器遥控控制和/或者移动终端遥控控制和/或者手势遥控控制。