CN111123959B - 基于手势识别的无人机控制方法及采用该方法的无人机 - Google Patents

Abstract

本发明提供一种基于手势识别的无人机控制方法及采用该方法的无人机，方法包括以下步骤：S1、控制无人机的摄像头模组进行拍照，获得照片；S2、将照片中的手势与图片集的手势图片进行匹配，获得手势识别信息；S3、飞控系统接收手势识别信息，并根据手势识别信息对无人机进行相应的控制。根据本发明实施例的基于手势识别的无人机控制方法，在无人机使用时，只需对无人机作出特定的手势，无人机的摄像头模组通过拍摄该手势，并且对该手势进行处理和识别，识别到手势为特定的手势之后，由飞控系统接收该手势并根据设定的动作控制无人机进行相应的操作，该方法简单可行，操作方便，无需手持遥控器对无人机进行控制，有效的提高了用户的使用体验。

Description

基于手势识别的无人机控制方法及采用该方法的无人机

技术领域

本发明涉及无人机领域，更具体地，涉及一种基于手势识别的无人机控制方法及采用这种无人机控制方法的无人机。

背景技术

随着科学技术的进步，无人机的使用范围越来越广泛，需求量也逐年增加。目前无人机的主要控制方式是通过手持式遥控器进行控制，即由用户手持遥控器，通过控制遥控器上不同按钮使无人机实现不同的功能。

然而，在某些场景下，例如单人自拍时，如果无人机没有延时拍摄功能，拍摄过程中用户需要手持遥控器进行拍摄，既会影响拍照的效果，用户也难以做出各种动作配合拍照，影响无人机的使用体验。

发明内容

有鉴于此，本发明提供一种基于手势识别的无人机控制方法及采用该控制方法的无人机。

为解决上述技术问题，一方面，本发明提供一种基于手势识别的无人机控制方法，所述方法包括以下步骤：S1、控制无人机的摄像头模组进行拍照，获得照片；S2、将所述照片中的手势与图片集的手势图片进行匹配，获得手势识别信息；S3、飞控系统接收所述手势识别信息，并根据所述手势识别信息对无人机进行相应的控制。

根据本发明实施例的基于手势识别的无人机控制方法，在无人机使用时，只需对无人机作出特定的手势，无人机的摄像头模组通过拍摄该手势，并且对该手势进行处理和识别，识别到手势为特定的手势之后，由飞控系统接收该手势并根据设定的动作控制无人机进行相应的操作，该方法简单可行，操作方便，无需手持遥控器对无人机进行控制，有效的提高了用户的使用体验。

根据本发明的一些实施例，所述步骤S2还包括，所述照片与图片集中的多个手势图片匹配，当照片中的手势与任一手势图片中的手势匹配成功后，停止匹配，并根据手势获得所述手势识别信息。

根据本发明的一些实施例，所述步骤S2还包括，将不同的手势按照优先级排序，当匹配到多个不同手势且距离摄像头相同距离时，将优先级最高的手势识别信息发送至所述飞控系统。

根据本发明的一些实施例，所述步骤S2还包括，当匹配到多个相同手势且距离摄像头相同距离时，摄像头模组通过比对相同手势的特征点数量，选择特征点数量最多的手势识别信息发送至飞控系统。

根据本发明的一些实施例，所述图片集的手势包括：控制相机进行拍照的剪刀手手势；控制相机进行录像的大拇指手势；控制无人机进入跟踪模式的拳头手势；控制无人机退出拍照、录像或所述跟踪模式的掌心竖直向外的手掌手势；控制无人机降落的向下的手背手势。

根据本发明的一些实施例，所述步骤S2还包括，匹配到多个不同手势且距离摄像头不同距离时，摄像头模组通过比对手势距离摄像头的距离，选取距离摄像头最近的手势发送至飞控系统。

根据本发明的一些实施例，所述优先级排序，从高到低依次为：拳头、掌心竖直向外的手掌、向下的手背、大拇指、剪刀手。

根据本发明的一些实施例，所述跟踪模式为：根据拳头的识别信息，飞控系统将图像中拳头的像素点信息进行整合，计算拳头在图像中位置与图像中心位置的误差，将该误差进行比例缩放，经过缩放后的误差传递给无人机的位置控制器中，经过串级PID控制后，对应地改变电调与电机输出，使拳头置于相机的拍摄中心位置。

根据本发明的一些实施例，在步骤S1中，所述摄像头模组为双目摄像头。

根据本发明的一些实施例，步骤S2还包括：当所述照片中的手势与图片集中的任一张手势图片匹配成功时，将所述照片保存至第一文件夹；当所述照片中的手势与图片集中的任一张手势图片匹配不成功时，将所述照片保存至第二文件夹。

根据本发明的一些实施例，该方法还包括视觉训练步骤，所述训练步骤包括：获取手势图片，形成所述图片集；将所述手势图片按照不同手势进行逐一分类并画框标注；在所述图片集中随机抽取部分图片作为测试集；将测试集导入视觉训练模块进行运算；得到测试精确度，验证视觉训练模块的精确度。

根据本发明的一些实施例，步骤S2还包括：将第一文件夹内的照片迁移至所述测试集内，继续进行训练。

根据本发明的一些实施例，步骤S2还包括：从第二文件夹内挑选与某一手势近似的照片迁移至所述测试集内，继续进行训练。

第二方面，本发明实施例提供一种无人机，所述无人机采用上述方法进行控制。

附图说明

图1为本发明实施例的电子设备的示意图。

附图标记：

电子设备300；

存储器310；操作系统311；应用程序312；

处理器320；网络接口330；输入设备340；硬盘350；显示设备360。

具体实施方式

下面将结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

下面首先具体描述根据本发明实施例的基于手势识别的无人机控制方法。

根据本发明实施例的基于手势识别的无人机控制方法包括以下步骤：

S1、控制无人机的摄像头模组进行拍照，获得照片。

S2、将所述照片中的手势进行与图片集的手势图片进行匹配，获得手势识别信息。

S3、飞控系统接收所述手势识别信息，并根据所述手势识别信息对无人机进行相应的控制。

换言之，根据本发明实施例的基于手势识别的无人机控制方法主要由三个步骤构成，具体地，在需要对无人机进行控制时，可以首先阅读无人机的说明书，了解说明书中预设的手势所对应的操作，然后根据需要对无人机进行的操作作出相应的手势，无人机的摄像头模组对该手势进行拍照，获得照片；接着，无人机对得到的照片中的手势进行识别；最后，无人机的飞控系统根据识别到的手势，控制无人机进行相应的操作，由此即可实现操作者只需通过手势即可控制无人机进行相应动作的操作。

其中需要说明的是，本发明所提出的基于手势识别的无人机控制方法，需要在无人机已经启动的情况下对其进行控制，无人机的手势识别功能也是可以打开和关闭的，该功能在打开状态下，可以通过手势识别对无人机进行控制，该功能在关闭状态下，通过普通的无人机控制器也可以实现对无人机的控制。该控制功能可以由飞控系统上的参数来控制，即飞控系统有一个参数是可以用来启动和关闭手势识别的，这个参数可以通过无人机控制器上的一个开关按钮来操控。

由此，根据本发明实施例的基于手势识别的无人机控制方法，在无人机使用时，只需对无人机作出特定的手势，无人机的摄像头模组通过拍摄该手势，并且对该手势进行处理和识别，识别到手势为特定的手势之后，由飞控系统接收该手势并根据设定的动作控制无人机进行相应的操作，该方法简单可行，操作方便，无需手持遥控器对无人机进行控制，有效的提高了用户的使用体验。

可选地，根据本发明的一个实施例，在步骤S1中，所述摄像头模组为双目摄像头。

进一步地，在步骤S2中，通过机器视觉算法对所述照片中的手势进行捕捉、分类、训练和识别，得到所述识别信息。

也就是说，本发明实施例的基于手势识别的无人机控制方法通过运用双目摄像头模组进行高清拍照，双目摄像头具有测量目标距离摄像头的距离的能力，并且能够配合具有优秀处理计算能力的CPU模组运行先进的机器视觉算法来对海量的图像中手势进行分类、训练以及识别，从而保证对手势识别的准确性，提高用户使用的便利性。

下面具体描述根据本发明实施例的基于手势识别的无人机控制方法中的机器视觉算法。

根据本发明的一个实施例，机器视觉算法包括以下步骤：

获取手势图片，形成图片集。

将所述手势图片按照特定手势进行逐一分类并画框标注。

在所述图片集中随机抽取部分图片作为测试集。

将测试集导入视觉训练模块进行运算。

得到测试精确度，验证视觉训练模块的精确度。

具体地，机器视觉算法可以理解为训练手势图像识别的方法，该方法首先主动获取大量手势的图片，形成图片集，然后将图片按照几种手势进行逐一分类并画框标注，在上述图片集中抽取小部分图片作为测试集，接着根据已有的tensorflow或caffe等训练框架，把上述图片集合导入，交给计算机进行运算，等模型训练成功后，将测试集导入模型，最后得到测试的精确度，以此验证模型是否可靠。

也就是说，该方法将测试集中的手势框出来然后与图片集里面的各种手势进行相似度匹配，最后选择出匹配度高的手势作为识别到的手势，每种手势类型都分别对应的相应的控制命令，每种手势对应的控制命令将在下面的实施例中进行详细描述。其中，对手势图像进行识别的方法可以采用图像级联分类器来进行。

由此，通过该机器视觉算法，可以准确识别操作者的手势。

在本发明的一些具体实施方式中，步骤S2还包括：

当所述识别信息为所述照片中的手势与所述特定手势中的任一种匹配时，将包含该手势的所述照片保存到第一文件夹。

当所述识别信息为所述照片中的手势与所述特定手势中的任一种不匹配时，将包含该手势的所述照片保存到第二文件夹。

换句话说，在非训练状态的摄像机工作中，图像处理单元内部有筛选算法，会将照片中手势与特定手势匹配成功的照片存储进一个文件夹，匹配不成功的会放进第二文件夹，实现照片的分类。

优选地，根据本发明的一个实施例，步骤S2还包括：

将第一文件夹内的照片迁移至所述测试集内，继续进行训练。

也就是说，如果照片中的手势与特定手势中的任一种匹配成功，即将包含该手势的照片保存到相机一个独立的文件夹，之后图像处理系统会定期将该文件夹内的照片迁移到训练集内，继续进行训练，进一步优化视觉算法的正确识别率。

进一步地，步骤S2还包括：

从第二文件夹内挑选与某一特定手势相同的照片迁移至所述测试集内，继续进行训练。

具体地，无人机在使用完成之后，可以用电脑连接图像处理单元，就可以查看上述放置了两组不同照片的两个文件夹，并将手势匹配成功的文件夹中的照片迁移到训练集中，同时可以从匹配不成功的文件夹中挑选疑似某一特定手势，例如剪刀手的照片加入到训练集中，进一步提高匹配的准确率。

由此，通过对摄像头模组拍摄的照片进行筛选和迁移，可以进一步提高对手势的识别准确率。

下面具体描述特定手势的种类以及各特定手势所代表的控制命令。

根据本发明的一个实施例，所述特定手势包括：剪刀手、大拇指、拳头、掌心竖直向外的手掌和向下的手背。步骤S3包括：

所述识别信息为剪刀手时，所述飞控系统控制相机进行拍照。

所述识别信息为大拇指时，所述飞控系统控制相机进行录像。

所述识别信息为拳头时，所述飞控系统控制无人机进入跟踪拳头的跟踪模式。

所述识别信息为掌心竖直向外的手掌时，所述飞控系统控制无人机退出拍照、录像或所述跟踪模式。

所述识别信息为向下的手背时，所述飞控系统控制无人机降落。

其中，所述照片与图片集中的多个手势图片匹配，当照片中的手势与任一手势图片中的手势匹配成功后，停止匹配，并根据手势获得所述手势识别信息。

具体地，当无人机的摄像头模组识别到疑似的剪刀手手势后，将框选该疑似的剪刀手图像与系统预设图像集的各种手势进行相似度匹配，匹配成功后，根据剪刀手的识别信息，飞控系统将拍照的命令信息发送给相机，使得相机进行拍照的行为，并把当前的照片保存到相机的储存器内。

照片储存完毕后，相机会发送指令至无人机，控制无人机发出提醒，提醒该照片已经拍摄完毕。如果剪刀手一直举着，摄像头会根据识别信息一直重复照相。当摄像头没有识别到剪刀手时，就会停止拍照，其中，摄像头的识别频率为0.5Hz-1Hz。

当无人机的摄像头模组识别到疑似的大拇指手势后，将框选该疑似的大拇指图像与系统预设图像集的各种手势进行相似度匹配，匹配成功后，根据大拇指的识别信息，飞控系统将录像的命令信息发送给相机，使得相机进行录像的行为，并将视频信息保存到相机的储存器内。

控制录像的开始和停止的方法如下：

相机对大拇指匹配成功后，飞控系统控制相机进行开始录像命令，无人机的摄像头识别到疑似的手掌后，将框选该疑似的手掌图像与系统预设图像集的各种手势进行相似度匹配，匹配成功后，根据手掌的识别信息，将从上一时刻的录像模式停止，并将录像内容保存至相机的储存器里面，并且退出录像模式跳转到允许进行手势识别的状态。其中，大拇指姿势只会触发一次录像指令，重复检测到大拇指不会重复命令进入录像模式，除非用手掌退出录像模式，再出大拇指就会继续录像。

当无人机的摄像头模组识别到疑似的拳头手势后，将框选该疑似的拳头图像与系统预设图像集的各种手势进行相似度匹配，匹配成功后，根据拳头的识别信息，飞控系统将图像中拳头的像素点信息进行整合，计算拳头在图像中位置与图像中心位置的误差，将该误差进行有效的比例缩放，经过缩放后的误差传递给无人机的位置控制器中，经过串级PID控制后，对应地改变电调与电机输出，改变无人机的姿态，使得无人机跟踪上拳头，从而使拳头置于相机的拍摄中心位置。

具体实施时，可以利用拳头模式控制相机以拳头为中心进行校正，使人物置于相机的拍摄中心，而后通过手掌手势退出当前的跟踪模式，再利用剪刀手模式或者大拇指模式进行照相或者摄像。

当无人机的摄像头模组识别到疑似的掌心竖直向外手掌手势后，将框选该疑似的掌心竖直向外手掌图像与系统预设图像集的各种手势进行相似度匹配，匹配成功后，根据掌心竖直向外手掌的识别信息，将从上一时刻的无论是录像模式还是跟踪模式退出，跳转到允许进行手势识别的状态。

当无人机的摄像头模组识别到疑似的向下的手背手势后，将框选该疑似的向下的手背的图像与系统预设图像集的各种手势进行相似度匹配，匹配成功后，飞控根据向下的手背识别信息，将无人机的飞行模式置于land模式，进而操控无人机进行缓慢降落。

下面具体描述当无人机的摄像头模组识别到多个相同或不同手势在相同或不同距离下的控制命令。

具体地，当无人机的摄像头模组识别到相同距离下的多个不同手势时，所述特定手势按照优先级排序，从高到低依次为：拳头、手掌、向下的手背、大拇指、剪刀手，此时，步骤S3还包括：相机对各个不同手势进行匹配，并将与所述特定手势匹配成功的手势按照优先级顺序将优先级最高的手势发送至所述飞控系统，所述飞控系统根据手势控制无人机。

也就是说，当两个或者两个以上不同手势距离摄像头相同的距离，相机对各个不同手势进行匹配，将匹配成功的手势按优先级的等级来排序，将优先级等级最高的手势发送至飞控系统，飞控系统再根据手势控制无人机。

当所述识别信息为多个相同手势且距离摄像头模组相同距离时，摄像头模组通过比对手势的特征点数量，选择特征点数量最多的手势发送至所述飞控系统，所述飞控系统根据手势控制无人机。

换句话说，当两个或者多个相同手势距离摄像头模组相同的距离时，摄像头模组通过对比手势的特征点数量，选取特征点数量最多的手势发送至飞控系统，飞控系统根据手势控制无人机。

当所述识别信息为多个不同手势且距离相机不同距离时，相机通过比对手势距离摄像头的距离，选取距离摄像头最近的手势发送至所述飞控系统，所述飞控系统根据手势控制无人机。

具体地，当识别信息为两个或者两个以上相同手势距离摄像头模组不同的距离时，摄像头通过对比手势距离摄像头的距离，选取距离摄像头最近的手势发送至飞控系统，飞控系统根据手势控制无人机。

总而言之，根据本发明实施例的基于手势识别的无人机控制方法，在无人机使用时，只需对无人机作出特定的手势，无人机的摄像头模组通过拍摄该手势，并且对该手势进行处理和识别，识别到手势为特定的手势之后，由飞控系统接收该手势并根据设定的动作控制无人机进行相应的操作，该方法简单可行，操作方便，无需手持遥控器对无人机进行控制，有效的提高了用户的使用体验。

本发明还提供一种无人机，所述无人机采用上述任一项所述的方法进行控制。由于上述控制方法具有上述技术效果，因此，采用该控制方法的无人机也具有相应的技术效果，即无需手持遥控器对无人机进行控制，有效的提高了用户的使用体验。

根据本发明实施例的无人机在实际操作的过程中，通过利用3G/4G/5G/WIFI以及mavlink通信协议，在智能手机上装载对应的APP，可以实现用智能手机来操控挂载摄像头的无人机进行起飞、悬停、拍照、录像、手势跟踪、降落等多种趣玩功能。

首先，启动无人机并打开智能手机上的对应APP，通过当前可用的网络环境(如当前处于无法搜索到移动/联通/电信等运营商信号的地方，即当前无3G/4G/5G信号，那么就可以直接通过智能手机连接无人机自身的WIFI，或者当前有较强的3G/4G/5G信号，那么就使用当前较强的运营商信号)，与无人机取得通信链接。

接下来，便可以进行一系列的操控，如：

起飞——在无人机获取到足够精准的定位信息后，在智能手机APP会显示一个“起飞”的按钮，只需点一下这个按钮，接下来无人机就会解锁并立即起飞至预设高度，达到预设高度后自动悬停。

智能手机APP界面可以设置名字为“手势识别”的开关按钮，默认是关闭的，即当前不支持手势识别，当用户将开关按钮设置为打开，此时手机会发送给无人机一条启动手势识别的指令，之后便可进行提供的几种手势识别操作，在加上手势识别模式下，可以实现飞行器的起飞、悬停(由APP控制)、拍照、录像、手势跟踪、降落等功能。

手势命令可以分成两种，一种是影响飞行器飞行状态的手势，一种是不影响飞行器的手势。当飞行器在被APP操控或者自动飞行的时候，此时打开了手势识别的命令，飞行器会自动进入悬停模式，无论当前飞机的运动状态如何，都将在短时间内悬停在空中，若识别到类似影响飞行器状态的手势(如手掌、拳头)，飞行器会部分脱离原有的控制，执行手势命令，使飞行器按照手势命令来运动，若此时APP需要控制飞行器，则只能执行保留的控制功能。具体地，脱离原有的控制为APP操控飞机前后左右飞行或者飞行器自动前后左右飞行，进入悬停状态，保留的控制包括使飞机悬停、降落、升高。

若识别到不影响飞行器状态的手势(如剪刀手、大拇指)，则飞行器继续飞行。

无论是APP还是手势识别的命令给飞行器进行降落，在接受到降落的命令后，飞行器再接收到APP和手势识别的命令都不会再执行。

手势识别打开的话，不管飞行器处于什么状态，都可以进行手势识别，但是优选悬停之后再进行拍摄，用户的体验感觉才会更好。

在实际操作过程中，飞行器在飞行时，且人不在相机的取景范围内时，APP操控飞行器变为悬停，再转向，使人在取景范围内。

飞行器在飞行时，且人在相机的取景范围内，相机识别到拍摄的手势直接进行拍摄，不影响飞行器继续飞行。

飞行器在飞行的时候，识别到了跟随的手势，优先处理手势识别的命令，飞行器跟随拳头运动。若此时APP需要控制飞行器，则只能执行保留的控制功能。

当人进入飞行器的取景范围内，且打开了手势识别模式飞行器具有以下识别模式：

①剪刀手—当智能手机APP中的摄像图框中出现剪刀手后，会自动框选出剪刀手，并发送识别到剪刀手的指令给无人机，无人机内部系统接收到指令后，会控制相机进行拍照，拍摄成功后，飞机的机臂灯会闪烁的，提醒人拍摄成功。并把当前的照片传输并保存到手机APP内的相册里面。

②大拇指、手掌—当智能手机APP中的摄像图框中出现大拇指后，会自动框选出大拇指，并发送识别到大拇指的指令给无人机，无人机内部系统接收到指令后，会控制相机进行录像，直到图框中出现手掌的手势后，发送给无人机的指令变成了结束录像，在进行录像模式的时候，在开始录像时飞行器的机臂会闪烁，结束录像时，也会闪烁，提醒人完成录像动作，此时将传输并保存视频到手机APP内的相册里面。

③拳头、手掌—当智能手机APP中的摄像图框中出现拳头后，会自动框选出拳头，并发送识别到拳头的指令给无人机，无人机内部系统接收到指令后，会进入跟踪拳头的状态，直到图框中出现手掌的手势后，发送给无人机的指令变成了结束跟踪模式。

④向下的手背—当智能手机APP中的摄像图框中出现向下的手背的手势后，会自动框选出该手势，并发送识别到手背的指令给无人机，无人机内部系统接收到指令后，会进入降落LAND模式，直到触底锁桨。

飞行中，也可点击APP中的“悬停”按钮，使得当前无人机停止当前的飞行任务，立刻进入悬停模式，悬停于空中当前位置。

飞行器执行每一个手势指令时，飞行器都会有对应频率的闪烁，可以提示人各种功能的执行情况。

此外，本发明还提供一种计算机存储介质，所述计算机存储介质包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现上述任一所述的基于手势识别的无人机控制方法。

也就是说，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行上述任一所述的基于手势识别的无人机控制方法。

如图1所示，本发明实施例提供了一种电子设备300，包括存储器310和处理器320，所述存储器310用于存储一条或多条计算机指令，所述处理器320用于调用并执行所述一条或多条计算机指令，从而实现上述任一所述的方法。

也就是说，电子设备300包括：处理器320和存储器310，在所述存储器310中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器320执行上述任一所述的方法。

进一步地，如图1所示，电子设备300还包括网络接口330、输入设备340、硬盘350、和显示设备360。

上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器320代表的一个或者多个中央处理器(CPU)，以及由存储器310代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。

所述网络接口330，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，并可以保存在硬盘350中。

所述输入设备340，可以接收操作人员输入的各种指令，并发送给处理器320以供执行。所述输入设备340可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

所述显示设备360，可以将处理器320执行指令获得的结果进行显示。

所述存储器310，用于存储操作系统运行所必须的程序和数据，以及处理器320计算过程中的中间结果等数据。

可以理解，本发明实施例中的存储器310可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器310旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器310存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统311和应用程序312。

其中，操作系统311，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序312，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序312中。

本发明上述实施例揭示的方法可以应用于处理器320中，或者由处理器320实现。处理器320可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器320中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器320可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器310，处理器320读取存储器310中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

具体地，处理器320还用于读取所述计算机程序，执行上述任一所述的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独设置，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于手势识别的无人机控制方法，其特征在于，所述方法包括以下步骤：

S1、控制无人机的摄像头模组进行拍照，获得照片，所述摄像头模组为双目摄像头；

S2、将所述照片中的手势与图片集的手势图片进行匹配，获得手势识别信息；

S3、飞控系统接收所述手势识别信息，并根据所述手势识别信息对无人机进行相应的控制；

所述手势包括：

控制相机进行拍照的剪刀手手势；

控制相机进行录像的大拇指手势；

控制无人机进入跟踪模式的拳头手势；

控制无人机退出拍照、录像或所述跟踪模式的掌心竖直向外的手掌手势；

控制无人机降落的掌心向下的手背手势；

其中，若手势识别信息为剪刀手且一直举着，则摄像头根据识别信息一直重复照相；当摄像头没有识别到剪刀手时，停止拍照，摄像头的识别频率为0.5Hz-1Hz；

大拇指手势只会触发一次录像指令，重复检测到大拇指不会重复命令进入录像模式；若手势识别信息为手掌，则将从上一时刻的录像模式停止，并将录像内容保存至相机的储存器里面，并且退出录像模式跳转到允许进行手势识别的状态；

该方法还包括视觉训练步骤，所述训练步骤包括：

获取手势图片，形成所述图片集；

将所述手势图片按照不同手势进行逐一分类并画框标注；

在所述图片集中随机抽取部分图片作为测试集；

将测试集导入视觉训练模块进行运算；

得到测试精确度，验证视觉训练模块的精确度；

步骤S2还包括：

当所述照片中的手势与图片集中的任一张手势图片匹配成功时，将所述照片保存至第一文件夹；

当所述照片中的手势与图片集中的任一张手势图片匹配不成功时，将所述照片保存至第二文件夹；

步骤S2还包括：

将第一文件夹内的照片迁移至所述测试集内，继续进行训练；

步骤S2还包括：

从第二文件夹内挑选与某一手势近似的照片迁移至所述测试集内，继续进行训练。

2.根据权利要求1所述的一种基于手势识别的无人机控制方法，其特征在于，所述步骤S2还包括，所述照片与图片集中的多个手势图片匹配，当照片中的手势与任一手势图片中的手势匹配成功后，停止匹配，并根据手势获得所述手势识别信息。

3.根据权利要求1所述的一种基于手势识别的无人机控制方法，其特征在于，所述步骤S2还包括，将不同的手势按照优先级排序，当匹配到多个不同手势且距离摄像头相同距离时，将优先级最高的手势识别信息发送至所述飞控系统。

4.根据权利要求1所述的一种基于手势识别的无人机控制方法，其特征在于，所述步骤S2还包括，当匹配到多个相同手势且距离摄像头相同距离时，摄像头模组通过比对相同手势的特征点数量，选择特征点数量最多的手势识别信息发送至飞控系统。

5.根据权利要求1所述的一种基于手势识别的无人机控制方法，其特征在于，所述步骤S2还包括，匹配到多个不同手势且距离摄像头不同距离时，摄像头模组通过比对手势距离摄像头的距离，选取距离摄像头最近的手势发送至飞控系统。

6.根据权利要求3所述的一种基于手势识别的无人机控制方法，其特征在于，所述优先级排序，从高到低依次为：拳头、掌心竖直向外的手掌、向下的手背、大拇指、剪刀手。

7.根据权利要求5所述的一种基于手势识别的无人机控制方法，其特征在于，所述跟踪模式为：根据拳头的识别信息，飞控系统将图像中拳头的像素点信息进行整合，计算拳头在图像中位置与图像中心位置的误差，将该误差进行比例缩放，经过缩放后的误差传递给无人机的位置控制器中，经过串级PID控制后，对应地改变电调与电机输出，使拳头置于相机的拍摄中心位置。

8.一种无人机，其特征在于，所述无人机采用权利要求1-7中任一项所述的一种基于手势识别的无人机控制方法进行控制。

Images