CN106020227A

CN106020227A - 无人机的控制方法、装置

Info

Publication number: CN106020227A
Application number: CN201610665456.9A
Authority: CN
Inventors: 任毫亮
Original assignee: Beijing Qihoo Technology Co Ltd; Qizhi Software Beijing Co Ltd
Current assignee: Beijing Qihoo Technology Co Ltd
Priority date: 2016-08-12
Filing date: 2016-08-12
Publication date: 2016-10-12
Anticipated expiration: 2036-08-12
Also published as: CN106020227B

Abstract

本发明公开了一种无人机的控制方法、装置，该控制方法包括：获取动态图像，提取该动态图像所含的每一帧图像中的多个变化区域；将所述变化区域依次与预存模板库中的预存手势模板和人体轮廓模板匹配，根据匹配结果识别该变化区域，获取相应的操作指令；当任意一个变化区域与所述手势模板匹配成功时，则识别该变化区域为手势，并生成与该手势匹配的手势控制操作指令；当任何变化区域与所述手势模板都匹配不成功时，且与所述人体轮廓模板匹配成功时，则识别该变化区域为人体轮廓，并生成人体控制操作指令；当所述变化区域与所述手势模板和人体轮廓模板均匹配不成功时，则生成返回操作指令；执行对应于所述变化区域的操作指令。

Description

无人机的控制方法、装置

技术领域

本发明涉及航空科学技术领域，更具体地，涉及无人机的控制方法、装置。

背景技术

无人驾驶无人机简称无人机，是利用遥控方法和自备的程序控制装置操纵的不载人的无人机。为了维持机体平衡以及完成工作任务，无人机体上安装的传感器越来越多，而随着微电子技术的发展，在小型无人机上集成多个高精度的传感器已经成为现实。目前，无人机能够实现的功能也越来越多，已经广泛应用于空中侦察、监视、通信、反潜、电子干扰等。图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。

一般地，现有技术中，无人机的操控方式主要是传统遥控和手机遥控两种。传统遥控是通过左右手操控上下左右四个方向的遥控操控杆实现。手机遥控一般是将传统遥控器的左右手遥控操控杆移植于手机上实现。而近些年来，近距离手势识别控制无人机作为一种新的控制方式出现，提高了用户体验，一种利用手势操控无人机的方法是通过建立手势检测框架检测图像中的手势并判断所述手势是否属于预定操控无人机手势；当判断所述手势为预定操控无人机手势时，获取手势的运动轨迹；由所述手势的运动轨迹控制无人机执行与该手势的运动轨迹对应的操控动作，所述手势的运动轨迹与该手势的运动轨迹对应的操控动作预先设定。

上述方案采用手势操控无人机，通过将识别到的手势与预存的手势对应的模板库匹配获取无人机要飞行的运动轨迹，其控制方法新颖，但仅限于近距离的控制，当无人飞行较远较高时，手势识别的控制效果就会降低甚至出现无人机失控的现象。

发明内容

鉴于上述问题，本发明提出了一种无人机的控制方法、装置，其在距离无人机较远时仍能够实现远程操控。

第一方面，本发明提供了一种无人机的控制方法，包括如下步骤：

获取动态图像，提取该动态图像所含的每一帧图像中的多个变化区域；

将所述变化区域依次与预存模板库中的预存手势模板和人体轮廓模板匹配，根据匹配结果识别该变化区域，获取相应的操作指令，具体包括如下步骤，

当任意一个变化区域与所述手势模板匹配成功时，则识别该变化区域为手势，并生成与该手势匹配的手势控制操作指令；

当任何变化区域与所述手势模板都匹配不成功时，且与所述人体轮廓模板匹配成功时，则识别该变化区域为人体轮廓，并生成人体控制操作指令；

当所述变化区域与所述手势模板和人体轮廓模板均匹配不成功时，则生成返回操作指令；

执行对应于所述变化区域的操作指令。

本发明在获取动态图像后，在动态图像中的每一帧图像中提取出多个变化区域，该变化区域中不仅包括手势模板，还包括人体轮廓模板，通过将该变化区域与预存模板库匹配识别出该变化区域，在依次与手势模板和人体轮廓模板匹配的过程中，获取对应该变化区域的操作指令，当任意一个变化区域与所述手势模板匹配成功时，则识别该变化区域为手势，并生成与该手势匹配的手势控制操作指令；当任何变化区域与所述手势模板都匹配不成功时，且与所述人体轮廓模板匹配成功时，则识别该变化区域为人体轮廓，并生成人体控制操作指令；当所述变化区域与所述手势模板和人体轮廓模板均匹配不成功时，则生成返回操作指令；并执行对应于所述变化区域的操作指令。在本方案中添加了根据人体轮廓模板指令控制无人机返回的操作指令，其能够依据人体轮廓控制无人机返航飞行，相对于现有技术手段中的手势识别，由于人体轮廓较大，因此在距离较远时具有更好的识别效果，使得无人机在飞行距离较远而无法摄取到手势时拍摄人体轮廓作为返回的方向标，由此可防止无人机丢失或者失控，保证手势控制无人机时，无人机的飞行安全。

结合第一方面，在第一方面的第一个实施例中，所述提取该动态图像所含的每一帧图像中的多个变化区域具体包括如下步骤：

建立静态背景模型以确定背景帧；

根据背景减除算法将当前帧与背景帧相减以获取当前帧中的第一变化部分；

根据帧间差分算法将当前帧与相邻帧相减以获取当前帧中的第二变化部分；

重叠第一变化部分和第二变化部分以获取图像中的变化区域。

在本实施例中，在图像中识别出两个变化部分，然后将两个变化部分进行重叠，从而获取到更为完整的变化区域，采用此法能够弥补变化区域的空洞，还能够避免图像中有过多的干扰噪声。采用帧间差分算法和背景减除算法相结合的算法，是一种简单实时、可靠、准确度高的算法。

结合第一方面，进一步地，所述提取该动态图像所含的每一帧图像中的多个变化区域还包括后序步骤：

利用亮度高斯模型算法在所述变化区域中分割出肤色区域；

依据手势空间分布特征和指节相对间距特征识别图像中的手势区域；

依据人体轮廓的形状特征识别所述变化区域中的人体轮廓区域；

统计从变化区域识别算法中获得的所有手势区域和人体轮廓区域，以用于与预存模板库中的模板匹配。

在本实施例中，首先利用亮度高斯模型分割出肤色区域，然后再根据手势的空间相对密度特征和指节相对间距特征从肤色区域中分割出手势，然后从图像中识别出人体轮廓，最后统计在运动图像中收集到的所有手势区域和人体轮廓区域，以用于与模板库中的模板比对从而生成操作指令。本实施例采用收集手势和人体轮廓两种区域的方法，能够从一副图像中提取出多种变化区域。

结合第一方面，在第一方面的第二个实施例中，进一步地，所述手势控制操作指令为控制本机的飞行动作，所述飞行动作包括翻转、直行、转弯、悬停中的任意一项。

结合第一方面，在第一方面的第三个实施例中，所述人体控制操作指令为控制本机寻找手势动作，所述寻找手势动作具体包括如下步骤，

识别所述变化区域为人体轮廓；

以所述人体轮廓为终点返航飞行；

捕捉人脸，进行人脸识别；

当识别人脸为预设操作者时，循环捕捉手势。

本实施例为本发明提供的一种无人机自保护的方法，当无人机飞行距离较远时，通过检测操作者的人体轮廓可以确定无人机的返航方向，通过人脸识别确定操作者的身份，当确定了操作者的身份后，继续捕捉手势，从而可以保证在控制不到无人机时使无人机自动返航，从而扩大了无人机的控制范围，提升用户体验。

结合第一方面，在第一方面的第三个实施例中，进一步地，识别所述变化区域为人体轮廓具体包括如下步骤：

将含所述变化区域的图像进行二值化处理，生成二值化图像；

对所述二值化图像中的变化区域做图像连通处理生成连通区域；

提取所述连通区域的几何特征，当所述几何特征满足人体几何特征时，识别所述区域为人体轮廓。

在本实施例中，首先对所述变化区域做图像二值化处理，二值化图像相对于普通图像占用的储存空间小，能够加快图像处理速度；然后对所述二值化图像进行图像连通处理生成连通区域；最后提取连通区域的几何特征，当满足人体几何特征时，识别所述变化区域为人体轮廓。此法简单、可靠，运算速度快，提升用户体验。

结合第一方面，在第一方面的第三个实施例中，进一步地，采用种子填充算法对所述变化区域做图像连通处理，其具体步骤包括：

确定变化区域中的中间点作为种子；

以该种子为基点由内向外填充直到遇到边界时停止。

在本实施例中，连通处理方法是采用种子填充方法，首先在变化区域的中间点寻找种子，然后再以种子为基点从内向外填充知道填到边界。采用此种方法能够填充图像中的密闭空间，从而减少图像的空洞现象，保证图像的完整性。

结合第一方面，在第一方面的第三个实施例中，进一步地，所述人脸识别具体包括：

利用积分投影法定位人脸位置，生成人脸区域；

在所述人脸区域内提取人脸特征，根据该人脸特征识别人脸。

在本实施例中，首先利用积分投影法定位人脸位置，生成人脸区域，然后再根据人脸特征识别出操作者的人脸。

结合第一方面，在第一方面的第三个实施例中，进一步地，在无人机飞行之前还包括，机体中存储有预先录入的操作者的人脸。

结合第一方面，在第一方面的第四个实施例中，在所述提取该动态图像所含的每一帧图像中的多个变化区域之前还包括图像预处理，所述图像预处理算法包括直方图均衡算法、膨胀、腐蚀、锐化、模糊、灰度变换算法中的任意多项。

在获取动态图像后，首先要对动态图像进行预处理，然后再从已经预处理后的图像中识别人体轮廓，这是图像识别算法中惯用的手段，采用此方法，可以将模糊的图像、过曝光图像、过暗图像等不规则图像处理成统一的利于识别人体轮廓的图像。图像预处理能够突出图像中的人体轮廓，从而更有利于提取出清晰的轮廓。

结合第一方面，在第一方面的第五个实施例中，所述获取动态图像的图像获取装置通过云台安装在本体上，所述云台带动所述图像获取装置以任意角度旋转，以获取所述变化区域。

在本实施例中，获取动态图像的图像获取装置通过云台安装在本体上，通过控制云台旋转就可以达到控制摄像头采集全方位图像的目的。

结合第一方面，在第一方面的第五个实施例中，进一步，根据所述变化区域在图像中的位置变化，调整云台的旋转角度，以控制所述变化区域在图像中整体显示。

在本实施例中，根据变化区域在图像中的位置变化灵活的调整云台旋转角度，从而跟踪人体轮廓和手势，使得变化区域在图像中整体显示，从而达到准确控制的效果。

第二方面，本发明还提供了一种无人机的控制装置，包括：

获取模块，用于获取动态图像，提取该动态图像所含的每一帧图像中的多个变化区域；

识别模块，用于将所述变化区域依次与预存模板库中的预存手势模板和人体轮廓模板匹配，根据匹配结果识别该变化区域，获取相应的操作指令，所述识别模块具体包括，

手势识别子模块，用于当任意一个变化区域与所述手势模板匹配成功时，则识别该变化区域为手势，并生成与该手势匹配的手势控制操作指令；

人体识别子模块，用于当任何变化区域与所述手势模板都匹配不成功时，且与所述人体轮廓模板匹配成功时，则识别该变化区域为人体轮廓，并生成人体控制操作指令；

返回子模块，用于当所述变化区域与所述手势模板和人体轮廓模板均匹配不成功时，则生成返回操作指令；

执行模块，用于执行对应于所述变化区域的操作指令。

获取模块在获取动态图像后，在动态图像中的每一帧图像中提取出多个变化区域，该变化区域中不仅包括手势模板，还包括人体轮廓模板，识别模块通过将该变化区域与预存模板库匹配识别出该变化区域，在依次与手势模板和人体轮廓模板匹配的过程中，获取对应该变化区域的操作指令，手势识别子模块用于当任意一个变化区域与所述手势模板匹配成功时，则识别该变化区域为手势，并生成与该手势匹配的手势控制操作指令；人体识别子模块用于当任何变化区域与所述手势模板都匹配不成功时，且与所述人体轮廓模板匹配成功时，则识别该变化区域为人体轮廓，并生成人体控制操作指令；返回子模块用于当所述变化区域与所述手势模板和人体轮廓模板均匹配不成功时，则生成返回操作指令；执行模块用于执行对应于所述变化区域的操作指令。在本方案中添加了根据人体轮廓模板指令控制无人机返回的操作指令，其能够依据人体轮廓控制无人机返航飞行，相对于现有技术手段中的手势识别，由于人体轮廓较大，因此在距离较远时具有更好的识别效果，使得无人机在飞行距离较远而无法摄取到手势时拍摄人体轮廓作为返回的方向标，由此可防止无人机丢失或者失控，保证手势控制无人机时，无人机的飞行安全。

结合第二方面，在第二方面的第一个实施例中，所述获取模块具体包括如下子模块：

背景确立子模块，用于建立静态背景模型以确定背景帧；

第一变化部分获取子模块，用于根据背景减除算法将当前帧与背景帧相减以获取当前帧中的第一变化部分；

第二变化部分获取子模块，用于根据帧间差分算法将当前帧与相邻帧相减以获取当前帧中的第二变化部分；

重叠子模块，用于重叠第一变化部分和第二变化部分以获取图像中的变化区域。

结合第二方面，在第二方面的第一个实施中，进一步地，所述获取模块还包括如下子模块：

肤色区域分割子模块，用于利用亮度高斯模型算法在所述变化区域中分割出肤色区域；

手势区域识别子模块，用于依据手势空间分布特征和指节相对间距特征识别图像中的手势区域；

人体轮廓区域识别子模块，用于依据人体轮廓的形状特征识别所述变化区域中的人体轮廓区域；

统计子模块，用于统计从变化区域识别算法中获得的所有手势区域和人体轮廓区域，以用于与预存模板库中的模板匹配。

在本实施例中，肤色区域分割子模块用于利用亮度高斯模型分割出肤色区域，手势区域识别子模块用于根据手势的空间相对密度特征和指节相对间距特征从肤色区域中分割出手势，人体轮廓区域识别子模块，用于从图像中识别出人体轮廓，统计子模块用于统计在运动图像中收集到的所有手势区域和人体轮廓区域，以用于与模板库中的模板比对从而生成操作指令。本实施例采用收集手势和人体轮廓两种区域的方法，能够从一副图像中提取出多种变化区域。

结合第二方面，在第二方面的第二个实施例中，所述手势控制操作指令为控制本机的飞行动作，所述飞行动作包括翻转、直行、转弯、悬停中的任意一项。

结合第二方面，在本发明的第二方面的第三个实施例中，所述人体控制操作指令为控制本机寻找手势动作，所述寻找手势动作具体包括如下单元，

人体轮廓确定单元，用于识别所述变化区域为人体轮廓；

返航单元，用于以所述人体轮廓为终点返航飞行；

捕捉人脸单元，用于捕捉人脸，进行人脸识别；

捕捉手势单元，用于当识别人脸为预设操作者时，循环捕捉手势。

结合本发明的第二方面的第三个实施例，进一步地，其特征在于，人体轮廓确定单元具体包括如下子单元：

二值化子单元，用于将含所述变化区域的图像进行二值化处理，生成二值化图像；

连通处理子单元，用于对所述二值化图像中的变化区域做图像连通处理生成连通区域；

几何特征提取子单元，用于提取所述连通区域的几何特征，当所述几何特征满足人体几何特征时，识别所述区域为人体轮廓。

在本实施例中，二值化子单元首先对所述变化区域做图像二值化处理，二值化图像相对于普通图像占用的储存空间小，能够加快图像处理速度；连通处理子单元用于对所述二值化图像进行图像连通处理生成连通区域；几何特征提取子单元用于提取连通区域的几何特征，当满足人体几何特征时，识别所述变化区域为人体轮廓。此法简单、可靠，运算速度快，提升用户体验。

结合本发明的第二方面的第三个实施例，进一步地，采用种子填充算法对所述变化区域做图像连通处理，其具体包括：

种子确定子单元，用于确定变化区域中的中间点作为种子；

填充子单元，用于以该种子为基点由内向外填充直到遇到边界时停止。

在本实施例中，连通处理方法是采用种子填充方法，种子确定子单元用于在变化区域的中间点寻找种子，填充子单元用于以种子为基点从内向外填充知道填到边界。采用此种方法能够填充图像中的密闭空间，从而减少图像的空洞现象，保证图像的完整性。

结合本发明的第二方面的第三个实施例，进一步地，所述捕捉人脸单元具体包括如下子单元；

定位人脸位置子单元，用于利用积分投影法定位人脸位置，生成人脸区域；

人脸特征提取子单元，用于在所述人脸区域内提取人脸特征，根据该人脸特征识别人脸。

结合本发明的第二方面的第三个实施例，进一步地，在无人机飞行之前还包括，机体中存储有预先录入的操作者的人脸。

结合第二方面，在第二方面的第四个实施例中，在所述提取该动态图像所含的每一帧图像中的多个变化区域之前还包括图像预处理，所述图像预处理算法包括直方图均衡算法、膨胀、腐蚀、锐化、模糊、灰度变换算法中的任意多项。

在获取动态图像后，首先要对动态图像进行预处理，然后再从已经预处理后的图像中识别人体轮廓，采用此方法，可以将模糊的图像、过曝光图像、过暗图像等不规则图像处理成统一的利于识别人体轮廓的图像。图像预处理能够突出图像中的人体轮廓，从而更有利于提取出清晰的轮廓。

结合第二方面，在第二方面的第五个实施例，所述获取动态图像的图像获取装置通过云台安装在本体上，所述云台带动所述图像获取装置以任意角度旋转，以获取所述变化区域。

结合第二方面的第五个实施例，进一步地，根据所述变化区域在图像中的位置变化，调整云台的旋转角度，以控制所述变化区域在图像中整体显示。

第三方面，本发明实施例中提供了一种多功能控制设备，包括：

显示器，用于显示程序执行的结果；

存储器，用于存储支持收发装置执行上述无人机的控制方法的程序；

通信接口，用于上述无人机的控制装置与其他设备或通信网络通信；

一个或多个处理器，用于执行所述存储器中存储的程序；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为用于执行无人机的控制的任何方法。

第四方面，本发明实施例提供了一种计算机存储介质，用于储存为上述无人机的控制装置所用的计算机软件指令，其包含用于执行上述方面为无人机的控制装置所设计的程序。

本发明利用安装在无人机的摄像装置摄取动态图像，通过图像识别算法识别图像中的变化区域，即手势和人体轮廓，根据识别出的变化区域与预存模板库的匹配结果判断自身应该执行的操作指令，当任意一个变化区域与所述手势模板匹配成功时，则识别该变化区域为手势，并生成与该手势匹配的手势控制操作指令；当任何变化区域与所述手势模板都匹配不成功时，且与所述人体轮廓模板匹配成功时，则识别该变化区域为人体轮廓，并生成人体控制操作指令；当所述变化区域与所述手势模板和人体轮廓模板均匹配不成功时，则生成返回操作指令。相对于现有技术，本发明提供了一种依据识别人体轮廓控制无人机并以人体轮廓为终点返回重新寻找手势动作的方法，其在操控者与无人机距离较远的情况下也能够控制到无人机。本发明所提供的无人机控制方案新颖，准确，可靠，实时，能够将飞行较远的无人机控制在可控范围，从而提升用户体验。

本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明一个实施例的一种无人机的控制方法的系统架构图。

图2示出了根据本发明一个实施例的一种用于无人机的控制方法的设备结构框图。

图3示出了根据本发明一个实施例的一种无人机的控制方法流程图。

图4示出了根据本发明一个实施例的一种无人机的控制方法的根据匹配结果识别该变化区域的具体步骤流程图。

图5示出了根据本发明一个实施例的一种无人机的控制方法的提取动态图像所含的每一帧图像中的多个变化区域的具体步骤流程图。

图6示出了根据本发明一个实施例的一种无人机的控制方法的提取该动态图像所含的每一帧图像中的多个变化区域的后序步骤流程图。

图7示出了根据本发明一个实施例的一种无人机的控制方法的寻找手势动作具体步骤流程图。

图8示出了根据本发明一个实施例的一种无人机的控制方法的识别变化区域为人体轮廓的具体步骤流程图。

图9示出了根据本发明一个实施例的一种无人机的控制方法的采用种子填充算法对变化区域做图像连通处理具体步骤流程图。

图10示出了根据本发明一个实施例的一种无人机的控制方法的人脸识别的具体步骤流程图。

图11示出了根据本发明一个实施例的一种无人机的控制装置框图。

图12示出了根据本发明一个实施例的一种无人机的控制装置的识别单元的框图。

图13示出了根据本发明一个实施例的一种无人机控制装置的获取模块框图。

图14示出了根据本发明一个实施例的一种无人机控制装置的获取模块还包括的框图。

图15示出了根据本发明一个实施例的一种无人机控制装置的寻找手势动作具体包括单元框图。

图16示出了根据本发明一个实施例的一种无人机控制装置的人体轮廓确定单元具体框图。

图17示出了根据本发明一个实施例的一种无人机控制装置的连通处理子单元的具体框图。

图18示出了根据本发明一个实施例的一种无人机控制装置的捕捉人脸单元具体框图。

图19示出了根据本发明一个实施例的一种多功能控制设备框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

本发明的发明人注意到随着人工智能和图像识别技术的发展，依据图像识别技术控制无人机飞行已经成为现实，而常见的基于图像识别技术控制无人机的方法多是基于手势识别。限制于手的大小，手势识别并不能控制与人体距离较远的无人机，故本发明人想到通过识别人体轮廓控制无人机以人体轮廓返航重新寻找手势的方法，其能控制距离相对较远的无人机返航寻找手势。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对于本发明中用到的专有名词解释如下：

动态图像，指以电信号的方式对外界场景加以捕捉、纪录、处理、储存、传送与重现的各种技术，动态图像中包含若干帧，能够对动态图像中任意一帧进行操作。

人体轮廓，在本发明中泛指包括人的四肢特征、头部、躯干的人体图。本领域内技术人员可以理解，在光线较差时，人体轮廓的完整性会受到干扰，但即使完整性遭到破坏，能够识别大部分人体特征的人体轮廓依然属于本发明所述的人体轮廓。

在本发明的实施例中，无人机的控制方法的系统架构如图1所示，包括无人机1000，机体上装配有摄像头1001，摄像头1001用于获取图像，从而从图像中提取人体轮廓和手势轮廓。如图1所示，无人机1000通过自身安装的摄像头1001摄取含有操控者1002信息的动态图像，继而从动态图像中的每一帧图像中提取变化区域，然后识别变化区域中的人体轮廓和手势，并将识别到的人体轮廓与预存模板库匹配，识别出相应的操作指令并执行。在本实施例中，摄像头可以通过全方位云台安装在机体上，可以通过控制旋转全方位云台跟踪人体目标，使其始终位于获取的图像中心，本领域内技术人员可以理解，本发明对摄像头的个数不限制，如有多个摄像头，则可以采用拼接算法等算法实现全景获取；本领域内技术人员可以理解，本发明对云台的自由度不限制，可以为单自由度云台，也可为多自由度云台，只要其能够全方位获取图像；本领域内技术人员可以理解，在本架构中，控制无人机的人体和无人机之间的距离不限定，只要人体轮廓能够完整保持在图像中，即可以完成控制无人机的操作。

在本发明的一个实施例中，用于无人机的控制方法的设备结构框图如图2所示，整体结构包括系统处理中心、传感器模块、控制器、执行控制端等，其中传感器模块包括惯性传感器、磁强计、超声波传感器、激光测距传感器、图像传感器等，用于生成各种传感器数据从而生成用于表征无人机飞行过程中的姿态信息、高度数据、航向数据、图像数据、距离数据等，从而反映无人机飞行中的各项参数，便于无人机做自身的调整。例如当无人机受到刮风影响时，利用惯性传感器可以检测出无人机的姿态数据发生变化，无人机获取姿态数据后调整自身姿态以保证按照操控指令飞行；又如当无人机飞行过程中某个方向遇到障碍物时，可以利用距离传感器检测出与障碍物的距离，从而迅速做出避障动作，从而保证机身不损伤，而且当无人机有了避障措施后，就可以单独执行空间检测等任务；又如当用户想通过图像控制无人机飞行时，在本发明的一个实施例中，如图2所示，采用图像传感器获取动态图像，继而从动态图像的每一帧图片中识别变化区域，再从变化区域中识别出人体轮廓和手势动作，从而根据其与预存模板库的匹配结果判断将要完成的操作指令。系统处理中心是完成数据整合、发送控制、执行操作执行的核心部分，其在收到传感器模块发送的数据时，通过一系列的算法从数据中识别出特定的信息，从而根据这些信息判断将要执行的操作，本领域内技术人员可以理解，系统处理中心不止能够完成传感器数据的整合和发送指令，还可以进行其他的操作，在本发明中，系统处理中心应具备能够完成无人机控制的任何方法。控制器是用于控制无人机的控制器件，一般地，当远程遥控设备作为控制器控制无人机时，需要设置无人机与控制器的控制频率，以保证有效控制无人机飞行。执行控制端用于无人机执行操作指令，执行控制端与系统处理中心互相通讯，以保证无人机按照操作指令执行。

第一方面，本发明提供了一种无人机的控制方法，如图3所示，包括如下步骤：

S11，获取动态图像，提取该动态图像所含的每一帧图像中的多个变化区域。

无人机从摄像头等装置获取到动态图像后，对动态图像进行图像处理从而从图像中提取出人体轮廓。首先将动态视频中的每一帧图片都分离出来，然后再一帧一帧的处理，以此从每一帧图像中提取出变化区域，便于下一步的处理。无人机从摄像头获取的图像既可以是无线传输至无人机的，亦可以是在无人机机体上安装的摄像头。

S12，将所述变化区域依次与预存模板库中的预存手势模板和人体轮廓模板匹配，根据匹配结果识别该变化区域，获取相应的操作指令，其具体步骤如图4所示。

S1201，当任意一个变化区域与所述手势模板匹配成功时，则识别该变化区域为手势，并生成与该手势匹配的手势控制操作指令。

在本步骤中，将所有变化区域与手势模板库匹配的优先级是最高的，优先和手势模板库匹配，当任意一个变化区域与所述手势模板匹配成功时，则识别该变化区域为手势，后面的步骤不必进行，并生成与该手势匹配的手势控制操作指令，立即执行与手势区域对应的操作指令。

S1202，当任何变化区域与所述手势模板都匹配不成功时，且与所述人体轮廓模板匹配成功时，则识别该变化区域为人体轮廓，并生成人体控制操作指令。

在本步骤中，当任何变化区域与所述手势模板都匹配不成功时，且与所述人体轮廓模板匹配成功时，则识别该变化区域为人体轮廓，并生成人体控制操作指令。即在变化区域中没有手势时，则立即将所有变化区域与人体轮廓模板库匹配，判断是否含有人体轮廓，若有，则生成对应人体轮廓区域的操作指令。本领域内技术人员易于理解，与人体轮廓模板库匹配的优先级低于与手势模板库匹配的优先级。

S1203，当所述变化区域与所述手势模板和人体轮廓模板均匹配不成功时，则生成返回操作指令。

当识别到的变化区域既不能与手势模板库匹配成功，又不能与所述人体轮廓模板库匹配成功，则生成返回操作指令，从而保证机身安全，保证无人机的安全。

在本发明的一个实施例中，将变化区域与预存模板库的预存手势模板和人体轮廓模板依次匹配，即匹配过程中匹配优先级顺序是手势模板、人体轮廓模板。首先将汇总好的从一帧图像中多个变化区域与预存模板库中的手势模板库匹配，例如在一帧图像中提取到的变化区域有人体轮廓区域、树叶区域、手势区域、车辆区域四种变化区域，则依次将这四幅图像依次与手势预存模板库匹配，若这四幅图像中含有手势区域匹配成功时，则停止匹配，执行该手势区域对应的操作指令；又如在一帧图像中提取到的变化区域有人体轮廓区域、树叶区域、车辆区域三种变化区域，则首先将这三个区域依次与手势模板库匹配，本例中三种区域中都没有手势区域，此时这三个区域将与人体轮廓模板比对，本实施例中，所识别的变化区域含人体轮廓区域，当人体轮廓区域与人体轮廓模板匹配成功时停止匹配，执行与人体轮廓匹配的操作指令；又如在本发明的一个实施例中在一帧图像中所识别到的变化区域为树叶区域、车辆区域两种变化区域，此时首先将这两个区域与手势模板库匹配，匹配不成功时将这两个区域与人体轮廓模板库比对，此时还匹配不成功，则生成对应的返回操作指令，返回以保证无人机的飞行安全。

S13，执行对应于所述变化区域的操作指令。

本实施例为本发明提供的一种无人机的控制方法，可以保证在控制不到无人机时，让无人机自动返航，从而保证无人机不丢失，不损伤。

结合第一方面，在第一方面的第一个实施例中，如图5所示，所述提取该动态图像所含的每一帧图像中的多个变化区域具体包括如下步骤：

S121，建立静态背景模型以确定背景帧。

在本发明的一个实施例中，建立静态背景模型以确定背景帧。不难理解，在无人机悬停时，摄像头所拍摄的区域较稳定，所能获取的图像中除了人体、手势或其他动态物品能够改变外，其他物品基本保持不变，因此这些不变的静态部分就可以作为背景来看待，例如将一组图像中的第一帧图像作为背景，后序的所有图像在此背景上变化的部分用于提取出第一变化部分。本领域内技术人员可以理解，由于背景随时会发生变换，只采用将第一帧作为背景帧的方法是不足够的，需要更为可靠的数学模型，本发明对建立静态背景模型的算法不做限制，例如采用一种通过检测图像的直方图来检测背景模型是否发生变化的方法来切换背景帧，其原理为，当检测到直方图的分布发生巨大变化时，说明摄像头所摄取的区域已经改变，立即做出更改背景帧的动作，以新的一组图像中的第一帧作为背景帧。

S122，根据背景减除算法将当前帧与背景帧相减以获取当前帧中的第一变化部分。

在建立好静态背景模型后，可以将后序图像与背景帧进行相减以提取出当前图像与背景帧不同的部分作为第一变化部分。本领域内技术人员可以理解，图像处理算法中的相减算法能够将两幅图像中相同的部分去除，从而只在图像中显示不同的部分作为第一变化部分，其相减算法简单、实时。

S123，根据帧间差分算法将当前帧与相邻帧相减以获取当前帧中的第二变化部分。

帧间差分算法指的是将当前帧与相邻帧进行相减以获取当前帧中的变化部分作为第二变化部分。由于视频是由一系列连续获取的图像组成的，每一帧图像与其相邻图像相似的部分很多，而相差的部分均来源于图像中的动态变化物体，例如人体、动物等。将当前帧与相邻帧相减后可以将图像中的动态轮廓提取出来，例如将当前帧与其前一帧进行相减得到第二变化部分；又例如采用连续帧间差分算法，先将当前帧与前一帧相减得到变化部分，然后将当前帧与其后一帧进行相减再得到另一变化部分，将两个变化部分重叠得出第二变化部分。

S124，重叠第一变化部分和第二变化部分以获取图像中的变化区域。

将利用背景减除算法和帧间差分算法所得到的第一变化部分和第二变化部分重叠得到变化区域。本领域内技术人员可以理解，重叠算法也是相加算法，利用相加算法后可以弥补图像中的空洞和不连续的轮廓，从而获得完整的清晰的动态轮廓。本方法综合背景减除算法和帧间差分算法两种算法，得到的动态部分具有更为可靠的特点，采用本算法具有简单、实时、可靠、易实现的特点。在上述实施例中，在图像中识别出两个变化部分，然后将两个变化部分进行重叠，从而获取到更为清晰的人体轮廓，采用这种方法能够弥补人体轮廓的空洞，还能够避免图像中有过多的干扰噪声。采用帧间差分算法和背景减除算法相结合的算法，是一种简单实时、可靠、准确度高的算法。

结合第一方面，进一步地，如图6所示，所述提取该动态图像所含的每一帧图像中的多个变化区域还包括后序步骤：

S125，利用亮度高斯模型算法在所述变化区域中分割出肤色区域。

本领域内技术人员不难理解，人体皮肤的颜色、纹理、亮度都具有一定的特征，因此可以依据手势的这些特征来获取肤色区域，然后再从肤色区域中提取出手势的具体形状。在本发明的一个实施例中，首先计算手势样本肤色中每个像素点的亮度值，在RGB颜色空间中建立亮度高斯模型。然后用帧图像中每个像素点与亮度高斯模型作差值。差值在阈值范围内默认为肤色，得到初始的分割区域。本领域内技术人员可以理解，不同光照条件、不同背景、不同操作者运用亮度高斯模型所得到的阈值都不一样，当环境变化时，重新采样获取数据，更新亮度高斯模型是本领域内惯用手段，基于本思路所作的算法改进应属于本发明的保护范围。

S126，依据手势空间分布特征和指节相对间距特征识别图像中的手势区域。

手势空间分布特征是对人手空间特征的抽象描述，人手是一个关节式的复杂变形体，由手掌与5个相邻的手指组成，每个手指由指段和关节组成，整体来看，手势是关节相连的结构，随着关节的运动，手的形状不断变化，手势的不同姿态可以通过指段和关节的状态空间变化来描述。本发明的一个实施例中，从手势的整体姿态和局部姿态两个方面提取分布特征，一方面，手势的不同形态可以借助手势像素点在空间的区域分布表现出来。本发明的一个实施例中，肤色区域和背景区域交错分布构成了各种的手势，同一个手势的不同图像，肤色空间分布信息是相似的，依据这个特征提取手势的密度分布特征，即提取手势肤色像素点在不同空间域的分布情况作为识别手势的依据。另一方面，手势的不同形态源于手势的局部姿态，手势各个手指之间的连接关系，手指与手指之间的夹角是位于固定区间内的，根据这些夹角关系能够识别手指。

本发明的一个实施例中示例了一种手势识别方法，首先提取人手的重心点，采用如下公式：

\{\begin{matrix} \overset{&OverBar;}{x} = \frac{\underset{i}{Σ} \underset{j}{Σ} i \times f (i, j)}{\underset{i}{Σ} \underset{j}{Σ} f (i, j)} \\ \overset{&OverBar;}{y} = \frac{\underset{i}{Σ} \underset{j}{Σ} j \times f (i, j)}{\underset{i}{Σ} \underset{j}{Σ} f (i, j)} \end{matrix}

其中：

其中i,j代表像素点的坐标，R代表设置的阈值。

然后，计算图像中目标像素点到重心的最大距离D_max，然后以重心为圆心，以D_max为半径作手势图像的外接圆；并将外接圆按照每个子图像区域所覆盖的区间长度相等的原则；由内而外划分为若干个子图像区域，那么最靠近圆心的中心圆所包含的区域主要为手掌部分，而空间分布特征也由内而外各自不一样，由此特征识别手势。

S127，依据人体轮廓的形状特征识别所述变化区域中的人体轮廓区域。

在所述变化区域中提取所述人体轮廓，根据人体形状特征识别人体轮廓属于特征识别算法，特征识别算法是基于要识别的目标的特征来识别目标的，例如颜色、形状、结构、高宽比等特征，以高宽比特征为例区分人体和动物，人体的高度和宽度的比例值是位于一个范围内的，动物的高度和宽度比例位于另一个范围内，两个比例范围数据相差很大，因此可以区分人体和动物。例如，本发明的一个实施例中，将高宽比位于1.5到3之间的目标确定为人体，将高宽比位于0.2到1之间的目标确定为其他动物，然后提取所述变化区域的高宽比特征，获取其中高宽比位于1.5到3之间的变化区域，再根据其他特征判断出人体轮廓。

S128，统计从变化区域识别算法中获得的所有手势区域和人体轮廓区域，以用于与预存模板库中的模板匹配。

在本实施例中，首先利用亮度高斯模型分割出肤色区域，然后再根据手势的空间相对密度特征和指节相对间距特征从肤色区域中分割出手势，再从变化区域中识别出人体轮廓，最后统计在运动图像中收集到的所有手势区域和人体轮廓区域，以用于与模板库中的模板匹配从而生成操作指令。本实施例收集手势和人体轮廓两种区域，能够从一副图像中提取出多种变化区域，例如在本发明的一个实施例中在一副图像中提取到3个人体轮廓、1个手势轮廓、1个小狗轮廓。

手势控制指令为控制无人机的飞行动作，所述飞行动作包括翻转、直行、转弯、悬停中的任意一项，例如，OK手势代表直行，当从图像中分割出来的手势图像是OK手势时，则对应生成直行的指令。

结合第一方面，在第一方面的第三个实施例中，所述人体控制操作指令为控制本机寻找手势动作，如图7所示，所述寻找手势动作具体包括如下步骤，

S1211，识别所述变化区域为人体轮廓。

较佳地，根据特征识别算法识别人体轮廓，确定所述变化区域为人体轮廓是进行寻找手势的前提步骤。

S1212，以所述人体轮廓为终点返航飞行。

当无人机飞行较远时，一方面一般摄像头分辨率较小，另一方面限于处理能力，已经无法分辨手势信息，此时操作者无法用手势控制无人机，无人机则处于失控状态，在本发明的实施例中，当无人机识别到人体轮廓时，可以以人体轮廓为终点返回继续获取手势，能够保证无人机在飞行较远时仍能够返航，保证机体安全。

S1213，捕捉人脸，进行人脸识别。

由于地面上的操作者可能有多个，为了寻找操作者，本发明采用了人脸识别算法来确认用户身份，进一步保证了无人机的飞行安全。

S1214，当识别人脸为预设操作者时，循环捕捉手势。

结合第一方面，在第一方面的第三个实施例中，进一步地，识别所述变化区域为人体轮廓，如图8所示，具体包括如下步骤：

S12111，将含所述变化区域的图像进行二值化处理，生成二值化图像。

在本发明的一个实施例中，将提取出来的变化区域进行二值化处理，图像的二值化处理是先预定一个阈值，将超过阈值范围的像素点设置成一个值例如1，将低于该阈值的像素点设置成另外一个区分度较高的值例如0。通过二值化处理，图像中轮廓更为清晰，同时由于二值化，图像信息量变小，有利于加快处理速度，使系统运行流畅。

S12112，对所述二值化图像中的变化区域做图像连通处理生成连通区域。

对二值化图像进行图像连通处理，将图像中的空洞部分补全，有利于识别出完整的轮廓。

S12113，提取所述连通区域的几何特征，当所述几何特征满足人体几何特征时，识别所述区域为人体轮廓。

在本实施例中，首先对所述变化区域做图像二值化处理，二值化图像相对于普通图像占用的储存空间小，能够加快图像处理速度；然后对所述二值化图像进行图像连通处理生成连通区域；最后提取连通区域的几何特征，当满足人体几何特征时，识别所述变化区域为人体轮廓。此法简单、可靠，运算速度快，提升用户体验。人体轮廓识别算法是为了在图像中提取出人体轮廓的算法，包括背景减除算法、帧间差分算法、光流法、聚类算法、分类算法、边缘检测、特征识别算法、模板匹配算法中的任意多项，本发明对所采用算法的顺序和个数不做限制，只要其能够在图像中提取出人体轮廓即可，例如在本发明中，可采用聚类算法在图像中识别各种形状的类簇，从而根据人体常有形态特征识别出人体轮廓；又例如在图像中采用索贝尔边缘检测算子检测出图像中的边缘，从而在检测出来的边缘中进一步提取出人体轮廓。本领域内技术人员可以理解，本发明对所采用的算法个数和算法顺序不做限制，可以是任意算法的任意组合，只要其能够提取出人体轮廓。本领域内技术人员可以理解，所采用的人体轮廓识别算法不仅仅为本发明所示，在不影响处理目的的基础上，可以对算法进行改进，所做改进属于本发明的保护范围。

结合第一方面，在第一方面的第三个实施例中，进一步地，采用种子填充算法对所述变化区域做图像连通处理，如图9所示，其具体步骤包括：

S12114，确定变化区域中的中间点作为种子。

一般地，刚提取出来的变化区域通常都有空洞，空洞的存在导致图像不清晰，采集的变化区域不完整，例如采集到的人体轮廓却少胳膊部分。本发明的一个实施例提供了图像连通处理方法，其首先在图像中间点找到一个种子点，如确定二值化图像中被白色像素点围起来的黑色像素点的中央位置。本领域内技术人员可以理解，不完全封闭的空洞也可确定种子点，同时，在一个变化区域中可以确定多个种子点，本发明对所采用的种子点的算法不做限制。

S12115，以该种子为基点由内向外填充直到遇到边界时停止。

结合第一方面，在第一方面的第三个实施例中，进一步地，所述人脸识别具体包括如下步骤，如图10所示：

S12131，利用积分投影法定位人脸位置，生成人脸区域。

积分投影法是根据图像在某些方向的投影分布特征来进行检测的，主要有垂直灰度投影和水平灰度投影，如下公式表示：

V (x) = Σ_{y = 0}^{M - 1} I (x, y)

H (y) = Σ_{x = 0}^{N - 1} I (x, y)

上面公式依次表示了水平投影和垂直投影的基本原理，x,y代表像素点的坐标位置。由于人脸的形状是有一定规则的，根据在以上两种投影可以分辨图像中的人脸。

S12132，在所述人脸区域内提取人脸特征，根据该人脸特征识别人脸。

人脸上的特征主要包括眼部特征、鼻子特征、嘴巴特征等，由于不同人的人脸比例、大小都不一致，所以能够根据人脸特征识别人脸。本发明一个实施例中采用了提取四个眼角点、鼻尖点和两个嘴角点七个特征点的方法区分不同的操作者。

为了保证无人机找到设定的操作者，所以在机体中预存有操作者的人脸，当验证了操作者的人脸后，才开始寻找手势。

在获取动态图像后，首先要对动态图像进行预处理，然后再从已经预处理后的图像中识别人体轮廓，这是图像识别算法中惯用的手段，采用此方法，可以将模糊的图像、过曝光图像、过暗图像等不规则图像处理成统一的利于识别人体轮廓的图像。图像预处理能够突出图像中的人体轮廓，从而更有利于提取出清晰的轮廓。图像预处理是图像识别算法中的惯用手段，不但算法简单不占用运算时间，而且具有良好的处理效果，能够突出图像中的人体轮廓，从而更有利于提取出清晰的轮廓。本发明所述的图像预处理算法包括直方图均衡算法、膨胀、腐蚀、锐化、模糊、灰度变换算法中的任意多项，本发明对图像预处理所用图像预处理算法的先后顺序以及所用算法个数不做限制。例如在本发明的一个实施例中，所涉及图像预处理算法顺序为灰度变换算法、锐化算法、直方图均衡算法，首先对动态图像中的一帧图像进行灰度变换，将过暗、过曝光的图像调整到适合的灰度；然后对处理后的图像进行锐化，锐化的效果可以使图像边缘更为清晰，从而利于提取人体轮廓；最后对图像进行直方图均衡，保持图像的均衡度。本领域内技术人员可以理解，在预处理后的图像中提取人体轮廓的人体轮廓识别算法是经过大量开发完成的。在不破坏本发明识别效果的基础上，本领域内技术人员可以理解，所采用的图像处理算法不仅仅为本发明所示，可以对本发明实施中所提出的算法进行改进，所做改进不应脱离本发明的保护范围。

在本实施例中，获取动态图像的图像获取装置通过云台安装在本体上，通过控制云台旋转就可以达到控制摄像头采集全方位图像的目的。云台优选为双自由度云台，在垂直方向上旋转范围为180°，在水平方向上旋转范围为360°，本领域内技术人员可以理解，这样的云台能够使摄像头采集到全方位图像。在本实施例中，获取动态图像的图像获取装置通过云台安装在本体上，通过控制云台旋转就可以达到控制摄像头采集全方位图像的目的。

在本发明的一个实施例中，根据已经检测出来的人体在图像中的位置，调节云台，从而调整摄像头持续摄取完整的人体轮廓，在本实施例中，根据人体在图像中的位置变化灵活地调整云台旋转角度，从而跟踪人体，在本实施例中，根据变化区域在图像中的位置变化灵活的调整云台旋转角度，从而跟踪人体轮廓和手势，使得变化区域在图像中整体显示，从而达到准确控制的效果。

第二方面，本发明还提供了一种无人机的控制装置，该控制装置具有实现上述第一方面中无人机的控制行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。如图11所示，该无人机的控制装置包括：

获取模块11，用于获取动态图像，提取该动态图像所含的每一帧图像中的多个变化区域。

获取模块11用于无人机从摄像头等装置获取到动态图像后，对动态图像进行图像处理从而从图像中提取出人体轮廓。首先将动态视频中的每一帧图片都分离出来，然后再一帧一帧的处理，以此从每一帧图像中提取出变化区域，便于下一步的处理。无人机从摄像头获取的图像既可以是无线传输至无人机的，亦可以是在无人机机体上安装的摄像头。

识别模块12，用于将所述变化区域依次与预存模板库中的预存手势模板和人体轮廓模板匹配，根据匹配结果识别该变化区域，获取相应的操作指令，所述识别模块具体包括如下图12所示：

手势识别子模块1201，用于当任意一个变化区域与所述手势模板匹配成功时，则识别该变化区域为手势，并生成与该手势匹配的手势控制操作指令。

手势识别子模块1201用于将所有变化区域与手势模板库匹配的优先级是最高的，优先和手势模板库匹配，当任意一个变化区域与所述手势模板匹配成功时，则识别该变化区域为手势，后面的步骤不必进行，并生成与该手势匹配的手势控制操作指令，立即执行与手势区域对应的操作指令。

人体识别子模块1202，用于当任何变化区域与所述手势模板都匹配不成功时，且与所述人体轮廓模板匹配成功时，则识别该变化区域为人体轮廓，并生成人体控制操作指令。

人体识别子模块1202用于当任何变化区域与所述手势模板都匹配不成功时，且与所述人体轮廓模板匹配成功时，则识别该变化区域为人体轮廓，并生成人体控制操作指令。即在变化区域中没有手势时，则立即将所有变化区域与人体轮廓模板库匹配，判断是否含有人体轮廓，若有，则生成对应人体轮廓区域的操作指令。本领域内技术人员易于理解，与人体轮廓模板库匹配的优先级低于与手势模板库匹配的优先级。

返回子模块1203，用于当所述变化区域与所述手势模板和人体轮廓模板均匹配不成功时，则生成返回操作指令。

返回子模块1203用于当识别到的变化区域既不能与手势模板库匹配成功，又不能与所述人体轮廓模板库匹配成功，则生成返回操作指令，从而保证机身安全，保证无人机的安全。

在本发明的一个实施例中，将变化区域与预存模板库的预存手势模板和人体轮廓模板依次匹配，即匹配过程中匹配优先级顺序是手势模板、人体轮廓模板。首先将汇总好的从一帧图像中多个变化区域与预存模板库中的手势模板库匹配，例如在一帧图像中提取到的变化区域有人体轮廓区域、树叶区域、手势区域、车辆区域四种变化区域，则依次将这四幅图像依次与手势预存模板库匹配，若这四幅图像中含有手势区域匹配成功时，则停止匹配，执行该手势区域对应的操作指令；又如在一帧图像中提取到的变化区域有人体轮廓区域、树叶区域、车辆区域三种变化区域，则首先将这三个区域依次与手势模板库匹配，本例中三种区域中都没有手势区域，此时这三个区域将与人体轮廓模板比对，本实施例中，所识别的变化区域含人体轮廓区域，当人体轮廓区域与人体轮廓模板匹配成功时停止匹配，执行与人体轮廓匹配的操作指令；又如在本发明的一个实施例中在一帧图像中所识别到的变化区域为树叶区域、车辆区域两种变化区域，此时首先将这两个区域与手势模板库匹配，匹配不成功时将这两个区域与人体轮廓模板库匹配，此时还匹配不成功，则生成对应的返回操作指令，返回以保证无人机的飞行安全。

执行模块13，用于执行对应于所述变化区域的操作指令。

结合第二方面，在第二方面的第一个实施例中，所述获取模块具体包括如下子模块，如图13所示：

背景确立子模块121，用于建立静态背景模型以确定背景帧。

背景建立子模块121用于建立静态背景模型以确定背景帧。不难理解，在无人机悬停时，摄像头所拍摄的区域较稳定，所能获取的图像中除了人体、手势或其他动态物品能够改变外，其他物品基本保持不变，因此这些不变的静态部分就可以作为背景来看待，例如将一组图像中的第一帧图像作为背景，后序的所有图像在此背景上变化的部分用于提取出第一变化部分。本领域内技术人员可以理解，由于背景随时会发生变换，只采用将第一帧作为背景帧的方法是不足够的，需要更为可靠的数学模型，本发明对建立静态背景模型的算法不做限制，例如采用一种通过检测图像的直方图来检测背景模型是否发生变化的方法来切换背景帧，其原理为，当检测到直方图的分布发生巨大变化时，说明摄像头所摄取的区域已经改变，立即做出更改背景帧的动作，以新的一组图像中的第一帧作为背景帧。

第一变化部分获取子模块122，用于根据背景减除算法将当前帧与背景帧相减以获取当前帧中的第一变化部分。

第一变化部分获取子模块122用于在建立好静态背景模型后，可以将后序图像与背景帧进行相减以提取出当前图像与背景帧不同的部分作为第一变化部分。本领域内技术人员可以理解，图像处理算法中的相减算法能够将两幅图像中相同的部分去除，从而只在图像中显示不同的部分作为第一变化部分，其相减算法简单、实时。

第二变化部分获取子模块123，用于根据帧间差分算法将当前帧与相邻帧相减以获取当前帧中的第二变化部分。

第二变化部分获取子模块123用于获取第二变化部分，帧间差分算法指的是将当前帧与相邻帧进行相减以获取当前帧中的变化部分作为第二变化部分。由于视频是由一系列连续获取的图像组成的，每一帧图像与其相邻图像相似的部分很多，而相差的部分均来源于图像中的动态变化物体，例如人体、动物等。将当前帧与相邻帧相减后可以将图像中的动态轮廓提取出来，例如将当前帧与其前一帧进行相减得到第二变化部分；又例如采用连续帧间差分算法，先将当前帧与前一帧相减得到变化部分，然后将当前帧与其后一帧进行相减再得到另一变化部分，将两个变化部分重叠得出第二变化部分。

重叠子模块124，用于重叠第一变化部分和第二变化部分以获取图像中的变化区域。

重叠子模块124用于将利用背景减除算法和帧间差分算法所得到的第一变化部分和第二变化部分重叠得到变化区域。本领域内技术人员可以理解，重叠算法也是相加算法，利用相加算法后可以弥补图像中的空洞和不连续的轮廓，从而获得完整的清晰的动态轮廓。本方法综合背景减除算法和帧间差分算法两种算法，得到的动态部分具有更为可靠的特点，采用本算法具有简单、实时、可靠、易实现的特点。在上述实施例中，在图像中识别出两个变化部分，然后将两个变化部分进行重叠，从而获取到更为清晰的人体轮廓，采用这种方法能够弥补人体轮廓的空洞，还能够避免图像中有过多的干扰噪声。采用帧间差分算法和背景减除算法相结合的算法，是一种简单实时、可靠、准确度高的算法。

结合第二方面，在第二方面的第一个实施中，进一步地，所述获取模块还包括如下子模块，如图14所示：

肤色区域分割子模块125，用于利用亮度高斯模型算法在所述变化区域中分割出肤色区域。

手势区域识别子模块126，用于依据手势空间分布特征和指节相对间距特征识别图像中的手势区域。

\{\begin{matrix} \overset{&OverBar;}{x} = \frac{\underset{i}{Σ} \underset{j}{Σ} i \times f (i, j)}{\underset{i}{Σ} \underset{j}{Σ} f (i, j)} \\ \overset{&OverBar;}{y} = \frac{\underset{i}{Σ} \underset{j}{Σ} j \times f (i, j)}{\underset{i}{Σ} \underset{j}{Σ} f (i, j)} \end{matrix}

其中：

其中i,j代表像素点的坐标，R代表设置的阈值。

人体轮廓区域识别子模块127，用于依据人体轮廓的形状特征识别所述变化区域中的人体轮廓区域。

统计子模块128，用于统计从变化区域识别算法中获得的所有手势区域和人体轮廓区域，以用于与预存模板库中的模板匹配。

结合第二方面，在本发明的第二方面的第三个实施例中，所述人体控制操作指令为控制本机寻找手势动作，所述寻找手势动作具体包括如下单元，如图15所示，

人体轮廓确定单元1211，用于识别所述变化区域为人体轮廓。

人体轮廓确定单元1211用于根据特征识别算法识别人体轮廓，确定所述变化区域为人体轮廓是进行寻找手势的前提步骤。

返航单元1212，用于以所述人体轮廓为终点返航飞行。

返航单元1212用于当无人机飞行较远时，一方面一般摄像头分辨率较小，另一方面限于处理能力，已经无法分辨手势信息，此时操作者无法用手势控制无人机，无人机则处于失控状态，在本发明的实施例中，当无人机识别到人体轮廓时，可以以人体轮廓为终点返回继续获取手势，能够保证无人机在飞行较远时仍能够返航，保证机体安全。

捕捉人脸单元1213，用于捕捉人脸，进行人脸识别。

捕捉手势单元1214，用于当识别人脸为预设操作者时，循环捕捉手势。

结合本发明的第二方面的第三个实施例，进一步地，其特征在于，人体轮廓确定单元具体包括如下子单元，如图16所示：

二值化子单元12111，用于将含所述变化区域的图像进行二值化处理，生成二值化图像。

连通处理子单元12112，用于对所述二值化图像中的变化区域做图像连通处理生成连通区域。

几何特征提取子单元12113，用于提取所述连通区域的几何特征，当所述几何特征满足人体几何特征时，识别所述区域为人体轮廓。

结合本发明的第二方面的第三个实施例，进一步地，采用种子填充算法对所述变化区域做图像连通处理，如图17所示，连通处理子单元12112具体包括：

种子确定子单元12114，用于确定变化区域中的中间点作为种子。

填充子单元12115，用于以该种子为基点由内向外填充直到遇到边界时停止。

结合本发明的第二方面的第三个实施例，进一步地，所述捕捉人脸单元具体包括如下子单元，如图18所示：

定位人脸位置子单元12131，用于利用积分投影法定位人脸位置，生成人脸区域。

V (x) = Σ_{y = 0}^{M - 1} I (x, y)

H (y) = Σ_{x = 0}^{N - 1} I (x, y)

人脸特征提取子单元12132，用于在所述人脸区域内提取人脸特征，根据该人脸特征识别人脸。

显示器，用于显示程序执行的结果；

一个或多个处理器，用于执行所述存储器中存储的程序；

本发明利用安装在无人机的摄像装置摄取动态图像，通过图像识别算法识别图像中的变化区域，即手势和人体轮廓，根据识别出的变化区域与预存模板库的匹配结果判断自身应该执行的操作指令，相对于现有技术，本发明提供了一种依据识别人体轮廓控制无人机并以人体轮廓为终点返回重新寻找手势动作的方法，其在操控者与无人机距离较远的情况下也能够控制到无人机。本发明所提供的无人机控制方案新颖，准确，可靠，实时，能够将飞行较远的无人机控制在可控范围，从而提升用户体验。

本发明在获取动态图像后，从动态图像中的每一帧图像中提取出变化区域，再从该变化区域中识别手势和人体轮廓，将识别出来的变化区域与预存模板库进行匹配，并根据匹配结果识别要执行的操作指令，其能够依据人体轮廓控制飞远的无人机，相对于现有技术手段中的手势识别，由于人体轮廓较大，因此在距离较远时具有更好的识别效果，同时人体轮廓特点更为清晰，其在操控者与无人机距离较远的情况下也能够控制到无人机。本发明所提供的无人机控制方案新颖，准确，可靠，实时，能够将飞行较远的无人机控制在可控范围，从而提升用户体验。

第三方面，本发明实施例还提供了一种多功能控制设备，包括：

显示器，用于显示程序执行的结果；

一个或多个处理器，用于执行所述存储器中存储的程序；

本发明所述的多功能控制设备是指具有一定图像处理能力的控制设备，如图19所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该控制设备可以为电脑、智能手表、智能手环，手机、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、平板电脑等，以电脑为例进行说明：

图19示出的是与本发明实施例提供的电脑的部分结构的框图。参考图19，电脑包括：存储器702、通信接口703、一个或多个处理器704、一个或多个应用程序705、以及电源706、WiFi发送与接收模块707等部件。本领域技术人员可以理解，图19中示出的电脑结构并不构成对电脑的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图19对电脑的各个构成部件进行具体的介绍：

显示器701既可以是只包含显示器的器件，可为触摸屏和显示屏合二为一的整体，触摸屏和显示屏各占一层，本发明不限制所采用的显示器类型；以触摸屏和显示屏合二为一的整体为例，触摸屏包括触摸面板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器704，并能接收处理器704发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板。除了触控面板，显示屏可用于显示由用户输入的信息或提供给用户的信息以及智能手表1002的各种菜单。显示屏包括显示面板，可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-EmittingDiode,OLED)等形式来配置显示面板。进一步的，触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器704以确定触摸事件的类型，随后处理器704根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图19中，触控面板与显示面板是作为两个独立的部件来实现智能手表1002的输入和输入功能，但是在某些实施例中，可以将触控面板与显示面板集成而实现电脑的输入和输出功能。

存储器702可用于存储软件程序以及模块，处理器704通过运行存储在存储器702的软件程序以及模块，从而执行电脑的各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序705(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据智能手表1002的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器702可以包括高速随机存取存储区702，还可以包括非易失性存储区702，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

通信接口703，用于上述空间结构检测装置与其他设备或通信网络通信。通信接口703是处理器704与其他设备进行通信的接口，用于处理器704与其他设备之间信息的传输，同时通信接口也是处理器与云端服务器1000进行通信的主要媒介。

处理器704是电脑的控制中心，利用各种通信接口703和线路连接整个电脑的各个部分，通过运行或执行存储在存储区702内的软件程序和/或模块，以及调用存储在存储区702内的数据，执行电脑的各种功能和处理数据，从而对电脑进行整体监控。可选的，处理器704可包括一个或多个处理单元；优选的，处理器704可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序705等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器704中。

一个或多个应用程序705，优选地，这些应用程序705都被存储在所述存储区702中并被配置为由所述一个或多个处理器704执行，所述一个或多个应用程序705被配置为用于执行所述空间结构检测方法的任何实施例。

电脑还包括给各个部件供电的电源706(比如电池)，优选的，电源706可以通过电源管理系统与处理器704逻辑相连，从而通过电源706管理系统实现管理充电、放电、以及功耗管理等功能。

WiFi属于短距离无线传输技术，电脑通过WiFi模块707可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。

尽管未示出，电脑还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本发明实施例中，该多功能控制设备所包括的处理器704还具有以下功能：

执行对应于所述变化区域的操作指令。

本发明实施例中还提供了一种计算机存储介质，用于储存为上述无人机自主避障装置所用的计算机软件指令，其包含用于执行上述第二方面为无人机自主避障装置所设计的程序。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上对本发明所提供的一种多功能控制设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种无人机的控制方法，其特征在于，包括如下步骤：

执行对应于所述变化区域的操作指令。

2.根据权利要求1所述的控制方法，其特征在于，所述提取该动态图像所含的每一帧图像中的多个变化区域具体包括如下步骤：

建立静态背景模型以确定背景帧；

3.根据权利要求2所述的控制方法，其特征在于，所述提取该动态图像所含的每一帧图像中的多个变化区域还包括后序步骤：

利用亮度高斯模型算法在所述变化区域中分割出肤色区域；

4.根据权利要求1所述的控制方法，其特征在于，包括：

所述手势控制操作指令为控制本机的飞行动作，所述飞行动作包括翻转、直行、转弯、悬停中的任意一项。

5.根据权利要求1所述的控制方法，其特征在于，包括：

所述人体控制操作指令为控制本机寻找手势动作，所述寻找手势动作具体包括如下步骤，

识别所述变化区域为人体轮廓；

以所述人体轮廓为终点返航飞行；

捕捉人脸，进行人脸识别；

当识别人脸为预设操作者时，循环捕捉手势。

6.一种无人机的控制装置，其特征在于，包括：

执行模块，用于执行对应于所述变化区域的操作指令。

7.根据权利要求6所述的控制装置，其特征在于，所述获取模块具体包括如下子模块：

背景确立子模块，用于建立静态背景模型以确定背景帧；

8.根据权利要求7所述的控制装置，其特征在于，所述获取模块还包括如下子模块：

9.根据权利要求6所述的控制装置，其特征在于，包括：

10.一种多功能控制设备，其特征在于，包括：

显示器，用于显示程序执行的结果；

一个或多个处理器，用于执行所述存储器中存储的程序；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为用于执行根据权利要求1至5所述的任何方法。