CN106774947A - 一种飞行器及其控制方法 - Google Patents

Abstract

本发明公开了一种飞行器及其控制方法，该方法包括步骤：通过双目摄像头采集图像；对双目摄像头采集的图像进行深度处理，获取到深度图像；根据深度图像和双目摄像头的参数，控制飞行器与人的安全距离；识别深度图像中人的手势，根据识别出的人的手势获取飞行器的控制指令；在安全距离内根据飞行器的控制指令，对飞行器进行控制。本发明公开的飞行器及其控制方法，可通过人的手势对飞行器进行控制，方便了用户的使用，降低了用户的购置成本，还可增加飞行器的操控乐趣，增强人与飞行器的互动。

Description

一种飞行器及其控制方法

技术领域

本发明涉及飞行器技术领域，尤其涉及一种飞行器及其控制方法。

背景技术

由于无人机飞行器具有可操控性好，低成本，使用方便等优点，因此，无人机飞行器已经被应用于许多行业，如在航拍、农业植保、测绘等多个领域已经得到广泛应用。

在实现本发明的过程中，发明人发现现有技术存在以下问题：现有的无人机都是通过遥控装置或者移动装置，例如：手机，对其进行控制。优点是能够对无人机实现精准、实时控制，可靠性较高；缺点是增加额外成本且不利于携带，存在操作复杂，上手难度大的问题，而且对新手有一定的要求。

发明内容

本发明的主要目的在于提出一种飞行器及其控制方法，旨在解决现有技术存在的问题。

为实现上述目的，本发明实施例第一方面提供一种飞行器的控制方法，所述方法包括步骤：

通过双目摄像头采集图像；

对所述双目摄像头采集的图像进行深度处理，获取到深度图像；

根据所述深度图像和所述双目摄像头的参数，控制所述飞行器与人的安全距离；

识别所述深度图像中人的手势，根据识别出的人的手势获取所述飞行器的控制指令；

在所述安全距离内根据所述飞行器的控制指令，对所述飞行器进行控制。

进一步地，所述识别所述深度图像中人的手势，根据识别出的人的手势获取所述飞行器的控制指令包括：

对所述深度图像进行分割处理，获取到人手图像；

对所述人手图像采用模板匹配或者级联分类器进行手势类别识别；

根据识别的手势类别，获取所述飞行器的控制指令。

进一步地，所述手势类别包括静态手势和动态手势。

进一步地，所述飞行器的控制指令包括飞行器六个自由度的控制、飞行器启停降落控制以及特定功能的控制。

进一步地，所述特定功能的控制包括摄像头照相功能的控制、摄像头录像功能的控制。

进一步地，所述识别所述深度图像中人的手势，根据识别出的人的手势获取所述飞行器的控制指令之前还包括步骤：

对所述双目摄像头采集的图像进行融合处理，获取到融合图像；

对所述融合图像中的人脸进行识别和跟踪，确定融合图像中的人脸位置；

在所述安全距离内根据融合图像中的人脸位置，调整飞行器或者云台角度确保人脸位置位于融合图像中心区域。

此外，为实现上述目的，本发明实施例第二方面提供一种飞行器，所述飞行器包括双目摄像头、深度图像处理模块、安全距离处理模块、手势识别模块以及控制模块；

所述双目摄像头，用于采集图像；

所述深度图像处理模块，用于对所述双目摄像头采集的图像进行深度处理，获取到深度图像；

所述安全距离处理模块，用于根据所述深度图像和所述双目摄像头的参数，控制所述飞行器与人的安全距离；

所述手势识别模块，用于识别所述深度图像中人的手势，根据识别出的人的手势获取所述飞行器的控制指令；

所述控制模块，用于在所述安全距离内根据所述飞行器的控制指令，对所述飞行器进行控制。

进一步地，所述手势识别模块包括分割处理模块、手势类别识别模块以及获取模块；

所述分割处理模块，用于对所述深度图像进行分割处理，获取到人手图像；

所述手势类别识别模块，用于对所述人手图像采用模板匹配或者级联分类器进行手势类别识别；

所述获取模块，用于根据识别的手势类别，获取所述飞行器的控制指令。

进一步地，所述手势类别包括静态手势和动态手势。

进一步地，所述飞行器的控制指令包括飞行器六个自由度的控制、飞行器启停降落控制以及特定功能的控制。

进一步地，所述特定功能的控制包括摄像头照相功能的控制、摄像头录像功能的控制。

进一步地，所述飞行器还包括图像融合处理模块、人脸识别跟踪模块以及人脸位置处理模块；

所述图像融合处理模块，用于对所述双目摄像头采集的图像进行融合处理，获取到融合图像；

所述人脸识别跟踪模块，用于对所述融合图像中的人脸进行识别和跟踪，确定融合图像中的人脸位置；

所述人脸位置处理模块，用于在所述安全距离内根据融合图像中的人脸位置，调整飞行器或者云台角度确保人脸位置位于融合图像中心区域。

本发明实施例提供的飞行器及其控制方法，通过对双目摄像头采集的图像进行深度处理后，识别深度图像中人的手势，根据识别出的人的手势获取飞行器的控制指令，并在安全距离内根据飞行器的控制指令，对飞行器进行控制。从而通过人的手势对飞行器进行控制，方便了用户的使用，降低了用户的购置成本，还可增加飞行器的操控乐趣，增强人与飞行器的互动。

附图说明

图1为本发明实施例的飞行器控制方法流程示意图；

图2为本发明实施例的飞行器控制方法的手势识别流程示意图；

图3为本发明实施例的飞行器控制方法另一流程示意图；

图4为本发明实施例的飞行器结构示意图；

图5为本发明实施例的飞行器的手势识别模块结构示意图；

图6为本发明实施例的飞行器另一结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。

如图1所示，本发明第一实施例提出一种飞行器的控制方法，该方法包括步骤：

10、通过双目摄像头采集图像。

本发明实施例中，飞行器设置有两个摄像头，组成一组双目摄像头。两个摄像头可以左右并排设置，也可以上下并列设置。当然，也可以交错设置，即两个摄像头不在同一条水平线或垂直线上。两个摄像头之间间隔一定距离，理论上间隔距离越大越好。

本步骤中，通过双目摄像头同时(同步)采集图像，采集的图像可以是照片或者视频流。

11、对双目摄像头采集的图像进行深度处理，获取到深度图像。

具体的，当双目摄像头左右并排设置时，将两个摄像头采集的两个图像左右并排拼接在一起。在一种实施方式中，可将左边摄像头采集的图像拼接在左边，将右边摄像头采集的图像拼接在右边，最终获得一个左右格式的立体图像；当双目摄像头上下并列设置时，将两个摄像头采集的两个图像上下并列拼接在一起，在一种实施方式中，可将上边摄像头采集的图像拼接在上边，将下边摄像头采集的图像拼接在下边，最终获得一个上下格式的立体图像。

进一步地，在进行图像拼接之前，飞行器先对原始图像进行分辨率降低处理，然后对降低了分辨率的图像进行拼接处理，以减小最终的立体图像尺寸，避免后续传输时消耗太多的带宽资源，从而提高传输速度，提高图像传输的实时性。

以采集的图像为视频流为例，飞行器首先将两个摄像头采集的两个视频流分别采样为两个预设分辨率的视频流，然后将两个预设分辨率的视频流拼接为一个立体视频流，其中，预设分辨率低于原始分辨率。例如，飞行器的两个摄像头各自拍摄4K分辨率的视频流，飞行器首先将两个4K分辨率的视频流采样成为两个720P格式的的视频流，然后将两个720P格式的视频流左右(或上下)拼接成为一个分辨率为2560*720的左右格式(或上下格式)的立体视频流。

此外，飞行器还可以将两个摄像头拍摄的原始图像保存于本地的存储空间内。进一步地，在保存前，还对原始图像进行压缩处理，以节省存储空间，如将视频流压缩为H.265格式的视频文件。

12、根据深度图像和双目摄像头的参数，控制飞行器与人的安全距离。

在本实施例中，为了保证飞行器与人的安全距离，根据深度图像和双目摄像头的参数，控制飞行器与人的安全距离。参数可包括焦距，精度，畸变系数等等。

13、识别深度图像中人的手势，根据识别出的人的手势获取飞行器的控制指令。

请参考图2所示，在本实施例中，该步骤可包括：

131、对深度图像进行分割处理，获取到人手图像。

132、对人手图像采用模板匹配或者级联分类器进行手势类别识别。

133、根据识别的手势类别，获取飞行器的控制指令。

在本实施例中，手势类别包括静态手势和动态手势。

在本实施例中，飞行器的控制指令包括飞行器六个自由度的控制、飞行器启停降落控制以及特定功能的控制。特定功能的控制包括摄像头照相功能的控制、摄像头录像功能的控制。

需要说明的是，六个自由度指的是飞行器的向前、向后、向左、向右、向上及向下飞行。

作为一示例地，当识别的手势为“食指朝下”时，可对应的控制飞行器降落；当识别的手势为“Victory”时(即食指和中指)，可对应的控制飞行器的摄像头照相功能；当识别的手势为“手掌”时，可对应的控制飞行器的摄像头录像功能；当识别的手势为“拇指朝上”时，可对应的控制飞行器的摄像头停止录像功能；当识别的手势为“握拳”时，可对应的控制飞行器六个自由度飞行。

14、在安全距离内根据飞行器的控制指令，对飞行器进行控制。

请参考图3所示，进一步地，在本实施例中，步骤13之前还可包括步骤：

121、对双目摄像头采集的图像进行融合处理，获取到融合图像。

122、对融合图像中的人脸进行识别和跟踪，确定融合图像中的人脸位置。

123、在安全距离内根据融合图像中的人脸位置，调整飞行器或者云台角度确保人脸位置位于融合图像中心区域。

本发明实施例提供的飞行器控制方法，通过对双目摄像头采集的图像进行深度处理后，识别深度图像中人的手势，根据识别出的人的手势获取飞行器的控制指令，并在安全距离内根据飞行器的控制指令，对飞行器进行控制。从而通过人的手势对飞行器进行控制，方便了用户的使用，降低了用户的购置成本，还可增加飞行器的操控乐趣，增强人与飞行器的互动。

参照图4，图4为本发明第二实施例提出的一种飞行器，该飞行器包括：双目摄像头20、深度图像处理模块21、安全距离处理模块22、手势识别模块23以及控制模块24；

双目摄像头20，用于采集图像。

本发明实施例中，飞行器设置有两个摄像头，组成一组双目摄像头。两个摄像头可以左右并排设置，也可以上下并列设置。当然，也可以交错设置，即两个摄像头不在同一条水平线或垂直线上。两个摄像头之间间隔一定距离，理论上间隔距离越大越好。

通过双目摄像头同时(同步)采集图像，采集的图像可以是照片或者视频流。

深度图像处理模块21，用于对双目摄像头20采集的图像进行深度处理，获取到深度图像。

具体的，当双目摄像头左右并排设置时，将两个摄像头采集的两个图像左右并排拼接在一起。在一种实施方式中，可将左边摄像头采集的图像拼接在左边，将右边摄像头采集的图像拼接在右边，最终获得一个左右格式的立体图像；当双目摄像头上下并列设置时，将两个摄像头采集的两个图像上下并列拼接在一起，在一种实施方式中，可将上边摄像头采集的图像拼接在上边，将下边摄像头采集的图像拼接在下边，最终获得一个上下格式的立体图像。

进一步地，在进行图像拼接之前，飞行器先对原始图像进行分辨率降低处理，然后对降低了分辨率的图像进行拼接处理，以减小最终的立体图像尺寸，避免后续传输时消耗太多的带宽资源，从而提高传输速度，提高图像传输的实时性。

以采集的图像为视频流为例，飞行器首先将两个摄像头采集的两个视频流分别采样为两个预设分辨率的视频流，然后将两个预设分辨率的视频流拼接为一个立体视频流，其中，预设分辨率低于原始分辨率。例如，飞行器的两个摄像头各自拍摄4K分辨率的视频流，飞行器首先将两个4K分辨率的视频流采样成为两个720P格式的的视频流，然后将两个720P格式的视频流左右(或上下)拼接成为一个分辨率为2560*720的左右格式(或上下格式)的立体视频流。

此外，飞行器还可以将两个摄像头拍摄的原始图像保存于本地的存储空间内。进一步地，在保存前，还对原始图像进行压缩处理，以节省存储空间，如将视频流压缩为H.265格式的视频文件。

安全距离处理模块22，用于根据深度图像和双目摄像头的参数，控制飞行器与人的安全距离。

在本实施例中，为了保证飞行器与人的安全距离，根据深度图像和双目摄像头的参数，控制飞行器与人的安全距离。参数可包括焦距，精度，畸变系数等等。

手势识别模块23，用于识别深度图像中人的手势，根据识别出的人的手势获取飞行器的控制指令。

请参考图5所示，在本实施例中，手势识别模块23可包括分割处理模块231、手势类别识别模块232以及获取模块233；

分割处理模块231，用于对深度图像进行分割处理，获取到人手图像。

手势类别识别模块232，用于对人手图像采用模板匹配或者级联分类器进行手势类别识别。

获取模块233，用于根据识别的手势类别，获取飞行器的控制指令。

在本实施例中，手势类别包括静态手势和动态手势。

在本实施例中，飞行器的控制指令包括飞行器六个自由度的控制、飞行器启停降落控制以及特定功能的控制。特定功能的控制包括摄像头照相功能的控制、摄像头录像功能的控制。

需要说明的是，六个自由度指的是飞行器的向前、向后、向左、向右、向上及向下飞行。

作为一示例地，当识别的手势为“食指朝下”时，可对应的控制飞行器降落；当识别的手势为“Victory”时(即食指和中指)，可对应的控制飞行器的摄像头照相功能；当识别的手势为“手掌”时，可对应的控制飞行器的摄像头录像功能；当识别的手势为“拇指朝上”时，可对应的控制飞行器的摄像头停止录像功能；当识别的手势为“握拳”时，可对应的控制飞行器六个自由度飞行。

控制模块24，用于在安全距离内根据飞行器的控制指令，对飞行器进行控制。

请参考图6所示，进一步地，在本实施例中，飞行器还包括图像融合处理模块221、人脸识别跟踪模块222以及人脸位置处理模块223；

图像融合处理模块221，用于对双目摄像头采集的图像进行融合处理，获取到融合图像；

人脸识别跟踪模块222，用于对融合图像中的人脸进行识别和跟踪，确定融合图像中的人脸位置；

人脸位置处理模块223，用于在安全距离内根据融合图像中的人脸位置，调整飞行器或者云台角度确保人脸位置位于融合图像中心区域。

本发明实施例提供的飞行器，通过对双目摄像头采集的图像进行深度处理后，识别深度图像中人的手势，根据识别出的人的手势获取飞行器的控制指令，并在安全距离内根据飞行器的控制指令，对飞行器进行控制。从而通过人的手势对飞行器进行控制，方便了用户的使用，降低了用户的购置成本，还可增加飞行器的操控乐趣，增强人与飞行器的互动。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种飞行器的控制方法，其特征在于，所述方法包括步骤：

通过双目摄像头采集图像；

对所述双目摄像头采集的图像进行深度处理，获取到深度图像；

根据所述深度图像和所述双目摄像头的参数，控制所述飞行器与人的安全距离；

识别所述深度图像中人的手势，根据识别出的人的手势获取所述飞行器的控制指令；

在所述安全距离内根据所述飞行器的控制指令，对所述飞行器进行控制。

2.根据权利要求1所述的一种飞行器的控制方法，其特征在于，所述识别所述深度图像中人的手势，根据识别出的人的手势获取所述飞行器的控制指令包括：

对所述深度图像进行分割处理，获取到人手图像；

对所述人手图像采用模板匹配或者级联分类器进行手势类别识别；

根据识别的手势类别，获取所述飞行器的控制指令。

3.根据权利要求2所述的一种飞行器的控制方法，其特征在于，所述手势类别包括静态手势和动态手势。

4.根据权利要求1-3任一所述的一种飞行器的控制方法，其特征在于，所述飞行器的控制指令包括飞行器六个自由度的控制、飞行器启停降落控制以及特定功能的控制。

5.根据权利要求4所述的一种飞行器的控制方法，其特征在于，所述特定功能的控制包括摄像头照相功能的控制、摄像头录像功能的控制。

6.根据权利要求5所述的一种飞行器的控制方法，其特征在于，所述识别所述深度图像中人的手势，根据识别出的人的手势获取所述飞行器的控制指令之前还包括步骤：

对所述双目摄像头采集的图像进行融合处理，获取到融合图像；

对所述融合图像中的人脸进行识别和跟踪，确定融合图像中的人脸位置；

在所述安全距离内根据融合图像中的人脸位置，调整飞行器或者云台角度确保人脸位置位于融合图像中心区域。

7.一种飞行器，其特征在于，所述飞行器包括双目摄像头、深度图像处理模块、安全距离处理模块、手势识别模块以及控制模块；

所述双目摄像头，用于采集图像；

所述深度图像处理模块，用于对所述双目摄像头采集的图像进行深度处理，获取到深度图像；

所述安全距离处理模块，用于根据所述深度图像和所述双目摄像头的参数，控制所述飞行器与人的安全距离；

所述手势识别模块，用于识别所述深度图像中人的手势，根据识别出的人的手势获取所述飞行器的控制指令；

所述控制模块，用于在所述安全距离内根据所述飞行器的控制指令，对所述飞行器进行控制。

8.根据权利要求7所述的一种飞行器，其特征在于，所述手势识别模块包括分割处理模块、手势类别识别模块以及获取模块；

所述分割处理模块，用于对所述深度图像进行分割处理，获取到人手图像；

所述手势类别识别模块，用于对所述人手图像采用模板匹配或者级联分类器进行手势类别识别；

所述获取模块，用于根据识别的手势类别，获取所述飞行器的控制指令。

9.根据权利要求8所述的一种飞行器，其特征在于，所述手势类别包括静态手势和动态手势。

10.根据权利要求7-9任一所述的一种飞行器，其特征在于，所述飞行器的控制指令包括飞行器六个自由度的控制、飞行器启停降落控制以及特定功能的控制。

11.根据权利要求10所述的一种飞行器，其特征在于，所述特定功能的控制包括摄像头照相功能的控制、摄像头录像功能的控制。

12.根据权利要求11所述的一种飞行器，其特征在于，所述飞行器还包括图像融合处理模块、人脸识别跟踪模块以及人脸位置处理模块；

所述图像融合处理模块，用于对所述双目摄像头采集的图像进行融合处理，获取到融合图像；

所述人脸识别跟踪模块，用于对所述融合图像中的人脸进行识别和跟踪，确定融合图像中的人脸位置；

所述人脸位置处理模块，用于在所述安全距离内根据融合图像中的人脸位置，调整飞行器或者云台角度确保人脸位置位于融合图像中心区域。