CN108700885B - 一种飞行控制方法、遥控装置、遥控系统 - Google Patents

Abstract

本发明实施例提供了一种飞行控制方法、遥控装置、遥控系统，其中方法包括：检测目标对象上的特征位置区域在空间中的移动轨迹，并基于所述移动轨迹确定悬浮控制动作；根据所述悬浮控制动作生成控制指令；通过无线链路将所述控制指令发送至飞行器，以控制所述飞行器飞行，可以丰富对飞行器的控制方式，提高遥控装置的智能性。

Description

一种飞行控制方法、遥控装置、遥控系统

技术领域

本发明涉及电子技术领域，尤其涉及一种飞行控制方法、遥控装置、遥控系统。

背景技术

随着电子技术的不断发展，飞行器(例如无人机、遥控飞行器、航拍飞行器等)也逐渐普及。人们可以通过无人机携带摄像机、喷洒装置等，来实现航拍、喷洒等任务。

在操纵飞行器时，常常需要操作者双手操纵遥控装置，实现对飞行器的控制。以无人机为例，操作者可以通过双手控制遥控装置上的摇杆，根据需要通过上下左右的摇动摇杆，来实现对无人机的控制，根据摇杆的摇动方向和摇动幅度生成控制指令来控制飞行器飞行。

如何便捷地控制飞行器成为研究的热点。

发明内容

本发明实施例公开了一种飞行控制方法、遥控装置、遥控系统，可丰富对飞行器的控制。

第一方面，本发明实施例公开了一种飞行控制方法，应用于遥控装置，所述遥控装置用于远程控制飞行器飞行，所述方法包括：

检测目标对象上的特征位置区域在空间中的移动轨迹，并基于所述移动轨迹确定悬浮控制动作；

根据所述悬浮控制动作生成控制指令；

通过无线链路将所述控制指令发送至飞行器，以控制所述飞行器飞行。

第二方面，本发明实施例公开了一种遥控装置，所述遥控装置用于远程控制飞行器飞行，包括：存储器和处理器；

所述存储器，用于存储程序指令；

所述处理器，用于执行所述存储器存储的程序指令，当程序指令被执行时，所述处理器用于：

检测目标对象上的特征位置区域在空间中的移动轨迹，并基于所述移动轨迹确定悬浮控制动作；

根据所述悬浮控制动作生成控制指令；

通过无线链路将所述控制指令发送至飞行器，以控制所述飞行器飞行。

第三方面，本发明实施例公开了一种遥控系统，包括：

至少一个摄像装置和/或至少一个传感器，所述摄像装置包括红绿蓝摄像装置；

飞行器；

如第二方面所述的遥控装置。

本发明实施例中，遥控装置可以通过检测目标对象上的特征位置区域在空间中的移动轨迹，并确定出悬浮控制动作，根据该悬浮控制动作生成控制指令，最后通过无线链路将该控制指令发送至飞行器，控制飞行器飞行，可以在操作者不接触遥控装置的情况下，也能精准控制飞行器飞行，丰富了对飞行器的控制方式，提高了遥控装置的智能性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种用于飞行控制的情景示意图；

图2是本发明实施例提供的另一种用于飞行控制的情景示意图；

图3是本发明实施例提供的一种飞行控制方法的流程示意图；

图4是本发明实施例提供的另一种飞行控制方法的流程示意图；

图5是本发明实施例提供的一种遥控装置的结构示意图；

图6是本发明实施例提供的一种遥控系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

无人机具有十分广泛的用途，目前在航拍、农业、快递运输、灾难救援、测绘、新闻报道、电力巡检、救灾等众多领域都得到了很好的应用，使得无人机技术成为了一项热门的新兴技术。而在无人机技术中，实现对无人机的精准控制是一个重要的研究方向。

对无人机进行控制通常采用以下两种方式。第一种方式是需要操作者双手操纵摇杆等遥控装置，来实现对无人机较为精准的控制。

然而，上述方式需要人为接触遥控装置，遥控装置才能识别出操作者的操作，对飞行器的控制方式较为局限。

第二种方式是操作者对着飞行器进行挥手的动作，然后飞行器利用在该飞行器上设置的摄像装置(例如摄像头、近距离双目立体模块等)采集手掌的深度信息，通过深度信息来识别操作者的挥手动作，然后控制该飞行器按照该挥手动作代表的飞行指令进行飞行。

上述第二种方式无需遥控装置便可控制飞行器飞行，然而，仅仅只能通过操作者挥手的动作才能进行控制，控制方式比较单一，并且，需要操作者的手距离飞行器非常近且在同一水平面内，飞行器才能摄取到该挥手的动作，不能远程控制飞行器飞行。

因此，如何既能远程控制遥控装置飞行，又能打破人为接触遥控装置的局限，提高遥控装置的智能性成为了一个亟待解决的问题。

为了解决上述技术问题，本发明提供了一种飞行控制方法、遥控装置、遥控系统。

为了更清楚的描述，下面请参阅图1和图2，为本发明实施例提供的用于飞行控制的情景示意图。在图1和图2中，手为目标对象，指关节点为该目标对象的特征位置区域，但应知，在本发明实施例中，手和该指关节点仅为对目标对象和该目标对象的特征位置区域的一个示例，在其他实施例中，该目标对象和该目标对象的特征位置区域还可以是其它物体，本发明实施例对此不作任何限制。

还需要说明的是，101-106的执行主体为遥控装置，该遥控装置可以用于远程控制飞行器飞行。具体的，该遥控装置可以是可穿戴设备、增强现实设备等等。其中，该可穿戴设备，例如可以是智能手表、智能手环、智能眼镜等，该增强现实设备，例如可以是头戴式显示器等等。在图2中，该遥控装置以智能手表为例，但应知，在其他实施例中，该遥控装置可以为上述任意一种遥控装置。

下面结合图1和图2对本发明实施例进行具体说明。

在101中，该遥控装置可以通过设置在该遥控装置上的深度信息采集装置(例如双目立体视觉模块、3D飞行时间(Time of Flight，ToF)模块、深度传感器等)，获取探测区域的深度信息。

在一个实施例中，如图2所示，遥控装置的表盘上方，两条虚线之间的区域可以为该探测区域，遥控装置可以获取该探测区域内的深度信息。

在一个实施例中，该深度信息可以根据当前帧的深度图确定。

在102中，该遥控装置可以通过该深度信息检测在该探测区域内是否存在手(即目标对象)，如果存在，就可以对手进行粗略定位，具体的，可以是对手掌进行粗略定位。

在一个实施例中，如图2所示，遥控装置可以以当前表盘的表面为参考坐标系，将该当前帧的深度信息投影到该参考坐标系上生成点云图像，然后在该点云图像上检测是否存在该手掌，如果存在，就对该手掌进行粗略定位，并执行103-106步骤。

在一个实施例中，如果没有检测到该手掌，那么该遥控装置可以进入休眠模式。该遥控装置可以将检测手掌的频率从第一频率调为第二频率(第二频率小于第一频率)。如果该遥控装置接收到唤醒指令(例如摇晃该遥控装置等)，便可以解除休眠模式，并将该第二频率调回第一频率。

在103中，该遥控装置如果检测到手掌，可以在对该手掌进行粗略定位之后，再对指关节点进行精确定位。如图2所示，手指尖上的黑色圆点可以用于表示该目标对象的特征位置区域(即指关节点)，该遥控装置可以对该指关节点进行精确定位。

在一个实施例中，该遥控装置可以提取点云图像中的感兴趣区域(region ofinterest，ROI)，在ROI范围内根据点云图像提供的点云数据进行手掌拟合，从而对各个指关节点进行精确定位。

在104中，该遥控装置可根据该指关节点的位置移动进行移动轨迹拟合。

在一个实施例中，该遥控装置还可以根据预设的滤波函数和遥控装置的姿态信息，去除遥控装置自身的抖动造成的移动轨迹的位置偏差，以实现平滑滤波处理，并得到指关节点的该移动轨迹。

在105中，该遥控装置可以根据该移动轨迹确定出悬浮控制动作，并生成对应的控制指令。例如，遥控装置拟合出水平向右的移动轨迹，那么该悬浮控制动作就是控制该飞行器水平向右飞行的动作，该控制指令就是控制该飞行器水平向右飞行的指令。

在106中，该遥控装置可以将该控制指令通过无线链路(例如蜂窝移动数据网、蓝牙、红外等)发送至无人机，以使该无人机按照该控制指令的指示飞行。

可知，操作者可以在不接触遥控装置的情况下，实现控制飞行器飞行，既打破了人为接触遥控装置的局限，又实现了对飞行器的精准控制，且遥控装置的形式不局限于传统的摇杆，还可以是可穿戴设备、增强现实设备等，丰富了对飞行器的控制方式，提高了遥控装置的智能性。

为了更清楚的描述，下面描述本发明实施例中所描述的飞行控制方法。请参阅图3，为本发明实施例提供的一种飞行控制方法的流程示意图，图3所示的方法可包括：

S301、检测目标对象上的特征位置区域在空间中的移动轨迹，并基于所述移动轨迹确定悬浮控制动作。

需要说明的是，本发明实施例的执行主体可以是遥控装置，该遥控装置用于远程控制飞行器飞行。

在一个实施例中，所述遥控装置为可穿戴设备或增强现实设备。

在一个实施例中，所述可穿戴设备为智能手表、智能眼镜、智能手环中的任意一种或多种；所述增强现实设备为头戴式显示器。

在一个实施例中，该遥控装置检测目标对象上的特征位置区域在空间中的移动轨迹，具体包括：获取探测区域的图像特征信息；从所述探测区域的图像特征信息中确定所述目标对象上的特征位置区域在空间中的移动轨迹。

需要说明的是，该探测区域可以是遥控装置上的深度信息采集装置可以探测到的区域。

还需要说明的是，该图像特征信息可以用于表示该探测区域范围内的场景图像中的特征信息。

在一个实施例中，如图2所示，该遥控装置可以是智能手表，该探测区域可以是该智能手表的表盘上方，两条虚线之间的区域，该遥控装置可以采集到该探测区域内的图像特征信息。

在一些可行的实施方式中，该遥控装置可以实时的采集图像，并获取该图像中的图像特征信息，或者按照预设时间来获取该图像中的图像特征信息，其中，每一帧图像提供的图像特征信息可以对应着一个时间，例如12点30分10秒拍摄到的图像提供的图像特征信息，对应的时间就可以为12点30分10秒，当前时间就可以对应着当前帧图像提供的图像特征信息。

其中，该图像特征信息可以是当前帧图像中的图像特征信息，也可以是连续多帧图像中的图像特征信息等等，本发明实施例对此不作任何限制。

在一个实施例中，该遥控装置可以获取探测区域的当前帧图像，并提取该当前帧图像中的图像特征信息，并根据该图像特征信息检测目标对象上的特征位置区域在空间中的移动轨迹。

在一个实施例中，该遥控装置从所述探测区域的图像特征信息中确定所述目标对象上的特征位置区域在空间中的移动轨迹之前，还包括：检测所述探测区域中是否存在所述目标对象；如果存在目标对象，则将获取所述探测区域的图像特征信息时的获取频率调整至第一频率。

在一个实施例中，所述目标对象为手，所述目标对象上的特征位置区域为手上的指关节点。

在一个实施例中，该目标对象还可以是其他生物特征部位，例如眼睛、嘴巴、头部等等，该目标对象上的特征区域还可以是眼睛的瞳孔，嘴巴的唇峰、头部的头发等等，本发明对此不作任何限制。

在一些可行的实施方式中，该遥控装置可以在提取该当前帧图像中的图像特征信息之后，根据该图像特征信息确定是否存在该目标对象，如果存在，则将获取所述探测区域的图像特征信息时的获取频率调整至第一频率。

需要说明的是，该第一频率例如可以是50Hz，100Hz等较高的获取频率。也就是说，如果该遥控装置检测到该目标对象时，那么该遥控装置此时的获取频率可以为第一频率，可以便于对该目标对象的移动轨迹进行拟合。

在一个实施例中，如果不存在所述目标对象，则将获取所述探测区域的图像特征信息时的获取频率调整至第二频率。

需要说明的是，该第二频率例如可以是5Hz，10Hz等较低的获取频率。也就是说，如果该遥控装置检测到不存在该目标对象时，该遥控装置此时的获取频率可以为第二频率，可以降低该遥控装置的功耗，提高遥控装置的使用时间。

在一个实施例中，在所述第二频率下，所述遥控装置处于休眠模式，所述方法还包括：若接收到唤醒指令，则将获取所述探测区域的图像特征信息时的获取频率从所述第二频率调整至所述第一频率；其中，所述第一频率高于所述第二频率。

还需要说明的是，该唤醒指令例如可以是通过惯性测量单元识别晃动手腕的操作指令。或者在该遥控装置为智能手环、智能手表时，通过识别到抬手的动作且表盘正面朝上，便可以确定接收到唤醒指令。

在一些可行的实施方式中，该遥控装置若接收到唤醒指令，则可以确定需要进入工作模式(即检测目标对象的模式)，该工作模式对应的获取频率可以为第一频率，该遥控装置便可以将获取频率从第二频率调整至第一频率。

在一个实施例中，所述从所述探测区域的图像特征信息中确定所述目标对象上的特征位置区域在空间中的移动轨迹，包括：根据探测区域的图像特征信息确定目标对象上的特征位置区域；根据所述探测区域的至少两帧图像特征信息确定出所述特征位置区域在空间中的移动轨迹。

需要说明的是，该探测区域的至少两帧图像提供的图像特征信息，可以是前后连续两帧图像提供的图像特征信息。在一个实施例中，该遥控装置通过当前帧图像提供的图像特征信息确定了该目标对象上的特征位置区域，便可以根据该当前帧图像提供的图像特征信息和该当前帧图像特征信息的下一帧图像提供的图像特征信息确定出该特征位置区域在空间中的移动轨迹。

还需要说明的是，该移动轨迹可以是指该特征位置区域在空间中的位置变化轨迹。

在一个实施例中，所述探测区域的图像特征信息为所述探测区域的深度信息。

在一些可行的实施方式中，该遥控装置可以首先获取该探测区域内的深度图像，然后从该深度图像中确定出深度信息，并根据该深度信息所指示的深度变化情况、目标对象的轮廓移动的方向、大小等参数，确定出该目标对象上的特征位置区域在空间中的移动轨迹。

其中，该遥控装置例如可以通过双目立体视觉模块，3D TOF模块、深度传感器等来获取该探测区域中的图像特征信息，并进一步检测该探测区域中是否存在该目标对象。

在一个实施例中，所述根据探测区域的深度信息确定目标对象上的特征位置区域，包括：根据所述探测区域的深度信息在参考坐标系进行投影处理，并生成在所述参考坐标系上的点云图像，所述参考坐标系是根据所述遥控装置确定的；根据所述点云图像确定目标对象的轮廓信息；根据所述目标对象的轮廓信息确定出特征位置区域的位置信息，以确定出所述目标对象上的特征位置区域。

需要说明的是，该参考坐标系可以是以该遥控装置为中心建立的坐标系。举例来说，可以取该遥控装置的表面的中心点或者其他点作为该参考坐标系的原点，然后以该遥控装置的表面(例如智能手表的表盘)建立该参考坐标系的横轴和纵轴。

还需要说明的是，深度信息可以是根据从深度信息采集装置到探测区域中各点的距离(深度)值作为像素值的图像中确定。

还需要说明的是，当光束照射到目标对象的表面时，所反射的光会携带目标对象的方位、距离等信息，如果将光束按照预设的轨迹进行扫描，便会边扫描边记录到反射的信息，当扫描十分精细时，便能够得到大量的光点，因而就可形成点云图像。也就是说，点云图像可以表示出目标对象的方位、距离等信息。

在一些可行的实施方式中，该遥控装置可以首先确定出该探测区域的深度图表示的深度信息，然后将该深度信息投影到参考坐标系中，并在该参考坐标系中生成点云图像，该点云图像可以表示出目标对象的方位、距离等信息，根据方位、距离等信息可以确定出目标对象的轮廓信息，轮廓中点云数据密集的位置，可以认为是该目标对象上的特征位置区域。

在一个实施例中，所述根据所述目标对象的轮廓信息确定出特征位置区域的位置信息，包括：根据所述目标对象的轮廓信息确定出特征位置区域的初始位置信息；根据预设的滤波函数和遥控装置的姿态信息，对所述初始位置信息进行平滑滤波处理，得到所述特征位置区域的位置信息。

需要说明的是，该特征位置区域的位置信息可以用于表示特征位置区域自身的位置变化。

还需要说明的是，该特征位置区域的初始位置信息，可以包括由于遥控装置本身的移动而造成的特征位置区域的位置移动的信息。

在一些可行的实施方式中，该遥控装置可以通过预设的滤波函数，并结合惯性测量单元测得的该遥控装置的姿态信息，去除由于该遥控装置本身的移动而造成的特征位置区域的位置移动，得到该特征位置区域的位置信息。

在一个实施例中，所述检测目标对象上的特征位置区域在空间中的移动轨迹，包括：通过设置在特征位置区域上的传感器获取所述目标对象上的特征位置区域的移动感测数据；根据所述移动感测数据得到所述目标对象上的特征位置区域在空间中的移动轨迹。

还需要说明的是，该特征位置区域上可以预先设置传感器，该传感器例如可以是温度传感器、红外传感器等等，本发明实施例对此不作限制。

还需要说明的是，该传感器可以与该遥控装置进行无线连接，该传感器将移动感测数据通过无线传输的方式发送给该遥控装置。

在一些可行的实施方式中，操作者可以戴上手套，该手套的指关节点处设置有该传感器，操作者可以发出一些控制动作，该传感器将这些控制动作转换成移动感测数据发送给该遥控装置，该遥控装置便可以根据该移动感测数据进行数据拟合，得到操作者的指关节点在空间中的移动轨迹。

在一个实施例中，所述探测区域的图像特征信息为所述探测区域的颜色信息或者红外信息。

需要说明的是，该颜色信息例如可以是在探测区域内所摄取到的图像中的颜色信息，例如，该图像为摄像装置摄取到的RGB(Red Green Blue，红绿蓝)图像。该红外信息例如可以是红外摄像装置摄取到的图像所表示的信息。

在一些可行的实施方式中，可以基于深度学习从所述探测区域的图像特征信息中确定所述目标对象上的特征位置区域。在对目标对象上的特征位置区域进行定位之后，可以根据目标对象上的特征位置区域的位置变化情况，得到目标对象上的特征位置区域在空间中的移动轨迹。

还需要说明的是，在该遥控装置确定了该目标对象上的特征位置区域在空间中的移动轨迹之后，可以根据该移动轨迹确定出悬浮控制动作。

其中，该悬浮控制动作可以是指操作者在未接触该遥控装置时，所触发的控制动作。例如，如图2所示的手掌(目标对象)在智能手表(遥控装置)上方的空间区域内发出的控制动作。

S302、根据所述悬浮控制动作生成控制指令。

需要说明的是，该控制指令可以用于控制该飞行器飞行。

在一些可行的实施方式中，悬浮控制动作与控制指令可以具有对应关系。具体的，该对应关系可以是方向、角度的对应。例如，悬浮控制动作是一个水平向左的动作，那么，该控制指令便可以是控制该飞行器水平向左的指令。

在一个实施例中，所述根据所述悬浮控制动作生成控制指令，包括：根据确定的轮廓信息得到悬浮控制动作的类型和所述特征位置区域的运动矢量；根据所述悬浮控制动作的类型和所述特征位置区域的运动矢量生成控制指令。

在一个实施例中，所述特征位置区域的运动矢量包括：根据至少两帧深度信息确定的所述特征位置区域的运动方向和运动幅度。

需要说明的是，该特征位置区域的运动方向可以是任意的方向，例如上、下、左、右、左上、右下、左下、右上等等，本发明实施例对此不作任何限制。

还需要说明的是，该悬浮控制动作的类型可以用于指示该悬浮控制动作的方向，例如可以是控制向上的类型、控制向下的类型、控制向左的类型、控制向右的类型等等。

在一个实施例中，该目标对象可为手掌，该目标对象的特征位置区域为指关节点，该遥控装置在对该指关节点进行定位之后，并确定出悬浮控制动作，然后，该遥控装置可以通过分类器判断该悬浮控制动作的类型，例如为控制向下的类型，并根据至少两帧深度信息提供的深度信息，计算出每个指关节点的运动矢量，该运动矢量可包括运动方向、运动幅度等参数。该遥控装置可以确定出控制指令，该控制指令可以用于控制该飞行器按照该运动矢量中的参数向下飞行。

S303、通过无线链路将所述控制指令发送至飞行器，以控制所述飞行器飞行。

需要说明的是，该无线链路例如可以是蜂窝移动数据网、无线保真(WirelessFidelity，WiFi)，红外、蓝牙等等，本发明对此不作任何限制。

在一些可行的实施方式中，该遥控装置可以通过无线链路将控制指令发送给飞行器，飞行器在接收到该控制指令之后，可以根据该控制指令的指示进行飞行。例如，控制指令指示水平向右飞行，该飞行器便可以根据该控制指令水平向右飞行。

可见，在本发明实施例中，遥控装置可以检测目标对象上的特征位置区在空间中的移动轨迹，并确定出对应的悬浮控制动作，根据该悬浮控制动作生成控制指令，最后通过无线链路将控制指令发送至飞行器，可以在操作者不接触遥控装置的情况下，实现控制飞行器飞行，既打破了人为接触遥控装置的局限，又实现了对飞行器的精准控制，丰富了对飞行器的控制方式，提高了遥控装置的智能性。

请参阅图4，是本发明实施例提供的另一种飞行控制方法的流程示意图。如图4所示的方法可包括：

S401、检测目标对象上的特征位置区域在空间中的移动轨迹。

在一个实施例中，在检测目标对象上的特征位置区域在空间中的移动轨迹之前，遥控装置可以获取探测区域的深度信息；根据所述探测区域的深度信息检测是否存在目标对象；如果存在目标对象，则执行所述检测目标对象上的特征位置区域在空间中的移动轨迹。

在一个实施例中，所述探测区域中叠加显示有虚拟影像。

需要说明的是，该虚拟影像可以是由虚拟现实设备、增强现实设备等投影产生的非现实影像。

S402、根据目标对象的位置信息，在所述探测区域中生成并显示所述虚拟影像。

在一个实施例中，该虚拟影像可以由该遥控装置叠加显示在该探测区域中。

还需要说明的是，该遥控装置可以将该虚拟影像显示在该目标对象的正下方、正上方等任意方位，本发明对此不作任何限制。

在一个实施例中，该遥控装置可以为增强现实设备a，探测区域可以为该增强现实设备a视线正前方的区域，增强现实设备a可以在该探测区域内检测到目标对象(例如为手掌)时，将该虚拟影像显示在手掌的正下方，该虚拟影像例如可以为虚拟飞机。

在一个实施例中，该虚拟影像也可以由其他设备叠加显示在该探测区域中。

在一个实施例中，该遥控装置为智能手表，操作者可以头戴增强现实设备b，该增强现实设备b可以与该智能手表建立连接，然后，该遥控装置在检测到目标对象时，该增强现实设备b可以在智能手表的探测区域投影显示出虚拟影像，例如为虚拟飞机。

S403、根据所述移动轨迹控制所述虚拟影像移动。

需要说明的是，该目标对象的特征位置区域的移动轨迹可以作为该虚拟影像的移动轨迹。

在一个实施例中，该目标对象可以是手掌，该目标对象的特征位置区域可以是指关节点，遥控装置拟合出来的移动轨迹可以是指关节点水平向右移动，那么，该虚拟影像也可以按照该移动轨迹水平向右移动。

在一个实施例中，该虚拟影像可以是一虚拟飞机，操作者可以在探测区域“捏”住该虚拟飞机，操作者的指关节点水平向右移动，虚拟飞机也可以随着操作者的指关节点水平向右移动。此时，该遥控装置还可以根据该指关节点的移动轨迹得到悬浮控制动作，并确定出对应的控制指令，将该控制指令发送至飞行器，控制飞行器按照控制指令飞行。

可见，在本发明实施例中，遥控装置可以在探测区域显示虚拟影像，并根据目标对象上的特征位置区域在空间中的移动轨迹，控制虚拟影像移动，增强了对飞行器进行远程控制时的趣味性，同时也提高了遥控装置的智能性。

本发明实施例提供一种遥控装置。请参阅图5，为本发明实施例提供的一种遥控装置的结构示意图，本实施例中所描述的遥控装置，包括：

存储器501和处理器502；

所述存储器501，用于存储程序指令；

所述处理器502，用于执行所述存储器存储的程序指令，当程序指令被执行时，用于：

检测目标对象上的特征位置区域在空间中的移动轨迹，并基于所述移动轨迹确定悬浮控制动作；

根据所述悬浮控制动作生成控制指令；

通过无线链路将所述控制指令发送至飞行器，以控制所述飞行器飞行。

在一个实施例中，所述处理器502检测目标对象上的特征位置区域在空间中的移动轨迹之前，还用于：获取探测区域的深度信息；根据所述探测区域的深度信息检测是否存在目标对象；如果存在目标对象，则执行所述检测目标对象上的特征位置区域在空间中的移动轨迹。

在一个实施例中，所述处理器502检测目标对象上的特征位置区域在空间中的移动轨迹时，具体用于：

获取探测区域的图像特征信息；

从所述探测区域的图像特征信息中确定所述目标对象上的特征位置区域在空间中的移动轨迹。

在一个实施例中，所述探测区域的图像特征信息为所述探测区域的深度信息。

在一个实施例中，所述处理器502还用于：检测所述探测区域中是否存在所述目标对象；如果存在所述目标对象，则将获取所述探测区域的图像特征信息时的获取频率调整至第一频率。

在一个实施例中，所述处理器502还用于：如果不存在所述目标对象，则将获取所述探测区域的图像特征信息时的获取频率调整至第二频率。

在一个实施例中，在所述第二频率下，所述遥控装置处于休眠模式，所述处理器502还用于：若接收到唤醒指令，则将获取所述探测区域的图像特征信息时的获取频率从所述第二频率调整至所述第一频率；其中，所述第一频率高于所述第二频率。

在一个实施例中，所述处理器502从所述探测区域的图像特征信息中确定所述目标对象上的特征位置区域在空间中的移动轨迹时，具体用于：根据探测区域的图像特征信息确定目标对象上的特征位置区域；根据所述探测区域的至少两帧图像提供的图像特征信息确定出所述特征位置区域在空间中的移动轨迹。

在一个实施例中，所述探测区域的图像特征信息为所述探测区域的深度信息。

在一个实施例中，所述处理器502根据探测区域的图像特征信息确定目标对象上的特征位置区域时，具体用于：根据所述探测区域的深度信息在参考坐标系进行投影处理，并生成在所述参考坐标系上的点云图像，所述参考坐标系是根据所述遥控装置确定的；根据所述点云图像确定目标对象的轮廓信息；根据所述目标对象的轮廓信息确定出特征位置区域的位置信息，以确定出所述目标对象上的特征位置区域。

在一个实施例中，所述处理器502根据所述目标对象的轮廓信息确定出特征位置区域的位置信息时，具体用于：根据所述目标对象的轮廓信息确定出特征位置区域的初始位置信息；根据预设的滤波函数和遥控装置的姿态信息，对所述初始位置信息进行平滑滤波处理，得到所述特征位置区域的位置信息。

在一个实施例中，所述处理器502根据所述悬浮控制动作生成控制指令时，具体用于：根据确定的轮廓信息得到悬浮控制动作的类型和所述特征位置区域的运动矢量；根据所述悬浮控制动作的类型和所述特征位置区域的运动矢量生成控制指令。

在一个实施例中，所述特征位置区域的运动矢量包括：根据至少两帧深度信息确定的所述特征位置区域的运动方向和运动幅度。

在一个实施例中，所述处理器502检测目标对象上的特征位置区域在空间中的移动轨迹时，具体用于：通过设置在特征位置区域上的传感器获取所述目标对象上的特征位置区域的移动感测数据；根据所述移动感测数据得到所述目标对象上的特征位置区域在空间中的移动轨迹。

在一个实施例中，所述探测区域的图像特征信息为所述探测区域的颜色信息或者红外信息；所述处理器502从所述探测区域的图像特征信息中确定所述目标对象上的特征位置区域在空间中的移动轨迹时，具体用于：基于深度学习从所述探测区域的图像特征信息中确定所述目标对象上的特征位置区域；获取所述目标对象的特征位置区域在空间中的移动轨迹。

在一个实施例中，在所述探测区域中叠加显示有虚拟影像。

在一个实施例中，所述处理器502还用于：根据目标对象的位置信息，在所述探测区域中生成并显示所述虚拟影像。

在一个实施例中，所述处理器502还用于：根据所述移动轨迹控制所述虚拟影像移动。

在一个实施例中，所述遥控装置为可穿戴设备或增强现实设备。

在一个实施例中，所述可穿戴设备为智能手表、智能眼镜、智能手环中的任意一种或多种；所述增强现实设备为头戴式显示器。

在一个实施例中，所述目标对象为手，所述目标对象上的特征位置区域为手上的指关节点。

本发明实施例提供一种遥控系统。图6是本发明实施例提供的遥控系统的架构示意图。如图6所示，该遥控系统包括：至少一个摄像装置和/或至少一个传感器，其中，所述摄像装置包括红绿蓝摄像装置；飞行器；遥控装置。

其中，该遥控装置601为上述本发明实施例中公开的遥控装置，原理和实现方式均与上述实施例类似，此处不再赘述。

其中，该摄像装置603可以设置在该遥控装置上，用于拍摄探测区域的深度信息。

在一个实施例中，该摄像装置603可以包括红绿蓝摄像装置，该红绿蓝摄像装置可以获取目标对象的特征位置区域的色彩图，该遥控装置601可以通过该色彩图对目标对象的特征位置区域进行定位和追踪，得到移动轨迹。

在一个实施例中，该传感器604可以设置在目标对象的特征位置区域处，该传感器604例如可以是温度传感器、距离传感器、红外传感器等等。

在一个实施例中，该传感器604还可以设置在该遥控装置601上，用于获取探测区域的深度信息，该传感器604例如可以是深度传感器等。

具体地，遥控系统可应用于远程遥控飞机装置。其中，该遥控装置601可用于检测目标对象上的特征位置区域在空间中的移动轨迹，并基于该移动轨迹确定悬浮控制动作，根据该悬浮控制动作生成控制指令，通过无线链路将该控制指令发送至飞行器，以控制该飞行器飞行。

需要说明的是，该遥控装置601可用于执行前述方法实施例所示的飞行控制方法，其具体实现过程可参照该方法实施例，在此不作赘述。

需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。

以上对本发明实施例所提供的一种飞行控制方法、遥控器及遥控系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (29)

1.一种飞行控制方法，其特征在于，应用于遥控装置，所述遥控装置用于远程控制飞行器飞行，所述方法包括：

获取探测区域的图像特征信息；

根据所述探测区域的图像特征信息确定目标对象上的特征位置区域；

根据所述探测区域的至少两帧图像提供的图像特征信息确定出所述特征位置区域在空间中的移动轨迹，并基于所述移动轨迹确定悬浮控制动作；

根据所述悬浮控制动作生成控制指令；

通过无线链路将所述控制指令发送至飞行器，以控制所述飞行器飞行；

其中，所述探测区域的图像特征信息为所述探测区域的深度信息；所述根据所述探测区域的图像特征信息确定目标对象上的特征位置区域，包括：

根据所述探测区域的深度信息在参考坐标系进行投影处理，并生成在所述参考坐标系上的点云图像，所述参考坐标系是根据所述遥控装置确定的；

根据所述点云图像确定所述目标对象的轮廓信息；

根据所述目标对象的轮廓信息确定出特征位置区域的初始位置信息；

根据预设的滤波函数和遥控装置的姿态信息，对所述初始位置信息进行平滑滤波处理，得到所述特征位置区域的位置信息，以确定出所述目标对象上的特征位置区域。

2.如权利要求1所述的方法，其特征在于，所述获取探测区域的图像特征信息之后，还包括：

检测所述探测区域中是否存在所述目标对象；

如果存在所述目标对象，则将获取所述探测区域的图像特征信息时的获取频率调整至第一频率。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

如果不存在所述目标对象，则将获取所述探测区域的图像特征信息时的获取频率调整至第二频率。

4.如权利要求3所述的方法，其特征在于，在所述第二频率下，所述遥控装置处于休眠模式，所述方法还包括：

若接收到唤醒指令，则将获取所述探测区域的图像特征信息时的获取频率从所述第二频率调整至所述第一频率；

其中，所述第一频率高于所述第二频率。

5.如权利要求1所述的方法，其特征在于，所述根据所述悬浮控制动作生成控制指令，包括：

根据确定的轮廓信息得到悬浮控制动作的类型和所述特征位置区域的运动矢量；

根据所述悬浮控制动作的类型和所述特征位置区域的运动矢量生成控制指令。

6.如权利要求5所述的方法，其特征在于，所述特征位置区域的运动矢量包括：根据至少两帧深度信息确定的所述特征位置区域的运动方向和运动幅度。

7.如权利要求1所述的方法，其特征在于，所述移动轨迹的确定过程还包括：

通过设置在特征位置区域上的传感器获取所述目标对象上的特征位置区域的移动感测数据；

根据所述移动感测数据得到所述目标对象上的特征位置区域在空间中的移动轨迹。

8.如权利要求1所述的方法，其特征在于，所述探测区域的图像特征信息为所述探测区域的颜色信息或者红外信息；

所述移动轨迹的确定过程还包括：

基于深度学习从所述探测区域的图像特征信息中确定所述目标对象上的特征位置区域；

获取所述目标对象的特征位置区域在空间中的移动轨迹。

9.如权利要求1所述的方法，其特征在于，在所述探测区域中叠加显示有虚拟影像。

10.如权利要求9所述的方法，其特征在于，所述方法还包括：

根据目标对象的位置信息，在所述探测区域中生成并显示所述虚拟影像。

11.如权利要求9或10所述的方法，其特征在于，所述方法还包括：

根据所述移动轨迹控制所述虚拟影像移动。

12.如权利要求1所述的方法，其特征在于，所述遥控装置为可穿戴设备或增强现实设备。

13.如权利要求12所述的方法，其特征在于，所述可穿戴设备为智能手表、智能眼镜、智能手环中的任意一种或多种；

所述增强现实设备为头戴式显示器。

14.如权利要求1所述的方法，其特征在于，所述目标对象为手，所述目标对象上的特征位置区域为手上的指关节点。

15.一种遥控装置，所述遥控装置用于远程控制飞行器飞行，包括：存储器和处理器；

所述存储器，用于存储程序指令；

所述处理器，用于执行所述存储器存储的程序指令，当程序指令被执行时，用于：

获取探测区域的图像特征信息；

根据所述探测区域的图像特征信息确定目标对象上的特征位置区域；

根据所述探测区域的至少两帧图像提供的图像特征信息确定出所述特征位置区域在空间中的移动轨迹，并基于所述移动轨迹确定悬浮控制动作；

根据所述悬浮控制动作生成控制指令；

通过无线链路将所述控制指令发送至飞行器，以控制所述飞行器飞行；

其中，所述探测区域的图像特征信息为所述探测区域的深度信息；所述根据所述探测区域的图像特征信息确定目标对象上的特征位置区域，包括：

根据所述探测区域的深度信息在参考坐标系进行投影处理，并生成在所述参考坐标系上的点云图像，所述参考坐标系是根据所述遥控装置确定的；

根据所述点云图像确定所述目标对象的轮廓信息；

根据所述目标对象的轮廓信息确定出特征位置区域的初始位置信息；

根据预设的滤波函数和遥控装置的姿态信息，对所述初始位置信息进行平滑滤波处理，得到所述特征位置区域的位置信息，以确定出所述目标对象上的特征位置区域。

16.如权利要求15所述的遥控装置，其特征在于，所述处理器还用于：

检测所述探测区域中是否存在所述目标对象；

如果存在所述目标对象，则将获取所述探测区域的图像特征信息时的获取频率调整至第一频率。

17.如权利要求16所述的遥控装置，其特征在于，所述处理器还用于：

如果不存在所述目标对象，则将获取所述探测区域的图像特征信息时的获取频率调整至第二频率。

18.如权利要求17所述的遥控装置，其特征在于，在所述第二频率下，所述遥控装置处于休眠模式，所述处理器还用于：

若接收到唤醒指令，则将获取所述探测区域的图像特征信息时的获取频率从所述第二频率调整至所述第一频率；

其中，所述第一频率高于所述第二频率。

19.如权利要求15所述的遥控装置，其特征在于，所述处理器从所述探测区域的图像特征信息中确定所述目标对象上的特征位置区域在空间中的移动轨迹时，具体用于：

根据探测区域的图像特征信息确定目标对象上的特征位置区域；

根据所述探测区域的至少两帧图像提供的图像特征信息确定出所述特征位置区域在空间中的移动轨迹。

20.如权利要求19所述的遥控装置，其特征在于，所述特征位置区域的运动矢量包括：根据至少两帧深度信息确定的所述特征位置区域的运动方向和运动幅度。

21.如权利要求15所述的遥控装置，其特征在于，所述移动轨迹的确定过程还包括：

通过设置在特征位置区域上的传感器获取所述目标对象上的特征位置区域的移动感测数据；

根据所述移动感测数据得到所述目标对象上的特征位置区域在空间中的移动轨迹。

22.如权利要求15所述的遥控装置，其特征在于，所述探测区域的图像特征信息为所述探测区域的颜色信息或者红外信息；

所述移动轨迹的确定过程还包括：

基于深度学习从所述探测区域的图像特征信息中确定所述目标对象上的特征位置区域；

获取所述目标对象的特征位置区域在空间中的移动轨迹。

23.如权利要求15所述的遥控装置，其特征在于，在所述探测区域中叠加显示有虚拟影像。

24.如权利要求23所述的遥控装置，其特征在于，所述处理器还用于：

根据目标对象的位置信息，在所述探测区域中生成并显示所述虚拟影像。

25.如权利要求23或24所述的遥控装置，其特征在于，所述处理器还用于：

根据所述移动轨迹控制所述虚拟影像移动。

26.如权利要求15所述的遥控装置，其特征在于，所述遥控装置为可穿戴设备或增强现实设备。

27.如权利要求26所述的遥控装置，其特征在于，所述可穿戴设备为智能手表、智能眼镜、智能手环中的任意一种或多种；

所述增强现实设备为头戴式显示器。

28.如权利要求15所述的遥控装置，其特征在于，所述目标对象为手，所述目标对象上的特征位置区域为手上的指关节点。

29.一种遥控系统，其特征在于，包括：

至少一个摄像装置和/或至少一个传感器，所述摄像装置包括红绿蓝摄像装置；

飞行器；

如权利要求15-28任一项所述的遥控装置。

Images