CN106339006B

CN106339006B - 一种飞行器的目标跟踪方法和装置

Info

Publication number: CN106339006B
Application number: CN201610813951.XA
Authority: CN
Inventors: 黄盈; 杨夏; 周大军
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2016-09-09
Filing date: 2016-09-09
Publication date: 2018-10-23
Anticipated expiration: 2036-09-09
Also published as: CN106339006A

Abstract

本发明公开一种飞行器的目标跟踪方法和装置，用于根据目标对象的脸部朝向转动情况调整飞行器的飞行姿态，实现飞行器精确跟踪人物目标。本发明实施例提供一种飞行器的目标追踪方法，包括：对飞行器的摄像头采集目标对象得到的图像进行脸部检测，从而得到所述图像中的脸部位置；从所述图像中的脸部位置上检测出满足预置的定位点特征的五官定位点，得到所述五官定位点在所述脸部位置中的定位点位置；根据所述定位点位置与所述脸部位置的相对位置关系确定所述目标对象的脸部朝向是否发生转动，并在所述目标对象的脸部朝向发生转动时调整所述飞行器的飞行姿态，以使所述摄像头对准所述目标对象的脸部正面。

Description

一种飞行器的目标跟踪方法和装置

技术领域

本发明涉及飞行器技术领域，尤其涉及一种飞行器的目标跟踪方法和装置。

背景技术

无人驾驶飞机简称为飞行器，飞行器在国民经济、军事上都有很多应用,目前飞行器己被广泛应用于航拍摄影、电力巡检、环境监测、森林防火、灾情巡查、防恐救生、军事侦察、战场评估等领域，飞行器是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。机上无驾驶舱，但安装有自动驾驶仪、程序控制装置、信息采集装置等设备，遥控站人员通过雷达等设备，对其进行跟踪、定位、遥控、遥测和数字传输。

现有技术中飞行器在追踪人物目标时通常采用如下两种方案：1、用户通过人工控制飞行器的遥控器来实现飞行器跟踪某个人。2、飞行器通过用户手持设备发送的全球定位系统(英文全称：Global Positioning System，英文简称：GPS)定位信息来实现自动跟踪目标。其中，手持设备可以是指智能手机、平板电脑等移动设备，而遥控器是传统的飞行器飞行控制杆。人工控制遥控器的方法需要用户随时关注飞行器的飞行轨迹，才能实现对准人物目标，该方法需要有专门的操作人员，如果想完成对用户本人的跟踪会比较难于操作，同时不利于用户同时完成其它任务，比如自拍。通过手持设备发送GPS定位信息给飞行器来实现自动跟踪的方法，主要缺点是GPS信号的误差很大，某些位置会接收不到GPS信号，因此无法实现飞行器精确跟踪人物目标。

发明内容

本发明实施例提供了一种飞行器的目标跟踪方法和装置，用于根据目标对象的脸部朝向转动情况调整飞行器的飞行姿态，实现飞行器精确跟踪人物目标。

为解决上述技术问题，本发明实施例提供以下技术方案：

第一方面，本发明实施例提供一种飞行器的目标追踪方法，包括：

对飞行器的摄像头采集目标对象得到的图像进行脸部检测，从而得到所述图像中的脸部位置；

从所述图像中的脸部位置上检测出满足预置的定位点特征的五官定位点，得到所述五官定位点在所述脸部位置中的定位点位置；

根据所述定位点位置与所述脸部位置的相对位置关系确定所述目标对象的脸部朝向是否发生转动，并在所述目标对象的脸部朝向发生转动时调整所述飞行器的飞行姿态，以使所述摄像头对准所述目标对象的脸部正面。

第二方面，本发明实施例还提供一种飞行器的目标追踪装置，包括：

脸部检测模块，用于对飞行器的摄像头采集目标对象得到的图像进行脸部检测，从而得到所述图像中的脸部位置；

五官定位点检测模块，用于从所述图像中的脸部位置上检测出满足预置的定位点特征的五官定位点，得到所述五官定位点在所述脸部位置中的定位点位置；

飞行控制模块，用于根据所述定位点位置与所述脸部位置的相对位置关系确定所述目标对象的脸部朝向是否发生转动，并在所述目标对象的脸部朝向发生转动时调整所述飞行器的飞行姿态，以使所述摄像头对准所述目标对象的脸部正面。

从以上技术方案可以看出，本发明实施例具有以下优点：

在本发明实施例中，首先对飞行器的摄像头采集目标对象得到的图像进行脸部检测，从而得到图像中的脸部位置，接下来从图像中的脸部位置上检测出满足预置的定位点特征的五官定位点，得到五官定位点在脸部位置中的定位点位置，最后根据定位点位置与脸部位置的相对位置关系确定目标对象的脸部朝向是否发生转动，并在目标对象的脸部朝向发生转动时调整飞行器的飞行姿态，以使摄像头对准目标对象的脸部正面。本发明实施例中飞行器上配置有摄像头，摄像头对飞行器跟踪的目标对象目标进行图像采集，通过对采集得到的图像进行脸部检测以及定位点特征的检测可以得到脸部位置和定位点位置，从而通过定位点位置和脸部位置的相对位置关系确定出目标对象的脸部朝向是否发生转动，使得飞行器在调整飞行姿态后能够使摄像头对照目标对象的脸部正面，达到飞行器自动跟踪目标的脸部转动的目的，实现飞行器精确跟踪人物目标。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种飞行器的目标追踪方法的流程方框示意图；

图2-a为本发明实施例提供的无人机自动追踪人脸转向的工作流程示意图；

图2-b为本发明实施例提供的视觉识别人脸以及鼻子的实现方式示意图；

图2-c为本发明实施例提供的无人机的水平旋转角度的计算方式示意图；

图3-a为本发明实施例提供的一种飞行器的目标追踪装置的组成结构示意图；

图3-b为本发明实施例提供的一种飞行控制模块的组成结构示意图；

图3-c为本发明实施例提供的一种水平旋转角度计算模块的组成结构示意图；

图3-d为本发明实施例提供的另一种飞行器的目标追踪装置的组成结构示意图；

图4为本发明实施例提供的飞行器的目标追踪方法应用于飞行器的组成结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

以下分别进行详细说明。

本发明飞行器的目标跟踪方法的一个实施例，具体可以应用于使用飞行器对目标对象的跟踪场景中，飞行器具体可以是无人机、也可以是遥控飞机、航模飞机等。本发明实施例通过飞行器自带的摄像头实现脸部跟踪，从而不需要用户去控制飞行器飞行姿态，自动实现飞行器精确对准目标对象的脸部，可以实时跟随目标对象脸部的前后左右移动以及左右的旋转等动作。接下来进行详细说明，请参阅图1所示，本发明一个实施例提供的飞行器的控制方法，可以包括如下步骤：

101、对飞行器的摄像头采集目标对象得到的图像进行脸部检测，从而得到图像中的脸部位置。

在本发明实施例中，飞行器可用于对目标对象目标的实时跟踪，飞行器中设置有摄像头，该摄像头实时拍摄目标对象，并生成在不同时刻拍摄的图像，首先对于摄像头采集目标对象得到的图像进行脸部检测。本发明实施例中对摄像头采集目标对象得到的图像进行脸部检测就可以得到脸部位置。不限的是，在本发明实施例中采用的脸部检测算法可以是基于Adaboost学习算法的方法，例如Haar-like矩形特征的特征值的快速计算方法等等。不限的是，在本发明的其他实施例中，本发明实施例采用的脸部检测算法还可以是神经网络的方法，或者基于几何特征的方法等等。

在本发明的一些实施例中，步骤101对飞行器的摄像头采集目标对象得到的图像进行脸部检测，从而得到图像中的脸部位置之前，本发明实施例提供的飞行器的目标追踪方法还可以包括如下步骤：

A1、对摄像头采集目标对象得到的图像进行缩放处理；

A2、将缩放处理后的图像转换为灰度图，并对灰度图进行均衡化处理。

其中，对于摄像头采集目标对象得到的图像，若存在干扰情况，还可以对图像进行预处理，例如可以进行缩放处理和灰度直方图的均衡化处理。其中，对图像的缩放处理时可以将摄像头采集目标对象得到的图像分别缩放到一个适合进行脸部识别的比例，例如可以放大图像也可以缩小图像。在本发明的另一些实施例中，如果一副图像的像素占有很多的灰度级而且分布均匀，那么这样的图像往往有高对比度和多变的灰度色调。对灰度图的均衡化处理也称为直方图均衡化，就是一种能仅靠输入图像直方图信息自动达到这种效果的变换函数。它的基本思想是对图像中像素个数多的灰度级进行展宽，而对图像中像素个数少的灰度进行压缩，从而扩展像素取值的动态范围，提高了对比度和灰度色调的变化，使图像更加清晰。通过前述对图像的预处理，还可以使图像的光照均衡，图像大小适合移动设备处理。在得到更清晰的图像之后可以输入该图像进行脸部检测，详解前述内容的说明。

在本发明实施例执行前述步骤A1和步骤A2的实现场景下，步骤101对飞行器的摄像头采集目标对象得到的图像进行脸部检测，从而得到图像中的脸部位置，具体可以包括如下步骤：

B1、对均衡化处理后的灰度图进行脸部检测，得到图像中的脸部位置。

可以理解的是，对于飞行器中摄像头采集目标对象得到的图像，若先对该图像转换得到的灰度图进行了均衡化处理，则输入到脸部检测中的图像就是均衡化处理后的灰度图，对采集到的灰度图分别进行脸部检测可以得到脸部位置。

102、从图像中的脸部位置上检测出满足预置的定位点特征的五官定位点，得到五官定位点在脸部位置中的定位点位置。

在本发明实施例，通过前述步骤对目标对象采集得到的图像进行脸部检测之后，可以输出图像中的脸部位置，脸部位置在摄像头采集到的图像中表示的位置是以像素为单位的，接下来从对该脸部位置进行五官定位点检测，该五官定位点的定位点特征可以通过预先的统计分类的方式来确定，从而从脸部位置上检测是否存在满足预置的定位点特征，如果在脸部位置上存在符合该定位点特征的像素位置，则确定在脸部位置上存在符合该定位点特征的像素位置就是五官定位点在脸部位置中的定位点位置。其中本发明实施例采用的五官定位点是指在目标对象的脸部位置上用于定位脸部位置是否发生转向的定位参考点。在实际应用中，五官定位点的选择可以基于脸部位置上可实现的五官特征来选取五官定位点，需要说明的是，五官定位点可以指的是脸部位置上的某个器官所在的像素位置，也可以指的是多个器官所在的像素位置，此处不做限定。

在本发明的一些实施例中，步骤102从图像中的脸部位置上检测出满足预置的定位点特征的五官定位点，得到五官定位点在脸部位置中的定位点位置，具体可以包括如下步骤：

C1、从图像中的脸部位置上检测出满足预置的鼻子特征的鼻子定位点，得到鼻子定位点在脸部位置中的鼻子位置；或，

C2、从图像中的脸部位置上检测出满足预置的嘴巴特征的嘴巴定位点，得到嘴巴定位点在脸部位置中的嘴巴位置；或，

C3、从图像中的脸部位置上检测出满足预置的眼睛特征的眼睛中心定位点，得到眼睛中心定位点在脸部位置中的眼睛中心位置。

其中，本发明的一些实施例中，对五官定位点的定位点特征检测可以有多种实现方式，例如在步骤C1所示的实现场景下，该五官定位点指的是鼻子定位点，在人脸的脸部位置上鼻子基本上处于人脸的中心位置，因此本发明实施例中优选的可以采用鼻子定位点从脸部位置上检测鼻子特征，该鼻子特征的统计分析可以通过模型统计来输出，从而构造出鼻子模式空间，根据相似度算法来检测脸部位置上是否存在鼻子特征。不限定的是，在本发明的另一些实施例中，例如在步骤C2所示的实现场景下，该五官定位点指的是鼻子定位点，在人脸的脸部位置上嘴巴基本上处于人脸的中轴线位置对称分布，因此本发明实施例中优选的可以采用嘴巴定位点从脸部位置上检测嘴巴特征，该嘴巴特征的统计分析可以通过模型统计来输出，从而构造出嘴巴模式空间，根据相似度算法来检测脸部位置上是否存在嘴巴特征。在本发明的另一些实施例中，例如在步骤C3所示的实现场景下，该五官定位点指的是眼睛中心定位点，在人脸的脸部位置上两个眼睛的中心位置基本上处于人脸的中轴线位置，因此本发明实施例中优选的可以采用眼睛中心定位点从脸部位置上检测眼睛特征，该眼睛特征的统计分析可以通过模型统计来输出，从而构造出眼睛模式空间，根据相似度算法来检测脸部位置上是否存在左右的两个眼睛特征，从而对检测到的两个眼睛的像素位置取中间值可以作为眼睛中心点位置。需要说明的是，在本发明的前述实施例中以五官定位点具体为鼻子定位点、嘴巴定位点以及眼睛中心定位点进行了定位点位置的检测说明，则检测到的定位点位置具体可以为脸部位置上的鼻子位置、嘴巴位置以及眼睛中心位置，具体实现方式，此处不做限定，并且随着五官视觉识别的具体算法，也可以选择其他的五官位置作为定位点。

103、根据定位点位置与脸部位置的相对位置关系确定目标对象的脸部朝向是否发生转动，并在目标对象的脸部朝向发生转动时调整飞行器的飞行姿态，以使摄像头对准目标对象的脸部正面。

在本发明实施例中，从脸部位置上检测到定位点位置之后，可以比较定位点位置与脸部位置的相对位置关系，从而确定目标对象的脸部朝向是否发生转动，并在目标对象的脸部朝向发生转动时调整飞行器的飞行姿态，以使摄像头对准目标对象的脸部正面。具体的，可以根据目标对象的脸部朝向发生转动的情况向飞行器发送飞行控制命令，在该飞行控制命令中指示飞行器调整飞行姿态，从而可以飞行器可以根据该飞行控制命令调整自身的飞行姿态。其中，飞行器的飞行姿态可以指的是飞行器的朝向，高度和位置，在使用飞行器跟踪目标对象的实现过程中，主要控制飞行器随目标对象进行的位置移动。例如，调整飞行姿态可以是控制飞行器的机头朝向，从而使摄像头对准目标对象的脸部正面。

在本发明的一些实施例中，步骤103根据定位点位置与脸部位置的相对位置关系确定目标对象的脸部朝向是否发生转动，具体可以包括如下步骤：

D1、判断定位点位置靠近脸部位置的左脸边缘，还是靠近脸部位置的右脸边缘；

D2、若定位点位置靠近左脸边缘，则确定目标对象的脸部朝向左边转动；

D3、若定位点位置靠近右脸边缘，则确定目标对象的脸部朝向右边转动；

D4、若定位点位置处于脸部位置的中轴线上，则确定目标对象的脸部朝向没有发生转动。

具体的，在本发明的一些实施例中定位点位置与脸部位置的相对位置关系的判断可以有多种实现方式，例如通过对采集到的图像中已经检测到的定位点位置和脸部位置的像素分布比较，从而通过定位点位置在人脸中的脸部位置来确定人脸是否转向。当人脸向左边转动时，定位点位置会偏移人脸的中心点向人脸左边缘靠近，反之向右转时，定位点位置向人脸的右边缘靠近，定位点位置在人脸的中轴线上，定位点位置在人脸的居中位置。因此本发明实施例中通过图像上定位点位置和脸部位置的位置分布比较，就可以容易的判断出目标对象的脸部朝向是否发生转动，此时可以控制飞行器的朝向调整，例如定位点位置靠近左脸边缘，则可以使飞行器的朝向向左调整，使得摄像头对准目标对象的脸部正面，从而可以更精确的追踪目标。

在本发明的前述实施例中通过图像中位置点的分布关系可以判断出目标对象的脸部朝向转动情况。在本发明的另一些实施例中，步骤103根据定位点位置与脸部位置的相对位置关系确定目标对象的脸部朝向是否发生转动，具体可以包括如下步骤：

E1、根据摄像头与目标对象之间的相对位置关系、定位点位置相对于脸部位置的中轴线之间的相对位置关系，计算目标对象的脸部的水平旋转角度；

E2、根据水平旋转角度确定目标对象的脸部朝向是否发生转动。

其中，本发明实施例除了通过图像的位置相对分布来判断目标对象的脸部朝向是否发生转动之外，还可以采用更为精确的脸部朝向判断方式，对目标对象进行采集后得到的图像中可以检测到脸部位置以及定位点位置，则可以摄像头与目标对象之间的相对位置关系可以是摄像头与目标对象的实际物理距离，摄像头与目标对象在摄像头的拍摄画面中的像素距离，定位点位置相对于脸部位置的中轴线之间的相对位置关系可以是定位点位置与脸部位置的中轴线之间的偏离距离，从而根据摄像头与目标对象之间的相对位置关系、定位点位置相对于脸部位置的中轴线之间的相对位置关系，计算目标对象的脸部的水平旋转角度，水平旋转角度是指目标对象的脸部在水平方向的转移角度，计算出该水平旋转角度之后，就可以通过水平旋转角度的实际取值判断出目标对象的脸部朝向是否发生转动，例如水平旋转角度的取值为0，则说明目标对象的脸部朝向没有发生转动，定义水平旋转角度向右旋转取值为正，水平旋转角度向左旋转取值为负，则可以通过计算出的水平旋转角度的取值情况确定目标对象的脸部朝向向左还是向右发生转动。

需要说明的是，在本发明的上述实施例中步骤E1说明了计算目标对象的脸部的水平旋转角度可以判断目标对象的脸部朝向是否发生转动，接下来对步骤E1的实现方式进行进一步的举例说明。步骤E1根据摄像头与目标对象之间的相对位置关系、定位点位置相对于脸部位置的中轴线之间的相对位置关系，计算目标对象的脸部的水平旋转角度，包括：

E11、根据定位点位置和脸部位置计算定位点位置相对于脸部位置的中轴线产生的图像偏移量；

E12、根据飞行器与目标对象的水平物理距离、摄像头的水平视角计算图像对应的物理宽度；

E13、根据图像的图像宽度、图像对应的物理宽度和图像偏移量计算定位点位置相对于脸部位置产生的物理偏移量；

E14、根据飞行器与目标对象的水平物理距离和物理偏移量计算出目标对象的脸部的水平旋转角度。

其中，针对摄像头采集的到图像，在该图像中根据定位点位置和脸部位置计算定位点位置相对于脸部位置的中轴线产生的图像偏移量，该图像偏移量是指摄像头采集到的图像上定位点位置偏离于中轴线的像素偏移值。飞行器与目标对象的水平物理距离可以通过位置检测来得到，即在实际的飞行器飞行场景下，该飞行器在当前的飞行位置与目标对象之间的物理距离，摄像头的水平视角是指在摄像头采集目标对象得到的图像中摄像头对目标对象拍摄时具有的水平角度，从而通过飞行器与目标对象的水平物理距离、摄像头的水平视角计算可以计算出图像对应的物理宽度，通过前述步骤获取到图像的图像宽度、图像对应的物理宽度和图像偏移量之后，可以计算定位点位置相对于脸部位置产生的物理偏移量，该图像偏移量是在实际的飞行器飞行场景下计算出的定位点位置相对于脸部位置产生的实际偏移量。最后根据飞行器与目标对象的水平物理距离和物理偏移量计算出目标对象的脸部的水平旋转角度，即物理偏移量是定位点位置相对于脸部位置产生的实际偏移量，需要将该物理偏移量转换为定位点位置相对于脸部位置的偏移角度，从而可以得到目标对象的脸部的水平旋转角度。

通过以上实施例对本发明实施例的描述可知，首先对飞行器的摄像头采集目标对象得到的图像进行脸部检测，从而得到图像中的脸部位置，接下来从图像中的脸部位置上检测出满足预置的定位点特征的五官定位点，得到五官定位点在脸部位置中的定位点位置，最后根据定位点位置与脸部位置的相对位置关系确定目标对象的脸部朝向是否发生转动，并在目标对象的脸部朝向发生转动时调整飞行器的飞行姿态，以使摄像头对准目标对象的脸部正面。本发明实施例中飞行器上配置有摄像头，摄像头对飞行器跟踪的目标对象目标进行图像采集，通过对采集得到的图像进行脸部检测以及定位点特征的检测可以得到脸部位置和定位点位置，从而通过定位点位置和脸部位置的相对位置关系确定出目标对象的脸部朝向是否发生转动，使得飞行器在调整飞行姿态后能够使摄像头对照目标对象的脸部正面，达到飞行器自动跟踪目标的脸部转动的目的，实现飞行器精确跟踪人物目标。

为便于更好的理解和实施本发明实施例的上述方案，下面举例相应的应用场景来进行具体说明。接下来以飞行器具体为无人机为例进行说明，本发明实施例中不仅可以通过摄像头识别人脸来实现人脸追踪，并且还可以实现无人机摄像头自动对准人脸正面的需求。本发明通过无人机自带的摄像头实现对人脸转向的跟踪，从而使得无人机的摄像头可以始终对准人脸正面。

请参阅图2-a所示，为本发明实施例提供的无人机自动追踪人脸转向的工作流程示意图，无人机自动跟踪人脸转向的工作流程主要包括：无人机通过自身的摄像头采集实时图像。实时图像会经过视觉识别模块来检测当前用户的人脸，检测到人脸后视觉识别模块会在人脸区域继续检测鼻子的位置，在本发明的另一些实施例中可以检测嘴巴的位置，接下来仍以鼻子的定位点检测为例进行说明。飞行控制模块根据鼻子在人脸的位置来判断人脸是否发生转向。判断当前帧图像中鼻子与人脸中心点的偏移，这个偏移值发生变化就说明人脸转向。如果人脸转向，飞行控制模块会计算出这个转向的角度。最后飞行控制模块实时操控无人机跟随人脸的转向做转动。

接下来对视觉识别模块的实现流程进行说明，请参阅图2-b所示，为本发明实施例提供的视觉识别人脸以及鼻子的实现方式示意图，无人机的视觉识别模块负责对人脸和鼻子的检测。例如使用Haar分类器的方法来实现人脸和鼻子的检测。该方法是基于统计的方法，将人脸或者鼻子分别看作一个整体模式，从统计的观点通过大量人脸和鼻子的图像样本构造人脸与鼻子的两个模式空间，根据相似度量来判断人脸和鼻子是否存在。因为光线的原因，视觉识别模块在采集到实时图像后，会对当前图像做一个预处理，这包括图像的缩放，彩色图转灰度图以及直方图的均衡化。其目的是使图像的光照均衡，大小适合移动设备处理。预处理过的图像会使用Haar分类器来实现人脸和鼻子的检测。如果检测到鼻子，那么视觉识别模块会返回鼻子在当前人脸中的位置。

接下来对人脸转向的判定进行举例说明，请参阅图2-c所示，为本发明实施例提供的无人机的水平旋转角度的计算方式示意图。飞行控制模块通过判定鼻子在人脸中的位置来确定人脸是否转向。当人脸向左边转动时，鼻子会偏移人脸的中心点向人脸左边缘靠近。反之向右转时，鼻子位置向人脸的右边缘靠近，人脸被检测出来后，可以得到一个人脸的中轴线位置，然后检测鼻子相对于这个中轴线的偏移。

首先，根据鼻子位置和脸部位置计算鼻子位置相对于脸部位置的中轴线产生的图像偏移量，如图2-c中w₄表示在图像中鼻子位置和脸部位置的中轴线产生的图像偏移量，然后根据无人机与目标对象的水平物理距离、摄像头的水平视角计算图像对应的物理宽度，如图2-c所示，无人机与人脸的水平物理距离w₀，摄像头的水平视角α₀，则可以通过如下方式计算图像对应的物理宽度w：

如图2-c所示，无人机与人脸的水平物理距离w₀，摄像头的水平视角α₀之间满足正切关系，从而可以计算出摄像头采集到的图像对应的物理宽度。

接下来根据图像的图像宽度、图像对应的物理宽度和图像偏移量计算鼻子位置相对于脸部位置产生的物理偏移量，则可以通过如下方式计算鼻子位置相对于脸部位置产生的物理偏移量Δw：

其中，w₄表示在图像中鼻子位置和脸部位置的中轴线产生的图像偏移量，w表示图像对应的物理宽度，w₂表示图像的图像宽度，从w₄和w₂之间的比例关系，通过与图像对应的物理宽度w相乘，可以转换为鼻子位置相对于脸部位置产生的物理偏移量。

最后可以根据无人机与目标对象的水平物理距离和物理偏移量计算出目标对象的脸部的水平旋转角度，如图2-c所示，则可以通过如下方式计算目标对象的脸部的水平旋转角度ΔR：

其中，鼻子位置相对于脸部位置产生的物理偏移量Δw和无人机与人脸的水平物理距离w₀之间满足反正切关系，从而可以计算出目标对象的脸部的水平旋转角度。

通过前述本发明实施例中的说明，在已知无人机与人脸的水平物理距离w₀、图像的宽w₂(图像的宽度以像素为单位)，图像的物理宽度w可以通过三角函数tan，水平距离w₀和摄像头水平视角α₀计算求到，鼻子相对于人脸中心点所做的物理偏移量也可以通过鼻子位置和脸部位置的中轴线产生的图像偏移量w₄与图像的图像宽度w₂来计算，最后人脸的水平旋转角度ΔR可以通过鼻子相对于中心点的物理位移量Δw，人脸距离摄像头的物理距离w₀来计算。本发明实施例通过无人机的内置摄像头可以实现人脸和鼻子的实时检测，根据检测到鼻子相对人脸图像的位置判断出人脸旋转的方向，根据鼻子在人脸图像中移动的距离计算出人脸旋转的物理角度，然后根据此角度来调整无人机的飞行姿态，达到无人机自动跟踪人脸旋转的功能。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。

请参阅图3-a所示，本发明实施例提供的一种飞行器的目标追踪装置300，可以包括：脸部检测模块301、五官定位点检测模块302和飞行控制模块303、，其中，

脸部检测模块301，用于对飞行器的摄像头采集目标对象得到的图像进行脸部检测，从而得到所述图像中的脸部位置；

五官定位点检测模块302，用于从所述图像中的脸部位置上检测出满足预置的定位点特征的五官定位点，得到所述五官定位点在所述脸部位置中的定位点位置；

飞行控制模块303，用于根据所述定位点位置与所述脸部位置的相对位置关系确定所述目标对象的脸部朝向是否发生转动，并在所述目标对象的脸部朝向发生转动时调整所述飞行器的飞行姿态，以使所述摄像头对准所述目标对象的脸部正面。

在本发明的一些实施例中，所述五官定位点检测模块302，具体用于从所述图像中的脸部位置上检测出满足预置的鼻子特征的鼻子定位点，得到所述鼻子定位点在所述脸部位置中的鼻子位置；或，从所述图像中的脸部位置上检测出满足预置的嘴巴特征的嘴巴定位点，得到所述嘴巴定位点在所述脸部位置中的嘴巴位置；或，从所述图像中的脸部位置上检测出满足预置的眼睛特征的眼睛中心定位点，得到所述眼睛中心定位点在所述脸部位置中的眼睛中心位置。

在本发明的一些实施例中，所述飞行控制模块303，具体用于判断所述定位点位置靠近所述脸部位置的左脸边缘，还是靠近所述脸部位置的右脸边缘；若所述定位点位置靠近所述左脸边缘，则确定所述目标对象的脸部朝向左边转动；若所述定位点位置靠近所述右脸边缘，则确定所述目标对象的脸部朝向右边转动；若所述定位点位置处于所述脸部位置的中轴线上，则确定所述目标对象的脸部朝向没有发生转动。

在本发明的一些实施例中，请参阅图3-b所示，所述飞行控制模块303，包括：

水平旋转角度计算模块3031，用于根据摄像头与目标对象之间的相对位置关系、定位点位置相对于脸部位置的中轴线之间的相对位置关系，计算所述定位点位置相对于所述脸部位置的中轴线的水平旋转角度；

脸部朝向判断模块3032，用于根据所述水平旋转角度确定所述目标对象的脸部朝向是否发生转动。

在本发明的一些实施例中，请参阅图3-c所示，所述水平旋转角度计算模块3031，包括：

图像偏移量计算单元30311，用于根据所述定位点位置和所述脸部位置计算所述定位点位置相对于所述脸部位置的中轴线产生的图像偏移量；

物理宽度计算单元30312，用于根据所述飞行器与所述目标对象的水平物理距离、所述摄像头的水平视角计算所述图像对应的物理宽度；

物理偏移量计算单元30313，用于根据所述图像的图像宽度、所述图像对应的物理宽度和所述图像偏移量计算所述定位点位置相对于所述脸部位置产生的物理偏移量；

水平旋转角度计算单元30314，用于根据所述飞行器与所述目标对象的水平物理距离和所述物理偏移量计算出所述定位点位置相对于所述脸部位置的中轴线的水平旋转角度。

在本发明的一些实施例中，请参阅图3-d所示，所述飞行器的目标追踪装置300，还包括：图像预处理模块304，用于所述脸部检测模块301对飞行器的摄像头采集目标对象得到的图像进行脸部检测，从而得到所述图像中的脸部位置之前，对所述摄像头采集目标对象得到的图像进行缩放处理；将缩放处理后的图像转换为灰度图，并对所述灰度图进行均衡化处理；

所述脸部检测模块301，具体用于对均衡化处理后的灰度图进行脸部检测，得到所述图像中的脸部位置。

通过以上对本发明实施例的描述可知，首先对飞行器的摄像头采集目标对象得到的图像进行脸部检测，从而得到图像中的脸部位置，接下来从图像中的脸部位置上检测出满足预置的定位点特征的五官定位点，得到五官定位点在脸部位置中的定位点位置，最后根据定位点位置与脸部位置的相对位置关系确定目标对象的脸部朝向是否发生转动，并在目标对象的脸部朝向发生转动时调整飞行器的飞行姿态，以使摄像头对准目标对象的脸部正面。本发明实施例中飞行器上配置有摄像头，摄像头对飞行器跟踪的目标对象目标进行图像采集，通过对采集得到的图像进行脸部检测以及定位点特征的检测可以得到脸部位置和定位点位置，从而通过定位点位置和脸部位置的相对位置关系确定出目标对象的脸部朝向是否发生转动，使得飞行器在调整飞行姿态后能够使摄像头对照目标对象的脸部正面，达到飞行器自动跟踪目标的脸部转动的目的，实现飞行器精确跟踪人物目标。

图4是本发明实施例提供的一种飞行器的结构示意图，该飞行器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)1122(例如，一个或一个以上处理器)和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)、摄像头1152、传感器1162。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对飞行器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在飞行器1100上执行存储介质1130中的一系列指令操作。本领域技术人员可以理解，图4中示出的飞行器结构并不构成对飞行器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

飞行器1100还可以包括一个或一个以上电源1126，一个或一个以上无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作系统1141，例如安卓系统等等。

飞行器中包括的摄像头1152，该摄像头具体可以是数字摄像头，也可以是模拟摄像头。摄像头的分辨率可以根据实际需要来选择，摄像头的结构组件可以包括：镜头、图像传感器可以结合具体场景来配置。

飞行器还可以包括：传感器1162，比如运动传感器以及其他传感器。具体地，作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别飞行器姿态的应用(比如飞行器偏航角、横滚角、俯仰角的测算、磁力计姿态校准)、识别相关功能(比如计步器)等；至于飞行器还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

上述实施例中由飞行器所执行的控制方法步骤可以基于该图4所示的飞行器结构。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种飞行器的目标追踪方法，其特征在于，包括：

从所述图像中的脸部位置上检测出满足预置的定位点特征的五官定位点，得到所述五官定位点在所述脸部位置中的定位点位置，所述五官定位点是指在目标对象的脸部位置上用于定位脸部位置是否发生转向的定位参考点；

根据所述定位点位置与所述脸部位置的相对位置关系确定所述目标对象的脸部朝向是否发生转动，并在所述目标对象的脸部朝向发生转动时调整所述飞行器的飞行姿态，以使所述摄像头对准所述目标对象的脸部正面；

其中，所述根据所述定位点位置与所述脸部位置的相对位置关系确定所述目标对象的脸部朝向是否发生转动，包括：

根据所述定位点位置和所述脸部位置计算所述定位点位置相对于所述脸部位置的中轴线产生的图像偏移量；

根据所述飞行器与所述目标对象的水平物理距离、所述摄像头的水平视角计算所述图像对应的物理宽度；

根据所述图像的图像宽度、所述图像对应的物理宽度和所述图像偏移量计算所述定位点位置相对于所述脸部位置产生的物理偏移量；

根据所述飞行器与所述目标对象的水平物理距离和所述物理偏移量计算出所述定位点位置相对于所述脸部位置的中轴线的水平旋转角度；

根据所述水平旋转角度确定所述目标对象的脸部朝向是否发生转动。

2.根据权利要求1所述的方法，其特征在于，所述从所述图像中的脸部位置上检测出满足预置的定位点特征的五官定位点，得到所述五官定位点在所述脸部位置中的定位点位置，包括：

从所述图像中的脸部位置上检测出满足预置的鼻子特征的鼻子定位点，得到所述鼻子定位点在所述脸部位置中的鼻子位置；或，

从所述图像中的脸部位置上检测出满足预置的嘴巴特征的嘴巴定位点，得到所述嘴巴定位点在所述脸部位置中的嘴巴位置；或，

从所述图像中的脸部位置上检测出满足预置的眼睛特征的眼睛中心定位点，得到所述眼睛中心定位点在所述脸部位置中的眼睛中心位置。

3.根据权利要求1至2中任一项所述的方法，其特征在于，所述对飞行器的摄像头采集目标对象得到的图像进行脸部检测，从而得到所述图像中的脸部位置之前，所述方法还包括：

对所述摄像头采集目标对象得到的图像进行缩放处理；

将缩放处理后的图像转换为灰度图，并对所述灰度图进行均衡化处理；

所述对飞行器的摄像头采集目标对象得到的图像进行脸部检测，从而得到所述图像中的脸部位置，包括：

对均衡化处理后的灰度图进行脸部检测，得到所述图像中的脸部位置。

4.一种飞行器的目标追踪装置，其特征在于，包括：

五官定位点检测模块，用于从所述图像中的脸部位置上检测出满足预置的定位点特征的五官定位点，得到所述五官定位点在所述脸部位置中的定位点位置，所述五官定位点是指在目标对象的脸部位置上用于定位脸部位置是否发生转向的定位参考点；

飞行控制模块，用于根据所述定位点位置与所述脸部位置的相对位置关系确定所述目标对象的脸部朝向是否发生转动，并在所述目标对象的脸部朝向发生转动时调整所述飞行器的飞行姿态，以使所述摄像头对准所述目标对象的脸部正面；

所述飞行控制模块，包括：

图像偏移量计算单元，用于根据所述定位点位置和所述脸部位置计算所述定位点位置相对于所述脸部位置的中轴线产生的图像偏移量；

物理宽度计算单元，用于根据所述飞行器与所述目标对象的水平物理距离、所述摄像头的水平视角计算所述图像对应的物理宽度；

物理偏移量计算单元，用于根据所述图像的图像宽度、所述图像对应的物理宽度和所述图像偏移量计算所述定位点位置相对于所述脸部位置产生的物理偏移量；

水平旋转角度计算单元，用于根据所述飞行器与所述目标对象的水平物理距离和所述物理偏移量计算出所述定位点位置相对于所述脸部位置的中轴线的水平旋转角度；

脸部朝向判断模块，用于根据所述水平旋转角度确定所述目标对象的脸部朝向是否发生转动。

5.根据权利要求4所述的装置，其特征在于，所述五官定位点检测模块，具体用于从所述图像中的脸部位置上检测出满足预置的鼻子特征的鼻子定位点，得到所述鼻子定位点在所述脸部位置中的鼻子位置；或，从所述图像中的脸部位置上检测出满足预置的嘴巴特征的嘴巴定位点，得到所述嘴巴定位点在所述脸部位置中的嘴巴位置；或，从所述图像中的脸部位置上检测出满足预置的眼睛特征的眼睛中心定位点，得到所述眼睛中心定位点在所述脸部位置中的眼睛中心位置。

6.根据权利要求4至5中任一项所述的装置，其特征在于，所述飞行器的目标追踪装置，还包括：图像预处理模块，用于所述脸部检测模块对飞行器的摄像头采集目标对象得到的图像进行脸部检测，从而得到所述图像中的脸部位置之前，对所述摄像头采集目标对象得到的图像进行缩放处理；将缩放处理后的图像转换为灰度图，并对所述灰度图进行均衡化处理；

所述脸部检测模块，具体用于对均衡化处理后的灰度图进行脸部检测，得到所述图像中的脸部位置。