CN105159452A - 一种基于人脸姿态估计的控制方法与系统 - Google Patents

Abstract

本发明公开了一种基于人脸姿态估计的控制方法与系统，涉及模式识别和计算机视觉领域。旨在不增加现有硬件成本的基础上，研究新的控制方法，作为设备的独立遥控解决方案或者现有遥控方法的有益辅助。本发明中的控制方法包括：步骤1：对操作员的脸部进行视频采集；步骤2：对采集到的视频进行人脸检测；步骤3：对检测到的人脸进行计算得到人脸姿态信息；步骤4：根据人脸姿态信息确定其对应的控制指令。本发明还提供了一种与方法对应的控制系统。

Description

一种基于人脸姿态估计的控制方法与系统

技术领域

本发明涉及模式识别和计算机视觉领域，尤其是一种基于人脸姿态估计的控制方法及系统，本发明适用于对各类设备的控制。

背景技术

目前很多设备都采用遥控技术进行控制，通用的遥控方法有定制的手持遥控器和通用移动终端（如：平板电脑和手机等）。这种方法的优点是能够对设备实现精准、实时控制，可靠性较高；缺点是会增加额外成本且不利于携带。另外，当遥控器出现硬件故障时，便无法对设备进行控制，这一问题在无人机控制领域尤其明显，当遥控器出现故障时，无法对正在飞行的无人机进行控制，出现“提控归”的无奈情形。

因此有必要在不增加现有硬件成本的基础上，研究新的控制方法，作为设备的独立遥控解决方案或者现有遥控方法的有益辅助。

发明内容

本发明所要解决的技术问题是：针对上述存在的问题，提供一种基于人脸姿态估计的控制方法及系统。

本发明中的控制方法包括：步骤1：对操作员的脸部进行视频采集；步骤2：对采集到的视频进行人脸检测；步骤3：对检测到的人脸进行计算得到人脸姿态信息；步骤4：根据人脸姿态信息确定其对应的控制指令。

步骤2进一步包括对检测到的人脸进行跟踪。

进一步，所述人脸姿态信息包括人脸的俯仰角、偏航角及滚转角。

进一步，步骤2中采用Adaboost方法进行人脸检测；采用Mean-shift方法并结合肤色分割方法对人脸进行跟踪。

步骤3进一步包括：采用快速脸部识别算法对检测到的人脸进行特征点标注，然后将所述特征点送入人脸姿态识别器中，得到检测到的人脸的姿态信息。

所述人脸姿态识别器是通过以下方式获得的：

步骤31：收集大量人脸图像样本组成人脸库；

步骤32：采用快速脸部识别算法对人脸库中的人脸逐一进行特征点标注；

步骤33：根据特征点对人脸库中的人脸图像样本进行分类，并明确每一分类对应的人脸姿态信息；

步骤34：使用人脸库中人脸图像样本的特征点及其对应的人脸姿态信息训练识别模型，经过训练的识别模型即为人脸姿态识别器。

本发明还提供了一种基于人脸姿态估计的控制系统，包括：

人脸视频采集单元，用于采集操作员的脸部的视频；

人脸检测单元，用于对采集到的视频进行人脸检测；

人脸姿态估计单元，用于对检测到的人脸进行计算得到人脸姿态信息；

人脸姿态翻译单元，用于根据人脸姿态信息确定其对应的控制指令。

进一步，还包括人脸跟踪单元，用于对检测到的人脸进行跟踪。

进一步，所述人脸姿态信息包括人脸的俯仰角、偏航角及滚转角。

人脸姿态估计单元进一步用于采用快速脸部识别算法对检测到的人脸进行特征点标注，然后将所述特征点送入人脸姿态识别器中，得到检测到的人脸的姿态信息。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1）将姿态估计引入到设备控制中，可独立对设备进行控制或作为遥控装置的辅助。不但可降低硬件成本，还可在某些实用场景中增加对设备的操控乐趣，如无人机控制领域，增强人机互动。

2）本发明一个具体实施例中使用人脸特征点对人脸姿态进行估计，提高了人脸姿态识别的精度和可靠性。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1为本发明一个具体实施例的方法流程图。

图2为本发明人脸姿态识别器训练方法流程图。

图3为本发明人脸姿态识别步骤流程图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明中的方法包括步骤1：对操作员的脸部进行视频采集；步骤2：对采集到的视频进行人脸检测；步骤3：对检测到的人脸进行计算得到人脸姿态信息；步骤4：根据人脸姿态信息确定其对应的控制指令。得到控制指令后根据需要将控制指令输出给被控制对象，被控制对象完成相应的操作。

在其他实施例中，步骤2还包括对检测到的人脸进行跟踪。以便更加稳定的进行控制。

为了便于理解，下面结合图1，以对无人机的控制为例分别对各个步骤进行详细说明，需要强调的是，本方法完全可以通用在其他设备的控制上。

首先无人机操作员打开无人机的姿态控制模式，视频采集模块对操作员进行成像，并将视频送入人脸检测与跟踪模块进行人脸检测与跟踪，同时姿态估计模块进行人头的姿态估计，姿态翻译器将估计结果翻译成控制命令，然后传递给无人机的飞控装置，飞控装置根据控制命令进行相应作动，完成遥控行为。其功能模块（见图1）与步骤为：

1）视频采集

无人机操作员打开无人机的姿态控制模式，视频采集装置采集操作员的头部视频图像，并将视频序列图像传入人脸检测与跟踪模块。

2）人脸检测与跟踪

人脸检测与跟踪是实现人脸姿态估计与稳定姿态控制的基础，无人首先需要对场景里的人脸进行检测，同时对检测到的人脸进行跟踪。本发明采用经典的Adaboost方法对人脸进行检测，然后采用Mean-shift结合肤色分割进行人脸跟踪。

3）姿态估计

人脸姿态估计在人脸识别系统和人机接口等领域一直是重点研究内容，具有广泛的应用价值。人脸姿态有三个自由度：仰首俯首（俯仰角pitch）、左右摇头（偏航角yaw）和左右摆头（滚转角roll）。

在介绍本发明的优选方法前，先简要介绍下目前国内外常用的人脸姿态估计方法。按采用传感器的数量可分为单目法和多目法。多目法利用两个或者以上传感器获得的数据重建人脸的三维模型，从而得到人脸的姿态估计。常用的单目法包括以下两种：基于几何方法和基于训练的方法。

基于几何的方法通常利用人脸的几何形状或者精确的人脸特征点来估计人脸姿态。首先通过某种几何模型来表示人脸的结构和形状，并对模型和输入图像之间建立起对应关系，最后通过几何或者其他的方法实现人脸姿态参数的估计。人脸几何结构不考虑不同姿态人脸的可感知差异，如鼻子的偏移与人脸的对称性等，就可以利用精确的人脸特征点定位方法进行人脸姿态估计，首先通过获取人脸特征点，例如眼睛、嘴巴、鼻尖等，然后根据这些特征点的在几何上的相对关系来判断人脸姿态。

上述方法虽然可以快速简便的进行人脸姿态估计，但精确地定位人脸特征点非常困难，同时要求人脸图像具有很高的分辨率，并且特征点要均在图像上，否则姿态估计将会发生错误。此外，人脸不是严格意义下的刚体，在表情不同时，人脸的形状及特征点之间的距离都是变化的。同时，脸部具有胡须或眼镜等遮盖物时，系统对脸部特征点的提取非常困难。

基于训练的方法假设人脸空间姿态与人脸图像的某些特征(如灰度、色彩、梯度等)存在某种特定的对应关系，然后通过统计学习的方法，在大量的训练样本基础上建立这种关系，最后通过特征匹配得到人脸的姿态。该方法需要大量的训练样本，并且要求样本来自不同的对象，不同的姿态和光照等条件，速度较慢且精度易受光照等条件影响。

本发明一个优选实施例综合几何和训练方法的优点，克服了上述两种方法的缺点。本实施例采用首先需要训练人脸姿态识别器，然后使用人脸姿态识别器对采集到的人脸进行姿态信息识别。

参见图2，训练人脸姿态识别器的步骤包括：（1）收集大量人脸图像样本组成人脸库。（2）采用快速脸部识别算法（比如采用约束局部模型CLM）对人脸特征点进行标注。（3）根据特征点对人脸库中的人脸图像样本进行分类，将具有类似的特征点的人脸图像样本聚为一类，采用的分类模型可以是主动外貌模型AAM(ActiveAppearaneeModel)，然后人工判断每一类人脸对应的姿态信息，这样便为人脸库中的每个人脸图像样本确定了姿态信息。（4）使用人脸库中人脸图像样本的特征点及其对应的人脸姿态信息训练识别模型，经过训练的识别模型即为人脸姿态识别器。所述识别模型可以选用多项式拟合等。

人脸姿态识别器训练好后便可投入使用。参见图3，采用快速脸部识别算法对检测到的人脸进行特征点标注，然后将所述特征点送入人脸姿态识别器中，得到检测到的人脸的姿态信息。

本优选实施例可利用所有人脸的特征点，精度高于几何法，而且能克服脸部被部分遮挡的问题；同时本实施例中的训练人脸姿态识别器的样本为人脸的特征点，可克服不同姿态和光照对姿态估计的影响，可靠性优于基于一步训练的方法。

4）姿态翻译

姿态翻译器就是建立人脸姿态与控制命令之间的映射关系，将姿态翻译成无人机的控制命令。首先建立姿态控制字典，该字典定义了姿态（及大小）与控制命令间的一一对应关系。当有新的姿态输入时，翻译器随即查找字典，并将查找结果输出到无人机的飞控装置，完成遥控行为。

本发明还提供了一套与前述方法对应的控制系统。包括：

人脸视频采集单元，用于采集操作员的脸部的视频；

人脸检测单元，用于对采集到的视频进行人脸检测；

人脸姿态估计单元，用于对检测到的人脸进行计算得到人脸姿态信息；

人脸姿态翻译单元，用于根据人脸姿态信息确定其对应的控制指令。

在一个具体实施例中，人脸姿态估计单元进一步用于采用快速脸部识别算法对检测到的人脸进行特征点标注，然后将所述特征点送入人脸姿态识别器中，得到检测到的人脸的姿态信息。

本发明方法的其他实施例及变形同样适用于本系统。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种基于人脸姿态估计的控制方法，其特征在于，包括：

步骤1：对操作员的脸部进行视频采集；

步骤2：对采集到的视频进行人脸检测；

步骤3：对检测到的人脸进行计算得到人脸姿态信息；

步骤4：根据人脸姿态信息确定其对应的控制指令。

2.根据权利要求1所述的一种基于人脸姿态估计的控制方法，其特征在于，步骤2进一步包括对检测到的人脸进行跟踪。

3.根据权利要求1所述的一种基于人脸姿态估计的控制方法，其特征在于，所述人脸姿态信息包括人脸的俯仰角、偏航角及滚转角。

4.根据权利要求2所述的一种基于人脸姿态估计的控制方法，其特征在于，步骤2中采用Adaboost方法进行人脸检测；采用Mean-shift方法并结合肤色分割方法对人脸进行跟踪。

5.根据权利要求1所述的一种基于人脸姿态估计的控制方法，其特征在于，步骤3进一步包括：采用快速脸部识别算法对检测到的人脸进行特征点标注，然后将所述特征点送入人脸姿态识别器中，得到检测到的人脸的姿态信息。

6.根据权利要求5所述的一种基于人脸姿态估计的控制方法，其特征在于，

所述人脸姿态识别器是通过以下方式获得的：

步骤31：收集大量人脸图像样本组成人脸库；

步骤32：采用快速脸部识别算法对人脸库中的人脸逐一进行特征点标注；

步骤33：根据特征点对人脸库中的人脸图像样本进行分类，并明确每一分类对应的人脸姿态信息；

步骤34：使用人脸库中人脸图像样本的特征点及其对应的人脸姿态信息训练识别模型，经过训练的识别模型即为人脸姿态识别器。

7.一种基于人脸姿态估计的控制系统，其特征在于，包括：

人脸视频采集单元，用于采集操作员的脸部的视频；

人脸检测单元，用于对采集到的视频进行人脸检测；

人脸姿态估计单元，用于对检测到的人脸进行计算得到人脸姿态信息；

人脸姿态翻译单元，用于根据人脸姿态信息确定其对应的控制指令。

8.根据权利要求7所述的一种基于人脸姿态估计的控制系统，其特征在于，还包括人脸跟踪单元，用于对检测到的人脸进行跟踪。

9.根据权利要求7所述的一种基于人脸姿态估计的控制系统，其特征在于，所述人脸姿态信息包括人脸的俯仰角、偏航角及滚转角。

10.根据权利要求7所述的一种基于人脸姿态估计的控制系统，其特征在于，人脸姿态估计单元进一步用于采用快速脸部识别算法对检测到的人脸进行特征点标注，然后将所述特征点送入人脸姿态识别器中，得到检测到的人脸的姿态信息。