CN114022514A - 一种融合头部姿态和眼球跟踪的实时视线推断方法 - Google Patents

Abstract

本发明涉及一种融合头部姿态与眼球跟踪的实时视线推断方法，依次确定人脸区域、头部姿态、眼球跟踪点、人脸参考点，根据眼球与脸部参考点之间的距离比例及角度变化，得到眼球方向，并结合头部姿态的变化进行修正，实时推断当先姿态下的视线方向。本发明方法考虑到人头部移动与姿态变化对推断视线方向的影响，且推断方法实时性高，易于控制误差，实施例使用机器学习算法实现，采用普通可见光摄像机获取图像，所需的硬件要求低且通用性好，在推断过程中可以使人处于一个自然的状态。

Description

一种融合头部姿态和眼球跟踪的实时视线推断方法

技术领域

本发明涉及一种融合头部姿态和眼球方向跟踪的实时视线推断方法，属于计算机视觉和机器学习领域。

背景技术

审讯时，抓住被审对象的心理变化十分重要。在交谈过程中，人的视线变化反映了部分心理活动，将被审对象的视线变化记录下来，存储为量化的数据，为找到被审对象的破绽提供可能。但人为记录这些数据过于繁杂，如何利用机器自然地监测被审对象变的更加关键。在审讯中，通过检测人脸区域，确定眼球转动方向，进而推断被审对象的视线变化。在传统的视线推断中，大多需要红外相机，或穿带相机等设备，需要近距离检测眼球的转动方向。但是，上述所需的硬件要求较高，易使人处于不自然的状态，且传统只利用瞳孔坐标判别方式，容易受到人头部姿态变化的干扰，难以适用于广泛的审讯过程。

发明内容

针对现有技术的不足，本发明提供一种融合头部姿态和眼球跟踪的实时视线推断方法。

本发明的目的是通过下述技术方案实现的：

一种融合头部姿态和眼球跟踪的实时视线推断方法，其特征在于：包括以下步骤：

步骤1：检测图像人脸区域及人眼区域，在人脸区域中确定左眼与右眼区域位置；

步骤2：确定眼球中心坐标以及参考点坐标，对特征坐标进行光流跟踪；

步骤3：检测并记录当前头部姿态特征以及头部移动轨迹；

步骤4：根据当前特征跟踪点之间的距离比例及角度信息，结合头部姿态以及轨迹变化，推断实时视线方向。

进一步地，所述步骤1确定初始时刻眼球的位置包括以下过程：

步骤1.1：获取初始时刻人眼正视状态的图像信息；

步骤1.2：采用人脸级联检测算法，确定人脸ROI区域；

步骤1.3：通过生物特征划分左眼ROI区域和右眼ROI区域；

步骤1.4：分别在左眼ROI区与右眼ROI区采用人眼级联检测算法，确定左右眼实际位置。

进一步地，所述步骤2确定人脸参考点，并对左右眼球和人脸参考点进行跟踪的过程如下：

步骤2.1：根据左右眼位置，分别取左右眼睛中心作为眼球跟踪点，利用光流进行实时跟踪；

步骤2.2：取人脸区域内，位于同平面中两眼球跟踪点的中心作为中心点C，利用光流追踪算法进行跟踪。

进一步地，所述步骤3检测当前的头部姿态特征以及移动轨迹包括以下过程：

步骤3.1：通过HSV的H分量特征，对图像中的肤色进行分割；

步骤3.2：对分割区域进行人脸级联检测，并对头部区域进行裁剪，对人脸肤色区域进行椭圆拟合；

步骤3.3：对拟合椭圆进行PCA主成分分析，计算拟合椭圆长轴A₁与短轴A₂，获得比例λ＝A₁/A₂，并以拟合椭圆中心为坐标系原点，椭圆长轴为y轴，短轴为x轴构建人脸坐标系；

步骤3.4：在人脸区域，对初始状态的坐标系原点进行光流跟踪，设定为追踪点o，并设置半径r＝A₁/10的误差范围；

步骤3.5：根据拟合椭圆旋转角度、跟踪点位移、长短轴比例推断头部姿态及轨迹；

所述步骤3.5根据拟合椭圆旋转角度、跟踪点位移、长短轴比例推断头部姿态及轨迹具体过程包括：

步骤3.5.1：对拟合椭圆利用PCA主成分分析计算旋转角度∠1，推断当前歪头状态，设定范围角度正值θ，当旋转角度∠1小于-θ时，姿态为左歪头，角度∠1大于θ时，姿态为右歪头，若∠1处在-θ与θ之间，则是正常的直立状态。

步骤3.5.2：对人脸坐标系重新划分四个区域，根据长短轴比例λ变化，结合跟踪点o位于人脸坐标系内的坐标变化，推断头部转头的姿态变化：

当λ增大且跟踪点o位于第一区域，姿态为抬头，当λ增大且跟踪点o位于第三区域，姿态为低头，当λ减小且跟踪点o位于第二区域，姿态为左转头，当λ减小且跟踪点o位于第四区域，姿态为右转头；

步骤3.5.3：确定头部拟合椭圆的中心坐标，根据前后两帧的相对位移，实时绘制并判断头部移动轨迹。

步骤3.5.4：根据歪头姿态、转头姿态、移动方向组合生成头部姿态。

进一步地，所述步骤4根据当前特征跟踪点之间的距离比例及角度信息，结合头部姿态以及轨迹变化，推断实时视线方向包括以下过程：

步骤4.1：上述的当前特征跟踪点之间的距离比例及角度信息，结合图6，即距离比例为当前帧左眼球中心同中心点C的连线L_i与右眼球中心点同中心点C连线R_i的比例γ_i、角度信息为当前帧双眼间连线S_i与左眼球中心同中心点C的连线L_i生成的夹角α_i，i＝1，2，3…对应当前为第i帧图像信息；

并设置距离比例变化的允许误差值为n，夹角角度变化的允许误差值为m，设置γ为初始状态左眼球中心点同中心点C的连线L_i与右眼球中心点同中心点C连线R_i的比例，设置α为初始状态双眼间连线S_i和左眼球中心点同中心点C的连线L_i生成的夹角；

跟踪点置于同一平面，根据双眼跟踪点之间的角度信息和距离比例的关系推断眼球的运动方向，包括中心、上、下、左、右、左上、左下、右上、右下九种方向；

通过记录跟踪过程中每一帧的距离比例γ_i以及夹角α_i，带入公式(1)、(2)获得当前取值result，当result等于0、1、2、3、4、5、6、7、8时，分别对应的推断眼球方向为中、右、左、上、下、左下、左上、右下、右上。

γ_i＝L_i/R_i (1)

当“直视”状态时，其夹角α的范围为-m至m度，距离比例γ_i的范围为γ-n至γ+n；当“左看”、“右看”状态时，其夹角α的变化范围不变，为-m至m度，距离比例γ_i发生变化，当“左看”时，γ_i小于γ–n，当“右看”时，γ_i大于γ+n；当“上看”、“下看”状态时，夹角α范围发生变化，“上看”时为大于m，距离比例γ_i为γ-n至γ+n，“下看”时为小于-m，距离比例γ_i为γ-n至γ+n；当“左上看”、“左下看”、“右上看”、“右下看”时，夹角α的角度范围与距离比例γ_i的范围与初始时刻相比均发生变化，“左上看”时，夹角α范围为大于m，距离比例γ_i为大于γ+n，“左下看”时，夹角α范围为小于-m，距离比例γ_i为大于γ+n，“右上看”时，夹角α范围为大于m，距离比例γ_i为小于γ-n，“右下看”时，夹角α范围为小于-m，距离比例γ_i为小于γ-n。

步骤4.2：通过头部姿态方向结合眼球移动方向，推断当前实际视线方向：

若视线方向为前方，则可能为1)头部姿态为左转头，眼球移动为右看，2)头部姿态为右转头，眼球方向为左看，3)头部姿态为抬头，眼球移动为下看，4)头部姿态为低头，眼球方向为上看等情况。以此类推，对头部姿态与视线方向进行组合，利用头部姿态与眼球移动方向的相互作用，可将实际视线方向分为9类，分别为前方、上方、下方、左方、右方、左上方、左下方、右上方、右下方。

本发明的有益效果：本发明方法使用普通单目摄像机即可实现，不需要佩戴专门的设备，对需要的硬件资源要求低，便于更加广泛地应用。本发明方法不需要采用穿戴设备，可以使被审讯人处于一个自然交谈的状态。本发明方法中采用跟踪点间距离比例以及角度象限相结合的方式来检测眼球方向，针对不同的场景可以更好的控制误差范围，且实时性高。本发明方法采用检测眼球方向与头部姿态相结合的方法，可以控制头部姿态变化时对推断视线方向带来的影响。

附图说明

图1是本发明方法的基本流程图。

图2是本发明方法使用场景侧面示意图。

图3是初始时刻确定眼球位置并跟踪的流程图。

图4a是本发明确定脸部坐标系虚拟示意图。

图4b是本发明确定脸部坐标系分区。

图5是本发明推断头部姿态流程图。

图6a是本发明“直视”状态时的虚拟示意图。

图6b是本发明“上看”状态时的虚拟示意图。

图6c是本发明“右下看”状态时的虚拟示意图。

图7a是本发明实际测试“直视”示意图。

图7b是本发明实际测试“上看”示意图。

图7c是本发明实际测试“左看”示意图。

图7d是本发明实际测试“左上看”示意图。

具体实施方式

下面结合附图和具体的实施例对本发明方法进行详细描述，以对本发明方法进一步了解其目的、方案及效果。

本发明方法从实施过程上具体分为四大模块：1)级联检测、2)眼球方向推断、3)头部姿态推断、4)实时视线方向推断；

其中本发明方法主要涉及“方向推断”，主要给出了一个在实现眼球跟踪之后，对眼球移动的各个方向结合头部姿态变化，进行视线推断的方法；

如图1所示，为本发明实施的基本流程，在初始时刻需要正视摄像机，场景布置侧视图如图2所示；

1.对图像中人脸及人眼区域进行检测，并在人脸区域中确定左眼与右眼区域：

使用普通可见光摄像机获取图像信息，并对图像的大小进行重置以及预处理，在图像中加载人脸级联检测，采用Adaboost+Haar特征划分人脸区域ROI；

在划分的人脸区域中通过生物特征大致确定左眼区域以及右眼区域，分别在左眼区域、右眼区域使用Adaboost+Haar特征，进行级联检测确定初始左右眼位置；

在初始时刻，需要采集完整的双眼信息，若当前图像中人脸级联检测失败或双眼位置获取不完整，则需要重新获取图像进行检测，具体流程如图3所示。

2.确定眼球中心坐标以及脸部参考点坐标，对特征坐标进行光流跟踪。

获取双眼检测框后，推断中心坐标来推断正视时的眼球位置，并通过左右眼球的坐标来确定脸部的参考点坐标。在人脸区域确定相对人眼的参考点C(x，y)，此参考点则是选择双眼坐标的中心位置。

在当所需的跟踪点坐标均已确定，将三点置于同一平面，在光照条件良好的环境中，使用Lucas-Kandade光流追踪算法对三个点分别进行跟踪，并返回实时的坐标信息，在跟踪过程中，若跟踪值与检测值偏差过大，则跟踪值与检测值进行竞争，再次重复进行修正处理。

3.检测并记录当前头部的姿态变化与移动轨迹，如图5所示。

对图像中的人脸区域通过肤色阈值进行分割，采用HSV模型，对其中的H分量进行调整，分割前景中的肤色区域，并结合人脸级联检测框，消除脖子区域对人头部区域分割的影响。

通过确定分割区域最小外接矩阵的最大内接椭圆，对分割区域进行椭圆拟合，并提取椭圆的边缘点集，对边缘点集采用PCA主成分分析进行处理，只对边缘点集进行处理有效地提高处理速度，之后求取拟合椭圆的长轴长度与短轴长度，并以拟合椭圆中心为坐标系原点，椭圆长轴为y轴，短轴为x轴构建人脸坐标系，如图4a所示。

利用拟合椭圆的旋转角度，推断当前左右歪头的姿态变化。对拟合椭圆利用PCA主成分分析计算旋转角度∠1，推断当前歪头状态，设定范围角度正值θ，当旋转角度∠1小于-θ时，姿态为左歪头，角度∠1大于θ时，姿态为右歪头，若∠1处在-θ与θ之间，则是正常的直立状态。

且在前后帧中，头部实时角度变化不会大幅度突变，由此来监测系统是否正常。

对初始状态的拟合椭圆中心点利用Lucas-Kandade光流追踪算法进行跟踪，对人脸坐标系划分为4个区域，如图4b所示，并以坐标原点为中心设置半径r＝A₁/10的误差允许范围。

利用拟合椭圆的长轴A₁与短轴A₂的比例λ的变化，并结合跟踪点o处于人脸坐标系中区域的变化，推断左右转头、抬头低头姿态变化。

当λ增大且跟踪点o位于第一区域，姿态为抬头，当λ增大且跟踪点o位于第三区域，姿态为低头，当λ减小且跟踪点o位于第二区域，姿态为左转头，当λ减小且跟踪点o位于第四区域，姿态为右转头；

在实时采集过程中，通过判断前后两帧中拟合椭圆中心的相对位置，获取当前的移动方向，并根据中心变化绘制轨迹曲线。

根据歪头姿态、转头姿态、移动方向组合生成头部姿态。

对于眼球运动方向的推断主要根据两个关键特征，一是双眼相对中心参考点的距离比值变化，二是其双眼间连线与双眼与参考点连线角度信息的符号变化。

距离比值为当前帧左眼球中心同中心点C的连线L_i与右眼球中心点同中心点C连线R_i的比例γ_i、角度信息为当前帧双眼间连线S_i与左眼球中心同中心点C的连线L_i生成的夹角α_i，i＝1，2，3…对应当前为第i帧图像信息，如图6a至图6c所示；

为了控制在实际应用时跟踪点抖动问题，设置距离比例变化的允许误差值为n，夹角角度变化的允许误差值为m，在初始时刻，需要正视摄像机采集相关参数，设置γ为初始状态左眼球中心点同中心点C的连线L_i与右眼球中心点同中心点C连线R_i的比例，设置α为初始状态双眼间连线S_i和左眼球中心点同中心点C的连线L_i生成的夹角；

跟踪点置于同一平面，根据双眼跟踪点之间的角度信息和距离比例的关系推断眼球的运动方向，包括中心、上、下、左、右、左上、左下、右上、右下九种方向；

通过记录跟踪过程中每一帧的距离比例γ_i以及夹角α_i，带入公式(1)、(2)获得当前取值result，当result等于0、1、2、3、4、5、6、7、8时，分别对应的推断眼球方向为中、右、左、上、下、左下、左上、右下、右上。

γ_i＝L_i/R_i (1)

当“直视”状态时，其夹角α的范围为-m至m度，距离比例γ_i的范围为γ-n至γ+n；如图示6a；

当“左看”、“右看”状态时，其夹角α的变化范围不变，为-m至m度，距离比例γ_i发生变化，当“左看”时，γ_i小于γ–n，当“右看”时，γ_i大于γ+n；

当“上看”、“下看”状态时，夹角α范围发生变化，“上看”时为大于m，距离比例γ_i为γ-n至γ+n，如图6b，“下看”时为小于-m，距离比例γ_i为γ-n至γ+n；

当“左上看”、“左下看”、“右上看”、“右下看”时，夹角α的角度范围与距离比例γ_i的范围与初始时刻相比均发生变化，“左上看”时，夹角α范围为大于m，距离比例γ_i为大于γ+n，“左下看”时，夹角α范围为小于-m，距离比例γ_i为大于γ+n，右上看”时，夹角α范围为大于m，距离比例γ_i为小于γ-n，“右下看”时，夹角α范围为小于-m，距离比例γ_i为小于γ-n，如图6c。

之后通过头部姿态方向结合眼球移动方向，推断当前实际视线方向：

若视线方向为前方，则可能为1)头部姿态为左转头，眼球移动为右看，2)头部姿态为右转头，眼球方向为左看，3)头部姿态为抬头，眼球移动为下看，4)头部姿态为低头，眼球方向为上看等情况。以此类推，对头部姿态与视线方向进行组合，可将实际视线方向分为9类，分别为前方、上方、下方、左方、右方、左上方、左下方、右上方、右下方，对实时视线进行推断。

通过以上实施方式，本发明方法实现的代表例如图7a至图7d所示，图7a为“直视”例图，图7b为“上看”例图，图7c为“左看“例图，图7d为”左上看“例图，基本涵盖了格式角度。

对于人各种头部姿态下的视线方向均可在图像中实时稳定的反馈出来。

以上为本发明对实时视线方向的推断方法作出的详细介绍，以上实施例的方案是用于帮助理解与验证本方法的思想；同时，本发明还可有其它多种实施例，依据本发明的精神及实质的情况下，对于本领域的技术人员，可合法根据本发明作出各种相应的改变和变形，本发明内容不应理解为对本发明的限制。

Claims (6)

1.一种融合头部姿态和眼球跟踪的实时视线推断方法，其特征在于：包括以下步骤：

步骤1：检测图像中人脸区域及人眼区域，在人脸区域中确定左眼与右眼区域位置；

步骤2：确定眼球中心坐标以及参考点坐标，对特征坐标进行光流跟踪；

步骤3：检测并记录当前头部姿态特征以及头部移动轨迹；

步骤4：根据当前特征跟踪点之间的距离比例及角度信息，结合头部姿态以及轨迹变化，推断实时视线方向。

2.根据权利要求1所述的融合头部姿态和眼球跟踪的实时视线推断方法，其特征在于：所述步骤1中，在人脸区域中确定左眼与右眼区域及位置包括以下过程：

步骤1.1：获取初始时刻人眼正视状态的图像信息；

步骤1.2：采用人脸级联检测算法，确定人脸ROI区域；

步骤1.3：通过生物特征划分左眼ROI区域和右眼ROI区域；

步骤1.4：分别在左眼ROI区与右眼ROI区采用人眼级联检测算法，确定左右眼实际位置。

3.根据权利要求1所述的融合头部姿态和眼球跟踪的实时视线推断方法，其特征在于：所述步骤2确定眼球中心坐标以及脸部参考坐标点，对特征坐标进行光流跟踪进行跟踪的具体过程如下：

步骤2.1：根据左右眼位置，分别取左右眼睛中心作为眼球跟踪点，利用光流进行实时跟踪；

步骤2.2：取人脸区域内，位于同平面中两眼球跟踪点的中心作为中心点C，利用光流追踪算法进行跟踪。

4.根据权利要求1所述的融合头部姿态和眼球跟踪的实时视线推断方法，其特征在于：所述步骤3检测当前的头部姿态特征以及移动轨迹包括以下过程：

步骤3.1：通过HSV的H分量特征，对图像中的肤色进行分割；

步骤3.2：对分割区域进行人脸级联检测，并对头部区域进行裁剪，对人脸肤色区域进行椭圆拟合；

步骤3.3：对拟合椭圆进行PCA主成分分析，计算拟合椭圆长轴A₁与短轴A₂，获得比例λ＝A₁/A₂，并以拟合椭圆中心为坐标系原点，椭圆长轴为y轴，短轴为x轴构建人脸坐标系；

步骤3.4：在人脸区域，对初始状态的坐标系原点进行光流跟踪，设定为追踪点o，并设置半径r＝A₁/10的误差范围；

步骤3.5：根据拟合椭圆旋转角度、跟踪点位移、长短轴比例推断头部姿态及轨迹。

5.根据权利要求4所述的融合头部姿态和眼球跟踪的实时视线推断方法，其特征在于：所述步骤3.5对根据拟合椭圆旋转角度、跟踪点位移、长短轴比例推断头部姿态的具体过程如下：

步骤3.5.1：对拟合椭圆利用PCA主成分分析计算旋转角度∠1，推断当前歪头状态，设定范围角度正值θ，当旋转角度∠1小于-θ时，姿态为左歪头，角度∠1大于θ时，姿态为右歪头，若∠1处在-θ与θ之间，则是正常的直立状态。

步骤3.5.2：对人脸坐标系重新划分四个区域，根据长短轴比例λ变化，结合跟踪点o位于人脸坐标系内的坐标变化，推断头部转头的姿态变化：

当λ增大且跟踪点o位于第一区域，姿态为抬头，当λ增大且跟踪点o位于第三区域，姿态为低头，当λ减小且跟踪点o位于第二区域，姿态为左转头，当λ减小且跟踪点o位于第四区域，姿态为右转头；

步骤3.5.3：确定头部拟合椭圆的中心坐标，根据前后两帧的相对位移，实时绘制并判断头部移动轨迹；

步骤3.5.4：根据歪头姿态、转头姿态、移动方向组合生成头部姿态。

6.根据权利要求1所述的融合头部姿态和眼球方向跟踪的实时视线推断方法，其特征在于：所述步骤4根据当前特征跟踪点之间的距离比例及角度信息，结合头部姿态以及轨迹变化，推断实时视线方向包括以下过程：

步骤4.1：上述的当前特征跟踪点之间的距离比例及角度信息，即距离比例为当前帧左眼球中心同中心点C的连线L_i与右眼球中心点同中心点C连线R_i的比例γ_i、角度信息为当前帧双眼间连线S_i与左眼球中心同中心点C的连线L_i生成的夹角α_i，i＝1，2，3…对应当前为第i帧图像信息；

并设置距离比例变化的允许误差值为n，夹角角度变化的允许误差值为m，设置γ为初始状态左眼球中心点同中心点C的连线L_i与右眼球中心点同中心点C连线R_i的比例，设置α为初始状态双眼间连线S_i和左眼球中心点同中心点C的连线L_i生成的夹角；

跟踪点置于同一平面，根据双眼跟踪点之间的角度信息和距离比例的关系推断眼球的运动方向，包括中心、上、下、左、右、左上、左下、右上、右下九种方向；

通过记录跟踪过程中每一帧的距离比例γ_i以及夹角α_i，带入公式(1)、(2)获得当前取值result，当result等于0、1、2、3、4、5、6、7、8时，分别对应的推断眼球方向为中、右、左、上、下、左下、左上、右下、右上；

γ_i＝L_i/R_i (1)

当“直视”状态时，其夹角α的范围为-m至m度，距离比例γ_i的范围为γ-n至γ+n；当“左看”、“右看”状态时，其夹角α的变化范围不变，为-m至m度，距离比例γ_i发生变化，当“左看”时，γ_i小于γ–n，当“右看”时，γ_i大于γ+n；当“上看”、“下看”状态时，夹角α范围发生变化，“上看”时为大于m，距离比例γ_i为γ-n至γ+n，“下看”时为小于-m，距离比例γ_i为γ-n至γ+n；当“左上看”、“左下看”、“右上看”、“右下看”时，夹角α的角度范围与距离比例γ_i的范围与初始时刻相比均发生变化，“左上看”时，夹角α范围为大于m，距离比例γ_i为大于γ+n，“左下看”时，夹角α范围为小于-m，距离比例γ_i为大于γ+n，“右上看”时，夹角α范围为大于m，距离比例γ_i为小于γ-n，“右下看”时，夹角α范围为小于-m，距离比例γ_i为小于γ-n；

步骤4.2：通过头部姿态方向结合眼球移动方向，推断当前实际视线方向：

若视线方向为前方，则可能为1)头部姿态为左转头，眼球移动为右看，2)头部姿态为右转头，眼球方向为左看，3)头部姿态为抬头，眼球移动为下看，4)头部姿态为低头，眼球方向为上看等情况。以此类推，对头部姿态与视线方向进行组合，可将实际视线方向分为9类，分别为前方、上方、下方、左方、右方、左上方、左下方、右上方、右下方，对实时视线进行推断。

Images