CN109508089B - 一种基于层级随机森林的视线控制系统与方法 - Google Patents

Abstract

本发明提出一种基于层级随机森林的视线控制系统与方法，采用基于层级随机森林的计算视线落点区域的系统，利用电脑屏幕前的摄像头获取人脸视频流，并检测出视频中每一帧人脸位置，进一步提取人脸中的眼部特征信息，最后将眼部特征信息送入层级随机森林模型中计算出视线在电脑屏幕中的落点区域。本发明只需要一个网络摄像头即可计算视线在电脑屏幕上的实时落点区域，且使用前无需校准与标定，检测方法简单方便，所需硬件配置少，实施成本低。

Description

一种基于层级随机森林的视线控制系统与方法

技术领域

本发明涉及信息传感领域，具体涉及一种基于随机森林的视线控制系统与方法。

背景技术

视线追踪技术，可以应用到人机交互，产品测评，辅助驾驶，交互游戏，军事战斗，心理测试等等领域。针对不同应用，就产生了两种眼动仪：头戴式和非头戴式。其中市面上的主流头戴式产品有ASL Model H6系列眼动仪，ASL Model Eye系列等；市面上主流的非头戴式产品主要有Tobii系列眼动仪，Smart Eye系列等。

目前尚未出现一种实用可行的可以仅仅依靠网络摄像头来进行视线追踪的方法。目前除了依靠硬件设备来实现视线追踪之外，还有依赖于深度学习，神经网络来追踪视线的方法。但是这些方法往往应用于iPad等这种固定屏幕大小。正是因为固定屏幕大小，才能方便神经网络模型训练。同时目前在进行落点标定的研究中，常用的方法分为以下3种：基于非线性多项式和广义回归神经网络的视线估计方法，支持矢量回归的视线落点估计方法，基于解析头动补偿的视线估计方法等。但这些落点标定过程都比较复杂繁琐。而本发明提出的基于层级随机森林的视线控制方法拥有很好的通用性和可扩展性，可以适用于拥有网络摄像头的各种电脑，显示器，投影仪等等设备。

发明内容

本发明的技术解决问题是：可以仅仅依赖网络摄像头来实现通用的视线控制。为此本发明的目的是提供一种基于层级随机森林的视线控制系统。

为达到上述目的，本发明采用如下技术方案：

一种基于层级随机森林的视线控制系统，包括视频采集模块、特征提取模块、特征分析模块和显示模块；所述视频采集模块、特征提取模块模块、特征分析模和显示模块块依此连接；

所述视频采集模块，用于采集人脸视频流；

所述特征提取模块，用于从采集到的人脸视频流中提取每一帧，在每一帧图片中提取人脸位置，并且进一步提取人脸中的眼部特征；

所述特征分析模块，用于将上述特征提取模块中的眼部特征进行分析，计算出视线在频幕上的落点位置；

所述显示模块，用于将用户在屏幕上 的视线落点显示出来。

所述视频采集包括视频采集单元与指示单元；所述视频采集单元用于采集人脸视频流，并将采集到的视频流传输至特征提取模块；所述指示单元用于指示目前视频采集单元处于工作状态或者非工作状态。

所述特征提取模块包括头部位置测量单元与眼部特征提取单元；所述头部位置测量单元用于测量被测人头部与上述采集模块的相对位置；眼部特征提取单元用于提取上述眼球轮廓特征，眼球轮廓特征为眼球轮廓在视频中的相对位置；所述的头部与采集模块的相对位置与眼球轮廓特征将被传输至特征分析模块。

所述特征分析模块包括随机森林模型单元、模型选择单元与视线落点预测单元；所述随机森林模型单元存有预先训练好的不同头部相对位置与眼球轮廓特征的随机森林模型；模型选择单元用与将上述特征提取模块传递的头部相对位置与上述随机森林模型单元中的每一个模型进行比较，寻找最相似的模型；视线落点预测单元则使用上述模型选择单元选择的最佳模型，将上述特征提取模块传递的眼球轮廓特征进行分析，得出视线落点，并将所得视线落点传递至显示单元。

所述显示模块包含指示光标单元；指示光标将显示在显示模块上，代表用户视线的落点位置。

一种基于层级随机森林的视线控制方法，具体操作步骤如下：

步骤1:人脸识别，若视频帧中存在人脸，则执行步骤步骤S2；若视频中不存在人脸，则等待，直至视频帧中出现人脸；

步骤2:计算视频帧中人脸的头部位置；

步骤3：提取人脸的眼部轮廓特征；

步骤4：计算视线落点：首先使用上述步骤2计算得到头部位置，分别与现存模型中的所使用的头部位置进行比较，寻找最合适的模型；其次使用选择得到的最佳模型参数，将上述步骤3提取的人脸眼部轮廓作为输入，最终计算得出视线落点位置。

所述步骤1的具体步骤为：步骤1.1，人脸识别：使用任何现有方法均可以识别出视频中是否存在人脸，并将识别结果传至步骤1.2；

步骤1.2，人脸判断：根据上述步骤1.1得出的结果，若视频中存在人脸，则继续执行步骤2；若视频中不存在人脸，则等待，直至视频帧中出现人脸；

所述步骤2的具体步骤为：

步骤2.1，头部位置模板读取：读取现有的头部位置模型模板，该模板为在不同头部位置中时头部特征。

步骤2.2，头部位置计算：将视频中的脸部像素与读取的头部模板比对，从而找到最相近的模板，则头部位置即为最相近的头部位置。

所述步骤3的具体步骤为：

步骤3.1，神经网络建模：使用神经网络对眼部轮廓进行建立模型，并人为标出眼部轮廓供模型学习。

步骤3.2，将视频输入进完成训练的神经网络中，得出眼部的轮廓特征。眼部轮廓特征为眼睛轮廓在视频中的像素位置，共分为水平方向与垂直方向。

所述步骤4的具体步骤为：

步骤4.1，模型比较；现已知在不同头部位置情况下，用于计算视线落点的随机森林模型。使用上述步骤2计算得到的头部位置与模型中的头部位置进行比较，从而选择最合适的模型。其比较方法为寻找欧式距离θ最小的模型为标准，该比较标准包括参数：头部水平前后距离x₁，头部水平左右距离y₁，头部垂直距离z₁，模型最佳头部水平前后距离x_m，模型最佳头部水平左右距离y_m，模型最佳头部垂直距离z_m：

步骤4.2，模型计算：使用上述步骤4.1选择的最佳模型最为参数，将上述步骤3提取的眼部轮廓特征作为输入，使用随机森林回归算法，计算得到最终的视线落点位置。

本发明与现有技术相比，具有如下显而易见的突出实质性和技术进步：

1)本发明提出了一种层级随机森林的模型，去除传统方法中，在使用前需要手动对人眼位置进行标定与校准的繁琐过程，即可准确计算出人眼再屏幕上的视线落点位置，具有创新性与先进性。

2)本发明提出了一种层级随机森林的模型，可运行于windows操作系统与linux操作系统的计算机环境中，也可以运行于嵌入式环境中，可移植性强，基本涵盖当今大部分计算平台，具有可行性与使用性。

3)本发明仅仅使用一个外接摄像头采集的脸部视频即可计算出人眼的视线落点位置，无需额外的传感器件，避免了使用红外、激光等其他专用传感器来捕捉瞳孔位置，操作简单，具有可靠性和经济性。

4)本发明所计算出来的视线落点位置进行人机交互，适用于代替鼠标进行视线翻页、虚拟现实场景切换、视线辅助驾驶等一系列实现控制应用场景，具有应用推广性。

附图说明

图1是本发明基于层级随机森林的视线控制系统示意图。

图2是提取眼部轮廓特征效果图。

图3是层级随机森林模型示意图。

图4是计算得到的视线落点效果图。

图5是一种基于层级随机森林的视线控制方法的流程图。

图6是一种基于层级随机森林的视线控制方法步骤1的子流程图。

图7是一种基于层级随机森林的视线控制方法步骤2的子流程图。

图8是一种基于层级随机森林的视线控制方法步骤3的子流程图。

图9是一种基于层级随机森林的视线控制方法步骤4的子流程图。

具体实施方案

以下结合附图对本发明进行详细描述：

如图1所示：一种基于分层随机森林的视线控制系统，包括视频采集模块、特征提取模块、特征分析模块和显示模块；所述视频采集模块、特征提取模块模块、特征分析模和显示模块块依此连接；其中：

所述视频采集模块，用于采集人脸视频流；

所述特征提取模块，用于从采集到的人脸视频流中提取每一帧，在每一帧图片中提取人脸位置，并且进一步提取人脸中的眼部特征(见附图2)；

所述特征分析模块，用于将上述特征提取模块中的眼部特征进行分析，计算出视线在频幕上的落点位置；

所述显示模块，用于将用户在屏幕上 的视线落点显示出来。

所述视频采集包括视频采集单元与指示单元；所述视频采集单元用于采集人脸视频流，并将采集到的视频流传输至特征提取模块；所述指示单元用于指示目前视频采集单元处于工作状态或者非工作状态。

所述特征提取模块包括头部位置测量单元与眼部特征提取单元；所述头部位置测量单元用于测量被测人头部与上述采集模块的相对位置；眼部特征提取单元用于提取上述眼球轮廓特征，眼球轮廓特征为眼球轮廓在视频中的相对位置；所述的头部与采集模块的相对位置与眼球轮廓特征将被传输至特征分析模块。

所述特征分析模块包括随机森林模型单元、模型选择单元与视线落点预测单元；所述随机森林模型单元存有预先训练好的不同头部相对位置与眼球轮廓特征的随机森林模型；模型选择单元用与将上述特征提取模块传递的头部相对位置与上述随机森林模型单元中的每一个模型进行比较，寻找最相似的模型；视线落点预测单元则使用上述模型选择单元选择的最佳模型，将上述特征提取模块传递的眼球轮廓特征进行分析，得出视线落点，并将所得视线落点传递至显示单元(见附图3)。

所述显示模块包含指示光标单元；指示光标将显示在显示模块上，代表用户视线的落点位置(见附图4)。

如图5所示，一种基于层级随机森林的视线控制方法，具体操作步骤如下：

步骤1:人脸识别，若视频帧中存在人脸，则执行步骤步骤S2；若视频中不存在人脸，则等待，直至视频帧中出现人脸；

步骤2:计算视频帧中人脸的头部位置；

步骤3：提取人脸的眼部轮廓特征；

步骤4：计算视线落点：首先使用上述步骤2计算得到头部位置，分别与现存模型中的所使用的头部位置进行比较，寻找最合适的模型；其次使用选择得到的最佳模型参数，将上述步骤3提取的人脸眼部轮廓作为输入，最终计算得出视线落点位置。

如图6所示，所述步骤1的具体步骤为：步骤1.1，人脸识别：使用任何现有方法均可以识别出视频中是否存在人脸，并将识别结果传至步骤1.2；

步骤1.2，人脸判断：根据上述步骤1.1得出的结果，若视频中存在人脸，则继续执行步骤2；若视频中不存在人脸，则等待，直至视频帧中出现人脸；

如图7所示，所述步骤2的具体步骤为：

步骤2.1，头部位置模板读取：读取现有的头部位置模型模板，该模板为在不同头部位置中时头部特征。

步骤2.2，头部位置计算：将视频中的脸部像素与读取的头部模板比对，从而找到最相近的模板，则头部位置即为最相近的头部位置。

如图8所示，所述步骤3的具体步骤为：

步骤3.1，神经网络建模：使用神经网络对眼部轮廓进行建立模型，并人为标出眼部轮廓供模型学习。

步骤3.2，将视频输入进完成训练的神经网络中，得出眼部的轮廓特征。眼部轮廓特征为眼睛轮廓在视频中的像素位置，共分为水平方向与垂直方向。

如图9所示，所述步骤4的具体步骤为：

步骤4.1，模型比较；现已知在不同头部位置情况下，用于计算视线落点的随机森林模型。使用上述步骤2计算得到的头部位置与模型中的头部位置进行比较，从而选择最合适的模型。其比较方法为寻找欧式距离θ最小的模型为标准，该比较标准包括参数：头部水平前后距离x₁，头部水平左右距离y₁，头部垂直距离z₁，模型最佳头部水平前后距离x_m，模型最佳头部水平左右距离y_m，模型最佳头部垂直距离z_m：

步骤4.2，模型计算：使用上述步骤4.1选择的最佳模型最为参数，将上述步骤3提取的眼部轮廓特征作为输入，使用随机森林回归算法，计算得到最终的视线落点位置。

本发明提出了一种层级随机森林的模型，去除传统方法中，在使用前需要手动对人眼位置进行标定与校准的繁琐过程，即可准确计算出人眼再屏幕上的视线落点位置；可运行于windows操作系统与linux操作系统的计算机环境中，也可以运行于嵌入式环境中，可移植性强，基本涵盖当今大部分计算平台；仅仅使用一个外接摄像头采集的脸部视频即可计算出人眼的视线落点位置，无需额外的传感器件，避免了使用红外、激光等其他专用传感器来捕捉瞳孔位置，操作简单；使用本发明所计算出来的视线落点位置进行人机交互，适用于代替鼠标进行视线翻页、虚拟现实场景切换、视线辅助驾驶等一系列实现控制应用场景。

Claims (9)

1.一种基于层级随机森林的视线控制系统，包括视频采集模块(1)、特征提取模块(2)、特征分析模块(3)和显示模块(4)；所述视频采集模块(1)、特征提取模块(2)、特征分析模块(3)和显示模块(4)依此连接；其特征在于：

所述视频采集模块(1)，用于采集人脸视频流；

所述特征提取模块(2)，用于从采集到的人脸视频流中提取每一帧，在每一帧图片中提取人脸位置，并且进一步提取人脸中的眼部特征；

所述特征分析模块(3)，用于将上述特征提取模块中的眼部特征进行分析，计算出视线在频幕上的落点位置；

所述显示模块(4)，用于将用户在屏幕上的视线落点显示出来，使用一个外接摄像头采集的脸部视频，即可计算出人眼的视线落点位置；

所述特征分析模块(3)包括随机森林模型单元(31)、模型选择单元(32)与视线落点预测单元(33)；所述随机森林模型单元(31)存有预先训练好的不同头部相对位置与眼球轮廓特征的随机森林模型；模型选择单元(32)用与将上述特征提取模块传递的头部相对位置与上述随机森林模型单元中的每一个模型进行比较，寻找最相似的模型；视线落点预测单元(33)则使用上述模型选择单元选择的最佳模型，将上述特征提取模块(2)传递的眼球轮廓特征进行分析，得出视线落点，并将所得视线落点传递至显示单元；

利用所述基于层级随机森林的视线控制系统进行视线控制，包括如下步骤：

步骤1:人脸识别，若视频帧中存在人脸，则执行步骤S2；若视频中不存在人脸，则等待，直至视频帧中出现人脸；

步骤2:计算视频帧中人脸的头部位置；

步骤3：提取人脸的眼部轮廓特征；

步骤4：使用层级随机森林模型计算视线落点：首先使用上述步骤2计算得到头部位置，分别与现存模型中的所使用的头部位置进行比较，寻找最合适的模型；其次使用选择得到的最佳模型参数，将上述步骤3提取的人脸眼部轮廓作为输入，最终计算得出视线落点位置；

所述步骤2的具体步骤为：

步骤2.1，头部位置模板读取：读取现有的头部位置模型模板，该模板为在不同头部位置中时头部特征；

步骤2.2，头部位置计算：将视频中的脸部像素与读取的头部模板比对，从而找到最相近的模板，则头部位置即为最相近的头部位置；

所述步骤4的具体步骤为：

步骤4.1，模型比较；现已知在不同头部位置情况下，用于计算视线落点的随机森林模型；使用上述步骤2计算得到的头部位置与模型中的头部位置进行比较，从而选择最合适的模型；其比较方法以寻找欧式距离θ最小的模型为标准；

步骤4.2，模型计算：使用上述步骤4.1选择的最佳模型最为参数，将上述步骤3提取的眼部轮廓特征作为输入，使用随机森林回归算法，计算得到最终的视线落点位置。

2.根据权利要求1所述的基于层级随机森林的视线控制系统，所述视频采集模块(1)包括视频采集单元(11)与指示单元(12)；所述视频采集单元(11)用于采集人脸视频流，并将采集到的视频流传输至特征提取模块(2)；所述指示单元(12)用于指示目前视频采集单元处于工作状态或者非工作状态。

3.根据权利要求1所述的基于层级随机森林的视线控制系统，所述特征提取模块(2)包括头部位置测量单元(21)与眼部特征提取单元(22)；所述头部位置测量单元(21)用于测量被测人头部与上述采集模块的相对位置；眼部特征提取单元(22)用于提取上述眼球轮廓特征，眼球轮廓特征为眼球轮廓在视频中的相对位置；所述的头部与采集模块的相对位置与眼球轮廓特征将被传输至特征分析模块(3)。

4.根据权利要求1所述的基于层级随机森林的视线控制系统，所述显示模块(4)包含指示光标单元(41)与显示单元(42)；指示光标将显示在显示单元上，代表用户视线的落点位置。

5.一种基于层级随机森林的视线控制方法，采用权利要求1所述的基于层级随机森林的视线控制系统进行操作，其特征在于具体操作步骤如下：

步骤1:人脸识别，若视频帧中存在人脸，则执行步骤S2；若视频中不存在人脸，则等待，直至视频帧中出现人脸；

步骤2:计算视频帧中人脸的头部位置；

步骤3：提取人脸的眼部轮廓特征；

步骤4：使用层级随机森林模型计算视线落点：首先使用上述步骤2计算得到头部位置，分别与现存模型中的所使用的头部位置进行比较，寻找最合适的模型；其次使用选择得到的最佳模型参数，将上述步骤3提取的人脸眼部轮廓作为输入，最终计算得出视线落点位置。

6.根据权利要求5所述的基于层级随机森林的视线控制方法，其特征在于，所述步骤1的具体步骤为：

步骤1.1，人脸识别：使用任何现有方法均可以识别出视频中是否存在人脸，并将识别结果传至步骤1.2；

步骤1.2，人脸判断：根据上述步骤1.1得出的结果，若视频中存在人脸，则继续执行步骤2；若视频中不存在人脸，则等待，直至视频帧中出现人脸。

7.根据权利要求5所述的基于层级随机森林的视线控制方法，其特征在于，所述步骤2的具体步骤为：

步骤2.1，头部位置模板读取：读取现有的头部位置模型模板，该模板为在不同头部位置中时头部特征；

步骤2.2，头部位置计算：将视频中的脸部像素与读取的头部模板比对，从而找到最相近的模板，则头部位置即为最相近的头部位置。

8.根据权利要求5所述的基于层级随机森林的视线控制方法，其特征在于，所述步骤3的具体步骤为：

步骤3.1，神经网络建模：使用神经网络对眼部轮廓进行建立模型，并人为标出眼部轮廓供模型学习；

步骤3.2，眼睛轮廓提取：将视频输入进完成训练的神经网络中，得出眼部的轮廓特征；眼部轮廓特征为眼睛轮廓在视频中的像素位置，共分为水平方向与垂直方向。

9.根据权利要求5所述的基于层级随机森林的视线控制方法，其特征在于，所述步骤4的具体步骤为：

步骤4.1，模型比较；现已知在不同头部位置情况下，用于计算视线落点的随机森林模型；使用上述步骤2计算得到的头部位置与模型中的头部位置进行比较，从而选择最合适的模型；其比较方法以寻找欧式距离θ最小的模型为标准；

步骤4.2，模型计算：使用上述步骤4.1选择的最佳模型最为参数，将上述步骤3提取的眼部轮廓特征作为输入，使用随机森林回归算法，计算得到最终的视线落点位置。

Images