CN104200192A

CN104200192A - 驾驶员注视检测系统

Info

Publication number: CN104200192A
Application number: CN201410024759.3A
Authority: CN
Inventors: W.张; D.利瓦伊; D.E.纳奇特加尔; F.德拉托尔; D.黄
Original assignee: Carnegie Mellon University; GM Global Technology Operations LLC
Current assignee: Carnegie Mellon University; GM Global Technology Operations LLC
Priority date: 2013-01-18
Filing date: 2014-01-20
Publication date: 2014-12-10
Anticipated expiration: 2034-01-20
Also published as: US9405982B2; US20140204193A1; CN104200192B

Abstract

本发明涉及驾驶员注视检测系统。具体地，提供了一种用于基于车辆驾驶员的估计的注视方向来检测眼睛偏离道路状况的方法，其包括在由车载摄像装置捕获的图像输入数据内监测驾驶员的面部特征点。基于监测的面部特征来检测驾驶员的眼球的多个眼睛特征中每个眼睛特征的位置。基于监测的面部特征点来估计驾驶员的头部姿势。基于多个眼睛特征中每个眼睛特征的检测的位置和估计的头部姿势来估计驾驶员的注视方向。

Description

驾驶员注视检测系统

相关申请的交叉引用

本申请要求2013年1月18日提交的美国临时申请No. 61/754,134的权益，所述美国临时申请在此通过引用被并入。

技术领域

本发明涉及实时估计驾驶员的注视方向。

背景技术

在该部分中的声明仅提供与本发明相关的背景信息。因此，这样的声明并不旨在构成对现有技术的承认。

具有监测车辆的操作者并检测操作者没有注意道路场景的能力的车辆允许采取措施，以防止由操作者不注意导致的车辆碰撞。例如，可以启用警报系统以便警告驾驶员注意他或她不专心。此外，如果确定驾驶员即使在被警告之后仍然没有变得专心，则可启用自动制动和自动转向系统以使车辆停止。

已知的是，利用驾驶员监测摄像装置，所述驾驶员监测摄像装置构造成监测驾驶员并检测眼睛偏离道路(EOR)状况，所述EOR状况指示了驾驶员的眼睛不在道路上。然而，由于下述原因，包括了头部姿势和眼睛注视方向的组合的实时注视跟踪在车辆环境中是富有挑战性的，所述原因包括：(1)驾驶员的不同高度和面部特征使得难以关于头部姿势和注视方向来校准摄像装置；(2)未知的照明状况导致了对面部特征的不可靠的检测；以及，(3)在包含于由摄像装置捕获的图像数据中的视频流中难以跟踪驾驶员的头部姿势的急剧变化。

发明内容

一种用于根据车辆驾驶员的估计的注视方向来检测眼睛偏离道路状况的方法，所述方法包括在由车载摄像装置捕获的图像输入数据内监测驾驶员的面部特征点。根据监测的面部特征来检测关于驾驶员眼球的多个眼睛特征中的每个眼睛特征的位置。根据监测的面部特征点来估计驾驶员的头部姿势。根据多个眼睛特征中每个眼睛特征的检测位置和估计的头部姿势来估计驾驶员的注视方向。

本发明还包括以下方案：

1. 一种用于基于车辆驾驶员的估计的注视方向来检测眼睛偏离道路状况的方法，包括：

在由车载摄像装置捕获的图像输入数据内监测所述驾驶员的面部特征点；

基于监测的所述面部特征点来检测所述驾驶员的眼球的多个眼睛特征中的每个眼睛特征的位置；

基于监测的所述面部特征点来估计所述驾驶员的头部姿势；以及

基于所述多个眼睛特征中每个眼睛特征的检测的位置信息和估计的所述头部姿势来估计所述驾驶员的注视方向。

2. 根据方案1所述的方法，其中，根据以下步骤来提取监测的所述面部特征点，包括：

对于第一图像帧，检测所述驾驶员的面部并且从检测的所述面部提取所述面部特征点；

对于在所述第一图像帧之后的每个相继的图像帧：

识别包含了从一个或多个先前的图像输入帧提取的所述面部特征点的候选区域；以及

仅在所述候选区域内识别所述面部特征点。

3. 根据方案1所述的方法，其中，检测所述驾驶员的眼球的多个眼睛特征中每个眼睛特征的位置包括：

检测虹膜的位置；

检测表示了最接近鼻梁的内眼角的第一眼角的位置；以及

检测表示了外眼角的第二眼角的位置。

4. 根据方案3所述的方法，其中，检测所述驾驶员的眼球的多个眼睛特征中每个眼睛特征的位置还包括：

为所述多个眼睛特征中的每个对应的眼睛特征训练分类器，包括：

围绕从数据库获得的与所述对应的眼睛特征相应的参考眼睛特征来指定图像块；以及

识别指定的所述图像块中围绕所述参考眼睛特征居中的一个或多个图像块。

5. 根据方案4所述的方法，还包括：

对于第一图像帧内的每个对应的眼睛特征：

基于亮度大小和检测的边缘强度利用两个统计先验来选择表示了所述对应的眼睛特征的候选像素；

基于所述两个统计先验的加权和来计算每个候选像素的置信分数；

选择各自均具有大于置信分数阈值的相应的置信分数的顶尖候选像素；

将所述顶尖候选像素中的每个顶尖候选像素与训练好的分类器进行比较，以产生与所述顶尖候选像素中每个顶尖候选像素相应的分类器响应；以及

基于所产生的所述顶尖候选像素的分类器响应在所述第一图像帧内检测所述对应的眼睛特征的位置。

6. 根据方案5所述的方法，还包括：

对于在所述第一图像帧之后的每个相继的图像帧内的每个对应的眼睛特征：

识别在紧接在前的图像帧中检测的所述对应的眼睛特征周围的补充面部特征点；

从所述紧接在前的图像帧到对应的图像帧，跟踪所述补充面部特征点中每个补充面部特征点的位置变化；

基于所述支持特征点的跟踪的位置变化来估计所述对应的图像帧中的所述对应的眼睛特征的初始位置；

在围绕所述对应的眼睛特征的估计的初始位置的区域内，为多个像素中的每个像素计算置信分数；

在围绕所述估计的初始位置的区域内选择顶尖候选像素，其中，每个顶尖候选像素具有大于所述置信分数阈值的相应的置信分数；

将所述顶尖候选像素与所述训练好的分类器进行比较，以产生所述顶尖候选像素中每个顶尖候选像素的分类器响应；以及

基于具有最高分类器响应的顶尖候选像素，在所述对应的图像帧内检测所述对应的眼睛特征的位置。

7. 根据方案6所述的方法，其中，在围绕所述对应的眼睛特征的估计的初始位置的区域内的多个像素仅包括具有超过弱边缘阈值的检测的边缘响应的像素。

8. 根据方案1所述的方法，其中，基于监测的所述面部特征点来估计所述驾驶员的头部姿势包括：

在输出空间中，在偏摆角度的范围内产生多个均匀隔开的偏摆角度；

在输入空间中：

产生分别与所述均匀隔开的偏摆角度中相应的偏摆角度相关联并且通过相应的均值和基参数化的多个子空间；

在最靠近监测的所述面部特征点的多个子空间当中识别两个候选子空间；以及

在具有与监测的所述面部特征点相关联的最低重构误差的两个候选子空间当中选择邻近子空间；以及

基于所述输出空间中的与所述输入空间中的选择的邻近子空间相关联的均匀隔开的偏摆角度来估计所述驾驶员的头部姿势。

9. 根据方案8所述的方法，其中，估计所述驾驶员的头部姿势还包括：

在所述输入空间中抽样多个训练图像，其分别与相应的训练好的偏摆角度相关联，其中，所述训练好的偏摆角度在所述输出空间中的角度范围内非均匀地隔开；

基于所产生的多个均匀隔开的偏摆角度和所产生的多个子空间来重构每个训练好的图像和每个相关联的训练好的偏摆角度；以及

基于重构的训练图像中的一个重构的训练图像和与之相关联的训练好的偏摆角度来估计所述驾驶员的头部姿势。

10. 根据方案1所述的方法，还包括：

在监测所述驾驶员的面部特征点之前：

将检测区域设置在包含了由侧面面部检测器检测的所述驾驶员的面部位置的图像输入数据内；

利用相对于所述偏摆角度的已知的面部中心的存储数据，在所述检测区域内估计所述驾驶员的检测的面部位置的偏摆角度，以产生矫正的面部位置；以及

利用所述矫正的面部位置在所述图像输入数据内估计所述驾驶员的头部姿势。

11. 根据方案1所述的方法，其中，基于所述多个眼睛特征中每个眼睛特征的检测的位置信息和估计的所述头部姿势来估计所述驾驶员的注视方向包括：

检测所述眼球的第一眼角和第二眼角中每一个的位置；

计算所述眼球的第一眼角和第二眼角中的每一个的检测位置之间的中点；

利用计算的所述中点和基于所述估计的头部姿势的两个校正来计算所述眼球的中心；

基于检测的所述第一眼角与所述第二眼角之间的距离和所述估计的头部姿势计算所述驾驶员的面部的比例；

基于使所述眼球的归一化半径与所述面部的计算的比例相乘来计算所述眼球的半径；以及

基于所述眼球的计算的半径和所述眼球的计算的中心来估计所述驾驶员的注视方向。

12. 根据方案1所述的方法，还包括：

识别所述驾驶员的注视位置，所述注视位置对应于所述估计的注视方向与所述车辆的挡风玻璃面相交的点；

将识别的所述驾驶员的注视位置与所述挡风玻璃面内的路面相比较；以及

只有当识别的所述注视位置在所述路面外时，才检测到所述眼睛偏离道路状况。

13. 根据方案1所述的方法，其中，所述车载摄像装置包括在所述车辆内部上接近方向盘安装的单目摄像装置，所述单目摄像装置构造成捕获朝向所述驾驶员指向的视野。

14. 根据方案1所述的方法，还包括：

在所述车辆内部中的弱光状况期间，利用红外发光器照亮所述车辆的内部。

15. 根据方案1所述的方法，还包括：

在监测所述驾驶员的面部特征点之前，在预定数量的图像帧期间进行自动校准，使得基于所产生的偏差为所述驾驶员特定地调节所述估计的头部姿势和所述估计的注视方向，所述自动校准包括：

监测与所述驾驶员的每个眼球的中心之间的距离对应的内眼距离；

基于监测的所述内眼距离来确定所述驾驶员的头部的比例；

校准所述摄像装置，以估计从所述摄像装置到所述驾驶员的距离；

基于估计的所述距离来计算所述驾驶员的注视离所述摄像装置的位移；

基于注视的所述位移来确定所述驾驶员的高度；以及

产生所述偏差，以便基于所述驾驶员的头部的确定的高度和比例来调节所述驾驶员的所述估计的头部姿势和所述估计的注视方向。

16. 一种用于估计车辆的驾驶员的注视方向的设备，包括：

车载单目摄像装置，其用于在朝向所述驾驶员的面部指向的视野中捕获图像数据；

检测和跟踪模块，其用于从由所述摄像装置捕获的图像数据中提取所述驾驶员的面部特征点，并且基于提取的所述面部特征点来检测和跟踪所述驾驶员的眼球的虹膜以及第一眼角和第二眼角中每一个的位置；

头部姿势估计模块，其利用提取的所述面部特征点来估计所述驾驶员的头部姿势；以及

注视方向估计模块，其用于基于估计的所述头部姿势和所述虹膜以及所述第一眼角和所述第二眼角中每一个的检测和跟踪的位置在几何模型中估计所述驾驶员的注视方向。

17. 根据方案16所述的设备，其中，所述检测和跟踪模块利用主动外观模型(AAM)从所述驾驶员的面部提取所述面部特征点，所述面部利用开源计算机视觉面部检测器来检测。

18. 根据方案16所述的设备，其中，所述检测和跟踪模块利用了支持向量机分类器来检测所述虹膜以及所述第一眼角和所述第二眼角中每一个的位置，并且利用跟踪的Kanada-Lucas-Tomas方法来跟踪相继的图像帧中的相应的位置。

19. 根据方案16所述的设备，其中，所述头部姿势估计模块利用了被监督的局部子空间学习，以便由稀疏的且非均匀隔开抽样的训练集来建立局部线性模型，从而估计所述驾驶员的头部姿势。

20. 根据方案16所述的设备，还包括：

红外发光器，其用于在弱光状况期间照亮所述车辆的内部。

附图说明

现在将参考附图作为示例来描述一个或多个实施例，附图中：

图1图示了根据本发明的在车辆内的驾驶员和驾驶员注视跟踪系统的部件的示例性非限制视图；

图2图示了根据本发明的图1的驾驶员注视跟踪系统的示意图；

图3图示了根据本发明的与图1和图2的驾驶员注视跟踪系统结合利用的示例性眼睛偏离道路检测系统；

图4图示了根据本发明的将支持向量机(SVM)分类器用于检测眼球的多个眼睛特征中每个眼睛特征的位置的示例性流程图；

图5图示了根据本发明的、与图4的示例性流程图结合使用的示例性流程图，用于检测和跟踪眼球的多个眼睛特征中每个眼睛特征的位置；

图6图示了根据本发明的、利用由图3的方框112执行的被监督的局部子空间学习(Supervised Local Subspace Learning)来训练子空间的示例性实施例；

图7图示了根据本发明的、利用了图6的训练好的子空间的、由图3的方框112执行的头部姿势估计的示例性实施例；

图8图示了根据本发明的、由图3的方框110执行的关于多个眼睛特征中每个眼睛特征的检测和跟踪位置的图2的驾驶员注视跟踪系统200的几何模型、以及由图3的方框112执行的头部姿势估计；

图9-1和图9-2图示了根据本发明的用于估计驾驶员注视方向的图8的几何模型的解剖学约束；以及

图10图示了根据本发明的用于确定俯仰角度的几何模型，所述几何模型描述了驾驶员的头部相对于图1的单目摄像装置的高度。

具体实施方式

现在参考附图，其中显示内容仅为了图示某些示例性实施例，而不是为了限制这些示例性实施例，图1图示了根据本发明的在车辆内的驾驶员和驾驶员注视跟踪系统的部件的示例性视图。驾驶员注视跟踪系统包括车载单目摄像装置10，车载单目摄像装置10构造成捕获朝向驾驶员指向的视野(FOV)中的图像数据。捕获的图像数据包括视频流，所述视频流包括连续捕获的多个图像帧。摄像装置10能够接收光或其他辐射，并且例如利用电荷耦合装置(CCD)传感器或互补金属氧化物半导体(CMOS)传感器中的一种将光能量转变成像素形式的电信号。摄像装置10与非瞬时处理装置(即，图2的处理器20)信号通信，所述非瞬时处理装置构造成接收捕获的图像数据，并实时输出对驾驶员的注视方向的连续估计。处理器可在车辆的任意合适的舱室内实现，使得可接收由摄像装置10捕获的图像输入数据。摄像装置10安装在车辆的内部中。在一个实施例中，摄像装置10安装在位于方向盘柱上方的车辆仪表板上，以缓解对驾驶员注视的俯仰角度的估计，使得可在较高的计算效率的情况下获得对驾驶员何时在发送短信的检测。驾驶员注视跟踪系统还包括红外发光器12，红外发光器12，构造成在朝着驾驶员的方向上投射红外光，使得在诸如夜间期间的弱光状况期间能够通过摄像装置10获得驾驶员面部的清晰图像。与利用直接光源相比，红外光不会影响驾驶员的视觉。此外，捕获的图像数据不会遭受当利用近红外光源时产生的“亮瞳”。在一个实施例中，摄像装置不包括挡住超出预定波长的红外光的红外滤光器。

控制模块、模块、控制机构、控制器、控制单元、处理器和类似的术语指的是下述各项中任意一项或者下述各项中的一项或多项的各种组合，所述各项包括：专用集成电路(ASIC)、电子电路、执行一种或多种软件或固件程序或例程的中央处理单元(优选地，微处理器)和相关联的内存和存储器(只读的、可编程只读的、随机存取的、硬盘驱动器，等等)、组合逻辑电路、输入/输出电路和装置、合适的信号调节和缓冲电路、以及提供了所描述功能的其它合适部件。软件、固件、程序、指令、例程、代码、算法和类似的术语指的是包括校准和查阅表（或查找表）的任何指令集。控制模块具有被执行以提供所期望的功能的一组控制例程。例程由例如中央处理单元来执行，并且可操作以监测来自感测装置及其他联网控制模块的输入，以及执行控制和诊断例程以控制致动器的操作。可在进行的发动机和车辆操作期间以有规律的间隔来执行例程，例如每隔3.125、6.25、12.5、25和100毫秒来执行例程。替代性地，可响应于事件的发生来执行例程。

本文的实施例针对的是：基于由摄像装置10捕获并由处理器20处理的图像输入数据，实时估计驾驶员的注视方向。在图1的图示实施例中，描绘了估计的注视方向90、90'。从这些注视方向中的每个注视方向，可识别驾驶员的注视位置。如在此所使用地，术语“注视位置”描述了估计的注视方向与车辆的挡风玻璃面相交的点。可以将与估计的注视方向90、90'中相应的估计注视方向对应的注视位置与挡风玻璃面内的路面50相比较，以确定是否能够检测到眼睛偏离道路状况。例如，与估计的注视方向90对应的注视位置在路面50内，从而指示了驾驶员的眼睛（例如，注视方向）在车辆前面的道路场景上。相反，与估计的注视方向90'对应的注视位置在路面50外，从而导致检测到眼睛偏离道路状况。当检测到眼睛偏离道路状况时，可报警或采取其他措施，以得到驾驶员的关注，使得驾驶员使他/她的眼睛回到道路场景上并保持住。

图2图示了根据本发明的图1的驾驶员注视跟踪系统200的示意图。驾驶员注视跟踪系统200的部件包括单目摄像装置10和处理装置20。处理装置20包括检测和跟踪模块22、头部姿势估计模块24和注视方向估计模块26。

检测和跟踪模块22在由车载装置捕获的图像输入数据内监测驾驶员的面部特征点。具体地，在检测到驾驶员的面部之后，提取面部特征点。如在此所使用地，术语“面部特征点”可包括在眼睛、鼻子和嘴巴区域周围的点以及勾画出驾驶员的被检测的面部的轮廓部分的点。基于监测的面部特征点，可检测到驾驶员眼球的多个眼睛特征中每个眼睛特征的初始位置。如在此所使用地，眼睛特征包括眼球的虹膜以及第一和第二眼角。因此，检测多个眼睛特征中每个眼睛特征的位置包括：检测虹膜的位置、检测第一眼角的位置以及检测第二眼角的位置。第一眼角表示最接近鼻梁的内眼角，并且第二眼角表示外眼角。在一个实施例中，检测和跟踪模块22白皮肤的人调节面部跟踪行为。一般地，关于检测的面部的置信值在白皮肤的人中较低。一种解决方案是密集搜索，改变跟踪器在图像的一些地方中的阈值。

头部姿势估计模块24也利用了监测的面部特征，以估计驾驶员的头部姿势。如在此所使用地，术语“头部姿势”描述了这样的角度，所述角度指的是驾驶员的头部相对于摄像装置的摄像平面的相对取向。在一个实施例中，头部姿势包括驾驶员的头部相对于摄像平面的偏摆角度和俯仰角度。在另一实施例中，头部姿势包括驾驶员的头部相对于摄像平面的偏摆角度、俯仰角角和倾侧角度。在一个实施例中，可以以15 Hz从-90度至90度跟踪头部姿势。

注视方向估计模块26基于估计的头部姿势和对于虹膜以及第一和第二眼角中每一个的检测位置通过几何模型来估计驾驶员的注视方向(和注视角度)。应意识到的是，在头部姿势和照明突变的情况下，跟踪面部特征点的能力可能暂时丧失。在这种情形中，可研制重新初始化机构（或重新初始化机制），以重新定位眼角和虹膜。在驾驶员注视跟踪系统200主要用于实时估计注视方向时，系统可以被扩展，以便对其他分心状况(例如，疲劳、打瞌睡、用电话聊天、吃喝和吸烟)进行分类，从而识别驾驶员的情绪和重新收集驾驶员的其他信息(例如，性别、年龄、眨眼率、临时的注视方向变化)。

在一个实施例中，在全自动过程中校准驾驶员注视跟踪系统200，所述全自动过程使用了来自驾驶员的包括了高度、内眼间距和座椅定位的信息，以便特定于驾驶员来调节头部姿势估计和注视方向估计。该自动校准在通过驾驶员进行的车辆的钥匙接通事件之后的第一预定的多个图像帧期间进行。在非限制性示例中，所述预定的多个图像帧包括50个图像帧，并且仅利用驾驶员正面的检测。驾驶员的内眼间距（inner ocular distance）描述了驾驶员的每个眼球的中心之间的距离，从而确定驾驶员的头部的比例。此外，可校准摄像装置10，以便估计从摄像装置10到驾驶员的距离，使得可计算驾驶员的注视离摄像装置的位移。其后，可基于注视的位移来确定驾驶员的高度。自动校准过程还产生偏差，以便基于驾驶员头部的确定的高度和比例来调节驾驶员的估计的头部姿势和估计的注视位置。

图3图示了根据本发明的、与图1和图2的驾驶员注视跟踪系统结合利用的示例性眼睛偏离道路(EOTR)检测系统100，用于检测EOTR状况。EOTR检测系统100可由非瞬时处理器20来执行。参考块102，通过从单目摄像装置捕获的输入图像数据来检测驾驶员面部。在检测和跟踪模块22中进行面部检测。可利用开源计算机视觉(Open CV)面部检测器来检测驾驶员的面部。Open CV面部检测器可包括正面面部检测器和侧面面部检测器。

在方框104处，图示了检测到的面部的图像。利用主动外观模型(AAM)，可从检测到的面部中检测和提取多个面部特征点107-111，然后进行监测。这些面部特征点由检测和跟踪模块提取。在非限制性示例中，AAM检测和提取66个面部特征点。在一个实施例中，从第一图像帧的检测的面部来提取面部特征点。对于在第一图像帧之后的每个相继的图像帧，识别包含了从一个或多个先前的图像输入帧提取的面部特征点的候选区域105。可仅在相继的图像帧的每个图像帧中的候选区域105内识别面部特征点，使得由于不需要在每个图像帧中检测驾驶员的面部，所以减少了处理时间。在所图示的实施例中，多个面部特征点包括最接近驾驶员的眼睛的特征点107、最接近驾驶员的鼻子和嘴巴的面部特征点109和在驾驶员面部的轮廓上的面部特征点111。

在方框110处，基于方框104的监测的面部特征点来检测驾驶员的眼球的多个眼睛特征中每个眼睛特征的位置。具体地，检测虹膜的位置，检测第一眼角的位置，和检测第二眼角的位置。

示例性实施例涉及面部特征检测和跟踪例程，其由检测和跟踪模块执行，用于在相继的图像帧中检测多个眼睛元件中每个眼睛元件的位置。通常，定位虹膜和眼角对于低分辨率摄像机来说是非常精细的任务。参考图4，其图示了根据本发明的、利用支持向量机(SVM)分类器来检测多个眼睛特征中每个眼睛特征的位置的示例性非限制性流程图500。将参考检测虹膜的位置来描述所图示的实施例；然而，流程图500被等同地应用于检测第一和第二眼角中每个眼角的位置。流程图500包括训练状态610和测试状态614。在训练状态610期间，方框620应用从数据库获得的抽样参考虹膜周围的多个图像块。在方框622处，可基于每个图像块内像素的亮度梯度或边缘取向的分布，从多个图像块获得有向梯度直方图(HOG)。方框624监测由表示了在虹膜处居中定位的图像块的HOG指示的肯定样本，并且监测表示了不是来自于虹膜区域的图像分块的否定样本。因此，指定的图像块中的一个或多个图像块在方框624处可由SVM分类器识别为关于虹膜居中定位。在测试状态614期间，将SVM分类器应用于整个图像是效率低并且易于出错的。替代地，在方框616处监测测试图像。在一个实施例中，测试图像包括由图1的单目摄像装置10捕获的驾驶员面部的图像。在方框618处将置信映射应用于测试图像。方框626基于亮度大小和检测的边缘强度利用两个统计先验来选择表示了虹膜位置的一个或多个候选像素。这些统计先验基于观察到的以及存储在数据库中的对多个单独面部的统计。在方框628处，根据以下关系基于两个统计先验的加权和来对每个候选像素计算置信分数。

[1]

其中，表示置信分数，

表示置信变量，

表示亮度大小，并且

表示边缘强度。

一般，具有小于亮度阈值的亮度大小的候选像素表示了虹膜中心，并且具有大于边缘强度阈值的检测的边缘强度的候选像素表示在瞳孔、巩膜和上下眼睑之间围绕虹膜中心的区域。因此，提高的置信分数表示了具有小于亮度阈值的亮度大小和/或大于边缘强度阈值的检测的边缘强度的像素。方框628选择各自均具有大于置信分数阈值的相应的置信分数的顶尖候选像素位置。对于每个顶尖候选像素位置，在相邻区域内提取HOG特征。方框630将来自方框624的SVM分类器应用至顶尖候选像素位置中的每个顶尖候选像素位置，以产生对于顶尖候选像素位置中每个顶尖候选像素位置的分类器响应。从具有最高的分类器响应的顶尖候选位置检测虹膜的位置。

图5图示了根据本发明的、与图4的示例性流程图500结合使用的示例性流程图600，用于检测和跟踪眼球的多个眼睛特征中每个眼睛特征的位置。将参考检测虹膜的位置来描述所图示的实施例；然而，流程图600被等同地应用于检测第一和第二眼角中的每个眼角的位置。应意识到的是，由于噪声、照明的变化和图像扭曲的缘故，所以仅跟踪图像数据中的单个点是有缺点的。

为了检测和跟踪对应图像帧中的虹膜的位置，方框502首先识别在紧接在前的图像帧502'中检测的虹膜501的位置。应意识到的是，当对应的图像帧包括第一图像帧时，将利用由图4的方框630检测到的虹膜的位置。方框504对在紧接在前的图像帧502'中检测到的虹膜501的位置周围的补充特征点503进行识别。补充特征点503包括由图3的方框104提取的面部特征点的一部分。在非限制性实施例中，补充特征点包括在虹膜中心附近的角点。本文中的示例性实施例涉及采用了Kanada-Lucas-Tomas(KLT)方法的方框504，以便跟踪相继的帧之间的补充特征点503。应意识到的是，在每个支持特征点的运动可独立表现出差异的同时，每个支持特征点对跟踪对象的总方向达成一致。因此，即使有些点被不精确地跟踪或丢失，但是由所有支持特征点共享的一致性可消除在个体中存在的噪声。在方框504处应用的KLT跟踪方法在方框506处表示了特征点S中的每一个和它们的位移，其中，估计的虹膜中心的位移可表示如下。

[2]。

在对应(例如，当前)的图像帧506'中，图示了虹膜的估计的初始位置507和跟踪的多个特征点505。虹膜的估计位置被计算为通过变换的先前位置(例如，方框502和紧接在前的图像帧502')。因此，从紧接在前的图像帧502'到对应的图像帧506'来跟踪补充面部特征点中每个补充面部特征点的位置变化。在给定了对应的图像帧506'中的虹膜的估计的初始位置507 的情况下，方框508围绕虹膜的估计的初始位置507 应用窗口511。在对应的图像帧506'中图示的由窗口511限定的区域内，方框508为设置在其中并且在虹膜的估计的初始位置507周围的多个像素中每个像素计算置信分数。应意识到的是，利用如以上参考图5的方框628所描述的方程[1]来计算置信分数。如参考图5的方框628描述的那样，方框508还在由窗口511限定的区域内选择顶尖候选像素，其中，每个顶尖候选像素具有大于置信分数阈值的相应的置信分数。方框508还将选择的顶尖候选像素与图5的方框624的训练的SVM分类器进行比较，以便为顶尖候选像素中的每个顶尖候选像素产生分类器响应。在方框510处，基于具有最高分类器响应的顶尖候选像素在对应的图像帧506'内检测虹膜的位置513。在大多数情况下，来自头发和眉毛区域的像素由于它们低的亮度（intensity）大小，所以常常在分类器响应的列表中排位较高。然而，统计先验指示头发和眉毛区域一般具有低的检测的边缘响应。在一个实施例中，由围绕虹膜的估计的初始位置507的窗口511限定的区域内的多个像素仅包括具有超过弱的边缘阈值的检测的边缘响应的像素。换句话说，对于顶尖候选像素的选择不考虑指示了头发和眉毛区域的像素。

图4和图5的流程图被等同地应用于检测其他眼睛元件中每个眼睛元件的相应位置，包括第一和第二眼角。可设想到其他的实施例，其中，除了多个眼睛元件中的一个或多个的位置之外，还检测嘴巴的位置。

应意识到的是，面部特征检测和跟踪的现有方法通常属于各自均具有相应缺点的以下类别中的一种。例如，主动外观模型(AAM)难以实时实现。另外，模板匹配在头部姿势和照明的突变情况下不可靠。此外，只检测的方法适度地快且可靠，但可通过提供感兴趣的区域(例如，窗口511)以限制搜索区域来改善。

返回参考图3，方框112利用图2的头部姿势估计模块24基于监测的面部特征点在图像输入数据内估计驾驶员的头部姿势。应理解的是，估计的头部姿势和多个眼睛元件的位置在被结合以便用于方框116的最终注视方向估计之前，在EOTR检测系统100中被单独地处理。将意识到的是，在方框110中检测的多个眼睛元件的位置可用于确定估计的注视角度。头部姿势估计对确定驾驶员的眼睛注视观察方向必不可少，其中，注视方向是头部姿势和眼睛注视角度的组合。

用于连续头部姿势估计的现有方法可分组成各自均具有相应缺点的四个主要类别：外观模板方法、基于分类的方法、基于回归的方法和基于嵌入的方法。与外观模板方法相关的缺点是，模板经常对包括表情和/或照明的噪声敏感，并且典型地需要均匀抽样的训练数据以取得准确的结果。与基于分类的方法相关的一个缺点是：训练数据中的非均匀的抽样仅导致返回离散的头部姿势估计。基于回归的方法的缺点是，它们遭受不规则分布的训练数据，在有限训练样本的情况下倾向于过度拟合，并且对于训练或测试图像中的噪声不够稳健（或者鲁棒）。基于嵌入的方法的缺点是，它们本质上是无监督的，并且不提取结合了类信息的特征。

现有的基于回归的方法从图像特征直接推导出头部姿势(偏摆角度和俯仰角度)，并且比其他现有的方法稳健得多。基于回归的方法可包括主分量回归(PCR)和岭回归(RR)。PCRPCR可去除与角度最大相关联的维，并且RR典型地使解朝小角度偏置。然而，用于这些方法中每种方法的回归的参数被计算成训练样本的平均，导致了对欠抽样的角度的差劣的表示。因此，这些基于回归的方法(线性RR和PCR)倾向于在欠抽样的角度区域中产生较大的误差，然而，由于这些角度(头部姿势)被估计成相邻样本的局部加权组合，并且对训练集的分布不太敏感，所以k最近邻(KNN)稳定地胜过回归方法。尽管KNN可产生比基于回归的方法更好的性能，但是由于KNN需要在测试样本与所有训练数据之间计算相似性，所以KNN的主要缺点是其计算复杂性。由于用于估计头部姿势的实时实现的要求，所以KNN不适合在此描述的实施例。

为了缓解用于估计头部姿势的上述现有方法的缺点，图3的方框112执行从稀疏的且非均匀间隔抽样的训练集来建立局部线性模型的被监督的局部子空间学习(SL²)。SL²可被描述成学习局部相切子空间的混合，所述局部相切子空间的混合对欠抽样区域而言是稳健的，并且由于其正则化特性，所以对过度拟合也是稳健的。

图6图示了根据本发明的、利用由图3的方框112执行的SL²来训练子空间的示例性实施例。输出空间702包括在从-90度到90度的偏摆角度的范围内产生的多个均匀隔开的偏摆角度。输出空间701包括各自均与输出空间702的均匀隔开的姿势角度中相应的姿势角度相关的多个相切子空间710、712、714、716和718。每个子空间通过阴影圆711、713、715、717和719表示的相应均值以及及相应的基来参数化。如在此所使用地，术语“基”指的是输出空间702的偏摆角度的均匀隔开的范围内的偏摆角度子范围。在所图示的实施例中，在输入空间701中对多个训练图像抽样，所述多个训练图像由分别具有与相应训练好的偏摆角度相关联的不同头部姿势的相应方形750、751、752、754和756表示。具有相同附图标记的对应方形投射到输出空间702中。应理解的是，图6的训练图像数据少，因此不会为了基于监测的面部特征点估计头部姿势而均匀地对偏摆角度的范围进行抽样。

在图6的图示实施例中，与不同头部姿势的训练好的图像中相应的图像对应的训练好的偏摆角度在输出空间702中的偏摆角度范围内非均匀地隔开。每个训练好的图像内表示头部姿势的图像特征X（即，面部特征点）常常是高维的，并且在输出空间702中典型地与偏摆角度的范围Θ非线性相关。指示每个训练好的图像中的相应训练好的偏摆角度的图像特征X通过由角度范围Θ参数化的m个局部子空间建模如下。

[3]

其中，指的是第i个相切子空间，

表示每个子空间的均值，

表示每个子空间的基，以及

表示一组均匀抽样的偏摆角度。

利用方程[3]，在第i个子空间(存在m个局部子空间)的均值/中心c_i基于第一阶泰勒展开的确定的角度来产生多个相切的子空间710、712、714、716和718。因此，每个训练好的图像和每个相关联的训练好的偏摆角度可基于所产生的多个均匀隔开的偏摆角度和所产生的多个子空间710、712、714、716和718重构。每个训练好的图像包括通过这些子空间中的子空间重构的训练数据点、，其中，指的是在输入空间701中的位置，并且指的是输出空间702中相关联的相应偏摆角度。在数学上，将从其重构的子空间属于靠近的角度的邻域。随后，表示如下：

[4]

其中，指的是。

SL²还使得与每个局部子空间的中心和基相关联的误差函数最小化如下：

其中，表示候选子空间，

表示平衡两项的参数，以及

表示加权参数。

方程[5]包括：利用这些局部子空间中的子空间来独立近似的每个训练样本的第一项；和，迫使要通过邻近子空间重构每个子空间的均值的第二正则化项。第一项描述了由靠近相关联的相应偏摆角度的角度来选择局部子空间，而第二项确保子空间参数平滑地改变，从而能从稀疏的非均匀图像数据来估计。加权参数将每个邻近子空间的贡献加权至数据样本的重构，并表示如下：

其中，表示与训练好的且均匀抽样的偏摆角度之间的距离成反比的任何正值函数。

利用方程[6]，方框112可通过交替最小二乘法求解方程[5]。

图7图示了根据本发明的、利用图6的训练好的子空间且由图3的方框112执行的头部姿势估计的示例性实施例。图7中相同的附图标记指的是图6中相同的特征。图7图示了输入空间801和输出空间802。在输入空间801内，方框112基于在输入空间801中图示的新的测试数据点x_t 850在多个子空间810、812、814、816和818中识别两个候选子空间816和818。具体地，新的测试数据点x_t 850表示由图1的摄像装置10捕获的对应图像帧内的监测的面部特征点中的一个或多个面部特征点。两个候选子空间816和818是新的测试数据点x_t 850的邻近子空间，并且出于效率目的以两步找到，包括：(1) 定位中心/均值(例如，817和819)在输入空间801中最靠近x_t 850的两个候选子空间（例如，816和818）；以及，(2) 从具有新的测试数据点x_t 850的最低重构误差的两个候选来选择邻近子空间。利用方程[5]和[6]来计算最低重构误差，其中，确定对x_t 850有贡献的候选子空间814和816中每个候选子空间的加权，并且是与第i个子空间的中心相关联的偏摆角度。在图示的实施例中，第i个子空间与邻近子空间816对应。于是，可通过如下重新布置方程[5]使x_t 850的重构误差最小来计算对应图像的最优偏摆角度。

应意识到的是，最优偏摆角度对应于这样的估计的头部姿势，所述估计的头部姿势基于与输入空间801内选择的邻近子空间816相关联的输出空间802的均匀隔开的偏摆角度。由于仅需要计算最优偏摆角度，所以由SL²提供的方法提供了与计算相关的减少的消耗，然而，前面提及的上述现有方法则需要存储所有的训练点并且计算测试数据点与训练集之间的相似性。例如，方程[7]具有O(md+3dk)的计算复杂性，其中，k是邻近子空间的数量，m是子空间的数量，并且d是HOG特征的维数。诸如KNN之类的现有的方法则具有大约O(3n+nd)的计算复杂性，其中，n是训练样本的数量，并且典型地，n要远远大于SL²的m和k。

在有些实施例中，方框112的估计的头部姿势还可包括利用由侧面面部检测器（profile face detector）给定的检测区域来估计偏摆角度，以及利用在训练中学习的关系使用估计的偏摆角度来校正检测的面部位置，从而利用矫正的面部位置来最终估计头部姿势。在方框104中提取并监测驾驶员的面部特征点之前，可在图像输入数据内提供检测区域，以包含由图3的方框102中的侧面面部检测器所检测的驾驶员的面部位置。利用相对于偏摆角度的已知面部中心的存储数据，可在检测区域内估计驾驶员的检测的面部位置的偏摆角度，以产生矫正的面部位置。矫正的面部位置可以像关于方框112的方程[3]-[7]所描述的那样来估计驾驶员的头部姿势。

参考图3的EOTR检测系统100的方框114，利用所期望的任何已知方法对在方框112中估计的头部姿势和在方框110中检测并跟踪的虹膜以及第一和第二眼角中每一个的位置进行过滤和平滑。随后，方框116估计驾驶员注视方向。类似地，驾驶员注视角度由方框116估计。

图8图示了根据本发明的图2的驾驶员注视跟踪系统200关于由图3的方框110执行的多个眼睛特征中每个眼睛特征的检测和跟踪位置以及由图3的方框112执行的头部姿势估计的几何模型。图8的几何模型假定眼球900是球形的，并且已准确地估计了眼角921和922的位置。该几何模型包括眼球900、面部平面、摄像平面901和图1的摄像装置10。沿着面部平面图示了第一眼角922和第二眼角921的检测和跟踪位置。在面部平面下方图示了虹膜950的检测和跟踪位置。估计的头部姿势角度由相对于面部平面和摄像平面901的角度960表示。点930表示从眼球的中心到面部平面902的投影点，并且虚线932表示眼球的半径，两者均通过以下在方程[8]-[10]中表示的计算来估计。虚线的竖直线934表示眼球的中心930与面部平面之间的投影距离。基于相对于估计的头部姿势角度960所获得的解剖学约束系数，可基于虹膜950、第一眼角922、第二眼角921、眼球900的中心930的检测和跟踪位置以及眼球900的半径932，通过以下在方程[11]-[13]中表示的计算由方框116来估计注视角度980和对应的注视方向990。

图9-1和图9-2图示了根据本发明的、用于估计驾驶员的注视方向的图8的几何模型的解剖学约束。图9-1和图9-2的相同的附图标记指的是图8的几何模型中的相同的特征。图9-1图示了眼球1000的自顶向下视图，用于利用估计的头部姿势1060计算眼球的中心1030的偏移。图9-2图示了眼球1000的自顶向下视图，用于估计注视方向1090和注视角度1080。点1034表示眼角1022和1021到点1032的中点“m”，它是眼球中心1030到面部平面上的投影点。线1004表示眼球的中心930与面部平面之间的比例投影距离。线1006表示从中点m 1034到点1032的偏离T。应意识到的是，图9-1和图9-2描绘了眼球的二维图像的自顶向下视图。还图示了图像平面1001，包括投影在其上的来自中点m 1034的投影点1035、来自中心1030的投影点1031和来自点n 1032的投影点1033。在图9-1中相对于头部姿势角度1060图示了头部姿势或头部姿势的方向1070。图9-2还图示了来自虹膜1050的在图像平面1001上的投影点1051。

眼角1021与1022之间的中点1034被表示如下。

[8]

其中，e1是第一眼角1022，以及

e2是第二眼角1021。

驾驶员面部的比例必须基于头部姿势角度Φ 1060通过眼角1021与1022之间的距离来计算。应意识到的是，在完全正面面部中达到S的最小值，其中，头部姿势角度Φ等于零。还应意识到的是，对应图像内的眼角之间的投影距离随着头部旋转量的增大而减小。面部的比例S表示如下：

[9]。

眼球的中心1030 O基于头部姿势角度(Φ_x, Φ_y)利用方程[8]中计算的中点m计算如下：

其中，和表示从中点m 1034到点1032的偏离，以及

SL表示眼球的中心930与面部平面之间的比例投影距离1004。

眼球的半径R 932通过使归一化半径R₀与在方程[9]中计算的面部的比例S相乘获得。

基于以上在方程[8]-[10]中所确定的获得的解剖学约束，估计的注视方向1090表示如下。

其中，和表示注视角度1080。

应意识到的是，注视角度和分别指示了相对于图像平面的偏摆角度和俯仰角度。注视方向基于偏摆角度和俯仰角度来确定。在方程[10]和[11]中，世界坐标中的头部姿势角度和眼睛注视角度取决于解剖学约束R₀、L、T_x和T_y。在一个实施例中，在给定了眼睛注视角度和的情况下，离线计算解剖学约束R₀、L、T_x和T_y。因此，解剖学约束R₀、L、T_x和T_y表示如下。

示例性实施例收集具有实验室校准的注视角度和头部姿势角度的一组训练样本。每个训练样本可采取或的形式。利用第一形式的N_x图像和第二形式的N_y图像，解剖约束R₀、L、T_x和T_y可表示如下。

方程[13]的最小二乘解产生了解剖学约束系数R₀、L、T_x和T_y。

参考图3的EOTR检测系统300的方框118，基于方框116中由方程[11]确定的估计的注视方向、方框106的用于检测驾驶员的面部存在超过45度的偏摆的平均变换、以及方框118的是否已进行了驾驶员戴太阳镜的检测，来作出是否存在EOTR状况的确定。应意识到的是，如果实际上方框108确定驾驶员戴了眼镜或太阳镜，则可实施用于估计驾驶员注视方向的其他方法。

如以上已参考图1的驾驶员的示例性非限制性视图描述的那样，可基于估计的注视方向来识别注视位置，其中，注视位置描述了估计的注视方向与车辆的挡风玻璃面相交的点。如参考图1图示的那样，预定的路面50可覆盖在挡风玻璃面内。如果驾驶员的注视位置在路面外，则EOTR状况存在，并且可采取合适的措施，以重新获得驾驶员的注意。

图10图示了根据本发明的、用于确定描述了驾驶员的头部的高度相对于图1的单目摄像装置10的俯仰角度的几何模型。该几何模型包括眼睛位置1110和安装在方向盘柱顶上的图1的单目摄像装置10。世界坐标系被图示成包括z轴1101和y轴1102。应意识到的是，摄像装置10相对于世界坐标系倾斜，使得可捕获驾驶员面部的图像数据。摄像机的倾斜被表示成角度1130。因此，基于使世界坐标系旋转以摄像机倾斜角度1130来图示包括z'轴1101'和y'轴1102'的摄像坐标系。线1112表示驾驶员的头部相对于摄像坐标系的投影，并且线1190表示驾驶员的注视方向。俯仰角度1134取决于驾驶员的头部相对于摄像装置10的高度，而角度1136相对于其不变。因此，对驾驶员的头部位置不变的注视的估计需要计算俯仰角度1136。基于从俯仰角度1132减去俯仰角度1135计算角度1136。可通过投射相对于y轴和z轴垂直的x轴来为世界坐标系的其他维类似地估计注视偏摆角度，以及可通过投射与y'轴和z'轴垂直的x轴来为摄像坐标系的其他维类似地估计注视偏摆角度。利用俯仰角度1134和对于与注视偏摆角度相关联的其他维类似地确定的偏摆角度，驾驶员的注视方向的三维向量可表示如下。

其中，表示俯仰角度1136，

表示与偏摆角度相关联的对应于其他维的偏摆角度。

利用三维注视向量，可利用参数化的三维线来估计由线1190表示的三维注视方向。三维驾驶员注视位置描述了估计的注视方向与车辆的挡风玻璃面相交的点。

本发明已描述了某些优选的实施例及对所述某些优选实施例的修改。本领域的技术人员在阅读和理解申请文件时可设想到另外的变型和变更。因此，本发明并不旨在局限于作为实施本发明而设想的最佳模式公开的特定实施例，而是本发明将包括落入所附权利要求的范围内的所有实施例。

Claims

1.一种用于基于车辆驾驶员的估计的注视方向来检测眼睛偏离道路状况的方法，包括：

2.根据权利要求1所述的方法，其中，根据以下步骤来提取监测的所述面部特征点，包括：

对于在所述第一图像帧之后的每个相继的图像帧：

仅在所述候选区域内识别所述面部特征点。

3.根据权利要求1所述的方法，其中，检测所述驾驶员的眼球的多个眼睛特征中每个眼睛特征的位置包括：

检测虹膜的位置；

检测表示了最接近鼻梁的内眼角的第一眼角的位置；以及

检测表示了外眼角的第二眼角的位置。

4.根据权利要求3所述的方法，其中，检测所述驾驶员的眼球的多个眼睛特征中每个眼睛特征的位置还包括：

5.根据权利要求4所述的方法，还包括：

对于第一图像帧内的每个对应的眼睛特征：

6.根据权利要求5所述的方法，还包括：

7.根据权利要求6所述的方法，其中，在围绕所述对应的眼睛特征的估计的初始位置的区域内的多个像素仅包括具有超过弱边缘阈值的检测的边缘响应的像素。

8.根据权利要求1所述的方法，其中，基于监测的所述面部特征点来估计所述驾驶员的头部姿势包括：

在输入空间中：

9.根据权利要求8所述的方法，其中，估计所述驾驶员的头部姿势还包括：

10.一种用于估计车辆的驾驶员的注视方向的设备，包括：