CN103442925A - 用于确定驾驶员警觉性的系统和方法 - Google Patents

Abstract

驾驶员警觉性检测系统包括：配置成对车厢中的驾驶员的头部所位于的区域进行成像的成像单元；配置成从成像单元接收图像并确定驾驶员的头部和眼睛的位置的图像处理单元；以及配置成基于如图像处理单元所输出的驾驶员的头部和眼睛的所确定的位置来确定驾驶员是处于警觉状态还是处于非警觉状态中并在驾驶员被确定为处于非警觉状态中时向驾驶员输出警告的警告单元。

Description

用于确定驾驶员警觉性的系统和方法

技术领域

本申请要求通过引用被全部并入本文的于2011年3月25日提交的临时申请61/467849的优先权。本公开通常涉及驾驶员监视系统的领域。更具体地，本公开涉及用于使用图像处理来评估驾驶员的头部位置和眼睛矢量以确定驾驶员的警觉性的系统和方法。

背景技术

驾驶员监视系统变得越来越流行地被包括在车辆中，以便当驾驶员被检测到在非警觉状态中时警告驾驶员。

发明内容

根据一个示例性实施例，一种驾驶员警觉性检测系统包括：配置成对车厢中的驾驶员的头部所位于的区域进行成像的成像单元；配置成从成像单元接收图像并确定驾驶员的头部和眼睛的位置的图像处理单元；以及配置成基于如图像处理单元所输出的驾驶员的头部和眼睛的所确定的位置来确定驾驶员是在警觉状态还是在非警觉状态中并在驾驶员被确定为在非警觉状态中时向驾驶员输出警告的警告单元。

根据另一示例性实施例，一种检测驾驶员警觉性的方法包括：对车厢中的驾驶员的头部所位于的区域进行成像，以获得成像数据；基于成像数据确定驾驶员的头部和眼睛的位置；基于驾驶员的头部和眼睛的所确定的位置来确定驾驶员是在警觉状态还是在非警觉状态中；以及当驾驶员被确定为在非警觉状态中时向驾驶员输出警告。

根据又一示例性实施例，一种存储计算机程序代码的非暂态计算机可读介质，当该计算机程序代码被计算机执行时使计算机执行下列功能：对车厢中的驾驶员的头部所位于的区域进行成像，以获得成像数据；基于成像数据确定驾驶员的头部和眼睛的位置；基于驾驶员的头部和眼睛的所确定的位置来确定驾驶员是在警觉状态还是在非警觉状态中；以及当驾驶员被确定为在非警觉状态中时向驾驶员输出警告。

附图说明

根据下面的描述和在下面简要描述的附图中所示的附随的示例性实施例中，本发明的这些和其它特征、方面和优点将变得清楚。

图1是根据示例性实施例的驾驶员警觉性系统的摄像机放置和覆盖范围的示意图。

图2是根据示例性实施例的驾驶员警觉性系统的摄像机放置和覆盖的示意图。

图3是根据示例性实施例的由驾驶员警觉性系统的摄像机捕捉的平面二维强度图像和相应的2.5维伪深度图像。

图4是根据示例性实施例的示出各种头部运动的驾驶员的一系列图像。

图5是根据示例性实施例的多个驾驶员的头部运动的图像的合成。

图6是根据示例性实施例的从图5的合成图像确定的高占有率感兴趣区。

图7A是根据示例性实施例的示出摄像机坐标系和面部特征检测点的为驾驶员警觉性系统捕捉的图像。

图7B是示出主轴旋转角的在图7A的图像中的驾驶员的头部部的所检测的轮廓。

图7C是在被旋转以使图7B中的主轴与摄像机坐标系对齐之后图7A的图像。

图7D是在与摄像机坐标网格对齐之后的图7A的所捕捉的图像的检测到的面部区域。

图8A-8C是根据示例性实施例的示出在各种头部和眼睛运动下的面部结构之间的几何关系和用于在看车辆内的预定点时记录驾驶员注意力的校准步骤的一系列图像。

图9是根据示例性实施例的驾驶员警觉性系统的图形用户界面的图像。

图10是根据示例性实施例的驾驶员警觉性系统的算法的流程图。

图11是根据示例性实施例的驾驶员警觉性系统。

具体实施方式

由于从日益复杂的通信和娱乐设备引起的驾驶员分心，单车辆和多车辆事故的发生率持续增加。驾驶员越来越多地被可起到各种设备（例如即时信使、摄像机、GPS导航系统、互联网web浏览器、电影播放器和电子数据表分析工具）的作用的手机分心。这些应用的诱惑引诱新手和有经验的驾驶员不能有效地领会他们的车道位置、与其它车辆的距离、交通信号和道路边界。

根据示例性实施例，一种驾驶员警觉性系统被提供来监视驾驶员的警觉性，且如果确定驾驶员持续一段足够的时间是分心的则发出警告。参考图1和图2，驾驶员警觉性系统使用安装在仪器面板中或方向盘中的单目摄像机来计算驾驶员的头部的位置和眼睛矢量。仪器面板安装提供对乘客厢的较宽覆盖，使驾驶员离开视场变得不可能。方向盘安装强调驾驶员的面部特征，但可容易被手覆盖。方向盘的旋转被认为是有意的操纵，表明驾驶员处于高度警觉。因此，驾驶员警觉性算法被禁用，直到返回到中央位置（例如，偏离垂直线+/-15度）。

驾驶员的头部和眼睛矢量的瞬时位置报告在短持续时间内被聚集，并被用于使用驾驶员警觉性算法来确定驾驶员的注意力集中在哪里。如果驾驶员的注意力没有足够集中在已校准的向前看的区域上，警告信号将被给予驾驶员。警告信号是不管驾驶员的注意力在哪里都能够被传送到驾驶员的信号。可发出各种各样的音频警告信号、视觉警告信号或触觉警告信号，包括内置式蜂鸣器或利用在座椅板上工作的机动化凸轮通过驾驶员的座椅发送的振动。

根据示例性实施例，驾驶员警觉性算法包括对图像数据（例如752列x480行的10位强度图像）进行操作的两个独立的检测模块。第一检测模块区分开背景结构与驾驶员的轮廓，并计算头部旋转（向左或向右转）和倾斜/摇摆（使耳朵接触肩部）。第二检测模块识别头部俯仰、离可辨别的面部结构（眼睛、鼻孔和嘴唇）的控制点以及点间度量的矩阵。这两个模块都使用高洛德明暗处理（Gouraud shading）模型或其它适当的明暗处理模型从图像强度梯度得到伪深度大小。参考图3，这种技术将平面二维强度图像转换成2.5维伪深度图像。到伪深度图像的转换便于隔离面部特征并丢弃不想要的背景杂波。2.5维伪深度图像转换是用于恢复相对于摄像机的焦平面阵列的景深的技术。

参考图4，在躯干保持基本上静止的情况下，头部的运动可通过旋转轴来分类。绕着垂直轴的旋转使头部向左和向右转。绕着从前到后定向的水平轴的旋转使头部倾斜或摇摆到左边或右边。绕着从左到右定向的水平轴的旋转使头部向前和向后俯仰。

参考图5和图6，可通过形成多个驾驶员的头部运动（例如，图4所示的运动）的合成来构造高占有率感兴趣区。根据一个示例性实施例，从在驾驶时间的组合的30分钟期间对八个不同的驾驶员的研究来构造高占有率感兴趣区。高占有率感兴趣区提供驾驶员的头部位置的2维可能性并显示被认为是杂波的低概率区。可利用反曲（sigmoidal）滤波器或其它适当的滤波器来增强在高概率区内的对比，允许优化的强度梯度和在高度动态照明条件下的鲁棒的检测结果。

参考图7A-7D，主轴转换用于使驾驶员的轮廓和面部控制点与摄像机的坐标网格对齐。从与摄像机的坐标网格对齐的检测到的轮廓、面部控制点和点间度量（在检测到的控制点之间的几何关系）得到驾驶员的注意力状态的分类。驾驶员的脸的图像由摄像机（见图7A和图7C）捕捉。驾驶员的轮廓被检测到，且相对于坐标网格的倾斜被确定（见图7B）。驾驶员注意力算法接着将所捕捉的图像的检测到的面部区旋转成与摄像机的坐标网格对齐（见图7D），而具有眼睛和嘴唇的对称性。

使用主轴转换进行的与坐标网格对齐使面部几何结构标准化并简化对有关面部特征的搜索。驾驶员的眼睛、鼻孔和嘴唇上的控制点被旋转成共线的，减小了系统混淆眼睛与鼻孔的可能性。在没有主轴转换的情况下，点间度量的矩阵可能包含来自失配的面部控制点的不可靠的测量结果。

参考图8A-8C，示出在面部结构之间的几何关系和用于记录驾驶员看车辆内的预定点时的注意力的校准步骤的例子。分类训练过程用于配准在特定的车辆内的几个预定的点（例如，A立柱、仪器面板、外部反射镜、后视镜、风挡、乘客地板、中央控制台、防滑轮胎和空调控制器）处的驾驶员的头部位置和眼睛矢量。点间度量的矩阵被保存并用于驾驶员的注意力状态的查找表分类。图8A是示出处于完全警觉状态中的驾驶员的图像，图8B是示出处于注意力部分转移的状态中的驾驶员的图像，而图8C示出处于注意力完全转移的状态中的驾驶员的图像。基于检测到的状态，将适当的警告提供给驾驶员。例如，如果检测到驾驶员在注意力部分转移的状态中，则例如通过第一声音水平的可听警告将轻微的警告提供给驾驶员，且当检测到驾驶员在注意力完全转移的状态中时，例如通过在强度上比第一声音水平大（例如，在声音水平上更大20dB）的第二声音水平的可听警告将大声的警告提供给驾驶员，由此，在这两种情况下，也可将蜂鸣器或其它类型的触觉警告提供给驾驶员（针对注意力完全转移的状态，振动较大）。

参考图9，示出了示例性界面和警告尺度。驾驶员注意力状态的瞬时分类被积累在1秒持续时间的移动平均滤波器中。与向前看的位置的角偏差和该角偏差的持续时间决定了是否向驾驶员发出警告。这个警告的敏感度被调节以避免过多的错误积极性，过多的错误积极性可能减少驾驶员的敏感度和使驾驶员恼怒并减小驾驶员警觉性系统的有效性。

参考图10，根据示例性实施例示出了驾驶员警觉性算法的流程图。在步骤101中由图像帧预处理器捕捉图像。接着在步骤1020中使用预先校准的高占有率感兴趣区来处理图像。在步骤1030中利用背景滤波器处理在高占有率感兴趣外部的图像的部分。在步骤1040中利用前景滤波器处理在高占有率感兴趣内部的图像的部分。在被滤波之后，图像接着被处理以检测头部位置和面部控制点的位置。

在步骤1045中该算法检测头部并描画头部的边界的轮廓。接着在步骤1050中绕着主轴旋转头部以使它与摄像机的坐标系对齐，由此旋转矩阵1052被创建。在步骤1055中接着分析头部对称性以确定驾驶员的头部相对于面向前面方位的方位。

在步骤1060中该算法还从所捕捉的图像检测面部控制点。接着在步骤1065中旋转面部控制点以匹配头部绕着主轴的旋转（使用旋转矩阵1052）。接着在步骤1070中使用点间度量来分析面部控制点以确定驾驶员的脸相对于面向前面方位的方位。点间度量，或控制点之间的关系，可包括连接控制点的一组矢量（例如，在瞳孔、鼻孔、嘴角或其它适当的控制点的任何组合之间的矢量）。

在步骤1055和步骤1070中，可将帧间度量用于确定头部的位置随着时间（即，在图像帧之间）的变化。当驾驶员的头部移动时，控制点改变位置。相应地，在控制点之间的矢量偏移（见例如图8A-8C）。为了跟踪所捕捉的图像帧之间的运动，可测量在矢量之间的角。例如，可分析在控制点之间的矢量的内角的变化以跟踪变化的头部位置。

在步骤1075中，使用头部和面部控制点的位置，该算法对驾驶员的注意力状态进行分类。接着在步骤1080中基于持续时间和驾驶员与面向前面方向的偏差的大小来分配警告状态。警告状态可用于激活向驾驶员的视觉、音频或触觉警告信号。警告状态和所捕捉的图像也可被输出到图形用户界面。

驾驶员警觉性算法基于驾驶员特性（头部位置和眼睛矢量）而不是车辆相对于道路车道标志正做什么（车道偏离警告系统）来确定驾驶员的注意力状态。驾驶员警觉性算法具有在他的车辆从道路边界偏离之前警告不注意的驾驶员的优点。驾驶员警觉性算法使用在夜间和高动态范围状态（正通过具有迎面而来的车辆头部灯的隧道）期间比外部感测更鲁棒的内部视觉感测。

参考图11，根据示例性实施例示出了驾驶员警觉性系统的流程图。成像单元1110对车厢中的驾驶员的头部所位于的区域进行成像。成像单元1110可包括例如安装在车辆的仪器面板中或方向盘中的单目摄像机。图像处理单元1120从成像单元1110接收图像并确定驾驶员的头部和眼睛的位置。图像处理单元1120可包括如上所述的两个检测模块。警告单元1130基于如图像处理单元1120所输出的驾驶员的头部和眼睛的所确定的位置来确定驾驶员是在警觉状态还是在非警觉状态中。当驾驶员被确定为在非警觉状态中时，警告单元1130向驾驶员输出警告。还提供了禁用单元1140，其当驾驶员警觉性信号被接收到时可暂时禁用驾驶员警觉性检测系统。驾驶员警觉性信号由方向盘的旋转位置触发。如果方向盘已经从中央位置旋转了至少预定的量，则驾驶员警觉性信号将被发送到禁用单元1140。禁用单元1140将接着防止警告单元1130向驾驶员输出警告（因为方向盘的旋转被认为是表明高度警觉的有意操纵）。另一方面，当方向盘返回到基本上中央的位置时，驾驶员警觉性信号将停止。如果基于如图像处理单元1120所输出的驾驶员的头部和眼睛的位置来确定驾驶员在非警觉状态中，警告单元1130将接着发出警告。禁用单元1140可在任何适当的时间干扰如图11所示的任何其它单元的输出。

已参考示例性实施例描述了本公开，然而，本领域技术人员将认识到，可在形式和细节上作出改变而不偏离所公开的主题的精神和范围。例如，虽然不同的示例性实施例可被描述为包括提供一个或多个益处的一个或多个特征，但是设想到，在所述示例性实施例中或在其它可选的实施例中所述特征可彼此交换或可替代地彼此组合。因为本公开的技术相对复杂，不是该技术中的所有变化都是可预见到的。参考示例性实施例描述的本公开明显被预期尽可能宽。例如，除非另外特别提到，列举单个特定的元件的示例性实施例也包括多个这样的特定元件。

示例性实施例可包括程序产品，该程序产品包括用于承载或具有存储在其上的机器可执行指令或数据结构的计算机或机器可读介质。例如，驾驶员监视系统可以是计算机驱动的。在附图的方法中示出的示例性实施例可由包括用于承载或具有存储在其上的机器可执行指令或数据结构的计算机或机器可读介质的程序产品控制。这样的计算机或机器可读介质可以是可由通用或专用计算机或具有处理器的其它机器访问的任何可用的介质。作为例子，这样的计算机或机器可读介质可包括RAM、ROM、EPROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储设备或可用于承载或存储以机器可执行指令或数据结构的形式的期望程序代码并可由通用或专用计算机或具有处理器的其它机器访问的任何其它介质。上述介质的组合也被包括在计算机或机器可读介质的范围内。计算机或机器可执行指令包括例如使通用计算机、专用计算机或专用处理机器执行某个功能或某组功能的指令和数据。本发明的软件实现可使用标准编程技术以用于完成各种连接步骤、处理步骤、比较步骤和判定步骤的基于规则的逻辑和其它逻辑来实现。

还重要的是注意到，如在优选和其它示例性实施例中示出的系统的元件的结构和布置仅仅是例证性的。虽然在本公开中仅详细描述了某个数量的实施例，审核本公开的本领域技术人员将容易认识到，很多修改是可能的（例如，各种元件的尺寸、大小、结构、形状和比例、参数的值、安装布置、材料的使用、颜色、方位等中的变化），而实质上不偏离所述主题的新颖教导和优点。例如，被示为整体地形成的元件可由多个零件构成，或被示为多个零件的元件可整体地形成，组件的操作可反转或以另外方式变化，系统的结构和/或构件或连接器或其它元件的长度或宽度可改变，在元件之间提供的调节或附着位置的性质或数量可改变。应注意，系统的元件和/或组件可由提供足够的强度或耐久性的各种材料中的任一种构造。相应地，所有这样的修改被预期包括在本公开的范围内。任何过程或方法步骤的顺序或次序可改变或根据可替代的实施例重新排序。可在优选和其它示例性实施例的设计、操作条件和布置中做出其它替换、修改、改变和省略，而不偏离本主题的精神。

Claims (27)

1.一种驾驶员警觉性检测系统，包括：

成像单元，其被配置成对车厢中的驾驶员的头部所位于的区域进行成像；

图像处理单元，其被配置成从所述成像单元接收图像并确定所述驾驶员的头部和眼睛的位置；以及

警告单元，其被配置成基于所述图像处理单元所输出的所述驾驶员的头部和眼睛的所确定的位置来确定所述驾驶员是处于警觉状态还是处于非警觉状态中，并在所述驾驶员被确定为处于所述非警觉状态中时向所述驾驶员输出警告。

2.根据权利要求1所述的驾驶员警觉性检测系统，还包括：

禁用单元，其被配置成当驾驶员警觉性信号被接收到时暂时禁用所述驾驶员警觉性检测系统。

3.根据权利要求2所述的驾驶员警觉性检测系统，其中，在车辆的方向盘旋转了至少预定的旋转量时，输出所述驾驶员警觉性信号。

4.根据权利要求3所述的驾驶员警觉性检测系统，其中，所述预定的旋转量对应于偏离所述方向盘的中心位置+/-15度。

5.根据权利要求3所述的驾驶员警觉性检测系统，其中，当所述驾驶员警觉性信号正被输出时，所述驾驶员警觉性信号在所述车辆的所述方向盘返回到基本上中心位置时被停止输出。

6.根据权利要求1所述的驾驶员警觉性检测系统，其中，所述成像单元包括安装在车辆的仪器面板和所述车辆的方向盘中的至少一个中的单目摄像机。

7.根据权利要求1所述的驾驶员警觉性检测系统，其中，当所述驾驶员的头部的所确定的位置被确定为不在所述车厢内的预定的驾驶员头部区域内时或当确定所述驾驶员的眼睛的转向角度到达一定程度以致未观察车辆的前方的区域时，所述图像处理单元确定所述驾驶员处于所述非警觉状态中。

8.根据权利要求1所述的驾驶员警觉性检测系统，其中，当所述图像处理单元所输出的所述驾驶员的头部的所确定的位置持续至少第一预定时间量不在预定的头部位置区内时或当所述驾驶员的眼睛的所确定的位置持续至少第二预定时间量不在所述车厢内的预定的眼睛位置区内时，所述警告单元确定所述驾驶员处于所述非警觉状态中。

9.根据权利要求1所述的驾驶员警觉性检测系统，其中，所述警告单元输出的警告对应于内置式蜂鸣器或通过所述驾驶员的座椅发送的振动中的一个。

10.根据权利要求1所述的驾驶员警觉性检测系统，其中，所述图像处理单元包括：

第一检测模块，其将背景结构与所述驾驶员的轮廓区分开，并计算所述驾驶员的头部的旋转和所述驾驶员的头部的倾斜/摇摆；以及

第二检测模块，其区分所述驾驶员的头部的俯仰，根据所述驾驶员的头部的可辨别的面部结构来计算控制点，并计算关于所述驾驶员的头部的点间度量的矩阵。

11.根据权利要求10所述的驾驶员警觉性检测系统，其中，所述可辨别的面部结构包括眼睛、鼻孔和嘴唇中的至少一个。

12.根据权利要求10所述的驾驶员警觉性检测系统，其中，所述第一检测模块和所述第二检测模块利用高洛德明暗处理模型来区分开所述驾驶员的头部的运动和位置。

13.一种检测驾驶员警觉性的方法，包括：

对车厢中的驾驶员的头部所位于的区域进行成像，以获得成像数据；

基于所述成像数据来确定所述驾驶员的头部和眼睛的位置；

基于所述驾驶员的头部和眼睛的所确定的位置来确定所述驾驶员是处于警觉状态还是处于非警觉状态中；以及

当所述驾驶员被确定为处于所述非警觉状态中时向所述驾驶员输出警告。

14.根据权利要求13所述的方法，还包括：

当驾驶员警觉性信号被接收到时暂时禁止警告的输出。

15.根据权利要求14所述的方法，还包括：

检测车辆的方向盘的旋转，

其中，在所述车辆的方向盘旋转了至少预定的旋转量时，输出所述驾驶员警觉性信号。

16.根据权利要求15所述的方法，其中，所述预定的旋转量对应于偏离所述方向盘的中心位置+/-15度。

17.根据权利要求15所述的方法，其中，当所述驾驶员警觉性信号正被输出时，在所述车辆的所述方向盘返回到基本上中心位置时停止输出所述驾驶员警觉性信号。

18.根据权利要求13所述的方法，其中，由安装在车辆的仪器面板和所述车辆的方向盘中的至少一个中的单目摄像机获得所述成像数据。

19.根据权利要求13所述的方法，其中，当所述驾驶员的头部的所确定的位置被确定为不在所述车厢内的预定的驾驶员头部区域内时或当确定所述驾驶员的眼睛的转向角度到达一定程度以致未观察车辆的前方的区域时，确定所述驾驶员处于所述非警觉状态中。

20.根据权利要求13所述的方法，其中，当图像处理单元所输出的所述驾驶员的头部的所确定的位置持续至少第一预定时间量不在预定的头部位置区内时或当所述驾驶员的眼睛的所确定的位置持续至少第二预定时间量不在所述车厢内的预定的眼部位置区内时，确定所述驾驶员处于所述非警觉状态中。

21.根据权利要求13所述的方法，其中，所述警告对应于内置式蜂鸣器或通过所述驾驶员的座椅发送的振动中的一个。

22.根据权利要求13所述的方法，其中，确定所述驾驶员的头部的位置包括：

将背景结构与所述驾驶员的轮廓区分开，并计算所述驾驶员的头部的旋转和所述驾驶员的头部的倾斜/摇摆；以及

区分所述驾驶员的头部的俯仰，根据所述驾驶员的头部的可辨别的面部结构来计算控制点，并计算关于所述驾驶员的头部的点间度量的矩阵。

23.根据权利要求22所述的方法，其中，所述可辨别的面部结构包括眼睛、鼻孔和嘴唇中的至少一个。

24.一种存储计算机程序代码的非暂态计算机可读介质，当所述计算机程序代码被计算机执行时使所述计算机执行下列功能：

对车厢中的驾驶员的头部所位于的区域进行成像，以获得成像数据；

基于所述成像数据来确定所述驾驶员的头部和眼睛的位置；

基于所述驾驶员的头部和眼睛的所确定的位置来确定所述驾驶员是处于警觉状态还是处于非警觉状态中；以及

当所述驾驶员被确定为处于所述非警觉状态中时向所述驾驶员输出警告。

25.根据权利要求24所述的非暂态计算机可读介质，还使所述计算机执行下列功能：

当驾驶员警觉性信号被接收到时暂时禁止警告的输出。

26.根据权利要求24所述的非暂态计算机可读介质，还使所述计算机执行下列功能：

检测车辆的方向盘的旋转，

其中，在所述车辆的方向盘旋转了至少预定的旋转量时，输出所述驾驶员警觉性信号。

27.根据权利要求26所述的非暂态计算机可读介质，其中，所述预定的旋转量对应于偏离所述方向盘的中心位置+/-15度。

Images