CN108860153A - 用于确定驾驶员的状态的系统和方法 - Google Patents

Abstract

本发明提供一种用于确定驾驶员的状态的系统，包括：面部跟踪装置，其被配置为从驾驶员的面部图像以采样时间间隔检测面部的坐标和方向向量；事件检测装置，其被配置为检测车辆的有效行为作为事件；以及确定装置，其被配置为当由事件检测装置检测到事件时，基于驾驶员的反射响应时间来确定驾驶员的受损状态。

Description

用于确定驾驶员的状态的系统和方法

相关申请的交叉引用

本申请基于并要求于2017年5月11日在韩国知识产权局提交的韩国专利申请第10-2017-0058783号的优先权，其全部内容并入本文通过参考。

技术领域

本公开涉及用于确定驾驶员的状态的系统和方法，并且更具体地涉及用于基于根据车辆行为的驾驶员的反射响应时间来确定驾驶员的状态(例如，受损状态)的技术。

背景技术

一般而言，处于正常状态的驾驶员可能不自觉地显示各种反射响应，诸如以使他或她的头部与他或她的身体的方向匹配的正位反射，以及响应当他或她失去平衡时不会摔倒的倾斜反应。

然而，如果驾驶员由于饮酒、吸毒等而处于受损状态或者疲劳，因为虽然他或她打开了他的眼睛，但与正常状态相比，锻炼反射能力大大降低，他或她可以执行遵循车道的简单驾驶。然而，如果前方车辆突然停车，或者下一车道的车辆突然切入，则驾驶员可能无法妥善处理，造成交通事故。

用于确定驾驶员状态的传统技术主要是用于确定他或她的困倦驾驶的技术。用于确定驾驶员的困倦驾驶的技术可以从照相机捕获的图像中检测他或她的眼睛，并且可以基于每只眼睛的形状的改变来确定他或她的困倦驾驶，或者可以从照相机捕获的图像检测他或她的嘴部，并且可以基于嘴部形状的改变来确定他或她的困倦驾驶。

用于确定驾驶员状态的这种传统技术可以基于由于困倦而产生的他或她的面部中的特征点的形状的改变，并且可能无法检测到在每只眼睛的形状中没有改变(例如闭眼现象)或者在嘴部的形状中没有改变(例如，打哈欠)的受损驾驶员。

发明内容

已经做出本公开以解决在现有技术中出现的上述问题，同时保持现有技术所实现的优点不变。

本公开的一个方面提供了一种用于通过根据车辆的行为基于他或她的反射响应时间确定他或她的状态来确定驾驶员的状态以确定他或她的受损状态的系统和方法。

本发明构思所要解决的技术问题不限于上述问题，并且本公开所属领域的技术人员根据以下描述将清楚地理解本文未提及的任何其它技术问题。

根据本公开的一个方面，一种系统可以包括：面部跟踪装置，其被配置为从驾驶员的面部图像以采样时间间隔检测面部的坐标和方向向量；事件检测装置，其被配置为检测车辆的有效行为作为事件；以及确定装置，其被配置为如果事件检测装置检测到事件，则基于驾驶员的反射响应时间确定驾驶员的受损状态。

确定装置可以被配置为如果基于面部的坐标计算的面部的移动量大于阈值，则确定驾驶员有意地运动。

确定装置可以被配置为微分在事件发生之前的第一时间间隔中检测到的面部的方向向量，微分在事件发生之后的第二时间间隔种计算的面部的方向向量，并且基于第二时间间隔中的方向向量的微分值的方差值和第一时间间隔中的方向向量的微分值的方差值来确定驾驶者的受损状态。

确定装置可以被配置为将第一时间间隔中的方向向量的微分值的方差值设定为参考方差值，在第二时间中依次计算方向向量的微分值的方差值，并且如果与计算的方差值中满足参考方差值的阈值范围的方差值对应的微分值的采样时间的总和大于阈值，则确定驾驶员处于受损状态。

确定装置可以被配置为如果系统安装在自主车辆上，则在确定驾驶员处于受损状态时调节车辆的控制被转移到驾驶员的时间。

根据本公开的另一方面，一种方法可以包括：由面部追踪装置从驾驶员的面部图像以采样时间间隔检测面部的坐标和方向向量，由事件检测装置检测车辆的有效行为作为事件，以及如果检测到事件，则由确定装置基于驾驶员的反射响应时间来确定驾驶员的受损状态。

确定可以包括：如果基于面部的坐标计算的面部的移动量大于阈值，则确定驾驶员有意地运动。

确定可以包括：微分在事件发生之前的第一时间间隔中检测的面部的方向向量，微分在事件发生之后在第二时间间隔中计算的面部的方向向量，将第一时间间隔中的方向向量的微分值的方差值设定为参考方差值，依次计算第二时间间隔中的方向向量的微分值的方差值，并计算出与计算的方差值中满足参考方差值的阈值范围的方差值对应的微分值的采样时间总和，并且如果计算的采样时间总和大于阈值，则确定驾驶员处于受损状态。

该方法可以进一步包括：如果确定驾驶员处于受损状态，则由确定装置调节车辆的控制转移到驾驶员的时间。

附图说明

结合附图，根据以下详细描述，本公开的以上和其它目的、特征和优点将变得更加明显：

图1是示出根据本公开的实施例的用于确定驾驶员的状态的系统的配置的框图；

图2是示出根据本公开的实施例的用于确定驾驶员的状态的方法的流程图；

图3是示出用于本公开的实施例的反射响应时间的图；以及

图4是示出应用本公开的实施例的自主车辆的框图。

具体实施方式

在下文中，将参考附图详细描述本公开的实施例。在为每个图形的元件添加引用符号时，尽管相同的元件显示在不同的附图上，但应该注意的是，相同的元件具有相同的表示。另外，在描述本公开的实施例时，如果确定相关公知配置或功能的详细描述模糊了本公开的实施例的要旨，则将省略。

在描述本公开的实施例的元件时，这里可以使用术语第一、第二、第一个、第二个、A、B、(a)、(b)等。这些术语仅用于区分一个元件和另一个元件，但不限制相应的元件，而不管相应元件的性质、转向或顺序。除非另外定义，否则本文中使用的所有术语(包括技术或科学术语)具有与本公开所属领域的技术人员通常理解的相同的含义。在通常使用的字典中定义的那些术语被解释为具有与相关领域中的上下文含义相同的含义，并且不应被解释为具有理想的或过于正式的含义，除非明确定义为具有目前的应用。

图1是示出根据本公开的实施例的用于确定驾驶员的状态的系统的配置的框图。

如图1所示，根据本公开的实施例的用于确定驾驶员的状态的系统100可以包括面部跟踪装置10、事件检测装置20、确定装置30和输出装置40以及通信装置50。

首先，参见相应的元件，面部追踪装置10可以从由系统100的照相机捕捉的驾驶员的面部图像中提取特征点(例如，眼睛、眉毛、嘴唇、眼镜等)。此后，面部追踪装置10可以检测相对于面部中心点生成的面部坐标系(x，y，z)上的特征点的位置。在这种情况下，面部追踪装置10可以生成相对于图像中的点而不是面部中心点的面部坐标系。

此外，面部追踪装置10可以基于根据面部运动的面部坐标系上的特征点的位置的变化，以预定时间的间隔计算驾驶员的面部的移动量和面部的旋转量。在这种情况下，面部的移动量可以指示由驾驶员的身体的运动产生的面部的移动距离，并且旋转量可以指指示三轴旋转角度的方向向量(例如，侧倾角、俯仰角和偏航角)。

此外，面部追踪装置10可以实时存储面部的位置和方向向量。

这里，面部追踪装置10检测面部的方向向量的方式不限于特定的方式。

事件检测装置20可以包括各种传感器，诸如转向角传感器21、用于感测每个车轮的速度的传感器22以及横向加速度传感器23，并且可以检测车辆的左转弯、车辆的右转弯、在弯道上的驾驶，或者在减速带上的驾驶作为事件。在这种情况下，事件检测装置20可以检测转向角是否大于第一参考值，左右车轮速度之间的偏差是否大于第二参考值，或者横向加速度是否大于第三参考值，作为驾驶员的姿势倾斜或者驾驶员失去姿势的情况。这种事件可以被用作关于驾驶员的反射响应被确定的时间的信息。

如果事件检测装置20检测到事件，则确定装置30可以基于面部跟踪装置10计算出的面部的方向向量来确定驾驶员的受损状态。确定装置30可以用具有软件指令的硬件处理器来实现以执行下面描述的各种功能。

换句话说，确定装置30可以微分在事件发生的时间之前的预定时间期间(以下称为“第一时间间隔”)计算的面部的方向向量，并且可以微分在事件发生的时间之后的预定时间期间(以下称为“第二时间间隔”)计算的面部的方向向量。

确定装置30可以计算返回到第二时间间隔中方向向量的微分值的方差值小于或类似于在第一时间间隔中方向向量的微分值的方差值花费的时间。

换句话说，确定装置30可以将第一时间间隔中的方向向量的微分值的方差值设定为参考方差值R，并且可以依次计算第二时间间隔中方向向量的微分值的方差值。如果依次计算的方差值之间的特定方差值在参考方差值R的阈值范围内，则确定装置30可以通过将用于计算特定方差值的微分值的采样时间相加来计算所花费的时间。在这种情况下，参考方差值R的阈值范围可以例如满足“(R-V)<R<(R+V)”。这里，“V”可以是设计者根据系统环境随机设定的值。

结果，确定装置30可以基于他或她的反射响应时间来确定驾驶员的受损状态。换句话说，如图3所示，确定装置30可以基于在事件发生之前驾驶员的面部310改为在事件发生时的面部320并在事件发生之前返回到驾驶员的面部310的时间(反射响应时间)确定驾驶员的受损状态。

在下文中，将详细给出确定装置30的操作的描述。

例如，如果在第一时间间隔中以0.1秒的间隔采样的面部方向向量的微分值是A1、A2、A3、A4和A5，并且如果在第二时间间隔中以0.1秒的间隔采样的面部方向向量的微分值是B1、B2、B3、B4和B5，则差值A1、A2、A3、A4和A5的方差值可以是参考方差值。

此后，确定装置30可以计算微分值B1和B2的第一方差值，并且可以确定计算的第一方差值是否被包括在参考方差值的阈值范围内。

如果作为确定结果，第一方差值被包括在参考方差值的阈值范围内，则确定装置30可以计算此时所花费的时间。在这种情况下，由于所花费的时间是微分值B1和B2的第一方差值的采样时间的总和，所以可以是0.2秒。

如果所计算的时间(0.2秒)大于阈值时间，则确定装置30可确定驾驶员处于受损状态。如果所计算的时间(0.2秒)小于或等于阈值时间，则确定装置30可以确定驾驶员处于正常状态。

如果作为确定的结果，第一方差值不包括在参考方差值的阈值范围中，则确定装置30可以使用差值B1至B3来计算第二方差值。

此后，如果第二方差值被包括在参考方差值的阈值范围内，则确定装置30可以计算此时所花费的时间。在这种情况下，由于所花费的时间是微分值的方差值的采样时间之和，因此可以是0.3秒。

如果所计算的时间(0.3秒)大于阈值时间，则确定装置30可以确定驾驶员处于受损状态。如果所计算的时间(0.3秒)小于或等于阈值时间，则确定装置30可以确定驾驶员处于正常状态。

确定装置30可以关于第二时间间隔中的所有方差值依次执行该过程，并且可以确定驾驶员的状态。

如果由面部追踪装置10计算的面部的移动量大于阈值，则确定装置30可以确定驾驶员有意地运动而不能被用作用于确定驾驶员的受损状态。

其原因可以降低系统100的确定的错误率以提高系统100的性能。

如果基于面部的坐标计算的面部的移动量小于或等于阈值，则可以执行对驾驶员的状态的确定。

输出装置40可以包括视觉警告单元41、可听警告单元42和触觉警告单元43，用于向车辆的乘客警告危险。

视觉警告单元41可以包括诸如液晶显示器(LCD)或平视显示器(HUD)、群集等的显示器，并且可以在确定装置30的控制下输出警告文本或警告灯作为视觉警告。

可听警告单元42可以在确定装置30的控制下输出警告声音作为可听警告。警告声音可以包括声音警告以及蜂鸣器。在这种情况下，声音警告可能是，例如，“为了安全，请将车辆停在台肩上”，“请将车辆停在安全区域”等。

触觉警告单元43可以在确定装置30的控制下生成作为触觉警告的振动。换句话说，如果确定驾驶员处于受损状态，则触觉警告单元43可以使安全带方向盘、油门踏板、座椅等振动来警告。

通信装置50可以通过车到车(V2V)通信与周围的车辆通信。换句话说，通信装置50可以通知周围的车辆驾驶员处于受损状态。通信装置50是电子电路，其经由诸如低频(LF)、射频(RF)、无线LAN、Wi-Fi、蓝牙、Zigbee、Wi-Fi直接(WFD)、超宽带(UWB)、红外数据协会(IrDA)、蓝牙低功耗(BLE)和近场通信(NFC)等通信方案在一定距离内通过包括来往终端的数据的无线或硬件连接来发送和接收信号。

另外，通信装置50可以通过车辆到一切(V2X)通信来通知周围车辆车辆驾驶员处于受损状态。在这种情况下，V2X可以被统称为V2V、车辆到基础设施(V2I)、车内网络(IVN)、车辆到行人(V2P)等。

如果本公开被应用于完全自主车辆或部分自主车辆，并且如果确定驾驶员处于受损状态，则确定装置30可以调节当车辆的控制被转移到驾驶员的时间，可以调节转移给驾驶员的控制类型，或者可以使车辆在安全区域上紧急停车。

换句话说，如图4所示，如果驾驶员状态确定系统100确定驾驶员处于受损状态，则自主驾驶控制系统110可以调节车辆的控制转移给驾驶员的时间，可以调节转移给驾驶员的控制类型，或者可以在安全区域上紧急停车。

在本公开中，由于面部追踪装置10、事件检测装置20和确定装置30被实现为单独的元件，所以示例化实施例。然而，实施例不限于此。例如，确定装置30可以以执行面部追踪装置10和事件检测装置20的功能两者的形式来实现。

图2是示出根据本公开的实施例的用于确定驾驶员的状态的方法的流程图。

首先，在操作201中，图1的面部追踪装置10可以从驾驶员的面部图像以采样时间间隔检测驾驶员的面部的坐标和方向向量。

在操作202中，图1的事件检测装置20可以检测车辆的有效行为作为事件。

在操作203中，如果事件检测装置20检测到事件，则图1所示的方法可以基于由面部追踪装置10检测到的面部的方向向量来确定驾驶员的受损状态。换句话说，确定装置30可以微分在事件发生之前在第一时间间隔中检测到的面部的方向向量，并且可以微分在事件发生之后在第二时间间隔中计算的面部的方向向量。确定装置30可以将第一时间间隔中的方向向量的微分值的方差值设定为参考方差值，并且可以依次计算第二时间间隔中的方向向量的微分值的方差值，从而计算在与计算的方差值中满足参考方差值的阈值范围的方差值对应的微分值的采样时间总和。如果所计算的采样时间总和大于阈值时间，则确定装置30可以确定驾驶员处于受损状态。

结果，确定装置30可以基于他或她的反射响应时间来确定驾驶员的受损状态。

上述本公开可以通过根据车辆的行为基于他或她的反射响应时间确定他或她的状态来确定驾驶员的受损状态。

虽然已经参考示例性实施例描述了本公开，但是对于本领域技术人员将显而易见的是，可以在不脱离本公开的精神和范围的情况下进行各种改变和修改。

因此，本公开的示例性实施例不是限制性的，而是示例性的，并且本公开的精神和范围不限于此。本发明的精神和范围应由下面的权利要求来解释，应该理解为与本公开等同的所有技术思想都包含在本公开的精神和范围内。

Claims (19)

1.一种用于确定驾驶员的状态的系统，所述系统包括：

面部追踪装置，其被配置为从所述驾驶员的面部图像以一采样时间间隔检测面部的坐标和方向向量；

事件检测装置，其被配置为检测车辆的有效行为作为事件；以及

确定装置，其被配置为当所述事件检测装置检测到所述事件时，基于所述驾驶员的反射响应时间确定所述驾驶员的受损状态。

2.根据权利要求1所述的系统，其中所述确定装置被配置为：

当基于所述面部的所述坐标计算的所述面部的移动量大于阈值时，确定所述驾驶员有意地运动。

3.根据权利要求1所述的系统，其中所述确定装置被配置为：

基于所述面部的所述方向向量来计算所述驾驶员的所述反射响应时间，所述面部跟踪装置检测所述方向向量。

4.根据权利要求3所述的系统，其中所述确定装置被配置为：

微分在所述事件发生之前的第一时间间隔中检测到的所述面部的方向向量；

微分在所述事件发生之后的第二时间间隔中计算出的所述面部的方向向量；以及

基于所述第二时间间隔中的方向向量的微分值的方差值和所述第一时间间隔中的方向向量的微分值的方差值来确定所述驾驶员的所述受损状态。

5.根据权利要求4所述的系统，其中所述确定装置被配置为：

将所述第一时间间隔中的所述方向向量的微分值的所述方差值设定为参考方差值；

依次计算所述第二时间间隔中的所述方向向量的微分值的所述方差值；以及

当与所述计算的方差值中满足所述参考方差值的阈值范围的方差值相对应的微分值的采样时间之和大于阈值时，确定所述驾驶员处于所述受损状态。

6.根据权利要求1所述的系统，进一步包括：

输出装置，其被配置为警告所述驾驶员的所述受损状态。

7.根据权利要求6所述的系统，其中所述输出装置被配置为：

通过视觉警告、可听警告或触觉警告中的至少一个警告所述驾驶员的所述受损状态。

8.根据权利要求1所述的系统，其中所述确定装置被配置为：

当所述系统安装在自主车辆上并且所述驾驶员处于受损状态时，调节当所述车辆的控制转移给所述驾驶员的时间。

9.根据权利要求1所述的系统，其中所述面部追踪装置被配置为：

存储所述面部的所述坐标和所述方向向量。

10.根据权利要求1所述的系统，其中所述事件检测装置被配置为：

检测所述车辆的左转弯、所述车辆的右转弯、在弯曲的道路上的驾驶，或者在减速带上的驾驶中的任何一个作为所述事件。

11.根据权利要求10所述的系统，其中所述事件检测装置被配置为：

检测转向角是否大于第一参考值，左右轮速度之间的偏差是否大于第二参考值，或者横向加速度是否大于第三参考值中的任何一个作为事件。

12.一种用于确定驾驶员的状态的方法，所述方法包括：

由面部追踪装置从所述驾驶员的面部图像以采样时间间隔检测面部的坐标和方向向量；

由事件检测装置检测车辆的有效行为作为事件；以及

当检测到所述事件时，由确定装置基于所述驾驶员的反射响应时间确定所述驾驶员的受损状态。

13.根据权利要求12所述的方法，其中所述确定包括：

当基于所述面部的所述坐标计算的所述面部的移动量大于阈值时，确定所述驾驶员有意地运动。

14.根据权利要求12所述的方法，其中所述确定包括：

基于所述面部的所述方向向量来计算所述驾驶员的所述反射响应时间，所述面部跟踪装置检测所述方向向量。

15.根据权利要求14所述的方法，其中所述确定包括：

微分在所述事件发生之前的第一时间间隔中检测到的所述面部的方向向量；

微分在所述事件发生之后的第二时间间隔中计算出的所述面部的方向向量；

将所述第一时间间隔中的方向向量的微分值的方差值设定为参考方差值；

依次计算所述第二时间间隔中的方向向量的微分值的方差值，并计算与所述计算的方差值中满足所述参考方差值的阈值范围的方差值对应的微分值的采样时间总和；以及

当所述计算的采样时间总和大于阈值时，确定所述驾驶员处于所述受损状态。

16.根据权利要求12所述的方法，进一步包括：

由输出装置通过视觉警告、可听警告或触觉警告中的至少一个来警告所述驾驶员的所述受损状态。

17.根据权利要求12所述的方法，进一步包括：

当确定所述驾驶员处于所述受损状态时，由所述确定装置调节所述车辆的控制转移到所述驾驶员的时间。

18.根据权利要求12所述的方法，进一步包括：

存储所述检测到的面部的坐标和方向向量。

19.根据权利要求12所述的方法，其中所述检测车辆的所述有效行为作为所述事件包括：

检测转向角是否大于第一参考值，左右轮速度之间的偏差是否大于第二参考值，或者横向加速度是否大于第三参考值中的任何一个作为事件。