CN104887253B

CN104887253B - 驾驶员疲劳检测

Info

Publication number: CN104887253B
Application number: CN201510096624.2A
Authority: CN
Inventors: 杨行翔; 卡瓦库·O·普拉卡什-阿桑特
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2014-03-05
Filing date: 2015-03-04
Publication date: 2020-02-18
Anticipated expiration: 2035-03-04
Also published as: RU2679299C2; RU2015107186A; CN104887253A; US20150251663A1; DE102015203793A1; MX2015002772A; MX345464B; RU2015107186A3; US9205844B2

Abstract

一种驾驶员疲劳检测。采集与车辆在一段时间周期内的横摆率相关的数据。部分地基于横摆率数据来计算车辆在一段时间周期内的实际轨迹和理想轨迹。确定实际轨迹相关的横摆率与理想轨迹相关的横摆率的偏差。计算偏差的方差。如果方差超出预定方差阀值，则提供危险驾驶状态的指示。

Description

驾驶员疲劳检测

背景技术

驾驶员疲劳驾驶带来交通安全风险。以前曾经使用各种机制来尝试检测驾驶员疲劳(drowsiness)。例如，可以使用车辆内部的相机来监控驾驶员的眼睛，于是可以确定驾驶员眼睛闭合的时间百分比。当在给定时间段内驾驶员的眼睛闭合的时间百分比高于预定阀值时，确定驾驶员疲劳。然而，使用内部相机来监控驾驶员的眼睛可能是不太可靠的，并且另外，由于需要车内传感器而提高了车辆成本和制造的复杂性，该车内传感器在其他情况下无需包含于车辆中。

其他用于尝试检测驾驶员疲劳的现有机制包括使用车辆外部的相机来确定驾驶模式是否与道路状态不一致，例如，驾驶员是否正在转进和转出车道。然而，需要获得道路相关信息的外部相机可能不太可靠，特别是在道路状态差、天气恶劣等的时候。进一步地，正如内部相机的使用一样，使用外部相机和/或其他类型的传感器来确定车辆相对于道路的位置会增加车辆的成本、重量、以及制造的复杂性。

简而言之，用于检测驾驶员疲劳的现有机制具有例如与不可靠性相关的、特别需要传感器等缺点。

发明内容

根据本发明，提供一种系统，包括车辆中的计算机，计算机包括处理器和储存器，其中计算机配置用于：

采集与车辆在一段时间周期内的横摆率相关的数据；

部分地基于横摆率数据来计算车辆在一段时间周期内的实际轨迹和理想轨迹；

确定实际轨迹相关的横摆率与理想轨迹相关的横摆率的偏差；

计算偏差的方差；以及

如果方差超出预定方差阀值，则提供危险驾驶状态的指示。

根据本发明的一个实施例，危险驾驶状态为疲劳状态。

根据本发明的一个实施例，理想轨迹是部分地基于车辆在一段时间内的速度数据来计算。

根据本发明的一个实施例，理想轨迹基于参考驾驶员模型来计算。

根据本发明的一个实施例，参考驾驶员模型为最佳预瞄驾驶员模型(previewdriver model)。

根据本发明的一个实施例，计算机进一步配置用于在计算方差之前对偏差进行带通滤波。

根据本发明的一个实施例，带通滤波器依据横摆率偏差的功率谱密度分析来配置。

根据本发明的一个实施例，计算机进一步配置用于如果方差超出预定方差阀值则增加计数器，其中仅当计数器超出预定计数器阀值时提供危险驾驶状态的指示。

根据本发明，提供一种方法，包括：

采集与车辆在一段时间周期内的横摆率相关的数据；

计算偏差的方差；以及

如果方差超出预定方差阀值，则提供危险驾驶状态的指示。

根据本发明的一个实施例，危险驾驶状态为疲劳状态。

根据本发明的一个实施例，参考驾驶员模型为最佳预瞄驾驶员模型。

根据本发明的一个实施例，进一步包含如果方差超出预定方差阀值则增加计数器，其中仅当计数器超出预定计数器阀值时提供危险驾驶状态的指示。

根据本发明，提供一种具有明确体现于其上的指令的非瞬时计算机可读介质，该指令包含以下指令：

采集与车辆在一段时间周期内的横摆率相关的数据；

计算偏差的方差；以及

如果方差超出预定方差阀值，则提供危险驾驶状态的指示。

根据本发明的一个实施例，指令进一步包括在计算方差之前对偏差进行带通滤波的指令。

附图说明

图1为用于检测驾驶员疲劳的车辆系统的框图；

图2为用于检测驾驶员疲劳的示例性过程图；

图3说明了包含可以用于重建车辆轨迹的横摆率数据在内的车辆数据的示例性曲线图；

图4说明了车道变更轨迹重建的示例性曲线图；

图5A和5B分别说明了由驾驶员模型确定的轨迹模拟的示例性曲线图和驾驶员行为模拟的示例性曲线图；

图6A和图6B分别说明了对于非疲劳的驾驶员和疲劳的驾驶员的横摆率数据的功率谱密度分析的示例性曲线图。

具体实施方式

系统概述

图1是用于检测驾驶员疲劳的车辆101系统的框图。车辆101包括通信地耦接至一个或更多数据采集器110的计算装置105，数据采集器110例如传感器或为人所公知的用于采集与车辆101的横摆率相关的数据115和/或其他在此所讨论的数据的类似物。计算机105进一步配置用于使用横摆数据115。

用于确定驾驶员疲劳状态的机制将在下文进行更详细的讨论；通常，数据115可以被用于重建车辆在道路上最近的轨迹，并且可以与根据已知的驾驶员参考模型计算出来的理想轨迹相比较，例如麦克亚当模型(MacAdam model)。将实际驾驶员行为和来自驾驶员模型的仿真结果进行比较消除或减小了例如弯曲、隆起等道路状态引起的例如表现为横摆率的驾驶员行为的程度，该驾驶员行为否则将被视为由疲劳所造成。与疲劳相关的横摆率的特定频率分量可以被识别，并且评估确定与疲劳相关的驾驶模式。

计算机105可以进一步配置用于基于已经检测到的驾驶员疲劳的测定来采取行动，例如提供警告或诸如此类，和/或执行一些车辆101的控制，例如使车辆101缓行或停止。相应地，驾驶员疲劳可以被量化并识别而无需使用传感器，除了通常已经配置于车辆中的横摆率数据采集器110以外，并且不需要额外的可能需要额外数据115和/或传感器110的道路信息。

典型系统要素

车辆101总体为靠两个或多于两个车轮行驶的陆地车辆，例如乘用车或诸如此类。例如包含于车辆101内的中心计算机105总体包括处理器和存储器，该存储器包含一种或更多种计算机可读介质的格式，总体包含易失性和非易失性存储器，并存储由处理器执行的用于实现各种操作的指令，包括本发明所公开的那些。计算机105的存储器进一步总体储存由计算机105的处理器执行的用于实施本发明所公开的过程的指令，例如接收并评估来自数据采集器110的数据115、作出与驾驶员疲劳相关的判定，等。

计算机105大体上配置用于在控制器局域网(CAN)总线或诸如此类上进行通信。此外，计算机105可以配置用于与一个或更多装置150通信，例如通过各种有线和/或无线网络技术，例如蓝牙、通用串行总线(USB)或微型USB电缆等。进一步地，计算机105可以包含或耦接至人机界面(HMI)，该HMI可以接收提供给计算机105的输入，并显示输出。HMI可以包含多种机构，例如，像触摸屏、键盘、按键、话筒等这样的输入装置，以及进一步总体包含例如显示器、扬声器等这样的输出机构。

数据采集装置110可以包括多种装置，包括传感器或诸如此类，例如，使用通常部署于现有车辆101中用于检测横摆率和/或其他数据115的陀螺仪。进一步地，车辆中各种控制器可以起到数据采集装置110的作用，以通过CAN总线提供数据115，如与车辆速率，加速率等有关的数据115。另外进一步地，传感器或诸如此类、全球定位系统(GPS)装置等可以被包括在车辆中，且配置作为数据采集装置110以直接为计算机105提供数据，如通过有线或无线连接。传感器数据采集器110可以包含机构，以便检测如方向盘、制动踏板、加速器、变速杆等这样的车辆101组件的位置、位置变化、位置变化速率等。

计算机105的存储器总体储存采集到的数据115。采集到的数据115可以包括车辆101中采集到的多种数据。以上提供了采集到的数据115的实例，以及此外，通常使用一个或更多数据采集器110来采集数据115，并且数据115可以进一步包括计算机105由此计算出来的数据。

示例性过程流程

图2为用于检测驾驶员疲劳的示例性过程200的图表。过程200开始于框205，在框205中车辆101的计算机105采集数据115，该数据115包含车辆101在一段时间的横摆率，例如过去的10秒、过去的20秒、过去的30秒等。

接下来在框210，计算机105重建车辆101在一段时间的轨迹。该重建是通过求车辆101的横摆率在一段时间内的积分以获得车辆方位角——即横摆角——来完成的。图3说明了车辆101的数据115的实例，包含可以用于重建车辆轨迹的横摆率数据115。注意从车辆101的传感器110测量到的横摆率通常将包含噪声和偏差。这种测量误差——尤其是偏差——会损害车辆101方位角计算的准确性。然而，由于在当前的应用中，积分区间——即Δt——是相对较短持续时间，因此总偏差可以被忽略。方程1说明了给定时间t时的横摆率r的车辆方位角ψ(t)的计算。

然后，基于车辆101无横向速率或至少无显著的横向速率的进一步假设，除了在方程1中计算得出的车辆方位角ψ(t)还使用标识车辆101在时间t时的速率的数据115，正如下述方程2所示，运动学方程可以用于重建车辆101的轨迹。(其中position为位置)

图4说明车辆的车道变更轨迹重建的示例性曲线图。也就是说，提供了表示在间隔Δt期间执行的调度的重建轨迹。

接下来在框215，使用驾驶员参考模型来计算最佳转向角，并生成在框210中重建的轨迹的最佳车辆101执行。(一般来说正如人们所公知的，驾驶员参考模型被用于确定最佳驾驶员行为，例如最佳转向角、最佳速度等。)重建的轨迹其本身不一定可用于提供驾驶员疲劳的可靠指标。这是由于一般应当同样考虑与车辆101在间隔Δt期间行驶的道路相关的信息。例如，可以对车辆101转弯或横向运动作出不同的解释，在相对笔直的道路上与在相对弯曲或蜿蜒的道路上截然相反。相应的，驾驶员模型被用于体现一组用于执行重建轨迹的最佳或理想的车辆101方位角。在一实施例中，使用如方程3所示的麦克亚当模型。

方程3

包含如方程3所示的麦克亚当模型在内的驾驶员模型通常以计算最佳车辆101的方位或转向角u_opt为人所熟知。也就是说，y_d(t)代表理想路径，例如显而易见的可以由方程2推导得出。变量x₀代表车辆101的初始条件。矩阵F(t)和g(t)分别为状态转移车辆101系统矩阵和状态转移车辆101输入矩阵。T代表预瞄范围(preview horizon)。

图5A和5B分别显示了由驾驶员模式确定的轨迹模拟和驾驶员行为模拟。最佳的、非疲劳的驾驶员可以以接近最佳预瞄模型(例如，方程3)所指出的方式——即，伴有微小的横摆率变化——来操作车辆101。另一方面，疲劳的驾驶员与参考模型相比会显示出指示驾驶员疲劳的过度的转向行为，以及大的横摆率变化。

紧随框215在框220中，计算机105确定在各自的时间t测量的一组横摆率与理想横摆率的各自的偏差。该确定总体通过将横摆率数据115反映的实际转向行为与由参考驾驶员模型指示的理想转向行为作比较来作出。

接下来在框225，计算机105对关于框215所描述确定的从理想值的横摆率偏差应用带通滤波器。由于凭经验确定的疲劳的驾驶员的行为是通过具有显著频率分量的横摆率的测量来反映的，因此带通滤波器是可取的。功率谱密度分析说明了疲劳在横摆率数据115上的影响效果。例如图6A提供了对于非疲劳驾驶员的横摆率偏差的功率谱密度分析的示例性曲线图，以及图6B提供了对于疲劳驾驶员的与由参考模型确定的理想值的横摆率偏差的示例性曲线图功率谱密度分析。可以看出，对于所示的代表的数据，疲劳驾驶员的行为在0.2-0.75赫兹附近最显著，即与非疲劳驾驶员行为的偏差最明显。在任何情况下，方程4说明了高和低带通滤波器，正如通常公知的那样可以总体用于分离可能与疲劳行为有关的数据115。

方程4a和4b

也就是说，方程4a说明了低通滤波器，带有输入x(横摆率偏差)、低通滤波器时间常数a_lp、以及低通输出y。方程4b进而说明了使用来自方程4a的输出y、高通滤波器时间常数a_hp、高通输出y’的高通滤波器。

接下来在框230，计算机105计算由上述框225确定的高通输出y’的方差。例如，关于下文的方程5，给定y’的平均值μ，针对y’的n实例来执行标准方差(var)计算。

方程5

接下来在框235，计算机105确定框230中计算出的方差是否超出预定阀值。预定阀值通常通过经验测试和依赖于车辆平台的校正来确定。如果方差确实超出了预定方差阀值，则接下来执行框240。否则过程200继续前进至框255。

在紧随框235的框240，计算机105增加整数数据类型的通常初始设置(或重置)为零的计数器，并且该计数器用于记录计数器被设置或重置以来方差阀值被超出的次数。例如，在当前所描述的实施例中，计数器记录时间周期t内的方差阀值被超出的次数。在预定时间周期过后——例如在一实施方式中为六分钟——计数器被重置。

紧随框240在框245中，计算机105确定在框240中增加的计数器是否超出预定阀值。如上所述，正如框235的预定方差阀值一样，框240的计数器阀值可以通过经验测试和依赖于车辆平台的校正来确定。如果超出计数器阀值，则接下来执行框250。否则过程200继续前进至框255。

在紧随框245的框250，计算机105识别危险驾驶状态，例如疲劳状态，并通常在其基础上采取的行动。例如，计算机105通过HMI发出一个或更多警报，例如向车辆101的驾驶员提供声音或消息的语音警报、HMI屏幕上的可视警报等。进一步地，计算机105可以配置用于向一个或更多车辆101中的控制器发送指令，例如，调整车辆101的速度、使车辆101驶向安全停车点等。紧随框250，过程200继续前进至框255。

紧随框235、245、250中的任意一个，在框255，计算机105确定过程200是否应该继续。例如，车辆101可以关闭、停止、或以不足以用于采集有意义的横摆率数据的速度来移动。相应地，过程200可以紧随框255而结束。然而，过程200可以通过返回至框205继续。进一步在框255中，关于框240所讨论的计数器可以被重置或调整，例如在如上所述的一段时间过后。

请注意当前描述的机制可以被用于识别除了疲劳之外的异常驾驶状态，例如由于身体状态、药物或酒精等受损伤的驾驶员。然而，对于除了疲劳之外的损伤，以上分析中的变量值可能是不同的。例如，如上述解释，用于疲劳驾驶员行为的功率谱密度分析集中在0.2-0.75赫兹附近的范围。该范围可能不同于其他类型的损伤行为。

结论

计算装置，例如本发明中所讨论的那些，通常各自包括一个或多个计算装置(如上所述的那些)可执行的指令，用于执行上述过程的框或步骤。例如上述讨论的过程框可以呈现为计算机可执行的指令。

计算机可执行的指令可以从使用多种程序设计语言和/或技术建立的计算机程序中被编译或解读，这些程序设计语言和/或技术，非为限制，包括Java^TM，C，C++，VisualBasic，Java Script，Perl，HTML等中单独一个或结合。通常，处理器(如微处理器)如从存储器，计算机可读介质等接收指令，并且执行这些指令，从而执行一个或多个过程，包括本发明中所述过程的一个或多个。这样的指令和其它数据可以被存储且使用多种计算机可读介质传送。计算装置中的文件通常是存储在计算机可读介质(例如存储介质，随机存取存储器等)中的数据集。

计算机可读介质包括参与提供计算机可读数据(如指令)的任何介质。这样的介质可以采取许多形式，包括但不限于非易失性介质，易失性介质等。非易失性介质包括，例如光盘或磁盘以及其他持续内存。易失性介质包括动态随机存取存储器(DRAM)，其典型地构成主存储器。计算机可读介质的普遍形式包括，例如软盘(floppy disk)，可折叠磁盘(flexible disk)，硬盘，磁带，其它磁性介质，CD-ROM,，DVD，其它光学介质，穿孔卡片，纸带，其它具有孔排列模块的物理介质，RAM，PROM，EPROM，FLASH-EEPROM，其它存储芯片或磁片盒，或其它计算机可读的介质。

在附图中，相同的附图标记指示相同元件。进一步地，这些元件中的一些或全部可以被改变。至于本发明中所述的介质，过程，系统，方法等，应当理解的是，虽然这些过程等的步骤等被描述成根据一定的有序序列发生，这些过程可以实施为以不同于本发明所述顺序的顺序来执行所述的步骤。进一步应当理解，某些步骤可以同时执行，其它步骤可以增加，或在此所述的某些步骤可以省略。换句话说，提供本发明过程的描述目的在于说明某些实施例，而不应以任何方式被解释为限制要求保护的发明。

因此，应当理解的是，上述说明旨在说明而不是限制。除了提供的例子，在阅读上述说明基础之上许多实施例和应用对本领域技术人员来说是显而易见的。本发明的范围不应参照上述说明来确定，而是应该参照权利要求连同这些权利要求所享有的全部等效范围确定。可以预见和预期未来的发展将会发生在本发明讨论的领域，且本发明所公开的系统和方法将会被结合到这些未来的实施例中。总之，应当理解的是，本发明能够进行修改和变化并且仅被以下权利要求限定。

在权利要求中使用的所有术语旨在被给予它们最宽泛的合理解释和它们如本领域中技术人员理解的通常含义，除非在此作出明确相反的指示。特别是单数冠词如“一”，“该”，“所述”等的使用应被理解为叙述一个或多个所示元件，除非权利要求中叙述了明确相反的限制。

Claims

1.一种用于检测驾驶员疲劳的系统，包括车辆中的计算机，计算机包括处理器和储存器，其中计算机配置用于：

采集与车辆在一段时间周期内的横摆率相关的数据；

确定与实际轨迹相关的横摆率和与理想轨迹相关的横摆率的偏差；

计算偏差的方差；以及

如果方差超出预定方差阀值，则提供危险驾驶状态的指示，

其中危险驾驶状态为疲劳状态，并且计算机还配置用于识别与疲劳相关的横摆率的特定频率分量。

2.如权利要求1所述的系统，其中理想轨迹是部分地基于车辆在一段时间内的速度数据来计算。

3.如权利要求1所述的系统，其中理想轨迹基于参考驾驶员模型来计算。

4.如权利要求3所述的系统，其中参考驾驶员模型为最佳预瞄驾驶员模型。

5.一种用于检测驾驶员疲劳的方法，包括：

采集与车辆在一段时间周期内的横摆率相关的数据；

计算偏差的方差；以及

如果方差超出预定方差阀值，则提供危险驾驶状态的指示，

其中危险驾驶状态为疲劳状态，并且方法还包括识别与疲劳相关的横摆率的特定频率分量。

6.如权利要求5所述的方法，其中理想轨迹是部分地基于车辆在一段时间内的速度数据来计算。

7.如权利要求5所述的方法，其中理想轨迹基于参考驾驶员模型来计算。

8.如权利要求7所述的方法，其中参考驾驶员模型为最佳预瞄驾驶员模型。