CN108791299A - 一种基于视觉的驾驶疲劳检测及预警系统及方法 - Google Patents

一种基于视觉的驾驶疲劳检测及预警系统及方法 Download PDF

Info

Publication number
CN108791299A
CN108791299A CN201810470751.8A CN201810470751A CN108791299A CN 108791299 A CN108791299 A CN 108791299A CN 201810470751 A CN201810470751 A CN 201810470751A CN 108791299 A CN108791299 A CN 108791299A
Authority
CN
China
Prior art keywords
fatigue
driving
driver
early warning
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810470751.8A
Other languages
English (en)
Other versions
CN108791299B (zh
Inventor
缪其恒
陈淑君
苏志杰
王江明
许炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zero Run Technology Co Ltd
Original Assignee
Zhejiang Zero Run Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Zero Run Technology Co Ltd filed Critical Zhejiang Zero Run Technology Co Ltd
Priority to CN201810470751.8A priority Critical patent/CN108791299B/zh
Publication of CN108791299A publication Critical patent/CN108791299A/zh
Application granted granted Critical
Publication of CN108791299B publication Critical patent/CN108791299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809—Driver authorisation; Driver identical check
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种基于视觉的驾驶疲劳检测及预警系统，包括：人脸检测与身份验证模块，用于采集驾驶室图像，提取人脸信息及身份信息；正常驾驶基线数据库模块，用于建立与更新驾驶员疲劳基线；疲劳驾驶行为检测模块，用于基于所述提取到的人脸信息，生成疲劳驾驶ROI，进行疲劳驾驶行为识别；疲劳驾驶行为预警模块，用于根据疲劳驾驶行为检测模块的监测结果，判断驾驶员疲劳状态与驾驶疲劳等级，对驾驶员发出疲劳预警信号；以及，疲劳驾驶行为管控模块，用于根据疲劳预警信号，触发驾驶数据记录，上传数据。

Description

一种基于视觉的驾驶疲劳检测及预警系统及方法
技术领域
本发明涉及安全驾驶技术领域，特别涉及一种基于视觉的驾驶疲劳检测及预警系统及方法。
背景技术
中国每年发生交通事故50万起，因交通事故死亡人数均超过10万人。据道路交通事故数据统计，有超过半数的交通事故是由驾驶员的危险或错误车辆操作所导致的。然而，此类人为事故中大部分是由于疲劳驾驶所引发的，因而驾驶行为智能分析预警系统具有重要的应用价值。现有乘用车以及商用车的主动安全系统很少有涉及驾驶员行为分析与提醒的功能，尤其是对于商业运输车辆而言，长时间以及长途驾驶导致上述疲劳驾驶的发生概率更高。现有大部分商用营运车辆不具备功能完善的驾驶员行为监测系统，此类系统大多通过限定驾驶员的长途行车时间来避免疲劳驾驶的行为发生，部分车辆具备行车记录以及操作记录功能，不具备疲劳或危险驾驶行为预警系统，因而无法有效保障长途驾驶的行车安全。
近年来市场中出现的部分驾驶疲劳预警系统，或通过驾驶操纵信号(方向盘转角以及油门、制动踏板信号)，或通过驾驶员眼部开闭程度进行疲劳驾驶行为判断。此类系统所能预警的疲劳行为比较单一，且对于不同驾驶员的预警一致性相对较差。本发明集成包括瞌睡、打哈欠、低头等行为在内的疲劳驾驶行为检测与预警功能，能够有效提升商业运营车辆驾驶员疲劳驾驶行为的监管能力，同时降低此类行为所造成的潜在生命与财产损失。
发明内容
本发明的一个目的在于利用基于频闪远红外补光的驾驶室视觉输入，对驾驶员长途驾驶过程中的疲劳驾驶行为(包括瞌睡、哈欠、低头等)进行智能分析，并通过相应的视觉以及听觉输出设备提示驾驶员，通过特定传输协议将相应的事件上报平台，提供了一种基于视觉的驾驶疲劳检测及预警系统及方法。
本发明解决其技术问题所采用的技术方案是：一种基于视觉的驾驶疲劳检测及预警系统，包括：人脸检测与身份验证模块，用于采集驾驶室图像，提取人脸信息及身份信息；正常驾驶基线数据库模块，用于建立与更新驾驶员疲劳基线；疲劳驾驶行为检测模块，用于基于所述提取到的人脸信息，生成疲劳驾驶ROI，进行疲劳驾驶行为识别；疲劳驾驶行为预警模块，用于根据疲劳驾驶行为检测模块的监测结果，判断驾驶员疲劳状态与驾驶疲劳等级，对驾驶员发出疲劳预警信号；以及，疲劳驾驶行为管控模块，用于根据疲劳预警信号，触发驾驶数据记录，上传数据。
进一步地，所述人脸检测与身份验证模块，输入为远红外补光下驾驶室图像，输出为人脸关键点位置、特定部分特定部分人脸特征图谱以及身份编号。
本发明解决其技术问题还提供了一种基于视觉的驾驶疲劳检测及预警系统，分为输入层、分析决策层以及输出层；所述输入层包括：用于采集驾驶室图像的驾驶室监测系统；所述分析决策层包括：图像预处理单元、图像编码单元、图像分析单元以及预警决策生成单元；所述输出单元包括：扬声器、图像输入/输出端口、存储设备以及行车记录单元；所述驾驶室监测系统的采集信号传输至图像预处理单元，经图像预处理后进行图像分析，根据分析结果生成预警策略，通过视觉或听觉的方式输出至扬声器或图像输入/输出端口；图像预处理后进行编码后输出至存储设备以及运营平台的行车记录单元；所述输入层还包括用于采集车速信号、转向信号等的CAN数据总线，连接至图像编码单元。
本发明解决其技术问题还提供了一种基于视觉的驾驶疲劳检测及预警方法，包括：采集驾驶室图像，提取人脸信息及身份信息，进行人脸检测与身份验证；建立新增驾驶员疲劳基线，更新已有驾驶员疲劳基线；基于所述人脸检测与身份验证模块输出的人脸关键点位置、特定部分特定部分人脸特征图谱，进行疲劳驾驶应用检测；基于疲劳驾驶应用检测结果，判断驾驶员疲劳状态与驾驶疲劳等级，根据不同疲劳行为的预警阈值，发出疲劳预警信号，预警驾驶疲劳行为并显示驾驶疲劳等级状态；根据疲劳预警信号，触发驾驶数据记录，上传数据。
本发明，系统级联人脸以及疲劳驾驶行为多任务检测网络，通过共享人脸检测网络浅层特征以减少网络参数与运算量，从而优化前端网络运行耗时；依据时序确认的疲劳驾驶行为预警信号，兼有事件触发类型的视频记录与上传功能，具备商业运营车辆平台应用前景，通过疲劳事件预警以及总体疲劳监测两种方式提示驾驶员疲劳状态，预警鲁棒性更好。
进一步地，所述采集驾驶室图像，提取人脸信息及身份信息，进行人脸检测与身份验证，包括：将采集的驾驶室图像输入进行网络训练得到的检测网络，输出特定部分特定部分人脸特征图谱和人脸关键点位置，将所述特定部分特定部分人脸特征图谱与录入的人脸信息特征图谱库标准对齐后，与预录入驾驶员人脸库特征进行特征相似度匹配，利用预设相似度阈值，获取驾驶员身份编号。
进一步地，所述建立新增驾驶员疲劳基线，更新已有驾驶员疲劳基线；对于新增驾驶员，利用驾驶开始阶段的驾驶行为分析结果，建立驾驶员疲劳判别基线,包括平均眼睛开度和平均头部俯仰角；对于已录入信息驾驶员，读取驾驶疲劳判别基线数据，利用驾驶开始阶段驾驶行为分析结果，验证并调整对应疲劳基线。
进一步地，所述基于所述人脸检测与身份验证模块输出的人脸关键点位置、特定部分特定部分人脸特征图谱，进行疲劳驾驶应用检测，包括：瞌睡、哈欠行为以及低头行为检测；瞌睡行为检测：对特定部分人脸特征图谱进行眼部ROI-pooling，然后利用瞌睡检测网络进行眼部睁闭状态识别以及眼部关键点回归，经公式将关键点位置转换为眼睛张开程度λ，输出当前时刻眼睛睁闭状态S1以及睁闭程度λ；哈欠行为检测：对特定部分人脸特征图谱进行嘴部ROI-pooling，然后利用哈欠行为识别网络进行嘴部开闭状态识别，输出嘴部开闭状态S2；低头行为检测：根据预先设置的3D人脸模型，结合采集驾驶室图像的相机内参，通过奇异值分解得到平移向量T和旋转矩阵R，旋转矩阵R分解可得面部平面俯仰角φ。
本发明中，基于瞌睡、哈欠以及低头行为特征联合判断疲劳驾驶状态，疲劳行为定义更完善，可避免疲劳行为漏报。
进一步地，所述基于疲劳驾驶应用检测结果，判断驾驶员疲劳状态与驾驶疲劳等级，根据不同疲劳行为的预警阈值，发出疲劳预警信号，预警驾驶疲劳行为，包括：瞌睡预警提示：定义瞌睡预警参考指标瞌睡行为置信度C1和半分钟平均眼部开度，根据瞌睡行为检测输出的眼部睁闭状态S1计算瞌睡行为置信度C1：C1t+1＝max(0,C1t+(S1-1)*K1+S1*K2)；根据眼部睁闭开度λ，计算半分钟平均眼部开度λ0.5：其中，ts为相机采样周期，K1,K2为配置预警阈值参数，基于驾驶员疲劳基线数据，设定相应的瞌睡置信度预警阈值T1和半分钟平均眼部开度阈值T1’，若C1大于T1或λ0.5小于T1’，则通过事件触发的方式以视觉与听觉信号告警驾驶员；
哈欠预警提示：定义哈欠预警参考指标哈欠行为置信度C2，根据哈欠行为检测输出的哈欠状态S2计算瞌睡行为置信度C2：C2t+1＝max(0,C2t+(S2-1)*K1′+S2*K2′)，其中，K1’,K2’可配置预警阈值参数，设定相应的哈欠置信度预警阈值T2，若C2大于T2，则通过事件触发的方式以视觉与听觉信号告警驾驶员；
低头预警提示：定义低头预警参考指标半分钟平均头部俯仰角φ0.5，根据低头行为检测所得的面部朝向角的俯仰角部分，计算半分钟平均头部俯仰角φ0.5：其中，ts为相机采样周期，基于驾驶员疲劳基线数据，设定相应的半分钟平均头部俯仰角阈值T2’，若φ0.5大于T2’，则通过事件触发方式以视觉与听觉信号告警驾驶员。
进一步地，所述驾驶疲劳等级包括：驾驶正常、轻度疲劳以及重度疲劳；
驾驶疲劳等级判断方法为：根据所述眼部睁闭开度和面部朝向角的俯仰角部分，计算参考指标15分钟平均眼部开度λ15和15分钟平均头部俯仰角φ15，
基于驾驶员疲劳基线数据λref和φref，设定驾驶疲劳等级判定阈值TH，TM和TL；若则提示驾驶正常；若则提示轻度疲劳；若则提示中度疲劳；若则提示重度疲劳。
本发明的实质性效果：相比于已有驾驶监测系统本发明的优势在于：(1)此系统级联人脸以及疲劳驾驶行为多任务检测网络，通过共享人脸检测网络浅层特征以减少网络参数与运算量，从而优化前端网络运行耗时；(2)人脸检测中间结果的特定部分人脸特征图谱可用于驾驶员身份比对，并且以此为依据建立驾驶员驾驶行为基线；(3)此系统基于瞌睡、哈欠以及低头行为特征联合判断疲劳驾驶状态，疲劳行为定义更完善，可避免疲劳行为漏报；(4)此系统依据时序确认的疲劳驾驶行为预警信号，兼有事件触发类型的视频记录与上传功能，具备商业运营车辆平台应用前景；(5)本发明通过疲劳事件预警以及总体疲劳监测两种方式提示驾驶员疲劳状态，预警鲁棒性更好。
附图说明
图1为本发明的一种系统结构总图；
图2为本发明的一种算法流程总图；
图3为本发明的一种人脸检测神经网络(Face-Net)结构示意图；
图4为本发明的一种疲劳检测神经网络(Drowsiness-Net)结构示意图。
具体实施方式
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。
一种基于视觉的驾驶疲劳检测及预警系统，包括：人脸检测与身份验证模块，用于采集驾驶室图像，提取人脸信息及身份信息，输入为远红外补光下驾驶室图像，输出为人脸关键点位置、特定部分特定部分人脸特征图谱以及身份编号；正常驾驶基线数据库模块，用于建立与更新驾驶员疲劳基线；疲劳驾驶行为检测模块，用于基于所述提取到的人脸信息，生成疲劳驾驶ROI，进行疲劳驾驶行为识别；疲劳驾驶行为预警模块，用于根据疲劳驾驶行为检测模块的监测结果，判断驾驶员疲劳状态与驾驶疲劳等级，对驾驶员发出预警信号；以及，疲劳驾驶行为管控模块，用于根据疲劳预警信号，触发驾驶数据记录，上传数据。
一种基于视觉的驾驶疲劳检测及预警系统还可分为输入层、分析决策层以及输出层，如图1所示，输入层包括：用于采集驾驶室图像的驾驶室监测系统，分析决策层包括：图像预处理单元、图像编码单元、图像分析单元以及预警决策生成单元，输出单元包括：扬声器、图像输入/输出端口、存储设备以及运营平台的行车记录单元。驾驶室监测系统的采集信号传输至图像预处理单元，图像预处理后进行图像分析，根据分析结果生成预警策略，通过视觉或听觉的方式输出至扬声器或图像输入/输出端口；图像预处理后进行编码后输出至存储设备以及运营平台的行车记录单元。输出层还可包括用于采集车速信号、转向信号等的CAN数据总线，连接至图像编码单元。
一种基于视觉的驾驶疲劳检测及预警方法，处理流程如图2所示，包括：
S1：采集驾驶室图像，提取人脸信息及身份信息，进行人脸检测与身份验证，包括：
1.1设计人脸检测网络架构：基于级联区域建议网络、区域回归网络以及关键点回归网络结构，采用深度卷积神经网络，设计人脸检测网络架构；所采用的深度卷积神经网络如图3所示，所述区域建议网络输入为16*16*3图像数据,网络由全卷积架构构成，输出为人脸区域建议框的置信度以及粗略顶点位置；所述区域回归网络输入为32*32*3图像数据,网络由卷积和全连接架构构成，输出为人脸区域的置信度以及精确顶点位置；所述关键点回归网络输入为64*64*3图像数据,网络由卷积和全连接架构构成，输出为人脸区域的置信度、位置以及人脸关键点位置；
1.2训练数据采集与标定：训练数据采集与标定：离线采集远红外驾驶室场景数据，提取离散时序训练样本80000张，人工标注生成样本标签；标签内容包含：人脸类别(0-背景，1-人脸)，人脸区域位置(x,y,w,h)以及人脸关键点(6个-双眼、鼻尖、嘴角、下颚)，利用图像色域、几何等空间变换，进行样本扩充。若采集样本进一步扩充，此步骤可省略。
1.3分步离线网络训练：采用随机梯度下降的方式进行训练，学习率，batchsize等为可配置参数(默认值为64)，对于不同分支训练任务，分类损失函数L_cls设置为交叉熵，回归损失函数L_reg设置为相应回归点的欧式距离训练分三个步骤顺序执行：
第一步训练区域建议网络，训练样本根据标签生成，训练损失函数设置如下(α1，β1为可配置参数，默认值为0.6和0.4)：Loss1＝α1*L_cls+β1*L_reg
第二步训练区域回归网络，训练样本根据区域建议网络在原始训练样本集输出结果生成，训练损失函数设置如下(α2，β2为可配置参数，默认值为0.4和0.6)：Loss2＝α2*L_cls+β2*L_reg
第三步训练区域回归网络，训练样本根据区域回归网络在原始训练样本集输出结果生成，训练损失函数设置如下(α3，β3为可配置参数，默认值为0.2和0.8)：Loss2＝α3*L_cls+β3*L_reg。
1.4在线人脸检测：将驾驶室图像输入1.3中训练所得检测网络，输出区域回归网络特征图谱以及人脸关键点位置。
1.5身份验证：将1.4中特征图谱按录入人脸信息特征图谱库标准对齐后，与预录入驾驶员人脸库特征进行特征相似度匹配。利用预设相似度阈值，获取驾驶员身份编号。
S2：建立新增驾驶员疲劳基线，更新已有驾驶员疲劳基线；
对于新增驾驶员，利用驾驶开始阶段(预设特定时常t1)的驾驶行为分析结果，建立驾驶员疲劳判别基线,包含平均眼睛开度，平均头部俯仰角等。对于已录入信息驾驶员，读取驾驶疲劳判别基线数据，利用驾驶开始阶段(预设特定时常t2)驾驶行为分析结果，验证并微调上述疲劳判别基线。
S3：基于所述人脸检测与身份验证模块输出的人脸关键点位置、特定部分特定部分人脸特征图谱，进行疲劳驾驶应用检测；
基于S1中人脸检测网络输出的特定部分人脸特征图谱以及人脸关键点位置信息，进行本发明所定义的三种疲劳驾驶应用检测。瞌睡、哈欠行为检测采用深度卷积神经网络完成，训练方法与1中人脸关键点回归网络来相似，低头行为基于面部关键点几何方法完成。
算法流程如图4所示，详细信息如下：
3.1瞌睡行为检测：对特定部分人脸特征图谱进行眼部ROI-pooling，然后利用瞌睡检测网络进行眼部睁闭状态识别以及眼部关键点(4个)回归。经如下公式将关键点位置转换为眼睛张开程度输出当前时刻眼睛睁闭状态S1以及睁闭程度λ。
3.2哈欠行为检测：对特定部分人脸特征图谱进行嘴部ROI-pooling，然后利用哈欠行为识别网络进行嘴部开闭状态识别，输出嘴部开闭状态S2。
3.3低头行为检测：利用1中人脸检测网络输出的人脸关键点位置信息，根据预先设置的3D人脸模型，通过解决PnP问题，可以得到3x4投影变换矩阵P。利用已知相机内参，通过奇异值分解得到平移向量T和旋转矩阵R，R接偶分解可得面部平面俯仰角φ。
S4：基于疲劳驾驶应用检测结果，判断驾驶员疲劳状态与驾驶疲劳等级，根据不同疲劳行为的预警阈值，发出疲劳预警信号，以图标与声音两种提示方式，预警驾驶疲劳行为并显示驾驶疲劳等级状态；
4.1瞌睡预警提示：定义瞌睡预警参考指标瞌睡行为置信度C1和半分钟平均眼部开度。根据3.1瞌睡检测网络输出眼部睁闭状态S1计算瞌睡行为置信度C1：C1t+1＝max(0,C1t+(S1-1)*K1+S1*K2)；根据眼部睁闭开度λ，计算半分钟平均眼部开度λ0.5：其中，ts为相机采样周期，K1,K2为可配置预警阈值参数。基于驾驶员疲劳基线数据，设定相应的瞌睡置信度预警阈值T1和半分钟平均眼部开度阈值T1’，若C1大于T1或λ0.5小于T1’，则通过事件触发的方式以视觉与听觉信号告警驾驶员。
4.2哈欠预警提示：定义哈欠预警参考指标哈欠行为置信度C2。根据3.2哈欠检测网络输出哈欠状态S2计算瞌睡行为置信度C2：C2t+1＝max(0,C2t+(S2-1)*K1′+S2*K2′)。其中，K1’,K2’为可配置预警阈值参数。设定相应的哈欠置信度预警阈值T2，若C2大于T2，则通过事件触发的方式以视觉与听觉信号告警驾驶员。
4.3低头预警提示：定义低头预警参考指标半分钟平均头部俯仰角φ0.5。根据3.3中所得的面部朝向角的俯仰角部分，计算半分钟平均头部俯仰角φ0.5：其中，ts为相机采样周期。基于驾驶员疲劳基线数据，设定相应的半分钟平均头部俯仰角阈值T2’，若φ0.5大于T2’，则通过事件触发的方式以视觉与听觉信号告警驾驶员。
4.4总体驾驶疲劳等级：定义总体驾驶疲劳等级参考指标15分钟平均眼部开度λ15和15分钟平均头部俯仰角φ15。根据3.1中所得眼部睁闭开度和3.3中所得的面部朝向角的俯仰角部分，按如下公式分别计算上述指标：
基于驾驶员疲劳基线数据λref和φref，设定驾驶疲劳等级判定阈值TH，TM和TL。若则提示驾驶正常；若则提示轻度疲劳；若则提示中度疲劳；若则提示重度疲劳。以图标与提示音方式告警驾驶员行车疲劳等级，注意行车安全，作为优选可通过导航模块提示驾驶员最近距离的休息区域。
S5：根据疲劳预警信号，触发驾驶数据记录，上传数据。
对于商用车平台，作为可选项，利用实时录像与事件记录的方式，缓存当前时刻前10秒的驾驶室视频数据，根据预警信号延迟10秒触发此部分缓存数据以时间、驾驶者身份编号和预警信号命名，以H264或H265的编码方式写入硬盘，即记录预警信号出发时刻前后各10秒(共20秒)的驾驶室数据，并通过通讯模块将危险驾驶行为记录上报远端管控平台。根据车辆总线数据接入情况，作为优选，可将视频对应时刻的车速与转向信号以智能帧或字符叠加的方式编入视频流文件，以便后续其他应用。
以上所述实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其他的变体及改型。

Claims (10)

1.一种基于视觉的驾驶疲劳检测及预警系统，其特征在于，包括：
人脸检测与身份验证模块，用于采集驾驶室图像，提取人脸信息及身份信息；
正常驾驶基线数据库模块，用于建立与更新驾驶员疲劳基线；
疲劳驾驶行为检测模块，用于基于所述提取到的人脸信息，生成疲劳驾驶ROI，进行疲劳驾驶行为识别；
疲劳驾驶行为预警模块，用于根据疲劳驾驶行为检测模块的检测结果，判断驾驶员疲劳状态与驾驶疲劳等级，发出疲劳预警信号；以及，
疲劳驾驶行为管控模块，用于根据疲劳预警信号，触发驾驶数据记录，上传数据。
2.根据权利要求1所述的一种基于视觉的驾驶疲劳检测及预警系统，其特征在于，所述人脸检测与身份验证模块，输入为远红外补光下的驾驶室图像，输出为人脸关键点位置、特定部分人脸特征图谱以及身份编号。
3.一种基于视觉的驾驶疲劳检测及预警系统，其特征在于，分为输入层、分析决策层以及输出层；
所述输入层包括：用于采集驾驶室图像的驾驶室监测系统；
所述分析决策层包括：图像预处理单元、图像编码单元、图像分析单元以及预警决策生成单元；
所述输出单元包括：扬声器、图像输入/输出端口、存储设备以及行车记录单元；所述驾驶室监测系统的采集信号传输至图像预处理单元，经图像预处理后进行图像分析，根据分析结果生成预警策略，通过视觉或听觉的方式输出至扬声器或图像输入/输出端口；图像预处理后进行编码后输出至存储设备以及运营平台的行车记录单元；
所述输入层还包括用于采集车速信号、转向信号等的CAN数据总线，连接至图像编码单元。
4.一种基于视觉的驾驶疲劳检测及预警方法，其特征在于，包括：
采集驾驶室图像，提取人脸信息及身份信息，进行人脸检测与身份验证；
建立新增驾驶员疲劳基线，更新已有驾驶员疲劳基线；
基于所述人脸检测与身份验证模块输出的人脸关键点位置、特定部分人脸特征图谱，进行疲劳驾驶应用检测；
基于疲劳驾驶应用检测结果，判断驾驶员疲劳状态与驾驶疲劳等级，根据不同疲劳行为的预警阈值，发出疲劳预警信号，预警驾驶疲劳行为并显示驾驶疲劳等级状态；
根据疲劳预警信号，触发驾驶数据记录，上传数据。
5.根据权利要求4所述的一种基于视觉的驾驶疲劳检测及预警方法，其特征在于，所述采集驾驶室图像，提取人脸信息及身份信息，进行人脸检测与身份验证，包括：将采集的驾驶室图像输入进行网络训练得到的检测网络，输出特定部分人脸特征图谱和人脸关键点位置，将所述特定部分人脸特征图谱与录入的人脸信息特征图谱库标准对齐后，与预录入驾驶员人脸库特征进行特征相似度匹配，利用预设相似度阈值，获取驾驶员身份编号。
6.根据权利要求4所述的一种基于视觉的驾驶疲劳检测及预警方法，其特征在于，所述建立新增驾驶员疲劳基线，更新已有驾驶员疲劳基线；对于新增驾驶员，利用驾驶开始阶段的驾驶行为分析结果，建立驾驶员疲劳判别基线,包括平均眼睛开度和平均头部俯仰角；对于已录入信息驾驶员，读取驾驶疲劳判别基线数据，利用驾驶开始阶段驾驶行为分析结果，验证并调整对应疲劳基线。
7.根据权利要求4所述的一种基于视觉的驾驶疲劳检测及预警方法，其特征在于，所述基于所述人脸检测与身份验证模块输出的人脸关键点位置、特定部分人脸特征图谱，进行疲劳驾驶应用检测，包括：瞌睡、哈欠行为以及低头行为检测；
瞌睡行为检测：对特定部分人脸特征图谱进行眼部ROI-pooling，利用瞌睡检测网络进行眼部睁闭状态识别以及眼部关键点回归，经公式将关键点位置转换为眼睛张开程度λ，输出当前时刻眼睛睁闭状态S1以及睁闭程度λ；
哈欠行为检测：对特定部分人脸特征图谱进行嘴部ROI-pooling，利用哈欠行为识别网络进行嘴部开闭状态识别，输出嘴部开闭状态S2；
低头行为检测：根据预先设置的3D人脸模型，结合采集驾驶室图像的相机内参，通过奇异值分解得到平移向量T和旋转矩阵R，旋转矩阵R分解可得面部平面俯仰角φ。
8.根据权利要求4所述的一种基于视觉的驾驶疲劳检测及预警方法，其特征在于，所述基于疲劳驾驶应用检测结果，判断驾驶员疲劳状态与驾驶疲劳等级，根据不同疲劳行为的预警阈值，发出疲劳预警信号，预警驾驶疲劳行为，包括：
瞌睡预警提示：定义瞌睡预警参考指标瞌睡行为置信度C1和半分钟平均眼部开度，根据瞌睡行为检测输出的眼部睁闭状态S1计算瞌睡行为置信度C1：C1t+1＝max(0,C1t+(S1-1)*K1+S1*K2)；根据眼部睁闭开度λ，计算半分钟平均眼部开度λ0.5：其中，ts为相机采样周期，K1,K2为配置预警阈值参数，基于驾驶员疲劳基线数据，设定相应的瞌睡置信度预警阈值T1和半分钟平均眼部开度阈值T1’，若C1大于T1或λ0.5小于T1’，则告警驾驶员；
哈欠预警提示：定义哈欠预警参考指标哈欠行为置信度C2，根据哈欠行为检测输出的哈欠状态S2计算瞌睡行为置信度C2：C2t+1＝max(0,C2t+(S2-1)*K1′+S2*K2′)，其中，K1’,K2’可配置预警阈值参数，设定相应的哈欠置信度预警阈值T2，若C2大于T2，则告警驾驶员；
低头预警提示：定义低头预警参考指标半分钟平均头部俯仰角φ0.5，根据低头行为检测所得的面部朝向角的俯仰角部分，计算半分钟平均头部俯仰角φ0.5：其中，ts为相机采样周期，基于驾驶员疲劳基线数据，设定相应的半分钟平均头部俯仰角阈值T2’，若φ0.5大于T2’，则告警驾驶员。
9.根据权利要求4所述的一种基于视觉的驾驶疲劳检测及预警方法，其特征在于，所述驾驶疲劳等级包括：驾驶正常、轻度疲劳以及重度疲劳；
所述驾驶疲劳等级判断方法为：根据所述眼部睁闭开度和面部朝向角的俯仰角部分，计算参考指标15分钟平均眼部开度λ15和15分钟平均头部俯仰角φ15，
基于驾驶员疲劳基线数据λref和φref，设定驾驶疲劳等级判定阈值TH、TM和TL；若则提示驾驶正常；若则提示轻度疲劳；若则提示中度疲劳；若则提示重度疲劳。
10.根据权利要求4所述的一种基于视觉的驾驶疲劳检测及预警方法，其特征在于，所述根据疲劳预警信号，触发驾驶数据记录，上传数据包括：利用实时录像与事件记录的方式，缓存当前时刻前10秒的驾驶室视频数据，根据预警信号延迟10秒触发缓存数据以时间、驾驶者身份编号和预警信号命名，以H264或H265的编码方式写入硬盘，通过通讯模块将危险驾驶行为记录上报远端管控平台。
CN201810470751.8A 2018-05-16 2018-05-16 一种基于视觉的驾驶疲劳检测及预警系统及方法 Active CN108791299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810470751.8A CN108791299B (zh) 2018-05-16 2018-05-16 一种基于视觉的驾驶疲劳检测及预警系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810470751.8A CN108791299B (zh) 2018-05-16 2018-05-16 一种基于视觉的驾驶疲劳检测及预警系统及方法

Publications (2)

Publication Number Publication Date
CN108791299A true CN108791299A (zh) 2018-11-13
CN108791299B CN108791299B (zh) 2020-06-19

Family

ID=64092567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810470751.8A Active CN108791299B (zh) 2018-05-16 2018-05-16 一种基于视觉的驾驶疲劳检测及预警系统及方法

Country Status (1)

Country Link
CN (1) CN108791299B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657550A (zh) * 2018-11-15 2019-04-19 中科院微电子研究所昆山分所 一种疲劳度检测方法及装置
CN109919049A (zh) * 2019-02-21 2019-06-21 北京以萨技术股份有限公司 基于深度学习人脸姿态估计的疲劳检测方法
CN110751011A (zh) * 2019-05-23 2020-02-04 北京嘀嘀无限科技发展有限公司 驾驶安全检测方法、驾驶安全检测装置及车载终端
CN111709906A (zh) * 2020-04-13 2020-09-25 北京深睿博联科技有限责任公司 医学图像的质量评估方法和装置
CN111753659A (zh) * 2020-05-20 2020-10-09 广州虹科电子科技有限公司 基于人脸配准点的疲劳驾驶检测方法、设备、介质及装置
CN111785050A (zh) * 2020-06-15 2020-10-16 长安大学 一种高速公路疲劳驾驶预警装置及方法
CN111959517A (zh) * 2020-08-20 2020-11-20 中国第一汽车股份有限公司 一种距离的提示方法、装置、计算机设备和存储介质
CN112006702A (zh) * 2020-09-04 2020-12-01 北京伟杰东博信息科技有限公司 一种安全监控方法及其系统
CN112124320A (zh) * 2020-09-10 2020-12-25 恒大新能源汽车投资控股集团有限公司 车辆控制方法、系统及车辆
CN112208544A (zh) * 2020-10-21 2021-01-12 合肥工业大学 一种驾驶员的驾驶能力判断方法、安全驾驶方法及其系统
CN112406881A (zh) * 2019-08-21 2021-02-26 美光科技公司 用于车辆控制的疲劳驾驶检测
CN112528792A (zh) * 2020-12-03 2021-03-19 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN112860046A (zh) * 2019-11-27 2021-05-28 宇龙计算机通信科技(深圳)有限公司 选择运行模式的方法、装置、电子设备及介质
CN113051959A (zh) * 2019-12-26 2021-06-29 深圳市光鉴科技有限公司 基于深度学习的驾驶员状态检测方法、系统、设备及介质
CN113232665A (zh) * 2020-01-22 2021-08-10 四川物软网联科技有限公司 一种车载智能装置及车辆
CN113536967A (zh) * 2021-06-25 2021-10-22 武汉极目智能技术有限公司 基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法、装置、电子设备
CN113705427A (zh) * 2021-08-26 2021-11-26 成都上富智感科技有限公司 基于车规级芯片SoC的疲劳驾驶监测预警方法及系统
WO2021249239A1 (zh) * 2020-06-12 2021-12-16 广州汽车集团股份有限公司 一种疲劳驾驶检测方法及其系统、计算机设备
CN113879313A (zh) * 2020-07-01 2022-01-04 奥迪股份公司 驾驶员疲劳检测方法及装置
CN113947869A (zh) * 2021-10-18 2022-01-18 广州海事科技有限公司 基于船舶驾驶状态的报警方法、系统、计算机设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101375796A (zh) * 2008-09-18 2009-03-04 浙江工业大学 疲劳驾驶实时检测系统
CN101950355A (zh) * 2010-09-08 2011-01-19 中国人民解放军国防科学技术大学 基于数字视频的驾驶员疲劳状态检测方法
JP5494857B2 (ja) * 2013-02-28 2014-05-21 トヨタ自動車株式会社 車両の制御装置
TW201441080A (zh) * 2013-04-26 2014-11-01 Univ Hsiuping Sci & Tech 疲勞駕駛監測系統與方法
CN105035025A (zh) * 2015-07-03 2015-11-11 郑州宇通客车股份有限公司 一种驾驶员识别管理方法及系统
CN105096528A (zh) * 2015-08-05 2015-11-25 广州云从信息科技有限公司 一种疲劳驾驶检测方法及系统
CN105354988A (zh) * 2015-12-11 2016-02-24 东北大学 一种基于机器视觉的驾驶员疲劳驾驶检测系统及检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101375796A (zh) * 2008-09-18 2009-03-04 浙江工业大学 疲劳驾驶实时检测系统
CN101950355A (zh) * 2010-09-08 2011-01-19 中国人民解放军国防科学技术大学 基于数字视频的驾驶员疲劳状态检测方法
JP5494857B2 (ja) * 2013-02-28 2014-05-21 トヨタ自動車株式会社 車両の制御装置
TW201441080A (zh) * 2013-04-26 2014-11-01 Univ Hsiuping Sci & Tech 疲勞駕駛監測系統與方法
CN105035025A (zh) * 2015-07-03 2015-11-11 郑州宇通客车股份有限公司 一种驾驶员识别管理方法及系统
CN105096528A (zh) * 2015-08-05 2015-11-25 广州云从信息科技有限公司 一种疲劳驾驶检测方法及系统
CN105354988A (zh) * 2015-12-11 2016-02-24 东北大学 一种基于机器视觉的驾驶员疲劳驾驶检测系统及检测方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657550A (zh) * 2018-11-15 2019-04-19 中科院微电子研究所昆山分所 一种疲劳度检测方法及装置
CN109919049A (zh) * 2019-02-21 2019-06-21 北京以萨技术股份有限公司 基于深度学习人脸姿态估计的疲劳检测方法
CN110751011A (zh) * 2019-05-23 2020-02-04 北京嘀嘀无限科技发展有限公司 驾驶安全检测方法、驾驶安全检测装置及车载终端
CN112406881A (zh) * 2019-08-21 2021-02-26 美光科技公司 用于车辆控制的疲劳驾驶检测
CN112860046A (zh) * 2019-11-27 2021-05-28 宇龙计算机通信科技(深圳)有限公司 选择运行模式的方法、装置、电子设备及介质
CN112860046B (zh) * 2019-11-27 2023-05-12 宇龙计算机通信科技(深圳)有限公司 选择运行模式的方法、装置、电子设备及介质
CN113051959A (zh) * 2019-12-26 2021-06-29 深圳市光鉴科技有限公司 基于深度学习的驾驶员状态检测方法、系统、设备及介质
CN113232665A (zh) * 2020-01-22 2021-08-10 四川物软网联科技有限公司 一种车载智能装置及车辆
CN111709906A (zh) * 2020-04-13 2020-09-25 北京深睿博联科技有限责任公司 医学图像的质量评估方法和装置
CN111753659A (zh) * 2020-05-20 2020-10-09 广州虹科电子科技有限公司 基于人脸配准点的疲劳驾驶检测方法、设备、介质及装置
CN113807126A (zh) * 2020-06-12 2021-12-17 广州汽车集团股份有限公司 一种疲劳驾驶检测方法及其系统、计算机设备、存储介质
WO2021249239A1 (zh) * 2020-06-12 2021-12-16 广州汽车集团股份有限公司 一种疲劳驾驶检测方法及其系统、计算机设备
CN111785050A (zh) * 2020-06-15 2020-10-16 长安大学 一种高速公路疲劳驾驶预警装置及方法
CN113879313A (zh) * 2020-07-01 2022-01-04 奥迪股份公司 驾驶员疲劳检测方法及装置
CN111959517A (zh) * 2020-08-20 2020-11-20 中国第一汽车股份有限公司 一种距离的提示方法、装置、计算机设备和存储介质
CN111959517B (zh) * 2020-08-20 2021-09-24 中国第一汽车股份有限公司 一种距离的提示方法、装置、计算机设备和存储介质
CN112006702B (zh) * 2020-09-04 2021-09-24 北京伟杰东博信息科技有限公司 一种安全监控方法及其系统
CN112006702A (zh) * 2020-09-04 2020-12-01 北京伟杰东博信息科技有限公司 一种安全监控方法及其系统
CN112124320A (zh) * 2020-09-10 2020-12-25 恒大新能源汽车投资控股集团有限公司 车辆控制方法、系统及车辆
CN112208544A (zh) * 2020-10-21 2021-01-12 合肥工业大学 一种驾驶员的驾驶能力判断方法、安全驾驶方法及其系统
CN112528792A (zh) * 2020-12-03 2021-03-19 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN113536967A (zh) * 2021-06-25 2021-10-22 武汉极目智能技术有限公司 基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法、装置、电子设备
CN113705427A (zh) * 2021-08-26 2021-11-26 成都上富智感科技有限公司 基于车规级芯片SoC的疲劳驾驶监测预警方法及系统
CN113947869A (zh) * 2021-10-18 2022-01-18 广州海事科技有限公司 基于船舶驾驶状态的报警方法、系统、计算机设备及介质

Also Published As

Publication number Publication date
CN108791299B (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN108791299A (zh) 一种基于视觉的驾驶疲劳检测及预警系统及方法
CN108960065A (zh) 一种基于视觉的驾驶行为检测方法
US11783601B2 (en) Driver fatigue detection method and system based on combining a pseudo-3D convolutional neural network and an attention mechanism
CN107126224B (zh) 一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统
CN110119676A (zh) 一种基于神经网络的驾驶员疲劳检测方法
CN105769120B (zh) 疲劳驾驶检测方法和装置
Tipprasert et al. A method of driver’s eyes closure and yawning detection for drowsiness analysis by infrared camera
CN107657236A (zh) 汽车安全驾驶预警方法及车载预警系统
WO2020237664A1 (zh) 驾驶提醒方法、驾驶状态检测方法和计算设备
CN107697069A (zh) 汽车驾驶员疲劳驾驶智能控制方法
CN105956548A (zh) 驾驶员疲劳状况检测方法和装置
CN108764034A (zh) 一种基于驾驶室近红外相机的分神驾驶行为预警方法
WO2019127274A1 (zh) 一种针对犯罪活动的告警方法、装置、存储介质及服务器
CN103839379A (zh) 汽车及用于其的驾驶员疲劳预警检测方法和系统
CN108926352B (zh) 一种驾驶疲劳检测方法及系统
CN110991324B (zh) 一种基于多种动态特征和物联网技术的疲劳驾驶检测方法
CN109740477A (zh) 驾驶员疲劳检测系统及其疲劳检测方法
Yan et al. Recognizing driver inattention by convolutional neural networks
CN106467057A (zh) 车道偏离预警的方法、装置及系统
CN103150870A (zh) 一种基于视频的火车驾驶员疲劳检测方法
CN109977771A (zh) 司机身份的验证方法、装置、设备及计算机可读存储介质
CN107403541A (zh) 实时人眼识别监控疲劳驾驶的系统
CN115937830A (zh) 一种面向特种车辆的驾驶员疲劳检测方法
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN107506698A (zh) 基于物联网的公共交通汽车防疲劳驾驶管理的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 310051 1st and 6th floors, no.451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang Zero run Technology Co.,Ltd.

Address before: 310051 1st and 6th floors, no.451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: ZHEJIANG LEAPMOTOR TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder