CN103824420A - 基于心率变异性非接触式测量的疲劳驾驶识别系统 - Google Patents

基于心率变异性非接触式测量的疲劳驾驶识别系统 Download PDF

Info

Publication number
CN103824420A
CN103824420A CN201310731569.0A CN201310731569A CN103824420A CN 103824420 A CN103824420 A CN 103824420A CN 201310731569 A CN201310731569 A CN 201310731569A CN 103824420 A CN103824420 A CN 103824420A
Authority
CN
China
Prior art keywords
driver
hrv
image
fatigue
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310731569.0A
Other languages
English (en)
Other versions
CN103824420B (zh
Inventor
张波
张伟
成波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Tsingtech Microvision Electronic Science & Technology Co Ltd
Suzhou Automotive Research Institute of Tsinghua University
Original Assignee
Suzhou Tsingtech Microvision Electronic Science & Technology Co Ltd
Suzhou Automotive Research Institute of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Tsingtech Microvision Electronic Science & Technology Co Ltd, Suzhou Automotive Research Institute of Tsinghua University filed Critical Suzhou Tsingtech Microvision Electronic Science & Technology Co Ltd
Priority to CN201310731569.0A priority Critical patent/CN103824420B/zh
Publication of CN103824420A publication Critical patent/CN103824420A/zh
Application granted granted Critical
Publication of CN103824420B publication Critical patent/CN103824420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于心率变异性非接触测量的疲劳驾驶识别系统,包括图像采集装置、图像处理装置和报警装置,其特征在于所述图像采集装置用于实时获取驾驶人面部图像,并将采集的驾驶人图像传输给图像处理装置;所述图像处理装置用于根据驾驶人图像获取驾驶人的心率变异性,并根据驾驶人的心率变异性获取驾驶人的驾驶疲劳状态;所述报警装置用于当图像处理装置判定驾驶人处于驾驶疲劳状态时进行报警提示。该系统实现了非接触式监测识别,进一步提高了疲劳驾驶判别的准确性和实时性。

Description

基于心率变异性非接触式测量的疲劳驾驶识别系统
技术领域
本发明属于智能交通技术领域,具体涉及一种基于心率变异性非接触式测量的疲劳驾驶识别系统。
背景技术
驾驶疲劳是指驾驶员在一段时间的驾车之后所产生的反应水平下降,这种下降表现在注意力分散、打瞌睡等,使驾驶操作失误或完全丧失驾驶能力。当驾驶员处于疲劳状态时,往往因不能及时回避瞬间出现的意外情况,导致事故的发生。
目前已有多种方法来对驾驶员的疲劳状态进行判别。例如,借助车道辅助系统来判别驾驶员疲劳状态。但当检测到发生车道不正常改变时事故往往已经发生,且它只适用于路况良好的城市内公路和高速公路;对于路况稍差的非城市化道路,或遇有雨雪雾霾等恶劣天气情况时,车道不明显或不存在,以车道辅助系统为基础的疲劳驾驶判别系统就起不到任何作用。
还有方案是使用已经在医学领域得到普及应用的人体心率和呼吸率传感装置来获得人体的心率和呼吸率数据,以此来判断驾驶员是否处于疲劳状态。虽然医学研究早已证明这些信息与人的精神状态确实存在确定关系,电子技术的发展也使得这些传感装置变得更微型化、更便于携带,但设置在人体腰腹部或手腕处的这类传感装置,还要与疲劳判别装置连接,对驾驶员来说极为不便。
发明内容
本发明提供一种基于心率变异性非接触式测量的疲劳驾驶识别系统,目的在于使系统实现非接触式,并进一步提高了疲劳驾驶判别的准确性和实时性,对疲劳驾驶的危险驾驶行为进行实时警示。
为了解决现有技术中的这些问题,本发明提供的技术方案是:
一种基于心率变异性非接触式测量的疲劳驾驶识别系统,包括图像采集装置、图像处理装置和报警装置,其特征在于所述图像采集装置用于实时获取驾驶人面部图像,并将采集的驾驶人图像传输给图像处理装置;所述图像处理装置用于根据驾驶人图像获取驾驶人的心率变异性,并根据驾驶人的心率变异性获取驾驶人的驾驶疲劳状态;所述报警装置用于当图像处理装置判定驾驶人处于驾驶疲劳状态时进行报警提示。
优选的技术方案是:所述报警装置选自以下报警提示器的一种或者两者以上的任意组合:LED灯、语音报警器、安全带振动器及座椅振动器。
优选的技术方案是:所述图像采集装置选自摄像头,摄像头的输出端与图像处理装置的输入端连接。
优选的技术方案是:所述图像处理装置为DSP处理系统,DSP处理系统的输出端与报警装置的输入端连接。
优选的技术方案是:所述图像采集装置安装在车辆仪表盘的上方,以可拍摄到驾驶人面对车辆正前方时的正面人脸图像为安装的基准。
本发明的另一目的在于提供一种基于心率变异性的疲劳驾驶识别方法,其特征在于所述方法包括以下步骤:
(1)采集驾驶人的面部图像;
(2)根据驾驶人图像获取驾驶人的心率变异性,并根据驾驶人的心率变异性获取驾驶人的驾驶疲劳状态;
(3)当判定驾驶人处于驾驶疲劳状态时进行报警提示。
优选的技术方案是:所述方法步骤(2)根据驾驶人图像获取驾驶人的心率变异性按照如下步骤进行:
1)利用人脸分类器对驾驶人的面部图像进行人脸定位和器官识别,利用ASM进行脸部器官的定位;
2)根据定位的器官边缘定位额头、左右脸颊三个区域,统计一段时间内三个区域内的R、G、B值信号;
3)对R、G、B值信号进行ICA分析,对ICA分析结果的第二个分量进行插值、滤波处理,获得心率变形性数据向量。
优选的技术方案是:所述方法步骤(2)根据驾驶人的心率变异性获取驾驶人的驾驶疲劳状态按照如下步骤进行:
1)获取多组不同驾驶员在疲劳和不疲劳两种状态下的心率变异性数据向量,构建训练数据库训练分类器,并根据心率变异性数据向量的分析数据确定疲劳驾驶状态判断的阈值,建立疲劳驾驶判定模型;
2)根据驾驶人图像获取当前一段时间内驾驶人的心率变异性数据向量;
3)使用训练好的分类器对步骤2)中得到的心率变异性数据向量进行分类,结合驾驶状态数据库中的信息,根据心率变异性数据向量的分类结果是否在疲劳驾驶状态判断的阈值确定当前一段时间内驾驶员是否处于疲劳驾驶状态。
心率变异性(HRV,Heart rate variability)是指逐次心跳周期差异的变化情况,能有效反映脑力和体力疲劳状况,因而可以作为检查驾驶疲劳的重要指标。心率变异性是指连续窦性心跳间瞬时心率的微小涨落。反映窦性心率的应该是P-P间期,由于P-P间期难于准确检测,且在一般情况下与R-R间期相等,目前HRV分析均采用R-R间期。心率变异性(HRV)分析方法包括线性分析方法和非线性分析方法,线性分析方法又包括时域分析方法和频域分析方法。大量实验结果表明,HRV信号线性指标中频谱低频与高频的比值以及非线性指标中RR间期C0复杂度,与驾驶员的疲劳状态和过程相关程度最大。
频域分析法即功率谱分析法。它提供了能量随频率变化分布的基本信息,只要通过适当的数学运算,便可获得时域信号的谱估计。常用的谱估计方法有两种:周期图估计法和AR模型参数谱估计法。本系统采用周期图法进行谱估计,通过功率谱估计获得HRV信号的高频能量(HF,0.15~0.4Hz)、低频能量(LF,0.04~0.15Hz)、极低频能量(VLF,0.03~0.04Hz)和LF/HF。
时域分析方法是通过统计学离散趋势分析法计算RR间期变化的统计学方法。主要包括统计学分析方法和几何图形分析方法。包括以下指标:R-R间期最大值、R-R间期最小值、R-R间期平均值、SDNN、SDANN、RMSSD、SDNN index、SDSD、NN50、pNN50以及R-R间期直方图、R-R间期差值直方图、3R-R间期直方图和心率趋势图。其中R-R间期直方图以RR间期为横坐标,心搏数为纵坐标绘直方图。R-R间期差值直方图以相邻R-R间期的差为横坐标,中点为0,心搏数为纵坐标绘直方图。3R-R间期直方图以相邻每3R-R间期为横坐标,心搏数为纵坐标绘直方图。心率趋势图反映R-R间期随时间的变化情况,以逐次心跳为横坐标,R-R间期为纵坐标绘曲线图。
本发明技术方案基于心率变异性非接触式测量的疲劳驾驶识别系统,首先将其安装在车辆仪表盘上方,以摄像头能拍摄到驾驶员面对车辆前方时的面部图像为准,为了使系统在夜间也能工作同时又不影响驾驶员视线,在摄像头上还安装了红外LED灯,它会根据周围的光线环境自动开启红外灯,以弥补光线的不足,而且它发射出的肉眼不可见的光线不影响驾驶人正常行驶。利用图像处理的方法得到驾驶员的心率变异特征,以此为根据来实现疲劳驾驶判别,当驾驶员处于疲劳驾驶状态时进行报警提示。
本发明提供一种基于心率变异性非接触式测量的疲劳驾驶识别系统,通过图像处理的方法得到驾驶员的心率变异特征,以此来判别疲劳驾驶姿态,使系统实现非接触式,并进一步提高了疲劳驾驶判别的准确性和实时性。
本发明基于心率变异性非接触式测量的疲劳驾驶识别系统包括图像采集装置、图像处理装置和预警装置,其中图像采集装置,安装好驾驶疲劳判别系统的车载终端后,用于实时采集驾驶员面部图像序列。图像处理装置采用DSP处理系统。DSP处理系统,用于对采集到的驾驶员面部图像序列进行处理分析,根据结果进行疲劳驾驶判别。预警装置用于当判定驾驶员处于疲劳驾驶状态时,利用灯光、语音、声音、座椅振动等多种方式进行预警。图像采集装置采用摄像头,图像处理装置采用基于DM6437的DSP处理系统;其中,摄像头的输出端与DSP处理系统的输入端连接,DSP处理系统的输出端与报警装置的输入端连接。
当然,图像处理装置中需要设置包括图像采集、人脸定位与识别、HRV测量、HRV分析、驾驶疲劳判别、数据库、预警提示等模块,其中图像采集模块用于采集驾驶员的面部图像序列;人脸定位与识别模块用于对采集到的面部图像进行人脸定位和人脸识别;HRV测量模块用于通过人脸检测、ASM、ICA等方法测量驾驶员的心率变异信息;HRV分析模块用于对心率变异信息进行处理,分析HRV信号线性指标中频谱低频与高频的比值与非线性指标中RR间期C0复杂度,将两者结合起来,作为HRV的特征表征数据;驾驶疲劳判别模块用于建立心率变异特征的判别模型,用以判断驾驶疲劳;数据库模块用于存储驾驶员人脸识别结果及心率变异特征表征数据信息;预警提示模块用于当判定驾驶员处于疲劳驾驶状态时,根据疲劳驾驶程度决定采取何种预警方式。
本发明中的通过图像处理测量驾驶员心率实现疲劳驾驶判别的方法,包括以下步骤:
1.采集视频图像:摄像头可安装在车辆仪表盘的上方,以可拍摄到驾驶人面对车辆正前方时的正面人脸图像为基准,车辆启动后,采用摄像头进行视频图像采集,实时获取驾驶人面部状态信息。其中,为了能使本系统在夜间行驶时也能正常工作,在摄像头上还安装了红外LED灯,它会根据周围的光线环境自动开启红外灯,以弥补光线的不足,而且它发射出的肉眼不可见的光线不影响驾驶人正常行驶。
2.DSP处理系统分析图像:视频信号经过转换后传送至DSP处理系统进行分析。
DSP处理系统的主要任务是如何判别驾驶人疲劳驾驶状态。本发明中,驾驶人疲劳驾驶状态的判别是根据驾驶人图像获取驾驶人的心率变异性,并根据驾驶人的心率变异性获取驾驶人的驾驶疲劳状态,可分为以下两个步骤:
(1)根据驾驶人图像获取驾驶人的心率变异性
1)利用人脸分类器对驾驶人的面部图像进行人脸定位和器官识别,利用ASM进行脸部器官的定位;
2)根据定位的器官边缘定位额头、左右脸颊三个区域,统计一段时间内三个区域内的R、G、B值信号;
3)对R、G、B值信号进行ICA分析,对ICA分析结果的第二个分量进行插值、滤波处理,获得心率变形性数据向量。
其中,利用ASM(Active Shape Model,主动形状模型)进行脸部器官的定位,包括训练和搜索两个部分:
训练由以下步骤组成:
(1)搜集n张含有人脸面部区域的样本图片;
(2)对于每个样本图片,手动标定每个训练样本中的k个关键特征点,组成了一个形状向量ai,因此n个训练样本图片就构成了n个形状向量,即:
a i = ( x 1 i , y 1 i , x 2 i , y 2 i , . . . , x k i , y k i ) , i = 1,2 , . . . , n ;
其中,
Figure BDA0000447620440000052
表示第i个训练样本上第j个特征点的坐标;
(3)采用Procrustes方法进行归一化或对齐操作消除非形状干扰;
(4)将对齐后的形状向量进行PCA处理,计算平均形状向量:
Figure BDA0000447620440000061
然后计算协方差矩阵Φ:
Figure BDA0000447620440000062
然后求协方差矩阵Φ的特征值并将其按从大到小依次排序;
(5)计算第j个训练图像上的第i个特征点的n个局部纹理gi1,gi2,...,gin,计算其均值
Figure BDA0000447620440000063
以及计算其方差
Figure BDA0000447620440000064
得到该特征点。
采用特征点构建局部特征,在每次迭代过程中,一个特征点的新的特征g与其训练好的局部特征之间的相似性度量用马氏距离来表示:
f sim = ( g - g i ‾ ) S i - 1 · ( g - g i ‾ ) T .
ASM搜索按照如下步骤进行:对样本集进行训练得到ASM模型后即可进行ASM搜索,对平均形状以其中心逆时针旋转θ缩放s,然后再平移Xc得到初始模型X=M(s,θ)[ai]+Xc,通过仿射变换和参数调整,用该初始模型在新图像中所示目标形状,计算每个特征点的新位置,使搜索到的最终形状中的特征点和相对应的真正特征点最为接近。这样可以获得待获得特征部位的面部图像的特征点。
(2)根据驾驶人的心率变异性获取驾驶人的驾驶疲劳状态
1)获取多组不同驾驶员在疲劳和不疲劳两种状态下的心率变异性数据向量,构建训练数据库训练分类器,并根据心率变异性数据向量的分析数据确定疲劳驾驶状态判断的阈值,建立疲劳驾驶判定模型;
2)根据驾驶人图像获取当前一段时间内驾驶人的心率变异性数据向量;
3)使用训练好的分类器对步骤2)中得到的心率变异性数据向量进行分类,结合驾驶状态数据库中的信息,根据心率变异性数据向量的分类结果是否在疲劳驾驶状态判断的阈值确定当前一段时间内驾驶员是否处于疲劳驾驶状态。
3.判断是否报警和报警的具体方式:当判定驾驶人处于疲劳驾驶状态时进行报警提示。本发明中注意力分散状态的报警系统有多种方式。当发生注意力分散的情况时,考虑到报警方式的可接受性和报警效果,可采用以下报警方式:闪烁的LED灯、语音报警、安全带振动及座椅振动。
相对于现有技术中的方案,本发明的优点是:
在进行驾驶员疲劳状态识别时,大部分算法都是局限于通过接触式心率测量仪或判断眼睛睁闭状态等方法来判别驾驶疲劳状态,本发明提出一种基于心率变异性非接触式测量的疲劳驾驶识别系统,通过图像处理的方法得到驾驶员的心率变异特征来判别驾驶疲劳状态,使系统实现非接触式,并进一步提高了疲劳驾驶判别的准确性和实时性。
附图说明
下面结合附图及实施例对本发明作进一步描述:
图1为本发明基于心率变异性非接触式测量的疲劳驾驶识别系统的硬件结构示意图;
图2为本发明基于心率变异性非接触式测量的疲劳驾驶识别系统的软件架构示意图;
图3为本发明基于心率变异性非接触式测量的疲劳驾驶识别系统的工作流程示意图。
图4为根据ASM脸部器官定位结果截取的额头及左右脸颊3个区域的效果图;
图5为根据ASM脸部器官定位结果截取的多个图像同一区域的R、G、B值信号图;
图6为根据ASM脸部器官定位结果截取的多个图像同一区域采用ICA分析的第二分量曲线图。
具体实施方式
以下结合具体实施例对上述方案做进一步说明。应理解,这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整,未注明的实施条件通常为常规实验中的条件。
实施例
如图1所示,该基于心率变异性非接触式测量的疲劳驾驶识别系统可以通过图像处理测量驾驶员心率实现疲劳驾驶判别,包括图像采集装置、图像处理装置和预警装置,其中图像采集装置,安装好驾驶疲劳判别系统的车载终端后,用于实时采集驾驶员面部图像序列。图像处理装置采用DSP处理系统。DSP处理系统,用于对采集到的驾驶员面部图像序列进行处理分析,根据结果进行疲劳驾驶判别。预警装置用于当判定驾驶员处于疲劳驾驶状态时,利用灯光、语音、声音、座椅振动等多种方式进行预警。图像采集装置采用摄像头,图像处理装置采用基于DM6437的DSP处理系统;其中,摄像头的输出端与DSP处理系统的输入端连接,DSP处理系统的输出端与报警装置的输入端连接。
如图2所示,图像处理装置采用DSP处理系统,其中设置包括图像采集模块、人脸定位与识别模块、HRV测量模块、HRV分析模块、驾驶疲劳判别模块、数据库模块、预警提示模块,其中图像采集模块用于采集驾驶员的面部图像序列;人脸定位与识别模块用于对采集到的面部图像进行人脸定位和人脸识别;HRV测量模块用于通过人脸检测、ASM、ICA等方法测量驾驶员的心率变异信息;HRV分析模块用于对心率变异信息进行处理,分析HRV信号线性指标中频谱低频与高频的比值与非线性指标中RR间期C0复杂度,将两者结合起来,作为HRV的特征表征数据;驾驶疲劳判别模块用于建立心率变异特征的判别模型,用以判断驾驶疲劳;数据库模块用于存储驾驶员人脸识别结果及心率变异特征表征数据信息;预警提示模块用于当判定驾驶员处于疲劳驾驶状态时,根据疲劳驾驶程度决定采取何种预警方式。
如图3,本发明中基于心率变异性非接触式测量的疲劳驾驶识别系统的工作流程具体包括以下步骤:
1.通过大量实验,获取多组不同驾驶员在疲劳和不疲劳两种状态下的心率变异数据向量(为便于处理,使获取的数据向量维数相同),并分析这些向量的低频与高频的比值以及RR间期C0复杂度,即可构建训练数据库,并将训练好的分类器存储起来;
2.将本发明中的基于心率变异性非接触式测量的疲劳驾驶识别系统安装在车辆仪表盘上方,以摄像头能拍摄到驾驶员面对车辆前方时的面部图像为准;
3.为了使系统在夜间也能工作同时又不影响驾驶员视线,通过带有红外LED灯的摄像头得到驾驶员视频图像序列;
4.在采集到的视频帧图片序列中,使用训练好的人脸分类器进行人脸检测,获取驾驶员人脸图像;
5.使用ASM(Active Shape Model,主动形状模型)对人脸图像进行眼部、鼻子和嘴部的定位。主动形状模型包括训练和搜索两个部分:
其中,ASM的训练由以下步骤组成:
(1)搜集n张含有人脸面部区域的样本图片;
(2)对于每个样本图片,手动标定每个训练样本中的k个关键特征点,这样就组成了一个形状向量ai,如此一来,n个训练样本图片就构成了n个形状向量,其中,ai表示如下:
a i = ( x 1 i , y 1 i , x 2 i , y 2 i , . . . , x k i , y k i ) , i = 1,2 , . . . , n
其中,
Figure BDA0000447620440000092
表示第i个训练样本上第j个特征点的坐标;
(3)为了消除图片中人脸由于不同角度、距离远近、姿态变换等外界因素造成的非形状干扰,使点分布模型更加有效,采用Procrustes方法进行归一化或对齐操作;
(4)将对齐后的形状向量进行PCA处理:
计算平均形状向量:
Figure BDA0000447620440000093
计算协方差矩阵Φ: Φ = 1 n Σ i = 1 n ( a i - a ‾ ) T · ( a i - a ‾ )
然后求协方差矩阵Φ的特征值并将其按从大到小依次排序;
(5)计算第j个训练图像上的第i个特征点的n个局部纹理gi1,gi2,...,gin,求其均值
Figure BDA0000447620440000095
以及方差Si,就得到该特征点构建局部特征:
g i ‾ = 1 n Σ j = 1 n g ij
S i = 1 n Σ j = 1 n ( g ij - g i ‾ ) T · ( g ij - g i ‾ )
在每次迭代过程中,一个特征点的新的特征g与其训练好的局部特征之间的相似性度量用马氏距离来表示:
f sim = ( g - g i ‾ ) S i - 1 · ( g - g i ‾ ) T
对样本集进行训练得到ASM模型后即可进行ASM搜索,对平均形状以其中心逆时针旋转θ缩放s,然后再平移Xc得到初始模型X=M(s,θ)[ai]+Xc,通过放射变换和参数调整,用该初始模型在新图像中所示目标形状,计算每个特征点的新位置,使搜索到的最终形状中的特征点和相对应的真正特征点最为接近。
6.当定位眼睛、鼻子、嘴部位置后,找出眼睛、鼻子、嘴部等边缘特征点位置,根据其像素点位置及人脸图像的大小确定适合的高度和宽度,截取人脸图像上额头及左右脸颊3个区域处的图像,如图4所示,图中绿色点为ASM定位结果,3个红色矩形框为根据ASM定位结果所获得的额头及左右脸颊3个区域;
7.将根据步骤5截取的某帧图像I1的3个区域看作一幅图像,记为I2,统计一段时间内的图像序列中截取的多个图像I2的R、G、B值信号,如图5所示;
8.对步骤7中得到的R、G、B值进行ICA分析,得到若干相互独立的数值信号曲线;
9.对ICA的第二个分量曲线进行插值、滤波等处理后,取其上升沿方向的一阶零点,每两个连续的一阶零点对应的两帧间的时间差即为心率变异数值hi,如图6所示,A、B两点间(或B、C两点间)x值的时间差数值即为一个心率变异数值。
10.统计一段时间内的心率变异数值构成一个列向量H=(h1,h2,...,hi,...,hn),i=1,2,...,n;使用训练好的分类器对该向量进行分类,判定是否处于疲劳驾驶状态;将驾驶员人脸识别结果、驾驶状态信息存储至驾驶状态数据库,参与疲劳驾驶状态的判定,提高准确率。
预警方式包括LED灯闪烁、语音、座椅振动、安全带振动等,当驾驶员处于疲劳驾驶状态时,根据疲劳驾驶程度决定采取何种方式进行报警。
上述实例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰,都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于心率变异性非接触式测量的疲劳驾驶识别系统,包括图像采集装置、图像处理装置和报警装置,其特征在于所述图像采集装置用于实时获取驾驶人面部图像,并将采集的驾驶人图像传输给图像处理装置;所述图像处理装置用于根据驾驶人图像获取驾驶人的心率变异性,并根据驾驶人的心率变异性获取驾驶人的驾驶疲劳状态;所述报警装置用于当图像处理装置判定驾驶人处于驾驶疲劳状态时进行报警提示。
2.根据权利要求1所述的基于心率变异性非接触式测量的疲劳驾驶识别系统,其特征在于所述报警装置选自以下报警提示器的一种或者两者以上的任意组合:LED灯、语音报警器、安全带振动器及座椅振动器。
3.根据权利要求1所述的基于心率变异性非接触式测量的疲劳驾驶识别系统,其特征在于所述图像采集装置选自摄像头,摄像头的输出端与图像处理装置的输入端连接。
4.根据权利要求1所述的基于心率变异性非接触式测量的疲劳驾驶识别系统,其特征在于所述图像处理装置为DSP处理系统,DSP处理系统的输出端与报警装置的输入端连接。
5.根据权利要求1所述的基于心率变异性非接触式测量的疲劳驾驶识别系统,其特征在于所述图像采集装置安装在车辆仪表盘的上方,以可拍摄到驾驶人面对车辆正前方时的正面人脸图像为安装的基准。
6.一种基于心率变异性的疲劳驾驶识别方法,其特征在于所述方法包括以下步骤:
(1)采集驾驶人的面部图像;
(2)根据驾驶人图像获取驾驶人的心率变异性,并根据驾驶人的心率变异性获取驾驶人的驾驶疲劳状态;
(3)当判定驾驶人处于驾驶疲劳状态时进行报警提示。
7.根据权利要求6所述的疲劳驾驶识别方法,其特征在于所述方法步骤(2)根据驾驶人图像获取驾驶人的心率变异性按照如下步骤进行:
1)利用人脸分类器对驾驶人的面部图像进行人脸定位和器官识别,利用ASM进行脸部器官的定位;
2)根据定位的器官边缘定位额头、左右脸颊三个区域,统计一段时间内三个区域内的R、G、B值信号;
3)对R、G、B值信号进行ICA分析,对ICA分析结果的第二个分量进行插值、滤波处理,获得心率变形性数据向量。
8.根据权利要求6所述的疲劳驾驶识别方法,其特征在于所述方法步骤(2)根据驾驶人的心率变异性获取驾驶人的驾驶疲劳状态按照如下步骤进行:
1)获取多组不同驾驶员在疲劳和不疲劳两种状态下的心率变异性数据向量,构建训练数据库训练分类器,并根据心率变异性数据向量的分析数据确定疲劳驾驶状态判断的阈值,建立疲劳驾驶判定模型;
2)根据驾驶人图像获取当前一段时间内驾驶人的心率变异性数据向量;
3)使用训练好的分类器对步骤2)中得到的心率变异性数据向量进行分类,结合驾驶状态数据库中的信息,根据心率变异性数据向量的分类结果是否在疲劳驾驶状态判断的阈值确定当前一段时间内驾驶员是否处于疲劳驾驶状态。
CN201310731569.0A 2013-12-26 2013-12-26 基于心率变异性非接触式测量的疲劳驾驶识别系统 Active CN103824420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310731569.0A CN103824420B (zh) 2013-12-26 2013-12-26 基于心率变异性非接触式测量的疲劳驾驶识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310731569.0A CN103824420B (zh) 2013-12-26 2013-12-26 基于心率变异性非接触式测量的疲劳驾驶识别系统

Publications (2)

Publication Number Publication Date
CN103824420A true CN103824420A (zh) 2014-05-28
CN103824420B CN103824420B (zh) 2016-12-07

Family

ID=50759455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310731569.0A Active CN103824420B (zh) 2013-12-26 2013-12-26 基于心率变异性非接触式测量的疲劳驾驶识别系统

Country Status (1)

Country Link
CN (1) CN103824420B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303771A (zh) * 2015-09-15 2016-02-03 成都通甲优博科技有限责任公司 一种疲劳判断系统及方法
PT108192A (pt) * 2015-02-04 2016-08-04 Healthyroad Sist Biométricos Lda Dispositivo e método para monitorizar o estado de alerta do condutor de um veículo e prevenir acidentes
CN105996990A (zh) * 2016-04-29 2016-10-12 清华大学 一种融合心率和驾驶动作的疲劳驾驶预警手环及预警方法
CN106037651A (zh) * 2016-06-14 2016-10-26 北京极客天下科技发展有限公司 一种心率检测方法及系统
CN106778618A (zh) * 2016-12-16 2017-05-31 合肥寰景信息技术有限公司 一种疲劳驾驶监控预警系统
CN106725281A (zh) * 2016-11-15 2017-05-31 北京理工大学 一种基于心电信号分析的三维显示视疲劳评测方法
CN106843455A (zh) * 2015-12-03 2017-06-13 致伸科技股份有限公司 疲劳警示系统
CN107595274A (zh) * 2017-09-27 2018-01-19 广州中科新知科技有限公司 基于心率变异性非接触式检测情绪压力的靠垫
CN108733034A (zh) * 2017-04-14 2018-11-02 现代自动车株式会社 用于基于疲劳度控制车辆的设备和方法
CN108851379A (zh) * 2018-07-17 2018-11-23 莆田市诺斯顿电子发展有限公司 一种运动手环
CN109034132A (zh) * 2018-09-03 2018-12-18 深圳市尼欧科技有限公司 一种驾驶异常行为的检测方法
CN109589579A (zh) * 2018-12-05 2019-04-09 英华达(上海)科技有限公司 一种骑行评估方法及系统
CN109743507A (zh) * 2018-12-27 2019-05-10 惠州市德赛西威汽车电子股份有限公司 一种提高人脸识别精确度的摄像头补光系统及其方法
CN109993068A (zh) * 2019-03-11 2019-07-09 华南理工大学 一种基于心率和面部特征的非接触式的人类情感识别方法
CN110458191A (zh) * 2019-07-05 2019-11-15 中国平安财产保险股份有限公司 疲劳状态判断方法、装置、计算机设备及存储介质
CN111080940A (zh) * 2019-11-28 2020-04-28 同济大学 一种基于阈值体系的疲劳驾驶预警方法及系统
CN111797662A (zh) * 2019-04-08 2020-10-20 财团法人交大思源基金会 评估驾驶者的疲劳分数的方法
CN112440930A (zh) * 2019-09-04 2021-03-05 浙江吉利汽车研究院有限公司 一种安全带锁扣及应用其的汽车
CN113080986A (zh) * 2021-05-07 2021-07-09 中国科学院深圳先进技术研究院 一种基于可穿戴设备的运动性疲劳检测方法和系统
CN113243919A (zh) * 2021-04-01 2021-08-13 上海工程技术大学 一种列车司机疲劳状态识别及监控系统
CN113657345A (zh) * 2021-08-31 2021-11-16 天津理工大学 一种基于现实应用场景下的非接触式心率变异性特征提取方法
CN113679369A (zh) * 2021-08-23 2021-11-23 广东高驰运动科技有限公司 一种心率变异性的评估方法、智能穿戴设备及存储介质
WO2022233027A1 (zh) * 2021-05-07 2022-11-10 中国科学院深圳先进技术研究院 一种基于可穿戴设备的运动性疲劳检测方法和系统
WO2023103295A1 (zh) * 2021-12-10 2023-06-15 上海商汤智能科技有限公司 生理状态检测方法、装置、电子设备、存储介质和计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1956680A (zh) * 2004-05-24 2007-05-02 日本先锋公司 生物信息检测装置
JP2010264095A (ja) * 2009-05-15 2010-11-25 Nissan Motor Co Ltd 心拍数測定装置および心拍数測定方法
CN201927155U (zh) * 2011-01-25 2011-08-10 深圳市高斯贝尔家居智能电子有限公司 车载信息智能处理系统
CN103021134A (zh) * 2012-12-10 2013-04-03 郭文浩 汽车疲劳驾驶监测报警装置
CN203102530U (zh) * 2012-12-03 2013-07-31 长安大学 一种客车疲劳驾驶预警装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1956680A (zh) * 2004-05-24 2007-05-02 日本先锋公司 生物信息检测装置
JP2010264095A (ja) * 2009-05-15 2010-11-25 Nissan Motor Co Ltd 心拍数測定装置および心拍数測定方法
CN201927155U (zh) * 2011-01-25 2011-08-10 深圳市高斯贝尔家居智能电子有限公司 车载信息智能处理系统
CN203102530U (zh) * 2012-12-03 2013-07-31 长安大学 一种客车疲劳驾驶预警装置
CN103021134A (zh) * 2012-12-10 2013-04-03 郭文浩 汽车疲劳驾驶监测报警装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵飞帆 等: "基于人脸视频测量脉搏方法的初步研究", 《生物医学工程学杂志》, vol. 29, no. 5, 31 October 2012 (2012-10-31) *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PT108192A (pt) * 2015-02-04 2016-08-04 Healthyroad Sist Biométricos Lda Dispositivo e método para monitorizar o estado de alerta do condutor de um veículo e prevenir acidentes
CN105303771A (zh) * 2015-09-15 2016-02-03 成都通甲优博科技有限责任公司 一种疲劳判断系统及方法
CN106843455A (zh) * 2015-12-03 2017-06-13 致伸科技股份有限公司 疲劳警示系统
CN105996990A (zh) * 2016-04-29 2016-10-12 清华大学 一种融合心率和驾驶动作的疲劳驾驶预警手环及预警方法
CN106037651A (zh) * 2016-06-14 2016-10-26 北京极客天下科技发展有限公司 一种心率检测方法及系统
CN106725281A (zh) * 2016-11-15 2017-05-31 北京理工大学 一种基于心电信号分析的三维显示视疲劳评测方法
CN106778618A (zh) * 2016-12-16 2017-05-31 合肥寰景信息技术有限公司 一种疲劳驾驶监控预警系统
CN108733034A (zh) * 2017-04-14 2018-11-02 现代自动车株式会社 用于基于疲劳度控制车辆的设备和方法
CN107595274B (zh) * 2017-09-27 2021-02-19 广州中科新知科技有限公司 基于心率变异性非接触式检测情绪压力的靠垫
CN107595274A (zh) * 2017-09-27 2018-01-19 广州中科新知科技有限公司 基于心率变异性非接触式检测情绪压力的靠垫
CN108851379A (zh) * 2018-07-17 2018-11-23 莆田市诺斯顿电子发展有限公司 一种运动手环
CN109034132A (zh) * 2018-09-03 2018-12-18 深圳市尼欧科技有限公司 一种驾驶异常行为的检测方法
CN109589579A (zh) * 2018-12-05 2019-04-09 英华达(上海)科技有限公司 一种骑行评估方法及系统
CN109589579B (zh) * 2018-12-05 2020-11-13 英华达(上海)科技有限公司 一种骑行评估方法及系统
CN109743507A (zh) * 2018-12-27 2019-05-10 惠州市德赛西威汽车电子股份有限公司 一种提高人脸识别精确度的摄像头补光系统及其方法
CN109993068A (zh) * 2019-03-11 2019-07-09 华南理工大学 一种基于心率和面部特征的非接触式的人类情感识别方法
US11315350B2 (en) * 2019-04-08 2022-04-26 National Chiao Tung University Method for assessing driver fatigue
CN111797662A (zh) * 2019-04-08 2020-10-20 财团法人交大思源基金会 评估驾驶者的疲劳分数的方法
CN110458191A (zh) * 2019-07-05 2019-11-15 中国平安财产保险股份有限公司 疲劳状态判断方法、装置、计算机设备及存储介质
CN110458191B (zh) * 2019-07-05 2024-04-12 中国平安财产保险股份有限公司 疲劳状态判断方法、装置、计算机设备及存储介质
CN112440930A (zh) * 2019-09-04 2021-03-05 浙江吉利汽车研究院有限公司 一种安全带锁扣及应用其的汽车
CN111080940A (zh) * 2019-11-28 2020-04-28 同济大学 一种基于阈值体系的疲劳驾驶预警方法及系统
CN113243919A (zh) * 2021-04-01 2021-08-13 上海工程技术大学 一种列车司机疲劳状态识别及监控系统
CN113080986A (zh) * 2021-05-07 2021-07-09 中国科学院深圳先进技术研究院 一种基于可穿戴设备的运动性疲劳检测方法和系统
WO2022233027A1 (zh) * 2021-05-07 2022-11-10 中国科学院深圳先进技术研究院 一种基于可穿戴设备的运动性疲劳检测方法和系统
CN113679369A (zh) * 2021-08-23 2021-11-23 广东高驰运动科技有限公司 一种心率变异性的评估方法、智能穿戴设备及存储介质
CN113679369B (zh) * 2021-08-23 2023-12-19 广东高驰运动科技有限公司 一种心率变异性的评估方法、智能穿戴设备及存储介质
CN113657345A (zh) * 2021-08-31 2021-11-16 天津理工大学 一种基于现实应用场景下的非接触式心率变异性特征提取方法
CN113657345B (zh) * 2021-08-31 2023-09-15 天津理工大学 一种基于现实应用场景下的非接触式心率变异性特征提取方法
WO2023103295A1 (zh) * 2021-12-10 2023-06-15 上海商汤智能科技有限公司 生理状态检测方法、装置、电子设备、存储介质和计算机程序产品

Also Published As

Publication number Publication date
CN103824420B (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN103824420A (zh) 基于心率变异性非接触式测量的疲劳驾驶识别系统
US11783601B2 (en) Driver fatigue detection method and system based on combining a pseudo-3D convolutional neural network and an attention mechanism
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及系统
CN104013414B (zh) 一种基于移动智能手机的驾驶员疲劳检测系统
CN108053615B (zh) 基于微表情的驾驶员疲劳驾驶状态检测方法
CN101375796B (zh) 疲劳驾驶实时检测系统
CN103714660B (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN110077414A (zh) 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统
Hossain et al. IOT based real-time drowsy driving detection system for the prevention of road accidents
CN102054163B (zh) 基于单目视觉的驾驶员疲劳检测方法
CN102696041B (zh) 用于眼睛跟踪和司机睡意确认的成本效益高且稳健的系统和方法
CN109460699A (zh) 一种基于深度学习的驾驶员安全带佩戴识别方法
CN106529496B (zh) 一种机车乘务员实时视频疲劳检测的方法
CN108596087B (zh) 一种基于双网络结果的驾驶疲劳程度检测回归模型
CN101950355A (zh) 基于数字视频的驾驶员疲劳状态检测方法
CN105354988A (zh) 一种基于机器视觉的驾驶员疲劳驾驶检测系统及检测方法
CN109740477A (zh) 驾驶员疲劳检测系统及其疲劳检测方法
CN105117681A (zh) 基于安卓的多特征疲劳实时检测方法
CN107563346A (zh) 一种基于人眼图像处理实现驾驶员疲劳判别的方法
CN104881956A (zh) 一种疲劳驾驶预警系统
CN109977930A (zh) 疲劳驾驶检测方法及装置
CN103700220A (zh) 一种疲劳驾驶监控装置
Tang et al. Real-time image-based driver fatigue detection and monitoring system for monitoring driver vigilance
Kumtepe et al. Driver aggressiveness detection via multisensory data fusion
CN112016429A (zh) 基于火车驾驶室场景下疲劳驾驶检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant