CN103824420B - 基于心率变异性非接触式测量的疲劳驾驶识别系统 - Google Patents

基于心率变异性非接触式测量的疲劳驾驶识别系统 Download PDF

Info

Publication number
CN103824420B
CN103824420B CN201310731569.0A CN201310731569A CN103824420B CN 103824420 B CN103824420 B CN 103824420B CN 201310731569 A CN201310731569 A CN 201310731569A CN 103824420 B CN103824420 B CN 103824420B
Authority
CN
China
Prior art keywords
driver
heart rate
image
rate variability
fatigue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310731569.0A
Other languages
English (en)
Other versions
CN103824420A (zh
Inventor
张波
张伟
成波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Tsingtech Microvision Electronic Science & Technology Co Ltd
Suzhou Automotive Research Institute Tsinghua University
Original Assignee
Suzhou Tsingtech Microvision Electronic Science & Technology Co Ltd
Suzhou Automotive Research Institute Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Tsingtech Microvision Electronic Science & Technology Co Ltd, Suzhou Automotive Research Institute Tsinghua University filed Critical Suzhou Tsingtech Microvision Electronic Science & Technology Co Ltd
Priority to CN201310731569.0A priority Critical patent/CN103824420B/zh
Publication of CN103824420A publication Critical patent/CN103824420A/zh
Application granted granted Critical
Publication of CN103824420B publication Critical patent/CN103824420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种基于心率变异性非接触测量的疲劳驾驶识别系统,包括图像采集装置、图像处理装置和报警装置,其特征在于所述图像采集装置用于实时获取驾驶人面部图像,并将采集的驾驶人图像传输给图像处理装置;所述图像处理装置用于根据驾驶人图像获取驾驶人的心率变异性,并根据驾驶人的心率变异性获取驾驶人的驾驶疲劳状态;所述报警装置用于当图像处理装置判定驾驶人处于驾驶疲劳状态时进行报警提示。该系统实现了非接触式监测识别,进一步提高了疲劳驾驶判别的准确性和实时性。

Description

基于心率变异性非接触式测量的疲劳驾驶识别系统
技术领域
[0001] 本发明属于智能交通技术领域,具体涉及一种基于心率变异性非接触式测量的疲 劳驾驶识别系统。
背景技术
[0002] 驾驶疲劳是指驾驶员在一段时间的驾车之后所产生的反应水平下降,这种下降表 现在注意力分散、打瞌睡等,使驾驶操作失误或完全丧失驾驶能力。当驾驶员处于疲劳状态 时,往往因不能及时回避瞬间出现的意外情况,导致事故的发生。
[0003] 目前已有多种方法来对驾驶员的疲劳状态进行判别。例如,借助车道辅助系统来 判别驾驶员疲劳状态。但当检测到发生车道不正常改变时事故往往已经发生,且它只适用 于路况良好的城市内公路和高速公路;对于路况稍差的非城市化道路,或遇有雨雪雾霾等 恶劣天气情况时,车道不明显或不存在,以车道辅助系统为基础的疲劳驾驶判别系统就起 不到任何作用。
[0004] 还有方案是使用已经在医学领域得到普及应用的人体心率和呼吸率传感装置来 获得人体的心率和呼吸率数据,以此来判断驾驶员是否处于疲劳状态。虽然医学研究早已 证明这些信息与人的精神状态确实存在确定关系,电子技术的发展也使得这些传感装置变 得更微型化、更便于携带,但设置在人体腰腹部或手腕处的这类传感装置,还要与疲劳判别 装置连接,对驾驶员来说极为不便。
发明内容
[0005] 本发明提供一种基于心率变异性非接触式测量的疲劳驾驶识别系统,目的在于使 系统实现非接触式,并进一步提高了疲劳驾驶判别的准确性和实时性,对疲劳驾驶的危险 驾驶行为进行实时警示。
[0006] 为了解决现有技术中的这些问题,本发明提供的技术方案是:
[0007] -种基于心率变异性非接触式测量的疲劳驾驶识别系统,包括图像采集装置、图 像处理装置和报警装置,其特征在于所述图像采集装置用于实时获取驾驶人面部图像,并 将采集的驾驶人图像传输给图像处理装置;所述图像处理装置用于根据驾驶人图像获取驾 驶人的心率变异性,并根据驾驶人的心率变异性获取驾驶人的驾驶疲劳状态;所述报警装 置用于当图像处理装置判定驾驶人处于驾驶疲劳状态时进行报警提示。
[0008] 优选的技术方案是:所述报警装置选自以下报警提示器的一种或者两者以上的任 意组合:LED灯、语音报警器、安全带振动器及座椅振动器。
[0009] 优选的技术方案是:所述图像采集装置选自摄像头,摄像头的输出端与图像处理 装置的输入端连接。
[0010] 优选的技术方案是:所述图像处理装置为DSP处理系统,DSP处理系统的输出端与 报警装置的输入端连接。
[0011]优选的技术方案是:所述图像采集装置安装在车辆仪表盘的上方,以可拍摄到驾 驶人面对车辆正前方时的正面人脸图像为安装的基准。
[0012] 本发明的另一目的在于提供一种基于心率变异性的疲劳驾驶识别方法,其特征在 于所述方法包括以下步骤:
[0013] (1)采集驾驶人的面部图像;
[0014] (2)根据驾驶人图像获取驾驶人的心率变异性,并根据驾驶人的心率变异性获取 驾驶人的驾驶疲劳状态;
[0015] (3)当判定驾驶人处于驾驶疲劳状态时进行报警提示。
[0016]优选的技术方案是:所述方法步骤(2)根据驾驶人图像获取驾驶人的心率变异性 按照如下步骤进行:
[0017] 1)利用人脸分类器对驾驶人的面部图像进行人脸定位和器官识别,利用ASM进行 脸部器官的定位;
[0018] 2)根据定位的器官边缘定位额头、左右脸颊三个区域,统计一段时间内三个区域 内的R、G、B值信号;
[0019] 3)对R、G、B值信号进行ICA分析,对ICA分析结果的第二个分量进行插值、滤波处 理,获得心率变形性数据向量。
[0020] 优选的技术方案是:所述方法步骤(2)根据驾驶人的心率变异性获取驾驶人的驾 驶疲劳状态按照如下步骤进行:
[0021] 1)获取多组不同驾驶员在疲劳和不疲劳两种状态下的心率变异性数据向量,构建 训练数据库训练分类器,并根据心率变异性数据向量的分析数据确定疲劳驾驶状态判断的 阈值,建立疲劳驾驶判定模型;
[0022] 2)根据驾驶人图像获取当前一段时间内驾驶人的心率变异性数据向量;
[0023] 3)使用训练好的分类器对步骤2)中得到的心率变异性数据向量进行分类,结合驾 驶状态数据库中的信息,根据心率变异性数据向量的分类结果是否在疲劳驾驶状态判断的 阈值确定当前一段时间内驾驶员是否处于疲劳驾驶状态。
[0024] 心率变异性(HRV,Heart rate variability)是指逐次心跳周期差异的变化情况, 能有效反映脑力和体力疲劳状况,因而可以作为检查驾驶疲劳的重要指标。心率变异性是 指连续窦性心跳间瞬时心率的微小涨落。反映窦性心率的应该是P-P间期,由于P-P间期难 于准确检测,且在一般情况下与R-R间期相等,目前HRV分析均采用R-R间期。心率变异性 (HRV)分析方法包括线性分析方法和非线性分析方法,线性分析方法又包括时域分析方法 和频域分析方法。大量实验结果表明,HRV信号线性指标中频谱低频与高频的比值以及非线 性指标中RR间期Co复杂度,与驾驶员的疲劳状态和过程相关程度最大。
[0025] 频域分析法即功率谱分析法。它提供了能量随频率变化分布的基本信息,只要通 过适当的数学运算,便可获得时域信号的谱估计。常用的谱估计方法有两种:周期图估计法 和AR模型参数谱估计法。本系统采用周期图法进行谱估计,通过功率谱估计获得HRV信号的 高频能量(HF,0.15~0.4Hz )、低频能量(LF,0.04~0.15Hz )、极低频能量(VLF,0.03~ 0.04HzWPLF/HF。
[0026] 时域分析方法是通过统计学离散趋势分析法计算RR间期变化的统计学方法。主要 包括统计学分析方法和几何图形分析方法。包括以下指标:R-R间期最大值、R-R间期最小 值、R-R间期平均值、30顺、30厶顺、1»^50、50顺111(161、5050、顺504顺50以及1?-1?间期直方 图、R-R间期差值直方图、3R-R间期直方图和心率趋势图。其中R-R间期直方图以RR间期为横 坐标,心搏数为纵坐标绘直方图。R-R间期差值直方图以相邻R-R间期的差为横坐标,中点为 0,心搏数为纵坐标绘直方图。3R-R间期直方图以相邻每3R-R间期为横坐标,心搏数为纵坐 标绘直方图。心率趋势图反映 R-R间期随时间的变化情况,以逐次心跳为横坐标,R-R间期为 纵坐标绘曲线图。
[0027] 本发明技术方案基于心率变异性非接触式测量的疲劳驾驶识别系统,首先将其安 装在车辆仪表盘上方,以摄像头能拍摄到驾驶员面对车辆前方时的面部图像为准,为了使 系统在夜间也能工作同时又不影响驾驶员视线,在摄像头上还安装了红外LED灯,它会根据 周围的光线环境自动开启红外灯,以弥补光线的不足,而且它发射出的肉眼不可见的光线 不影响驾驶人正常行驶。利用图像处理的方法得到驾驶员的心率变异特征,以此为根据来 实现疲劳驾驶判别,当驾驶员处于疲劳驾驶状态时进行报警提示。
[0028] 本发明提供一种基于心率变异性非接触式测量的疲劳驾驶识别系统,通过图像处 理的方法得到驾驶员的心率变异特征,以此来判别疲劳驾驶姿态,使系统实现非接触式,并 进一步提高了疲劳驾驶判别的准确性和实时性。
[0029] 本发明基于心率变异性非接触式测量的疲劳驾驶识别系统包括图像采集装置、图 像处理装置和预警装置,其中图像采集装置,安装好驾驶疲劳判别系统的车载终端后,用于 实时采集驾驶员面部图像序列。图像处理装置采用DSP处理系统。DSP处理系统,用于对采集 到的驾驶员面部图像序列进行处理分析,根据结果进行疲劳驾驶判别。预警装置用于当判 定驾驶员处于疲劳驾驶状态时,利用灯光、语音、声音、座椅振动等多种方式进行预警。图像 采集装置采用摄像头,图像处理装置采用基于DM6437的DSP处理系统;其中,摄像头的输出 端与DSP处理系统的输入端连接,DSP处理系统的输出端与报警装置的输入端连接。
[0030] 当然,图像处理装置中需要设置包括图像采集、人脸定位与识别、HRV测量、HRV分 析、驾驶疲劳判别、数据库、预警提示等模块,其中图像采集模块用于采集驾驶员的面部图 像序列;人脸定位与识别模块用于对采集到的面部图像进行人脸定位和人脸识别;HRV测量 模块用于通过人脸检测、ASM、ICA等方法测量驾驶员的心率变异信息;HRV分析模块用于对 心率变异信息进行处理,分析HRV信号线性指标中频谱低频与高频的比值与非线性指标中 RR间期Co复杂度,将两者结合起来,作为HRV的特征表征数据;驾驶疲劳判别模块用于建立 心率变异特征的判别模型,用以判断驾驶疲劳;数据库模块用于存储驾驶员人脸识别结果 及心率变异特征表征数据信息;预警提示模块用于当判定驾驶员处于疲劳驾驶状态时,根 据疲劳驾驶程度决定采取何种预警方式。
[0031] 本发明中的通过图像处理测量驾驶员心率实现疲劳驾驶判别的方法,包括以下步 骤:
[0032] 1.采集视频图像:摄像头可安装在车辆仪表盘的上方,以可拍摄到驾驶人面对车 辆正前方时的正面人脸图像为基准,车辆启动后,采用摄像头进行视频图像采集,实时获取 驾驶人面部状态信息。其中,为了能使本系统在夜间行驶时也能正常工作,在摄像头上还安 装了红外LED灯,它会根据周围的光线环境自动开启红外灯,以弥补光线的不足,而且它发 射出的肉眼不可见的光线不影响驾驶人正常行驶。
[0033] 2.DSP处理系统分析图像:视频信号经过转换后传送至DSP处理系统进行分析。
[0034] DSP处理系统的主要任务是如何判别驾驶人疲劳驾驶状态。本发明中,驾驶人疲劳 驾驶状态的判别是根据驾驶人图像获取驾驶人的心率变异性,并根据驾驶人的心率变异性 获取驾驶人的驾驶疲劳状态,可分为以下两个步骤:
[0035] (1)根据驾驶人图像获取驾驶人的心率变异性
[0036] 1)利用人脸分类器对驾驶人的面部图像进行人脸定位和器官识别,利用ASM进行 脸部器官的定位;
[0037] 2)根据定位的器官边缘定位额头、左右脸颊三个区域,统计一段时间内三个区域 内的R、G、B值信号;
[0038] 3)对R、G、B值信号进行ICA分析,对ICA分析结果的第二个分量进行插值、滤波处 理,获得心率变形性数据向量。
[0039] 其中,利用ASM(Active Shape Model,主动形状模型)进行脸部器官的定位,包括 训练和搜索两个部分:
[0040]训练由以下步骤组成:
[0041 ] (1)搜集η张含有人脸面部区域的样本图片;
[0042] (2)对于每个样本图片,手动标定每个训练样本中的k个关键特征点,组成了一个 形状向量出,闵此η个训练样本图片就构成了η个形状向量,即:
[0043]
Figure CN103824420BD00081
[0044] 其中,(_4,%)表示第i个训练样本上第j个特征点的坐标;
[0045] (3)采用Procrustes方法进行归一化或对齐操作消除非形状干扰;
[0046] (4)将对齐后的形状向量进行PCA处理,计算平均形状向量
Figure CN103824420BD00082
然后计算
Figure CN103824420BD00083
协方差矩阵Φ 然后求协方差矩阵Φ的特征值并将其按从大到 i 小依次排序;
[0047] (5)计算第j个训练图像上的第i个特征点的η个局部纹理gii,gi2, . . .,gin,计算其 均-
Figure CN103824420BD00084
;以及计算其方I
Figure CN103824420BD00085
,得到该特征点。
[0048] 采用特征点构建局部特征,在每次迭代过程中,一个特征点的新的特征g与其训练 好的局部特征之间的相似性度暈用马氏距离来表示:
[0049]
Figure CN103824420BD00086
[0050] ASM搜索按照如下步骤进行:对样本集进行训练得到ASM模型后即可进行ASM搜索, 对平均形状以其中心逆时针旋转Θ缩放s,然后再平移X。得到初始模型X=M(s,0)[ ai]+X。,通 过仿射变换和参数调整,用该初始模型在新图像中所示目标形状,计算每个特征点的新位 置,使搜索到的最终形状中的特征点和相对应的真正特征点最为接近。这样可以获得待获 得特征部位的面部图像的特征点。
[0051] (2)根据驾驶人的心率变异性获取驾驶人的驾驶疲劳状态
[0052] 1)获取多组不同驾驶员在疲劳和不疲劳两种状态下的心率变异性数据向量,构建 训练数据库训练分类器,并根据心率变异性数据向量的分析数据确定疲劳驾驶状态判断的 阈值,建立疲劳驾驶判定模型;
[0053] 2)根据驾驶人图像获取当前一段时间内驾驶人的心率变异性数据向量;
[0054] 3)使用训练好的分类器对步骤2)中得到的心率变异性数据向量进行分类,结合驾 驶状态数据库中的信息,根据心率变异性数据向量的分类结果是否在疲劳驾驶状态判断的 阈值确定当前一段时间内驾驶员是否处于疲劳驾驶状态。
[0055] 3.判断是否报警和报警的具体方式:当判定驾驶人处于疲劳驾驶状态时进行报警 提示。本发明中注意力分散状态的报警系统有多种方式。当发生注意力分散的情况时,考虑 到报警方式的可接受性和报警效果,可采用以下报警方式:闪烁的LED灯、语音报警、安全带 振动及座椅振动。
[0056] 相对于现有技术中的方案,本发明的优点是:
[0057] 在进行驾驶员疲劳状态识别时,大部分算法都是局限于通过接触式心率测量仪或 判断眼睛睁闭状态等方法来判别驾驶疲劳状态,本发明提出一种基于心率变异性非接触式 测量的疲劳驾驶识别系统,通过图像处理的方法得到驾驶员的心率变异特征来判别驾驶疲 劳状态,使系统实现非接触式,并进一步提高了疲劳驾驶判别的准确性和实时性。
附图说明
[0058]下面结合附图及实施例对本发明作进一步描述:
[0059] 图1为本发明基于心率变异性非接触式测量的疲劳驾驶识别系统的硬件结构示意 图;
[0060] 图2为本发明基于心率变异性非接触式测量的疲劳驾驶识别系统的软件架构示意 图;
[0061] 图3为本发明基于心率变异性非接触式测量的疲劳驾驶识别系统的工作流程示意 图。
[0062] 图4为根据ASM脸部器官定位结果截取的额头及左右脸颊3个区域的效果图;
[0063]图5为根据ASM脸部器官定位结果截取的多个图像同一区域的R、G、B值信号图; [0064]图6为根据ASM脸部器官定位结果截取的多个图像同一区域采用ICA分析的第二分 量曲线图。
具体实施方式
[0065]以下结合具体实施例对上述方案做进一步说明。应理解,这些实施例是用于说明 本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做 进一步调整,未注明的实施条件通常为常规实验中的条件。
[0066] 实施例
[0067] 如图1所示,该基于心率变异性非接触式测量的疲劳驾驶识别系统可以通过图像 处理测量驾驶员心率实现疲劳驾驶判别,包括图像采集装置、图像处理装置和预警装置,其 中图像采集装置,安装好驾驶疲劳判别系统的车载终端后,用于实时采集驾驶员面部图像 序列。图像处理装置采用DSP处理系统。DSP处理系统,用于对采集到的驾驶员面部图像序列 进行处理分析,根据结果进行疲劳驾驶判别。预警装置用于当判定驾驶员处于疲劳驾驶状 态时,利用灯光、语音、声音、座椅振动等多种方式进行预警。图像采集装置采用摄像头,图 像处理装置采用基于DM6437的DSP处理系统;其中,摄像头的输出端与DSP处理系统的输入 端连接,DSP处理系统的输出端与报警装置的输入端连接。
[0068]如图2所示,图像处理装置采用DSP处理系统,其中设置包括图像采集模块、人脸定 位与识别模块、HRV测量模块、HRV分析模块、驾驶疲劳判别模块、数据库模块、预警提示模 块,其中图像采集模块用于采集驾驶员的面部图像序列;人脸定位与识别模块用于对采集 到的面部图像进行人脸定位和人脸识别;HRV测量模块用于通过人脸检测、ASM、ICA等方法 测量驾驶员的心率变异信息;HRV分析模块用于对心率变异信息进行处理,分析HRV信号线 性指标中频谱低频与高频的比值与非线性指标中RR间期Co复杂度,将两者结合起来,作为 HRV的特征表征数据;驾驶疲劳判别模块用于建立心率变异特征的判别模型,用以判断驾驶 疲劳;数据库模块用于存储驾驶员人脸识别结果及心率变异特征表征数据信息;预警提示 模块用于当判定驾驶员处于疲劳驾驶状态时,根据疲劳驾驶程度决定采取何种预警方式。 [0069]如图3,本发明中基于心率变异性非接触式测量的疲劳驾驶识别系统的工作流程 具体包括以下步骤:
[0070] 1.通过大量实验,获取多组不同驾驶员在疲劳和不疲劳两种状态下的心率变异数 据向量(为便于处理,使获取的数据向量维数相同),并分析这些向量的低频与高频的比值 以及RR间期Co复杂度,即可构建训练数据库,并将训练好的分类器存储起来;
[0071] 2.将本发明中的基于心率变异性非接触式测量的疲劳驾驶识别系统安装在车辆 仪表盘上方,以摄像头能拍摄到驾驶员面对车辆前方时的面部图像为准;
[0072] 3.为了使系统在夜间也能工作同时又不影响驾驶员视线,通过带有红外LED灯的 摄像头得到驾驶员视频图像序列;
[0073] 4.在采集到的视频帧图片序列中,使用训练好的人脸分类器进行人脸检测,获取 驾驶员人脸图像;
[0074] 5.使用ASMUctive Shape Model,主动形状模型)对人脸图像进行眼部、鼻子和嘴 部的定位。主动形状模型包括训练和搜索两个部分:
[0075] 其中,ASM的训练由以下步骤组成:
[0076] (1)搜集η张含有人脸面部区域的样本图片;
[0077] (2)对于每个样本图片,手动标定每个训练样本中的k个关键特征点,这样就组成 了一个形状向量 &1,如此一来,η个训练样本图片就构成了η个形状向量,其中表示如下:
[0078]
Figure CN103824420BD00101
[0079] 其中,(X丨,乂)表示第i个训练样本上第j个特征点的坐标;
[0080] (3)为了消除图片中人脸由于不同角度、距离远近、姿态变换等外界因素造成的非 形状干扰,使点分布模型更加有效,采用Procrustes方法进行归一化或对齐操作;
[0081 ] (4)将对齐后的形状向量进行PCA处理:
Figure CN103824420BD00102
[0084]然后求协方差矩阵Φ的特征值并将其按从大到小依次排序;
[0082] 计算平均形状向]
[0083] 计算协方差矩阵*
[0085] (5)计算第j个训练图像上的第i个特征点的η个局部纹理gii,gi2, . . .,gin,求其均 值E以及方差31,就得到该特征点构建局部特征:
Figure CN103824420BD00111
[0086]
[0087]
[0088] 在每次迭代过程中,一个特征点的新的特征g与其训练好的局部特征之间的相似 性度量用马氏距离来表示:
[0089]
Figure CN103824420BD00112
[0090] 对样本集进仃训练得到ASM悮型后即可进行ASM搜索,对平均形状以其中心逆时针 旋转Θ缩放s,然后再平移X。得到初始模型X=M(s,Θ) [ai]+X。,通过放射变换和参数调整,用 该初始模型在新图像中所示目标形状,计算每个特征点的新位置,使搜索到的最终形状中 的特征点和相对应的真正特征点最为接近。
[0091] 6.当定位眼睛、鼻子、嘴部位置后,找出眼睛、鼻子、嘴部等边缘特征点位置,根据 其像素点位置及人脸图像的大小确定适合的高度和宽度,截取人脸图像上额头及左右脸颊 3个区域处的图像,如图4所示,图中绿色点为ASM定位结果,3个红色矩形框为根据ASM定位 结果所获得的额头及左右脸颊3个区域;
[0092] 7.将根据步骤5截取的某帧图像Il的3个区域看作一幅图像,记为12,统计一段时 间内的图像序列中截取的多个图像12的R、G、B值信号,如图5所示;
[0093] 8.对步骤7中得到的R、G、B值进行ICA分析,得到若干相互独立的数值信号曲线;
[0094] 9.对ICA的第二个分量曲线进行插值、滤波等处理后,取其上升沿方向的一阶零 点,每两个连续的一阶零点对应的两帧间的时间差即为心率变异数值lu,如图6所示,A、B两 点间(或B、C两点间)x值的时间差数值即为一个心率变异数值。
[0095] 10.统计一段时间内的心率变异数值构成一个列向量Η=(1η,1ι2, . . .,hi,. . .,hn), i = l,2,. . .,n;使用训练好的分类器对该向量进行分类,判定是否处于疲劳驾驶状态;将驾 驶员人脸识别结果、驾驶状态信息存储至驾驶状态数据库,参与疲劳驾驶状态的判定,提高 准确率。
[0096] 预警方式包括LED灯闪烁、语音、座椅振动、安全带振动等,当驾驶员处于疲劳驾驶 状态时,根据疲劳驾驶程度决定采取何种方式进行报警。
[0097] 上述实例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人是 能够了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡根据本发明精 神实质所做的等效变换或修饰,都应涵盖在本发明的保护范围之内。

Claims (7)

1. 一种基于心率变异性非接触式测量的疲劳驾驶识别系统,包括图像采集装置、图像 处理装置和报警装置,其特征在于所述图像采集装置用于实时获取驾驶人面部图像,并将 采集的驾驶人图像传输给图像处理装置;所述图像处理装置包括HRV分析模块,HRV分析模 块用于对心率变异信息进行处理,分析HRV信号线性指标中频谱低频与高频的比值与非线 性指标中RR间期Co复杂度,将两者结合起来,作为HRV的特征表征数据;所述图像处理装置 用于根据驾驶人图像获取驾驶人的心率变异性,并根据驾驶人的心率变异性获取驾驶人的 驾驶疲劳状态;所述报警装置用于当图像处理装置判定驾驶人处于驾驶疲劳状态时进行报 警提示; 所述根据驾驶人图像获取驾驶人的心率变异性按照如下步骤进行: 1) 利用人脸分类器对驾驶人的面部图像进行人脸定位和器官识别,利用ASM进行脸部 器官的定位; 2) 根据定位的器官边缘定位额头、左右脸颊三个区域,统计一段时间内三个区域内的 R、G、B值信号; 3) 对R、G、B值信号进行ICA分析,对ICA分析结果的第二个分量进行插值、滤波处理,获 得心率变形性数据向量; 其中,利用ASM进行脸部器官的定位,包括训练和搜索两个部分: 训练由以下步骤组成: 1) 搜集η张含有人脸面部区域的样本图片; 2) 对于每个样本图片,手动标定每个训练样本中的k个关键特征点,组成了一个形状向 量&1,因此η个训练样本图片就构成了 η个形状向量,即:
Figure CN103824420BC00021
其中,(<,%)表示第i个训练样本上第j个特征点的坐标;
Figure CN103824420BC00022
9 3) 将η个形状向量进行归一化或对齐操作消除非形状干扰;
Figure CN103824420BC00023
4) 计算平均形状向j 卩;然后计算协方差矩阵Φ: 然后求协方差矩阵Φ的特征值并将其按从大到小依次排序; 5) 计算第j个训练图像上的第i个特征点的η个局部纹理gii,gi2, . . .,gin,计算其均值
Figure CN103824420BC00024
:以及计算其方i
Figure CN103824420BC00025
,得到该特征点; 采用特征点构建局部特征,在每次迭代过程中,一个特征点的新的特征g与其训练好的 局部特征之间的相似性度量田S壬,阳窗杏衷无 .
Figure CN103824420BC00026
ASM搜索按照如下步骤进行:对样本集进行训练得到ASM模型后即可进行ASM搜索,对平 均形状以其中心逆时针旋转Θ缩放s,然后再平移X。得到初始模型X=M(s,0)[ai]+X。,通过仿 射变换和参数调整,用该初始模型在新图像中所示目标形状,计算每个特征点的新位置,使 搜索到的最终形状中的特征点和相对应的真正特征点最为接近,获得待获得特征部位的面 部图像的特征点。
2. 根据权利要求1所述的基于心率变异性非接触式测量的疲劳驾驶识别系统,其特征 在于所述报警装置选自以下报警提示器的一种或者两者以上的任意组合:LED灯、语音报警 器、安全带振动器及座椅振动器。
3. 根据权利要求1所述的基于心率变异性非接触式测量的疲劳驾驶识别系统,其特征 在于所述图像采集装置选自摄像头,摄像头的输出端与图像处理装置的输入端连接。
4. 根据权利要求1所述的基于心率变异性非接触式测量的疲劳驾驶识别系统,其特征 在于所述图像处理装置为DSP处理系统,DSP处理系统的输出端与报警装置的输入端连接。
5. 根据权利要求1所述的基于心率变异性非接触式测量的疲劳驾驶识别系统,其特征 在于所述图像采集装置安装在车辆仪表盘的上方,以可拍摄到驾驶人面对车辆正前方时的 正面人脸图像为安装的基准。
6. -种基于心率变异性的疲劳驾驶识别方法,其特征在于所述方法包括以下步骤: (1) 采集驾驶人的面部图像; (2) 根据驾驶人图像获取驾驶人的心率变异性,对心率变异信息进行处理,分析HRV信 号线性指标中频谱低频与高频的比值与非线性指标中RR间期Co复杂度,将两者结合起来, 作为HRV的特征表征数据,并根据驾驶人的心率变异性获取驾驶人的驾驶疲劳状态; (3) 当判定驾驶人处于驾驶疲劳状态时进行报警提示; 所述步骤(2)根据驾驶人图像获取驾驶人的心率变异性按照如下步骤进行: 1) 利用人脸分类器对驾驶人的面部图像进行人脸定位和器官识别,利用ASM进行脸部 器官的定位; 2) 根据定位的器官边缘定位额头、左右脸颊三个区域,统计一段时间内三个区域内的 R、G、B值信号; 3) 对R、G、B值信号进行ICA分析,对ICA分析结果的第二个分量进行插值、滤波处理,获 得心率变形性数据向量; 其中,利用ASM进行脸部器官的定位,包括训练和搜索两个部分: 训练由以下步骤组成: 1) 搜集η张含有人脸面部区域的样本图片; 2) 对于每个样本图片,手动标定每个训练样本中的k个关键特征点,组成了一个形状向 量&1,因此η个训练样本图片就构成了 η个形状向暈,即:
Figure CN103824420BC00031
其中,表示第i个训练样本上第j个特征点的坐标; 3) 将η个形状向量进行归一化或对齐操作消除非形状干扰; 4) 计算平均形状向量
Figure CN103824420BC00032
然后计算协方差矩阵Φ
Figure CN103824420BC00033
然后求协方差矩阵Φ的特征值并将其按从大到小依次排序; 5) 计算第j个训练图像上的第i个特征点的η个局部纹理gu,gi2, . . .,gin,计算其均值
Figure CN103824420BC00034
以及计算其方差
Figure CN103824420BC00035
I到该特征点; 采用特征点构建局部特征,在每次迭代过程中,一个特征点的新的特征g与其训练好的 局部特征之间的相似性度量用马氏距离来表示:
Figure CN103824420BC00041
ASM搜索按照如下步骤进行:对样本集进行训练得到ASM模型后即可进行ASM搜索,对平 均形状以其中心逆时针旋转Θ缩放s,然后再平移X。得到初始模型X=M(s,0)[ai]+X。,通过仿 射变换和参数调整,用该初始模型在新图像中所示目标形状,计算每个特征点的新位置,使 搜索到的最终形状中的特征点和相对应的真正特征点最为接近,获得待获得特征部位的面 部图像的特征点。
7.根据权利要求6所述的疲劳驾驶识别方法,其特征在于所述方法步骤(2)根据驾驶人 的心率变异性获取驾驶人的驾驶疲劳状态按照如下步骤进行: 1) 获取多组不同驾驶员在疲劳和不疲劳两种状态下的心率变异性数据向量,构建训练 数据库,训练分类器,并根据心率变异性数据向量的分析数据确定疲劳驾驶状态判断的阈 值,建立疲劳驾驶判定模型; 2) 根据驾驶人图像获取当前一段时间内驾驶人的心率变异性数据向量; 3) 使用训练好的分类器对步骤2)中得到的心率变异性数据向量进行分类,结合驾驶状 态数据库中的信息,根据心率变异性数据向量的分类结果是否在疲劳驾驶状态判断的阈值 范围确定当前一段时间内驾驶员是否处于疲劳驾驶状态。
CN201310731569.0A 2013-12-26 2013-12-26 基于心率变异性非接触式测量的疲劳驾驶识别系统 Active CN103824420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310731569.0A CN103824420B (zh) 2013-12-26 2013-12-26 基于心率变异性非接触式测量的疲劳驾驶识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310731569.0A CN103824420B (zh) 2013-12-26 2013-12-26 基于心率变异性非接触式测量的疲劳驾驶识别系统

Publications (2)

Publication Number Publication Date
CN103824420A CN103824420A (zh) 2014-05-28
CN103824420B true CN103824420B (zh) 2016-12-07

Family

ID=50759455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310731569.0A Active CN103824420B (zh) 2013-12-26 2013-12-26 基于心率变异性非接触式测量的疲劳驾驶识别系统

Country Status (1)

Country Link
CN (1) CN103824420B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PT108192A (pt) * 2015-02-04 2016-08-04 Healthyroad Sist Biométricos Lda Dispositivo e método para monitorizar o estado de alerta do condutor de um veículo e prevenir acidentes
CN105303771B (zh) * 2015-09-15 2018-02-23 成都通甲优博科技有限责任公司 一种疲劳判断系统及方法
CN106843455A (zh) * 2015-12-03 2017-06-13 致伸科技股份有限公司 疲劳警示系统
CN105996990A (zh) * 2016-04-29 2016-10-12 清华大学 一种融合心率和驾驶动作的疲劳驾驶预警手环及预警方法
CN106037651B (zh) * 2016-06-14 2019-03-08 临海楠竹电子科技有限公司 一种心率检测方法及系统
CN106725281A (zh) * 2016-11-15 2017-05-31 北京理工大学 一种基于心电信号分析的三维显示视疲劳评测方法
CN106778618A (zh) * 2016-12-16 2017-05-31 合肥寰景信息技术有限公司 一种疲劳驾驶监控预警系统
CN107595274B (zh) * 2017-09-27 2021-02-19 广州中科新知科技有限公司 基于心率变异性非接触式检测情绪压力的靠垫
CN108851379B (zh) * 2018-07-17 2020-11-06 莆田市诺斯顿电子发展有限公司 一种运动手环
CN109034132A (zh) * 2018-09-03 2018-12-18 深圳市尼欧科技有限公司 一种驾驶异常行为的检测方法
CN109589579B (zh) * 2018-12-05 2020-11-13 英华达(上海)科技有限公司 一种骑行评估方法及系统
CN109743507A (zh) * 2018-12-27 2019-05-10 惠州市德赛西威汽车电子股份有限公司 一种提高人脸识别精确度的摄像头补光系统及其方法
CN111080940A (zh) * 2019-11-28 2020-04-28 同济大学 一种基于阈值体系的疲劳驾驶预警方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1956680A (zh) * 2004-05-24 2007-05-02 日本先锋公司 生物信息检测装置
CN201927155U (zh) * 2011-01-25 2011-08-10 深圳市高斯贝尔家居智能电子有限公司 车载信息智能处理系统
CN103021134A (zh) * 2012-12-10 2013-04-03 郭文浩 汽车疲劳驾驶监测报警装置
CN203102530U (zh) * 2012-12-03 2013-07-31 长安大学 一种客车疲劳驾驶预警装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5446443B2 (ja) * 2009-05-15 2014-03-19 日産自動車株式会社 心拍数測定装置および心拍数測定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1956680A (zh) * 2004-05-24 2007-05-02 日本先锋公司 生物信息检测装置
CN201927155U (zh) * 2011-01-25 2011-08-10 深圳市高斯贝尔家居智能电子有限公司 车载信息智能处理系统
CN203102530U (zh) * 2012-12-03 2013-07-31 长安大学 一种客车疲劳驾驶预警装置
CN103021134A (zh) * 2012-12-10 2013-04-03 郭文浩 汽车疲劳驾驶监测报警装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于人脸视频测量脉搏方法的初步研究;赵飞帆 等;《生物医学工程学杂志》;20121031;第29卷(第5期);第876-879、918页 *

Also Published As

Publication number Publication date
CN103824420A (zh) 2014-05-28

Similar Documents

Publication Publication Date Title
CN103824420B (zh) 基于心率变异性非接触式测量的疲劳驾驶识别系统
CN103714660B (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN104013414B (zh) 一种基于移动智能手机的驾驶员疲劳检测系统
CN101375796B (zh) 疲劳驾驶实时检测系统
CN103770733B (zh) 一种驾驶员安全驾驶状态检测方法及装置
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及系统
CN105488453B (zh) 一种基于图像处理的驾驶员未系安全带检测识别方法
CN103049740B (zh) 基于视频图像的疲劳状态检测方法及装置
CN104573646A (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
CN105769120A (zh) 疲劳驾驶检测方法和装置
CN105373783A (zh) 基于混合多尺度可变形部件模型的未系安全带检测方法
CN102085099B (zh) 疲劳驾驶检测方法和装置
CN103714659B (zh) 基于双光谱融合的疲劳驾驶识别系统
CN202257856U (zh) 驾驶员疲劳驾驶监控装置
CN101950355A (zh) 基于数字视频的驾驶员疲劳状态检测方法
CN101814137B (zh) 基于红外眼态识别的疲劳驾驶预警系统
CN106874900A (zh) 一种基于方向盘图像的司机疲劳检测方法和检测装置
CN106327801B (zh) 疲劳驾驶检测方法和装置
CN105354988A (zh) 一种基于机器视觉的驾驶员疲劳驾驶检测系统及检测方法
CN106682603B (zh) 一种基于多源信息融合的实时驾驶员疲劳预警系统
CN101872419A (zh) 一种汽车驾驶员疲劳检测的方法
CN108596087B (zh) 一种基于双网络结果的驾驶疲劳程度检测回归模型
CN110077414A (zh) 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统
CN103700220A (zh) 一种疲劳驾驶监控装置
CN109664894A (zh) 基于多源异构数据感知的疲劳驾驶安全预警系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant