CN110176128A - 一种驾驶员疲劳驾驶预警处理系统 - Google Patents

Abstract

本发明公开了一种驾驶员疲劳驾驶预警处理系统，包括安装于车辆驾驶室内的视频监控终端、与视频监控终端无线连接的基于FLINK的实时流分析平台以及与实时流分析平台进行数据交互的报警处理中心，实时流分析平台包括样本训练模块、眼部区域跟踪模块、特征计算模块和疲劳识别模块；视频监控终端用于采集驾驶员的人脸图像，并将采集到的人脸图像按照采集顺序以第一预定时间为间隔上传至实时流分析平台；实时流分析平台用于根据人脸图像识别驾驶员是否疲劳驾驶，当识别到驾驶员疲劳驾驶时，向报警处理中心发送疲劳报警信号；报警处理中心用于根据疲劳报警信号进行报警处理。本发明能够准确识别驾驶员的疲劳驾驶行为，并及时提醒。

Description

一种驾驶员疲劳驾驶预警处理系统

技术领域

本发明涉及大数据技术领域，特别是涉及一种驾驶员疲劳驾驶预警处理系 统。

背景技术

随着汽车数量的不断增加，一方面给人们的生活带来了便利，同时也引发 了很多问题，汽车驾驶安全成为世界性的问题。特别是疲劳驾驶已经成为交通 事故的严重隐患，在这样严峻的形势下，人们急需能对驾驶员的疲劳驾驶进行 监控并预警的系统，以避免重大的生命和财产损失。

目前疲劳驾驶预警系统处于发展阶段，现阶段大多数接触类预警系统存在 对驾驶员产生一定的影响、检测准确率不高等情况。

发明内容

本发明主要解决的技术问题是提供一种驾驶员疲劳驾驶预警处理系统，能 够准确识别驾驶员的疲劳驾驶行为，并及时提醒。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种驾驶员疲 劳驾驶预警处理系统，包括安装于车辆驾驶室内的视频监控终端、与所述视频 监控终端无线连接的基于FLINK的实时流分析平台以及与所述实时流分析平台 进行数据交互的报警处理中心，所述实时流分析平台包括样本训练模块、眼部 区域跟踪模块、特征计算模块和疲劳识别模块；所述视频监控终端用于采集驾 驶员的人脸图像，并将采集到的所述人脸图像按照采集顺序以第一预定时间为 间隔上传至所述实时流分析平台；所述样本训练模块用于将疲劳状态下的人脸 样本图像作为正样本以及非疲劳状态下的人脸样本图像作为负样本，得到样本 图像集，将所述样本图像集中所有人脸样本图像转化为一维向量后，得到训练样本，并计算所述训练样本的特征值及特征向量后，进行线性变换以将所述训 练样本投影到特征空间；所述眼部区域跟踪模块用于获取所述视频监控终端上 传的人脸图像，按照像素坐标从左到右、从上到下的顺序扫描检测所述人脸图 像中像素的景物色调，根据景物色调从人脸图像分离出人脸区域，在人脸区域 中，将最接近人脸肤色的色调值所对应的像素点作为人脸中心点，并以所述人 脸中心点为基点向上截取预定行数的像素和向两侧各截取预定行数的像素，获 取眼部区域图像；所述特征计算模块用于将所述眼部区域图像转化为一维向量 后计算所述眼部区域图像的特征值及特征向量，并对所述眼部区域图像进行线 性变换以将所述眼部区域图像投影到所述特征空间；所述疲劳识别模块用于采 用距离分类函数在所述特征空间中识别所述眼部区域图像归类为与所述样本图 像集中正样本还是负样本，并在判定所述眼部区域图像归类为正样本时，向所 述报警处理中心发出疲劳报警信号；所述报警处理中心用于根据所述疲劳报警 信号进行报警处理。

优选的，所述疲劳识别模块还用于在判定所述眼部区域图像归类为归类为 正样本时，判断人眼累计闭合时间是否达到第二预定时间，并在达到第二预定 时间时，向所述报警处理中心发出疲劳报警信号。

优选的，所述实时流分析平台还包括疲劳分级模块，所述疲劳识别模块还 用于将疲劳报警信号发给所述疲劳分级模块；所述疲劳分级模块用于计算单位 时间内人眼闭合时间所占的比例，当所述比例位于第一范围时，向所述报警处 理中心发送第一分级信号，当所述比例超出所述第一范围而位于第二范围时， 向所述报警处理中心发送第二分级信号，当所述比例超出所述第二范围而位于 第三范围时，向所述报警处理中心发送第三分级信号；所述报警处理中心还用 于根据第一分级信号和所述疲劳报警信号进行第一预警方案的报警处理，根据 第二分级信号和所述疲劳报警信号进行第二预警方案的报警处理，根据第三分 级信号和所述疲劳报警信号进行第三预警方案的报警处理。

优选的，所述进行第一预警方案的报警处理具体为进行声光报警以提示驾 驶员。

优选的，所述进行第二预警方案的报警处理具体为启动物理刺激装置以刺 激驾驶员。

优选的，所述进行第三预警方案的报警处理具体为启动停车制动装置以刺 激驾驶员。

优选的，所述第一预定时间为20秒，所述第二预定时间为3秒。

本发明的有益效果是：区别于现有技术的情况，本发明通过驾驶室内的视 频监控终端采集驾驶员的人脸图像，由实时流分析平台实时根据人脸图像识别 驾驶员是否疲劳驾驶，如果驾驶员疲劳驾驶，由报警处理中心根据所述疲劳报 警信号进行报警处理，从而能够准确识别驾驶员的疲劳驾驶行为，并及时提醒， 可以预防安全事故的发生。

附图说明

图1是本发明实施例的驾驶员疲劳驾驶预警处理系统的架构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，是本发明实施例的驾驶员疲劳驾驶预警处理系统的架构示意图。 本发明实施例的驾驶员疲劳驾驶预警处理系统包括安装于车辆驾驶室内的视频 监控终端10、与视频监控终端10无线连接的基于FLINK的实时流分析平台20 以及与实时流分析平台20进行数据交互的报警处理中心30，实时流分析平台 20包括样本训练模块21、眼部区域跟踪模块22、特征计算模块23和疲劳识别 模块24。

视频监控终端10用于采集驾驶员的人脸图像，并将采集到的人脸图像按照 采集顺序以第一预定时间为间隔上传至实时流分析平台20。其中，第一预定时 间例如为20秒。

样本训练模块21用于将疲劳状态下的人脸样本图像作为正样本以及非疲劳 状态下的人脸样本图像作为负样本，得到样本图像集，将样本图像集中所有人 脸样本图像转化为一维向量后，得到训练样本，并计算训练样本的特征值及特 征向量后，进行线性变换以将训练样本投影到特征空间。

其中，样本图像集中所有人脸样本图像转化为一维向量后，训练样本可以 表达为x_i＝[x_i1,x_i2,…,x_im]T＝[x_ij]T，i表示样本图像的排序， x_i表示第i个样本图像。

对训练样本进行规范化后可以表达为：

v_i＝x_i－x，i＝1,2,3…,n

由训练样本组成的疲劳眼部规范化向量：

v＝[v₁,v₂,…,v_n]T

疲劳眼部协方差矩阵为：

Q＝[v₁,v₂,…,v_n]T[v₁,v₂,…,v_n]，Q∈Rn×n

求取Q的特征值λ₁及其特征向量，并将其从大到小重新排列后生成特征向 量：

P＝[λ₁,λ₂,λ₃,…]T

式中λ₁≥λ₂≥λ₃≥…

将训练样本进行线性变换投影到特征空间后，由于较大的特征值对应的特 征向量包含了较多的人脸眼部特征信息，因此可以选取前s个较大的特征值所 对应的特征向量构成的向量空间，就可以近似地表示人脸眼部图像的主要信息。

对于一个图像库中的n个图像

x_i＝[x_i1,x_i2,…,x_im]T(i＝1,2,…,n)

都可以向此特征空间投影，得到投影向量

Ω_i＝[ω_i1,ω_i2,…,ω_im]T

从v＝[v₁,v₂,…,v_n]T中选取前s个较大的特征值所对应的规范化 值构成新的规范化向量

v＝[v₁,v₂,…,v_s]T。

可以直接用v来代表1类人脸眼部特征.在建立了人脸眼部特征规范化向 量后，就可以依次作为识别驾驶员是否疲劳的依据。

眼部区域跟踪模块22用于获取视频监控终端上传的人脸图像，按照像素坐 标从左到右、从上到下的顺序扫描检测所述人脸图像中像素的景物色调，根据 景物色调从人脸图像分离出人脸区域，在人脸区域中，将最接近人脸肤色的色 调值所对应的像素点作为人脸中心点，并以人脸中心点为基点向上截取预定行 数的像素和向两侧各截取预定行数的像素，获取眼部区域图像。

特征计算模块23用于将眼部区域图像转化为一维向量后计算眼部区域图像 的特征值及特征向量，并对眼部区域图像进行线性变换以将眼部区域图像投影 到特征空间。

疲劳识别模块24用于采用距离分类函数在特征空间中识别眼部区域图像归 类为与样本图像集中正样本还是负样本，并在判定眼部区域图像归类为正样本 时，向报警处理中心30发出疲劳报警信号。

报警处理中心30用于根据疲劳报警信号进行报警处理。

在本实施例中，疲劳识别模块24还用于在判定眼部区域图像归类为归类为 正样本时，判断人眼累计闭合时间是否达到第二预定时间，并在达到第二预定 时间时，向报警处理中心30发出疲劳报警信号。第二预定时间例如为3秒。

进一步地，实时流分析平台20还包括疲劳分级模块25，疲劳识别模块24 还用于将疲劳报警信号发给疲劳分级模块25。

疲劳分级模块25用于计算单位时间内人眼闭合时间所占的比例，当比例位 于第一范围时，向所述报警处理中心发送第一分级信号，当比例超出第一范围 而位于第二范围时，向报警处理中心发送第二分级信号，当比例超出第二范围 而位于第三范围时，向报警处理中心发送第三分级信号。第一范围例如为 40％-50％，第二范围例如为50％-70％，第三范围例如为70％-100％。

报警处理中心30还用于根据第一分级信号和疲劳报警信号进行第一预警方 案的报警处理，根据第二分级信号和疲劳报警信号进行第二预警方案的报警处 理，根据第三分级信号和疲劳报警信号进行第三预警方案的报警处理。

具体而言，进行第一预警方案的报警处理具体为进行声光报警以提示驾驶 员。进行第二预警方案的报警处理具体为启动物理刺激装置以刺激驾驶员。进 行第三预警方案的报警处理具体为启动停车制动装置以刺激驾驶员。

需要注意的是，报警处理中心30在进行第一预警方案的报警处理后，如果 仍然接收到疲劳识别模块24发来的疲劳报警信号，则表明第一预警方案没有起 作用或者驾驶员没有听到声光报警，此时报警处理中心30自动进行第二预警方 案的报警处理，依次类推，直到进行第三预警方案的报警处理为止。

在本发明实施例中，由于使用了基于flink的实时流分析平台，可以在不 增加服务器硬件的情况最大限度提高处理数据的量级，在不增加服务器硬件的 情况最大限度提高处理数据的速度，实时性，可以防止系统出现故障时数据丢 失。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利 用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运 用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种驾驶员疲劳驾驶预警处理系统，其特征在于，包括安装于车辆驾驶室内的视频监控终端、与所述视频监控终端无线连接的基于FLINK的实时流分析平台以及与所述实时流分析平台进行数据交互的报警处理中心，所述实时流分析平台包括样本训练模块、眼部区域跟踪模块、特征计算模块和疲劳识别模块；

所述视频监控终端用于采集驾驶员的人脸图像，并将采集到的所述人脸图像按照采集顺序以第一预定时间为间隔上传至所述实时流分析平台；

所述样本训练模块用于将疲劳状态下的人脸样本图像作为正样本以及非疲劳状态下的人脸样本图像作为负样本，得到样本图像集，将所述样本图像集中所有人脸样本图像转化为一维向量后，得到训练样本，并计算所述训练样本的特征值及特征向量后，进行线性变换以将所述训练样本投影到特征空间；

所述眼部区域跟踪模块用于获取所述视频监控终端上传的人脸图像，按照像素坐标从左到右、从上到下的顺序扫描检测所述人脸图像中像素的景物色调，根据景物色调从人脸图像分离出人脸区域，在人脸区域中，将最接近人脸肤色的色调值所对应的像素点作为人脸中心点，并以所述人脸中心点为基点向上截取预定行数的像素和向两侧各截取预定行数的像素，获取眼部区域图像；

所述特征计算模块用于将所述眼部区域图像转化为一维向量后计算所述眼部区域图像的特征值及特征向量，并对所述眼部区域图像进行线性变换以将所述眼部区域图像投影到所述特征空间；

所述疲劳识别模块用于采用距离分类函数在所述特征空间中识别所述眼部区域图像归类为与所述样本图像集中正样本还是负样本，并在判定所述眼部区域图像归类为正样本时，向所述报警处理中心发出疲劳报警信号；

所述报警处理中心用于根据所述疲劳报警信号进行报警处理。

2.根据权利要求1所述的驾驶员疲劳驾驶预警处理系统，其特征在于，所述疲劳识别模块还用于在判定所述眼部区域图像归类为归类为正样本时，判断人眼累计闭合时间是否达到第二预定时间，并在达到第二预定时间时，向所述报警处理中心发出疲劳报警信号。

3.根据权利要求2所述的驾驶员疲劳驾驶预警处理系统，其特征在于，所述实时流分析平台还包括疲劳分级模块，所述疲劳识别模块还用于将疲劳报警信号发给所述疲劳分级模块；

所述疲劳分级模块用于计算单位时间内人眼闭合时间所占的比例，当所述比例位于第一范围时，向所述报警处理中心发送第一分级信号，当所述比例超出所述第一范围而位于第二范围时，向所述报警处理中心发送第二分级信号，当所述比例超出所述第二范围而位于第三范围时，向所述报警处理中心发送第三分级信号；

所述报警处理中心还用于根据第一分级信号和所述疲劳报警信号进行第一预警方案的报警处理，根据第二分级信号和所述疲劳报警信号进行第二预警方案的报警处理，根据第三分级信号和所述疲劳报警信号进行第三预警方案的报警处理。

4.根据权利要求3所述的驾驶员疲劳驾驶预警处理系统，其特征在于，所述进行第一预警方案的报警处理具体为进行声光报警以提示驾驶员。

5.根据权利要求3所述的驾驶员疲劳驾驶预警处理系统，其特征在于，所述进行第二预警方案的报警处理具体为启动物理刺激装置以刺激驾驶员。

6.根据权利要求3所述的驾驶员疲劳驾驶预警处理系统，其特征在于，所述进行第三预警方案的报警处理具体为启动停车制动装置以刺激驾驶员。

7.根据权利要求2所述的驾驶员疲劳驾驶预警处理系统，其特征在于，所述第一预定时间为20秒，所述第二预定时间为3秒。