CN114582090A - 一种轨道车辆驾驶监测预警系统 - Google Patents
一种轨道车辆驾驶监测预警系统 Download PDFInfo
- Publication number
- CN114582090A CN114582090A CN202210182726.6A CN202210182726A CN114582090A CN 114582090 A CN114582090 A CN 114582090A CN 202210182726 A CN202210182726 A CN 202210182726A CN 114582090 A CN114582090 A CN 114582090A
- Authority
- CN
- China
- Prior art keywords
- driver
- driving
- fatigue
- mouth
- rail vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
- G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
本发明提供一种轨道车辆驾驶监测预警系统,通过检测驾驶员在车辆驾驶中的面部疲劳特征监测识别和响应于手指口呼指令的动作完成情况,来对驾驶状态进行分析识别,并疲劳驾驶分级干预,分别对疲劳驾驶进行提醒、唤醒、外部警示等干预指令,并对驾驶室内环境进行光照色温调节,维持疲劳驾驶员唤醒后的稳定工作状态。本发明能够保障轨道车辆驾驶的安全,减少事故的发生,提高行车安全。
Description
技术领域
本发明属于车辆驾驶监测预警领域,具体地,涉及一种轨道车辆驾驶员的驾驶状态监测预警系统。
背景技术
得益于近些年信息处理技术,传感器技术和深度学习技术等的发展,基于驾驶人行为特征的驾驶疲劳状态检测研究技术得到长足发展。当前的驾驶人疲劳状态检测方法,是一种结合模式识别和图像处理技术的研究方法。以摄像头采集的驾驶人面部状态图像为输入数据,经过图像处理和计算机视觉相关技术处理后,对驾驶人面部的眼睛、嘴巴、面部状态、响应于特定指令的手指口呼动作等动态数据分析,判断是否达到疲劳界限,继而判断驾驶员的疲劳状态。
轨道交通因其载客量大事故责任大,对轨道交通驾驶员的驾驶安全要求相对较高,为避免事故设置了手指口呼、防瞌睡系统等系统。其中手指口呼亦“指差确认”,原为日本铁路事业用的安全动作,即以手指指着物件,及口诵确认,心手并用,以达到减少人为失误导致意外的效果。
然而目前,监控如何确定驾驶员有没有进行手指口呼,防瞌睡装置是否有效,都是通过事后调去监控和录音设备来确定,方法简单、效率低下,很难满足目前轨道交通的大发展。在驾驶员培训与考试过程中也是人为参与考评,耗费大量人力物力,且结果往往不够客观,因此提出基于AI智能的轨道交通驾驶员驾驶行为考培与检测系统,旨在对正线行驶的驾驶员实行实时的驾驶行为检测、对学员驾驶员实行低成本的培训培养。
由于对轨道交通驾驶员疲劳检测方法的研究还不够深入,轨道交通的外部照明环境会在高架、地面、地下等不同环境下切换,增大了图像处理技术的难度和实时判断疲劳程度的难度。而我国轨道交通驾驶员的疲劳管理大多局限于定性分析和主观判断,对轨道交通驾驶员的疲劳状态缺乏实时有效的检测和预警的方法。而对于轨道交通驾驶员群体来说,现有的常规的疲劳检测系统,存在以下几点不足:
(1)无法实时跟踪被检测者状态:轨道交通驾驶员在工作过程中会变换坐立姿态,常规的疲劳检测系统只能检测预设空间内的对象,系统会在被测者改变姿态后失效。
(2)受光照条件影响大:轨道交通驾驶员需要在阴雨天气或夜间或地下空间等光照条件较差的外界环境下工作,常规的疲劳检测系统在光照过强或过弱的情况下往往会加大检测的误差。
(3)容易发生误判:轨道交通驾驶员在工作过程中需要及时与副驾驶或者控制台人员沟通,提取轨道交通驾驶员的面部特征或手部动作会影响疲劳检测系统的准确率,从而造成误判情况的出现。
有效的“手指口呼”响应能有效降低事故发生率的前提,但尽管“手指口呼”可以降低出错率,但每天近千次的手指口呼对司机的负担过重,因此需要检测司机的工作状态。检测司机的工作状态,遇到打瞌睡等疲劳驾驶问题时需反馈。
将智能图像处理监测技术和手指口呼结合进行驾驶员工作状态有效监控和实时预警、唤醒为正常工作状态是轨道车辆驾驶状态监测预警的新课题。
发明内容
本发明的目的是将智能图像处理技术和手指口呼指令结合,进行驾驶员工作状态有效监控和实时预警,并对行驶轨道车辆进行预警的综合监测预警系统。有能效地解决轨道车辆驾驶时的实时监控、出错预防等运行时出现的棘手问题。
本发明提供一种轨道车辆驾驶监测预警系统,通过检测驾驶员在车辆驾驶中的面部疲劳特征监测识别和响应于手指口呼指令的动作完成情况,来对状态进行分析识别,并疲劳驾驶分级干预,分别对疲劳驾驶进行提醒、唤醒、外部警示等干预指令,并对驾驶室内环境进行光照色温调节,维持疲劳驾驶员唤醒后的稳定工作状态。
进一步地,所述面部疲劳特征监测识别包括:摄像头获取脸部图像中的眼部特征点和嘴部特征点;根据所述眼部特征点和嘴部特征点计算驾驶员的眼睛纵横比、嘴部纵横比和得到眼睑纵横比;根据驾驶员正常驾驶状态的所述眼睛纵横比、嘴部纵横比和得到眼睑纵横比图像数据信息,建立对应驾驶员的个人清醒状态面部特征数据信息集。
进一步地,所述响应于手指口呼指令的动作完成情况包括:摄像头获取每一次手指口呼动作的标准执行情况数据库,并建立驾驶员“手指口呼”的手指空间坐标信息和口呼嘴部特征信息和声音信息等“手指口呼”标准数据信息集。
进一步地,进行面部疲劳特征监测识别时,人脸检测及筛选是通过在Retina Face人脸检测算法中加入人脸筛选模块的人脸检测筛选网络实现,Retina Face人脸检测算法用于检测出人脸区域并标记人脸双眼中心、眼角和嘴部左右嘴角的关键位置点位置,人脸筛选模块仅识别驾驶员的人脸区域。
进一步地,Retina Face人脸检测算法采用深度可分离卷积进行特征提取,深度可分离卷积为9×9或3×3大小卷积核的逐通道卷积和1×1大小卷积核的逐点卷积。
进一步地,人脸水平归一化处理是通过仿射变换对驾驶员人脸图像进行人脸对齐、水平纠正归一化处理人脸图像;后通过Open CV在输出图像上裁剪出驾驶员人脸图像。
其中,驾驶员眼部特征信息除眼睛纵横比外,还可以在驾驶员的个人清醒状态面部特征数据信息集中单独对历史时间段内的每帧图像进行裁剪以分别得到左、右眼眼睛图像;计算眼球区域和眼睛图像之间的面积比值得到眼睛的闭合程度,由历史时间段内每帧图像对应眼睛的闭合程度构成眨眼特征序列。将左眼图像和右眼图像转换为HSV颜色空间,并设定颜色阈值分割出两只眼睛的眼球区域,分别计算眼球区域的面积和对应左眼图像的面积或右眼图像的面积之间的比值,这两个比值可以反映眼睛的闭合程度。由于眼睛的闭合程度在时序上的变化可以反应眨眼频率,因此获取历史时间段内的每帧图像眼睛的闭合程度,以组成眨眼特征序列。眨眼特征序列是构成个人清醒状态面部特征数据信息集的要素之一。
进一步地,摄像头实时获取驾驶员的眼睛纵横比、嘴部纵横比和得到眼睑纵横比等信息,与对应驾驶员的所述个人清醒状态面部特征数据信息集进行判断比对,计算面部特征相对偏离量;
摄像头实时获取驾驶员的面部疲劳特征的具体过程包括:定位出驾驶员面部在摄像头检测范围中的位置,同时初步定位双眼中心、眼角和嘴部左右嘴角的关键位置点,在调整好的图像上裁剪出驾驶员人脸图像,然后根据双眼中心、眼角的距离及其夹角等,检测驾驶员的面部状态,并统一对图像进行人脸水平归一化处理,使所有图像处于同一位置尺度,以进一步截取相同大小的特征区域,最后通过对特征区域检测确定驾驶员的清醒工作状态的基础数据信息;实时检测到面部特征超出面部疲劳特征的预设偏离量时,判断驾驶疲劳状态等级。
车道车辆驾驶员“手指口呼”的手势的反应情况同样可以在特定轨道车辆的路线上设置每一个不同手势的时间点。在特定轨道车辆的路线上,每一次轨道车辆经过的路况基本相同,轨道车辆驾驶员在做出特定手势时的位置也应该相同,故轨道车辆从始发站出发时,获得轨道车辆运行的实店状态,计算每一个特定手势对应的完成情况,进而获得每一个特定手势的位置信息,以得到历史行驶过程中不同手势位置序列的特征数据集;不同口呼动作的位置序列的特征信息数据集也可以类似地获取。手势位置序列的特征数据集和口呼动作的位置序列的特征信息,是构成“手指口呼”标准数据信息集的部分组成要素。
进一步地,摄像头实时获取驾驶员响应于手指口呼指令的动作完成情况,并与所述“手指口呼”标准数据信息集进行比对,计算“手指口呼”动作超出“手指口呼”标准数据的相对偏离量,判断驾驶疲劳状态等级。
进一步地,根据面部特征相对偏离量和“手指口呼”动作相对偏离量建立疲劳驾驶状态低、中、高三级响应体系;对驾驶员的疲劳驾驶状态数据进行分级处理:
当驾驶员疲劳等级为低时,监测预警系统生成第一级干预指令,包括语音预警指令和驾驶光调节指令,播放预设警示语音信息以提醒驾驶员注意驾驶工作状态;驾驶光光调节指令包括在光调节模块的控制下,通过光调节模块的控制模块,启动RGB比例调光,将驾驶室的光色温调节成利于保持驾驶员清醒的色温条件;
当驾驶员疲劳等级为中时,监测预警系统生成第二级干预指令,包括唤醒指令,用于唤醒驾驶员,唤醒指令的控制包括:唤醒模块与控制模块电信号连接,唤醒模块至少包括发声部件、振动部件,所述发声部件、振动部件靠近驾驶员;发声部件可以是警报发生器,发声部件、振动部件靠近驾驶员,或通过驾驶头盔等可穿戴设备与驾驶员的身体相贴,并在启动状态下输出逐步升高的高频声音和振动,唤醒指令至少执行一次唤醒操作;
当驾驶员疲劳等级为中高时,监测预警系统生成第三级干预指令,第三级干预指令的响应动作除包括第二级干预指令外,还包括启动光调节模块闪烁警报和启动自动驾驶,光调节模块启动车辆的闪烁警报灯,闪烁警报灯亮起时,对向行驶的轨道车辆能够从闪烁警报灯的状态判断,该轨道车辆处于驾驶员疲劳驾驶离线状态,该轨道车辆当前为自动驾驶状态;监测预警系统生成第三级干预指令的同时也将三级预警信息发送给轨道车辆主控制台,当轨道车辆存在副驾驶员时,轨道车辆主控制台发送指令给副驾驶员行驶独立驾驶功能。
进一步地,当轨道交通处于地面时,通过调节驾驶室天窗大小,改变天窗透光率,使得更多的光线可以透过天窗,借助光线的明暗变化向驾驶员提供警示和调节功能。
与现有技术相比,本发明的有益效果为:本发明的轨道车辆驾驶监测预警系统实现了依据检测驾驶员在车辆驾驶中的面部疲劳特征监测识别和响应于手指口呼指令的动作完成情况,来对驾驶状态与标准状态的偏离量进行分析识别,能够准确检测驾驶员是否出现疲劳现象,并对疲劳驾驶分级干预,对不同的疲劳驾驶状态进行提醒、唤醒、外部警示等干预指令,保障轨道车辆驾驶的安全,减少事故的发生,提高行车安全。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
本说明书附图所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1:本发明提出的轨道车辆驾驶监测预警系统框架示意图。
图2:本发明提出的轨道车辆疲劳驾驶状态分级响应示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明中的实施例进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
参见附图1本发明实施例提出的轨道车辆驾驶监测预警系统框架示意图,首先,根据对驾驶员面部疲劳特征监测识别信息和驾驶员响应于手指口呼指令的动作完成情况识别信息;其次,计算面部特征相对偏离量和计算“手指口呼”动作超出“手指口呼”标准数据的相对偏离量;进而根据面部特征相对偏离量和“手指口呼”动作相对偏离量建立疲劳驾驶状态进行分级处理,对驾驶员的疲劳驾驶状态建立低、中、高三级响应体系。
本发明实施例通过检测驾驶员在车辆驾驶中的面部疲劳特征监测识别和响应于手指口呼指令的动作完成情况,来对驾驶状态进行分析识别,并疲劳驾驶分级干预,分别对疲劳驾驶进行提醒、唤醒、外部警示等干预指令,并对驾驶室内环境进行光照色温调节,维持疲劳驾驶员唤醒后的稳定工作状态。
具体地,面部疲劳特征监测识别包括:摄像头获取脸部图像中的眼部特征点和嘴部特征点;根据所述眼部特征点和嘴部特征点计算驾驶员的眼睛纵横比、嘴部纵横比和得到眼睑纵横比;根据驾驶员正常驾驶状态的所述眼睛纵横比、嘴部纵横比和得到眼睑纵横比图像数据信息,建立对应驾驶员的个人清醒状态面部特征数据信息集。
摄像头实时获取驾驶员的眼睛纵横比、嘴部纵横比和得到眼睑纵横比等信息,与对应驾驶员的所述个人清醒状态面部特征数据信息集进行判断比对,计算面部特征相对偏离量。
而更具体地,摄像头实时获取驾驶员的面部疲劳特征的具体过程包括:定位出驾驶员面部在摄像头检测范围中的位置,同时初步定位双眼中心、眼角和嘴部左右嘴角的关键位置点,在调整好的图像上裁剪出驾驶员人脸图像,然后根据双眼中心、眼角的距离及其夹角等,检测驾驶员的面部状态,并统一对图像进行人脸水平归一化处理,使所有图像处于同一位置尺度,以进一步截取相同大小的特征区域,最后通过对特征区域检测确定驾驶员的清醒工作状态的基础数据信息;实时检测到面部特征超出面部疲劳特征的预设偏离量时,判断驾驶疲劳状态等级。
进行面部疲劳特征监测识别时,人脸检测及筛选是通过在Retina Face人脸检测算法中加入人脸筛选模块的人脸检测筛选网络实现,Retina Face人脸检测算法用于检测出人脸区域并标记人脸双眼中心、眼角和嘴部左右嘴角的关键位置点位置,人脸筛选模块仅识别驾驶员的人脸区域。Retina Face人脸检测算法采用深度可分离卷积进行特征提取,深度可分离卷积为9×9或3×3大小卷积核的逐通道卷积和1×1大小卷积核的逐点卷积。通过深度可分离卷积和逐点卷积的特征提取方式,解析、提取除有效的图像元素进行特征点有效识别。
而后的人脸水平归一化处理是通过仿射变换对驾驶员人脸图像进行人脸对齐、水平纠正归一化处理人脸图像;最后通过Open CV在输出图像上裁剪出驾驶员人脸图像。
实施例2
面部特征的提取识别判断有多种方式,上述实施例提取眼部特征点和嘴部特征点计算驾驶员的眼睛纵横比、嘴部纵横比和得到眼睑纵横比等特征信息。而本实施例的另一方面,可以给出另外的特征信息构成面部疲劳特征的信息要素。
驾驶员眼部特征信息除眼睛纵横比外,还可以在驾驶员的个人清醒状态面部特征数据信息集中单独对历史时间段内的每帧图像进行裁剪以分别得到左、右眼眼睛图像;计算眼球区域和眼睛图像之间的面积比值得到眼睛的闭合程度,由历史时间段内每帧图像对应眼睛的闭合程度构成眨眼特征序列。将左眼图像和右眼图像转换为HSV颜色空间,并设定颜色阈值分割出两只眼睛的眼球区域,分别计算眼球区域的面积和对应左眼图像的面积或右眼图像的面积之间的比值,这两个比值可以反映眼睛的闭合程度。由于眼睛的闭合程度在时序上的变化可以反应眨眼频率,因此获取历史时间段内的每帧图像眼睛的闭合程度,以组成眨眼特征序列。眨眼特征序列是构成个人清醒状态面部特征数据信息集的要素之一。
实施例3
轨道车辆驾驶员,如地铁驾驶员坐在司机室里盯着仪表盘,进行各种操作之外,在开车过程中,嘴里要不停地说,眼睛要不停地看,到站还得做各种标准化的动作,像个不停运作的“机器人”。这就是基本的“手指口呼”响应情况,要做到手到、眼到、口到、心到,要求驾驶员把看到的每个信息都用手指到,用嘴说到,这些并不是要反馈给后台调度中心,完全就是司机的“自言自语”,这样做的好处就是每一项指令让司机进行二次确认,以确保任何一个操作都做到万无一失。
作为本发明判断轨道车辆驾驶员在车辆驾驶中的疲劳特征的另一方面要素。响应于手指口呼指令的动作完成情况包括:摄像头获取每一次手指口呼动作的标准执行情况数据库,并建立驾驶员“手指口呼”的手指空间坐标信息和口呼嘴部特征信息和声音信息等“手指口呼”标准数据信息集。
车道车辆驾驶员“手指口呼”的手势的反应情况同样可以在特定轨道车辆的路线上设置每一个不同手势的时间点。在特定轨道车辆的路线上,每一次轨道车辆经过的路况基本相同,轨道车辆驾驶员在做出特定手势时的位置也应该相同,故轨道车辆从始发站出发时,获得轨道车辆运行的实店状态,计算每一个特定手势对应的完成情况,进而获得每一个特定手势的位置信息,以得到历史行驶过程中不同手势位置序列的特征数据集;不同口呼动作的位置序列的特征信息数据集也可以类似地获取。手势位置序列的特征数据集和口呼动作的位置序列的特征信息,是构成“手指口呼”标准数据信息集的部分组成要素。
摄像头实时获取驾驶员响应于手指口呼指令的动作完成情况,并与所述“手指口呼”标准数据信息集进行比对,计算“手指口呼”动作超出“手指口呼”标准数据的相对偏离量,判断驾驶疲劳状态等级。
实施例4
参见附图2,本发明提出的轨道车辆疲劳驾驶状态分级响应示意图,根据面部特征相对偏离量和“手指口呼”动作相对偏离量建立疲劳驾驶状态进行分级处理,对驾驶员的疲劳驾驶状态建立低、中、高三级响应体系:
当驾驶员疲劳等级为低时,监测预警系统生成第一级干预指令,包括语音预警指令和驾驶光调节指令,播放预设警示语音信息以提醒驾驶员注意驾驶工作状态;
轨道交通通常会碰到阴雨天气或夜间或地下空间等光照条件较差的外界环境下工作,当轨道交通处于地下时,需要进行驾驶舱补光操作;
驾驶光光调节指令包括在光调节模块的控制下,通过光调节模块的控制模块,启动RGB比例调光,将驾驶室的光色温调节成利于保持驾驶员清醒的色温条件;
轨道交通驾驶员需要在阴雨天气或夜间或地下空间等光照条件较差的外界环境下工作,当轨道交通处于地面时,通过调节驾驶室天窗大小,改变天窗透光率,使得更多的光线可以透过天窗,借助光线的明暗变化向驾驶员提供警示和调节功能。
当驾驶员疲劳等级为中时,监测预警系统生成第二级干预指令,包括唤醒指令,用于唤醒驾驶员,唤醒指令的控制包括:唤醒模块与控制模块电信号连接,唤醒模块至少包括发声部件、振动部件,所述发声部件、振动部件靠近驾驶员;发声部件可以是警报发生器,发声部件、振动部件靠近驾驶员,或通过驾驶头盔等可穿戴设备与驾驶员的身体相贴,并在启动状态下输出逐步升高的高频声音和振动,唤醒指令至少执行一次唤醒操作;
当驾驶员疲劳等级为中高时,监测预警系统生成第三级干预指令,第三级干预指令的响应动作除包括第二级干预指令外,还包括启动光调节模块闪烁警报和启动自动驾驶,光调节模块启动车辆的闪烁警报灯,闪烁警报灯亮起时,对向行驶的轨道车辆能够从闪烁警报灯的状态判断,该轨道车辆处于驾驶员疲劳驾驶离线状态,该轨道车辆当前为自动驾驶状态;监测预警系统生成第三级干预指令的同时也将三级预警信息发送给轨道车辆主控制台,当轨道车辆存在副驾驶员时,轨道车辆主控制台发送指令给副驾驶员行驶独立驾驶功能。
本说明书中各个实施例采用递进、或并列、或递进和并列结合的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
需要说明的是,在本发明的描述中,需要理解的是,术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中设置的组件。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括上述要素的物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种轨道车辆驾驶监测预警系统,其特征在于,通过检测驾驶员在车辆驾驶中的面部疲劳特征监测识别和响应于手指口呼指令的动作完成情况,来对驾驶状态进行分析识别,并对疲劳驾驶分级干预,分别对疲劳驾驶进行提醒、唤醒、外部警示等干预指令,并对驾驶室内环境进行光照色温调节,维持疲劳驾驶员唤醒后的稳定工作状态。
2.根据权利要求1所述的轨道车辆驾驶监测预警系统,其特征在于,所述面部疲劳特征监测识别包括:摄像头获取脸部图像中的眼部特征点和嘴部特征点;根据所述眼部特征点和嘴部特征点计算驾驶员的眼睛纵横比、嘴部纵横比和得到眼睑纵横比;根据驾驶员正常驾驶状态的所述眼睛纵横比、嘴部纵横比和得到眼睑纵横比图像数据信息,建立对应驾驶员的个人清醒状态面部特征数据信息集。
3.根据权利要求1所述的轨道车辆驾驶监测预警系统,其特征在于,所述响应于手指口呼指令的动作完成情况包括:摄像头获取每一次手指口呼动作的标准执行情况数据库,并建立驾驶员“手指口呼”的手指空间坐标信息和口呼嘴部特征信息和声音信息等“手指口呼”标准数据信息集。
4.根据权利要求1所述的轨道车辆驾驶监测预警系统,其特征在于,进行面部疲劳特征监测识别时,人脸检测及筛选是通过在Retina Face人脸检测算法中加入人脸筛选模块的人脸检测筛选网络实现,Retina Face人脸检测算法用于检测出人脸区域并标记人脸双眼中心、眼角和嘴部左右嘴角的关键位置点位置,人脸筛选模块仅识别驾驶员的人脸区域。
5.根据权利要求1所述的轨道车辆驾驶监测预警系统,其特征在于,Retina Face人脸检测算法采用深度可分离卷积进行特征提取,深度可分离卷积为9×9或3×3大小卷积核的逐通道卷积和1×1大小卷积核的逐点卷积。
6.根据权利要求1所述的轨道车辆驾驶监测预警系统,其特征在于,人脸水平归一化处理是通过仿射变换对驾驶员人脸图像进行人脸对齐、水平纠正归一化处理人脸图像;最后通过Open CV在输出图像上裁剪出驾驶员人脸图像。
7.根据权利要求1所述的轨道车辆驾驶监测预警系统,其特征在于,摄像头实时获取驾驶员的眼睛纵横比、嘴部纵横比和得到眼睑纵横比等信息,与对应驾驶员的所述个人清醒状态面部特征数据信息集进行判断比对,计算面部特征相对偏离量。
8.根据权利要求1所述的轨道车辆驾驶监测预警系统,其特征在于,摄像头实时获取驾驶员响应于手指口呼指令的动作完成情况,并与所述“手指口呼”标准数据信息集进行比对,计算“手指口呼”动作超出“手指口呼”标准数据的相对偏离量,判断驾驶疲劳状态等级。
9.根据权利要求1所述的轨道车辆驾驶监测预警系统,其特征在于,根据面部特征相对偏离量和“手指口呼”动作相对偏离量建立疲劳驾驶状态低、中、高三级响应体系;对驾驶员的疲劳驾驶状态数据进行分级处理:
当驾驶员疲劳等级为低时,监测预警系统生成第一级干预指令,包括语音预警指令和驾驶光调节指令,播放预设警示语音信息以提醒驾驶员注意驾驶工作状态;驾驶光光调节指令包括在光调节模块的控制下,通过光调节模块的控制模块,启动RGB比例调光,将驾驶室的光色温调节成利于保持驾驶员清醒的色温条件;
当驾驶员疲劳等级为中时,监测预警系统生成第二级干预指令,包括唤醒指令,用于唤醒驾驶员,唤醒指令的控制包括:唤醒模块与控制模块电信号连接,唤醒模块至少包括发声部件、振动部件,所述发声部件、振动部件靠近驾驶员;发声部件可以是警报发生器,发声部件、振动部件靠近驾驶员,或通过驾驶头盔等可穿戴设备与驾驶员的身体相贴,并在启动状态下输出逐步升高的高频声音和振动,唤醒指令至少执行一次唤醒操作;
当驾驶员疲劳等级为中高时,监测预警系统生成第三级干预指令,第三级干预指令的响应动作除包括第二级干预指令外,还包括启动光调节模块闪烁警报和启动自动驾驶,光调节模块启动车辆的闪烁警报灯,闪烁警报灯亮起时,对向行驶的轨道车辆能够从闪烁警报灯的状态判断,该轨道车辆处于驾驶员疲劳驾驶离线状态,该轨道车辆当前为自动驾驶状态;监测预警系统生成第三级干预指令的同时也将三级预警信息发送给轨道车辆主控制台,当轨道车辆存在副驾驶员时,轨道车辆主控制台发送指令给副驾驶员行驶独立驾驶功能。
10.根据权利要求1所述的轨道车辆驾驶监测预警系统,其特征在于,当轨道交通处于地面时,通过调节驾驶室天窗大小,改变天窗透光率,使得更多的光线可以透过天窗,借助光线的明暗变化向驾驶员提供警示和调节功能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210182726.6A CN114582090A (zh) | 2022-02-27 | 2022-02-27 | 一种轨道车辆驾驶监测预警系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210182726.6A CN114582090A (zh) | 2022-02-27 | 2022-02-27 | 一种轨道车辆驾驶监测预警系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114582090A true CN114582090A (zh) | 2022-06-03 |
Family
ID=81775848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210182726.6A Pending CN114582090A (zh) | 2022-02-27 | 2022-02-27 | 一种轨道车辆驾驶监测预警系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114582090A (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN204272438U (zh) * | 2014-10-31 | 2015-04-15 | 陈晓庭 | 色温和亮度无极调节的机车司机室照明灯 |
CN107126224A (zh) * | 2017-06-20 | 2017-09-05 | 中南大学 | 一种基于Kinect的轨道列车驾驶员状态的实时监测和预警方法与系统 |
CN108601171A (zh) * | 2018-02-27 | 2018-09-28 | 常州星宇车灯股份有限公司 | 一种亮度色温可调的激光前照灯控制系统及其控制方法 |
CN109803583A (zh) * | 2017-08-10 | 2019-05-24 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
US20190197329A1 (en) * | 2017-12-22 | 2019-06-27 | Toyota Jidosha Kabushiki Kaisha | Drowsiness estimating apparatus |
CN112598953A (zh) * | 2020-12-30 | 2021-04-02 | 成都运达科技股份有限公司 | 一种基于列车驾驶仿真系统乘务员的评价系统及方法 |
CN112861677A (zh) * | 2021-01-28 | 2021-05-28 | 上海商汤临港智能科技有限公司 | 轨交驾驶员的动作检测方法及装置、设备、介质及工具 |
CN113911057A (zh) * | 2020-12-31 | 2022-01-11 | 法国圣戈班玻璃公司 | 防疲劳驾驶警示系统和方法、采用该系统的车辆 |
CN113928336A (zh) * | 2021-09-24 | 2022-01-14 | 上海时代之光照明电器检测有限公司 | 一种汽车自动驾驶辅助方法及系统 |
CN113936336A (zh) * | 2021-11-10 | 2022-01-14 | 郑州铁路职业技术学院 | 一种基于机器视觉的动车司机疲劳驾驶检测方法 |
CN114022871A (zh) * | 2021-11-10 | 2022-02-08 | 中国民用航空飞行学院 | 基于深度感知技术的无人机驾驶员疲劳检测方法及系统 |
CN114037979A (zh) * | 2021-11-09 | 2022-02-11 | 重庆科技学院 | 一种轻量化的驾驶员疲劳状态检测方法 |
-
2022
- 2022-02-27 CN CN202210182726.6A patent/CN114582090A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN204272438U (zh) * | 2014-10-31 | 2015-04-15 | 陈晓庭 | 色温和亮度无极调节的机车司机室照明灯 |
CN107126224A (zh) * | 2017-06-20 | 2017-09-05 | 中南大学 | 一种基于Kinect的轨道列车驾驶员状态的实时监测和预警方法与系统 |
CN109803583A (zh) * | 2017-08-10 | 2019-05-24 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
US20190197329A1 (en) * | 2017-12-22 | 2019-06-27 | Toyota Jidosha Kabushiki Kaisha | Drowsiness estimating apparatus |
CN108601171A (zh) * | 2018-02-27 | 2018-09-28 | 常州星宇车灯股份有限公司 | 一种亮度色温可调的激光前照灯控制系统及其控制方法 |
CN112598953A (zh) * | 2020-12-30 | 2021-04-02 | 成都运达科技股份有限公司 | 一种基于列车驾驶仿真系统乘务员的评价系统及方法 |
CN113911057A (zh) * | 2020-12-31 | 2022-01-11 | 法国圣戈班玻璃公司 | 防疲劳驾驶警示系统和方法、采用该系统的车辆 |
CN112861677A (zh) * | 2021-01-28 | 2021-05-28 | 上海商汤临港智能科技有限公司 | 轨交驾驶员的动作检测方法及装置、设备、介质及工具 |
CN113928336A (zh) * | 2021-09-24 | 2022-01-14 | 上海时代之光照明电器检测有限公司 | 一种汽车自动驾驶辅助方法及系统 |
CN114037979A (zh) * | 2021-11-09 | 2022-02-11 | 重庆科技学院 | 一种轻量化的驾驶员疲劳状态检测方法 |
CN113936336A (zh) * | 2021-11-10 | 2022-01-14 | 郑州铁路职业技术学院 | 一种基于机器视觉的动车司机疲劳驾驶检测方法 |
CN114022871A (zh) * | 2021-11-10 | 2022-02-08 | 中国民用航空飞行学院 | 基于深度感知技术的无人机驾驶员疲劳检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960065B (zh) | 一种基于视觉的驾驶行为检测方法 | |
CN103824420B (zh) | 基于心率变异性非接触式测量的疲劳驾驶识别系统 | |
CN101540090B (zh) | 基于多元信息融合的驾驶员疲劳监测方法 | |
CN107126224B (zh) | 一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统 | |
CN101639894B (zh) | 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统 | |
CN109528219A (zh) | 用于监测操作者的系统 | |
CN101593425B (zh) | 一种基于机器视觉的疲劳驾驶监控方法及系统 | |
CN101950355B (zh) | 基于数字视频的驾驶员疲劳状态检测方法 | |
CN105769120A (zh) | 疲劳驾驶检测方法和装置 | |
CN202257856U (zh) | 驾驶员疲劳驾驶监控装置 | |
CN103714659B (zh) | 基于双光谱融合的疲劳驾驶识别系统 | |
CN106529496B (zh) | 一种机车乘务员实时视频疲劳检测的方法 | |
CN107491769A (zh) | 基于AdaBoost算法的疲劳驾驶检测方法及系统 | |
CN106355838A (zh) | 一种疲劳驾驶检测方法和系统 | |
CN202568277U (zh) | 疲劳检测装置 | |
CN104224204A (zh) | 一种基于红外检测技术的驾驶员疲劳检测系统 | |
CN102085099A (zh) | 疲劳驾驶检测方法和装置 | |
CN111985328A (zh) | 基于面部特征分析的不安全驾驶行为检测预警方法 | |
CN109543577A (zh) | 一种基于面部表情特征的疲劳驾驶检测预警方法 | |
CN106295474A (zh) | 船舶驾驶员的疲劳检测方法、系统和服务器 | |
Suhaiman et al. | Development of an intelligent drowsiness detection system for drivers using image processing technique | |
CN110176128A (zh) | 一种驾驶员疲劳驾驶预警处理系统 | |
CN114582090A (zh) | 一种轨道车辆驾驶监测预警系统 | |
CN203885510U (zh) | 一种基于红外检测技术的驾驶员疲劳检测系统 | |
CN114492656A (zh) | 一种基于计算机视觉和传感器的疲劳度监测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |