CN109969195B - 一种驾驶员面部行为异常报警系统及方法和基于其的车辆 - Google Patents
一种驾驶员面部行为异常报警系统及方法和基于其的车辆 Download PDFInfo
- Publication number
- CN109969195B CN109969195B CN201910228856.7A CN201910228856A CN109969195B CN 109969195 B CN109969195 B CN 109969195B CN 201910228856 A CN201910228856 A CN 201910228856A CN 109969195 B CN109969195 B CN 109969195B
- Authority
- CN
- China
- Prior art keywords
- driver
- eyes
- vehicle
- analysis module
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000005856 abnormality Effects 0.000 title claims abstract description 11
- 230000006399 behavior Effects 0.000 claims abstract description 68
- 238000004458 analytical method Methods 0.000 claims abstract description 58
- 230000002159 abnormal effect Effects 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 210000003128 head Anatomy 0.000 claims description 81
- 210000001747 pupil Anatomy 0.000 claims description 44
- 210000003786 sclera Anatomy 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 18
- 210000000887 face Anatomy 0.000 claims description 2
- 206010000117 Abnormal behaviour Diseases 0.000 abstract description 25
- 238000010586 diagram Methods 0.000 abstract description 17
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000004886 head movement Effects 0.000 abstract 1
- 238000003709 image segmentation Methods 0.000 description 17
- 230000001105 regulatory effect Effects 0.000 description 6
- 241001469893 Oxyzygonectes dovii Species 0.000 description 5
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T7/00—Brake-action initiating means
- B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
Abstract
本发明公开了一种驾驶员面部行为异常报警系统及方法和基于其的车辆，系统包括视频采集模块、视频分析模块、报警模块和控制模块；视频分析模块基于八方位图对驾驶员面部行为进行检测，分别对驾驶员双眼视线移动和头部移动视频图像进行检测，根据偏移时间判断是否存在行为异常。系统运行时，首先采集驾驶员面部视频图像，并采用基于八方位图的驾驶员面部异常行为检测方法实时分析视频图像，判断驾驶员行为是否存在异常，如果存在行为异常，则启动报警装置，如果驾驶员未采取有效措施，则启动车辆自行制动程序，直至车辆熄火。本发明能快速检测驾驶员面部行为异常，有效提示驾驶员注意行车安全，养成良好的开车习惯，保障乘客及周边车辆和行人安全。
Description
技术领域
本发明涉及公共交通车辆安全预防技术领域，具体涉及一种驾驶员面部行为异常报警系统及方法和基于其的车辆。
背景技术
在现实生活中，各种各样的公共交通车辆行驶在道路上，给我们的生活带来极大便利。但是目前不管是何种公共交通工具，几乎都需要人来驾驶或操作，这就要求驾驶员在驾驶或操作车辆的时候必须全神贯注，不能出现任何异常行为。驾驶员的异常行为可能引起非常严重的后果，有的甚至需要付出生命的代价。
目前，公共交通车辆中已经出现了很多跟踪车辆行驶过程的系统或装置，也出现了很多辅助驾驶员判断行驶过程是否安全的设备或仪器，还出现了监视车辆行驶过程及驾驶室驾驶员操作过程的设备或系统。驾驶员异常监测大致分为三类，一类是基于驾驶员面部行为特征的异常监测，另一类是基于驾驶员生理参数的异常监测，第三类是基于车辆行为特征的异常监测。其中，基于驾驶员眼部特征的异常监测最为常见，已有的眼部特征监测主要分析闭合时间，分析闭合规律，以此区别驾驶员行为是否处于异常状态，但这种检测只能分析出驾驶员是否疲劳驾驶的异常行为，不能检测出驾驶员是否心不在焉驾驶车辆。如，驾驶员开车时转头与他人交流、转头长时间看车外，以及离开驾驶室等异常行为。基于驾驶员生理参数的异常监测侧重检测驾驶员心里活动，提前对驾驶行为做出预判，防患于未然，但很难准确匹配驾驶员内心活动和行动表现是否一致。基于车辆行为特征的异常监测适合远程监控，不能实时针对驾驶员行为迅速做出警示或采取有效措施。
发明内容
本发明的目的在于提供一种驾驶员面部行为异常报警系统及方法和基于其的车辆，从驾驶员头部及眼部状态变化入手，能够对驾驶员异常行为进行实时辨别，根据辨别结果对驾驶员的异常行为做出及时预警，提示驾驶员、乘客以及周围的车辆和行人，必要时控制车辆紧急停车。
本发明是通过以下技术方案来实现：
一种驾驶员面部行为异常报警系统，包括视频采集模块、视频分析模块、报警模块和控制模块，视频采集模块与视频分析模块连接，视频分析模块与报警模块连接，报警模块和控制模块连接；
视频采集模块安装在驾驶员前面，用于采集驾驶员面部行为，驾驶员面部行为包括眼部特征和头部特征；
视频分析模块用于判断驾驶员面部行为是否异常；
当视频分析模块判断驾驶员面部行为异常时，报警模块用于提示驾驶员面部行为存在异常；
控制模块与视频分析模块连接，控制模块与刹车系统连接，控制模块用于读取视频分析模块判断的结果，当读取到驾驶员面部行为仍然存在异常，控制模块用于控制刹车系统自动紧急停车。
进一步，视频采集模块采用摄像头，报警模块包括声音报警器和/或灯光报警器。
进一步，视频分析模块采用基于Haar特征的AdaBoost算法进行人脸检测；采用积分投影法进行人眼检测。
进一步，视频分析模块基于八方位图对驾驶员面部行为进行检测，八方位图包括向左偏离、向右偏离、向上偏离、向下偏离、向左上偏离、向左下偏离、向右上偏离和向右下偏离。
进一步，当驾驶员视线符合八方位图的其中一种情况且偏离时间超过预设时间，或未检测到驾驶员面部行为，则认为驾驶员面部行为异常。
进一步，预设时间与车辆行驶速度有关，车辆速度越大，预设时间越小。
进一步，当驾驶员双眼向左偏离、向右偏离、向上偏离、向左上偏离或向右上偏离时，视频分析模块能够计算出瞳孔中心位置与整个眼部轮廓中心位置的距离，判断该距离是否超过预设偏离值，如果超过，则认为驾驶员双眼转动偏离；
当驾驶员头部向左偏离、向右偏离、向上偏离、向左上偏离或向右上偏离时，视频分析模块能够计算出正面图像双眼瞳孔中心间的距离与偏离后双眼瞳孔中心位置的距离之差，判断该距离之差是否超过预设偏离值，如果超过，则认为驾驶员头部转动偏离；
当驾驶员双眼或头部向下偏离、向左下偏离和向右下偏离时，视频分析模块能够计算出双眼巩膜的面积，判断该面积是否超过预设面积，如果超过，则认为驾驶员双眼或头部转动偏离。
本发明还公开了所述的驾驶员面部行为异常报警系统的报警方法，包括以下步骤：
1)视频采集模块采集驾驶员眼部特征和头部特征的视频图像；
2)视频分析模块接收视频采集模块采集的图像，对眼部特征和头部特征进行分析，确定驾驶员面部行为是否存在异常；如果正常，且车辆还在行驶过程中，则视频分析模块继续处于驾驶员面部行为监测分析状态；如果异常，则立即启动报警模块，开始报警；
3)报警后，如果驾驶员恢复正常行为，且车辆还在行驶过程中，则视频分析模块继续处于驾驶员面部行为监测分析状态；否则，控制模块启动车辆自行制动程序，使车辆刹车至车辆停止。
进一步，视频分析模块基于八方位图对视频图像进行分析，具体的分析方法为：
当驾驶员双眼向左偏离、向右偏离、向上偏离、向左上偏离或向右上偏离时，视频分析模块计算出瞳孔中心位置与整个眼部轮廓中心位置的距离，判断该距离是否超过预设偏离值，如果超过，则认为驾驶员双眼转动偏离；
当驾驶员头部向左偏离、向右偏离、向上偏离、向左上偏离或向右上偏离时，视频分析模块计算出正面图像双眼瞳孔中心间的距离与偏离后双眼瞳孔中心位置的距离之差，判断该距离之差是否超过预设偏离值，如果超过，则认为驾驶员头部转动偏离；
当驾驶员双眼或头部向下偏离、向左下偏离和向右下偏离时，视频分析模块计算出双眼巩膜的面积，判断该面积是否超过预设面积，如果超过，则认为驾驶员双眼或头部转动偏离。
本发明还公开了一种车辆，该车辆安装有上述驾驶员面部行为异常报警系统。
与现有技术相比，本发明具有以下有益的技术效果：
本发明公开的一种驾驶员面部行为异常报警系统，包括视频采集模块、视频分析模块、报警模块和控制模块，视频采集模块与视频分析模块连接，视频分析模块与报警模块连接，报警模块和控制模块连接；视频采集模块采集驾驶员面部行为，视频分析模块通过监测驾驶员头部及眼部状态变化对驾驶员的异常行为进行实时辨别，报警模块对判断的结果及时做出报警，控制模块对车辆进行有效控制。公共交通车辆中驾驶员一旦出现行为异常，视频分析模块在很短的时间里进行行为异常判断，如驾驶员有异常行为，应立即给出报警提示。报警提示后，驾驶员要在短时间内做出应对，恢复正常驾驶行为；否则应采取车辆自行制动程序，立即刹车熄火，尽量减少对乘客及周边车辆和行人造成伤害。本发明既能检测驾驶员头部和眼部的异常行为，又能在汽车发生危险之前警告驾驶员安全驾驶，那么就会降低汽车发生交通事故的概率，保障车内乘客和驾驶员及汽车的安全。
进一步，视频分析模块基于八方位图对驾驶员面部行为进行检测，能够分析到驾驶员面部在所有偏离方向上的异常行为，做到全方位的监测。
进一步，通过研究不同偏离方向上驾驶员的眼部特征变化和头部特征变化，给出了详细的判断方法，保证了视频分析模块分析的准确性。
本发明公开的报警方法，首先采集驾驶员面部视频图像，并实时分析视频图像，判断驾驶员行为是否存在异常，如果存在行为异常，则启动异常行为报警装置，如果驾驶员未能从异常行为中恢复过来，则启动车辆自行制动程序，否则继续实时监测视频图像，直至车辆熄火关闭系统。分析过程快，保证驾驶员可以及时作出有效应对，保障车内乘客和驾驶员及汽车的安全。
进一步，提出了基于八方位图的驾驶员面部异常行为检测方法，分别对驾驶员双眼视线移动和头部移动视频图像进行检测，根据偏移时间判断是否存在行为异常。
本发明公开的车辆，装有该驾驶员面部行为异常报警系统，可以满足现在消费者的需求，功能强大，能够在危险来临之前提醒驾驶员，使驾驶员做好有效防范，保障人员及车辆的安全。
附图说明
图1为本发明的系统模块原理框图；
图2为本发明的系统运行流程图；
图3为本发明的基于八方位图的驾驶员面部示意图；
图4为本发明的基于八方位图的驾驶员双眼偏移示意图；
图5为本发明的基于八方位图的驾驶员头部偏移示意图；
图6为本发明的驾驶员双眼向左转动偏移图；
图7为本发明的驾驶员头部向左转动偏移图；
图8为本发明的驾驶员双眼向右转动偏移图；
图9为本发明的驾驶员头部向右转动偏移图；
图10为本发明的驾驶员双眼向上转动偏移图；
图11为本发明的驾驶员头部向上转动偏移图；
图12为本发明的驾驶员双眼向下转动偏移图；
图13为本发明的驾驶员头部向下转动偏移图；
图14为本发明的驾驶员双眼向左上转动偏移图；
图15为本发明的驾驶员头部向左上转动偏移图；
图16为本发明的驾驶员双眼向右上转动偏移图；
图17为本发明的驾驶员头部向右上转动偏移图；
图18为本发明的驾驶员双眼向左下转动偏移图；
图19为本发明的驾驶员头部向左下转动偏移图；
图20为本发明的驾驶员双眼向右下转动偏移图；
图21为本发明的驾驶员头部向右下转动偏移图；
图22为本发明的报警装置在五座车上的安装位置示意图；
图23为本发明的报警装置在七座及以上车上的安装位置示意图。
其中，1为内部报警装置，2为外部报警装置。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
如图1所示，本发明的驾驶员面部行为异常报警系统包含四个模块，分别是视频采集模块，视频分析模块、报警模块和控制模块，视频采集模块与视频分析模块连接，视频分析模块与报警模块连接，报警模块和控制模块连接。
视频采集模块通过安装在公共交通驾驶员前面的视频采集设备对驾驶员行为进行采集，供视频分析模块辨别驾驶员异常行为。视频采集设备采用摄像头。
报警模块一旦获得驾驶员异常行为信号，立马启动车辆报警装置。报警装置分布车辆内外，提示驾驶员、乘客以及周围车辆和行人。
控制模块是在车辆报警装置启动后，根据判断驾驶员是否已经采取有效措施，若仍未采取有效措施，控制模块采取车辆自动紧急停车的控制措施。控制模块采用型号为AT89S51的单片机。
系统工作流程如图2所示。车辆点火，自动开启驾驶员面部行为异常报警系统，开始通过视频采集模块进行眼部特征和头部特征视频采集，视频分析模块基于八方位图对眼部特征和头部特征进行分析，确定驾驶员面部行为是否存在异常。如果正常，且车辆还在开动过程中，则系统继续处于驾驶员面部行为监测分析状态；如果异常，则立即启动报警模块，通过声音和闪灯报警，提示驾驶员和乘客注意行车安全。如果报警后驾驶员已采取有效措施，驾驶员恢复正常行为，且车辆还在开动过程中，则系统继续处于驾驶员面部行为监测分析状态；否则，控制模块启动车辆自行制动程序，根据车速大小，在短时间内刹车至车辆停止。车辆熄火，自动关闭驾驶员面部行为异常监测系统。
视频分析模块采用图像分割算法对视频采集设备采集到的视频首先进行分析，具体为采用基于Haar特征的AdaBoost算法进行人脸检测，再采用积分投影法进行人眼检测。确定面部图像后，按照基于八方位图的驾驶员面部检测方法进行异常行为判断。
基于八方位图的驾驶员面部行为异常定义为：车辆在行驶过程中，如果驾驶员头部或眼部转向某一角度(统一归化为八方位)，即未正视前方超过A秒，则认为驾驶员面部行为异常。其中，A通过制定标准规定其大小，而且A与车辆行驶速度V有关，V越大，A越小。
驾驶员在行为异常状态下，本文规定车辆行驶10m为最小危险距离(参照双向四车道路面宽度约为20m)。根据速度与时间成反比的特点，计算在不同速度V下A的大小。下文以车速36km/h为例，则需要驾驶员在1s之内做出反应，负责可能产生严重后果。
基于八方位图的驾驶员面部检测，如图3所示，对驾驶员面部八个方位变化进行检测。检测具体分为如图4所示的基于八方位图的驾驶员眼部特征检测和如图5所示的基于八方位图的驾驶员头部特征检测。检测前提要对视频拍摄角度进行规范化处理，统一到正视角度。
以下从八个偏移方位进行详细阐述：
(1)驾驶员视线向左偏移超过1s
驾驶员视线向左偏移分为两种情况，一是双眼向左转动偏移，二是头部向左转动偏移。不管是哪种情况的驾驶员视线向左偏移，只要超过1s，则认为是驾驶员面部行为异常。
1)双眼向左转动偏移
如图6所示，驾驶员双眼向左转动偏移。在视频图像中监测到这类连续图片后，首先采用图像分割算法，获得驾驶员眼部图像；其次对瞳孔中心位置与整个眼部轮廓中心位置进行定位；最后计算瞳孔中心位置与整个眼部轮廓中心位置的距离d，判断该距离d是否超过B毫米，B通过制定标准规定其大小， (以眼光向左偏移45度为标准，测算瞳孔向左偏移了3-5mm，B取最小3mm)，如果超过，则认为双眼向左转动偏移。
2)头部向左转动偏移
如图7所示，驾驶员头部向左转动偏移。在视频图像中监测到这类连续图片后，首先采用图像分割算法，获得驾驶员眼部图像；其次对双眼瞳孔中心位置进行定位；最后计算偏移后双眼瞳孔中心位置距离d与正视双眼瞳孔中心位置距离h的差值C，C＝h-d，判断该距离C是否超过预设偏离值C0，C0通过制定标准规定其大小，(以头部向左偏移45度为标准，测算瞳孔向左偏移了20-40mm，C0取最小20mm)，如果超过，则认为头部向左转动偏移。
(2)驾驶员视线向右偏移超过1s
驾驶员视线向右偏移分为两种情况。一是双眼向右转动偏移，二是头部向右转动偏移。不管是哪种情况的驾驶员视线向右偏移，只要超过1s，则认为是驾驶员面部行为异常。
1)双眼向右转动偏移
如图8所示，驾驶员双眼向右转动偏移。在视频图像中监测到这类连续图片后，首先采用图像分割算法，获得驾驶员眼部图像；其次对瞳孔中心位置与整个眼部轮廓中心位置进行定位；最后计算瞳孔中心位置与整个眼部轮廓中心位置的距离d，判断该距离是否超过B毫米，B通过制定标准规定其大小，(以眼光向右偏移45度为标准，测算瞳孔向左偏移了3-5mm，B取最小3mm)，如果超过，则认为双眼向右转动偏移。
2)头部向右转动偏移
如图9所示，驾驶员头部向右转动偏移。在视频图像中监测到这类连续图片后，首先采用图像分割算法，获得驾驶员眼部图像；其次对双眼瞳孔中心位置进行定位；最后计算双眼瞳孔中心位置距离d与正视双眼瞳孔中心位置距离 h的差值C，C＝h-d，判断该距离C是否超过预设偏离值C0，C0通过制定标准规定其大小，(以头部向右偏移45度为标准，测算瞳孔向左偏移了20-40mm， C0取最小20mm)，如果超过，则认为头部向右转动偏移。
(3)驾驶员视线向上偏移超过1s
驾驶员视线向上偏移分为两种情况。一是双眼向上转动偏移，二是头部向上转动偏移。不管是哪种情况的驾驶员视线向上偏移，只要超过1s，则认为是驾驶员面部行为异常。
1)双眼向上转动偏移
如图10所示，驾驶员双眼向上转动偏移。在视频图像中监测到这类连续图片后，首先采用图像分割算法，获得驾驶员眼部图像；其次对瞳孔中心位置与整个眼部轮廓中心位置进行定位；最后计算瞳孔中心位置与整个眼部轮廓中心位置的距离d，判断该距离d是否超过D毫米，D通过制定标准规定其大小， (以眼光向上偏移45度为标准，测算瞳孔向左偏移了2-4mm，D取最小2mm)，如果超过，则认为双眼向上转动偏移。
2)头部向上转动偏移
如图11所示，驾驶员头部向上转动偏移。在视频图像中监测到这类连续图片后，首先采用图像分割算法，获得驾驶员眼部图像；其次对双眼瞳孔中心位置进行定位；最后计算双眼瞳孔中心位置距离d与正视双眼瞳孔中心位置距离h的差值C，C＝h-d，判断该距离C是否超过预设偏离值C0，C0通过制定标准规定其大小，(以头部向上偏移45度为标准，测算瞳孔向左偏移了 10-20mm，C0取最小10mm)，如果超过，则认为头部向上转动偏移。
(4)驾驶员视线向下偏移超过1s
驾驶员视线向下偏移分为两种情况。一是双眼向下转动偏移，二是头部向下转动偏移。不管是哪种情况的驾驶员视线向下偏移，只要超过1s，则认为是驾驶员面部行为异常。
1)双眼向下转动偏移
如图12所示，驾驶员双眼向下转动偏移。在视频图像中监测到这类连续图片后，首先采用图像分割算法，获得驾驶员眼部图像；其次双眼中巩膜(眼白)进行面积检测；最后计算双眼巩膜的面积大小s，判断该面积s是否超过 F平方毫米，F通过制定标准规定其大小，(以眼光向下偏移45度为标准，测算双眼巩膜的面积为200-600mm2，F取最小200mm2)，如果超过，则认为双眼向下转动偏移。
2)头部向下转动偏移
如图13所示，驾驶员头部向下转动偏移。在视频图像中监测到这类连续图片后，首先采用图像分割算法，获得驾驶员眼部图像；其次双眼中巩膜(眼白)进行面积检测；最后计算双眼巩膜的面积大小s，判断该面积是否超过F 平方毫米，F通过制定标准规定其大小，(以眼光向下偏移45度为标准，测算双眼巩膜的面积为200-600mm2，F取最小200mm2)，如果超过，则认为头部向下转动偏移。
(5)驾驶员视线向左上偏移超过1s
驾驶员视线向左上偏移分为两种情况，一是双眼向左上转动偏移，二是头部向左上转动偏移。不管是哪种情况的驾驶员视线向左上偏移，只要超过1s，则认为是驾驶员面部行为异常。
1)双眼向左上转动偏移
如图14所示，驾驶员双眼向左上转动偏移。在视频图像中监测到这类连续图片后，首先采用图像分割算法，获得驾驶员眼部图像；其次对瞳孔中心位置与整个眼部轮廓中心位置进行定位；最后计算瞳孔中心位置与整个眼部轮廓中心位置的距离d，判断该距离d是否超过B毫米，B通过制定标准规定其大小(以眼光向左上偏移45度为标准，测算瞳孔向左偏移了 3-5mm，B取最小3mm)，如果超过，则认为双眼向左上转动偏移。
2)头部向左上转动偏移
如图15所示，驾驶员头部向左上转动偏移。在视频图像中监测到这类连续图片后，首先采用图像分割算法，获得驾驶员眼部图像；其次对双眼瞳孔中心位置进行定位；最后计算双眼瞳孔中心位置距离d与正视双眼瞳孔中心位置距离h的差值C，C＝h-d，判断该距离C是否超过预设偏离值C0，C0通过制定标准规定其大小，(以头部向左上偏移45度为标准，测算瞳孔向左偏移了 20-40mm，C0取最小20mm)，如果超过，则认为头部向左上转动偏移。
(6)驾驶员视线向右上偏移超过1s
驾驶员视线向右上偏移分为两种情况。一是双眼向右上转动偏移，二是头部向右上转动偏移。不管是哪种情况的驾驶员视线向右上偏移，只要超过1s，则认为是驾驶员面部行为异常。
1)双眼向右上转动偏移
如图16所示，驾驶员双眼向右上转动偏移。在视频图像中监测到这类连续图片后，首先采用图像分割算法，获得驾驶员眼部图像；其次对瞳孔中心位置与整个眼部轮廓中心位置进行定位；最后计算瞳孔中心位置与整个眼部轮廓中心位置的d，判断该距离d是否超过B毫米，B通过制定标准规定其大小， (以眼光向右上偏移45度为标准，测算瞳孔向左偏移了3-5mm，B取最小3 mm)，如果超过，则认为双眼向右上转动偏移。
2)头部向右上转动偏移
如图17所示，驾驶员头部向右上转动偏移。在视频图像中监测到这类连续图片后，首先采用图像分割算法，获得驾驶员眼部图像；其次对双眼瞳孔中心位置进行定位；最后计算双眼瞳孔中心位置距离d与正视双眼瞳孔中心位置 h距离的差值C，C＝h-d，判断该距离C是否超过预设偏离值C0，C0通过制定标准规定其大小，(以头部向右上偏移45度为标准，测算瞳孔向左偏移了 20-40mm，C0取最小20mm)，如果超过，则认为头部向右上转动偏移。
(7)驾驶员视线向左下偏移超过1s
驾驶员视线向左下偏移分为两种情况。一是双眼向左下转动偏移，二是头部向左下转动偏移。不管是哪种情况的驾驶员视线向左下偏移，只要超过1s，则认为是驾驶员面部行为异常。
1)双眼向左下转动偏移
如图18所示，驾驶员双眼向左下转动偏移。在视频图像中监测到这类连续图片后，首先采用图像分割算法，获得驾驶员眼部图像；其次双眼中巩膜(眼白)进行面积检测；最后计算双眼巩膜的面积大小s，判断该面积s是否超过 F平方毫米，F通过制定标准规定其大小(以眼光向左下偏移45度为标准，测算双眼巩膜的面积为200-600mm2，F取最小200mm2)，如果超过，则认为双眼向左下转动偏移。
2)头部向左下转动偏移
如图19所示，驾驶员头部向左下转动偏移。在视频图像中监测到这类连续图片后，首先采用图像分割算法，获得驾驶员眼部图像；其次双眼中巩膜(眼白)进行面积检测；最后计算双眼巩膜的面积大小s，判断该面积s是否超过 F平方毫米，F通过制定标准规定其大小(以头部向左下偏移45度为标准，测算双眼巩膜的面积为200-600mm2，F取最小200mm2)，如果超过，则认为头部向左下转动偏移。
(8)驾驶员视线向右下偏移超过1s
驾驶员视线向右下偏移分为两种情况。一是双眼向右下转动偏移，二是头部向右下转动偏移。不管是哪种情况的驾驶员视线向右下偏移，只要超过1s，则认为是驾驶员面部行为异常。
1)双眼向右下转动偏移
如图20所示，驾驶员双眼向右下转动偏移。在视频图像中监测到这类连续图片后，首先采用图像分割算法，获得驾驶员眼部图像；其次双眼中巩膜(眼白)进行面积检测；最后计算双眼巩膜的面积大小s，判断该面积是否超过F 平方毫米，F通过制定标准规定其大小(以眼光向左下偏移45度为标准，测算双眼巩膜的面积为200-600mm2，F取最小200mm2)，如果超过，则认为双眼向右下转动偏移。
2)头部向右下转动偏移
如图21所示，驾驶员头部向右下转动偏移。在视频图像中监测到这类连续图片后，首先采用图像分割算法，获得驾驶员眼部图像；其次双眼中巩膜(眼白)进行面积检测；最后计算双眼巩膜的面积大小s，判断该面积s是否超过 F平方毫米，F通过制定标准规定其大小(以头部向右下偏移45度为标准，测算双眼巩膜的面积为200-600mm2，F取最小200mm2)，如果超过，则认为头部向右下转动偏移。
(9)未检测到驾驶员面部超过1s
车辆在行驶过程中，不管是驾驶员离开驾驶室，还是站立或蹲下，只要视频采集装置未能在规定区域内检测到驾驶员面部超过1s，则认为是驾驶员面部行为异常。
本发明从监测驾驶员头部及眼部状态变化入手，对驾驶员异常行为进行实时辨别，根据辨别结果及时做出报警或强制制动等反应，减少车辆对车内乘客及周边车辆和行人造成的伤害。
确定驾驶员有异常行为之后，系统发送信号至报警模块，启动车辆报警装置，提示车辆内外乘客和行人及其他车辆驾驶员注意避让；如果驾驶员异常行为恢复正常，则系统自动解除车辆报警。
车辆报警装置分布在车辆内外，如图22所示五座车分别在车辆内部前、后个位置设置内部报警装置1，车辆外部分别在前、中、后三个位置设置外部报警装置2；七座及以上车辆内部分别在前、中、后三个位置设置内部报警装置1车辆外部也分别在前、中、后三个位置设置外部报警装置2，如图23所示。车辆报警装置不仅要有醒目的LED闪烁，还要发出警报提示声，通过视觉和听觉双重警示，提醒车内的驾驶员和乘客以及车辆外围的车辆和行人注意及时自我保护。
如果当车辆报警信号发生，驾驶员未在规定时间恢复正常行为解除报警信号，则系统启动车辆自行制动程序。该程序控制车辆刹车系统，根据车辆当前行驶速度，决定刹车的频次和时间(参照无人驾驶车辆刹车有关国家标准)，直至车辆停止。如车速为36km/h，则应立即踩死刹车制动。
装有该驾驶员面部行为异常报警系统的车辆，可以满足现在消费者的需求，功能强大，能够在危险来临之前提醒驾驶员，使驾驶员做好有效防范，保障人员及车辆的安全。
Claims (6)
1.一种驾驶员面部行为异常报警系统，其特征在于，包括视频采集模块、视频分析模块、报警模块和控制模块，视频采集模块与视频分析模块连接，视频分析模块与报警模块连接，报警模块和控制模块连接；
视频采集模块安装在驾驶员前面，用于采集驾驶员面部行为，驾驶员面部行为包括眼部特征和头部特征；
视频分析模块用于判断驾驶员面部行为是否异常；
当视频分析模块判断驾驶员面部行为异常时，报警模块用于提示驾驶员面部行为存在异常；
控制模块与视频分析模块连接，控制模块与刹车系统连接，控制模块用于读取视频分析模块判断的结果，当读取到驾驶员面部行为仍然存在异常，控制模块用于控制刹车系统自动紧急停车；
视频分析模块采用基于Haar特征的AdaBoost算法进行人脸检测；采用积分投影法进行人眼检测；
视频分析模块基于八方位图对驾驶员面部行为进行检测，八方位图包括向左偏离、向右偏离、向上偏离、向下偏离、向左上偏离、向左下偏离、向右上偏离和向右下偏离；
当驾驶员视线符合八方位图的其中一种情况且偏离时间超过预设时间，或未检测到驾驶员面部行为，则认为驾驶员面部行为异常；
当驾驶员双眼向左偏离、向右偏离、向上偏离、向左上偏离或向右上偏离时，视频分析模块能够计算出瞳孔中心位置与整个眼部轮廓中心位置的距离，判断该距离是否超过预设偏离值，如果超过，则认为驾驶员双眼转动偏离；
当驾驶员头部向左偏离、向右偏离、向上偏离、向左上偏离或向右上偏离时，视频分析模块能够计算出正面图像双眼瞳孔中心间的距离与偏离后双眼瞳孔中心位置的距离之差，判断该距离之差是否超过预设偏离值，如果超过，则认为驾驶员头部转动偏离；
当驾驶员双眼或头部向下偏离、向左下偏离和向右下偏离时，视频分析模块能够计算出双眼巩膜的面积，判断该面积是否超过预设面积，如果超过，则认为驾驶员双眼或头部转动偏离。
2.根据权利要求1所述的驾驶员面部行为异常报警系统，其特征在于，视频采集模块采用摄像头，报警模块包括声音报警器和/或灯光报警器。
3.根据权利要求1所述的驾驶员面部行为异常报警系统，其特征在于，预设时间与车辆行驶速度有关，车辆速度越大，预设时间越小。
4.权利要求1～3任意一项所述的驾驶员面部行为异常报警系统的报警方法，其特征在于，包括以下步骤：
1)视频采集模块采集驾驶员眼部特征和头部特征的视频图像；
2)视频分析模块接收视频采集模块采集的图像，对眼部特征和头部特征进行分析，确定驾驶员面部行为是否存在异常；如果正常，且车辆还在行驶过程中，则视频分析模块继续处于驾驶员面部行为监测分析状态；如果异常，则立即启动报警模块，开始报警；
3)报警后，如果驾驶员恢复正常行为，且车辆还在行驶过程中，则视频分析模块继续处于驾驶员面部行为监测分析状态；否则，控制模块启动车辆自行制动程序，使车辆刹车至车辆停止。
5.根据权利要求4所述的报警方法，其特征在于，视频分析模块基于八方位图对视频图像进行分析，具体的分析方法为：
当驾驶员双眼向左偏离、向右偏离、向上偏离、向左上偏离或向右上偏离时，视频分析模块计算出瞳孔中心位置与整个眼部轮廓中心位置的距离，判断该距离是否超过预设偏离值，如果超过，则认为驾驶员双眼转动偏离；
当驾驶员头部向左偏离、向右偏离、向上偏离、向左上偏离或向右上偏离时，视频分析模块计算出正面图像双眼瞳孔中心间的距离与偏离后双眼瞳孔中心位置的距离之差，判断该距离之差是否超过预设偏离值，如果超过，则认为驾驶员头部转动偏离；
当驾驶员双眼或头部向下偏离、向左下偏离和向右下偏离时，视频分析模块计算出双眼巩膜的面积，判断该面积是否超过预设面积，如果超过，则认为驾驶员双眼或头部转动偏离。
6.一种车辆，其特征在于，该车辆安装有权利要求1～3任意一项所述的驾驶员面部行为异常报警系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910228856.7A CN109969195B (zh) | 2019-03-25 | 2019-03-25 | 一种驾驶员面部行为异常报警系统及方法和基于其的车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910228856.7A CN109969195B (zh) | 2019-03-25 | 2019-03-25 | 一种驾驶员面部行为异常报警系统及方法和基于其的车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109969195A CN109969195A (zh) | 2019-07-05 |
| CN109969195B true CN109969195B (zh) | 2024-02-27 |
Family
ID=67080428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910228856.7A Active CN109969195B (zh) | 2019-03-25 | 2019-03-25 | 一种驾驶员面部行为异常报警系统及方法和基于其的车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109969195B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7294194B2 (ja) * | 2020-03-11 | 2023-06-20 | いすゞ自動車株式会社 | 安全運転判定装置 |
| CN111476185B (zh) * | 2020-04-13 | 2023-10-10 | 罗跃宸 | 一种驾驶者注意力监测方法、装置以及系统 |
| CN112193155A (zh) * | 2020-09-18 | 2021-01-08 | 易显智能科技有限责任公司 | 一种外置式社会驾驶行为数据采集系统以及方法 |
| CN112849149A (zh) * | 2021-01-28 | 2021-05-28 | 上海商汤临港智能科技有限公司 | 驾驶员状态检测方法、装置、设备、介质及程序产品 |
| CN113173168A (zh) * | 2021-04-30 | 2021-07-27 | 重庆工程职业技术学院 | 车辆智能驾驶控制系统及方法 |
| CN113246930B (zh) * | 2021-06-22 | 2021-10-12 | 智己汽车科技有限公司 | 一种监控车辆周围状态的方法及设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102010044449A1 (de) * | 2009-12-31 | 2011-07-07 | Volkswagen AG, 38440 | Erkennen des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs |
| JP2012113450A (ja) * | 2010-11-22 | 2012-06-14 | Aisin Seiki Co Ltd | 覚醒度判定装置、覚醒度判定方法及びプログラム |
| JP2013095330A (ja) * | 2011-11-02 | 2013-05-20 | Daimler Ag | 前方監視促進装置及び車両制御装置 |
| CN103770733A (zh) * | 2014-01-15 | 2014-05-07 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测方法及装置 |
| CN103886307A (zh) * | 2014-04-15 | 2014-06-25 | 王东强 | 一种视线跟踪及疲劳预警方法 |
| WO2015017883A1 (en) * | 2013-08-06 | 2015-02-12 | David Fletcher | Driving infringement flagging system |
| CN105030257A (zh) * | 2014-03-19 | 2015-11-11 | 福特全球技术公司 | 驾驶员异常检测 |
| KR20170002330A (ko) * | 2015-06-29 | 2017-01-06 | 주식회사 와이즈오토모티브 | 운전자 맞춤형 디스플레이 가변 장치 및 이의 제어 방법 |
| CN106904169A (zh) * | 2015-12-17 | 2017-06-30 | 北京奇虎科技有限公司 | 行车安全预警方法及装置 |
| CN107215332A (zh) * | 2017-06-14 | 2017-09-29 | 深圳市车米云图科技有限公司 | 一种安全辅助驾驶系统及控制方法 |
| CN107226093A (zh) * | 2017-05-19 | 2017-10-03 | 长安大学 | 一种货车司机疲劳驾驶判断方法 |
| KR20170135573A (ko) * | 2016-05-31 | 2017-12-08 | 전자부품연구원 | 운전자 시선 방향 검출 장치 |
| CN108583430A (zh) * | 2018-05-22 | 2018-09-28 | 长安大学 | 一种用于检测和提醒驾驶员分心的驾驶系统及判断方法 |
-
2019
- 2019-03-25 CN CN201910228856.7A patent/CN109969195B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102010044449A1 (de) * | 2009-12-31 | 2011-07-07 | Volkswagen AG, 38440 | Erkennen des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs |
| JP2012113450A (ja) * | 2010-11-22 | 2012-06-14 | Aisin Seiki Co Ltd | 覚醒度判定装置、覚醒度判定方法及びプログラム |
| JP2013095330A (ja) * | 2011-11-02 | 2013-05-20 | Daimler Ag | 前方監視促進装置及び車両制御装置 |
| WO2015017883A1 (en) * | 2013-08-06 | 2015-02-12 | David Fletcher | Driving infringement flagging system |
| CN103770733A (zh) * | 2014-01-15 | 2014-05-07 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测方法及装置 |
| CN105030257A (zh) * | 2014-03-19 | 2015-11-11 | 福特全球技术公司 | 驾驶员异常检测 |
| CN103886307A (zh) * | 2014-04-15 | 2014-06-25 | 王东强 | 一种视线跟踪及疲劳预警方法 |
| KR20170002330A (ko) * | 2015-06-29 | 2017-01-06 | 주식회사 와이즈오토모티브 | 운전자 맞춤형 디스플레이 가변 장치 및 이의 제어 방법 |
| CN106904169A (zh) * | 2015-12-17 | 2017-06-30 | 北京奇虎科技有限公司 | 行车安全预警方法及装置 |
| KR20170135573A (ko) * | 2016-05-31 | 2017-12-08 | 전자부품연구원 | 운전자 시선 방향 검출 장치 |
| CN107226093A (zh) * | 2017-05-19 | 2017-10-03 | 长安大学 | 一种货车司机疲劳驾驶判断方法 |
| CN107215332A (zh) * | 2017-06-14 | 2017-09-29 | 深圳市车米云图科技有限公司 | 一种安全辅助驾驶系统及控制方法 |
| CN108583430A (zh) * | 2018-05-22 | 2018-09-28 | 长安大学 | 一种用于检测和提醒驾驶员分心的驾驶系统及判断方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109969195A (zh) | 2019-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109969195B (zh) | 一种驾驶员面部行为异常报警系统及方法和基于其的车辆 | |
| US11113970B2 (en) | Apparatus and method of safety support for vehicle | |
| US11164459B2 (en) | Apparatus and method of safety support for vehicle | |
| JP5171629B2 (ja) | 走行情報提供装置 | |
| CN107832748B (zh) | 一种共享汽车驾驶员更换系统及方法 | |
| KR102051142B1 (ko) | 차량용 운전자 위험 지수 관리 시스템 및 그 방법 | |
| US9542847B2 (en) | Lane departure warning/assistance method and system having a threshold adjusted based on driver impairment determination using pupil size and driving patterns | |
| JP5718942B2 (ja) | 輸送手段の安全な運転を補助する装置及び方法 | |
| KR101555444B1 (ko) | 차량탑재 상황감지 장치 및 그 방법 | |
| EP2908726B1 (en) | Method and device for detecting decreased attentiveness of vehicle driver | |
| CN105654674A (zh) | 监测车辆的驾驶员专注度 | |
| CN105931430A (zh) | 用于驾驶员状态预警系统的报警灵敏度检测方法及装置 | |
| US20190367038A1 (en) | Driver monitoring device | |
| KR20150061943A (ko) | 운전자 상태 감지 장치 및 그 방법 | |
| CN114872713A (zh) | 一种驾驶员异常驾驶状态监测装置和方法 | |
| CN113119982A (zh) | 操作状态识别与处理方法、装置、设备、介质及程序产品 | |
| KR20220014945A (ko) | 운전자 모니터링 시스템 및 방법 | |
| WO2009060172A1 (en) | Detecting driver impairment | |
| JP2021060676A (ja) | システムおよびプログラム等 | |
| CN110182211A (zh) | 基于驾驶员状态监测系统的车辆智能避险控制方法 | |
| CN115675280A (zh) | 一种用于高速路口的汽车安全驾驶监控方法及装置 | |
| CN115892029A (zh) | 一种基于驾驶人注意力评估的汽车智能盲区监测及预警系统 | |
| CN110929625A (zh) | 一种检测驾驶员疲劳驾驶的系统 | |
| JP7393738B2 (ja) | ドライバ状態推定装置 | |
| Cummings et al. | ADAS Vision Risk Assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |