CN110264670A - 基于客运车辆司机疲劳驾驶状态分析装置 - Google Patents

基于客运车辆司机疲劳驾驶状态分析装置 Download PDF

Info

Publication number
CN110264670A
CN110264670A CN201910550248.8A CN201910550248A CN110264670A CN 110264670 A CN110264670 A CN 110264670A CN 201910550248 A CN201910550248 A CN 201910550248A CN 110264670 A CN110264670 A CN 110264670A
Authority
CN
China
Prior art keywords
face
host
analytical equipment
driving condition
tired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910550248.8A
Other languages
English (en)
Inventor
任云
许晓边
牟华英
俞兵华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eagle Vision Corp Ltd
Original Assignee
Eagle Vision Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eagle Vision Corp Ltd filed Critical Eagle Vision Corp Ltd
Priority to CN201910550248.8A priority Critical patent/CN110264670A/zh
Publication of CN110264670A publication Critical patent/CN110264670A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Image Processing (AREA)

Abstract

基于客运车辆司机疲劳驾驶状态分析装置，其中：提供一个摄像头，用于获取司机脸部的实况图像；提供一个主机，主机与摄像头信号连接，主机采用卷积神经网络从实况图像中识别人脸，判断司机是否存在危险驾驶行为以及是否存在疲劳表情；提供一个显示屏，显示屏与主机信号连接，用于可视化返回主机的分析结果；提供一个喇叭，喇叭与主机信号连接，用于播放语音提醒。与现有技术相比，本发明的有益效果在于：通过卷积神经网络，更为高效、准确的识别司机是否存在眼睛是否闭合、是否有抽烟、是否有接听电话等危险驾驶行为，以及是否存在疲劳表情，并且及时进行显示和提醒。

Description

基于客运车辆司机疲劳驾驶状态分析装置
技术领域
本发明涉及电子信息领域，具体的是指基于客运车辆司机疲劳驾驶状态分析装置。
背景技术
随着汽车保有量和车辆出行急剧增加，交通安全问题日益突出。为解决由此产生的各种交通问题，业内开始大力发展ITS智能交通系统(Intelligent TransportationSystem)。ITS智能交通系统的核心技术涉及数字信号处理、通信技术、图像处理、模式识别、人工智能，比如疲劳驾驶识别就是其典型应用。
疲劳驾驶极易引起交通事故，是指驾驶人在长时间连续行车后，产生生理机能和心理机能的失调，而在客观上出现驾驶技能下降的现象。驾驶人睡眠质量差或不足，长时间驾驶车辆，容易缺乏内源氧出现疲劳。如专利号为CN201721228839.6的中国发明“一种疲劳驾驶提醒系统”、专利号为CN201010138314.X的中国发明“疲劳驾驶监测系统及方法”，均属于针对疲劳驾驶的安全系统。
申请人结合现有技术和实际驾驶员的人脸进行研究发现，对于判断疲劳状态而言，驾驶员的人脸图谱对于疲劳度识别有决定性的作用。而对于人脸识别而言，传统的人脸定位识别算法存在下列缺点：
(1)人脸图像的获取过程中的不确定性(光的方向、光的强度等)；
(2)人脸手进行部分遮挡，人脸框丢失或者识别率低；
(3)人脸的塑性变形的不确定性(比如：歪嘴咧牙、面部表情扭曲)；
(4)人脸左右以及上下一定角度状态下，人脸框丢失或者识别率低；
(5)眼睛在微眯状态下，会导致错误判断为是闭眼睛状态；
(6)阳光光点照射在嘴巴附近会导致抽烟误检。
以上情形都是现有技术不能解决或者难以有效解决的问题。
发明内容
本发明为了克服上述的现有技术不足之处，提供了一种基于客运车辆司机疲劳驾驶状态分析装置。
基于客运车辆司机疲劳驾驶状态分析装置，其中：
提供一个摄像头，用于获取司机脸部的实况图像；
提供一个主机，主机与摄像头信号连接，主机采用卷积神经网络从实况图像中识别人脸，判断司机是否存在危险驾驶行为以及是否存在疲劳表情；
提供一个显示屏，显示屏与主机信号连接，用于可视化返回主机的分析结果；
提供一个喇叭，喇叭与主机信号连接，用于播放语音提醒。
可选的，摄像头安装在汽车的前挡风玻璃，主机安装于驾驶台，显示屏安装于驾驶台，喇叭集成于主机内。
较佳的，卷积神经网络采用高鲁棒性数据样本，数据样本包括全天候24小时10000名司机的人脸图像。
进一步的，数据样本的人脸图像包括被手进行部分遮挡的人脸、具有塑性变形的人脸。
较佳的，摄像头基于940波长的红外补光。
与现有技术相比，本发明的有益效果在于：通过卷积神经网络，更为高效、准确的识别司机是否存在眼睛是否闭合、是否有抽烟、是否有接听电话等危险驾驶行为，以及是否存在疲劳表情，并且及时进行显示和提醒。
下面结合说明附图和具体实施方式对本发明做进一步的说明。
附图说明
图1是本发明的结构示意图。
图2是本发明针对眼睛微眯的表情的分析原理示意图。
图3是本发明针对打哈欠的表情的分析原理示意图。
图4是本发明针对区分阳光、烟头的亮点的分析原理示意图。
具体实施方式
如图1所示，基于客运车辆司机疲劳驾驶状态分析装置，其中：
提供一个摄像头1，用于获取司机脸部的实况图像；
提供一个主机2，主机2与摄像头1信号连接，主机2采用卷积神经网络从实况图像中识别人脸，判断司机是否存在危险驾驶行为以及是否存在疲劳表情；
提供一个显示屏3，显示屏3与主机2信号连接，用于可视化返回主机2的分析结果；
提供一个喇叭4，喇叭4与主机2信号连接，用于播放语音提醒。
在较佳的实施例中，摄像头1安装在汽车的前挡风玻璃5，主机2安装于驾驶台6，显示屏3安装于驾驶台6，喇叭4集成于主机2内。
上述技术方案中的基于客运车辆司机疲劳驾驶状态分析装置，通过卷积神经网络，更为高效、准确的识别司机是否存在眼睛是否闭合、是否有抽烟、是否有接听电话等危险驾驶行为，以及是否存在疲劳表情，并且及时进行显示和提醒。
在较佳的实施例中，卷积神经网络采用高鲁棒性数据样本，数据样本包括全天候24小时10000名司机的人脸图像。
在较佳的实施例中，数据样本的人脸图像包括被手进行部分遮挡的人脸、具有塑性变形的人脸。
在较佳的实施例中，摄像头1基于940波长的红外补光。
上述实施方式提供的基于客运车辆司机疲劳驾驶状态分析装置，对于人脸的识别，采用人脸定位的方式，即五官中满足其中任意两处即可通过人脸比例的规则确认并标注出人脸框。
其中，对于人脸的识别，尤其针对眼睛微眯的表情，采用的解决办法如图2所示：
(1)定位四个眼睛边界点，即左眼角A(x1,y1)、右眼角B(x2,y2)、上眼皮中心点C(x3,y3)、下眼皮中心点D(x4,y4)；
(2)根据眼睛在人脸的占比大小规定阈值yz，设人脸框左上角坐标为P1(a1,b1)、右下角坐标为P2(a2,b2)，则
(3)计算如果ratio小于阈值yz，则判定其为闭眼。
其中，对于人脸的识别，尤其针对打哈欠的表情，采用的解决办法与针对眼睛微眯的表情类同，具体是如图3所示：
(1)定位四个嘴部边界点，即左嘴角A(x1,y1)、右嘴角B(x2,y2)、上嘴皮中心点C(x3,y3)、下嘴皮中心点D(x4,y4)；
(2)根据嘴巴在人脸的占比大小规定阈值yz，设人脸框左上角坐标为P1(a1,b1)、右下角坐标为P2(a2,b2)，则
(3)计算如果ratio大于阈值yz，则判定其为打哈欠。
而针对区分阳光、烟头的亮点，采用亮点以及烟部分躯干进行与运算的方法，如图4所示，即亮点8、烟部分躯干9同时检出判断为司机存在抽烟的危险驾驶行为，否则作为阳光错检。
对于本领域的技术人员来说，可根据本发明所揭示的结构和原理获得其它各种相应的改变以及变形，而所有的这些改变以及变形都属于本发明的保护范畴。

Claims (9)

1.基于客运车辆司机疲劳驾驶状态分析装置，其特征在于：
提供一个摄像头，用于获取司机脸部的实况图像；
提供一个主机，主机与摄像头信号连接，主机采用卷积神经网络从实况图像中识别人脸，判断司机是否存在危险驾驶行为以及是否存在疲劳表情；
提供一个显示屏，显示屏与主机信号连接，用于可视化返回主机的分析结果；
提供一个喇叭，喇叭与主机信号连接，用于播放语音提醒。
2.根据权利要求1所述的基于客运车辆司机疲劳驾驶状态分析装置，其特征在于：摄像头安装在汽车的前挡风玻璃，主机安装于驾驶台，显示屏安装于驾驶台，喇叭集成于主机内。
3.根据权利要求1所述的基于客运车辆司机疲劳驾驶状态分析装置，其特征在于：卷积神经网络采用高鲁棒性数据样本，数据样本包括全天候24小时10000名司机的人脸图像。
4.根据权利要求3所述的基于客运车辆司机疲劳驾驶状态分析装置，其特征在于：数据样本的人脸图像包括被手进行部分遮挡的人脸、具有塑性变形的人脸。
5.根据权利要求1所述的基于客运车辆司机疲劳驾驶状态分析装置，其特征在于：摄像头基于940波长的红外补光。
6.根据权利要求1所述的基于客运车辆司机疲劳驾驶状态分析装置，其特征在于：对于人脸的识别，采用人脸定位的方式，即五官中满足其中任意两处即可通过人脸比例的规则确认并标注出人脸框。
7.根据权利要求6所述的基于客运车辆司机疲劳驾驶状态分析装置，其特征在于，对于人脸的识别，尤其针对眼睛微眯的表情，采用的解决办法是：
(1)定位四个眼睛边界点，即左眼角A(x1,y1)、右眼角B(x2,y2)、上眼皮中心点C(x3,y3)、下眼皮中心点D(x4,y4)；
(2)根据眼睛在人脸的占比大小规定阈值yz，设人脸框左上角坐标为P1(a1,b1)、右下角坐标为P2(a2,b2)，则
(3)计算如果ratio小于阈值yz，则判定其为闭眼。
8.根据权利要求6所述的基于客运车辆司机疲劳驾驶状态分析装置，其特征在于，对于人脸的识别，尤其针对打哈欠的表情，采用的解决办法是：
(1)定位四个嘴部边界点，即左嘴角A(x1,y1)、右嘴角B(x2,y2)、上嘴皮中心点C(x3,y3)、下嘴皮中心点D(x4,y4)；
(2)根据嘴巴在人脸的占比大小规定阈值yz，设人脸框左上角坐标为P1(a1,b1)、右下角坐标为P2(a2,b2)，则
(3)计算如果ratio大于阈值yz，则判定其为打哈欠。
9.根据权利要求6所述的基于客运车辆司机疲劳驾驶状态分析装置，其特征在于，对于人脸的识别，尤其针对区分阳光、烟头的亮点，采用亮点以及烟部分躯干进行与运算的方法，即亮点、烟部分躯干同时检出判断为司机存在抽烟的危险驾驶行为，否则作为阳光错检。
CN201910550248.8A 2019-06-24 2019-06-24 基于客运车辆司机疲劳驾驶状态分析装置 Withdrawn CN110264670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910550248.8A CN110264670A (zh) 2019-06-24 2019-06-24 基于客运车辆司机疲劳驾驶状态分析装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910550248.8A CN110264670A (zh) 2019-06-24 2019-06-24 基于客运车辆司机疲劳驾驶状态分析装置

Publications (1)

Publication Number Publication Date
CN110264670A true CN110264670A (zh) 2019-09-20

Family

ID=67921054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910550248.8A Withdrawn CN110264670A (zh) 2019-06-24 2019-06-24 基于客运车辆司机疲劳驾驶状态分析装置

Country Status (1)

Country Link
CN (1) CN110264670A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110859609A (zh) * 2019-11-26 2020-03-06 郑州迈拓信息技术有限公司 基于语音分析的多特征融合疲劳驾驶检测方法
CN112738364A (zh) * 2020-12-07 2021-04-30 浙江合众新能源汽车有限公司 一种基于面部表情及语音识别的用户监控装置及其监控方法
TWI727819B (zh) * 2020-06-01 2021-05-11 澔鴻科技股份有限公司 疲勞駕駛辨識系統及其辨識方法
FR3122756A1 (fr) * 2021-05-04 2022-11-11 Psa Automobiles Sa Procédé et dispositif de détection d’un comportement d’un usager d’un véhicule.

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130010096A1 (en) * 2009-12-02 2013-01-10 Tata Consultancy Services Limited Cost effective and robust system and method for eye tracking and driver drowsiness identification
CN103150560A (zh) * 2013-03-15 2013-06-12 福州龙吟信息技术有限公司 一种汽车智能安全驾驶的实现方法
WO2013157466A1 (ja) * 2012-04-20 2013-10-24 株式会社デンソー 喫煙検出装置、方法及びプログラム
CN106529496A (zh) * 2016-11-24 2017-03-22 广西大学 一种机车乘务员实时视频疲劳检测的方法
CN106781282A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种智能行车驾驶员疲劳预警系统
CN107679468A (zh) * 2017-09-19 2018-02-09 浙江师范大学 一种嵌入式计算机视觉检测疲劳驾驶方法及装置
US20180225532A1 (en) * 2017-02-08 2018-08-09 Toyota Jidosha Kabushiki Kaisha Driver condition detection system
CN108573210A (zh) * 2018-03-02 2018-09-25 成都高原汽车工业有限公司 一种疲劳驾驶报警方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130010096A1 (en) * 2009-12-02 2013-01-10 Tata Consultancy Services Limited Cost effective and robust system and method for eye tracking and driver drowsiness identification
WO2013157466A1 (ja) * 2012-04-20 2013-10-24 株式会社デンソー 喫煙検出装置、方法及びプログラム
CN103150560A (zh) * 2013-03-15 2013-06-12 福州龙吟信息技术有限公司 一种汽车智能安全驾驶的实现方法
CN106529496A (zh) * 2016-11-24 2017-03-22 广西大学 一种机车乘务员实时视频疲劳检测的方法
CN106781282A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种智能行车驾驶员疲劳预警系统
US20180225532A1 (en) * 2017-02-08 2018-08-09 Toyota Jidosha Kabushiki Kaisha Driver condition detection system
CN107679468A (zh) * 2017-09-19 2018-02-09 浙江师范大学 一种嵌入式计算机视觉检测疲劳驾驶方法及装置
CN108573210A (zh) * 2018-03-02 2018-09-25 成都高原汽车工业有限公司 一种疲劳驾驶报警方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
苏海云: ""矿用重型卡车安防辅助系统的研究"", 《露天采矿技术》 *
詹红梅: ""基于复杂驾驶环境下面部特征识别技术的防疲劳驾驶系统"", 《理论与算法》 *
重庆市公共交通控股（集团）有限公司: ""重庆200辆公交车安装驾驶行为预警系统"", 《城市公共交通》 *
马燕等: "《人脸识别技术》", 31 August 2007, 上海文艺出版总社百家出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110859609A (zh) * 2019-11-26 2020-03-06 郑州迈拓信息技术有限公司 基于语音分析的多特征融合疲劳驾驶检测方法
TWI727819B (zh) * 2020-06-01 2021-05-11 澔鴻科技股份有限公司 疲勞駕駛辨識系統及其辨識方法
CN112738364A (zh) * 2020-12-07 2021-04-30 浙江合众新能源汽车有限公司 一种基于面部表情及语音识别的用户监控装置及其监控方法
FR3122756A1 (fr) * 2021-05-04 2022-11-11 Psa Automobiles Sa Procédé et dispositif de détection d’un comportement d’un usager d’un véhicule.

Similar Documents

Publication Publication Date Title
CN110264670A (zh) 基于客运车辆司机疲劳驾驶状态分析装置
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及系统
CN100462047C (zh) 基于全方位计算机视觉的安全驾驶辅助装置
CN103714660B (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
WO2020029444A1 (zh) 一种驾驶员驾驶时注意力检测方法和系统
CN106446811A (zh) 基于深度学习的驾驶员疲劳检测方法及装置
CN1225375C (zh) 基于多特征融合的困倦驾驶检测方法
CN105286802B (zh) 基于视频信息的驾驶员疲劳检测方法
CN104573622B (zh) 人脸检测装置、方法
CN113033503A (zh) 一种多特征融合的危险驾驶行为检测方法及系统
CN111027478A (zh) 一种基于深度学习的司机、乘客行为分析与预警系统
CN113887386B (zh) 基于深度学习和机器学习的多特征融合的疲劳检测方法
CN110751051A (zh) 一种基于机器视觉的异常驾驶行为检测方法
CN111439170A (zh) 儿童状态检测方法及装置、电子设备、存储介质
CN110103822A (zh) 一种驾驶行为习惯智能检测及安全驾驶评分的装置和方法
CN105868690A (zh) 识别驾驶员打手机行为的方法和装置
CN111062292A (zh) 一种疲劳驾驶检测装置与方法
CN104881956A (zh) 一种疲劳驾驶预警系统
CN107507395A (zh) 一种疲劳驾驶检测系统及方法
CN109543577A (zh) 一种基于面部表情特征的疲劳驾驶检测预警方法
CN116965781B (zh) 一种驾驶员生命体征和驾驶行为监控方法及系统
CN106904169A (zh) 行车安全预警方法及装置
CN112528843A (zh) 一种融合面部特征的机动车驾驶人疲劳检测方法
CN113920568A (zh) 基于视频图像的人脸和人体姿态情绪识别方法
CN115937830A (zh) 一种面向特种车辆的驾驶员疲劳检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190920

WW01 Invention patent application withdrawn after publication