CN116665193A - 一种智能座舱驾驶员疲劳视觉辅助检测方法 - Google Patents
一种智能座舱驾驶员疲劳视觉辅助检测方法 Download PDFInfo
- Publication number
- CN116665193A CN116665193A CN202310843114.1A CN202310843114A CN116665193A CN 116665193 A CN116665193 A CN 116665193A CN 202310843114 A CN202310843114 A CN 202310843114A CN 116665193 A CN116665193 A CN 116665193A
- Authority
- CN
- China
- Prior art keywords
- detection
- driver
- fatigue
- behavior
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 223
- 230000000007 visual effect Effects 0.000 claims abstract description 77
- 238000004458 analytical method Methods 0.000 claims abstract description 63
- 238000005516 engineering process Methods 0.000 claims abstract description 16
- 208000004350 Strabismus Diseases 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 23
- 230000005856 abnormality Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000035080 detection of muscle activity involved in regulation of muscle adaptation Effects 0.000 claims 6
- 238000007405 data analysis Methods 0.000 abstract description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 208000010340 Sleep Deprivation Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000008433 psychological processes and functions Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003860 sleep quality Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/18—Steering angle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Health & Medical Sciences (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明属于疲劳驾驶检测领域，涉及数据分析技术，用于解决现有技术中的驾驶员疲劳视觉辅助检测方法，仅通过视觉检测这种单一的检测方式会导致疲劳检测判定结果不准确的问题，具体是一种智能座舱驾驶员疲劳视觉辅助检测方法，包括以下步骤：对智能座舱的驾驶员进行视觉检测分析：生成检测周期，将检测周期分割为若干个检测时段，获取检测时段的视觉系数SJ并将检测时段的视觉系数SJ发送至疲劳分析模块；本发明是对智能座舱的驾驶员进行视觉检测分析，通过对检测时段内的人像参数进行采集、分析与计算得到视觉系数，通过视觉系数对检测时段内驾驶员的疲劳程度进行反馈，从而在驾驶员过于疲劳时及时进行预警与提醒。
Description
技术领域
本发明属于疲劳驾驶检测领域，涉及数据分析技术，具体是一种智能座舱驾驶员疲劳视觉辅助检测方法。
背景技术
驾驶疲劳是指驾驶人在长时间连续行车后，产生生理机能和心理机能的失调，而在客观上出现驾驶技能下降的现象，驾驶人睡眠质量差或不足，长时间驾驶车辆，容易出现疲劳，驾驶疲劳会影响到驾驶人的注意、感觉、知觉、思维、判断、意志、决定和运动等诸方面；
但现有技术中的驾驶员疲劳视觉辅助检测方法，通常是采用图像分析以及红外传感器来检测驾驶员的驾驶状态，但是由于不同驾驶员生理特征的差异性较大，仅通过视觉检测这种单一的检测方式会导致疲劳检测判定结果不准确；
针对上述技术问题，本申请提出一种解决方案。
发明内容
本发明的目的在于提供一种智能座舱驾驶员疲劳视觉辅助检测方法，用于解决现有技术中的驾驶员疲劳视觉辅助检测方法，仅通过视觉检测这种单一的检测方式会导致疲劳检测判定结果不准确的问题。
本发明需要解决的技术问题为：如何提供一种疲劳检测判定结果高准确率的智能座舱驾驶员疲劳视觉辅助检测方法。
本发明的目的可以通过以下技术方案实现：一种智能座舱驾驶员疲劳视觉辅助检测方法，包括以下步骤：
步骤一：对智能座舱的驾驶员进行视觉检测分析：生成检测周期，将检测周期分割为若干个检测时段，获取检测时段的视觉系数SJ并将检测时段的视觉系数SJ发送至疲劳分析模块；
步骤二：对智能座舱的驾驶员进行行为检测分析：将获取检测时段内的转向数据与打灯数据，转向数据为检测时段内车辆的转向次数并进行数值计算得到检测时段的行为系数，将检测时段的行为系数发送至疲劳分析模块；
步骤三：对智能座舱的驾驶员进行疲劳驾驶分析：将检测时段内的视觉系数SJ、行为系数分别与预设的视觉阈值SJmax、行为阈值进行比较并通过比较结果对驾驶员的状态特征进行标记，将驾驶员在检测时段内的状态特征发送至异常处理模块；
步骤四：在驾驶员的驾驶状态异常时进行异常处理。
作为本发明的一种优选实施方式，在步骤一中，检测时段的视觉系数SJ的获取过程包括：在检测时段内对智能座舱的驾驶员进行录像拍摄，将检测时段内拍摄得到的录像分解为若干张检测图像，通过图像处理技术对检测图像中驾驶员的人像参数进行采集，驾驶员的人像参数包括嘴张数据ZZ、眯眼数据MY以及低头数据DT并进行数值计算得到检测时段的视觉系数SJ。
作为本发明的一种优选实施方式，在步骤一中，张嘴数据ZZ的获取过程包括：通过人脸识别技术获取到检测图像中驾驶员的嘴巴张开面积并标记为嘴张值，将嘴张值与预设的嘴张阈值进行比较：若嘴张值小于嘴张阈值，则将对应的检测图像标记为闭嘴图像；若嘴张值大于等于嘴张阈值，则将对应的检测图像标记为张嘴图像，将张嘴图像的数量与检测图像的数量比值标记为张嘴数据ZZ；眯眼数据MY的获取过程包括：通过人脸识别技术获取到检测图像中驾驶员的眼球面积并标记为眯眼值，将眯眼值与预设的眯眼阈值进行比较：若眯眼值小于眯眼阈值，则将对应的检测图像标记为眯眼图像；若眯眼值大于等于眯眼阈值，则将对应的检测图像标记为睁眼图像；将眯眼图像的数量与检测图像的数量比值标记为眯眼数据MY；低头数据DT的获取过程包括：通过人脸识别技术获取到检测图像中驾驶员的面部面积并标记为面部值，将面部值与预设的面部阈值进行比较：若面部值小于面部阈值，则将对应的检测图像标记为低头图像；若面部值大于等于面部阈值，则将对应的检测图像标记为抬头图像；将低头图像的数量与检测图像的数量比值标记为低头数据DT。
作为本发明的一种优选实施方式，在步骤二中，转向数据为检测时段内车辆的转向次数，打灯数据的获取过程包括：将车辆转向的前L1秒至车辆转向时刻的时间段标记为分析时段，在分析时段内对驾驶员是否进行转向灯切换操作进行判定：若是，则将当前转向行为标记为正确行为；若否，则将当前转向行为标记为错误行为；将检测时段内的正确行为的次数标记为打灯数据；将打灯数据与转向数据的比值标记为检测时段的行为系数。
作为本发明的一种优选实施方式，在步骤三中，将检测时段内的视觉系数SJ、行为系数分别与预设的视觉阈值SJmax、行为阈值进行比较的具体过程包括：若行为系数大于等于行为阈值，则判定驾驶员的驾驶状态满足要求，同时将驾驶员在检测时段内的状态特征标记为正常驾驶；若视觉系数SJ小于视觉阈值SJmax且行为系数小于行为阈值，则判定驾驶员的驾驶状态不满足要求，同时将驾驶员在检测时段内的状态特征标记为习惯优化；若视觉系数SJ大于等于视觉阈值SJmax且行为系数小于行为阈值，则判定驾驶员的驾驶状态不满足要求，同时将驾驶员在检测时段内的状态特征标记为疲劳预警。
作为本发明的一种优选实施方式，在步骤四中，在驾驶员的驾驶状态异常时进行异常处理的具体过程包括：驾驶员的状态特征为正常驾驶时不做处理；驾驶员的状态特征为习惯优化时生成习惯规范提醒信号并将习惯规范提醒信号发送至驾驶员的手机终端；驾驶员的状态特征为疲劳预警时生成疲劳预警信号并将疲劳预警信号发送至智能座舱的处理器，智能座舱的处理器接收到疲劳预警信号后控制智能座舱的座椅产生振动、音乐播放器播放疲劳提醒语音以及车载显示屏显示休息提醒图案。
作为本发明的一种优选实施方式，应用于智能座舱驾驶员疲劳视觉辅助检测系统当中，包括视觉检测模块、行为检测模块以及疲劳分析模块，视觉检测模块、疲劳分析模块以及行为检测模块依次进行通信连接，所述疲劳分析模块还通信连接有异常处理模块；
所述视觉检测模块用于对智能座舱的驾驶员进行视觉检测分析并得到检测时段的视觉系数SJ，将视觉系数SJ发送至疲劳分析模块；
所述行为检测模块用于对智能座舱的驾驶员进行行为检测分析并得到检测时段的行为系数，将行为系数发送至疲劳分析模块；
所述疲劳分析模块用于对智能座舱的驾驶员进行疲劳驾驶分析并对驾驶员的状态特征进行标记；
所述异常处理模块用于在驾驶员的驾驶状态不满足要求时进行异常处理。
本发明具备下述有益效果：
1、本发明是通过视觉检测模块可以对智能座舱的驾驶员进行视觉检测分析，通过对检测时段内的人像参数进行采集、分析与计算得到视觉系数，通过视觉系数对检测时段内驾驶员的疲劳程度进行反馈，从而在驾驶员过于疲劳时及时进行预警与提醒；
2、本发明还通过行为检测模块可以对智能座舱的驾驶员进行行为检测分析，通过对检测时段内的转向数据与打灯数据进行采集、分析与计算得到行为系数，通过行为系数对检测时段内车辆驾驶的规范性进行反馈，从而在车辆出现不规范驾驶现象时及时进行提醒；
3、本发明还通过疲劳分析模块可以对智能座舱的驾驶员进行疲劳驾驶分析，根据视觉系数与行为系数对检测时段内驾驶员的状态特征进行标记，将视觉检测结果与行为检测结果进行结合，防止采用单一检测方式导致疲劳分析结果精确性降低的问题，同时在驾驶员非疲劳驾驶状态下出现的不合规驾驶现象进行驾驶规范提醒。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一的系统框图；
图2为本发明实施例二的系统框图；
图3为本发明实施例三的方法流程图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
如图1所示，一种智能座舱驾驶员疲劳视觉辅助检测系统，包括视觉检测模块、行为检测模块以及疲劳分析模块，视觉检测模块、疲劳分析模块以及行为检测模块依次进行通信连接。
视觉检测模块用于对智能座舱的驾驶员进行视觉检测分析：生成检测周期，将检测周期分割为若干个检测时段，在检测时段内对智能座舱的驾驶员进行录像拍摄，将检测时段内拍摄得到的录像分解为若干张检测图像，通过图像处理技术对检测图像中驾驶员的人像参数进行采集，驾驶员的人像参数包括嘴张数据ZZ、眯眼数据MY以及低头数据DT，张嘴数据ZZ的获取过程包括：通过人脸识别技术获取到检测图像中驾驶员的嘴巴张开面积并标记为嘴张值，将嘴张值与预设的嘴张阈值进行比较：若嘴张值小于嘴张阈值，则将对应的检测图像标记为闭嘴图像；若嘴张值大于等于嘴张阈值，则将对应的检测图像标记为张嘴图像，将张嘴图像的数量与检测图像的数量比值标记为张嘴数据ZZ；眯眼数据MY的获取过程包括：通过人脸识别技术获取到检测图像中驾驶员的眼球面积并标记为眯眼值，将眯眼值与预设的眯眼阈值进行比较：若眯眼值小于眯眼阈值，则将对应的检测图像标记为眯眼图像；若眯眼值大于等于眯眼阈值，则将对应的检测图像标记为睁眼图像；将眯眼图像的数量与检测图像的数量比值标记为眯眼数据MY；低头数据DT的获取过程包括：通过人脸识别技术获取到检测图像中驾驶员的面部面积并标记为面部值，将面部值与预设的面部阈值进行比较：若面部值小于面部阈值，则将对应的检测图像标记为低头图像；若面部值大于等于面部阈值，则将对应的检测图像标记为抬头图像；将低头图像的数量与检测图像的数量比值标记为低头数据DT；通过公式SJ=α1*MY+α2*DT+α3*ZZ得到检测时段的视觉系数SJ，视觉系数是一个反映驾驶员视觉疲劳程度的数值，视觉系数的数值越大，则表示驾驶员的视觉疲劳程度越高；其中α1、α2以及α3均为比例系数，且α1＞α2＞α3＞1；将检测时段的视觉系数SJ发送至疲劳分析模块；对智能座舱的驾驶员进行视觉检测分析，通过对检测时段内的人像参数进行采集、分析与计算得到视觉系数，通过视觉系数对检测时段内驾驶员的疲劳程度进行反馈，从而在驾驶员过于疲劳时及时进行预警与提醒。
行为检测模块用于对智能座舱的驾驶员进行行为检测分析：将获取检测时段内的转向数据与打灯数据，转向数据为检测时段内车辆的转向次数，打灯数据的获取过程包括：将车辆转向的前L1秒至车辆转向时刻的时间段标记为分析时段，在分析时段内对驾驶员是否进行转向灯切换操作进行判定：若是，则将当前转向行为标记为正确行为；若否，则将当前转向行为标记为错误行为；将检测时段内的正确行为的次数标记为打灯数据；将打灯数据与转向数据的比值标记为检测时段的行为系数，行为系数是一个反映驾驶员的行为疲劳程度的数值，行为系数的数值越小，则表示驾驶员的行为疲劳程度越高；将检测时段的行为系数发送至疲劳分析模块；对智能座舱的驾驶员进行行为检测分析，通过对检测时段内的转向数据与打灯数据进行采集、分析与计算得到行为系数，通过行为系数对检测时段内车辆驾驶的规范性进行反馈，从而在车辆出现不规范驾驶现象时及时进行提醒。
疲劳分析模块用于对智能座舱的驾驶员进行疲劳驾驶分析：将检测时段内的视觉系数SJ、行为系数分别与预设的视觉阈值SJmax、行为阈值进行比较：若行为系数大于等于行为阈值，则判定驾驶员的驾驶状态满足要求，同时将驾驶员在检测时段内的状态特征标记为正常驾驶；若视觉系数SJ小于视觉阈值SJmax且行为系数小于行为阈值，则判定驾驶员的驾驶状态不满足要求，同时将驾驶员在检测时段内的状态特征标记为习惯优化；若视觉系数SJ大于等于视觉阈值SJmax且行为系数小于行为阈值，则判定驾驶员的驾驶状态不满足要求，同时将驾驶员在检测时段内的状态特征标记为疲劳预警；对智能座舱的驾驶员进行疲劳驾驶分析，根据视觉系数与行为系数对检测时段内驾驶员的状态特征进行标记，将视觉检测结果与行为检测结果进行结合，防止采用单一检测方式导致疲劳分析结果精确性降低的问题，同时在驾驶员非疲劳驾驶状态下出现的不合规驾驶现象进行驾驶规范提醒。
实施例二
如图2所示，疲劳分析模块还通信连接有异常处理模块，疲劳分析模块将驾驶员在检测时段内的状态特征发送至异常处理模块，驾驶员的状态特征为正常驾驶时不做处理；驾驶员的状态特征为习惯优化时生成习惯规范提醒信号并将习惯规范提醒信号发送至驾驶员的手机终端；驾驶员的状态特征为疲劳预警时生成疲劳预警信号并将疲劳预警信号发送至智能座舱的处理器，智能座舱的处理器接收到疲劳预警信号后控制智能座舱的座椅产生振动、音乐播放器播放疲劳提醒语音以及车载显示屏显示休息提醒图案。
实施例三
如图3所示，一种智能座舱驾驶员疲劳视觉辅助检测方法，包括以下步骤：
步骤一：对智能座舱的驾驶员进行视觉检测分析：生成检测周期，将检测周期分割为若干个检测时段，在检测时段内对智能座舱的驾驶员进行录像拍摄，将检测时段内拍摄得到的录像分解为若干张检测图像；
步骤二：通过图像处理技术对检测图像中驾驶员的人像参数进行采集，驾驶员的人像参数包括嘴张数据ZZ、眯眼数据MY以及低头数据DT并进行数值计算得到检测时段的视觉系数SJ，将检测时段的视觉系数SJ发送至疲劳分析模块；
步骤三：对智能座舱的驾驶员进行行为检测分析：将获取检测时段内的转向数据与打灯数据，转向数据为检测时段内车辆的转向次数并进行数值计算得到检测时段的行为系数，将检测时段的行为系数发送至疲劳分析模块；
步骤四：对智能座舱的驾驶员进行疲劳驾驶分析：将检测时段内的视觉系数SJ、行为系数分别与预设的视觉阈值SJmax、行为阈值进行比较并通过比较结果对驾驶员的状态特征进行标记，将驾驶员在检测时段内的状态特征发送至异常处理模块；
步骤五：在驾驶员的驾驶状态异常时进行异常处理。
一种智能座舱驾驶员疲劳视觉辅助检测方法，本发明在工作时，生成检测周期，将检测周期分割为若干个检测时段，在检测时段内对智能座舱的驾驶员进行录像拍摄，将检测时段内拍摄得到的录像分解为若干张检测图像；通过图像处理技术对检测图像中驾驶员的人像参数进行采集，驾驶员的人像参数包括嘴张数据ZZ、眯眼数据MY以及低头数据DT并进行数值计算得到检测时段的视觉系数SJ，将检测时段的视觉系数SJ发送至疲劳分析模块；将获取检测时段内的转向数据与打灯数据，转向数据为检测时段内车辆的转向次数并进行数值计算得到检测时段的行为系数，将检测时段的行为系数发送至疲劳分析模块；将检测时段内的视觉系数SJ、行为系数分别与预设的视觉阈值SJmax、行为阈值进行比较并通过比较结果对驾驶员的状态特征进行标记，将驾驶员在检测时段内的状态特征发送至异常处理模块；在驾驶员的驾驶状态异常时进行异常处理。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
上述公式均是采集大量数据进行软件模拟得出且选取与真实值接近的一个公式，公式中的系数是由本领域技术人员根据实际情况进行设置；如：公式SJ=α1*MY+α2*DT+α3*ZZ；由本领域技术人员采集多组样本数据并对每一组样本数据设定对应的视觉系数；将设定的视觉系数和采集的样本数据代入公式，任意三个公式构成三元一次方程组，将计算得到的系数进行筛选并取均值，得到α1、α2以及α3的取值分别为4.62、3.37和2.92；
系数的大小是为了将各个参数进行量化得到的一个具体的数值，便于后续比较，关于系数的大小，取决于样本数据的多少及本领域技术人员对每一组样本数据初步设定对应的视觉系数；只要不影响参数与量化后数值的比例关系即可，如视觉系数与眯眼系数的数值成正比。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (7)
1.一种智能座舱驾驶员疲劳视觉辅助检测方法，其特征在于，包括以下步骤：
步骤一：对智能座舱的驾驶员进行视觉检测分析：生成检测周期，将检测周期分割为若干个检测时段，获取检测时段的视觉系数SJ并将检测时段的视觉系数SJ发送至疲劳分析模块；
步骤二：对智能座舱的驾驶员进行行为检测分析：将获取检测时段内的转向数据与打灯数据，转向数据为检测时段内车辆的转向次数并进行数值计算得到检测时段的行为系数，将检测时段的行为系数发送至疲劳分析模块；
步骤三：对智能座舱的驾驶员进行疲劳驾驶分析：将检测时段内的视觉系数SJ、行为系数分别与预设的视觉阈值SJmax、行为阈值进行比较并通过比较结果对驾驶员的状态特征进行标记，将驾驶员在检测时段内的状态特征发送至异常处理模块；
步骤四：在驾驶员的驾驶状态异常时进行异常处理。
2.根据权利要求1所述的一种智能座舱驾驶员疲劳视觉辅助检测方法，其特征在于，在步骤一中，检测时段的视觉系数SJ的获取过程包括：在检测时段内对智能座舱的驾驶员进行录像拍摄，将检测时段内拍摄得到的录像分解为若干张检测图像，通过图像处理技术对检测图像中驾驶员的人像参数进行采集，驾驶员的人像参数包括嘴张数据ZZ、眯眼数据MY以及低头数据DT并进行数值计算得到检测时段的视觉系数SJ。
3.根据权利要求2所述的一种智能座舱驾驶员疲劳视觉辅助检测方法，其特征在于，在步骤一中，张嘴数据ZZ的获取过程包括：通过人脸识别技术获取到检测图像中驾驶员的嘴巴张开面积并标记为嘴张值，将嘴张值与预设的嘴张阈值进行比较：若嘴张值小于嘴张阈值，则将对应的检测图像标记为闭嘴图像；若嘴张值大于等于嘴张阈值，则将对应的检测图像标记为张嘴图像，将张嘴图像的数量与检测图像的数量比值标记为张嘴数据ZZ；眯眼数据MY的获取过程包括：通过人脸识别技术获取到检测图像中驾驶员的眼球面积并标记为眯眼值，将眯眼值与预设的眯眼阈值进行比较：若眯眼值小于眯眼阈值，则将对应的检测图像标记为眯眼图像；若眯眼值大于等于眯眼阈值，则将对应的检测图像标记为睁眼图像；将眯眼图像的数量与检测图像的数量比值标记为眯眼数据MY；低头数据DT的获取过程包括：通过人脸识别技术获取到检测图像中驾驶员的面部面积并标记为面部值，将面部值与预设的面部阈值进行比较：若面部值小于面部阈值，则将对应的检测图像标记为低头图像；若面部值大于等于面部阈值，则将对应的检测图像标记为抬头图像；将低头图像的数量与检测图像的数量比值标记为低头数据DT。
4.根据权利要求3所述的一种智能座舱驾驶员疲劳视觉辅助检测方法，其特征在于，在步骤二中，转向数据为检测时段内车辆的转向次数，打灯数据的获取过程包括：将车辆转向的前L1秒至车辆转向时刻的时间段标记为分析时段，在分析时段内对驾驶员是否进行转向灯切换操作进行判定：若是，则将当前转向行为标记为正确行为；若否，则将当前转向行为标记为错误行为；将检测时段内的正确行为的次数标记为打灯数据；将打灯数据与转向数据的比值标记为检测时段的行为系数。
5.根据权利要求4所述的一种智能座舱驾驶员疲劳视觉辅助检测方法，其特征在于，在步骤三中，将检测时段内的视觉系数SJ、行为系数分别与预设的视觉阈值SJmax、行为阈值进行比较的具体过程包括：若行为系数大于等于行为阈值，则判定驾驶员的驾驶状态满足要求，同时将驾驶员在检测时段内的状态特征标记为正常驾驶；若视觉系数SJ小于视觉阈值SJmax且行为系数小于行为阈值，则判定驾驶员的驾驶状态不满足要求，同时将驾驶员在检测时段内的状态特征标记为习惯优化；若视觉系数SJ大于等于视觉阈值SJmax且行为系数小于行为阈值，则判定驾驶员的驾驶状态不满足要求，同时将驾驶员在检测时段内的状态特征标记为疲劳预警。
6.根据权利要求5所述的一种智能座舱驾驶员疲劳视觉辅助检测方法，其特征在于，在步骤四中，在驾驶员的驾驶状态异常时进行异常处理的具体过程包括：驾驶员的状态特征为正常驾驶时不做处理；驾驶员的状态特征为习惯优化时生成习惯规范提醒信号并将习惯规范提醒信号发送至驾驶员的手机终端；驾驶员的状态特征为疲劳预警时生成疲劳预警信号并将疲劳预警信号发送至智能座舱的处理器，智能座舱的处理器接收到疲劳预警信号后控制智能座舱的座椅产生振动、音乐播放器播放疲劳提醒语音以及车载显示屏显示休息提醒图案。
7.根据权利要求1-6任一项所述的一种智能座舱驾驶员疲劳视觉辅助检测方法，其特征在于，应用于智能座舱驾驶员疲劳视觉辅助检测系统当中，包括视觉检测模块、行为检测模块以及疲劳分析模块，视觉检测模块、疲劳分析模块以及行为检测模块依次进行通信连接，所述疲劳分析模块还通信连接有异常处理模块；
所述视觉检测模块用于对智能座舱的驾驶员进行视觉检测分析并得到检测时段的视觉系数SJ，将视觉系数SJ发送至疲劳分析模块；
所述行为检测模块用于对智能座舱的驾驶员进行行为检测分析并得到检测时段的行为系数，将行为系数发送至疲劳分析模块；
所述疲劳分析模块用于对智能座舱的驾驶员进行疲劳驾驶分析并对驾驶员的状态特征进行标记；
所述异常处理模块用于在驾驶员的驾驶状态不满足要求时进行异常处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310843114.1A CN116665193A (zh) | 2023-07-11 | 2023-07-11 | 一种智能座舱驾驶员疲劳视觉辅助检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310843114.1A CN116665193A (zh) | 2023-07-11 | 2023-07-11 | 一种智能座舱驾驶员疲劳视觉辅助检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116665193A true CN116665193A (zh) | 2023-08-29 |
Family
ID=87709911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310843114.1A Pending CN116665193A (zh) | 2023-07-11 | 2023-07-11 | 一种智能座舱驾驶员疲劳视觉辅助检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116665193A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113903017A (zh) * | 2021-11-12 | 2022-01-07 | 合众新能源汽车有限公司 | 一种疲劳驾驶检测方法和系统 |
| CN116012822A (zh) * | 2022-12-26 | 2023-04-25 | 无锡车联天下信息技术有限公司 | 一种疲劳驾驶的识别方法、装置及电子设备 |
-
2023
- 2023-07-11 CN CN202310843114.1A patent/CN116665193A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113903017A (zh) * | 2021-11-12 | 2022-01-07 | 合众新能源汽车有限公司 | 一种疲劳驾驶检测方法和系统 |
| CN116012822A (zh) * | 2022-12-26 | 2023-04-25 | 无锡车联天下信息技术有限公司 | 一种疲劳驾驶的识别方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108960065B (zh) | 一种基于视觉的驾驶行为检测方法 | |
| KR101078466B1 (ko) | 각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치, 경고 장치, 차량, 각성 상태 판정 모델 생성 방법, 각성 상태 판정 방법, 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체, 및 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체 | |
| CN105788176B (zh) | 疲劳驾驶监测提醒方法及系统 | |
| CN206757846U (zh) | 一种疲劳驾驶四维监测系统 | |
| CN113378771B (zh) | 驾驶员状态确定方法、装置、驾驶员监控系统、车辆 | |
| CN112016457A (zh) | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 | |
| CN112220480B (zh) | 基于毫米波雷达和相机融合的驾驶员状态检测系统及车辆 | |
| CN108926352B (zh) | 一种驾驶疲劳检测方法及系统 | |
| CN109875583B (zh) | 一种基于ar技术的疲劳驾驶检测系统及方法 | |
| CN110303884B (zh) | 一种防疲劳驾驶方法、系统及装置 | |
| CN115937830A (zh) | 一种面向特种车辆的驾驶员疲劳检测方法 | |
| CN113312958B (zh) | 一种基于司机状态的派单优先度调整方法及装置 | |
| CN114973214A (zh) | 一种基于人脸特征点的不安全驾驶行为识别方法 | |
| CN106683344A (zh) | 防疲劳驾驶系统及其工作方法 | |
| CN117789181A (zh) | 基于轻量级神经网络图像增强的驾驶疲劳检测方法与系统 | |
| CN112220481B (zh) | 一种驾驶员的驾驶状态检测方法及其安全驾驶方法 | |
| CN111160071A (zh) | 一种疲劳驾驶检测方法和装置 | |
| CN116665193A (zh) | 一种智能座舱驾驶员疲劳视觉辅助检测方法 | |
| Sakai et al. | A feature-segmentation model of short-term visual memory | |
| CN117409396A (zh) | 一种多模态情绪识别方法、系统、设备及介质 | |
| CN117132967A (zh) | 疲劳驾驶检测方法及系统、机器可读存储介质 | |
| CN112208544A (zh) | 一种驾驶员的驾驶能力判断方法、安全驾驶方法及其系统 | |
| WO2019218571A1 (zh) | 基于opencv技术的疲劳驾驶预警系统 | |
| JP7212251B2 (ja) | 眼の開閉検出装置、乗員監視装置 | |
| CN114492656A (zh) | 一种基于计算机视觉和传感器的疲劳度监测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |