CN113807126A - 一种疲劳驾驶检测方法及其系统、计算机设备、存储介质 - Google Patents
一种疲劳驾驶检测方法及其系统、计算机设备、存储介质 Download PDFInfo
- Publication number
- CN113807126A CN113807126A CN202010535115.6A CN202010535115A CN113807126A CN 113807126 A CN113807126 A CN 113807126A CN 202010535115 A CN202010535115 A CN 202010535115A CN 113807126 A CN113807126 A CN 113807126A
- Authority
- CN
- China
- Prior art keywords
- driver
- side face
- parameter
- eye movement
- movement characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 230000004424 eye movement Effects 0.000 claims abstract description 121
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims abstract description 19
- 210000000744 eyelid Anatomy 0.000 claims description 28
- 230000007246 mechanism Effects 0.000 claims description 27
- 239000013589 supplement Substances 0.000 claims description 24
- 230000002618 waking effect Effects 0.000 claims description 16
- 230000005059 dormancy Effects 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 15
- 230000004397 blinking Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 8
- 230000007958 sleep Effects 0.000 description 8
- 238000007619 statistical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010068932 Terminal insomnia Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000035080 detection of muscle activity involved in regulation of muscle adaptation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 230000004344 low myopia Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009978 visual deterioration Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/043—Identity of occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Ophthalmology & Optometry (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Vascular Medicine (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种疲劳驾驶检测方法及其系统、计算机设备、存储介质，所述方法包括：获取摄像模组采集的当前入座的驾驶员的侧脸图像；对所述侧脸图像进行人脸识别获得侧脸特征参数，并根据所述侧脸特征参数判定驾驶员ID库中是否存在与当前入座的驾驶员对应的ID档案；如果驾驶员ID库中存在与当前入座的驾驶员对应的ID档案，则在驾驶过程中，周期性获取摄像模组采集的驾驶员的当前周期的侧脸图像，并根据所述当前周期的侧脸图像获得驾驶员的当前周期的眼动特征参数，并根据所述当前周期的眼动特征参数与驾驶员正常眼动特征参数的对比结果判定驾驶员是否为疲劳驾驶。本发明能够解决驾驶员因存在个体差异，导致疲劳驾驶检测准确率不高的技术问题。
Description
技术领域
本发明涉及驾驶员疲劳驾驶检测技术领域，具体涉及一种疲劳驾驶检测方法及其系统、计算机设备、存储介质。
背景技术
随着社会的发展、科技的进步以及人民生活水平的提高,现代社会车辆的使用越来越频繁,交通安全也成了人们日常生活中不可忽视的一个严重社会问题,每年因交通事故死亡和受伤的人都相当多。交通事故统计分析表明,众多交通事故中,绝大多数是人为因素造成的,其中人为因素中又有大部分是由疲劳驾驶引起的，具体体现为驾驶员在驾驶车辆的过程中由于疲劳可能产生视力下降、注意力不集中、思维能力下降等各种现象,进而导致反应迟钝、不能及时判断、动作迟缓等问题。以上问题可以从驾驶员的大脑或者人眼状态来分析判断,及时提醒驾驶员当前的疲劳状态,从而减少驾驶员疲劳驾驶潜在的危害。
目前国内外有相应的疲劳驾驶的检测技术，大多通过检测驾驶员眼睛的开闭情况来判断驾驶员是否正在进行疲劳驾驶，例如通过获取驾驶员正面人脸图像，并对驾驶员正面人脸图像进行人脸识别，提取驾驶员眨眼频率、面部表情等行为特征来获取驾驶员眼睛的开闭情况。
在实现本发明的过程中，发明人发现上述疲劳驾驶检测技术至少存在以下技术问题：
由于驾驶员存在个体差异，例如，有些驾驶员佩戴有近视眼镜，在佩戴近视眼镜时，当有迎面光线照射过来时，驾驶员的眼镜镜片会迎面受光形成光斑、光点，在采集的驾驶员面部图像上，眼部特征无法正确被提取，因此存在干扰，导致疲劳识别结果准确性不高；又例如具有特殊情况的驾驶员，近视程度不高，但是会有眯眯眼状态的驾驶员，或者具有眼部缺陷的驾驶员，而采用同一套检测模型不能适用于所有的驾驶员，需要经过统一标准的识别算法进行检测，在应对这些具有特殊情况的驾驶员的疲劳驾驶检测时，系统会消耗较大的计算资源，检测识别效率慢，且识别精度达不到理想标准。
发明内容
本发明旨在提出一种疲劳驾驶检测方法及其系统、计算机设备、计算机可读存储介质，以解决驾驶员因存在个体差异，导致疲劳驾驶检测准确率不高的技术问题。
第一方面，本发明实施例提出一种疲劳驾驶检测方法，包括：
获取摄像模组采集的当前入座的驾驶员的侧脸图像；
对所述侧脸图像进行人脸识别获得侧脸特征参数，并根据所述侧脸特征参数判定驾驶员ID库中是否存在与当前入座的驾驶员对应的ID档案；其中所述ID档案包括驾驶员侧脸特征参数以及驾驶员清醒状态下的正常眼动特征参数；
如果驾驶员ID库中存在与当前入座的驾驶员对应的ID档案，则在驾驶过程中，周期性获取摄像模组采集的驾驶员的当前周期的侧脸图像，并根据所述当前周期的侧脸图像获得驾驶员的当前周期的眼动特征参数，并根据所述当前周期的眼动特征参数与驾驶员正常眼动特征参数的对比结果判定驾驶员是否为疲劳驾驶。
在一可选的实施方式中，所述方法还包括：
如果驾驶员ID库中不存在与当前入座的驾驶员对应的ID档案，则获取摄像模组采集的驾驶员开车时在正常清醒状态下的一个周期内的多帧侧脸图像，对所述多帧侧脸图像进行图像识别获得多个眼动特征参数，根据所述多个眼动特征参数获得当前入座的驾驶员的正常眼动特征参数，并根据当前入座的驾驶员的侧脸特征参数与驾驶员正常眼动特征参数建立当前入座的驾驶员对应的ID档案；
在建立与当前入座的驾驶员对应的ID档案之后，在驾驶过程中，周期性获取摄像模组采集的驾驶员的当前周期的侧脸图像，根据所述当前周期的侧脸图像获得驾驶员的当前周期的眼动特征参数，并根据所述当前周期的眼动特征参数与驾驶员正常眼动特征参数的对比结果判定驾驶员是否为疲劳驾驶。
在一可选的实施方式中，所述当前周期的眼动特征参数包括当前周期的上下眼睑之间的距离参数、眨眼时间参数、眼睛闭合时间比参数中的至少一种，所述驾驶员正常眼动特征参数包括正常上下眼睑之间的距离参数、正常眨眼时间参数、正常眼睛闭合时间比参数中的至少一种。
在一可选的实施方式中，所述方法还包括：
获取环境光识别传感器所采集的当前车内环境光的强度参数；
根据所述当前车内环境光的强度参数与预设强度阈值的比较结果，判定是否对驾驶员的侧脸进行柔光补光；
如果判定对驾驶员的侧脸进行柔光补光，则生成补光控制指令，并将补光控制指令发送至补光执行机构，以控制补光执行机构执行所述补光控制指令。
在一可选的实施方式中，所述方法还包括：
获取环境光识别传感器所采集的当前车内环境光的强度参数；
根据所述当前车内环境光的强度参数与预设强度阈值的比较结果，确定采用CMOS摄像组件或红外CCD摄像组件采集驾驶员的侧脸图像；所述摄像模组包括CMOS摄像组件和红外CCD摄像组件；
如果确定采用CMOS摄像组件采集驾驶员的侧脸图像，则生成第一唤醒指令和第一休眠指令，并将第一唤醒指令发送至CMOS摄像组件，以控制CMOS摄像组件执行所述第一唤醒指令，并将第一休眠指令发送至红外CCD摄像组件，以控制红外CCD摄像组件执行所述第一休眠指令；
如果确定采用红外CCD摄像组件采集驾驶员的侧脸图像，则生成第二唤醒指令和第二休眠指令，并将第二唤醒指令发送至红外CCD摄像组件，以控制红外CCD摄像组件执行所述第二唤醒指令，并将第二休眠指令发送至CMOS摄像组件，以控制CMOS摄像组件执行所述第二休眠指令。
在一可选的实施方式中，所述方法还包括：
获取摄像模组的摄像头光轴所在第一平面的参数信息；
对所述侧脸图像进行图像识别获得驾驶员的侧脸轮廓所在第二平面的参数信息；
根据所述第一平面的参数信息和所述第二平面的参数信息判定所述第一平面与所述第二平面是否垂直，若所述第一平面和所述第二平面不垂直，则镜头调整控制指令，并将所述镜头调整控制指令发送至镜头调整驱动机构，以控制所述镜头调整驱动机构驱动所述摄像模组移动，以使得摄像模组的摄像头光轴所在第一平面与驾驶员的侧脸轮廓所在第二平面垂直。
第二方面，本发明实施例提出一种疲劳驾驶检测系统，包括：
图像获取单元，用于获取摄像模组采集的当前入座的驾驶员的侧脸图像；
驾驶员判定单元，用于对所述侧脸图像进行人脸识别获得侧脸特征参数，并根据所述侧脸特征参数判定驾驶员ID库中是否存在与当前入座的驾驶员对应的ID档案；其中所述ID档案包括驾驶员侧脸特征参数以及驾驶员清醒状态下的正常眼动特征参数；以及
疲劳驾驶判定单元，用于当驾驶员ID库中存在与当前入座的驾驶员对应的ID档案时，在驾驶过程中，周期性获取摄像模组采集的驾驶员的当前周期的侧脸图像，并根据所述当前周期的侧脸图像获得驾驶员的当前周期的眼动特征参数，并根据所述当前周期的眼动特征参数与驾驶员正常眼动特征参数的对比结果判定驾驶员是否为疲劳驾驶。
在一可选的实施方式中，所述系统还包括ID档案建立单元，所述档案建立单元用于当驾驶员ID库中不存在与当前入座的驾驶员对应的ID档案时，获取摄像模组采集的驾驶员开车时在正常清醒状态下的一个周期内的多帧侧脸图像，对所述多帧侧脸图像进行图像识别获得多个眼动特征参数，根据所述多个眼动特征参数获得当前入座的驾驶员的正常眼动特征参数，并根据当前入座的驾驶员的侧脸特征参数与驾驶员正常眼动特征参数建立当前入座的驾驶员对应的ID档案；
其中，所述疲劳驾驶判定单元还用于在建立与当前入座的驾驶员对应的ID档案之后，在驾驶过程中，周期性获取摄像模组采集的驾驶员的当前周期的侧脸图像，根据所述当前周期的侧脸图像获得驾驶员的当前周期的眼动特征参数，并根据所述当前周期的眼动特征参数与驾驶员正常眼动特征参数的对比结果判定驾驶员是否为疲劳驾驶。
在一可选的实施方式中，所述当前周期的眼动特征参数包括当前周期的上下眼睑之间的距离参数、眨眼时间参数、眼睛闭合时间比参数中的至少一种，所述驾驶员正常眼动特征参数包括正常上下眼睑之间的距离参数、正常眨眼时间参数、正常眼睛闭合时间比参数中的至少一种。
在一可选的实施方式中，所述系统还包括：
环境光强度获取单元，用于获取环境光识别传感器所采集的当前车内环境光的强度参数；
补光判定单元，用于根据所述当前车内环境光的强度参数与预设强度阈值的比较结果，判定是否对驾驶员的侧脸进行柔光补光；以及
补光控制单元，用于如果判定对驾驶员的侧脸进行柔光补光，则生成补光控制指令，并将补光控制指令发送至补光执行机构以控制补光执行机构执行所述补光控制指令。
在一可选的实施方式中，所述系统还包括：
环境光强度获取单元，用于获取环境光识别传感器所采集的当前车内环境光的强度参数；
摄像模式判定单元，用于根据所述当前车内环境光的强度参数与预设强度阈值的比较结果，确定采用CMOS摄像组件或红外CCD摄像组件采集驾驶员的侧脸图像；所述摄像模组包括CMOS摄像组件和红外CCD摄像组件；
第一摄像控制单元，用于当确定采用CMOS摄像组件采集驾驶员的侧脸图像时，生成第一唤醒指令和第一休眠指令，并将第一唤醒指令发送至CMOS摄像组件，以控制CMOS摄像组件执行所述第一唤醒指令，并将第一休眠指令发送至红外CCD摄像组件，以控制红外CCD摄像组件执行所述第一休眠指令；
第二摄像控制单元，用于当确定采用红外CCD摄像组件采集驾驶员的侧脸图像时，生成第二唤醒指令和第二休眠指令，并将第二唤醒指令发送至红外CCD摄像组件，以控制红外CCD摄像组件执行所述第二唤醒指令，并将第二休眠指令发送至CMOS摄像组件，以控制CMOS摄像组件执行所述第二休眠指令。
在一可选的实施方式中，所述系统还包括：
第一平面信息获取单元，用于获取摄像模组的摄像头光轴所在第一平面的参数信息；
第二平面信息获取单元，用于对所述侧脸图像进行图像识别获得驾驶员的侧脸轮廓所在第二平面的参数信息；以及
镜头调整控制单元，用于根据所述第一平面的参数信息和所述第二平面的参数信息判定所述第一平面与所述第二平面是否垂直，若所述第一平面和所述第二平面不垂直，则镜头调整控制指令，并将所述镜头调整控制指令发送至镜头调整驱动机构，以控制所述镜头调整驱动机构驱动所述摄像模组移动，以使得摄像模组的摄像头光轴所在第一平面与驾驶员的侧脸轮廓所在第二平面垂直。第三方面，本发明实施例提出一种计算机设备，包括：根据第二方面实施例所述的疲劳驾驶检测系统；或者，存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行根据第一方面实施例所述疲劳驾驶检测方法的步骤。
第四方面，本发明实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据第一方面实施例所述疲劳驾驶检测方法的步骤。
以上疲劳驾驶检测方法及其系统、计算机设备、计算机可读存储介质至少具有如下有益效果：
当驾驶员入座之后，获取驾驶员的侧脸图像(左侧脸或右侧脸)，对所述侧脸图像进行人脸识别获得侧脸特征参数，并根据所述侧脸特征参数判定驾驶员ID库中是否存在与当前入座的驾驶员对应的ID档案；如果驾驶员ID库中存在与当前入座的驾驶员对应的ID档案，则在驾驶过程中，周期性获取驾驶员的当前周期的侧脸图像，并根据所述当前周期的侧脸图像获得驾驶员的当前周期的眼动特征参数，最后根据所述当前周期的眼动特征参数与ID档案中记录的驾驶员正常眼动特征参数的对比结果判定驾驶员是否为疲劳驾驶。可以理解的是，当以驾驶员的侧脸图像作为检测驾驶员疲劳驾驶的判断数据时，由于摄像模组采集侧脸图像不会受到驾驶员的眼镜镜片迎面受光形成光斑、光点的影响，因此，可以精确地提取驾驶员的眼动特征参数，并根据眼动特征参数进行驾驶员疲劳驾驶检测，能够避免因为驾驶员佩戴眼镜的关系而导致疲劳驾驶检测准确率不高。此外，对应不同的驾驶员，建立了不同的ID档案，所述ID档案包括驾驶员侧脸特征参数以及驾驶员清醒状态下的正常眼动特征参数，也就是说，面对不同的驾驶员，作为参考的正常眼动特征参数是不同的，从而进一步更好地解决因个体差异而导致疲劳驾驶检测准确率不高的技术问题。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而得以体现。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中一种疲劳驾驶检测方法的流程示意图。
图2为本发明另一实施例中一种疲劳驾驶检测方法的流程示意图。
图3为本发明一实施例中进行柔光补光的流程示意图。
图4为本发明一实施例中进行摄像组件控制的流程示意图。
图5为本发明一实施例中一种疲劳驾驶检测系统的框架示意图。
图6为本发明另一实施例中一种疲劳驾驶检测系统的框架示意图。
图7为本发明一实施例中柔光补光控制模块的框架示意图。
图8为本发明一实施例中摄像组件控制模块的框架示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨。
本发明一实施例提出一种疲劳驾驶检测方法，图1为本实施例一种疲劳驾驶检测方法的流程图，参阅图1，本实施例方法包括步骤S11-S13；
步骤S11、获取摄像模组采集的当前入座的驾驶员的侧脸图像；
具体而言，所述侧脸图像指的是驾驶员左侧脸图像或者右侧脸图像，不同国家/地区可能采用不同的行驶规则，例如中国是采用靠右行驶的行驶规则，又例如英国是采用靠左行驶的行驶规则。其中，当采用靠右行驶的行驶规则时，驾驶员坐在前排座椅的左边座椅，此时，为了便于摄像模组的安装和侧脸图像采集，则可以将摄像模组安装于靠近前排座椅的左边座椅的位置，摄像模组采集驾驶员的左侧脸图像；其中，当采用靠左行驶的行驶规则时，驾驶员坐在前排座椅的右边座椅，此时，为了便于摄像模组的安装和侧脸图像采集，则可以将摄像模组安装于靠近前排座椅的右边座椅的位置，摄像模组采集驾驶员的右侧脸图像。
可以理解的是，相对于其他采用布置在驾驶员正前方的摄像头来采集驾驶员的正脸图像的技术而言，在本实施例中，当驾驶员配戴眼镜时，摄像头采集的驾驶员的侧脸图像，不会受到驾驶员眼镜镜片迎面受光形成光斑、光点的影响。
步骤S12、对所述侧脸图像进行人脸识别获得侧脸特征参数，并根据所述侧脸特征参数判定驾驶员ID库中是否存在与当前入座的驾驶员对应的ID档案；其中所述ID档案包括驾驶员侧脸特征参数以及驾驶员清醒状态下的正常眼动特征参数；
具体而言，本实施例对应不同的驾驶员，建立了不同的ID档案，驾驶员ID库中存储有多个驾驶员ID档案，所述ID档案包括驾驶员侧脸特征参数以及驾驶员清醒状态下的正常眼动特征参数，也就是说，面对不同的驾驶员，作为对比参考的正常眼动特征参数是不同的。
在步骤S12中，具体将人脸识别得到的当前入座的驾驶员的侧脸特征参数，分别与驾驶员ID库中的多个ID档案的驾驶员侧脸特征参数一一进行对比，从而判定驾驶员ID库中是否存在与当前入座的驾驶员对应的ID档案。其中，所述侧脸特征参数指的是侧脸整体的特征参数。
其中，所述正常眼动特征参数优选但不限于为正常睁眼时上下眼睑之间的距离参数、正常眨眼时间参数、正常眼睛闭合时间比参数(Per-clos)中的至少一种，当然，眼动特征还可以是其他关于眼睛的特征，本实施例中不进行具体限定。
步骤S13、如果驾驶员ID库中存在与当前入座的驾驶员对应的ID档案，则在驾驶过程中，周期性获取摄像模组采集的驾驶员的当前周期的侧脸图像，并根据所述当前周期的侧脸图像获得驾驶员的当前周期的眼动特征参数，并根据所述当前周期的眼动特征参数与驾驶员正常眼动特征参数的对比结果判定驾驶员是否为疲劳驾驶。
具体而言，当步骤S12判定驾驶员ID库中存在与当前入座的驾驶员对应的ID档案，则获取对应ID档案中的驾驶员正常眼动特征参数，并将其作为判定驾驶员是否为疲劳驾驶的参考参数。
具体地，在汽车驾驶过程中，周期性地获取摄像模组采集的驾驶员的当前周期的侧脸图像，并进一步获得对应的当前周期的眼动特征参数，此处的周期时间可以自由设定，最后将当前周期的眼动特征参数与驾驶员正常眼动特征参数进行对比，如果当前周期的眼动特征参数在驾驶员正常眼动特征参数的范围之内，则判定驾驶员疲劳驾驶，否则，判定驾驶员没有疲劳驾驶。在检测到疲劳驾驶时，面向车载助手响应唤醒预警和自动驾驶介入。
需说明的是，图像的特征提取为图像识别领域广泛应用的技术手段，图像的特征提取的原理本质上在于利用图像上的像素点的像素值不同，来确定检测目标，在本实施例中检测目标即为眼睛。因此，基于本实施例所采集得到的侧脸图像，本领域技术人员所熟知如何进行眼动特征的提取，因此，本实施例中不对眼动特征提取的具体步骤进行限定，本实施例可以适用结合任一种眼动特征提取的技术手段，应当理解为，其均在本实施例的保护范围之内。
还需说明的是，本实施例的主旨在于将驾驶员的侧脸图像作为判定疲劳驾驶检测的判定依据，无论是侧脸图像还是正脸图像，所提取出来的特征数据均为眼动特征，而基于眼动特征进行疲劳驾驶检测的技术手段在疲劳驾驶检测领域有广泛应用，因此，基于本实施例所提取的眼动特征参数，本领域技术人员所熟知如何进行疲劳驾驶检测，因此，本实施例中不对疲劳驾驶检测的具体步骤进行限定，本实施例可以适用结合任一种基于眼动特征进行疲劳驾驶检测的技术手段，例如是PERCLOS算法，其中，PERCLOS算法也包括了特征提取的技术手段，应当理解为，其均在本实施例的保护范围之内。
基于上述实施例内容描述可知，本实施例以驾驶员的侧脸图像作为检测驾驶员疲劳驾驶的判断数据，由于摄像模组采集侧脸图像不会受到驾驶员的眼镜镜片迎面受光形成光斑、光点的影响，因此，可以精确地提取驾驶员的眼动特征参数，并根据眼动特征参数进行驾驶员疲劳驾驶检测，能够避免因为驾驶员佩戴眼镜的关系而导致疲劳驾驶检测准确率不高。
此外，对应不同的驾驶员，建立了不同的ID档案，所述ID档案包括驾驶员侧脸特征参数以及驾驶员清醒状态下的正常眼动特征参数，也就是说，面对不同的驾驶员，作为参考的正常眼动特征参数是不同的，从而进一步更好地解决因个体差异而导致疲劳驾驶检测准确率不高的技术问题。
在一些实施例中，参阅图2，所述方法还包括步骤S14-S15：
步骤S14、如果驾驶员ID库中不存在与当前入座的驾驶员对应的ID档案，则获取摄像模组采集的驾驶员开车时在正常清醒状态下的一个周期内的多帧侧脸图像，对所述多帧侧脸图像进行图像识别获得多个眼动特征参数，根据所述多个眼动特征参数获得当前入座的驾驶员的正常眼动特征参数，并根据当前入座的驾驶员的侧脸特征参数与驾驶员正常眼动特征参数建立当前入座的驾驶员对应的ID档案；
具体而言，步骤中当驾驶员ID库中不存在与当前入座的驾驶员对应的ID档案时，则选择建立一个新的驾驶员ID档案，以便于后续驾驶员驾驶过程中对驾驶员进行疲劳驾驶检测。其中，新的驾驶员ID档案同样包括侧脸特征参数与驾驶员正常眼动特征参数，侧脸特征参数为步骤S12中获取，根据正常清醒状态下的一个周期内的多帧侧脸图像可以获得多个眼动特征参数样本，即为驾驶员处于清醒状态下的正常眼动特征参数样本，因此基于该多个正常眼动特征参数样本，利用预设模型进行训练，可以获得对应的驾驶员正常眼动特征参数。所述利用预设模型进行训练的原理为：基于多个正常眼动特征参数样本进行统计分析得出正常眼动特征参数范围。
其中，深度学习神经网络广泛应用于疲劳驾驶的模型训练和检测，包括根据多个样本训练得到正常睁眼时上下眼睑之间的距离参数、正常眨眼时间参数、正常眼睛闭合时间比参数，本实施例中的预设模型可以具体采用深度学习神经网络。
可以理解的，获得的样本参数为上下眼睑之间的距离参数、眨眼时间参数、眼睛闭合时间比参数，这些参数与图像为侧脸或正脸无关，其表征的是数值参数，因此，在进行训练时，也可以沿用利用正脸图像进行疲劳检测相关技术的训练模型进行训练。需说明的是，正常清醒状态的眼动特征参数训练不是本实施例方法的主旨，因此，此处不对训练模型或训练过程进行详述。
示例性地，一般而言，开车时最开始的一个状态驾驶员理应处于正常清醒状态，因此，所述驾驶员开车时在正常清醒状态下的一个周期，可以是车辆行驶预设时间之后，例如5分钟。又示例性地，一般而言，驾驶员开车时在正常清醒状态下，车辆的行驶应当是比较稳定的，因此，可以通过获取车辆的状态信息，根据车辆的状态信息来判断车辆行驶是否处于稳定状态，从而确定驾驶员是否处于正常清醒状态。当然，还可以结合其他用于判定驾驶员开车时是否处于正常清醒状态的技术手段，本实施例中不进行具体限定，应当理解为，其均在本发明的保护范围之内。
其中，一个周期的步长可以根据具体技术要求(例如数据的处理时间)设定，本实施例中不进行具体限定。
步骤S15、在建立与当前入座的驾驶员对应的ID档案之后，在驾驶过程中，周期性获取摄像模组采集的驾驶员的当前周期的侧脸图像，根据所述当前周期的侧脸图像获得驾驶员的当前周期的眼动特征参数，并根据所述当前周期的眼动特征参数与驾驶员正常眼动特征参数的对比结果判定驾驶员是否为疲劳驾驶。
在一些实施例中，所述当前周期的眼动特征参数包括当前周期的上下眼睑之间的距离参数、眨眼时间参数、眼睛闭合时间比参数中的至少一种，所述驾驶员正常眼动特征参数包括正常上下眼睑之间的距离参数、正常眨眼时间参数、正常眼睛闭合时间比参数中的至少一种。
可以理解的是，每一周期的眼动特征参数为每一周期的多帧侧脸图像所提取的多个眼动特征参数。
其中，以上下眼睑之间的距离参数为例，由于驾驶员疲劳驾驶时，眼睛睁开的开度会变小，常见的有眯眼状态，因此，可以对当前周期的上下眼睑之间的距离参数进行统计分析得到一个上下眼睑之间的距离参数，统计分析的方式例如为聚类分析、求均值等等，设定当驾驶员该统计分析得到的上下眼睑之间的距离参数不在驾驶员正常眼动特征参数的范围内时，判定驾驶员为疲劳驾驶。
其中，以眨眼时间参数为例，由于驾驶员疲劳驾驶时，驾驶员可能眨眼频率会增大，即眨眼时间间隔变小，因此，可以对当前周期的上下眼睑之间的距离参数进行统计分析得到一个眨眼频率参数，设定当驾驶员该统计分析得到的眨眼频率参数不在驾驶员正常眨眼频率参数的范围内，或者驾驶员当前眨眼时间间隔参数不在驾驶员正常眨眼时间间隔参数的范围内时，判定驾驶员为疲劳驾驶。
其中，以眼睛闭合时间比参数为例，由于驾驶员疲劳驾驶时，驾驶员可能会长时间闭上眼睛，即进入瞌睡状态，因此，可以对当前周期的闭眼时间参数和睁眼时间参数进行统计分析得到当前周期的眼睛闭合时间比参数，设定当驾驶员当前周期的眼睛闭合时间比参数不在驾驶员正常眼睛闭合时间比参数的范围内时，判定驾驶员为疲劳驾驶。
可以理解的是，可以选择上下眼睑之间的距离参数、眨眼时间参数、眼睛闭合时间比参数中的一种或多种参数作为判定驾驶员为疲劳驾驶的依据，本实施例中不进行具体限定。需说明的是，此处只是举例说明，疲劳驾驶的判定具体地可以结合驾驶员在疲劳状态下所表现出来的眼睛状态特征，来进行具体的限定，其均为基于本实施例发明构思结合人脸图像识别技术所容易作出的设置，应理解为均在本发明的保护范围之内，因此此处不进行赘述。
在一些实施例中，参阅图3，所述方法还包括步骤S21-S23：
步骤S21、获取环境光识别传感器所采集的当前车内环境光的强度参数；
具体而言，所述环境光识别传感器可以设置在车内空间。
步骤S22、根据所述当前车内环境光的强度参数与预设强度阈值的比较结果，判定是否对驾驶员的侧脸进行柔光补光；
具体而言，本实施例中采用CMOS摄像组件进行采集驾驶员的左脸图像，当当前车内环境光的强度参数不满足CMOS摄像组件具有较好的成像质量时，判定对驾驶员的侧脸进行柔光补光，为CMOS摄像组件提供光线增益，以获取成像质量较佳的图像。
步骤S23、如果判定对驾驶员的侧脸进行柔光补光，则生成补光控制指令，并将补光控制指令发送至补光执行机构，以控制补光执行机构执行所述补光控制指令。
具体而言，所述补光执行机构为柔光补光灯，柔光补光灯可以设计成条状的，装配在驾驶位左侧在对应人体头部左脸一侧的车体上即可(位于车内空间)。柔光补光灯的光线为漫反射的柔光，不刺眼，起到在光线效果不佳的条件下为驾驶者的左侧脸部补光的作用。漫反射的柔光在提供补光作用的前提下，可以防止对驾驶者造成刺眼干扰。
更具体地，例如当前车内环境光的强度参数小于第一预设强度阈值，大于第二预设强度阈值时，以第一亮度控制柔光补光灯点亮，又例如当前车内环境光的强度参数小于第二预设强度阈值时，以第二亮度控制柔光补光灯点亮。以上仅为示例说明，基于本实施例的内容，本领域技术人员熟知可以根据实际技术要求进行调整，本实施例中不进行具体限定，应当理解为，其均在本实施例的保护范围之内。
在一些实施例中，参阅图4，所述方法还包括步骤S31-S34：
步骤S31、获取环境光识别传感器所采集的当前车内环境光的强度参数；
具体而言，所述环境光识别传感器可以设置在车内空间。
步骤S32、根据所述当前车内环境光的强度参数与预设强度阈值的比较结果，确定采用CMOS摄像组件或红外CCD摄像组件采集驾驶员的侧脸图像；所述摄像模组包括CMOS摄像组件和红外CCD摄像组件；
具体而言，本实施例中采用CMOS摄像组件或红外CCD摄像组件进行采集驾驶员的左脸图像。
其中，当当前车内环境光的强度参数不满足CMOS摄像组件具有较好的成像质量时，判定采用红外CCD摄像组件采集驾驶员的侧脸图像，以获取成像质量较佳的图像，此时CMOS摄像组件进入休眠。
其中，当当前车内环境光的强度参数满足CMOS摄像组件具有较好的成像质量时，判定采用CMOS摄像组件采集驾驶员的侧脸图像，以获取成像质量较佳的图像，此时红外CCD摄像组件进入休眠。
步骤S33、如果确定采用CMOS摄像组件采集驾驶员的侧脸图像，则生成第一唤醒指令和第一休眠指令，并将第一唤醒指令发送至CMOS摄像组件，以控制CMOS摄像组件执行所述第一唤醒指令，并将第一休眠指令发送至红外CCD摄像组件，以控制红外CCD摄像组件执行所述第一休眠指令；
步骤S34、如果确定采用红外CCD摄像组件采集驾驶员的侧脸图像，则生成第二唤醒指令和第二休眠指令，并将第二唤醒指令发送至红外CCD摄像组件，以控制红外CCD摄像组件执行所述第二唤醒指令，并将第二休眠指令发送至CMOS摄像组件，以控制CMOS摄像组件执行所述第二休眠指令。
可以理解的是，满足CMOS摄像组件具有较好的成像质量所对应的预设强度阈值范围可以根据具体技术要求进行设定，其与具体选用的特征提取方法所具体要求的图像质量有关，本实施例中不进行具体限定，应当理解为，其均在本实施例的保护范围之内。
在一些实施例中，所述方法还包括步骤S41-S43：
步骤S41、获取摄像模组的摄像头光轴所在第一平面的参数信息；
步骤S42、对所述侧脸图像进行图像识别获得驾驶员的侧脸轮廓所在第二平面的参数信息；
步骤S43、根据所述第一平面的参数信息和所述第二平面的参数信息判定所述第一平面与所述第二平面是否垂直，若所述第一平面和所述第二平面不垂直，则镜头调整控制指令，并将所述镜头调整控制指令发送至镜头调整驱动机构，以控制所述镜头调整驱动机构驱动所述摄像模组移动，以使得摄像模组的摄像头光轴所在第一平面与驾驶员的侧脸轮廓所在第二平面垂直。
具体而言，由于不同驾驶员的身高、坐姿习惯存在差异，因此，为了便于调整摄像模组的位置，以使得摄像模组能够完整地拍摄到驾驶员的侧脸图像，可以设置一用于调整摄像模组位置的镜头调整机构。示例性地，采用驱动电机作为镜头调整机构的驱动元件，则本实施例中可以根据所述摄像模组的摄像头光轴所在第一平面与驾驶员的侧脸轮廓所在第二平面之间的关系控制所述驱动电机输出的角位移，使得在汽车驾驶过程中，摄像头的光轴所在平面始终与驾驶员的侧脸轮廓所在第二平面垂直。
本发明另一实施例提出一种疲劳驾驶检测系统，图5为本实施例一种疲劳驾驶检测系统的框架示意图，参阅图5，本实施例系统包括：
图像获取单元11，用于获取摄像模组100采集的当前入座的驾驶员的侧脸图像；
驾驶员判定单元12，用于对所述侧脸图像进行人脸识别获得侧脸特征参数，并根据所述侧脸特征参数判定驾驶员ID库中是否存在与当前入座的驾驶员对应的ID档案；其中所述ID档案包括驾驶员侧脸特征参数以及驾驶员清醒状态下的正常眼动特征参数；以及
疲劳驾驶判定单元13，用于当驾驶员ID库中存在与当前入座的驾驶员对应的ID档案时，在驾驶过程中，周期性获取摄像模组100采集的驾驶员的当前周期的侧脸图像，并根据所述当前周期的侧脸图像获得驾驶员的当前周期的眼动特征参数，并根据所述当前周期的眼动特征参数与驾驶员正常眼动特征参数的对比结果判定驾驶员是否为疲劳驾驶。
在一些实施例中，参阅图6，所述系统还包括ID档案建立单元14，所述档案建立单元用于当驾驶员ID库中不存在与当前入座的驾驶员对应的ID档案时，获取摄像模组100采集的驾驶员开车时在正常清醒状态下的一个周期内的多帧侧脸图像，对所述多帧侧脸图像进行图像识别获得多个眼动特征参数，根据所述多个眼动特征参数获得当前入座的驾驶员的正常眼动特征参数，并根据当前入座的驾驶员的侧脸特征参数与驾驶员正常眼动特征参数建立当前入座的驾驶员对应的ID档案；
其中，所述疲劳驾驶判定单元13还用于在建立与当前入座的驾驶员对应的ID档案之后，在驾驶过程中，周期性获取摄像模组100采集的驾驶员的当前周期的侧脸图像，根据所述当前周期的侧脸图像获得驾驶员的当前周期的眼动特征参数，并根据所述当前周期的眼动特征参数与驾驶员正常眼动特征参数的对比结果判定驾驶员是否为疲劳驾驶。
在一些实施例中，所述ID档案建立单元14具体包括：
驾驶员特征参数获取单元，用于获取摄像模组100采集的当前入座的驾驶员的一个周期内的多帧侧脸图像，对所述多帧侧脸图像进行图像识别获得多个眼动特征参数；
样本匹配单元，用于将所述多个眼动特征参数与个体疲劳检测样本库中的多个个体疲劳检测样本进行一一匹配，确定个体疲劳检测样本库中与所述多个眼动特征参数匹配度最高的个体疲劳检测样本；
正常参数获取单元，用于获取所述匹配度最高的个体疲劳检测样本所对应的驾驶员正常眼动特征参数，将其作为当前入座的驾驶员的正常眼动特征参数；以及
档案生成单元，用于根据当前入座的驾驶员的侧脸特征参数与驾驶员正常眼动特征参数生成当前入座的驾驶员对应的ID档案。
在一些实施例中，所述系统还包括柔光补光控制模块，参阅图7，所述柔光补光控制模块包括：
环境光强度获取单元21，用于获取环境光识别传感器所采集的当前车内环境光的强度参数；
补光判定单元22，用于根据所述当前车内环境光的强度参数与预设强度阈值的比较结果，判定是否对驾驶员的侧脸进行柔光补光；以及
补光控制单元23，用于如果判定对驾驶员的侧脸进行柔光补光，则生成补光控制指令，并将补光控制指令发送至补光执行机构200以控制补光执行机构200执行所述补光控制指令。
在一些实施例中，所述系统还包括摄像组件控制模块，参阅图8，所述摄像组件控制模块包括：
环境光强度获取单元31，用于获取环境光识别传感器所采集的当前车内环境光的强度参数；
摄像模式判定单元32，用于根据所述当前车内环境光的强度参数与预设强度阈值的比较结果，确定采用CMOS摄像组件101或红外CCD摄像组件102采集驾驶员的侧脸图像；所述摄像模组100包括CMOS摄像组件101和红外CCD摄像组件102；
第一摄像控制单元33，用于当确定采用CMOS摄像组件101采集驾驶员的侧脸图像时，生成第一唤醒指令和第一休眠指令，并将第一唤醒指令发送至CMOS摄像组件101，以控制CMOS摄像组件101执行所述第一唤醒指令，并将第一休眠指令发送至红外CCD摄像组件102，以控制红外CCD摄像组件102执行所述第一休眠指令；
第二摄像控制单元34，用于当确定采用红外CCD摄像组件102采集驾驶员的侧脸图像时，生成第二唤醒指令和第二休眠指令，并将第二唤醒指令发送至红外CCD摄像组件102，以控制红外CCD摄像组件102执行所述第二唤醒指令，并将第二休眠指令发送至CMOS摄像组件101，以控制CMOS摄像组件101执行所述第二休眠指令。
在一些实施例中，所述系统还包括：
第一平面信息获取单元，用于获取摄像模组的摄像头光轴所在第一平面的参数信息；
第二平面信息获取单元，用于对所述侧脸图像进行图像识别获得驾驶员的侧脸轮廓所在第二平面的参数信息；以及
镜头调整控制单元，用于根据所述第一平面的参数信息和所述第二平面的参数信息判定所述第一平面与所述第二平面是否垂直，若所述第一平面和所述第二平面不垂直，则镜头调整控制指令，并将所述镜头调整控制指令发送至镜头调整驱动机构，以控制所述镜头调整驱动机构驱动所述摄像模组移动，以使得摄像模组的摄像头光轴所在第一平面与驾驶员的侧脸轮廓所在第二平面垂直。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
需说明的是，上述实施例所述系统与上述实施例所述方法对应，因此，上述实施例所述系统未详述部分可以参阅上述实施例所述方法的内容得到，此处不再赘述。
并且，上述实施例所述疲劳驾驶检测系统如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
本发明另一实施例还提出一种计算机设备，包括：根据上述实施例所述的疲劳驾驶检测系统；或者，存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行根据上述实施例所述疲劳驾驶检测方法的步骤。
当然，所述计算机设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备还可以包括其他用于实现设备功能的部件，在此不做赘述。
示例性的，所述计算机程序可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述计算机设备中的执行过程。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机设备的控制中心，利用各种接口和线路连接整个所述计算机设备的各个部分。
所述存储器可用于存储所述计算机程序和/或单元，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或单元，以及调用存储在存储器内的数据，实现所述计算机设备的各种功能。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明另一实施例还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例所述疲劳驾驶检测方法的步骤。
具体而言，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (14)
1.一种疲劳驾驶检测方法，其特征在于，包括：
获取摄像模组采集的当前入座的驾驶员的侧脸图像；
对所述侧脸图像进行人脸识别获得侧脸特征参数，并根据所述侧脸特征参数判定驾驶员ID库中是否存在与当前入座的驾驶员对应的ID档案；其中所述ID档案包括驾驶员侧脸特征参数以及驾驶员清醒状态下的正常眼动特征参数；
如果驾驶员ID库中存在与当前入座的驾驶员对应的ID档案，则在驾驶过程中，周期性获取摄像模组采集的驾驶员的当前周期的侧脸图像，并根据所述当前周期的侧脸图像获得驾驶员的当前周期的眼动特征参数，并根据所述当前周期的眼动特征参数与驾驶员正常眼动特征参数的对比结果判定驾驶员是否为疲劳驾驶。
2.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述方法还包括：
如果驾驶员ID库中不存在与当前入座的驾驶员对应的ID档案，则获取摄像模组采集的驾驶员开车时在正常清醒状态下的一个周期内的多帧侧脸图像，对所述多帧侧脸图像进行图像识别获得多个眼动特征参数，根据所述多个眼动特征参数获得当前入座的驾驶员的正常眼动特征参数，并根据当前入座的驾驶员的侧脸特征参数与驾驶员正常眼动特征参数建立当前入座的驾驶员对应的ID档案；
在建立与当前入座的驾驶员对应的ID档案之后，在驾驶过程中，周期性获取摄像模组采集的驾驶员的当前周期的侧脸图像，根据所述当前周期的侧脸图像获得驾驶员的当前周期的眼动特征参数，并根据所述当前周期的眼动特征参数与驾驶员正常眼动特征参数的对比结果判定驾驶员是否为疲劳驾驶。
3.根据权利要求2所述的疲劳驾驶检测方法，其特征在于，所述当前周期的眼动特征参数包括当前周期的上下眼睑之间的距离参数、眨眼时间参数、眼睛闭合时间比参数中的至少一种，所述驾驶员正常眼动特征参数包括正常上下眼睑之间的距离参数、正常眨眼时间参数、正常眼睛闭合时间比参数中的至少一种。
4.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述方法还包括：
获取环境光识别传感器所采集的当前车内环境光的强度参数；
根据所述当前车内环境光的强度参数与预设强度阈值的比较结果，判定是否对驾驶员的侧脸进行柔光补光；
如果判定对驾驶员的侧脸进行柔光补光，则生成补光控制指令，并将补光控制指令发送至补光执行机构，以控制补光执行机构执行所述补光控制指令。
5.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述方法还包括：
获取环境光识别传感器所采集的当前车内环境光的强度参数；
根据所述当前车内环境光的强度参数与预设强度阈值的比较结果，确定采用CMOS摄像组件或红外CCD摄像组件采集驾驶员的侧脸图像；所述摄像模组包括CMOS摄像组件和红外CCD摄像组件；
如果确定采用CMOS摄像组件采集驾驶员的侧脸图像，则生成第一唤醒指令和第一休眠指令，并将第一唤醒指令发送至CMOS摄像组件，以控制CMOS摄像组件执行所述第一唤醒指令，并将第一休眠指令发送至红外CCD摄像组件，以控制红外CCD摄像组件执行所述第一休眠指令；
如果确定采用红外CCD摄像组件采集驾驶员的侧脸图像，则生成第二唤醒指令和第二休眠指令，并将第二唤醒指令发送至红外CCD摄像组件，以控制红外CCD摄像组件执行所述第二唤醒指令，并将第二休眠指令发送至CMOS摄像组件，以控制CMOS摄像组件执行所述第二休眠指令。
6.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述方法还包括：
获取摄像模组的摄像头光轴所在第一平面的参数信息；
对所述侧脸图像进行图像识别获得驾驶员的侧脸轮廓所在第二平面的参数信息；
根据所述第一平面的参数信息和所述第二平面的参数信息判定所述第一平面与所述第二平面是否垂直，若所述第一平面和所述第二平面不垂直，则镜头调整控制指令，并将所述镜头调整控制指令发送至镜头调整驱动机构，以控制所述镜头调整驱动机构驱动所述摄像模组移动，以使得摄像模组的摄像头光轴所在第一平面与驾驶员的侧脸轮廓所在第二平面垂直。
7.一种疲劳驾驶检测系统，其特征在于，包括：
图像获取单元，用于获取摄像模组采集的当前入座的驾驶员的侧脸图像；
驾驶员判定单元，用于对所述侧脸图像进行人脸识别获得侧脸特征参数，并根据所述侧脸特征参数判定驾驶员ID库中是否存在与当前入座的驾驶员对应的ID档案；其中所述ID档案包括驾驶员侧脸特征参数以及驾驶员清醒状态下的正常眼动特征参数；以及
疲劳驾驶判定单元，用于当驾驶员ID库中存在与当前入座的驾驶员对应的ID档案时，在驾驶过程中，周期性获取摄像模组采集的驾驶员的当前周期的侧脸图像，并根据所述当前周期的侧脸图像获得驾驶员的当前周期的眼动特征参数，并根据所述当前周期的眼动特征参数与驾驶员正常眼动特征参数的对比结果判定驾驶员是否为疲劳驾驶。
8.根据权利要求7所述的疲劳驾驶检测系统，其特征在于，所述系统还包括ID档案建立单元，所述档案建立单元用于当驾驶员ID库中不存在与当前入座的驾驶员对应的ID档案时，获取摄像模组采集的驾驶员开车时在正常清醒状态下的一个周期内的多帧侧脸图像，对所述多帧侧脸图像进行图像识别获得多个眼动特征参数，根据所述多个眼动特征参数获得当前入座的驾驶员的正常眼动特征参数，并根据当前入座的驾驶员的侧脸特征参数与驾驶员正常眼动特征参数建立当前入座的驾驶员对应的ID档案；
其中，所述疲劳驾驶判定单元还用于在建立与当前入座的驾驶员对应的ID档案之后，在驾驶过程中，周期性获取摄像模组采集的驾驶员的当前周期的侧脸图像，根据所述当前周期的侧脸图像获得驾驶员的当前周期的眼动特征参数，并根据所述当前周期的眼动特征参数与驾驶员正常眼动特征参数的对比结果判定驾驶员是否为疲劳驾驶。
9.根据权利要求8所述的疲劳驾驶检测系统，其特征在于，所述当前周期的眼动特征参数包括当前周期的上下眼睑之间的距离参数、眨眼时间参数、眼睛闭合时间比参数中的至少一种，所述驾驶员正常眼动特征参数包括正常上下眼睑之间的距离参数、正常眨眼时间参数、正常眼睛闭合时间比参数中的至少一种。
10.根据权利要求7所述的疲劳驾驶检测系统，其特征在于，所述系统还包括：
环境光强度获取单元，用于获取环境光识别传感器所采集的当前车内环境光的强度参数；
补光判定单元，用于根据所述当前车内环境光的强度参数与预设强度阈值的比较结果，判定是否对驾驶员的侧脸进行柔光补光；以及
补光控制单元，用于如果判定对驾驶员的侧脸进行柔光补光，则生成补光控制指令，并将补光控制指令发送至补光执行机构以控制补光执行机构执行所述补光控制指令。
11.根据权利要求7所述的疲劳驾驶检测系统，其特征在于，所述系统还包括：
环境光强度获取单元，用于获取环境光识别传感器所采集的当前车内环境光的强度参数；
摄像模式判定单元，用于根据所述当前车内环境光的强度参数与预设强度阈值的比较结果，确定采用CMOS摄像组件或红外CCD摄像组件采集驾驶员的侧脸图像；所述摄像模组包括CMOS摄像组件和红外CCD摄像组件；
第一摄像控制单元，用于当确定采用CMOS摄像组件采集驾驶员的侧脸图像时，生成第一唤醒指令和第一休眠指令，并将第一唤醒指令发送至CMOS摄像组件，以控制CMOS摄像组件执行所述第一唤醒指令，并将第一休眠指令发送至红外CCD摄像组件，以控制红外CCD摄像组件执行所述第一休眠指令；
第二摄像控制单元，用于当确定采用红外CCD摄像组件采集驾驶员的侧脸图像时，生成第二唤醒指令和第二休眠指令，并将第二唤醒指令发送至红外CCD摄像组件，以控制红外CCD摄像组件执行所述第二唤醒指令，并将第二休眠指令发送至CMOS摄像组件，以控制CMOS摄像组件执行所述第二休眠指令。
12.根据权利要求7所述的疲劳驾驶检测系统，其特征在于，所述系统还包括：
第一平面信息获取单元，用于获取摄像模组的摄像头光轴所在第一平面的参数信息；
第二平面信息获取单元，用于对所述侧脸图像进行图像识别获得驾驶员的侧脸轮廓所在第二平面的参数信息；以及
镜头调整控制单元，用于根据所述第一平面的参数信息和所述第二平面的参数信息判定所述第一平面与所述第二平面是否垂直，若所述第一平面和所述第二平面不垂直，则镜头调整控制指令，并将所述镜头调整控制指令发送至镜头调整驱动机构，以控制所述镜头调整驱动机构驱动所述摄像模组移动，以使得摄像模组的摄像头光轴所在第一平面与驾驶员的侧脸轮廓所在第二平面垂直。
13.一种计算机设备，包括：根据权利要求7-12任一项所述的疲劳驾驶检测系统；或者，存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行根据权利要求1-6中任一项所述疲劳驾驶检测方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现根据权利要求1-6中任一项所述疲劳驾驶检测方法的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010535115.6A CN113807126A (zh) | 2020-06-12 | 2020-06-12 | 一种疲劳驾驶检测方法及其系统、计算机设备、存储介质 |
| US17/924,555 US20230230397A1 (en) | 2020-06-12 | 2021-06-01 | Drowsy driving detection method and system thereof, and computer device |
| PCT/CN2021/097618 WO2021249239A1 (zh) | 2020-06-12 | 2021-06-01 | 一种疲劳驾驶检测方法及其系统、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010535115.6A CN113807126A (zh) | 2020-06-12 | 2020-06-12 | 一种疲劳驾驶检测方法及其系统、计算机设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113807126A true CN113807126A (zh) | 2021-12-17 |
Family
ID=78845263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010535115.6A Pending CN113807126A (zh) | 2020-06-12 | 2020-06-12 | 一种疲劳驾驶检测方法及其系统、计算机设备、存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230230397A1 (zh) |
| CN (1) | CN113807126A (zh) |
| WO (1) | WO2021249239A1 (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130010096A1 (en) * | 2009-12-02 | 2013-01-10 | Tata Consultancy Services Limited | Cost effective and robust system and method for eye tracking and driver drowsiness identification |
| CN107241535A (zh) * | 2017-05-26 | 2017-10-10 | 北京小米移动软件有限公司 | 闪光灯调节装置及终端设备 |
| US20170355377A1 (en) * | 2016-06-08 | 2017-12-14 | GM Global Technology Operations LLC | Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels |
| CN108446600A (zh) * | 2018-02-27 | 2018-08-24 | 上海汽车集团股份有限公司 | 一种车辆驾驶员疲劳监测预警系统及方法 |
| CN108791299A (zh) * | 2018-05-16 | 2018-11-13 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶疲劳检测及预警系统及方法 |
| CN109367479A (zh) * | 2018-08-31 | 2019-02-22 | 南京理工大学 | 一种疲劳驾驶监测方法及装置 |
| CN110115796A (zh) * | 2019-05-06 | 2019-08-13 | 苏州国科视清医疗科技有限公司 | 基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统 |
| CN212569804U (zh) * | 2020-06-12 | 2021-02-19 | 广州汽车集团股份有限公司 | 一种疲劳驾驶检测装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198616B (zh) * | 2013-03-20 | 2015-10-28 | 重庆大学 | 基于驾驶员头颈移动特征识别的疲劳驾驶检测方法与系统 |
| CN104298963B (zh) * | 2014-09-11 | 2017-11-07 | 浙江捷尚视觉科技股份有限公司 | 一种鲁棒的基于人脸形状回归模型的多姿态疲劳监测方法 |
| US10864854B2 (en) * | 2018-01-02 | 2020-12-15 | Getac Technology Corporation | Vehicle camera device and method for setting the same |
-
2020
- 2020-06-12 CN CN202010535115.6A patent/CN113807126A/zh active Pending
-
2021
- 2021-06-01 US US17/924,555 patent/US20230230397A1/en active Pending
- 2021-06-01 WO PCT/CN2021/097618 patent/WO2021249239A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130010096A1 (en) * | 2009-12-02 | 2013-01-10 | Tata Consultancy Services Limited | Cost effective and robust system and method for eye tracking and driver drowsiness identification |
| US20170355377A1 (en) * | 2016-06-08 | 2017-12-14 | GM Global Technology Operations LLC | Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels |
| CN107241535A (zh) * | 2017-05-26 | 2017-10-10 | 北京小米移动软件有限公司 | 闪光灯调节装置及终端设备 |
| CN108446600A (zh) * | 2018-02-27 | 2018-08-24 | 上海汽车集团股份有限公司 | 一种车辆驾驶员疲劳监测预警系统及方法 |
| CN108791299A (zh) * | 2018-05-16 | 2018-11-13 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶疲劳检测及预警系统及方法 |
| CN109367479A (zh) * | 2018-08-31 | 2019-02-22 | 南京理工大学 | 一种疲劳驾驶监测方法及装置 |
| CN110115796A (zh) * | 2019-05-06 | 2019-08-13 | 苏州国科视清医疗科技有限公司 | 基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统 |
| CN212569804U (zh) * | 2020-06-12 | 2021-02-19 | 广州汽车集团股份有限公司 | 一种疲劳驾驶检测装置 |
Non-Patent Citations (2)
| Title |
|---|
| ZHITAO XIAO ET AL.: "Fatigue driving recognition network: fatigue driving recognition via convolutional neural network and long short-term memory units", 《 THE INSTITUTION OF ENGINEERING AND TECHNOLOGY》, vol. 13, no. 9, 6 June 2019 (2019-06-06), pages 1410, XP006081901, DOI: 10.1049/iet-its.2018.5392 * |
| 刘敏: "基于头部特征和姿态估计的疲劳驾驶检测技术的研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, 15 March 2020 (2020-03-15), pages 035 - 397 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230230397A1 (en) | 2023-07-20 |
| WO2021249239A1 (zh) | 2021-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101593425B (zh) | 一种基于机器视觉的疲劳驾驶监控方法及系统 | |
| WO2020078465A1 (zh) | 驾驶状态分析方法和装置、驾驶员监控系统、车辆 | |
| EP1933256B1 (en) | Eye closure recognition system and method | |
| CN102263937B (zh) | 基于视频检测的驾驶员驾驶行为监控装置及监控方法 | |
| US7830266B2 (en) | Drowsy state determination device and method | |
| JP4677963B2 (ja) | 居眠り検知装置、居眠り検知方法 | |
| FR2773521B1 (fr) | Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci | |
| WO2013157466A1 (ja) | 喫煙検出装置、方法及びプログラム | |
| TW201737237A (zh) | 電子裝置、螢幕調節系統及方法 | |
| CN212569804U (zh) | 一种疲劳驾驶检测装置 | |
| CN111355902A (zh) | 一种利用摄像头采集车内图像的方法及该车载监控摄像头 | |
| JP4776581B2 (ja) | 入眠状態検知方法、入眠状態検知装置、入眠状態検知システム及びコンピュータプログラム | |
| JP2021037216A (ja) | 閉眼判定装置 | |
| Mu et al. | Research on a driver fatigue detection model based on image processing | |
| CN113807126A (zh) | 一种疲劳驾驶检测方法及其系统、计算机设备、存储介质 | |
| CN112660048A (zh) | 基于图像识别的多屏电源管理方法、装置、系统及汽车 | |
| JP4781292B2 (ja) | 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム | |
| CN211509165U (zh) | 一种车载监控摄像头 | |
| CN114267169A (zh) | 一种基于机器视觉的预防疲劳驾驶限速控制方法 | |
| JP6689470B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| TWI799343B (zh) | 運用田口法於汽車駕駛人夜間瞌睡偵測方法 | |
| CN101278839B (zh) | 夜间驾驶跟踪方法 | |
| CN111152653A (zh) | 一种基于多信息融合的疲劳驾驶检测方法 | |
| WO2021065002A1 (ja) | ドライバ居眠り防止システム、コンピュータ、端末、ドライバ居眠り防止方法及びプログラム | |
| TW202409905A (zh) | 運用田口法於汽車駕駛人夜間瞌睡偵測方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |