CN113558621B - 一种驾驶员疲劳检测与提醒的方法和系统 - Google Patents
一种驾驶员疲劳检测与提醒的方法和系统 Download PDFInfo
- Publication number
- CN113558621B CN113558621B CN202110838694.6A CN202110838694A CN113558621B CN 113558621 B CN113558621 B CN 113558621B CN 202110838694 A CN202110838694 A CN 202110838694A CN 113558621 B CN113558621 B CN 113558621B
- Authority
- CN
- China
- Prior art keywords
- respiratory wave
- cpu module
- module
- reminding
- respiratory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Psychology (AREA)
- Physiology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Ophthalmology & Optometry (AREA)
- Pulmonology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及计算机技术领域，特别涉及一种驾驶员疲劳检测与提醒的方法和系统。所述一种驾驶员疲劳检测与提醒的方法，包括步骤：采集目标对象的呼吸波和人脸图像；对所述呼吸波进行处理并计算得呼吸波评价参数；对所述人脸图像进行处理并计算得人脸评价参数；对所述呼吸波评价参数和所述人脸评价参数进行分析得目标对象的疲劳程度，根据疲劳程度不同做出不同提醒。以上方法中，将呼吸波评价参数与人脸评价参数相结合进行目标对象疲劳检测，可靠性高，减少误判，且采用呼吸波能量来作为疲劳检测的判断条件之一，相比于呼吸频率更具稳定性。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种驾驶员疲劳检测与提醒的方法和系统。
背景技术
随着汽车普及率的提高以及高速公路的日益完善，道路交通事故也随之增多，其中驾驶员的疲劳驾驶是导致事故的主要原因之一，对驾驶员进行疲劳检测及提醒愈发重要。疲劳检测的现有技术中，基于脑电信息的检测，虽然精度较高但是往往需要粘贴需要电极，驾驶员体验感较差且可能会影响驾驶；基于心电、呼吸频率等生理信息的检测，虽然装置简单但是往往检测算法单一，可靠性不佳，容易造成误判、漏判；基于驾驶员头部姿态或者面部信息的检测，但是单靠图像信息也容易造成误判，比如通过嘴巴张开角度判断打哈欠，有可能与大笑时嘴巴张开角度近似造成误判。
缺点1：基于脑电信息的检测，需要粘贴需要电极，驾驶员体验感较差且可能会影响驾驶；
缺点2：基于心电、呼吸频率等生理信息的检测，疲劳检测算法单一，可靠性不佳，容易造成误判、漏判；
缺点3：基于驾驶员头部姿态或者面部信息的检测，但是单靠图像信息也容易造成误判，比如通过嘴巴张开角度判断打哈欠，有可能与大笑时嘴巴张开角度近似造成误判。
发明内容
为此，需要提供一种驾驶员疲劳检测与提醒的方法，用以解决现有驾驶员疲劳检测准确度低的技术问题。具体技术方案如下：
一种驾驶员疲劳检测与提醒的方法，包括步骤：
采集目标对象的呼吸波和人脸图像；
对所述呼吸波进行处理并计算得呼吸波评价参数，所述呼吸波评价参数包括但不限于：呼吸波幅值、呼吸波能量；
对所述人脸图像进行处理并计算得人脸评价参数，所述人脸评价参数包括但不限于：眨眼频率、嘴部张开角度；
对所述呼吸波评价参数和所述人脸评价参数进行分析得目标对象的疲劳程度，根据疲劳程度不同做出不同提醒。
进一步的，所述“对所述呼吸波评价参数和所述人脸评价参数进行分析得目标对象的疲劳程度，根据疲劳程度不同做出不同提醒”，具体还包括步骤：
步骤S1：判断预设间隔内所述呼吸波能量是否大于第一阈值，若是，则进入步骤S2，若否，则进入步骤S7；
步骤S2：判断同时间段的眨眼频率是否大于第二阈值，若是，则进入步骤S3，若否，则进入步骤S4；
步骤S3：进行重度振动提醒并同时进行语音提醒，进入步骤S9；
步骤S4：判断同时间段的眨眼频率是否大于第三阈值，若是，执行步骤S5，若否，则进入步骤S6；
步骤S5：进行中度振动提醒并同时进行语音提醒，进入步骤S9；
步骤S6：进行轻度振动提醒，进入步骤S9；
步骤S7：判断呼吸波幅值是否大于第四阈值且嘴部张开角度是否大于第五阈值，若呼吸波幅值大于第四阈值且嘴部张开角度大于第五阈值，则进入步骤S8，若否，则进入步骤S9；
步骤S8：进行中度振动提醒并同时进行语音提醒，进入步骤S9；
步骤S9：判断预设时间段内振动提醒次数是否超过第六阈值，若是，则控制车辆减速停车。
进一步的，所述“对所述呼吸波进行处理并计算得呼吸波评价参数”，具体还包括步骤：
对所述呼吸波进行去噪处理；
根据下式计算呼吸波能量：
∫(f(t)-fmin)2dt，f(t)为呼吸波强度，fmin为呼吸波实时波谷值。
进一步的，所述“对所述呼吸波进行去噪处理”，具体还包括步骤：
根据呼吸波信号特征，确认小波基、分解层数，并对含噪声的信号进行小波分解；
在最大分解尺度2j上搜索极值点，并设定阈值去除小的模极值点；
在j层极大值点的位置，为2j-1尺度的极值点构造一个搜索领域，通常为2j尺度模极值点位置+3个位置点；
根据搜索范围，把2j-1尺度极大值点落在该区域的点保留，其它位置置0；
令j＝j-1，重复上述操作，直到j＝2；
在j＝2层存在极值点的位置查询j＝1时相应极值点，其余位置将极值点置0；
对所有保留的模极大值进行重建，得到去噪后的信号。
进一步的，所述“对所述人脸图像进行处理并计算得人脸评价参数”，具体还包括步骤：
通过预设算法对所述人脸图像进行处理得人眼关键点；
对每帧图像进行人眼长宽比EAR的计算，
p1、p2、p3、p4、p5、p6均为人眼关键点，
采用一个以时间窗口为输入的分类器，通过连接闭眼帧+3相邻帧的EAR序列作为一个7维特征进行训练，通过一个线性SVM分类器从标准眨眼训练集中训练实现眨眼识别，计算特定帧数的眨眼次数得眨眼频率。
嘴部张开角度用张口度来衡量，H、L为嘴部内轮廓的高度、长度，如图8所示。嘴部关键点同样可以通过多任务级联卷积神经网络(MTCNN)来获取，然后再采用最小二乘法获取内轮廓线，进而得到H、L并计算获得张开度α。
为解决上述技术问题，还提供了一种驾驶员疲劳检测与提醒的系统，具体技术方案如下：
一种驾驶员疲劳检测与提醒的系统，包括：呼吸波采集模块、图像采集模块、从CPU模块和主CPU模块；
所述从CPU模块通信连接所述主CPU模块，所述呼吸波采集模块连接所述从CPU模块，所述图像采集模块连接所述主CPU模块；
所述呼吸波采集模块用于：采集目标对象的呼吸波，并发送所述呼吸波至所述从CPU模块；
所述图像采集模块用于：采集目标对象的人脸图像，并发送所述人脸图像至所述主CPU模块；
所述从CPU模块用于：对所述呼吸波进行处理并计算得呼吸波评价参数，并发送所述呼吸波评价参数至所述主CPU模块，所述呼吸波评价参数包括但不限于：呼吸波幅值、呼吸波能量；
所述主CPU模块用于：对所述人脸图像进行处理并计算得人脸评价参数，所述人脸评价参数包括但不限于：眨眼频率、嘴部张开角度；
所述主CPU模块还用于：对所述呼吸波评价参数和所述人脸评价参数进行分析得目标对象的疲劳程度，根据疲劳程度不同做出不同提醒。
进一步的，还包括：振动提醒模块和语音提醒模块，所述振动提醒模块连接所述从CPU模块，所述语音提醒模块连接所述主CPU模块；
所述主CPU模块还用于：判断预设间隔内所述呼吸波能量是否大于第一阈值，若所述呼吸波能量大于第一阈值，则判断同时间段的眨眼频率是否大于第二阈值，若同时间段的眨眼频率大于第二阈值，则发出指令给所述从CPU模块，所述从CPU模块控制所述振动提醒模块进行重度振动提醒，所述主CPU模块发出指令给语音提醒模块进行语音提醒，并判断预设时间段内振动提醒次数是否超过第六阈值，若是，则控制车辆减速停车；
所述主CPU模块还用于：若所述呼吸波能量不大于第一阈值，则判断呼吸波幅值是否大于第四阈值且嘴部张开角度是否大于第五阈值，若呼吸波幅值大于第四阈值且嘴部张开角度大于第五阈值，则发出指令给所述从CPU模块，所述从CPU模块控制所述振动提醒模块进行中度振动提醒，所述主CPU模块发出指令给语音提醒模块进行语音提醒，并判断预设时间段内振动提醒次数是否超过第六阈值，若是，则控制车辆减速停车；
所述主CPU模块还用于：若同时间段的眨眼频率不大于第二阈值，则判断同时间段的眨眼频率是否大于第三阈值，若同时间段的眨眼频率大于第三阈值，则发出指令给所述从CPU模块，所述从CPU模块控制所述振动提醒模块进行中度振动提醒，所述主CPU模块发出指令给语音提醒模块进行语音提醒，并判断预设时间段内振动提醒次数是否超过第六阈值，若是，则控制车辆减速停车；
所述主CPU模块还用于：若同时间段的眨眼频率不大于第三阈值，则发出指令给所述从CPU模块，所述从CPU模块控制所述振动提醒模块进行轻度振动提醒，所述主CPU模块发出指令给语音提醒模块进行语音提醒，并判断预设时间段内振动提醒次数是否超过第六阈值，若是，则控制车辆减速停车。
进一步的，所述从CPU模块还用于：
对所述呼吸波进行去噪处理；
根据下式计算呼吸波能量：
∫(f(t)-fmin)2dt，f(t)为呼吸波强度，fmin为呼吸波实时波谷值。
进一步的，所述从CPU模块还用于：
根据呼吸波信号特征，确认小波基、分解层数，并对含噪声的信号进行小波分解；
在最大分解尺度2j上搜索极值点，并设定阈值去除小的模极值点；
在j层极大值点的位置，为2j-1尺度的极值点构造一个搜索领域，通常为2j尺度模极值点位置+3个位置点；
根据搜索范围，把2j-1尺度极大值点落在该区域的点保留，其它位置置0；
令j＝j-1，重复上述操作，直到j＝2；
在j＝2层存在极值点的位置查询j＝1时相应极值点，其余位置将极值点置0；
对所有保留的模极大值进行重建，得到去噪后的信号。
进一步的，所述主CPU模块还用于：通过预设算法对所述人脸图像进行处理得人眼关键点；
对每帧图像进行人眼长宽比EAR的计算，
p1、p2、p3、p4、p5、p6均为人眼关键点，
采用一个以时间窗口为输入的分类器，通过连接闭眼帧+3相邻帧的EAR序列作为一个7维特征进行训练，通过一个线性SVM分类器从标准眨眼训练集中训练实现眨眼识别，计算特定帧数的眨眼次数得眨眼频率。
嘴部张开角度用张口度来衡量，H、L为嘴部内轮廓的高度、长度，如图8所示。嘴部关键点同样可以通过多任务级联卷积神经网络(MTCNN)来获取，然后再采用最小二乘法获取内轮廓线，进而得到H、L并计算获得张开度α。
本发明的有益效果是：一种驾驶员疲劳检测与提醒的方法，包括步骤：采集目标对象的呼吸波和人脸图像；对所述呼吸波进行处理并计算得呼吸波评价参数，所述呼吸波评价参数包括但不限于：呼吸波幅值、呼吸波能量；对所述人脸图像进行处理并计算得人脸评价参数，所述人脸评价参数包括但不限于：眨眼频率、嘴部张开角度；对所述呼吸波评价参数和所述人脸评价参数进行分析得目标对象的疲劳程度，根据疲劳程度不同做出不同提醒。以上方法中，将呼吸波评价参数与人脸评价参数相结合进行目标对象疲劳检测，可靠性高，减少误判，且采用呼吸波能量来作为疲劳检测的判断条件之一，相比于呼吸频率更具稳定性。
进一步的，根据疲劳程度的不同输出不同的振动程度进行提醒，体验感更好，更加人性化。
附图说明
图1为具体实施方式所述一种驾驶员疲劳检测与提醒的方法的流程图一；
图2为具体实施方式所述一种驾驶员疲劳检测与提醒的方法的流程图二；
图3为具体实施方式所述一种驾驶员疲劳检测与提醒的方法应用在的一种驾驶员疲劳检测与提醒的系统的模块示意图；
图4a为具体实施方式所述组件1安装示意图；
图4b为具体实施方式所述组件2安装示意图；
图5为具体实施方式所述佩戴检测模块示意图；
图6为具体实施方式所述佩戴检测模块电路示意图；
图7为具体实施方式所述关键点示意图；
图8为具体实施方式所述嘴部轮廓示意图；
图9为具体实施方式所述一种驾驶员疲劳检测与提醒的系统的模块示意图一；
图10为具体实施方式所述一种驾驶员疲劳检测与提醒的系统的模块示意图二。
附图标记说明：
900、一种驾驶员疲劳检测与提醒的系统，
901、呼吸波采集模块，
902、从CPU模块，
903、主CPU模块，
904、图像采集模块，
905、振动提醒模块，
906、语音提醒模块。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1至图8，在本实施方式中，一种驾驶员疲劳检测与提醒的方法可应用在一种驾驶员疲劳检测与提醒的系统上，如图3所示，包括呼吸波采集模块、佩戴检测模块、图像采集模块、无线通信模块1、无线通信模块2、主CPU模块、从CPU模块、振动提醒模块、语音提醒模块、电源模块1、电源模块2。其中，呼吸波采集模块、佩戴检测模块、振动提醒模块、从CPU模块、无线通信模块1、电源模块1构成组件1，其可安装在安全带上，如图4a所示；图像采集模块、语音提醒模块、主CPU模块、无线通信模块2、电源模块2构成组件2，其可安装在仪表盘上，如图4b所示，两个部分通过无线方式进行信息交互。
佩戴检测模块如图5所示，包括低通滤波电路、放大电路、电压比较电路，该模块的作用是识别人是否佩戴了安全带，如果佩戴了安全带则输出高电平用于唤醒从CPU模块，从CPU模块唤醒后通过无线通信模块1发出激活信号告知主CPU开始工作，主CPU开始驱动图像采集模块进行图像采集；在未检测到佩戴时，除佩戴检测电路外，系统其它部件都处于休眠或近似休眠的低功耗状态，有效降低系统功耗，延长使用时间。如图6所示，在具体实施例中，佩戴检测模块采用二阶低通滤波电路、三极管放大电路、滞回电压比较器电路来实现佩戴检测，未佩戴时，信号通过滤波、放大后与比较器相比，未达到阈值电压，则输出低电平；佩戴安全带时，信号经过滤波、放大后与比较器相比，超过阈值电压，电路会输出高电平来唤醒从CPU开启相应操作。
在本实施方式中，呼吸波采集模块采用柔性压电传感器来采集人体呼吸波，并通过AD转换为数字信号输出给从CPU模块；振动提醒模块采用微型马达进行振动提醒；从CPU模块主要完成呼吸波采集传输控制、解析主CPU指令及驱动振动提醒模块的工作。图像采集模块通过摄像头实现人体面部信息的采集；语音提醒模块通过语音播报提示信息来实现提醒功能；主CPU模块主要实现人体面部信息和呼吸波信息的汇总及疲劳检测算法的运行，并根据算法结果驱动其它模块完成提醒工作。主CPU模块和从CPU模块之间通过无线通信模块1、无线通信模块2完成信息及指令的交互。
以下对一种驾驶员疲劳检测与提醒的方法具体展开说明：
步骤S101：采集目标对象的呼吸波和人脸图像。即分别通过呼吸波采集模块采集目标对象的呼吸波，通过图像采集模块采集目标对象的人脸图像。
采集好后，执行步骤S102：对所述呼吸波进行处理并计算得呼吸波评价参数，所述呼吸波评价参数包括但不限于：呼吸波幅值、呼吸波能量。具体还包括步骤：
对所述呼吸波进行去噪处理；
根据下式计算呼吸波能量：
∫(f(t)-fmin)2dt，f(t)为呼吸波强度，fmin为呼吸波实时波谷值，人在疲劳时普遍呼吸会加重，所产生的呼吸波能量也会更多，如果大于设定呼吸波能量阈值则很可能出现疲劳情况。相对于现有技术中的采用呼吸频率来进行疲劳检测，呼吸波能量作为疲劳检测的判断条件结果更准确，因为人在清醒的时候也可能因为情绪激动等导致呼吸频率变快，但却不会使呼吸波能量变大。只有是疲劳的情况下，呼吸波能量才会变大。
在本实施方式中，呼吸波去噪采用的是小波变换模极大值滤波法，具体可如下：
根据呼吸波信号特征，确认小波基、分解层数，并对含噪声的信号进行小波分解；
在最大分解尺度2j上搜索极值点，并设定阈值去除小的模极值点；
在j层极大值点的位置，为2j-1尺度的极值点构造一个搜索领域，通常为2j尺度模极值点位置+3个位置点；
根据搜索范围，把2j-1尺度极大值点落在该区域的点保留，其它位置置0；
令j＝j-1，重复上述操作，直到j＝2；
在j＝2层存在极值点的位置查询j＝1时相应极值点，其余位置将极值点置0；
对所有保留的模极大值进行重建，得到去噪后的信号。
步骤S103：对所述人脸图像进行处理并计算得人脸评价参数，所述人脸评价参数包括但不限于：眨眼频率、嘴部张开角度。具体还包括步骤：
通过预设算法对所述人脸图像进行处理得人眼关键点；
对每帧图像进行人眼长宽比EAR的计算，
p1、p2、p3、p4、p5、p6均为人眼关键点，
采用一个以时间窗口为输入的分类器，通过连接闭眼帧+3相邻帧的EAR序列作为一个7维特征进行训练，通过一个线性SVM分类器从标准眨眼训练集中训练实现眨眼识别，计算特定帧数的眨眼次数得眨眼频率。其中通过预设算法对所述人脸图像进行处理得人眼关键点具体可以为对对图像序列的处理采用一种多任务级联卷积神经网络(MTCNN)来同时处理人脸检测和人脸关键点识别问题。关键点位置如图7所示。
嘴部张开角度用张口度来衡量，H、L为嘴部内轮廓的高度、长度，如图8所示。嘴部关键点同样可以通过多任务级联卷积神经网络(MTCNN)来获取，然后再采用最小二乘法获取内轮廓线，进而得到H、L并计算获得张开度α。
步骤S104：对所述呼吸波评价参数和所述人脸评价参数进行分析得目标对象的疲劳程度，根据疲劳程度不同做出不同提醒。
请参阅图2，对步骤S104具体展开说明：
步骤S201：判断预设间隔内所述呼吸波能量是否大于第一阈值？若是则进入步骤S202，若否，则进入步骤S207。
步骤S202：判断同时间段的眨眼频率是否大于第二阈值？若是，则进入步骤S203，若否，则进入步骤S204。
步骤S203：进行重度振动提醒并同时进行语音提醒后，进入步骤S209。
步骤S204：判断同时间段的眨眼频率是否大于第三阈值？若是，则进入步骤S205，若否，则进入步骤S206。
步骤S205：进行中度振动提醒并同时进行语音提醒后，进入步骤S209。
步骤S206：进行轻度振动提醒后，进入步骤S209。
步骤S207：判断呼吸波幅值是否大于第四阈值且嘴部张开角度是否大于第五阈值，若呼吸波幅值大于第四阈值且嘴部张开角度大于第五阈值，则进入步骤S208，若否，则进入步骤S209。
步骤S208：进行中度振动提醒并同时进行语音提醒后，进入步骤S209。
步骤S209：判断预设时间段内振动提醒次数是否超过第六阈值，若是，则执行步骤S210。
步骤S210：控制车辆减速停车。根据疲劳程度的不同输出不同的振动程度进行提醒，体验感更好，更加人性化。
需要说明的是，以上的第一阈值至第六阈值均可根据实际情况自行定义，不做任何限定。此外疲劳程度越高，则给出的振动提醒幅度越大，即在振动提醒幅度方面：重度振动提醒大于中度振动提醒大于轻度振动提醒。
一种驾驶员疲劳检测与提醒的方法，包括步骤：采集目标对象的呼吸波和人脸图像；对所述呼吸波进行处理并计算得呼吸波评价参数，所述呼吸波评价参数包括但不限于：呼吸波幅值、呼吸波能量；对所述人脸图像进行处理并计算得人脸评价参数，所述人脸评价参数包括但不限于：眨眼频率、嘴部张开角度；对所述呼吸波评价参数和所述人脸评价参数进行分析得目标对象的疲劳程度，根据疲劳程度不同做出不同提醒。以上方法中，将呼吸波评价参数与人脸评价参数相结合进行目标对象疲劳检测，可靠性高，减少误判，且采用呼吸波能量来作为疲劳检测的判断条件之一，相比于呼吸频率更具稳定性。
请参阅图3至图10，在本实施方式中，一种驾驶员疲劳检测与提醒的系统900的具体实施方式如下：
一种驾驶员疲劳检测与提醒的系统900，包括：呼吸波采集模块901、图像采集模块904、从CPU模块902和主CPU模块903；
所述从CPU模块902通信连接所述主CPU模块903，所述呼吸波采集模块901连接所述从CPU模块902，所述图像采集模块904连接所述主CPU模块903；
所述呼吸波采集模块901用于：采集目标对象的呼吸波，并发送所述呼吸波至所述从CPU模块902；
所述图像采集模块904用于：采集目标对象的人脸图像，并发送所述人脸图像至所述主CPU模块903；
所述从CPU模块902用于：对所述呼吸波进行处理并计算得呼吸波评价参数，并发送所述呼吸波评价参数至所述主CPU模块903，所述呼吸波评价参数包括但不限于：呼吸波幅值、呼吸波能量；
所述主CPU模块903用于：对所述人脸图像进行处理并计算得人脸评价参数，所述人脸评价参数包括但不限于：眨眼频率、嘴部张开角度；
所述主CPU模块903还用于：对所述呼吸波评价参数和所述人脸评价参数进行分析得目标对象的疲劳程度，根据疲劳程度不同做出不同提醒。
进一步的，还包括：振动提醒模块905和语音提醒模块906，所述振动提醒模块905连接所述从CPU模块902，所述语音提醒模块906连接所述主CPU模块903；
所述主CPU模块903还用于：判断预设间隔内所述呼吸波能量是否大于第一阈值，若所述呼吸波能量大于第一阈值，则判断同时间段的眨眼频率是否大于第二阈值，若同时间段的眨眼频率大于第二阈值，则发出指令给所述从CPU模块902，所述从CPU模块902控制所述振动提醒模块905进行重度振动提醒，所述主CPU模块903发出指令给语音提醒模块906进行语音提醒，并判断预设时间段内振动提醒次数是否超过第六阈值，若是，则控制车辆减速停车；
所述主CPU模块903还用于：若所述呼吸波能量不大于第一阈值，则判断呼吸波幅值是否大于第四阈值且嘴部张开角度是否大于第五阈值，若呼吸波幅值大于第四阈值且嘴部张开角度大于第五阈值，则发出指令给所述从CPU模块902，所述从CPU模块902控制所述振动提醒模块905进行中度振动提醒，所述主CPU模块903发出指令给语音提醒模块906进行语音提醒，并判断预设时间段内振动提醒次数是否超过第六阈值，若是，则控制车辆减速停车；
所述主CPU模块903还用于：若同时间段的眨眼频率不大于第二阈值，则判断同时间段的眨眼频率是否大于第三阈值，若同时间段的眨眼频率大于第三阈值，则发出指令给所述从CPU模块902，所述从CPU模块902控制所述振动提醒模块905进行中度振动提醒，所述主CPU模块903发出指令给语音提醒模块906进行语音提醒，并判断预设时间段内振动提醒次数是否超过第六阈值，若是，则控制车辆减速停车；
所述主CPU模块903还用于：若同时间段的眨眼频率不大于第三阈值，则发出指令给所述从CPU模块902，所述从CPU模块902控制所述振动提醒模块905进行轻度振动提醒，所述主CPU模块903发出指令给语音提醒模块906进行语音提醒，并判断预设时间段内振动提醒次数是否超过第六阈值，若是，则控制车辆减速停车。根据疲劳程度的不同输出不同的振动程度进行提醒，体验感更好，更加人性化。
进一步的，如图3所示，还包括：佩戴检测模块、电源模块1、电源模块2、无线通信模块1和无线通信模块2；
所述呼吸波采集模块901、佩戴检测模块、振动提醒模块905、从CPU模块902、无线通信模块1和电源模块1构成组件1，所述组件1设置于安全带上，如图4a所示；
所述图像采集模块904、语音提醒模块906、主CPU模块903、无线通信模块2和电源模块2构成组件2，所述组件2设置于仪表盘上，如图4b所示，两个组件间通过无线方式进行信息交互。
其中，佩戴检测模块如图5所示，包括低通滤波电路、放大电路、电压比较电路，该模块的作用是识别人是否佩戴了安全带，如果佩戴了安全带则输出高电平用于唤醒从CPU模块902，从CPU模块902唤醒后通过无线通信模块1发出激活信号告知主CPU开始工作，主CPU开始驱动图像采集模块904进行图像采集；在未检测到佩戴时，除佩戴检测电路外，系统其它部件都处于休眠或近似休眠的低功耗状态，有效降低系统功耗，延长使用时间。如图6所示，在具体实施例中，佩戴检测模块采用二阶低通滤波电路、三极管放大电路、滞回电压比较器电路来实现佩戴检测，未佩戴时，信号通过滤波、放大后与比较器相比，未达到阈值电压，则输出低电平；佩戴安全带时，信号经过滤波、放大后与比较器相比，超过阈值电压，电路会输出高电平来唤醒从CPU开启相应操作。
在本实施方式中，呼吸波采集模块901采用柔性压电传感器来采集人体呼吸波，并通过AD转换为数字信号输出给从CPU模块902；振动提醒模块905采用微型马达进行振动提醒；从CPU模块902主要完成呼吸波采集传输控制、解析主CPU指令及驱动振动提醒模块905的工作。图像采集模块904通过摄像头实现人体面部信息的采集；语音提醒模块906通过语音播报提示信息来实现提醒功能；主CPU模块903主要实现人体面部信息和呼吸波信息的汇总及疲劳检测算法的运行，并根据算法结果驱动其它模块完成提醒工作。主CPU模块903和从CPU模块902之间通过无线通信模块1、无线通信模块2完成信息及指令的交互。
以上系统中，将呼吸波评价参数与人脸评价参数相结合进行目标对象疲劳检测，可靠性高，减少误判，且采用呼吸波能量来作为疲劳检测的判断条件之一，相比于呼吸频率更具稳定性。
进一步的，所述从CPU模块902还用于：对所述呼吸波进行去噪处理；
根据下式计算呼吸波能量：
∫(f(t)-fmin)2dt，f(t)为呼吸波强度，fmin为呼吸波实时波谷值，人在疲劳时普遍呼吸会加重，所产生的呼吸波能量也会更多，如果大于设定呼吸波能量阈值则很可能出现疲劳情况。相对于现有技术中的采用呼吸频率来进行疲劳检测，呼吸波能量作为疲劳检测的判断条件结果更准确，因为人在清醒的时候也可能因为情绪激动等导致呼吸频率变快，但却不会使呼吸波能量变大。只有是疲劳的情况下，呼吸波能量才会变大。
所述从CPU模块902还用于：
根据呼吸波信号特征，确认小波基、分解层数，并对含噪声的信号进行小波分解；
在最大分解尺度2j上搜索极值点，并设定阈值去除小的模极值点；
在j层极大值点的位置，为2j-1尺度的极值点构造一个搜索领域，通常为2j尺度模极值点位置+3个位置点；
根据搜索范围，把2j-1尺度极大值点落在该区域的点保留，其它位置置0；
令j＝j-1，重复上述操作，直到j＝2；
在j＝2层存在极值点的位置查询j＝1时相应极值点，其余位置将极值点置0；
对所有保留的模极大值进行重建，得到去噪后的信号。
进一步的，所述主CPU模块903还用于：通过预设算法对所述人脸图像进行处理得人眼关键点；
对每帧图像进行人眼长宽比EAR的计算，
p1、p2、p3、p4、p5、p6均为人眼关键点，
采用一个以时间窗口为输入的分类器，通过连接闭眼帧+3相邻帧的EAR序列作为一个7维特征进行训练，通过一个线性SVM分类器从标准眨眼训练集中训练实现眨眼识别，计算特定帧数的眨眼次数得眨眼频率。其中通过预设算法对所述人脸图像进行处理得人眼关键点具体可以为对对图像序列的处理采用一种多任务级联卷积神经网络(MTCNN)来同时处理人脸检测和人脸关键点识别问题。关键点位置如图7所示。
嘴部张开角度用张口度来衡量，H、L为嘴部内轮廓的高度、长度，如图8所示。嘴部关键点同样可以通过多任务级联卷积神经网络(MTCNN)来获取，然后再采用最小二乘法获取内轮廓线，进而得到H、L并计算获得张开度α。
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。
Claims (8)
1.一种驾驶员疲劳检测与提醒的方法，其特征在于，包括步骤：
采集目标对象的呼吸波和人脸图像；
对所述呼吸波进行处理并计算得呼吸波评价参数，所述呼吸波评价参数包括但不限于：呼吸波幅值、呼吸波能量；
对所述人脸图像进行处理并计算得人脸评价参数，所述人脸评价参数包括但不限于：眨眼频率、嘴部张开角度；
对所述呼吸波评价参数和所述人脸评价参数进行分析得目标对象的疲劳程度，根据疲劳程度不同做出不同提醒；所述“对所述呼吸波评价参数和所述人脸评价参数进行分析得目标对象的疲劳程度，根据疲劳程度不同做出不同提醒”，具体还包括步骤：
步骤S1：判断预设间隔内所述呼吸波能量是否大于第一阈值，若是，则进入步骤S2，若否，则进入步骤S7；
步骤S2：判断同时间段的眨眼频率是否大于第二阈值，若是，则进入步骤S3，若否，则进入步骤S4；
步骤S3：进行重度振动提醒并同时进行语音提醒，进入步骤S9；
步骤S4：判断同时间段的眨眼频率是否大于第三阈值，若是，执行步骤S5，若否，则进入步骤S6；
步骤S5：进行中度振动提醒并同时进行语音提醒，进入步骤S9；
步骤S6：进行轻度振动提醒，进入步骤S9；
步骤S7：判断呼吸波幅值是否大于第四阈值且嘴部张开角度是否大于第五阈值，若呼吸波幅值大于第四阈值且嘴部张开角度大于第五阈值，则进入步骤S8，若否，则进入步骤S9；
步骤S8：进行中度振动提醒并同时进行语音提醒，进入步骤S9；
步骤S9：判断预设时间段内振动提醒次数是否超过第六阈值，若是，则控制车辆减速停车；
所述“对所述呼吸波进行处理并计算得呼吸波评价参数”，具体还包括步骤：
根据下式计算呼吸波能量：
∫(f(t)-fmin)2dt，f(t)为呼吸波强度，fmin为呼吸波实时波谷值。
2.根据权利要求1所述的一种驾驶员疲劳检测与提醒的方法，其特征在于，所述“对所述呼吸波进行处理并计算得呼吸波评价参数”，具体还包括步骤：
对所述呼吸波进行去噪处理。
3.根据权利要求2所述的一种驾驶员疲劳检测与提醒的方法，其特征在于，所述“对所述呼吸波进行去噪处理”，具体还包括步骤：
根据呼吸波信号特征，确认小波基、分解层数，并对含噪声的信号进行小波分解；
在最大分解尺度2j上搜索极值点，并设定阈值去除小的模极值点；
在j层极大值点的位置，为2j-1尺度的极值点构造一个搜索领域，通常为2j尺度模极值点位置+3个位置点；
根据搜索范围，把2j-1尺度极大值点落在该区域的点保留，其它位置置0；
令j＝j-1，重复上述操作，直到j＝2；
在j＝2层存在极值点的位置查询j＝1时相应极值点，其余位置将极值点置0；
对所有保留的模极大值进行重建，得到去噪后的信号。
4.根据权利要求1所述的一种驾驶员疲劳检测与提醒的方法，其特征在于，所述“对所述人脸图像进行处理并计算得人脸评价参数”，具体还包括步骤：
通过预设算法对所述人脸图像进行处理得人眼关键点；
对每帧图像进行人眼长宽比EAR的计算，
采用一个以时间窗口为输入的分类器，通过连接闭眼帧+3相邻帧的EAR序列作为一个7维特征进行训练，通过一个线性SVM分类器从标准眨眼训练集中训练实现眨眼识别，计算特定帧数的眨眼次数得眨眼频率；
嘴部张开角度采用下式计算：
H为嘴部内轮廓的高度，L为嘴部内轮廓的长度。
5.一种驾驶员疲劳检测与提醒的系统，其特征在于，包括：呼吸波采集模块、图像采集模块、从CPU模块和主CPU模块；
所述从CPU模块通信连接所述主CPU模块，所述呼吸波采集模块连接所述从CPU模块，所述图像采集模块连接所述主CPU模块；
所述呼吸波采集模块用于：采集目标对象的呼吸波，并发送所述呼吸波至所述从CPU模块；
所述图像采集模块用于：采集目标对象的人脸图像，并发送所述人脸图像至所述主CPU模块；
所述从CPU模块用于：对所述呼吸波进行处理并计算得呼吸波评价参数，并发送所述呼吸波评价参数至所述主CPU模块，所述呼吸波评价参数包括但不限于：呼吸波幅值、呼吸波能量；
所述主CPU模块用于：对所述人脸图像进行处理并计算得人脸评价参数，所述人脸评价参数包括但不限于：眨眼频率、嘴部张开角度；
所述主CPU模块还用于：对所述呼吸波评价参数和所述人脸评价参数进行分析得目标对象的疲劳程度，根据疲劳程度不同做出不同提醒；还包括：振动提醒模块和语音提醒模块，所述振动提醒模块连接所述从CPU模块，所述语音提醒模块连接所述主CPU模块；
所述主CPU模块还用于：判断预设间隔内所述呼吸波能量是否大于第一阈值，若所述呼吸波能量大于第一阈值，则判断同时间段的眨眼频率是否大于第二阈值，若同时间段的眨眼频率大于第二阈值，则发出指令给所述从CPU模块，所述从CPU模块控制所述振动提醒模块进行重度振动提醒，所述主CPU模块发出指令给语音提醒模块进行语音提醒，并判断预设时间段内振动提醒次数是否超过第六阈值，若是，则控制车辆减速停车；
所述主CPU模块还用于：若所述呼吸波能量不大于第一阈值，则判断呼吸波幅值是否大于第四阈值且嘴部张开角度是否大于第五阈值，若呼吸波幅值大于第四阈值且嘴部张开角度大于第五阈值，则发出指令给所述从CPU模块，所述从CPU模块控制所述振动提醒模块进行中度振动提醒，所述主CPU模块发出指令给语音提醒模块进行语音提醒，并判断预设时间段内振动提醒次数是否超过第六阈值，若是，则控制车辆减速停车；
所述主CPU模块还用于：若同时间段的眨眼频率不大于第二阈值，则判断同时间段的眨眼频率是否大于第三阈值，若同时间段的眨眼频率大于第三阈值，则发出指令给所述从CPU模块，所述从CPU模块控制所述振动提醒模块进行中度振动提醒，所述主CPU模块发出指令给语音提醒模块进行语音提醒，并判断预设时间段内振动提醒次数是否超过第六阈值，若是，则控制车辆减速停车；
所述主CPU模块还用于：若同时间段的眨眼频率不大于第三阈值，则发出指令给所述从CPU模块，所述从CPU模块控制所述振动提醒模块进行轻度振动提醒，所述主CPU模块发出指令给语音提醒模块进行语音提醒，并判断预设时间段内振动提醒次数是否超过第六阈值，若是，则控制车辆减速停车；
所述从CPU模块还用于：
根据下式计算呼吸波能量：
∫(f(t)-fmin)2dt，f(t)为呼吸波强度，fmin为呼吸波实时波谷值。
6.根据权利要求5所述的一种驾驶员疲劳检测与提醒的系统，其特征在于，所述从CPU模块还用于：
对所述呼吸波进行去噪处理。
7.根据权利要求6所述的一种驾驶员疲劳检测与提醒的系统，其特征在于，所述从CPU模块还用于：
根据呼吸波信号特征，确认小波基、分解层数，并对含噪声的信号进行小波分解；
在最大分解尺度2j上搜索极值点，并设定阈值去除小的模极值点；
在j层极大值点的位置，为2j-1尺度的极值点构造一个搜索领域，通常为2j尺度模极值点位置+3个位置点；
根据搜索范围，把2j-1尺度极大值点落在该区域的点保留，其它位置置0；
令j＝j-1，重复上述操作，直到j＝2；
在j＝2层存在极值点的位置查询j＝1时相应极值点，其余位置将极值点置0；
对所有保留的模极大值进行重建，得到去噪后的信号。
8.根据权利要求5所述的一种驾驶员疲劳检测与提醒的系统，其特征在于，
所述主CPU模块还用于：通过预设算法对所述人脸图像进行处理得人眼关键点；
对每帧图像进行人眼长宽比EAR的计算，
采用一个以时间窗口为输入的分类器，通过连接闭眼帧+3相邻帧的EAR序列作为一个7维特征进行训练，通过一个线性SVM分类器从标准眨眼训练集中训练实现眨眼识别，计算特定帧数的眨眼次数得眨眼频率；
嘴部张开角度采用下式计算：
H为嘴部内轮廓的高度，L为嘴部内轮廓的长度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110838694.6A CN113558621B (zh) | 2021-07-23 | 2021-07-23 | 一种驾驶员疲劳检测与提醒的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110838694.6A CN113558621B (zh) | 2021-07-23 | 2021-07-23 | 一种驾驶员疲劳检测与提醒的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113558621A CN113558621A (zh) | 2021-10-29 |
| CN113558621B true CN113558621B (zh) | 2023-08-01 |
Family
ID=78166895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110838694.6A Active CN113558621B (zh) | 2021-07-23 | 2021-07-23 | 一种驾驶员疲劳检测与提醒的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113558621B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116671938A (zh) * | 2023-07-27 | 2023-09-01 | 之江实验室 | 一种任务执行方法、装置、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103300869A (zh) * | 2013-05-29 | 2013-09-18 | 哈尔滨工业大学 | 基于人体呼吸信号的汽车驾驶员疲劳实时监测系统 |
| CN103714660A (zh) * | 2013-12-26 | 2014-04-09 | 苏州清研微视电子科技有限公司 | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 |
| CN104537806A (zh) * | 2014-11-11 | 2015-04-22 | 奇瑞汽车股份有限公司 | 一种基于摄像头的疲劳驾驶实时检测系统 |
| CN111166357A (zh) * | 2020-01-06 | 2020-05-19 | 四川宇然智荟科技有限公司 | 多传感器融合的疲劳监测装置系统及其监测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111079476B (zh) * | 2018-10-19 | 2024-03-26 | 上海商汤智能科技有限公司 | 驾驶状态分析方法和装置、驾驶员监控系统、车辆 |
-
2021
- 2021-07-23 CN CN202110838694.6A patent/CN113558621B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103300869A (zh) * | 2013-05-29 | 2013-09-18 | 哈尔滨工业大学 | 基于人体呼吸信号的汽车驾驶员疲劳实时监测系统 |
| CN103714660A (zh) * | 2013-12-26 | 2014-04-09 | 苏州清研微视电子科技有限公司 | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 |
| CN104537806A (zh) * | 2014-11-11 | 2015-04-22 | 奇瑞汽车股份有限公司 | 一种基于摄像头的疲劳驾驶实时检测系统 |
| CN111166357A (zh) * | 2020-01-06 | 2020-05-19 | 四川宇然智荟科技有限公司 | 多传感器融合的疲劳监测装置系统及其监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113558621A (zh) | 2021-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110077414B (zh) | 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统 | |
| CN205469262U (zh) | 基于嵌入式摄像识别技术的汽车车道保持辅助系统 | |
| CN106218405A (zh) | 疲劳驾驶监控方法及云端服务器 | |
| CN106515742B (zh) | 一种车道偏离预警方法及系统 | |
| WO2021017329A1 (zh) | 一种检测驾驶员分心的方法及装置 | |
| CN106627589A (zh) | 一种车辆行驶安全辅助方法、系统及车辆 | |
| CN112141118B (zh) | 一种智能驾驶系统及控制方法 | |
| CN103824420A (zh) | 基于心率变异性非接触式测量的疲劳驾驶识别系统 | |
| CN207637164U (zh) | 一种车载疲劳驾驶监控系统 | |
| CN104228838A (zh) | 一种防止疲劳驾驶的预警系统及其方法 | |
| CN106778618A (zh) | 一种疲劳驾驶监控预警系统 | |
| CN209795467U (zh) | 一种疲劳驾驶检测系统和车辆 | |
| CN108937923A (zh) | 一种基于脑电信号、眼电信号和肌电信号的疲劳驾驶监测系统 | |
| CN110334592A (zh) | 一种司机异常行为监测和安全保障系统及其方法 | |
| CN113558621B (zh) | 一种驾驶员疲劳检测与提醒的方法和系统 | |
| CN112220480A (zh) | 基于毫米波雷达和相机融合的驾驶员状态检测系统及车辆 | |
| CN104299363A (zh) | 基于多特征融合的疲劳驾驶预警系统 | |
| CN211427470U (zh) | 一种疲劳驾驶提醒装置 | |
| CN103832357A (zh) | 一种基于机器视觉的车道偏离警告系统及方法 | |
| CN205405809U (zh) | 一种基于智能手表的疲劳驾驶检测报警系统 | |
| CN107933425B (zh) | 一种基于物联网技术的车内生命探测系统 | |
| CN110525450A (zh) | 一种调节车载语音灵敏度的方法及系统 | |
| CN111899471A (zh) | 一种驾驶员疲劳监测系统 | |
| JP2010184067A (ja) | 生体状態推定装置 | |
| JPH0911773A (ja) | 車両走行状態検出装置及び居眠り運転警報装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |