CN111583585B - 一种信息融合的疲劳驾驶预警方法、系统、装置以及介质 - Google Patents

一种信息融合的疲劳驾驶预警方法、系统、装置以及介质 Download PDF

Info

Publication number
CN111583585B
CN111583585B CN202010452645.4A CN202010452645A CN111583585B CN 111583585 B CN111583585 B CN 111583585B CN 202010452645 A CN202010452645 A CN 202010452645A CN 111583585 B CN111583585 B CN 111583585B
Authority
CN
China
Prior art keywords
driver
fatigue driving
fatigue
alarm
heart rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010452645.4A
Other languages
English (en)
Other versions
CN111583585A (zh
Inventor
邓博
杨平
增田悟
张小勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Invo Automotive Electronics Co ltd
Original Assignee
Suzhou Invo Automotive Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Invo Automotive Electronics Co ltd filed Critical Suzhou Invo Automotive Electronics Co ltd
Priority to CN202010452645.4A priority Critical patent/CN111583585B/zh
Publication of CN111583585A publication Critical patent/CN111583585A/zh
Application granted granted Critical
Publication of CN111583585B publication Critical patent/CN111583585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data

Abstract

本发明提供了一种信息融合的疲劳驾驶预警方法、系统、装置以及介质，其鲁棒性更好，具有更强的克服不利条件的能力，提高准确性，不受天气影响，适合全天候应用，同时适用于所有驾驶人员，通过光学摄像头模组对驾驶者进行视频图像采集，检测视频图像数据中是否存在驾驶者的眼部特征以及检测眼部特征是否完整，若检测到存在驾驶者的眼部特征并且眼部特征完整，则根据采集的眼部特征进行基于机器视觉的疲劳检测，若发现驾驶者存在疲劳驾驶，则向对驾驶者进行报警；若检测到不存在驾驶者的眼部特征或者检测到的眼部特征不完整，则控制毫米比雷达发出毫米波监控驾驶者的心率，通过心率数据检测，若发现驾驶者存在疲劳驾驶，则向对驾驶者进行报警。

Description

一种信息融合的疲劳驾驶预警方法、系统、装置以及介质
技术领域
本发明属于车辆安全领域，具体涉及一种信息融合的疲劳驾驶预警方法、系统、装置以及介质。
背景技术
在交通飞速跃进的现代社会，开车的人数越来越多，疲劳驾驶使得道路事故急剧增加，给人民和社会的安全带来巨大隐患。所以对开车人进行实时疲劳程度检测越来越急迫和重要。基于机器视觉的疲劳检测，虽然为目前主流，但也受到光线和驾驶者个体因素等影响，效果并不是很理想。
现有的基于机器视觉的疲劳检测的应用缺点具体如下：
a、如果驾驶者带宽边眼睛，基于机器视觉的疲劳检测系统的摄像头很容易照射不到眼睛，造成系统失效；
b、当在外界光源很强的环境，基于机器视觉的疲劳检测系统的摄像头图像容易过曝，造成系统失效；
c、由于驾驶员个体差异，眼睛小等，系统失效；
d、容易被人戏耍，出现错误判断。
发明内容
针对上述问题，本发明提供了一种信息融合的疲劳驾驶预警方法、系统、装置以及介质，其鲁棒性更好，具有更强的克服不利条件的能力，准确性进一步提高，不受天气影响，适合全天候应用，同时适用于所有驾驶人员。
其技术方案是这样的：一种信息融合的疲劳驾驶预警方法，其特征在于，包括以下步骤：
通过光学摄像头模组对驾驶者进行视频图像采集，检测视频图像数据中是否存在驾驶者的眼部特征以及检测眼部特征是否完整，若检测到存在驾驶者的眼部特征并且眼部特征完整，则根据采集的视频图像数据中的眼部特征进行基于机器视觉的疲劳检测，检测驾驶者是否存在疲劳驾驶，若发现驾驶者存在疲劳驾驶，则向对驾驶者进行报警；
若检测到不存在驾驶者的眼部特征或者检测到的眼部特征不完整，则控制毫米比雷达发出毫米波监控驾驶者的心率，通过心率数据检测驾驶者是否存在疲劳驾驶，若发现驾驶者存在疲劳驾驶，则向对驾驶者进行报警。
进一步的，在进行基于机器视觉的疲劳检测时，通过采集驾驶者的眼部特征，得到驾驶者瞳孔大小的最大值和实时的瞳孔闭合百分比，通过计算眨眼频率、单位时间内眼睛闭合程度超过闭合阈值的时间占总时间的百分比，判断驾驶员是否疲劳驾驶。
进一步的，通过心率数据得到心率变异性功率谱数据进行滤波计算，得到低频均值LF、高频均值HF以及LF/HF比值，若发现低频均值LF上升、高频均值HF下降、LF/HF比值增加达到设定的阈值范围，则认为驾驶者存在疲劳驾驶的现象。
一种信息融合的疲劳驾驶预警系统，其特征在于，包括相连接的：机器视觉检测单元、毫米波检测单元、控制单元、报警单元；
机器视觉检测单元，用于对驾驶者进行视频图像采集，并将采集到的视频图像数据发送给控制单元，所述控制单元检测抓取视频图像数据中是否存在驾驶者的眼部特征以及眼部特征是否完整，若眼部特征完整，则根据采集的视频图像数据中的眼部特征进行基于机器视觉的疲劳检测，检测驾驶者是否存在疲劳驾驶，若发现驾驶者存在疲劳驾驶，则向所述报警单元发出报警指令，所述报警单元接收报警指令对驾驶者进行报警；若检测到眼部特征不完整，所述控制单元发出指令控制所述毫米波检测单元工作采集数据；
所述毫米波检测单元，用于发出毫米波监控驾驶者的心率，并将心率数据发送给控制单元，所述控制单元通过心率数据检测驾驶者是否存在疲劳驾驶，若发现驾驶者存在疲劳驾驶，则向所述报警单元发出报警指令，所述报警单元接收报警指令对驾驶者进行报警。
进一步的，所述机器视觉检测单元包括带有850nm或950nm近红外发光器的光学摄像头模组，用于支持白天和夜晚的图像视频采集，所述控制单元能够为所述机器视觉检测单元供电，所述光学摄像头模组安装在汽车仪表盘位置处，所述光学摄像头模组倾斜向上设置，用于对驾驶者的眼部特征进行视频图像采集。
进一步的，所述毫米波检测单元包括毫米波雷达，所述毫米波雷达安装在汽车A柱或座椅靠背内。
进一步的，所述机器视觉检测单元在进行基于机器视觉的疲劳检测时，进行人脸检测，获得驾驶者的脸部图像；对所部图像进行人脸关键点检测，获得脸部图像中眼部特征，通过采集驾驶者的眼部特征，得到驾驶者瞳孔大小的最大值和实时的瞳孔闭合百分比，通过计算眨眼频率、单位时间内眼睛闭合程度超过闭合阈值的时间占总时间的百分比，判断驾驶员是否疲劳驾驶。
进一步的，所述控制单元通过所述心率数据得到心率变异性功率谱数据进行滤波计算，得到低频均值LF、高频均值HF以及LF/HF比值，若发现低频均值LF上升、高频均值HF下降、LF/HF比值增加达到设定的阈值范围，则认为驾驶者存在疲劳驾驶的现象。
一种信息融合的疲劳驾驶预警装置，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上述的信息融合的疲劳驾驶预警方法。
一种计算机可读存储介质，其上存储有程序，其特征在于：所述程序被处理器执行时实现如上述的信息融合的疲劳驾驶预警方法。
本发明主要侧重于在原有机器视觉疲劳监控系统基础上，融合无接触测试心率的毫米波雷达，在机器视觉检测单元、毫米波检测单元双重系统下，疲劳驾驶预警在正常情况下使用机器视觉检测单元进行疲劳检测，毫米波检测单元作为辅助，而在检测到驾驶者不适合视觉检测或外界光源太强，图像过曝导致机器视觉检测单元无法采集到眼部特征时，切换到毫米波技术检测，图像检测为辅，使得系统鲁棒性更好，具有更强的克服不利条件的能力，准确性进一步提高，不受天气影响，适合全天候应用，同时适用于所有驾驶人员。
附图说明
图1为本发明的信息融合的疲劳驾驶预警系统的系统框图；
图2为本发明的毫米波检测单元工作的示意图。
具体实施方式
本发明的一种信息融合的疲劳驾驶预警方法，包括以下步骤：
通过光学摄像头模组对驾驶者进行视频图像采集，检测视频图像数据中是否存在驾驶者的眼部特征以及检测眼部特征是否完整，若检测到存在驾驶者的眼部特征并且眼部特征完整，则根据采集的视频图像数据中的眼部特征进行基于机器视觉的疲劳检测，检测驾驶者是否存在疲劳驾驶，若发现驾驶者存在疲劳驾驶，则向对驾驶者进行报警；
若检测到不存在驾驶者的眼部特征或者检测到的眼部特征不完整，则控制毫米比雷达发出毫米波监控驾驶者的心率，通过心率数据检测驾驶者是否存在疲劳驾驶，若发现驾驶者存在疲劳驾驶，则向对驾驶者进行报警。
具体的，在进行基于机器视觉的疲劳检测时，通过采集驾驶者的眼部特征，得到驾驶者瞳孔大小的最大值和实时的瞳孔闭合百分比，通过计算眨眼频率、单位时间内眼睛闭合程度超过闭合阈值的时间占总时间的百分比，判断驾驶员是否疲劳驾驶。
具体的，通过心率数据得到心率变异性功率谱数据进行滤波计算，得到低频均值LF、高频均值HF以及LF/HF比值，若发现低频均值LF上升、高频均值HF下降、LF/HF比值增加达到设定的阈值范围，则认为驾驶者存在疲劳驾驶的现象。
见图1、图2，在本发明的实施例中，还提供了一种信息融合的疲劳驾驶预警系统，包括相连接的：机器视觉检测单元1、毫米波检测单元2、控制单元3、报警单元4；
机器视觉检测单元1，用于对驾驶者进行视频图像采集，并将采集到的视频图像数据发送给控制单元3，控制单元3检测抓取视频图像数据中是否存在驾驶者的眼部特征以及眼部特征是否完整，若眼部特征完整，则根据采集的视频图像数据中的眼部特征进行基于机器视觉的疲劳检测，检测驾驶者是否存在疲劳驾驶，若发现驾驶者存在疲劳驾驶，则向报警单元4发出报警指令，报警单元4接收报警指令对驾驶者进行报警；若检测到眼部特征不完整，控制单元3发出指令控制毫米波检测单元2工作采集数据；
毫米波检测单元2，用于发出毫米波监控驾驶者的心率，并将心率数据发送给控制单元，控制单元3通过心率数据检测驾驶者是否存在疲劳驾驶，若发现驾驶者存在疲劳驾驶，则向报警单元4发出报警指令，报警单元4接收报警指令对驾驶者进行报警。
具体在本实施例中，机器视觉检测单元1包括带有850nm或950nm近红外发光器的光学摄像头模组，用于支持白天和夜晚的图像视频采集，控制单元3能够为机器视觉检测单元供电，光学摄像头模组安装在汽车仪表盘位置处，光学摄像头模组倾斜向上设置，用于对驾驶者的眼部特征进行视频图像采集。
具体在本实施例中，毫米波检测单元2包括毫米波雷达，毫米波雷达安装在汽车A柱或座椅靠背内。
具体的，机器视觉检测单元1在进行基于机器视觉的疲劳检测时，进行人脸检测，获得驾驶者的脸部图像；对所部图像进行人脸关键点检测，获得脸部图像中眼部特征，通过采集驾驶者的眼部特征，得到驾驶者瞳孔大小的最大值和实时的瞳孔闭合百分比，通过计算眨眼频率、单位时间内眼睛闭合程度超过闭合阈值的时间占总时间的百分比，判断驾驶员是否疲劳驾驶。
具体的，控制单元3通过心率数据得到心率变异性功率谱数据进行滤波计算，得到低频均值LF、高频均值HF以及LF/HF比值，若发现低频均值LF上升、高频均值HF下降、LF/HF比值增加达到设定的阈值范围，则认为驾驶者存在疲劳驾驶的现象。
以下举例说明本发明的信息融合的疲劳驾驶预警系统的工作过程：
场景1：阴天场景，光照强度适宜，驾驶者不戴眼镜，通过光学摄像头模组对驾驶者进行视频图像采集，检测视频图像数据中是否存在驾驶者的眼部特征以及检测眼部特征是否完整，检测到存在驾驶者的眼部特征并且眼部特征完整，然后根据采集的视频图像数据中的眼部特征进行基于机器视觉的疲劳检测，通过采集驾驶者的眼部特征，得到驾驶者瞳孔大小的最大值和实时的瞳孔闭合百分比，通过计算眨眼频率、单位时间内眼睛闭合程度超过闭合阈值的时间占总时间的百分比，当眨眼频率、单位时间内眼睛闭合程度超过闭合阈值的时间占总时间的百分比落入设定的被判定为疲劳驾驶的范围内时，则判断驾驶员为疲劳驾驶，想驾驶员进行报警。
场景2：驾驶员带宽边镜框，光学摄像头模组采集驾驶员的眼睛特征，某一高度的驾驶员，就行形成相机，宽边镜框，眼睛在一条线上的情况，宽边镜框会遮挡眼睛，相机无法采集到完整的眼睛特征，在此情况下，则启动控制毫米比雷达发出毫米波监控驾驶者的心率，通过心率数据检测驾驶者是否存在疲劳驾驶，通过心率数据得到心率变异性功率谱数据进行滤波计算，得到低频均值LF、高频均值HF以及LF/HF比值，若发现低频均值LF上升、高频均值HF下降、LF/HF比值增加达到设定的阈值范围，则认为驾驶者存在疲劳驾驶的现象，则向对驾驶者进行报警。
场景3：晴天场景，光照强度强烈且朝向驾驶者照射入驾驶室内，强光源带来大量红外线，红外光线能量过多导致采集的图像出现过曝现象，光学摄像头模组无法采集到驾驶员的眼睛特征，在此情况下，则启动控制毫米比雷达发出毫米波监控驾驶者的心率，通过心率数据检测驾驶者是否存在疲劳驾驶，通过心率数据得到心率变异性功率谱数据进行滤波计算，得到低频均值LF、高频均值HF以及LF/HF比值，若发现低频均值LF上升、高频均值HF下降、LF/HF比值增加达到设定的阈值范围，则认为驾驶者存在疲劳驾驶的现象，则向对驾驶者进行报警。
本发明主要侧重于在原有机器视觉疲劳监控系统基础上，融合无接触测试心率的毫米波雷达，在机器视觉检测单元、毫米波检测单元双重系统下，疲劳驾驶预警在正常情况下使用机器视觉检测单元进行疲劳检测，毫米波检测单元作为辅助，而在检测到驾驶者不适合视觉检测或外界光源太强，图像过曝导致机器视觉检测单元无法采集到眼部特征时，切换到毫米波技术检测，图像检测为辅，使得
系统鲁棒性更好，具有更强的克服不利条件的能力，准确性进一步提高，不受天气影响，适合全天候应用，同时适用于所有驾驶人员；
另外，光学摄像头模组安装在汽车仪表盘位置处，实现对驾驶员的疲劳检测，相比于现有技术通过佩戴产品进行检测是否低头能让驾驶员使用更方便，提高该系统的使用舒适度，通过非接触方式进行疲劳检测，可令驾驶员使用更为方便，避免传统的接触式测量给被检测者带来的不便，达到智能检测人体疲劳的效果，能用最简单的方法捕捉到人体所发出的极细微的疲劳信号，精确判断出人体当前所处疲劳状态。对提高工作效率，减少事故的发生以及保护人体健康，避免积劳成疾都有很大的作用。
在本发明的实施例中，还提供了一种信息融合的疲劳驾驶预警装置，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现如上述的信息融合的疲劳驾驶预警方法。
该装置可包括，但不仅限于处理器、存储器。本领域技术人员可以理解，本实施例仅仅是装置的举例，并不构成对装置的限定，可以包括比本实施例更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。
处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的数据处理程序，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。数据处理程序可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本发明的实施例中，还提供了一种计算机可读存储介质，其上存储有程序，其特征在于：程序被处理器执行时实现如上述的信息融合的疲劳驾驶预警方法。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、装置、和计算机程序产品的流程图和/或框图来描述的。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图和或中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图中指定的功能的步骤。
以上对本发明所提供的信息融合的疲劳驾驶预警方法、信息融合的疲劳驾驶预警系、信息融合的疲劳驾驶预警装置、一种计算机可读存储介质的应用进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种信息融合的疲劳驾驶预警方法，其特征在于，包括以下步骤：
通过光学摄像头模组对驾驶者进行视频图像采集，检测视频图像数据中是否存在驾驶者的眼部特征以及检测眼部特征是否完整，若检测到存在驾驶者的眼部特征并且眼部特征完整，则根据采集的视频图像数据中的眼部特征进行基于机器视觉的疲劳检测，检测驾驶者是否存在疲劳驾驶，若发现驾驶者存在疲劳驾驶，则向对驾驶者进行报警；
若检测到不存在驾驶者的眼部特征或者检测到的眼部特征不完整，则控制毫米比雷达发出毫米波监控驾驶者的心率，通过心率数据检测驾驶者是否存在疲劳驾驶，若发现驾驶者存在疲劳驾驶，则向对驾驶者进行报警；
在进行基于机器视觉的疲劳检测时，通过采集驾驶者的眼部特征，得到驾驶者瞳孔大小的最大值和实时的瞳孔闭合百分比，通过计算眨眼频率、单位时间内眼睛闭合程度超过闭合阈值的时间占总时间的百分比，判断驾驶员是否疲劳驾驶；
通过心率数据得到心率变异性功率谱数据进行滤波计算，得到低频均值LF、高频均值HF以及LF/HF比值，若发现低频均值LF上升、高频均值HF下降、LF/HF比值增加达到设定的阈值范围，则认为驾驶者存在疲劳驾驶的现象。
2.一种信息融合的疲劳驾驶预警系统，其特征在于，包括相连接的：机器视觉检测单元、毫米波检测单元、控制单元、报警单元；
机器视觉检测单元，用于对驾驶者进行视频图像采集，并将采集到的视频图像数据发送给控制单元，所述控制单元检测抓取视频图像数据中是否存在驾驶者的眼部特征以及眼部特征是否完整，若眼部特征完整，则根据采集的视频图像数据中的眼部特征进行基于机器视觉的疲劳检测，检测驾驶者是否存在疲劳驾驶，若发现驾驶者存在疲劳驾驶，则向所述报警单元发出报警指令，所述报警单元接收报警指令对驾驶者进行报警；
若检测到眼部特征不完整，所述控制单元发出指令控制所述毫米波检测单元工作采集数据；所述毫米波检测单元通过发出毫米波监控驾驶者的心率，并将心率数据发送给控制单元，所述控制单元通过心率数据检测驾驶者是否存在疲劳驾驶，若发现驾驶者存在疲劳驾驶，则向所述报警单元发出报警指令，所述报警单元接收报警指令对驾驶者进行报警；
所述机器视觉检测单元包括带有850nm或950nm近红外发光器的光学摄像头模组，用于支持白天和夜晚的图像视频采集，所述控制单元能够为所述机器视觉检测单元供电，所述光学摄像头模组安装在汽车仪表盘位置处，所述光学摄像头模组倾斜向上设置，用于对驾驶者的眼部特征进行视频图像采集；
所述毫米波检测单元包括毫米波雷达，所述毫米波雷达安装在汽车A柱或座椅靠背内；
所述机器视觉检测单元在进行基于机器视觉的疲劳检测时，进行人脸检测，获得驾驶者的脸部图像；对所部图像进行人脸关键点检测，获得脸部图像中眼部特征，通过采集驾驶者的眼部特征，得到驾驶者瞳孔大小的最大值和实时的瞳孔闭合百分比，通过计算眨眼频率、单位时间内眼睛闭合程度超过闭合阈值的时间占总时间的百分比，判断驾驶员是否疲劳驾驶；
通过所述心率数据得到心率变异性功率谱数据进行滤波计算，得到低频均值LF、高频均值HF以及LF/HF比值，若发现低频均值LF上升、高频均值HF下降、LF/HF比值增加达到设定的阈值范围，则认为驾驶者存在疲劳驾驶的现象。
3.一种信息融合的疲劳驾驶预警装置，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1所述的信息融合的疲劳驾驶预警方法。
4.一种计算机可读存储介质，其上存储有程序，其特征在于：所述程序被处理器执行时实现如权利要求1所述的信息融合的疲劳驾驶预警方法。
CN202010452645.4A 2020-05-26 2020-05-26 一种信息融合的疲劳驾驶预警方法、系统、装置以及介质 Active CN111583585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010452645.4A CN111583585B (zh) 2020-05-26 2020-05-26 一种信息融合的疲劳驾驶预警方法、系统、装置以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010452645.4A CN111583585B (zh) 2020-05-26 2020-05-26 一种信息融合的疲劳驾驶预警方法、系统、装置以及介质

Publications (2)

Publication Number Publication Date
CN111583585A CN111583585A (zh) 2020-08-25
CN111583585B true CN111583585B (zh) 2021-12-31

Family

ID=72116576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010452645.4A Active CN111583585B (zh) 2020-05-26 2020-05-26 一种信息融合的疲劳驾驶预警方法、系统、装置以及介质

Country Status (1)

Country Link
CN (1) CN111583585B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112168636B (zh) * 2020-09-24 2023-02-03 华人运通(上海)云计算科技有限公司 车内视力改善装置、设备及系统
US20220132052A1 (en) * 2020-10-26 2022-04-28 Epilog Imaging Systems Inc. Imaging method and device
CN113838265B (zh) * 2021-09-27 2023-05-30 科大讯飞股份有限公司 疲劳驾驶预警方法、装置以及电子设备
CN114041794B (zh) * 2021-11-23 2023-04-25 浙江大学 驾驶状态的监测方法、装置和系统
CN114572330B (zh) * 2022-02-22 2024-03-08 深圳飞亮智能科技有限公司 一种基于毫米波雷达的电动车智能车载终端
CN115227247B (zh) * 2022-07-20 2023-12-26 中南大学 基于多源信息融合的疲劳驾驶检测方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0468500A (ja) * 1990-07-09 1992-03-04 Toyota Motor Corp 車両運転者監視装置
CN103714660A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN108995531A (zh) * 2018-08-09 2018-12-14 爱驰汽车有限公司 用于汽车的疲劳报警装置及方法
CN109389806A (zh) * 2018-11-08 2019-02-26 山东大学 基于多信息融合的疲劳驾驶检测预警方法、系统及介质
CN111062292A (zh) * 2019-12-10 2020-04-24 哈尔滨工程大学 一种疲劳驾驶检测装置与方法
CN111080940A (zh) * 2019-11-28 2020-04-28 同济大学 一种基于阈值体系的疲劳驾驶预警方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0468500A (ja) * 1990-07-09 1992-03-04 Toyota Motor Corp 車両運転者監視装置
CN103714660A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN108995531A (zh) * 2018-08-09 2018-12-14 爱驰汽车有限公司 用于汽车的疲劳报警装置及方法
CN109389806A (zh) * 2018-11-08 2019-02-26 山东大学 基于多信息融合的疲劳驾驶检测预警方法、系统及介质
CN111080940A (zh) * 2019-11-28 2020-04-28 同济大学 一种基于阈值体系的疲劳驾驶预警方法及系统
CN111062292A (zh) * 2019-12-10 2020-04-24 哈尔滨工程大学 一种疲劳驾驶检测装置与方法

Also Published As

Publication number Publication date
CN111583585A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111583585B (zh) 一种信息融合的疲劳驾驶预警方法、系统、装置以及介质
CN103318023B (zh) 车载实时智能疲劳监控及辅助装置
CN101574260B (zh) 车载疲劳预警装置及方法
CN106236046A (zh) 驾驶员疲劳监测系统
US20060287779A1 (en) Method of mitigating driver distraction
JP5666383B2 (ja) 眠気推定装置及び眠気推定方法
Liu et al. Driver fatigue detection through pupil detection and yawing analysis
WO2008090451A2 (en) Anti-drowsing device and anti-drowsing method
JP4677963B2 (ja) 居眠り検知装置、居眠り検知方法
CN113838265B (zh) 疲劳驾驶预警方法、装置以及电子设备
JP4655035B2 (ja) 居眠り検知装置、居眠り検知方法
CN110575163A (zh) 一种检测驾驶员分心的方法及装置
CN103886288B (zh) 一种瞌睡检测方法及其系统
Tang et al. Real-time image-based driver fatigue detection and monitoring system for monitoring driver vigilance
JP2009219555A (ja) 眠気検知装置、運転支援装置、眠気検知方法
US11398112B2 (en) Pulse wave detection device, vehicle device, and pulse wave detection program
JP2013257637A (ja) 人検出装置
RU2413632C2 (ru) Способ предупреждения засыпания водителя транспортного средства
Cheon et al. Sensor-based driver condition recognition using support vector machine for the detection of driver drowsiness
JP2010184067A (ja) 生体状態推定装置
JPH08290726A (ja) 居眠り警報装置
Hyder et al. The smart automobile (SAM): an application based on drowsiness detection, alcohol detection, vital sign monitoring and lane based auto drive to avoid accidents
JP5050794B2 (ja) 眠気検知装置、眠気検知方法
CN114041794B (zh) 驾驶状态的监测方法、装置和系统
CN113558621B (zh) 一种驾驶员疲劳检测与提醒的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant