CN109697831A - 疲劳驾驶监测方法、装置及计算机可读存储介质 - Google Patents

疲劳驾驶监测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN109697831A
CN109697831A CN201910139673.8A CN201910139673A CN109697831A CN 109697831 A CN109697831 A CN 109697831A CN 201910139673 A CN201910139673 A CN 201910139673A CN 109697831 A CN109697831 A CN 109697831A
Authority
CN
China
Prior art keywords
fatigue
visual signature
sample
network model
exponent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910139673.8A
Other languages
English (en)
Inventor
邓淑龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Ecarx Technology Co Ltd
Original Assignee
Hubei Ecarx Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Ecarx Technology Co Ltd filed Critical Hubei Ecarx Technology Co Ltd
Priority to CN201910139673.8A priority Critical patent/CN109697831A/zh
Publication of CN109697831A publication Critical patent/CN109697831A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Child & Adolescent Psychology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Emergency Management (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种疲劳驾驶监测方法、装置及计算机可读存储介质，涉及疲劳检测技术领域。该方法包括：获取驾驶员的人脸图像的视觉特征；将视觉特征输入训练好的网络模型，得到视觉特征对应的人脑电波信号表征的疲劳指数，其中，网络模型通过同步获得的样本人脸图像对应的视觉特征和样本脑电波信号进行多次训练获得；根据疲劳指数确定疲劳状态。脑电波信号能精确反映驾驶员的疲劳状况，通过视觉特征和脑电波信号训练获得的网络模型，能通过采集驾驶员的人脸图像，准确的判断驾驶员的疲劳状况。

Description

疲劳驾驶监测方法、装置及计算机可读存储介质
技术领域
本发明涉及疲劳检测技术领域，具体而言，涉及一种疲劳驾驶监测方法、装置及计算机可读存储介质。
背景技术
驾驶员疲劳驾驶是引发交通事故的重要原因之一，每年因疲劳驾驶造成大量的人员伤亡，直接或间接的导致了巨额的经济损失。
现有技术的疲劳驾驶预警方法，通常是对面部特征，如眼睛、嘴巴等的开合情况进行统计，并且对统计的开合情况与预设开合情况进行比较，从而判断驾驶员是否处于疲劳驾驶状态。
仅通过当前的面部特征的变化，例如，眼睛的开合状态来判断驾驶人员是否处于疲劳状态，容易对疲劳状态引起误判。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种疲劳驾驶监测方法、装置及计算机可读存储介质，使用经驾驶员的脑电波信号和人脸图像对应的视觉特征训练而成的网络模型，能够准确的判断驾驶员的疲劳状况。
为实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种疲劳驾驶监测方法，包括：获取驾驶员的人脸图像的视觉特征；将所述视觉特征输入训练好的网络模型，得到所述视觉特征对应的人脑电波信号表征的疲劳指数，其中，所述网络模型通过样本人脸图像对应的视觉特征和同步获得的样本脑电波信号进行多次训练获得；根据所述疲劳指数确定疲劳状态。
可选地，所述网络模型通过样本人脸图像对应的视觉特征和同步获得的样本脑电波信号进行多次训练获得，包括：通过摄像设备采集当前时刻的所述样本人脸图像；基于当前时刻的所述样本人脸图像获取所述视觉特征，同步获取当前时刻的所述样本人脸图像对应的测试人员的样本脑电波信号；根据所述样本脑电波信号计算所述样本脑电波信号对应的疲劳指数，其中所述疲劳指数用于指示疲劳状况；将所述视觉特征和所述疲劳指数输入所述网络模型，对所述网络模型进行训练，以建立所述视觉特征和所述疲劳指数之间的映射关系；多次执行上述步骤对所述网络模型进行训练，获得训练好的所述网络模型。
可选地，所述视觉特征包括下述任一项或多项的组合：头部部位变化特征、眼睛部位变化特征、嘴巴部位变化特征。
可选地，所述根据所述疲劳指数确定疲劳状态，包括：根据所述疲劳指数所在的阈值区间，判断所述疲劳等级。
可选地，所述根据所述疲劳指数所在的阈值区间，判断所述疲劳等级之后，还包括：根据所述疲劳等级产生疲劳报警信息。
可选地，所述根据所述疲劳等级产生疲劳报警信息，包括：若所述疲劳指数在第一阈值区间内，则确定所述驾驶员不疲劳，不进行报警；若所述疲劳指数在第二阈值区间内，则进行第一级别报警；若所述疲劳指数在第三阈值区间内，则进行第二级别报警。
第二方面，本发明实施例还提供了一种疲劳驾驶监测装置，包括：获取模块、确定模块；所示获取模块，用于获取驾驶员的人脸图像的视觉特征；所述确定模块，用于将所述视觉特征输入训练好的网络模型，得到所述视觉特征对应的人脑电波信号表征的疲劳指数，其中，所述网络模型通过样本人脸图像对应的视觉特征和同步获得的样本脑电波信号进行多次训练获得；根据所述疲劳指数确定疲劳状态。
可选地，所述装置还包括：训练模块；所述获取模块，还用于通过摄像设备采集当前时刻的所述样本人脸图像；基于当前时刻的所述样本人脸图像获取所述视觉特征，同步获取当前时刻的所述样本人脸图像对应的测试人员的样本脑电波信号；通过脑电图采集设备采集当前时刻的所述样本脑电波信号；根据所述样本脑电波信号计算所述样本脑电波信号对应的疲劳指数，其中所述疲劳指数用于指示疲劳状况；所述训练模块，用于将所述视觉特征和所述疲劳指数输入所述网络模型，对网络模型进行训练，以建立所述视觉特征和所述疲劳指数之间的映射关系；多次执行上述步骤对所述网络模型进行训练，获得训练好的所述网络模型。
可选地，所述确定模块，具体用于根据所述疲劳指数所在的阈值区间，判断所述疲劳等级。
第三方面，本发明实施例还提供了一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有程序，该程序在被处理器执行时用于执行第一方面所述的方法。
本发明的有益效果是：脑电波信号能准确的反应驾驶人员的疲劳状况，使用经驾驶员的人脑电波信号和人脸图像对应的视觉特征训练获得的网络模型，能够通过驾驶员的人脸图像，准确的判断驾驶员的疲劳状况。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的疲劳驾驶监测方法的流程示意图；
图2为本申请一实施例提供的回归模型训练方法的流程示意图；
图3为本申请另一实施例提供的疲劳驾驶监测方法的流程示意图；
图4为本申请另一实施例提供的疲劳驾驶监测方法的流程示意图；
图5为本申请一实施例提供的疲劳驾驶监测装置结构示意图；
图6为本申请另一实施例提供的疲劳驾驶监测装置结构示意图；
图7为本申请另一实施例提供的疲劳驾驶监测方法的计算机可读存储介质结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
图1为本申请一实施例提供的疲劳驾驶监测方法的流程示意图，如图1所示，该方法包括：
S101、获取驾驶员的人脸图像的视觉特征。
可选地，通过摄像设备采集驾驶人员的人脸图像。摄像设备可以为红外摄像机。摄像设备安装在驾驶员的正前方，获取摄像设备采集的驾驶员的人脸图像。
可选地，该视觉特征可以通过多种不同的人脸特征定位算法获得，例如ASM(Active Shap Model，主动形状模型)算法、AAM(Active AppreanceModle，主动外观模型)算法等，根据人脸图像对面部特征进行定位，并获取视觉特征。
S102、将视觉特征输入训练好的网络模型，得到视觉特征对应的人脑电波信号表征的疲劳指数。其中，网络模型通过样本人脸图像对应的视觉特征和同步获得的样本脑电波信号进行多次训练获得。
S103、根据疲劳指数确定疲劳状态。
其中，驾驶员的疲劳状况可以以输出值的形式表示，通过输出值可以判断驾驶员的疲劳状态。
本实施例中，通过人脑电波信号和人脸图像训练获得的网络模型，建立了人脑电波对应的疲劳指数和人脸图像对应的视觉特征之间的映射关系。由于人脑电波信号能准确的反应驾驶人员的疲劳状态，因此与人脑电波信号对应的疲劳指数能准确反映驾驶员的疲劳状况，将驾驶员的人脸图像输入网络模型，根据该映射关系，获得对应的疲劳指数，通过该疲劳指数，能准确的判断驾驶员的疲劳状况。
进一步地，网络模型通过样本人脸图像对应的视觉特征和同步获得的样本脑电波信号进行多次训练获得，图2为本申请一实施例提供的回归模型训练方法的流程示意图，如图2所示，网络模型经视觉特征和人脑电波信号训练所得，下面给出一种网络模型训练的可能实现方式，具体的，该方法包括如下步骤：
S201、通过摄像设备采集当前时刻的样本人脸图像。
S202、基于当前时刻的样本人脸图像获取视觉特征，同步获取当前时刻的样本人脸图像对应的测试人员的样本脑电波信号。
可选地，样本脑电波信号可通过脑电图采集设备采集，例如通过脑电图机采集样本脑电波信号。
S203、根据样本脑电波信号计算样本脑电波信号对应的疲劳指数，其中疲劳指数用于指示人的疲劳状况。
在人体大脑内部，脑电波中alpha波越多时，人的意识活动会受到抑制，无法进行逻辑思维和推理活动，因此可以通过alpha波来判断驾驶员的疲劳状态。
可选地，脑电图采集设备采集的样本脑电波信号，可以使用小波包分解法提取样本脑电波测试数据中的alpha波。
进而，计算alpha波的疲劳指数。疲劳指数用于指示测试驾驶员疲劳状况。其中，疲劳指数可以为李雅普诺夫指数。当李雅普诺夫指数越小时，测试驾驶员越疲劳。
S204、将视觉特征和疲劳指数输入网络模型，对网络模型进行训练，以建立视觉特征和疲劳指数之间的映射关系。
需要说明的是，网络模型训练的目的是建立视觉特征和疲劳指数之间的映射关系。在使用训练后的网络模型时，输入驾驶人员的人脸图像，通过人脸图像获取视觉特征，并根据视觉特征和疲劳指数之间的映射关系，输出对应的疲劳指数。进而根据疲劳指数确定驾驶员的疲劳状况。
对于本发明实施例提供的网络模型训练方式，可以使用GBDT(Gradient BoostDecision Tree，梯度提升决策树)回归算法实现。
多次执行上述步骤对网络模型进行训练，获得训练好的网络模型。
在训练网络模型时，作为训练样本的人脸图像以及相同时刻采集的人脑电波信号为多组，对网络模型进行多次培训。训练样本越多，训练后的网络模型对疲劳状态的判断越准确。
还需要说明的是，网络模型训练成功后可用于判断驾驶员的疲劳状态。
本实施例中提供的用于监测驾驶员疲劳状况的网络模型的训练方法，通过采集驾驶员的人脑电波信号获取疲劳指数与通过人脸图像获取的视觉特征，建立视觉特征与疲劳指数的映射关系。通过使用训练后的网络模型来判断驾驶员的疲劳状况，一方面能避免脑电图采集设备安装在车内占用空间过大，影响驾驶员的注意力，耗费成本过高等缺点，另一方面能够通过对驾驶员人脸图像获取的视觉特征准确的判断出驾驶员的疲劳状况。
可选地，视觉特征包括下述任一项或多项的组合：头部部位变化特征、眼睛部位变化特征、嘴巴部位变化特征。
下面给出几种获取视觉特征可能的实现方式：
头部部位变化特征可以为头部偏离值。在预设时间段内，存在连续的若干张图像信息的头部位置像素变化，并获取头部的偏离范围。统计预设时间段内头部的偏离范围的平均值，获得头部偏离值。
眼睛部位变化特征可以为眨眼频率，在预设时间段内，存在连续的若干张图像信息的眼睛上下眼睑位置的像素变化，且获取上下眼睑之间的距离，在预设时间段内统计上下眼睑之间的平均距离。上下眼睑之间的距离小于预设距离，例如，预设距离可以为平均距离的20％，则确定为眼睛闭合。统计在预设时间段内，眼睛闭合的图像信息的张数与总张数的比值为眨眼频率。
嘴巴部位变化特征可以为哈欠频率，在预设时间段内，存在连续的若干张嘴巴位置像素变化，获取嘴巴变化的程度，若嘴巴变化的程度大于预设阈值，则确定为打哈欠，并统计预设时间段内哈欠频率。
可选地，在图1的基础上，可以对上述实施例中获得的疲劳状态进行分类，以划分不同的疲劳等级，下面给出一种可能的实现方式，具体的，图3为本申请另一实施例提供的疲劳驾驶监测方法的流程示意图，如图3所示，根据疲劳指数确定疲劳状态，包括：可选地，S103，包括：S103a、根据疲劳指数所在的阈值区间，判断疲劳等级。
疲劳状况以输出值的形式表示。设置不同的阈值区间，不同的阈值区间表示不同的疲劳状况，通过判断输出值所在的阈值区间，判断出驾驶员的疲劳状态。
在S103a之后，还可以执行S104。
S104、根据疲劳等级产生疲劳报警信息。
可选地，在图3的基础上，可以对上述实施例中的疲劳报警信号进行分类，对不同程度的疲劳状况采用不同形式的预警，下面给示出一种可能的实现方式，具体的，图4为本申请另一实施例提供的疲劳驾驶监测方法的流程示意图，如图4所示，S104，包括：
S104a、若疲劳指数在第一阈值区间内，则确定驾驶员不疲劳，不进行报警。
具体的，疲劳指数可以为人脸图像对应的人脑电波信号中alpha波对应的李雅普诺夫指数。针对不同的疲劳状况，可以将疲劳状态分为3个区间，例如第一阈值区间、第二阈值区间和第三阈值区间，且第一阈值区间的数值>第二阈值区间的数值>第三阈值区间的数值。李雅普诺夫指数越小，驾驶员越疲劳。第一阈值区间、第二阈值区间、第三阈值区间代表的疲劳状况越明显，如果疲劳指数在第一阈值区间可代表驾驶员不疲劳，在第二阈值区间可代表驾驶员略微疲劳，在第三阈值区间可代表驾驶员疲劳。
可选地，若输出值在第一阈值区间内，则不进行预警。
S104b、若疲劳指数在第二阈值区间内，则进行第一级别报警。
可选地，若输出值在第二阈值区间内，则可以通过语音播报等方式进行预警，提醒驾驶员休息一段时间可继续驾驶。
S104c、若疲劳指数在第三阈值区间内，则进行第二级别报警。
可选地，若输出值在第三阈值区间内，则可以通过语音播报等方式进行预警，若在该区间内，预警时间过长，可以将驾驶员在该区间内的人脸图像发送至监管部门。
图5为本申请一实施例提供的疲劳驾驶监测装置结构示意图，如图5所示，提供一种疲劳驾驶监测装置以执行上述方法类实施例中对应的功能，该装置包括：获取模块301和确定模块302。
获取模块301，用于获取驾驶员的人脸图像的视觉特征。
确定模块302，用于将视觉特征输入训练好的网络模型，得到视觉特征对应的脑电波信号表征的疲劳指数，其中，网络模型通过人脸图像对应的视觉特征和同步获得的脑电波信号进行多次训练获得；根据疲劳指数确定疲劳状态。
在图5的基础上，新增训练模块401用于模型的训练，图6为本申请另一实施例提供的疲劳驾驶监测装置结构示意图，如图6所示，该装置还包括：训练模块401。
获取模块301，还用于通过摄像设备采集当前时刻的样本人脸图像；基于当前时刻的样本人脸图像获取视觉特征，同步获取当前时刻的样本人脸图像对应的测试人员的样本脑电波信号；通过脑电图采集设备采集当前时刻的样本脑电波信号；根据样本脑电波信号计算样本脑电波信号对应的疲劳指数，其中疲劳指数用于指示人的疲劳状况。
训练模块401，用于将视觉特征和疲劳指数输入网络模型，对网络模型进行训练，以建立视觉特征和疲劳指数之间的映射关系；多次执行上述步骤对网络模型进行训练，获得训练好的网络模型。
需要说明的是，训练模块401训练获得的回归模型用于判断模块302对疲劳状况的判断。
可选地，训练模块401可以是同获取模块301、判断模块302一起集成在疲劳驾驶监测装置内。也可以是通过接口，例如USB(Universal Serial Bus，通用串行总线)接口，与该装置连接，用于该装置在使用前的回归模型的训练，在获得训练好的回归模型后，可以与该装置分离，并且可重复使用为疲劳驾驶监测装置训练回归模型。
可选地，确定模块302，具体用于根据疲劳指数所在的阈值区间，判断疲劳等级。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图7为本申请另一实施例提供的疲劳驾驶监测方法的计算机可读存储介质结构示意图，该装置可以集成于终端设备，例如用户的手机、平板、电脑等，或者终端设备的芯片，并且安装在用户的车内，该终端可以是具备图像处理功能的计算设备。
该装置包括：存储器501、处理器502、摄像头503和总线504。
存储器501和处理器502总线504连接，处理器502和摄像头503总线504连接，存储器501用于存储程序，摄像头503用于采集驾驶员的人脸图像，处理器502接收摄像头503采集的图像数据并且调用存储器501存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，该计算机可读存储介质上存储有程序，该程序在被处理器执行时用于执行上述方法实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种疲劳驾驶监测方法，其特征在于，包括：
获取驾驶员的人脸图像的视觉特征；
将所述视觉特征输入训练好的网络模型，得到所述视觉特征对应的人脑电波信号表征的疲劳指数，其中，所述网络模型通过样本人脸图像对应的视觉特征和同步获得的样本脑电波信号进行多次训练获得；
根据所述疲劳指数确定疲劳状态。
2.如权利要求1所述的疲劳驾驶监测方法，其特征在于，所述网络模型通过样本人脸图像对应的视觉特征和同步获得的样本脑电波信号进行多次训练获得，包括：
通过摄像设备采集当前时刻的所述样本人脸图像；
基于当前时刻的所述样本人脸图像获取所述视觉特征，同步获取当前时刻的所述样本人脸图像对应的测试人员的样本脑电波信号；根据所述样本脑电波信号计算所述样本脑电波信号对应的疲劳指数，其中所述疲劳指数用于指示疲劳状况；
将所述视觉特征和所述疲劳指数输入所述网络模型，对所述网络模型进行训练，以建立所述视觉特征和所述疲劳指数之间的映射关系；多次执行上述步骤对所述网络模型进行训练，获得训练好的所述网络模型。
3.如权利要求2所述的疲劳驾驶监测方法，其特征在于，所述视觉特征包括下述任一项或多项的组合：头部部位变化特征、眼睛部位变化特征、嘴巴部位变化特征。
4.如权利要求1所述的疲劳驾驶监测方法，其特征在于，所述根据所述疲劳指数确定疲劳状态，包括：
根据所述疲劳指数所在的阈值区间，判断所述疲劳等级。
5.如权利要求4所述的疲劳驾驶监测方法，其特征在于，所述根据所述疲劳指数所在的阈值区间，判断所述疲劳等级之后，还包括：
根据所述疲劳等级产生疲劳报警信息。
6.如权利要求5所述的疲劳驾驶监测方法，其特征在于，所述根据所述疲劳等级产生疲劳报警信息，包括：
若所述疲劳指数在第一阈值区间内，则确定所述驾驶员不疲劳，不进行报警；
若所述疲劳指数在第二阈值区间内，则进行第一级别报警；
若所述疲劳指数在第三阈值区间内，则进行第二级别报警。
7.一种疲劳驾驶监测装置，其特征在于，包括：获取模块、确定模块；
所示获取模块，用于获取驾驶员的人脸图像的视觉特征；
所述确定模块，用于将所述视觉特征输入训练好的网络模型，得到所述视觉特征对应的人脑电波信号表征的疲劳指数，其中，所述网络模型通过样本人脸图像对应的视觉特征和同步获得的样本脑电波信号进行多次训练获得；根据所述疲劳指数确定疲劳状态。
8.如权利要求7所述的疲劳驾驶监测装置，其特征在于，还包括：训练模块；
所述获取模块，还用于通过摄像设备采集当前时刻的所述样本人脸图像；基于当前时刻的所述样本人脸图像获取所述视觉特征，同步获取当前时刻的所述样本人脸图像对应的测试人员的样本脑电波信号；通过脑电图采集设备采集当前时刻的所述样本脑电波信号；根据所述样本脑电波信号计算所述样本脑电波信号对应的疲劳指数，其中所述疲劳指数用于指示疲劳状况；
所述训练模块，用于将所述视觉特征和所述疲劳指数输入所述网络模型，对网络模型进行训练，以建立所述视觉特征和所述疲劳指数之间的映射关系；多次执行上述步骤对所述网络模型进行训练，获得训练好的所述网络模型。
9.如权利要求7所述的疲劳驾驶监测装置，其特征在于，所述确定模块，具体用于根据所述疲劳指数所在的阈值区间，判断所述疲劳等级。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有程序，该程序在被处理器执行时用于执行上述权利要求1-6任一项所述的方法。
CN201910139673.8A 2019-02-25 2019-02-25 疲劳驾驶监测方法、装置及计算机可读存储介质 Pending CN109697831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910139673.8A CN109697831A (zh) 2019-02-25 2019-02-25 疲劳驾驶监测方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910139673.8A CN109697831A (zh) 2019-02-25 2019-02-25 疲劳驾驶监测方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109697831A true CN109697831A (zh) 2019-04-30

Family

ID=66234900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910139673.8A Pending CN109697831A (zh) 2019-02-25 2019-02-25 疲劳驾驶监测方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109697831A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110091874A (zh) * 2019-05-07 2019-08-06 绍兴天宏激光科技有限公司 一种基于表情识别的安全驾驶系统及识别方法
CN110989843A (zh) * 2019-12-13 2020-04-10 歌尔股份有限公司 图像虚拟呈现电路、方法、系统及可穿戴设备
CN111860098A (zh) * 2020-04-21 2020-10-30 北京嘀嘀无限科技发展有限公司 一种疲劳驾驶的检测方法、装置、电子设备和介质
CN111950371A (zh) * 2020-07-10 2020-11-17 上海淇毓信息科技有限公司 疲劳驾驶预警方法及其装置、电子设备、存储介质
CN114209325A (zh) * 2021-12-23 2022-03-22 东风柳州汽车有限公司 驾驶员疲劳行为监控方法、装置、设备及存储介质
CN114241719A (zh) * 2021-12-03 2022-03-25 广州宏途教育网络科技有限公司 一种学生学习中视觉疲劳状态监测方法、装置及存储介质
CN115035608A (zh) * 2022-05-26 2022-09-09 支付宝(杭州)信息技术有限公司 活体检测方法、装置、设备及系统
CN115067945A (zh) * 2022-08-22 2022-09-20 深圳市海清视讯科技有限公司 疲劳检测方法、装置、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104146722A (zh) * 2014-08-18 2014-11-19 吉林大学 一种基于头部信号的驾驶疲劳检测分级预警装置及方法
CN104503592A (zh) * 2015-01-23 2015-04-08 北京智谷睿拓技术服务有限公司 头部动作确定方法和装置
CN105336105A (zh) * 2015-11-30 2016-02-17 宁波力芯科信息科技有限公司 一种预防疲劳驾驶的方法、智能设备及系统
CN105678959A (zh) * 2016-02-25 2016-06-15 重庆邮电大学 一种疲劳驾驶监控预警方法及系统
CN105701973A (zh) * 2016-04-26 2016-06-22 成都远控科技有限公司 基于脑电波采集的疲劳检测及预警方法和系统
CN106344008A (zh) * 2016-09-21 2017-01-25 广州视源电子科技股份有限公司 睡眠状态分析中清醒状态检测方法和系统
CN106539581A (zh) * 2016-12-07 2017-03-29 中国民用航空总局第二研究所 基于概率统计方法的管制员疲劳检测方法及系统
CN106580350A (zh) * 2016-12-07 2017-04-26 中国民用航空总局第二研究所 一种疲劳状况监测方法及装置
CN107256332A (zh) * 2017-05-24 2017-10-17 上海交通大学 基于眼动数据的脑电实验评估系统及方法
CN207545073U (zh) * 2017-05-12 2018-06-29 杭州电子科技大学 一种基于眨眼信号分析的疲劳驾驶智能识别装置
CN108310759A (zh) * 2018-02-11 2018-07-24 广东欧珀移动通信有限公司 信息处理方法及相关产品
CN108415738A (zh) * 2018-02-23 2018-08-17 广东欧珀移动通信有限公司 电子设备、设备控制方法及相关产品
CN108596087A (zh) * 2018-04-23 2018-09-28 合肥湛达智能科技有限公司 一种基于双网络结果的驾驶疲劳程度检测回归模型

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104146722A (zh) * 2014-08-18 2014-11-19 吉林大学 一种基于头部信号的驾驶疲劳检测分级预警装置及方法
CN104503592A (zh) * 2015-01-23 2015-04-08 北京智谷睿拓技术服务有限公司 头部动作确定方法和装置
CN105336105A (zh) * 2015-11-30 2016-02-17 宁波力芯科信息科技有限公司 一种预防疲劳驾驶的方法、智能设备及系统
CN105678959A (zh) * 2016-02-25 2016-06-15 重庆邮电大学 一种疲劳驾驶监控预警方法及系统
CN105701973A (zh) * 2016-04-26 2016-06-22 成都远控科技有限公司 基于脑电波采集的疲劳检测及预警方法和系统
CN106344008A (zh) * 2016-09-21 2017-01-25 广州视源电子科技股份有限公司 睡眠状态分析中清醒状态检测方法和系统
CN106539581A (zh) * 2016-12-07 2017-03-29 中国民用航空总局第二研究所 基于概率统计方法的管制员疲劳检测方法及系统
CN106580350A (zh) * 2016-12-07 2017-04-26 中国民用航空总局第二研究所 一种疲劳状况监测方法及装置
CN207545073U (zh) * 2017-05-12 2018-06-29 杭州电子科技大学 一种基于眨眼信号分析的疲劳驾驶智能识别装置
CN107256332A (zh) * 2017-05-24 2017-10-17 上海交通大学 基于眼动数据的脑电实验评估系统及方法
CN108310759A (zh) * 2018-02-11 2018-07-24 广东欧珀移动通信有限公司 信息处理方法及相关产品
CN108415738A (zh) * 2018-02-23 2018-08-17 广东欧珀移动通信有限公司 电子设备、设备控制方法及相关产品
CN108596087A (zh) * 2018-04-23 2018-09-28 合肥湛达智能科技有限公司 一种基于双网络结果的驾驶疲劳程度检测回归模型

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
中国福利会少年宫科技教育部: "《海上晨星 2013上海’少年科技智多星’获奖项目辑览》", 30 June 2014 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110091874A (zh) * 2019-05-07 2019-08-06 绍兴天宏激光科技有限公司 一种基于表情识别的安全驾驶系统及识别方法
CN110989843A (zh) * 2019-12-13 2020-04-10 歌尔股份有限公司 图像虚拟呈现电路、方法、系统及可穿戴设备
CN110989843B (zh) * 2019-12-13 2024-02-09 歌尔科技有限公司 图像虚拟呈现电路、方法、系统及可穿戴设备
CN111860098A (zh) * 2020-04-21 2020-10-30 北京嘀嘀无限科技发展有限公司 一种疲劳驾驶的检测方法、装置、电子设备和介质
CN111950371A (zh) * 2020-07-10 2020-11-17 上海淇毓信息科技有限公司 疲劳驾驶预警方法及其装置、电子设备、存储介质
CN111950371B (zh) * 2020-07-10 2023-05-19 上海淇毓信息科技有限公司 疲劳驾驶预警方法及其装置、电子设备、存储介质
CN114241719A (zh) * 2021-12-03 2022-03-25 广州宏途教育网络科技有限公司 一种学生学习中视觉疲劳状态监测方法、装置及存储介质
CN114241719B (zh) * 2021-12-03 2023-10-31 广州宏途数字科技有限公司 一种学生学习中视觉疲劳状态监测方法、装置及存储介质
CN114209325A (zh) * 2021-12-23 2022-03-22 东风柳州汽车有限公司 驾驶员疲劳行为监控方法、装置、设备及存储介质
CN114209325B (zh) * 2021-12-23 2023-06-23 东风柳州汽车有限公司 驾驶员疲劳行为监控方法、装置、设备及存储介质
CN115035608A (zh) * 2022-05-26 2022-09-09 支付宝(杭州)信息技术有限公司 活体检测方法、装置、设备及系统
CN115067945A (zh) * 2022-08-22 2022-09-20 深圳市海清视讯科技有限公司 疲劳检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109697831A (zh) 疲劳驾驶监测方法、装置及计算机可读存储介质
Jung et al. Deepvision: Deepfakes detection using human eye blinking pattern
CN110929569B (zh) 人脸识别方法、装置、设备及存储介质
CN111439170B (zh) 儿童状态检测方法及装置、电子设备、存储介质
CN109359548A (zh) 多人脸识别监控方法及装置、电子设备及存储介质
CN110414313A (zh) 异常行为告警方法、装置、服务器及存储介质
CN107437067A (zh) 人脸活体检测方法及相关产品
CN106491114B (zh) 一种心率检测方法及装置
CN110210194A (zh) 电子合同显示方法、装置、电子设备及存储介质
CN107590953A (zh) 一种智能穿戴设备的报警方法、系统及终端设备
CN103886288A (zh) 一种瞌睡检测方法及其系统
CN107085902A (zh) 一种智能视频多点监控方法和系统
CN106067016A (zh) 一种人脸图像眼镜检测方法及装置
CN111654694A (zh) 图像处理算法的质量评测方法、装置及电子设备
CN110141258A (zh) 一种情绪状态检测方法、设备及终端
CN114724215A (zh) 一种敏感图像识别方法及系统
Zhao et al. Deep convolutional neural network for drowsy student state detection
CN108304800A (zh) 一种人脸检测和人脸比对的方法
CN109427038A (zh) 一种手机照片显示方法和系统
CN112507903B (zh) 假脸检测方法、装置、电子设备及计算机可读存储介质
CN108846420B (zh) 网络结构以及客户端
CN110363080A (zh) 基于人脸识别的黄牛识别方法、装置、终端及存储介质
CN110826396A (zh) 一种视频中眼睛状态检测方法及装置
CN109829359A (zh) 无人商店的监控方法、装置、计算机设备及存储介质
Xu et al. Research on Fatigue Driving Detection Method Based on Lightweight Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190430