CN110811649A - 一种基于生物电及行为特征融合的疲劳驾驶检测方法 - Google Patents

一种基于生物电及行为特征融合的疲劳驾驶检测方法 Download PDF

Info

Publication number
CN110811649A
CN110811649A CN201911055254.2A CN201911055254A CN110811649A CN 110811649 A CN110811649 A CN 110811649A CN 201911055254 A CN201911055254 A CN 201911055254A CN 110811649 A CN110811649 A CN 110811649A
Authority
CN
China
Prior art keywords
fatigue
driver
mouth
detection
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911055254.2A
Other languages
English (en)
Inventor
程忱
王恁
郭慧利
李瑶
张佳
高晋
郭浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
CERNET Corp
Original Assignee
Taiyuan University of Technology
CERNET Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology, CERNET Corp filed Critical Taiyuan University of Technology
Priority to CN201911055254.2A priority Critical patent/CN110811649A/zh
Publication of CN110811649A publication Critical patent/CN110811649A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Developmental Disabilities (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)

Abstract

本发明公开了一种基于生物电及行为特征融合的疲劳驾驶检测方法，可以实现对驾驶员驾驶状态的实时检测，包括脑电信号处理模块、面部多特征模块、疲劳检测融合模块。所述脑电信号处理模块即通过小波包分解采集δ、θ、α、β四种脑电波，采用(α+θ)/β作为疲劳指数，并计算重构后的脑电样本熵；所述面部多特征模块为采用边缘检测与聚类算法实现眼睛与嘴部区域的识别，通过分析眨眼指标、眼动指标以及哈欠指标来判断驾驶员状态；所述疲劳检测融合模块是将各特征信号通过LVQ‑BP人工神经网络进行融合，根据融合结果判断驾驶员是否疲劳。将多种特征相融合确保了系统的可靠性与高效性，更有效地降低事故发生概率，保障人民的生命财产安全。

Description

一种基于生物电及行为特征融合的疲劳驾驶检测方法
技术领域
本发明涉及生物电信号处理技术、图像处理技术与汽车辅助驾驶技术领域，特别涉及一种基于生物电及行为特征融合的疲劳驾驶检测方法。
背景技术
近年来随着全球经济快速发展，汽车保有量持续上升，交通事故的发生数量逐年增长，生命财产损失惨重。经研究发现疲劳驾驶是引起交通事故的一项重要因素，当驾驶员疲劳时人体的生理机能下降，意识模糊，引发事故概率急剧上升，严重威胁着人民的生命和财产安全。
目前，对疲劳驾驶的检测大多基于车辆轨迹，驾驶员行为或从单个生理指标进行疲劳的判断，这些都存在有一定的缺陷，受个人驾驶习惯及行驶速度、道路环境、操作技能的限制，并且检测结果不准确，容易出现误判或漏判的情况，检测的健壮性会受到影响。
基于此，为了克服上述所存在的问题，避免交通事故的发生，保障人民的生命财产安全，本发明提出了一种基于生物电与驾驶员行为特征融合的疲劳驾驶实时检测方法，形成综合疲劳指标，相比较于单个生物电特征检测、单个行为特征检测其疲劳判断准确率明显上升。
发明内容
为解决上述现有技术存在的问题，本发明的目的在于提供，本发明主要针对现有相关技术存在的缺陷，考虑到多特征信号指标，提出一种基于生物电及行为特征融合的疲劳驾驶检测方法，可以实现对驾驶员驾驶状态的实时检测。
本发明为解决技术问题所采用的技术方案是：一种基于生物电及行为特征融合的疲劳驾驶检测方法。包括：脑电信号处理、面部多特征处理和疲劳检测；
所述脑电信号处理，即通过小波包分解采集δ、θ、α、β四种脑电波，采用(α+θ)/β作为疲劳指数，并计算重构后的脑电样本熵；
所述面部多特征处理则通过分析眨眼、打哈欠、点头以及眼动来判断驾驶员状态；
所述疲劳监测用于根据各信号特征融合结果判断驾驶员是否疲劳；
一种基于生物电及行为特征融合的疲劳驾驶检测方法，具体按照以下步骤进行：
步骤S1：使用TGAM模块进行原始脑电信号、专注度与放松度采集，然后将采集到的脑电信号采用小波包分解；
步骤S2：将小波包分解后的FP1电极脑电波重构后，得到一组脑电信号；进而进行样本熵计算；
步骤S3：用相关系数分析方法对专注度与放松度的比值进行分析；
步骤S4：进而计算出(θ+α)/β的功率谱密度比值随时间的变化曲线，分析曲线判断疲劳区间；
步骤S5：采用加权平均法对驾驶员的视频图像进行灰度化处理；
步骤S6：使用机器学习分类器对图像进行预处理，采用KLT算法进行点跟踪，采用维奥拉-琼斯目标检测算法对其进行检测并用矩形框标示出驾驶员脸部区域；
步骤S7：通过使用适当的阈值来确定眼睛的位置即使用Soble边缘检测算法通过图像直方图和颜色直方图找到眼睛区域的边缘；使用K-means聚类算法识别出嘴部区域；
步骤S8：所述面部多特征模块根据驾驶员眨眼状态判断驾驶员是否疲劳的工作方法为：当驾驶员处于疲劳状态时，眼睛的闭合时间会变长，采用单位时间内眼睛闭合时长所占的百分比K值进行眼部疲劳识别；
步骤S9：所述面部多特征模块根据驾驶员哈欠状态判断驾驶员是否疲劳的工作方法为：基于上述对人脸的嘴部进行检测与定位，通过判断嘴部的宽高比P值进行打哈欠判断；
步骤S10：通过对眼睛焦点位置的跳动幅度及眼跳持续时间的相关信息的研究，分析注视方向和注视时间的变化，可以对驾驶员的驾驶状态进行检测；
步骤S11：按上述方案，所述疲劳监测模块采用LVQ-BP人工神经网络进行各特征指标的融合，形成综合疲劳指标，当综合疲劳指标达到疲劳阈值时，系统会及时发出预警，并提醒驾驶员尽快停车休息。
进一步的，所述步骤S1中，首先使用TGAM模块进行原始脑电信号、专注度与放松度的采集，然后将采集到的脑电信号采用小波包分解；该方法不仅分解了信号的低频近似部分，而且分解了信号的高频细节部分，可以更大程度地保留原始信号的特征；分解后的信号更真实，它在继承小波变换本质的同时，也弥补了小波变换的不足，提高脑电信号分析的准确性；在本发明中，选择与疲劳程度密切相关的前额电极FP1进行说明；
根据能量时域计算公式：
E＝∑t|f(t)|2 (1)；
其中：E为能量值，t为时间，f(t)为θ，α，β三种波对应的变化曲线；可得出θ，α，β三种波的能量值；综合分析多个节律的能量变化，得到疲劳指数(α+θ)/β；该比值可进一步设计为实时疲劳驾驶检测的预警数值。
进一步的，所述步骤S2中，将小波包分解后的FP1电极脑电波重构后，得到一组脑电信号；样本熵使用Samp En(m，r，N)表示，其中选择参数m＝2，相似容限r＝0.2SD，样本容量N＝1000；
每10秒计算一次样本熵，得到平均的样本熵序列，分析样本熵序列可知不同驾驶状态的样本熵值具有一定的差异，非疲劳驾驶状态的样本熵值集中在0.6-0.9之间，而疲劳驾驶状态的样本熵集中在0.3-0.6之间，即非疲劳驾驶状态的样本熵高于疲劳驾驶状态的样本熵。
进一步的，所述步骤S3中，用相关系数分析方法对专注度与放松度的比值进行分析；专注度和放松度两者在同一时间段内存在着相关性；所以引用相关系数分析方法，分析观察专注度与放松度的比值，比值的区间代表了疲劳的程度。
进一步的，所述步骤S4中，根据FP1电极θ波、Low_α波、High_α波、Low_β波、High_β波的具体数值，通过处理得到功率谱密度曲线(θ+α)/β：
其中α＝(Low_α+High_α)/2，β＝(Low_βα+High_βα)/2；
进而可以计算出(θ+α)/β的功率谱密度比值随时间的变化曲线，得出疲劳指数区间阈值。
进一步的，步骤S5中，采用加权平均法对图像进行灰度化处理，对所得到的灰度图像进行二值化处理，可以使图像变得简单，而且数据减少，能突显出感兴趣的目标的轮廓。
进一步的，步骤S6中，使用机器学习分类器首先对图像进行预处理，经灰度化与二值化之后增强图像的对比度，使用机器学习分类器可以消除不必要的训练数据功能，并将其置于关键训练数据上；
然后对其进行网格标记，使用Canny算法提取边缘信息，识别出人脸感兴趣区域,对其进行检测并标示出脸部区域。
进一步的，步骤S7中，通过使用适当的阈值来确定眼睛的位置即使用Soble边缘检测算法通过图像直方图和颜色直方图找到眼睛区域的边缘；Soble边缘检测器使用两个掩模，一个垂直，一个水平，并且将Soble边缘检测的掩模扩展到了5×5维；使用K-means聚类算法识别出嘴部区域；K-means使用迭代算法进行图像分割，在所有聚类上最小化从每个对象到其聚类质心的距离之和。
进一步的，步骤S8中，所述面部多特征模块根据驾驶员眨眼状态判断驾驶员是否疲劳的工作方法为：当驾驶员处于疲劳状态时，眼睛的闭合时间会变长，采用单位时间内眼睛闭合时长所占的百分比K值进行眼部疲劳识别，其值越大驾驶疲劳程度越深；公式如下：
Figure BDA0002256374980000041
进一步的，步骤S9中，所述面部多特征模块根据驾驶员哈欠状态判断驾驶员是否疲劳的工作方法为：基于上述对人脸的嘴部进行检测与定位，采取如下公式对嘴部坐标进行确定,其中xface和yface分别表示基于机器学习算法检测的目标检测框架的左下方原点坐标值，Wface与Hface分别为目标检测框架的宽与高；(x0，y0)表示嘴部矩形框的左上角坐标，Wmouth与Hmouth分别表示人嘴区域矩形框的宽与高：
我们采用嘴部的宽高比进行打哈欠判断，如下公式：
Figure BDA0002256374980000043
当嘴部处于正常状态时，显然P值大于1；当处于打哈欠状态时，P值显然逐渐变小，直至小于1；通过计算在一定时间内，P值大于等于1的频率，来对嘴部进行疲劳状态识别，公式如下：
Figure BDA0002256374980000044
进一步的，步骤S10中，所述面部多特征模块根据驾驶员眼动状态判断驾驶员是否疲劳的工作方法为：通过对眼睛焦点位置(Eye Focus Position,EEP)的眼跳幅度及眼跳持续时间的相关信息的研究，分析注视方向和注视时间的变化，可以对驾驶员的驾驶状态进行检测；采用下述公式对疲劳进行判断，其中S1表示注视方向偏离正常范围的图像帧数：
Figure BDA0002256374980000045
进一步的，步骤S11中，所述疲劳监测模块采用LVQ-BP人工神经网络进行各特征指标的融合，形成综合疲劳指标；通过LVQ(LearningVector Quantization)神经网络对各特征指标进行分类,然后将分类后的指标基于BP神经网络进行多特征融合形成最后的综合指标，建立基于LVQ-BP神经网络的疲劳驾驶检测系统，实现对驾驶员驾驶状态的实时检测。当驾驶员驾驶过程当中综合疲劳指标超过疲劳阈值时，判断驾驶员疲劳，发出预警，并提醒驾驶员尽快停车休息。进行大量实验后发现，本发明方法疲劳状态检测准确率高达92％，相比较于单个生物电特征检测、单个行为特征检测疲劳判断准确率明显上升。
相对于现有技术，本发明的有益效果为：本发明提供一种基于生物电及行为特征融合的疲劳驾驶检测方法，可以实现对驾驶员驾驶状态的实时检测，以不影响驾驶员驾驶的方式对所采集到的信息进行有效的处理，与传统疲劳检测相比本文将多种信号特征相融合的方法结果更加稳定高效，检测结果准确率高，并且确保了系统的可靠性与高效性。
附图说明
图1是依照本发明实施例的基于多种生物信号融合的疲劳驾驶检测算法的整体流程图。
具体实施方式
下面结合附图和具体实施方式对本发明技术方案做进一步详细描述：
如图1所示，
一种基于生物电及行为特征融合的疲劳驾驶检测方法，具体按照以下步骤进行：
步骤s1:选择50名年龄均在20-26岁之间的被试参与实验，有驾驶证且身体状态健康。本文实验中的所有被试者，都被要求前一天睡眠时间为00:00—06:00，不允许使用任何提神类物品。并且实验选择在人们最容易产生疲劳的13:00—14:00之间进行。
步骤s2：调整并初始化设备，给被试佩戴内嵌TGAM模块的脑电采集设备，打开蓝牙开关并与电脑连接，测试并检查连接质量；将摄像头对准被试面部，获取被试面部信息，采集被试睁眼闭眼的眼部信息模板，张嘴打哈欠模板进行训练操作。在实验过程当中采集完基础数据后，会进行被试疲劳诱发阶段。
步骤S1：按上述方案，所述脑电信号模块，首先使用TGAM模块进行原始脑电信号、专注度与放松度采集，然后将采集到的脑电信号采用小波包分解。
选择与疲劳程度密切相关的前额电极FP1进行说明。
根据能量时域计算公式：
E＝∑t|f(t)|2 (1)；
其中：E为能量值，t为时间，f(t)为θ，α，β三种波对应的变化曲线。可得出θ，α，β三种波的能量值，及变化曲线。当β波占主导地位时，被试的意识是清醒的；而当θ波和α波占主导地位时，人的意识模糊甚至出现睡眠。由于疲劳是多种因素共同作用的结果，单个节律能量的变化趋势不能客观衡量疲劳程度变化。因此，综合分析多个节律的能量变化，得到疲劳指数(α+θ)/β随时间变化的曲线。该比值可进一步设计为实时疲劳驾驶检测的预警数值。
步骤S2：将小波包分解后的FP1电极脑电波重构后，得到一组脑电信号。样本熵使用SampEn(m，r，N)表示，其中选择参数m＝2，相似容限r＝0.2SD，样本容量N＝1000。每10秒计算一次样本熵，得到平均的样本熵序列，分析样本熵序列可知不同驾驶状态的样本熵值具有一定的差异，非疲劳驾驶状态的样本熵值集中在0.6-0.9之间，而疲劳驾驶状态的样本熵集中在0.3-0.6之间，即非疲劳驾驶状态的样本熵高于疲劳驾驶状态的样本熵。
步骤S3：专注度(Attention)和放松度(Meditation)，两者在同一时间段内存在着相关性。专注度和放松度的相关系数将作为分类的特征值。分析观察专注度与放松度的比值，比值的区间代表了疲劳的程度。由经过简单的预处理之后得知专注度与放松度的区别还是比较明显。本实施例，在t120-t150之间，专注度数值明显高于放松度，在t330-t390之间专注度数值明显小于放松度。那么就可以利用比值的变化来评价疲劳程度。
步骤S4：根据FP1电极θ波、Low_α波、High_α波、Low_β波、High_β波的具体数值，通过处理得到功率谱密度曲线(θ+α)/β：
其中α＝(Low_α+High_α)/2，β＝(Low_β+High_β)/2。
进一步的，可以计算出(θ+α)/β的功率谱密度(Power Spectral Density，PSD)比值随时间的变化曲线，得出疲劳指数区间阈值。
步骤S5：首先对采集到的图像进行灰度处理，然后对灰度图像的再处理会为之后的人脸检测带来极大的帮助，其中对图像的灰度化处理使用的是加权平均算法。对所得到的灰度图像进行再处理即二值化处理，可以使图像变得简单并且数据减少，能突显出感兴趣区域的目标轮廓。
步骤S6：进一步的，对其进行网格标记，使用Canny算法提取边缘信息，识别出人脸感兴趣区域(表示为Face-ROI)，采用KLT算法进行点跟踪，采用维奥拉-琼斯目标检测算法对其进行检测并用矩形框标示出驾驶员脸部区域。
步骤S7：通过使用适当的阈值来确定眼睛的位置即使用Soble边缘检测算法通过图像直方图和颜色直方图找到眼睛区域的边缘。Soble边缘检测器使用两个掩模，一个垂直，一个水平，并且将Soble边缘检测的掩模扩展到了5×5维。使用K-means聚类算法识别出嘴部区域。K-means使用迭代算法进行图像分割，在所有聚类上最小化从每个对象到其聚类质心的距离之和。
步骤S8：按上述方案，所述面部多特征模块根据驾驶员眨眼状态判断驾驶员是否疲劳的工作方法为：当驾驶员处于疲劳状态时，眼睛的闭合时间会变长，采用单位时间内眼睛闭合时长所占的百分比K值进行眼部疲劳识别。其值越大驾驶疲劳程度越深。公式如下：
Figure BDA0002256374980000071
通过计算每分钟内K值得变化进行疲劳判断。最后分析实验数据得到当K值大于16.18％时，系统判定为眼部疲劳状态。
步骤S9：按上述方案，所述面部多特征模块根据驾驶员哈欠状态判断驾驶员是否疲劳的工作方法为：基于上述对人脸的嘴部进行检测与定位，采取如下公式对嘴部坐标进行确定：
Figure BDA0002256374980000072
其中xface和yface分别表示基于机器学习算法检测的目标检测框架的左下方原点坐标值，Wface与Hface分别为目标检测框架的宽与高。(x0，y0)表示嘴部矩形框的左上角坐标，Wmouth与Hmouth分别表示人嘴区域矩形框的宽与高：
我们采用嘴部的宽高比进行打哈欠判断，如下公式：
Figure BDA0002256374980000073
当嘴部处于正常状态时，很显然P值是大于1的；当处于打哈欠状态时，P值显然逐渐变小，直至小于1。通过计算在一定时间内，P值大于等于1的频率，来对嘴部进行疲劳状态识别，公式如下：
Figure BDA0002256374980000081
通过计算每分钟内的L值进行疲劳判断，由先验知识可知人们打一次哈欠需5秒左右。当每分钟内打哈气次数为三次及之后L值的增长幅度明显逐步增大，且说明驾驶员疲劳程度逐步加深，即L值大于25％时，判定为疲劳状态，实验结果也与常理相符合。
步骤10：按上述方案，所述面部多特征模块根据驾驶员眼动状态判断驾驶员是否疲劳的工作方法为：通过对眼睛焦点位置(Eye Focus Position,EEP)的跳动幅度及眼跳持续时间的相关信息的研究，分析驾驶员眼跳的变化，可以对驾驶员的驾驶状态进行检测。采用下述公式对疲劳进行判断，其中S1表示眼跳幅度较小的图像帧数：
Figure BDA0002256374980000082
由实验可知正常焦点范围为2.5±1.8mm，当驾驶员眼跳幅度降低几乎零摆动时，说明驾驶员开始出现目光呆滞现象。
根据常理，若每分钟内出现3次及以上目光呆滞现象，驾驶员有很大可能处于疲劳状态。当每分钟内驾驶员眼跳信息偏离正常范围的帧数超过180帧时即S大于21.98％时，判断为疲劳状态。
步骤11：按上述方案，所述疲劳监测模块采用BP-LVQ人工神经网络组合模型进行各特征指标的融合，形成综合疲劳指标。通过LVQ(Learning Vector Quantization)神经网络对各特征指标进行分类,然后将分类后的指标基于BP神经网络进行多特征融合形成最后的综合指标，建立基于LVQ-BP神经网络的疲劳驾驶检测系统，实现对驾驶员驾驶状态的实时监测。LVQ神经网络输入层与竞争层神经元之间采用全连接的方式，竞争层与输出层神经元之间采用局部连接方式。连接权值恒为1。实验中统一用计算出的Z-Score值进行衡量，以保证数据之间的可比性：
上式中μ为整个数据的均值，σ表示整个数据的标准差，x表示特征。且BP-LVQ结构共有5个隐含层，一个输入一个输出。在(-1,1)中设置网络连接权重和神经元阈值初始值，并设置最小误差ε和最大训练时间n。训练迭代次数为19，loss终止值为0.00191.可知训练网络参数有效。
当综合疲劳指标达疲劳阈值时，系统会及时发出预警，并提醒驾驶员尽快停车休息。进行大量实验后发现，融合后的综合指标疲劳状态检测准确率高达92％，相比较于单个生物电特征检测、单个行为特征检测疲劳判断准确率明显上升。如表1所示。
Figure BDA0002256374980000092
将多种特征信号指标相融合对驾驶员进行疲劳检测，克服了传统单一信号检测疲劳的不稳定性，该方法以不影响驾驶员驾驶的方式对所采集到的信息进行有效的处理，与传统疲劳检测相比将多种信号特征相融合的方法结果更加稳定高效，并且确保了系统的可靠性与高效性。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于生物电及行为特征融合的疲劳驾驶检测方法，其特征在于，具体按照以下步骤进行：
步骤S1：使用TGAM模块进行原始脑电信号、专注度与放松度采集，然后将采集到的脑电信号采用小波包分解；
步骤S2：将小波包分解后的FP1电极脑电波重构后，得到一组脑电信号；进而进行样本熵计算；
步骤S3：用相关系数分析方法对专注度与放松度的比值进行分析；
步骤S4：进而计算出(θ+α)/β的功率谱密度比值随时间的变化曲线，分析曲线判断疲劳区间；
步骤S5：采用加权平均法对驾驶员的视频图像进行灰度化处理；
步骤S6：使用机器学习分类器对图像进行预处理，采用KLT算法进行点跟踪，采用维奥拉-琼斯目标检测算法对其进行检测并用矩形框标示出驾驶员脸部区域；
步骤S7：通过使用适当的阈值来确定眼睛的位置即使用Soble边缘检测算法通过图像直方图和颜色直方图找到眼睛区域的边缘；使用K-means聚类算法识别出嘴部区域；
步骤S8：所述面部多特征模块根据驾驶员眨眼状态判断驾驶员是否疲劳的工作方法为：当驾驶员处于疲劳状态时，眼睛的闭合时间会变长，采用单位时间内眼睛闭合时长所占的百分比K值进行眼部疲劳识别；
步骤S9：所述面部多特征模块根据驾驶员哈欠状态判断驾驶员是否疲劳的工作方法为：基于上述对人脸的嘴部进行检测与定位，通过判断嘴部的宽高比P值进行打哈欠判断；
步骤S10：通过对眼睛焦点位置的跳动幅度及眼跳持续时间的相关信息的研究，分析注视方向和注视时间的变化，可以对驾驶员的驾驶状态进行检测；
步骤S11：所述疲劳监测模块采用LVQ-BP人工神经网络进行各特征指标的融合，形成综合疲劳指标；通过LVQ神经网络对各特征指标进行分类,然后将分类后的指标基于BP神经网络进行多特征融合形成最后的综合指标，建立基于LVQ-BP神经网络的疲劳驾驶检测系统，实现对驾驶员驾驶状态的实时检测；当驾驶员驾驶过程当中综合疲劳指标超过疲劳阈值时，判断驾驶员疲劳，发出预警，并提醒驾驶员尽快停车休息；
所述步骤S1中，首先使用TGAM模块进行原始脑电信号、专注度与放松度的采集，然后将采集到的脑电信号采用小波包分解；该方法不仅分解了信号的低频近似部分，而且分解了信号的高频细节部分，可以更大程度地保留原始信号的特征；分解后的信号更真实，它在继承小波变换本质的同时，也弥补了小波变换的不足，提高脑电信号分析的准确性；在本发明中，选择与疲劳程度密切相关的前额电极FP1进行说明；
根据能量时域计算公式：
E＝∑t|f(t)|2 (1)；
其中：E为能量值，t为时间，f(t)为θ，α，β三种波对应的变化曲线；可得出θ，α，β三种波的能量值；综合分析多个节律的能量变化，得到疲劳指数(α+θ)/β；该比值可进一步设计为实时疲劳驾驶检测的预警数值。
2.根据权利要求1所述的基于多种生物信号相融合的疲劳驾驶检测算法，其特征在于，所述步骤S2中，将小波包分解后的FP1电极脑电波重构后，得到一组脑电信号；样本熵使用SampEn(m，r，N)表示，其中选择参数m＝2，相似容限r＝0.2SD，样本容量N＝1000；
每10秒计算一次样本熵，得到平均的样本熵序列，分析样本熵序列可知不同驾驶状态的样本熵值具有一定的差异，非疲劳驾驶状态的样本熵值集中在0.6-0.9之间，而疲劳驾驶状态的样本熵集中在0.3-0.6之间，即非疲劳驾驶状态的样本熵高于疲劳驾驶状态的样本熵。
3.根据权利要求1所述的一种基于生物电及行为特征融合的疲劳驾驶检测方法，其特征在于，所述步骤S3中，用相关系数分析方法对专注度与放松度的比值进行分析；专注度和放松度两者在同一时间段内存在着相关性；所以引用相关系数分析方法，分析观察专注度与放松度的比值，比值的区间代表了疲劳的程度。
4.根据权利要求1所述的一种基于生物电及行为特征融合的疲劳驾驶检测方法，其特征在于，所述步骤S4中，根据FP1电极θ波、Low_α波、High_α波、Low_β波、High_β波的具体数值，通过处理得到功率谱密度曲线(θ+α)/β：
其中α＝(Low_α+High_α)/2，β＝(Low_β+High_β)/2；
进而可以计算出(θ+α)/β的功率谱密度比值随时间的变化曲线，得出疲劳指数区间阈值。
5.根据权利要求1所述的一种基于生物电及行为特征融合的疲劳驾驶检测方法，其特征在于，步骤S5中，采用加权平均法对图像进行灰度化处理，对所得到的灰度图像进行二值化处理，可以使图像变得简单，而且数据减少，能突显出感兴趣的目标的轮廓。
6.根据权利要求1所述的一种基于生物电及行为特征融合的疲劳驾驶检测方法，其特征在于，步骤S6中，使用机器学习分类器首先对图像进行预处理，经灰度化与二值化之后增强图像的对比度，使用机器学习分类器可以消除不必要的训练数据功能，并将其置于关键训练数据上；
然后对其进行网格标记，使用Canny算法提取边缘信息，识别出人脸感兴趣区域,对其进行检测并标示出脸部区域。
7.根据权利要求1所述的一种基于生物电及行为特征融合的疲劳驾驶检测方法，其特征在于，步骤S7中，通过使用适当的阈值来确定眼睛的位置即使用Soble边缘检测算法通过图像直方图和颜色直方图找到眼睛区域的边缘；Soble边缘检测器使用两个掩模，一个垂直，一个水平，并且将Soble边缘检测的掩模扩展到了5×5维；使用K-means聚类算法识别出嘴部区域；K-means使用迭代算法进行图像分割，在所有聚类上最小化从每个对象到其聚类质心的距离之和。
8.根据权利要求1所述的一种基于生物电及行为特征融合的疲劳驾驶检测方法，其特征在于，步骤S8中，所述面部多特征模块根据驾驶员眨眼状态判断驾驶员是否疲劳的工作方法为：当驾驶员处于疲劳状态时，眼睛的闭合时间会变长，采用单位时间内眼睛闭合时长所占的百分比K值进行眼部疲劳识别，其值越大驾驶疲劳程度越深；公式如下：
Figure 1
。
9.根据权利要求1所述的一种基于生物电及行为特征融合的疲劳驾驶检测方法，其特征在于，步骤S9中，所述面部多特征模块根据驾驶员哈欠状态判断驾驶员是否疲劳的工作方法为：基于上述对人脸的嘴部进行检测与定位，采取如下公式对嘴部坐标进行确定,其中xface和yface分别表示基于机器学习算法检测的目标检测框架的左下方原点坐标值，Wface与Hface分别为目标检测框架的宽与高；(x0，y0)表示嘴部矩形框的左上角坐标，Wmouth与Hmouth分别表示人嘴区域矩形框的宽与高：
Figure FDA0002256374970000032
我们采用嘴部的宽高比进行打哈欠判断，如下公式：
Figure FDA0002256374970000041
当嘴部处于正常状态时，显然P值大于1；当处于打哈欠状态时，P值显然逐渐变小，直至小于1；通过计算在一定时间内，P值大于等于1的频率，来对嘴部进行疲劳状态识别，公式如下：
Figure 2
。
10.根据权利要求1所述的一种基于生物电及行为特征融合的疲劳驾驶检测方法，其特征在于，步骤S10中，所述面部多特征模块根据驾驶员眼动状态判断驾驶员是否疲劳的工作方法为：通过对眼睛焦点位置的眼跳幅度及眼跳持续时间的相关信息的研究，分析注视方向和注视时间的变化，可以对驾驶员的驾驶状态进行检测；采用下述公式对疲劳进行判断，其中S1表示注视方向偏离正常范围的图像帧数：
Figure 3
。
CN201911055254.2A 2019-10-31 2019-10-31 一种基于生物电及行为特征融合的疲劳驾驶检测方法 Pending CN110811649A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911055254.2A CN110811649A (zh) 2019-10-31 2019-10-31 一种基于生物电及行为特征融合的疲劳驾驶检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911055254.2A CN110811649A (zh) 2019-10-31 2019-10-31 一种基于生物电及行为特征融合的疲劳驾驶检测方法

Publications (1)

Publication Number Publication Date
CN110811649A true CN110811649A (zh) 2020-02-21

Family

ID=69552133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911055254.2A Pending CN110811649A (zh) 2019-10-31 2019-10-31 一种基于生物电及行为特征融合的疲劳驾驶检测方法

Country Status (1)

Country Link
CN (1) CN110811649A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353636A (zh) * 2020-02-24 2020-06-30 交通运输部水运科学研究所 一种基于多模态数据的船舶驾驶行为预测方法及系统
CN112450933A (zh) * 2020-11-10 2021-03-09 东北电力大学 一种基于人体多类特征的驾驶疲劳监测方法
CN112754498A (zh) * 2021-01-11 2021-05-07 一汽解放汽车有限公司 驾驶员的疲劳检测方法、装置、设备及存储介质
CN112806996A (zh) * 2021-01-12 2021-05-18 哈尔滨工业大学 L3级自动驾驶条件下驾驶人分心多通道评估方法及系统
CN113143273A (zh) * 2021-03-23 2021-07-23 陕西师范大学 一种在线视频学习中学习者注意状态智能检测系统及方法
CN113378702A (zh) * 2021-06-09 2021-09-10 国网浙江宁波市奉化区供电有限公司 一种用于登杆作业的多特征融合的疲劳监测识别方法
CN113509189A (zh) * 2021-07-07 2021-10-19 科大讯飞股份有限公司 一种学习状态监控方法及其相关设备
CN114176606A (zh) * 2021-12-23 2022-03-15 宏谷信息科技（珠海）有限公司 一种脑电波检测智能预警装置
CN114287940A (zh) * 2021-12-17 2022-04-08 深圳市海清视讯科技有限公司 疲劳检测方法、装置和电子设备
CN114298189A (zh) * 2021-12-20 2022-04-08 深圳市海清视讯科技有限公司 疲劳驾驶检测方法、装置、设备及存储介质
CN114299756A (zh) * 2021-12-29 2022-04-08 盐城工学院 一种基于物联网和大数据分析的公交车智慧安全管理系统
CN114399752A (zh) * 2022-02-19 2022-04-26 桂林电子科技大学 一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法
CN114435373A (zh) * 2022-03-16 2022-05-06 一汽解放汽车有限公司 疲劳驾驶检测方法、装置、计算机设备和存储介质
CN115067945A (zh) * 2022-08-22 2022-09-20 深圳市海清视讯科技有限公司 疲劳检测方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104665849A (zh) * 2014-12-11 2015-06-03 西南交通大学 一种基于多生理信号多模型交互的高铁调度员应激检测方法
CN104814735A (zh) * 2015-05-22 2015-08-05 京东方科技集团股份有限公司 判断大脑是否疲劳的方法和装置
CN106175799A (zh) * 2015-04-30 2016-12-07 深圳市前海览岳科技有限公司 基于脑电波评估人体情绪和疲劳状态的方法及系统
CN107645590A (zh) * 2017-08-16 2018-01-30 广东小天才科技有限公司 一种用眼疲劳提醒方法及用户终端
CN108836324A (zh) * 2018-05-16 2018-11-20 广东工业大学 一种基于脑电信号监测的疲劳驾驶预警方法及系统
CN109472224A (zh) * 2018-10-26 2019-03-15 蓝色传感（北京）科技有限公司 基于eeg与eog融合的疲劳驾驶检测系统
CN110276273A (zh) * 2019-05-30 2019-09-24 福建工程学院 融合面部特征与图像脉搏心率估计的驾驶员疲劳检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104665849A (zh) * 2014-12-11 2015-06-03 西南交通大学 一种基于多生理信号多模型交互的高铁调度员应激检测方法
CN106175799A (zh) * 2015-04-30 2016-12-07 深圳市前海览岳科技有限公司 基于脑电波评估人体情绪和疲劳状态的方法及系统
CN104814735A (zh) * 2015-05-22 2015-08-05 京东方科技集团股份有限公司 判断大脑是否疲劳的方法和装置
CN107645590A (zh) * 2017-08-16 2018-01-30 广东小天才科技有限公司 一种用眼疲劳提醒方法及用户终端
CN108836324A (zh) * 2018-05-16 2018-11-20 广东工业大学 一种基于脑电信号监测的疲劳驾驶预警方法及系统
CN109472224A (zh) * 2018-10-26 2019-03-15 蓝色传感（北京）科技有限公司 基于eeg与eog融合的疲劳驾驶检测系统
CN110276273A (zh) * 2019-05-30 2019-09-24 福建工程学院 融合面部特征与图像脉搏心率估计的驾驶员疲劳检测方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353636A (zh) * 2020-02-24 2020-06-30 交通运输部水运科学研究所 一种基于多模态数据的船舶驾驶行为预测方法及系统
CN112450933A (zh) * 2020-11-10 2021-03-09 东北电力大学 一种基于人体多类特征的驾驶疲劳监测方法
CN112450933B (zh) * 2020-11-10 2022-09-20 东北电力大学 一种基于人体多类特征的驾驶疲劳监测方法
CN112754498A (zh) * 2021-01-11 2021-05-07 一汽解放汽车有限公司 驾驶员的疲劳检测方法、装置、设备及存储介质
CN112806996A (zh) * 2021-01-12 2021-05-18 哈尔滨工业大学 L3级自动驾驶条件下驾驶人分心多通道评估方法及系统
CN113143273A (zh) * 2021-03-23 2021-07-23 陕西师范大学 一种在线视频学习中学习者注意状态智能检测系统及方法
CN113378702A (zh) * 2021-06-09 2021-09-10 国网浙江宁波市奉化区供电有限公司 一种用于登杆作业的多特征融合的疲劳监测识别方法
CN113509189A (zh) * 2021-07-07 2021-10-19 科大讯飞股份有限公司 一种学习状态监控方法及其相关设备
CN114287940A (zh) * 2021-12-17 2022-04-08 深圳市海清视讯科技有限公司 疲劳检测方法、装置和电子设备
CN114298189A (zh) * 2021-12-20 2022-04-08 深圳市海清视讯科技有限公司 疲劳驾驶检测方法、装置、设备及存储介质
CN114176606A (zh) * 2021-12-23 2022-03-15 宏谷信息科技（珠海）有限公司 一种脑电波检测智能预警装置
CN114299756A (zh) * 2021-12-29 2022-04-08 盐城工学院 一种基于物联网和大数据分析的公交车智慧安全管理系统
CN114399752A (zh) * 2022-02-19 2022-04-26 桂林电子科技大学 一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法
CN114435373A (zh) * 2022-03-16 2022-05-06 一汽解放汽车有限公司 疲劳驾驶检测方法、装置、计算机设备和存储介质
CN114435373B (zh) * 2022-03-16 2023-12-22 一汽解放汽车有限公司 疲劳驾驶检测方法、装置、计算机设备和存储介质
CN115067945A (zh) * 2022-08-22 2022-09-20 深圳市海清视讯科技有限公司 疲劳检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110811649A (zh) 一种基于生物电及行为特征融合的疲劳驾驶检测方法
US11783601B2 (en) Driver fatigue detection method and system based on combining a pseudo-3D convolutional neural network and an attention mechanism
Ngxande et al. Driver drowsiness detection using behavioral measures and machine learning techniques: A review of state-of-art techniques
CN108053615B (zh) 基于微表情的驾驶员疲劳驾驶状态检测方法
Teyeb et al. A novel approach for drowsy driver detection using head posture estimation and eyes recognition system based on wavelet network
Picot et al. Drowsiness detection based on visual signs: blinking analysis based on high frame rate video
Junaedi et al. Driver drowsiness detection based on face feature and PERCLOS
CN110119676A (zh) 一种基于神经网络的驾驶员疲劳检测方法
CN109460703B (zh) 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法
CN111460950B (zh) 自然驾驶通话行为中基于头-眼证据融合的认知分心方法
CN111753674A (zh) 一种基于深度学习的疲劳驾驶的检测识别方法
Pimplaskar et al. Real time eye blinking detection and tracking using opencv
Jia et al. Real-time fatigue driving detection system based on multi-module fusion
Rajevenceltha et al. A novel approach for drowsiness detection using local binary patterns and histogram of gradients
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN110097012B (zh) 基于N-range图像处理算法的眼动参数监测的疲劳检测方法
Ukwuoma et al. Deep learning review on drivers drowsiness detection
CN106446822B (zh) 基于圆拟合的眨眼检测方法
Bin et al. A fatigue driving detection method based on multi facial features fusion
Liu et al. Design and implementation of multimodal fatigue detection system combining eye and yawn information
CN106384096B (zh) 一种基于眨眼检测的疲劳驾驶监测方法
Yogesh et al. Driver drowsiness detection and alert system using YOLO
Vardhan et al. Driver’s drowsiness detection based on facial multi-feature fusion
Wei et al. Driver sleepiness detection algorithm based on relevance vector machine
Subbaiah et al. Driver drowsiness detection methods: A comprehensive survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221