CN109063686A - 一种汽车驾驶员疲劳检测方法及系统 - Google Patents

一种汽车驾驶员疲劳检测方法及系统 Download PDF

Info

Publication number
CN109063686A
CN109063686A CN201810991880.1A CN201810991880A CN109063686A CN 109063686 A CN109063686 A CN 109063686A CN 201810991880 A CN201810991880 A CN 201810991880A CN 109063686 A CN109063686 A CN 109063686A
Authority
CN
China
Prior art keywords
driver
fatigue
eye
mouth
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810991880.1A
Other languages
English (en)
Inventor
刘浩然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Huayuan Intelligent Control Technology Co Ltd
Original Assignee
Anhui Huayuan Intelligent Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Huayuan Intelligent Control Technology Co Ltd filed Critical Anhui Huayuan Intelligent Control Technology Co Ltd
Priority to CN201810991880.1A priority Critical patent/CN109063686A/zh
Publication of CN109063686A publication Critical patent/CN109063686A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种汽车驾驶员疲劳检测方法及系统，所述汽车驾驶员疲劳检测方法包括：获取驾驶员的驾驶状态图片信息，所述驾驶状态图片信息包括驾驶员头部状态信息以及驾驶员手部状态信息；利用特征提取方法将所述驾驶状态图片信息转化成数据信息，以得到驾驶员面部特征参数和驾驶员手部运动特征参数；将所述驾驶员面部特征参数和驾驶员手部运动特征参数作为BP神经网络模型的输入，以得到驾驶员的疲劳等级；显示所述驾驶员的疲劳等级。本发明选取能够不仅克服了单一指标在检测驾驶疲劳程度中的不足，消除单一指标失效时产生的误判和漏判，而且提高了识别的准确性。

Description

一种汽车驾驶员疲劳检测方法及系统
技术领域
本发明涉及疲劳驾驶检测技术领域，特别是涉及一种汽车驾驶员疲劳检测方法及系统。
背景技术
驾驶员疲劳是公认的导致严重受伤或死亡的车祸的主要原因，因疲劳驾车造成的交通事故占总数的20％左右，占特大交通事故的40％以上。据有关研究表明，若在交通事故发生前提前一秒钟向驾驶员发出警报，则可避免90％的类似交通事故。
目前的检测驾驶员疲劳手段具有以下缺点：
目前的基于驾驶员生理指标检测法具有较强的客观性，能比较准确地反映人体的疲劳状态，但大多数生理传感器具有侵入性，需要在人体表面贴入电极，不仅会引起驾驶员的不适而且会影响驾驶操作动作，不利于驾驶安全，且成本高。
目前的车辆状态的检测法可直接反映车辆行驶状态的安全性，缺点是受车型、路况、天气及个人驾驶习惯等的影响较大，判定标准难以确定。
目前的基于驾驶员行为特性的检测法可实现非侵入式测量，但检测算法对实时性和鲁棒性要求较高，是近些年来研究的热点。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种汽车驾驶员疲劳检测方法及系统，用于解决现有技术中不利于驾驶安全，且成本高，容易受车型、路况、天气及个人驾驶习惯等的影响，且对实时性和鲁棒性要求较高的问题。
为实现上述目的及其他相关目的，本发明提供一种汽车驾驶员疲劳检测方法，所述汽车驾驶员疲劳检测方法包括：获取驾驶员的驾驶状态图片信息，所述驾驶状态图片信息包括驾驶员头部状态信息以及驾驶员手部状态信息；利用特征提取方法将所述驾驶状态图片信息转化成数据信息，以得到驾驶员面部特征参数和驾驶员手部运动特征参数；将所述驾驶员面部特征参数和驾驶员手部运动特征参数作为BP神经网络模型的输入，以得到驾驶员的疲劳等级；显示所述驾驶员的疲劳等级；存储所述驾驶状态图片信息、驾驶员手部运动特征参数以及驾驶员的疲劳等级。
作为本发明的一种优选方案，利用特征提取方法将所述驾驶状态图片信息转化成数据信息，以得到驾驶员面部特征参数和驾驶员手部运动特征参数包括：从所述驾驶员头部状态信息以及驾驶员手部状态信息中提取驾驶员脸部区域以及手部区域；从所述驾驶员脸部区域以及手部区域中提取眼部特征向量、嘴部特征向量以及面部朝向特征向量；根据所述眼部特征向量、嘴部特征向量以及面部朝向特征向量分别构建眼部特征向量分类器、嘴部特征向量分类器以及面部朝向特征向量分类器；根据所述眼部特征向量分类器、嘴部特征向量分类器以及面部朝向特征向量分类器，分别获取驾驶员面部特征参数和驾驶员手部运动特征参数。
作为本发明的一种优选方案，从所述驾驶员头部状态信息以及驾驶员手部状态信息中提取驾驶员脸部区域以及手部区域包括：将所述驾驶状态图片信息变换为YCbCr色彩空间，基于肤色模型分割肤色区域与非肤色区域，以获得多个连通区域；对多个所述连通区域进行闭运算填充空洞，以得到填充空洞后的连通区域，根据所述填充空洞后的连通区域的形状特征提取脸部候选区域以及手部候选区域；利用Adaboost算法在所述脸部候选区域以及手部候选区域内进行检测，已得到脸部区域以及手部区域。
作为本发明的一种优选方案，从所述驾驶员脸部区域以及手部区域中提取眼部特征向量、嘴部特征向量以及面部朝向特征向量包括：
将所述脸部区域以及手部区域作为感兴趣区域，基于尺度不变特征变换算法描述子的匹配算法，提感兴趣区域内左眼、右眼的尺度不变特征变换特征点集、嘴部的尺度不变特征变换特征点集以及手部的尺度不变特征变换特征点集：
左眼、右眼的尺度不变特征变换特征点集分别为{L(i)＝(Lxi,yLi})，(i＝1,2,…I)； {R(j)＝(xRj,yRj)}，(j＝1,2,…J)；嘴部的尺度不变特征变换特征点集为{M(k)＝(xMk,yMk)}， (k＝1,2,…K)；其中，i表示左眼尺度不变特征变换特征点集中第i个特征点，I表示左眼尺度不变特征变换特征点集中特征点的总和；j表示右眼尺度不变特征变换特征点集中第j个特征点，J表示右眼尺度不变特征变换特征点集中特征点的总和；k表示嘴部尺度不变特征变换特征点集中第k个特征点，K表示嘴部尺度不变特征变换特征点集中特征点的总和；利用公式 (1)、公式(2)、公式(3)和公式(4)提取眼部特征向量
利用公式(1)、公式(2)、公式(3)和公式(4)提取眼部特征向量
其中，(xL,yL)表示左眼尺度不变特征变换特征点集的中点坐标，(xR,yR)表示右眼尺度不变特征变换特征点集的中点坐标，表示左眼的尺度不变特征变换特征点到中点坐标距离的均值，表示右眼的尺度不变特征变换特征点到中点坐标距离的均值，δ(L)表示左眼的尺度不变特征变换特征点到中点坐标距离的标准差，δ(R)表示右眼的尺度不变特征变换特征点到中点坐标距离的标准差；
利用公式(5)和公式(6)提取嘴部特征向量
其中，(xM,yM)表示嘴部的中点坐标，表示嘴部的尺度不变特征变换特征点到中点坐标距离的均值，δ(M)表示嘴部的尺度不变特征变换特征点到中点坐标距离的标准差；
利用公式(7)、公式(8)和公式(9)提取嘴部特征向量Z＝(d1,d2,d3)；
作为本发明的一种优选方案，根据所述眼部特征向量、嘴部特征向量以及面部朝向特征向量分别构建眼部特征向量分类器、嘴部特征向量分类器以及面部朝向特征向量分类器包括：从所述驾驶状态图片信息中挑选若干幅睁眼图像和若干幅闭眼图像、若干幅张嘴图像和若干幅闭嘴图像、若干幅面部不发生偏转图像和若干幅面部发生偏转图像，将图像转换为灰度并进行归一化处理后，利用支持向量机分别对归一化处理后的图像进行训练，以获得眼部特征向量分类器、嘴部特征向量分类器以及面部朝向特征向量分类器。
作为本发明的一种优选方案，根据所述眼部特征向量分类器、嘴部特征向量分类器以及面部朝向特征向量分类器，分别获取驾驶员面部特征参数和驾驶员手部运动特征参数包括：
利用眼部特征向量分类器判别所述驾驶状态图片信息中单幅图像中眼部状态，利用公式 (10)，并以设定时间为周期，计算设定时间内的面部特征参数Perclos；
其中，N1表示周期内眼睛闭合图像采样帧数，M1表示周期内的所有图像采样帧数；
利用嘴部特征向量分类器判别单帧图像中嘴部状态，利用公式(11)，并以设定时间为周期，计算设定时间内面部特征参数MClosed；
MClosed＝N2(11)
其中，N2表示周期内嘴巴张开图像采样帧数；
利用面部朝向特征向量分类器判别单帧图像中面部朝向，利用公式(12)，并以设定时间为周期，计算设定时间内面部特征参数Phdown；
其中，N3表示周期内面部向下图像采样帧数，M3表示周期内的所有图像采样帧数；
利用公式(13)计算手部运动特征参数SA；
其中，手部持续4秒不动的累计时间之和为t1，T1为常值设定时间。
作为本发明的一种优选方案，所述若干幅睁眼图像和若干幅闭眼图像、若干幅张嘴图像和若干幅闭嘴图像、若干幅面部不发生偏转图像和若干幅面部发生偏转图像分别为200幅睁眼图像和200幅闭眼图像、200幅张嘴图像和200幅闭嘴图像、200幅面部不发生偏转图像和 200幅面部发生偏转图像。
作为本发明的一种优选方案，所述设定时间为15秒。
为实现上述目的，本发明还提供一种汽车驾驶员疲劳检测系统，所述汽车驾驶员疲劳检测系统包括：信息采集模块、数据预处理模块、数据处理模块、疲劳状态显示模块以及数据库模块；信息采集模块，用于获取驾驶员的驾驶状态图片信息，所述驾驶状态图片信息包括驾驶员头部状态信息以及驾驶员手部状态信息，并将所述驾驶状态图片信息发送至所述数据预处理模块；数据预处理模块，用于对所述驾驶状态图片信息进行预处理，利用特征提取方法将所述驾驶状态图片信息转化成数据信息，以得到驾驶员面部特征参数和驾驶员手部运动特征参数，并将所述驾驶员手部运动特征参数发送至数据处理模块；数据处理模块，用于将所述驾驶员面部特征参数和驾驶员手部运动特征参数作为BP神经网络模型的输入，以得到驾驶员的疲劳等级，并将所述疲劳等级发送至所述疲劳状态显示模块；疲劳状态显示模块，用于显示所述驾驶员的疲劳等级；数据库模块，用于存储所述驾驶状态图片信息、驾驶员手部运动特征参数以及驾驶员的疲劳等级。
本发明还提供了一种电子设备，包括处理器和存储器；所述存储器中存储有程序指令，所述处理器运行程序指令以实现上述的汽车驾驶员疲劳检测方法。
如上所述，本发明的一种汽车驾驶员疲劳检测方法及系统，具有以下有益效果：
1、本发明选取能够直接反映驾驶员疲劳程度的三个面部特征，包括眼睛、嘴巴和面部朝向，以及手部运动特征对驾驶员状态进行综合判断，不仅克服了单一指标在检测驾驶疲劳程度中的不足，消除单一指标失效时产生的误判和漏判，而且提高了识别的准确性。
2、本发明基于面部及手部尺度不变特征变换特征点，进行面部特征参数以及手部运动特征参数提取，当尺度、平移、旋转、视角、光照发生变化时，该提取算法仍具有较高的鲁棒性，进而使得本发明提出的驾驶员疲劳状态检测方法能够克服光照、背景、角度以及个体差异的影响，且疲劳检测的正确识别率达到99.64％。
3、本发明简单高效，具有较强的通用性和实用性，应用范围广泛。
附图说明
图1显示为本发明的一个实施例的汽车驾驶员疲劳检测方法的流程示意图。
图2显示为本发明的一个实施例的汽车驾驶员疲劳检测系统的结构示意图。
元件标号说明
1 汽车驾驶员疲劳检测系统
10 信息采集模块
20 数据预处理模块
30 数据处理模块
40 疲劳状态显示模块
50 数据库模块
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
具体地，请参阅图1，图1显示为本发明的一个实施例的汽车驾驶员疲劳检测方法的流程示意图，本实施例提供一种汽车驾驶员疲劳检测方法，所述汽车驾驶员疲劳检测方法包括：
S1、获取驾驶员的驾驶状态图片信息，所述驾驶状态图片信息包括驾驶员头部状态信息以及驾驶员手部状态信息。
S2、利用特征提取方法将所述驾驶状态图片信息转化成数据信息，以得到驾驶员面部特征参数和驾驶员手部运动特征参数。
S3、将所述驾驶员面部特征参数和驾驶员手部运动特征参数作为BP神经网络模型的输入，以得到驾驶员的疲劳等级。
S4、显示所述驾驶员的疲劳等级。
S5、存储所述驾驶状态图片信息、驾驶员手部运动特征参数以及驾驶员的疲劳等级。
具体的，在本实施例中，在步骤S1中，利用车载摄像机获取驾驶员的驾驶状态图片信息。
具体的，在本实施例中，在步骤S2中，所述驾驶员面部特征参数分别为Perclos、MClosed，Phdown，所述驾驶员手部运动特征参数为SA。
具体的，所述BP神经网络模型是一种按照误差逆向传播算法训练的多层前馈神经网络。
具体的，步骤S2中的利用特征提取方法将所述驾驶状态图片信息转化成数据信息，以得到驾驶员面部特征参数和驾驶员手部运动特征参数包括：
S21、从所述驾驶员头部状态信息以及驾驶员手部状态信息中提取驾驶员脸部区域以及手部区域。
S211、将所述驾驶状态图片信息变换为YCbCr色彩空间，基于肤色模型分割肤色区域与非肤色区域，以获得多个连通区域。
具体的，所述YCbCr色彩空间是色彩空间的一种，通常会用于影片中的影像连续处理，或是数字摄影系统中。
S212、对多个所述连通区域进行闭运算填充空洞，以得到填充空洞后的连通区域，根据所述填充空洞后的连通区域的形状特征提取脸部候选区域以及手部候选区域。
S213、利用Adaboost算法在所述脸部候选区域以及手部候选区域内进行检测，已得到脸部区域以及手部区域。
S22、从所述驾驶员脸部区域以及手部区域中提取眼部特征向量、嘴部特征向量以及面部朝向特征向量。
将所述脸部区域以及手部区域作为感兴趣区域，基于尺度不变特征变换算法描述子的匹配算法，提感兴趣区域内左眼、右眼的尺度不变特征变换特征点集、嘴部的尺度不变特征变换特征点集以及手部的尺度不变特征变换特征点集：
具体的，所述尺度不变特征变换(SIFT)，是用于图像处理领域的一种描述，这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。
左眼、右眼的尺度不变特征变换特征点集分别为{L(i)＝(Lxi,yLi})，(i＝1,2,…I)； {R(j)＝(xRj,yRj)}，(j＝1,2,…J)；嘴部的尺度不变特征变换特征点集为{M(k)＝(xMk,yMk)}，(k＝1,2,…K)；其中，i表示左眼尺度不变特征变换特征点集中第i个特征点，I表示左眼尺度不变特征变换特征点集中特征点的总和；j表示右眼尺度不变特征变换特征点集中第j个特征点，J表示右眼尺度不变特征变换特征点集中特征点的总和；k表示嘴部尺度不变特征变换特征点集中第k个特征点，K表示嘴部尺度不变特征变换特征点集中特征点的总和；利用公式 (1)、公式(2)、公式(3)和公式(4)提取眼部特征向量
利用公式(1)、公式(2)、公式(3)和公式(4)提取眼部特征向量
其中，(xL,yL)表示左眼尺度不变特征变换特征点集的中点坐标，(xR,yR)表示右眼尺度不变特征变换特征点集的中点坐标，表示左眼的尺度不变特征变换特征点到中点坐标距离的均值，表示右眼的尺度不变特征变换特征点到中点坐标距离的均值，δ(L)表示左眼的尺度不变特征变换特征点到中点坐标距离的标准差，δ(R)表示右眼的尺度不变特征变换特征点到中点坐标距离的标准差；
利用公式(5)和公式(6)提取嘴部特征向量
其中，(xM,yM)表示嘴部的中点坐标，表示嘴部的尺度不变特征变换特征点到中点坐标距离的均值，δ(M)表示嘴部的尺度不变特征变换特征点到中点坐标距离的标准差；
利用公式(7)、公式(8)和公式(9)提取嘴部特征向量Z＝(d1,d2,d3)；
S23、根据所述眼部特征向量、嘴部特征向量以及面部朝向特征向量分别构建眼部特征向量分类器、嘴部特征向量分类器以及面部朝向特征向量分类器。
从所述驾驶状态图片信息中挑选200幅睁眼图像和200幅闭眼图像、200幅张嘴图像和 200幅闭嘴图像、200幅面部不发生偏转图像和200幅面部发生偏转图像，将图像转换为灰度并进行归一化处理后，利用支持向量机分别对归一化处理后的图像进行训练，以获得眼部特征向量分类器、嘴部特征向量分类器以及面部朝向特征向量分类器。
S24、根据所述眼部特征向量分类器、嘴部特征向量分类器以及面部朝向特征向量分类器，分别获取驾驶员面部特征参数和驾驶员手部运动特征参数。
利用眼部特征向量分类器判别所述驾驶状态图片信息中单幅图像中眼部状态，利用公式 (10)，并以15秒为周期，计算15秒内的面部特征参数Perclos；
其中，N1表示周期内眼睛闭合图像采样帧数，M1表示周期内的所有图像采样帧数；
具体的，Perclos值越大，即眼睛闭合的时间越长，即驾驶疲劳程度越深。
利用嘴部特征向量分类器判别单帧图像中嘴部状态，利用公式(11)，并以15秒为周期，计算15秒内面部特征参数MClosed；
MClosed＝N2 (11)
其中，N2表示周期内嘴巴张开图像采样帧数；
利用面部朝向特征向量分类器判别单帧图像中面部朝向，利用公式(12)，并以15秒为周期，计算15秒内面部特征参数Phdown；
其中，N3表示周期内面部向下图像采样帧数，M3表示周期内的所有图像采样帧数；
利用公式(13)计算手部运动特征参数SA；
其中，手部持续4秒不动的累计时间之和为t1，T1为常值15秒。
与方法实施例原理相似的是，本发明提供了一种汽车驾驶员疲劳检测系统1，请参阅图 2，所述汽车驾驶员疲劳检测系统1包括：信息采集模块10、数据预处理模块20、数据处理模块30、疲劳状态显示模块40以及数据库模块50；信息采集模块10，用于获取驾驶员的驾驶状态图片信息，所述驾驶状态图片信息包括驾驶员头部状态信息以及驾驶员手部状态信息，并将所述驾驶状态图片信息发送至所述数据预处理模块20；数据预处理模块20，用于对所述驾驶状态图片信息进行预处理，利用特征提取方法将所述驾驶状态图片信息转化成数据信息，以得到驾驶员面部特征参数和驾驶员手部运动特征参数，并将所述驾驶员手部运动特征参数发送至数据处理模块30；数据处理模块30，用于将所述驾驶员面部特征参数和驾驶员手部运动特征参数作为BP神经网络模型的输入，以得到驾驶员的疲劳等级，并将所述疲劳等级发送至所述疲劳状态显示模块40；疲劳状态显示模块40，用于显示所述驾驶员的疲劳等级；数据库模块50，用于存储所述驾驶状态图片信息、驾驶员手部运动特征参数以及驾驶员的疲劳等级。
对CCD相机采集到的图像进行肤色检测，检测出人脸以及人手的候选区域，若持续3s 没有检测到候选区域，则算法判断为肤色区域缺失。对输入彩色图像进行肤色检测可以减少后续人脸以及人手检测算法的计算量。然后基于Adaboost算法在候选区域内检测人脸以及人手，在检测到人脸以及人手后，基于尺度不变特征变换(SIFT)特征点匹配获取左眼、右眼、嘴部以及手部的尺度不变特征变换(SIFT)特征点集，一方面，依据左眼、右眼以及嘴部的尺度不变特征变换(SIFT)特征点集，结合驾驶员在疲劳情况下的面部特征分别提取表征眼部、嘴部以及面部朝向的特征向量，并利用支持向量机(SVM)分类器判别眼部、嘴部以及面部朝向状态，进而得到面部特征参数Perclos、MClosed和Phdown；另一方面依据手部的尺度不变特征变换(SIFT)特征点集得到手部运动特征参数。最后，利用BP网络构建驾驶员疲劳检测模型，实现驾驶疲劳的自动检测。
本发明还提供了一种电子设备，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现上述的汽车驾驶员疲劳检测。
采集10名驾驶员在不同疲劳状态下的1400个测试样本，共包含7个测试集，其中，Q1、Q2、Q3、Q4、Q5、Q6、Q7分别表示上述7个光照标准值：100lx、150lx、200lx、 300lx、500lx、750lx、1000lx对应的测试集，且每个测试集包含200个样本。将1400个测试样本输入到BP神经网络模型中进行测试，基于本发明方法的测试结果与单个特征参数评价结果对比见表1。
表1：
综上所述，本发明选取能够直接反映驾驶员疲劳程度的三个面部特征，包括眼睛、嘴巴和面部朝向，以及手部运动特征对驾驶员状态进行综合判断，不仅克服了单一指标在检测驾驶疲劳程度中的不足，消除单一指标失效时产生的误判和漏判，而且提高了识别的准确性。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种汽车驾驶员疲劳检测方法，其特征在于，所述汽车驾驶员疲劳检测方法包括：
获取驾驶员的驾驶状态图片信息，所述驾驶状态图片信息包括驾驶员头部状态信息以及驾驶员手部状态信息；
利用特征提取方法将所述驾驶状态图片信息转化成数据信息，以得到驾驶员面部特征参数和驾驶员手部运动特征参数；
将所述驾驶员面部特征参数和驾驶员手部运动特征参数作为BP神经网络模型的输入，以得到驾驶员的疲劳等级；
显示所述驾驶员的疲劳等级；
存储所述驾驶状态图片信息、驾驶员手部运动特征参数以及驾驶员的疲劳等级。
2.根据权利要求1所述的一种汽车驾驶员疲劳检测方法，其特征在于，利用特征提取方法将所述驾驶状态图片信息转化成数据信息，以得到驾驶员面部特征参数和驾驶员手部运动特征参数包括：
从所述驾驶员头部状态信息以及驾驶员手部状态信息中提取驾驶员脸部区域以及手部区域；
从所述驾驶员脸部区域以及手部区域中提取眼部特征向量、嘴部特征向量以及面部朝向特征向量；
根据所述眼部特征向量、嘴部特征向量以及面部朝向特征向量分别构建眼部特征向量分类器、嘴部特征向量分类器以及面部朝向特征向量分类器；
根据所述眼部特征向量分类器、嘴部特征向量分类器以及面部朝向特征向量分类器，分别获取驾驶员面部特征参数和驾驶员手部运动特征参数。
3.根据权利要求2所述的一种汽车驾驶员疲劳检测方法，其特征在于，从所述驾驶员头部状态信息以及驾驶员手部状态信息中提取驾驶员脸部区域以及手部区域包括：
将所述驾驶状态图片信息变换为YCbCr色彩空间，基于肤色模型分割肤色区域与非肤色区域，以获得多个连通区域；
对多个所述连通区域进行闭运算填充空洞，以得到填充空洞后的连通区域，根据所述填充空洞后的连通区域的形状特征提取脸部候选区域以及手部候选区域；
利用Adaboost算法在所述脸部候选区域以及手部候选区域内进行检测，已得到脸部区域以及手部区域。
4.根据权利要求3所述的一种汽车驾驶员疲劳检测方法，其特征在于，从所述驾驶员脸部区域以及手部区域中提取眼部特征向量、嘴部特征向量以及面部朝向特征向量包括：
将所述脸部区域以及手部区域作为感兴趣区域，基于尺度不变特征变换算法描述子的匹配算法，提感兴趣区域内左眼、右眼的尺度不变特征变换特征点集、嘴部的尺度不变特征变换特征点集以及手部的尺度不变特征变换特征点集：
左眼、右眼的尺度不变特征变换特征点集分别为{L(i)＝(Lxi,yLi})，(i＝1,2,…I)；{R(j)＝(xRj,yRj)}，(j＝1,2,…J)；嘴部的尺度不变特征变换特征点集为{M(k)＝(xMk,yMk)}，(k＝1,2,…K)；其中，i表示左眼尺度不变特征变换特征点集中第i个特征点，I表示左眼尺度不变特征变换特征点集中特征点的总和；j表示右眼尺度不变特征变换特征点集中第j个特征点，J表示右眼尺度不变特征变换特征点集中特征点的总和；k表示嘴部尺度不变特征变换特征点集中第k个特征点，K表示嘴部尺度不变特征变换特征点集中特征点的总和；利用公式(1)、公式(2)、公式(3)和公式(4)提取眼部特征向量
利用公式(1)、公式(2)、公式(3)和公式(4)提取眼部特征向量
其中，(xL,yL)表示左眼尺度不变特征变换特征点集的中点坐标，(xR,yR)表示右眼尺度不变特征变换特征点集的中点坐标，表示左眼的尺度不变特征变换特征点到中点坐标距离的均值，表示右眼的尺度不变特征变换特征点到中点坐标距离的均值，δ(L)表示左眼的尺度不变特征变换特征点到中点坐标距离的标准差，δ(R)表示右眼的尺度不变特征变换特征点到中点坐标距离的标准差；
利用公式(5)和公式(6)提取嘴部特征向量
其中，(xM,yM)表示嘴部的中点坐标，表示嘴部的尺度不变特征变换特征点到中点坐标距离的均值，δ(M)表示嘴部的尺度不变特征变换特征点到中点坐标距离的标准差；
利用公式(7)、公式(8)和公式(9)提取嘴部特征向量Z＝(d1,d2,d3)；
5.根据权利要求3所述的一种汽车驾驶员疲劳检测方法，其特征在于，根据所述眼部特征向量、嘴部特征向量以及面部朝向特征向量分别构建眼部特征向量分类器、嘴部特征向量分类器以及面部朝向特征向量分类器包括：
从所述驾驶状态图片信息中挑选若干幅睁眼图像和若干幅闭眼图像、若干幅张嘴图像和若干幅闭嘴图像、若干幅面部不发生偏转图像和若干幅面部发生偏转图像，将图像转换为灰度并进行归一化处理后，利用支持向量机分别对归一化处理后的图像进行训练，以获得眼部特征向量分类器、嘴部特征向量分类器以及面部朝向特征向量分类器。
6.根据权利要求5所述的一种汽车驾驶员疲劳检测方法，其特征在于，根据所述眼部特征向量分类器、嘴部特征向量分类器以及面部朝向特征向量分类器，分别获取驾驶员面部特征参数和驾驶员手部运动特征参数包括：
利用眼部特征向量分类器判别所述驾驶状态图片信息中单幅图像中眼部状态，利用公式(10)，并以设定时间为周期，计算设定时间内的面部特征参数Perclos；
其中，N1表示周期内眼睛闭合图像采样帧数，M1表示周期内的所有图像采样帧数；
利用嘴部特征向量分类器判别单帧图像中嘴部状态，利用公式(11)，并以设定时间为周期，计算设定时间内面部特征参数MClosed；
MClosed＝N2 (11)
其中，N2表示周期内嘴巴张开图像采样帧数；
利用面部朝向特征向量分类器判别单帧图像中面部朝向，利用公式(12)，并以设定时间为周期，计算设定时间内面部特征参数Phdown；
其中，N3表示周期内面部向下图像采样帧数，M3表示周期内的所有图像采样帧数；
利用公式(13)计算手部运动特征参数SA；
其中，手部持续4秒不动的累计时间之和为t1，T1为常值设定时间。
7.根据权利要求5所述的一种汽车驾驶员疲劳检测方法，其特征在于：所述若干幅睁眼图像和若干幅闭眼图像、若干幅张嘴图像和若干幅闭嘴图像、若干幅面部不发生偏转图像和若干幅面部发生偏转图像分别为200幅睁眼图像和200幅闭眼图像、200幅张嘴图像和200幅闭嘴图像、200幅面部不发生偏转图像和200幅面部发生偏转图像。
8.根据权利要求6所述的一种汽车驾驶员疲劳检测方法，其特征在于：所述设定时间为15秒。
9.一种汽车驾驶员疲劳检测系统，其特征在于，所述汽车驾驶员疲劳检测系统包括：信息采集模块(10)、数据预处理模块(20)、数据处理模块(30)、疲劳状态显示模块(40)以及数据库模块(50)；
信息采集模块(10)，用于获取驾驶员的驾驶状态图片信息，所述驾驶状态图片信息包括驾驶员头部状态信息以及驾驶员手部状态信息，并将所述驾驶状态图片信息发送至所述数据预处理模块(20)；
数据预处理模块(20)，用于对所述驾驶状态图片信息进行预处理，利用特征提取方法将所述驾驶状态图片信息转化成数据信息，以得到驾驶员面部特征参数和驾驶员手部运动特征参数，并将所述驾驶员手部运动特征参数发送至数据处理模块(30)；
数据处理模块(30)，用于将所述驾驶员面部特征参数和驾驶员手部运动特征参数作为BP神经网络模型的输入，以得到驾驶员的疲劳等级，并将所述疲劳等级发送至所述疲劳状态显示模块(40)；
疲劳状态显示模块(40)，用于显示所述驾驶员的疲劳等级；
数据库模块(50)，用于存储所述驾驶状态图片信息、驾驶员手部运动特征参数以及驾驶员的疲劳等级。
10.一种电子设备，其特征在于：包括处理器和存储器；所述存储器中存储有程序指令，所述处理器运行程序指令以实现如权利要求1至权利要求8任一项所述的汽车驾驶员疲劳检测方法。
CN201810991880.1A 2018-08-29 2018-08-29 一种汽车驾驶员疲劳检测方法及系统 Pending CN109063686A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810991880.1A CN109063686A (zh) 2018-08-29 2018-08-29 一种汽车驾驶员疲劳检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810991880.1A CN109063686A (zh) 2018-08-29 2018-08-29 一种汽车驾驶员疲劳检测方法及系统

Publications (1)

Publication Number Publication Date
CN109063686A true CN109063686A (zh) 2018-12-21

Family

ID=64756417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810991880.1A Pending CN109063686A (zh) 2018-08-29 2018-08-29 一种汽车驾驶员疲劳检测方法及系统

Country Status (1)

Country Link
CN (1) CN109063686A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109693612A (zh) * 2019-01-09 2019-04-30 北京旷视科技有限公司 一种行车辅助方法、装置、车载终端和计算机可读介质
CN109801320A (zh) * 2019-01-26 2019-05-24 武汉嫦娥医学抗衰机器人股份有限公司 一种基于面部分区的皮肤干燥状态智能识别方法及系统
CN111062300A (zh) * 2019-12-11 2020-04-24 深圳市赛梅斯凯科技有限公司 驾驶状态检测方法、装置、设备及计算机可读存储介质
CN111824047A (zh) * 2019-04-15 2020-10-27 比亚迪股份有限公司 车辆控制方法、装置、车辆及存储介质
CN112633247A (zh) * 2021-01-04 2021-04-09 珠海研果科技有限公司 驾驶状态监测方法和装置
CN112690794A (zh) * 2020-12-30 2021-04-23 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) 驾驶员状态检测方法、系统和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101243973A (zh) * 2008-01-31 2008-08-20 杨杰 疲劳瞌睡监测唤醒方法及装置
CN101916496A (zh) * 2010-08-11 2010-12-15 无锡中星微电子有限公司 一种司机驾驶姿势检测的系统和方法
CN102254403A (zh) * 2011-04-07 2011-11-23 江苏科技大学 汽车疲劳驾驶预警方法
CN102542257A (zh) * 2011-12-20 2012-07-04 东南大学 基于视频传感器的驾驶人疲劳等级检测方法
CN103839379A (zh) * 2014-02-27 2014-06-04 长城汽车股份有限公司 汽车及用于其的驾驶员疲劳预警检测方法和系统
CN104361716A (zh) * 2014-10-31 2015-02-18 新疆宏开电子系统集成有限公司 实时检测疲劳并提醒的方法
CN104637246A (zh) * 2015-02-02 2015-05-20 合肥工业大学 一种驾驶员多种行为预警系统及危险评估方法
CN105404862A (zh) * 2015-11-13 2016-03-16 山东大学 一种基于手部跟踪的安全驾驶检测方法
CN205680247U (zh) * 2016-04-19 2016-11-09 陈进民 细胞/卷积神经网络智能视觉驾驶疲劳监测加速器
CN106530623A (zh) * 2016-12-30 2017-03-22 南京理工大学 一种疲劳驾驶检测装置及检测方法
CN108446600A (zh) * 2018-02-27 2018-08-24 上海汽车集团股份有限公司 一种车辆驾驶员疲劳监测预警系统及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101243973A (zh) * 2008-01-31 2008-08-20 杨杰 疲劳瞌睡监测唤醒方法及装置
CN101916496A (zh) * 2010-08-11 2010-12-15 无锡中星微电子有限公司 一种司机驾驶姿势检测的系统和方法
CN102254403A (zh) * 2011-04-07 2011-11-23 江苏科技大学 汽车疲劳驾驶预警方法
CN102542257A (zh) * 2011-12-20 2012-07-04 东南大学 基于视频传感器的驾驶人疲劳等级检测方法
CN103839379A (zh) * 2014-02-27 2014-06-04 长城汽车股份有限公司 汽车及用于其的驾驶员疲劳预警检测方法和系统
CN104361716A (zh) * 2014-10-31 2015-02-18 新疆宏开电子系统集成有限公司 实时检测疲劳并提醒的方法
CN104637246A (zh) * 2015-02-02 2015-05-20 合肥工业大学 一种驾驶员多种行为预警系统及危险评估方法
CN105404862A (zh) * 2015-11-13 2016-03-16 山东大学 一种基于手部跟踪的安全驾驶检测方法
CN205680247U (zh) * 2016-04-19 2016-11-09 陈进民 细胞/卷积神经网络智能视觉驾驶疲劳监测加速器
CN106530623A (zh) * 2016-12-30 2017-03-22 南京理工大学 一种疲劳驾驶检测装置及检测方法
CN108446600A (zh) * 2018-02-27 2018-08-24 上海汽车集团股份有限公司 一种车辆驾驶员疲劳监测预警系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
颜志国 等: "《多摄像机协同关注目标检测跟踪技术》", 30 June 2017 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109693612A (zh) * 2019-01-09 2019-04-30 北京旷视科技有限公司 一种行车辅助方法、装置、车载终端和计算机可读介质
CN109801320A (zh) * 2019-01-26 2019-05-24 武汉嫦娥医学抗衰机器人股份有限公司 一种基于面部分区的皮肤干燥状态智能识别方法及系统
CN109801320B (zh) * 2019-01-26 2020-12-01 武汉嫦娥医学抗衰机器人股份有限公司 一种基于面部分区的皮肤干燥状态智能识别方法及系统
CN111824047A (zh) * 2019-04-15 2020-10-27 比亚迪股份有限公司 车辆控制方法、装置、车辆及存储介质
CN111062300A (zh) * 2019-12-11 2020-04-24 深圳市赛梅斯凯科技有限公司 驾驶状态检测方法、装置、设备及计算机可读存储介质
CN112690794A (zh) * 2020-12-30 2021-04-23 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) 驾驶员状态检测方法、系统和装置
CN112690794B (zh) * 2020-12-30 2022-08-30 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) 驾驶员状态检测方法、系统和装置
CN112633247A (zh) * 2021-01-04 2021-04-09 珠海研果科技有限公司 驾驶状态监测方法和装置

Similar Documents

Publication Publication Date Title
CN109063686A (zh) 一种汽车驾驶员疲劳检测方法及系统
Gu et al. Feature points extraction from faces
CN103942577B (zh) 视频监控中基于自建立样本库及混合特征的身份识别方法
CN108053615B (zh) 基于微表情的驾驶员疲劳驾驶状态检测方法
CN103440479B (zh) 一种活体人脸检测方法与系统
Horng et al. Driver fatigue detection based on eye tracking and dynamic template matching
Shan et al. Curse of mis-alignment in face recognition: problem and a novel mis-alignment learning solution
CN100452081C (zh) 一种人眼定位及人眼状态识别方法
CN108537160A (zh) 基于微表情的风险识别方法、装置、设备及介质
CN108309311A (zh) 一种列车驾驶员实时盹睡检测装置及检测算法
CN110516576A (zh) 基于深度神经网络的近红外活体人脸识别方法
CN109886244A (zh) 一种人脸识别活体检测方法及装置
CN107423690A (zh) 一种人脸识别方法及装置
CN106781282A (zh) 一种智能行车驾驶员疲劳预警系统
CN106446811A (zh) 基于深度学习的驾驶员疲劳检测方法及装置
Batista A drowsiness and point of attention monitoring system for driver vigilance
CN110837784A (zh) 一种基于人体头部特征的考场偷窥作弊检测系统
CN110135282A (zh) 一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法
CN109460704A (zh) 一种基于深度学习的疲劳检测方法、系统和计算机设备
CN106845328A (zh) 一种基于双摄像头的智能人脸识别方法及系统
CN109034134A (zh) 基于多任务深度卷积神经网络的异常驾驶行为检测方法
CN109359577A (zh) 一种基于机器学习的复杂背景下人数检测系统
CN101539989A (zh) 基于人脸检测的错误阅读姿势检测方法
CN112149553A (zh) 一种考试作弊行为识别方法
CN114067185A (zh) 一种基于人脸表情识别的电影评价系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181221