CN109376583A - 一种智能车辆辅助驾驶的驾驶员疲劳检测方法 - Google Patents

一种智能车辆辅助驾驶的驾驶员疲劳检测方法 Download PDF

Info

Publication number
CN109376583A
CN109376583A CN201811025543.3A CN201811025543A CN109376583A CN 109376583 A CN109376583 A CN 109376583A CN 201811025543 A CN201811025543 A CN 201811025543A CN 109376583 A CN109376583 A CN 109376583A
Authority
CN
China
Prior art keywords
driver
state
picture library
mouth
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811025543.3A
Other languages
English (en)
Inventor
王武宏
成前
蒋晓蓓
李成刚
郭宏伟
王乐怡
侯单懿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201811025543.3A priority Critical patent/CN109376583A/zh
Publication of CN109376583A publication Critical patent/CN109376583A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种智能车辆辅助驾驶的驾驶员疲劳检测方法，综合考虑了行车过程中驾驶员眼部和嘴部状态并建立了相应的面部状态分类器，能够有效克服现有的仅通过单位时间人眼闭合的百分比的单一参数检测疲劳度方法的缺点，并能基于驾驶员自身的脸部信息建立驾驶员状态分类器，准确识别驾驶员清醒或疲劳，针对不同驾驶员个体的疲劳状态差异实现更为准确的个性化检测，实现以驾驶员的疲劳状态为依据指定辅助驾驶策略，实现车辆行驶时的在途动态识别。

Description

一种智能车辆辅助驾驶的驾驶员疲劳检测方法
技术领域
本发明属于智能车辆技术领域，尤其涉及以一种针对驾驶员的疲劳程度实现个性化检测的方法。
背景技术
智能车辆的主要特点是以技术弥补人为因素的缺陷，使得即便在很复杂的道路情况下，也能够通过人-车交互的智能化手段，对驾驶行为产生主动或者被动的引导、修正甚至直接取代驾驶人完成驾驶任务。行车过程中，驾驶员自身的状态对车辆运行有着显著的影响，当驾驶员处于意识清醒状态时，适合由驾驶员掌握更多的自主控制权，此时如果采取较多的辅助驾驶，可能会减低辅助驾驶的效度与可接受度；而当驾驶员处于疲倦状态时，车辆行驶的安全性态势降低，此时则需要提供更多的车辆辅助驾驶功能来提高安全性。因此，针对驾驶员不同的疲劳状态和程度实施不同的车辆辅助控制策略，可有效提高辅助驾驶的有效性、宜人性，提高智能车辆人机交互的可接受度。
目前驾驶员疲劳状态检测方法主要包括：基于驾驶员生理参数的检测方法(CN105662407A，CN104224105B)、基于车辆行为的检测方法(CN107316354A，CN105976567A)、基于计算机视觉的检测方法(CN108294759A，CN103479367B，CN102201148A，CN203885510U)等。其中，部分基于计算机视觉的检测方法(CN102201148A，CN203885510U)主要针对单位时间人眼闭合的百分比(PERCLOS)特征进行疲劳驾驶检测。然而，不同驾驶员在困倦状态时的表现也有个体性与差异性，当PERCLOS阈值选取不当时，会扩大基于机器视觉的驾驶员疲劳检测算法的错误率；另一方面，由于人的眼部区域形状及习惯不同，通过一般的人眼数据库训练的眼部状态识别训练器会对一些用户的眼部状态识别产生偏差，影响识别准确率。因此，对于人员疲劳时的程度和表现，提供具有差异化和更有效的识别手段是十分必要的。
发明内容
针对上述本领域中存在的技术问题，本发明提供了一种智能车辆辅助驾驶的驾驶员疲劳检测方法，具体包括以下步骤：
步骤一、对行车过程中的驾驶员脸部进行视频采集，收集得到具有时序关系的驾驶员脸部图片库A，并将所述图片库A与预先收集的标准人脸图片库混合，得到混合人脸图片库B。图片库B中的图像可由A中不少于3000张图片和不少于5000张标准人脸图片混合得到。
步骤二、对所述图片库B中的每张图片，分别识别人眼区域和嘴部区域，建立混合人眼图片库B1和混合嘴部图片库B2；
步骤三、对所述图片库B1中的每张图片的睁眼状态和闭眼状态，以及图片库B2中每张图片的过度张嘴状态和正常嘴部状态分别进行标注并作为训练样本，建立并训练基于Adaboost算法的人眼和嘴部状态分类器；
步骤四、对所述步骤一中收集的驾驶员脸部图片库A中，根据驾驶员行车时间的长短分别形成疲劳状态下的用户驾驶员脸部图片库A2和机敏状态下的用户驾驶员脸部图片库A1；通过所述步骤三中训练好的所述人眼和嘴部状态分类器对所述图片库A1和A2进行识别，得到固定时间间隔t中单位时间人眼闭合的百分比(PERCLOS)、眨眼次数(F1)、嘴部张开时间占比(PEROPEN)、张开频率(F2)的时间序列值；
步骤五、将所述步骤四得到的所述单位时间人眼闭合的百分比、眨眼次数、嘴部张开时间占比、张开频率的时间序列值作为特征向量，训练基于朴素贝叶斯方法的驾驶员状态分类器，所述驾驶状态分为清醒或疲劳状；
步骤六、实时采集驾驶员脸部图像，通过眼部及嘴部状态检测实现对驾驶员疲劳状态的在线辨识。
进一步的，所述驾驶员脸部图片库A通过采集行车过程中的驾驶员脸部的红外视频图像，并经Opencv中的Local Binary Pattern Histogram(LBPH)算法识别得到。
进一步的，所述步骤二中对所述图片库B中的每张图片利用基于多尺度数学形态学的膨胀运算，寻找特征图中的白色区域，以白色区域附近24*24像素点作为人眼图片形成所述图片库B1；对所述图片库B中同一图片中通过已定位好的两眼位置，通过相对坐标点的方法确定人嘴部图片，并格式化为24*24像素，形成所述图片库B2。
进一步的，所述步骤三中以眼部高度小于最大高度的20％时作为闭眼状态，其余为睁眼状态，以嘴部高度大于最小高度的300％时作为过度张嘴状态，其余为正常状态，训练并建立N>10个强分类器。
进一步的，所述步骤四中在所述图片库A中选取用户驾驶员行车时间低于20min的部分形成所述图片库A1，选取行车时间超过2h的部分形成所述图片库A2，每个图片库中图片不少于3000个。
进一步的，基于所述步骤六中的驾驶员疲劳状态的在线辨识结果，执行分等级的驾驶辅助策略。
进一步的，正常嘴部状态为嘴部最高高度与最长宽度比值小于70％的状态。
根据上述本发明所提供的方法，综合考虑了行车过程中驾驶员眼部和嘴部状态并建立了相应的面部状态分类器，能够有效克服现有的仅通过单位时间人眼闭合的百分比的单一参数检测疲劳度方法的缺点，并能基于驾驶员自身的脸部信息建立驾驶员状态分类器，准确识别驾驶员清醒或疲劳，针对不同驾驶员个体的疲劳状态差异实现更为准确的个性化检测，实现以驾驶员的疲劳状态为依据指定辅助驾驶策略，实现车辆行驶时的在途动态识别。
附图说明
图1为驾驶员个性化眼部状态、嘴部状态及疲劳状态分类器训练示意图
图2为根据本发明所提供方法的辅助驾驶策略示意图
具体实施方式
下面结合附图对本发明所提供的一种适用于稀疏数据的动力电池参数辨识方法，做出进一步详尽的阐释。
本发明提供了一种智能车辆辅助驾驶的驾驶员疲劳检测方法，具体包括以下步骤：
步骤一、对行车过程中的驾驶员脸部进行视频采集，收集得到具有时序关系的驾驶员脸部图片库A，并将所述图片库A与预先收集的标准人脸图片库混合，得到混合人脸图片库B；
步骤二、对所述图片库B中的每张图片，分别识别人眼区域和嘴部区域，建立混合人眼图片库B1和混合嘴部图片库B2；
步骤三、对所述图片库B1中的每张图片的睁眼状态和闭眼状态，以及图片库B2中每张图片的过度张嘴状态和正常嘴部状态分别进行标注并作为训练样本，建立并训练基于Adaboost算法的人眼和嘴部状态分类器；
正常嘴部状态结合生活中驾驶员的非疲劳状态确定即可，优选地，正常嘴部状态为嘴部最高高度与最长宽度比值小于70％的状态。
步骤四、对所述步骤一中收集的驾驶员脸部图片库A中，根据驾驶员行车时间的长短分别形成疲劳状态下的用户驾驶员脸部图片库A2和机敏状态下的用户驾驶员脸部图片库A1；通过所述步骤三中训练好的所述人眼和嘴部状态分类器对所述图片库A1和A2进行识别，得到固定时间间隔t中单位时间人眼闭合的百分比(PERCLOS)、眨眼次数(F1)、嘴部张开时间占比(PEROPEN)、张开频率(F2)的时间序列值；
步骤五、将所述步骤四得到的所述单位时间人眼闭合的百分比、眨眼次数、嘴部张开时间占比、张开频率的时间序列值(x1,x2,x3,x4)作为特征向量，训练基于朴素贝叶斯方法的驾驶员状态分类器，所述驾驶状态分为清醒或疲劳状态。所述训练过程如图1所示。
其中基于朴素贝叶斯的分类器以后验概率大小作为判断指标，即：
h判别结果；c疲劳/正常状态；P是概率；
步骤六、实时采集驾驶员脸部图像，通过眼部及嘴部状态检测实现对驾驶员疲劳状态的在线辨识。
在本申请的一个优选实施例中，所述驾驶员脸部图片库A通过采集行车过程中的驾驶员脸部的红外视频图像，并经Opencv中的Local Binary Pattern Histogram(LBPH)算法识别得到。
在本申请的一个优选实施例中，所述步骤二中对所述图片库B中的每张图片利用基于多尺度数学形态学的膨胀运算，寻找特征图中的白色区域，以白色区域附近24*24像素点作为人眼图片形成所述图片库B1；对所述图片库B中同一图片中通过已定位好的两眼位置，通过相对坐标点的方法确定人嘴部图片，并格式化为24*24像素，形成所述图片库B2。
在本申请的一个优选实施例中，所述步骤三中以眼部高度小于最大高度的20％时作为闭眼状态，其余为睁眼状态，以嘴部高度大于最小高度的300％时作为过度张嘴状态，其余为正常状态，训练并建立由N>10个弱分类器组成的强分类器。
在本申请的一个优选实施例中，所述步骤四中在所述图片库A中选取用户驾驶员行车时间低于20min的部分形成所述图片库A1，选取行车时间超过2h的部分形成所述图片库A2，每个图片库中图片不少于3000个。
在本申请的一个优选实施例中，如图2所示，基于所述步骤六中的驾驶员疲劳状态的在线辨识结果，执行分等级的驾驶辅助策略。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种智能车辆辅助驾驶的驾驶员疲劳检测方法，其特征在于：具体包括以下步骤：
步骤一、对行车过程中的驾驶员脸部进行视频采集，收集得到具有时序关系的驾驶员脸部图片库A，并将所述图片库A与预先收集的标准人脸图片库混合，得到混合人脸图片库B；
步骤二、对所述图片库B中的每张图片，分别识别人眼区域和嘴部区域，建立混合人眼图片库B1和混合嘴部图片库B2；
步骤三、对所述图片库B1中的每张图片的睁眼状态和闭眼状态，以及图片库B2中每张图片的过度张嘴状态和正常嘴部状态分别进行标注并作为训练样本，建立并训练人眼和嘴部状态分类器；
步骤四、对所述步骤一中收集的驾驶员脸部图片库A中，根据驾驶员行车时间的长短分别形成疲劳状态下的用户驾驶员脸部图片库A2和机敏状态下的用户驾驶员脸部图片库A1；通过所述步骤三中训练好的所述人眼和嘴部状态分类器对所述图片库A1和A2进行识别，得到固定时间间隔t中单位时间人眼闭合的百分比(PERCLOS)、眨眼次数(F1)、嘴部张开时间占比(PEROPEN)、张开频率(F2)的时间序列值；
步骤五、将所述步骤四得到的所述单位时间人眼闭合的百分比、眨眼次数、嘴部张开时间占比、张开频率的时间序列值作为特征向量，训练驾驶员状态分类器，所述驾驶状态分为清醒或疲劳状；
步骤六、实时采集驾驶员脸部图像，通过眼部及嘴部状态检测实现对驾驶员疲劳状态的在线辨识。
2.如权利要求1所述的方法，其特征在于：所述驾驶员脸部图片库A通过采集行车过程中的驾驶员脸部的红外视频图像，并经Opencv中的Local Binary Pattern Histogram(LBPH)算法识别得到。
3.如权利要求1所述的方法，其特征在于：所述步骤二中对所述图片库B中的每张图片利用基于多尺度数学形态学的膨胀运算，寻找特征图中的白色区域，以白色区域附近24*24像素点作为人眼图片形成所述图片库B1；对所述图片库B中同一图片中通过已定位好的两眼位置，通过相对坐标点的方法确定人嘴部图片，并格式化为24*24像素，形成所述图片库B2。
4.如权利要求1所述的方法，其特征在于：所述步骤三中以眼部高度小于最大高度的20％时作为闭眼状态，其余为睁眼状态，以嘴部高度大于最小高度的300％时作为过度张嘴状态，其余为正常状态，训练并建立N>10个强分类器。
5.如权利要求1所述的方法，其特征在于：所述步骤四中在所述图片库A中选取用户驾驶员行车时间低于20min的部分形成所述图片库A1，选取行车时间超过2h的部分形成所述图片库A2，每个图片库中图片不少于3000个。
6.如权利要求1所述的方法，其特征在于：基于所述步骤六中的驾驶员疲劳状态的在线辨识结果，执行分等级的驾驶辅助策略。
7.如权利要求1所述的方法，其特征在于：训练驾驶员状态分类器基于朴素贝叶斯方法。
8.如权利要求1所述的方法，其特征在于：建立并训练人眼和嘴部状态分类器基于Adaboost算法。
9.如权利要求1所述的方法，其特征在于：正常嘴部状态为嘴部的最高高度与最长宽度比值小于70％的状态。
CN201811025543.3A 2018-09-04 2018-09-04 一种智能车辆辅助驾驶的驾驶员疲劳检测方法 Pending CN109376583A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811025543.3A CN109376583A (zh) 2018-09-04 2018-09-04 一种智能车辆辅助驾驶的驾驶员疲劳检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811025543.3A CN109376583A (zh) 2018-09-04 2018-09-04 一种智能车辆辅助驾驶的驾驶员疲劳检测方法

Publications (1)

Publication Number Publication Date
CN109376583A true CN109376583A (zh) 2019-02-22

Family

ID=65404271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811025543.3A Pending CN109376583A (zh) 2018-09-04 2018-09-04 一种智能车辆辅助驾驶的驾驶员疲劳检测方法

Country Status (1)

Country Link
CN (1) CN109376583A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110491091A (zh) * 2019-09-08 2019-11-22 湖北汽车工业学院 一种商用车驾驶员疲劳状态监测预警系统
CN110781873A (zh) * 2019-12-31 2020-02-11 南斗六星系统集成有限公司 一种双模态特征融合的驾驶员疲劳等级识别方法
CN111959517A (zh) * 2020-08-20 2020-11-20 中国第一汽车股份有限公司 一种距离的提示方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
CN105354988A (zh) * 2015-12-11 2016-02-24 东北大学 一种基于机器视觉的驾驶员疲劳驾驶检测系统及检测方法
CN106250801A (zh) * 2015-11-20 2016-12-21 北汽银翔汽车有限公司 基于人脸检测和人眼状态识别的疲劳检测方法
CN107491769A (zh) * 2017-09-11 2017-12-19 中国地质大学（武汉） 基于AdaBoost算法的疲劳驾驶检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
CN106250801A (zh) * 2015-11-20 2016-12-21 北汽银翔汽车有限公司 基于人脸检测和人眼状态识别的疲劳检测方法
CN105354988A (zh) * 2015-12-11 2016-02-24 东北大学 一种基于机器视觉的驾驶员疲劳驾驶检测系统及检测方法
CN107491769A (zh) * 2017-09-11 2017-12-19 中国地质大学（武汉） 基于AdaBoost算法的疲劳驾驶检测方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘洁等: "一种新的基于肤色模型的人脸检测算法", 《计算机工程与应用》 *
朱林 等: "《数字信息资源管理研究》", 31 August 2012 *
蒋友毅: "基于多特征的疲劳驾驶检测系统的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
马飒飒 等: "《物联网基础技术及应用》", 31 January 2018 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110491091A (zh) * 2019-09-08 2019-11-22 湖北汽车工业学院 一种商用车驾驶员疲劳状态监测预警系统
CN110781873A (zh) * 2019-12-31 2020-02-11 南斗六星系统集成有限公司 一种双模态特征融合的驾驶员疲劳等级识别方法
CN111959517A (zh) * 2020-08-20 2020-11-20 中国第一汽车股份有限公司 一种距离的提示方法、装置、计算机设备和存储介质
CN111959517B (zh) * 2020-08-20 2021-09-24 中国第一汽车股份有限公司 一种距离的提示方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
Ramzan et al. A survey on state-of-the-art drowsiness detection techniques
CN108053615B (zh) 基于微表情的驾驶员疲劳驾驶状态检测方法
CN103714660B (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
Mbouna et al. Visual analysis of eye state and head pose for driver alertness monitoring
Craye et al. Driver distraction detection and recognition using RGB-D sensor
Zhuang et al. Driver fatigue detection method based on eye states with pupil and iris segmentation
Yan et al. Real-time driver drowsiness detection system based on PERCLOS and grayscale image processing
Tipprasert et al. A method of driver’s eyes closure and yawning detection for drowsiness analysis by infrared camera
CN109376583A (zh) 一种智能车辆辅助驾驶的驾驶员疲劳检测方法
CN105956548A (zh) 驾驶员疲劳状况检测方法和装置
CN106250801A (zh) 基于人脸检测和人眼状态识别的疲劳检测方法
CN104331160A (zh) 一种基于唇部状态识别的智能轮椅人机交互系统及方法
CN109543577A (zh) 一种基于面部表情特征的疲劳驾驶检测预警方法
CN106600903A (zh) 一种基于图像识别的预警方法及装置
CN112528843A (zh) 一种融合面部特征的机动车驾驶人疲劳检测方法
Sun et al. Driver fatigue detection system based on colored and infrared eye features fusion
Chen Research on driver fatigue detection strategy based on human eye state
CN108875617A (zh) 辅助驾驶方法和装置、车辆
CN108596064A (zh) 基于多信息融合的驾驶人低头操作手机行为检测方法
Ribarić et al. A neural-network-based system for monitoring driver fatigue
Cohn et al. A comparative study of alternative facs coding algorithms
CN113887386A (zh) 基于深度学习和机器学习的多特征融合的疲劳检测方法
CN110176128A (zh) 一种驾驶员疲劳驾驶预警处理系统
Gao et al. Fatigue state detection from multi-feature of eyes
Saha et al. Deep learning-based eye gaze controlled robotic car

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190222