CN112329600A - 基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法 - Google Patents

基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法 Download PDF

Info

Publication number
CN112329600A
CN112329600A CN202011206438.7A CN202011206438A CN112329600A CN 112329600 A CN112329600 A CN 112329600A CN 202011206438 A CN202011206438 A CN 202011206438A CN 112329600 A CN112329600 A CN 112329600A
Authority
CN
China
Prior art keywords
driver
data
fatigue driving
driving
fatigue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011206438.7A
Other languages
English (en)
Inventor
蔡锦康
赵蕊
邓伟文
丁娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Tianxingjian Intelligent Technology Co ltd
Original Assignee
Zhejiang Tianxingjian Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Tianxingjian Intelligent Technology Co ltd filed Critical Zhejiang Tianxingjian Intelligent Technology Co ltd
Priority to CN202011206438.7A priority Critical patent/CN112329600A/zh
Publication of CN112329600A publication Critical patent/CN112329600A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法,包括以下步骤:进行面部识别设备校准;驾驶员使用模拟驾驶器进行虚拟驾驶试验并全程录像,面部识别设备检测驾驶员面部特征,获得包含驾驶员面部特征的试验数据库;录像回放,记录驾驶人员认为自己开始处于疲惫状态的时刻;对试验数据库进行预处理;预处理后的试验数据库进行SVM分类模型训练;测试基于SVM的疲劳驾驶识别模型。本发明使用以模拟驾驶数据为基础,使用SVM算法建立驾驶员面部特征与疲劳驾驶状态之间的关系,可得到高可信度的基于SVM的疲劳驾驶识别模型,该模型可通过驾驶员面部特征判断驾驶员是否处于疲劳驾驶状态并及时提醒。

Description

基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法
技术领域
本发明涉及疲劳驾驶识别建模方法,特别涉及一种基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法。
背景技术
在汽车不断普及的今天,降低交通事故的发生概率已经成为了高校和企业的重要研究热点。疲劳驾驶是造成交通事故的主要原因之一,及时检测驾驶员是否处于疲劳驾驶状态并及时提醒,可在一定程度上降低交通事故带来的生命和财产损失。随着计算机信息技术的不断发展,辅助驾驶技术已经逐渐成为了中高档车辆的标配,且正在不断普及。将疲劳驾驶识别功能嵌入辅助驾驶系统中可有效降低事故发生概率。面部识别是一种已经得到广泛使用的特征识别技术,使用成本较低。SVM算法是一种较为成熟的鲁棒性较强的分类算法,可通过一定量的训练数据自动学习到数据分类方法,并用于新数据的分类。模拟驾驶器具有高可信度的车辆动力学模型和相关环境模型,在辅助驾驶算法开发中扮演者不可或缺的角色。相比与实车,模拟驾驶器对驾驶员的要求较低、使用成本较为低廉、安全性较高,在特定场合可替代实车进行试验,从而降低企业开发成本,提高产品竞争力。
专利CN201910773659.3“基于人脸识别的夜间疲劳驾驶判断方法”提出了一种根据驾驶员面部待测特征区面积判断驾驶员疲劳驾驶状态的方法,其忽略了驾驶员眨眼频率提供的重要信息,具有一定局限性。专利CN201711278842.3“基于面部识别技术的防疲劳驾驶系统”提出了一种结合车辆运动参数和驾驶员面部参数的驾驶员疲劳驾驶状态判别方法,并不涉及具体的基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法。总之,当前技术主要聚焦于面部识别技术与疲劳驾驶状态之间的关系,忽略了疲劳驾驶相关数据难以采集,面部特征筛选不够准确等问题。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法,以模拟驾驶数据为基础,使用SVM算法建立驾驶员面部特征与疲劳驾驶状态之间的关系。
为了达到上述目的,本发明提供一种基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法,包括以下步骤:
配置面部识别设备,进行面部识别设备校准;
驾驶员使用模拟驾驶器进行虚拟驾驶试验并全程录像,面部识别设备检测驾驶员面部特征,获得包含驾驶员面部特征的试验数据库;
驾驶员进行实验之后进行录像回放,记录驾驶人员认为自己开始处于疲惫状态的时刻;
对试验数据库进行预处理;
预处理后的试验数据库进行SVM分类模型训练,得到基于SVM的疲劳驾驶识别模型;
测试基于SVM的疲劳驾驶识别模型,得到模型的可信度。
所述面部识别设备需要检测的驾驶员面部特征包括眼睛眨眼频率、人脸俯仰角、人脸横摆角、人脸侧倾角。
进一步地,所述面部识别设备的驾驶员面部特征数据采集频率为0.5次/s,以减少冗余数据。
进一步地,在模拟驾驶器中进行虚拟驾驶试验时,采用的是基于实际地图的1:1虚拟地图;挑选进行虚拟驾驶试验的驾驶员为10位男女比例为1:1的驾驶员,且都有三年以上驾龄,驾驶频率不低于10小时/周。在模拟驾驶器中进行虚拟驾驶试验时,要求驾驶员严格按照交通规则进行驾驶。
进一步地,在模拟驾驶器中进行虚拟驾驶试验时,道路包括高速、市区、市郊、乡村公路,路长比例为5:3:1:1,且允许驾驶员在相关道路循环行驶。
进一步地,在模拟驾驶器中进行虚拟驾驶试验时,模拟驾驶系统随机控制其他车辆的异常行为,所述异常行为包括非正常超车、紧急制动、强行变道。
进一步地,在模拟驾驶器中进行虚拟驾驶试验时,连续进行虚拟驾驶试验,每次试验时长,4-8个小时,模拟驾驶过程中发生事故或者驾驶员感到身体不适时,可停止该次试验,试验驾驶员休息至少8小时后,方可重新进行试验,每人重复进行5次。
进一步地,对试验数据库的预处理步骤包括:删除异常数据和无效数据;将处于整体数据正负3倍标准差范围之外的数据视为异常数据;将空数据视为无效数据。
进一步地,记录驾驶人员认为自己开始处于疲惫状态的时刻时,将驾驶人员认为自己开始处于疲惫状态的时刻确定为疲劳临界时刻;该疲劳临界时刻前移20分钟,得到清醒状态结束时刻;该疲劳临界时刻后移20分钟,得到疲劳状态开始时刻。
对试验数据库进行预处理时,将清醒状态结束时刻前的数据均标记为非疲劳驾驶类;将疲劳状态开始时刻后的数据均标记为疲劳驾驶类;删除既不属于疲劳驾驶数据,也不属于非疲劳驾驶数据的数据;删除空数据和位于正负相关信号总体标准差2.5倍范围之外的数据。
进一步地,对试验数据进行预处理时,随机选择8个男女比例为1:1的驾驶员的数据作为建模数据库,另2个驾驶员的数据作为测试数据库。
进一步地,使用SVM分类算法对建模数据库中的数据进行分类学习时,仅当所得模型参数连续20次迭代均不变时方可结束分类学习。
进一步地,使用测试数据库中的数据对基于SVM的疲劳驾驶识别模型进行测试时,输入为测试数据库中的眨眼频率、人脸俯仰角、人脸横摆角、人脸侧倾角,输出为测试数据所属类型,即疲劳驾驶类或疲劳驾驶类。
进一步地,仅当基于SVM的疲劳驾驶识别模型的测试准确度高于85%,方可认为该模型具有高可信度,否则重新进行基于模拟驾驶器的试验。
由于采用上述技术方案,本发明达到以下技术效果:本发明以模拟驾驶数据为基础,使用SVM算法建立驾驶员面部特征与疲劳驾驶状态之间的关系,可得到高可信度的基于SVM的疲劳驾驶识别模型;本发明得到的疲劳驾驶识别模型通过驾驶员面部特征判断驾驶员是否处于疲劳驾驶状态并及时提醒。
附图说明
图1为根据本发明的基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明,下面将结合实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员所做的等效变化与修饰前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
请参阅图1,本实施例提供一种基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法,包括如下步骤:
S1.校准面部识别设备
进行面部识别设备校准,且校准面部识别设备时,仅当连续正确识别校准点次数大于或等于10时方可确认该设备校准完成。面部识别设备需要检测的驾驶员面部特征包括检测的主要特征包括眼睛眨眼频率、人脸俯仰角、人脸横摆角、人脸侧倾角。面部识别设备的驾驶员面部数据采集频率为0.5次/s,以减少冗余试验数据。本实施例中,面部识别设备可采用现有设备,例如Kinect设备。面部识别设备安装在模拟驾驶器的驾驶座的正上方,并使其摄像头的拍摄区域正对驾驶员面部,从而可拍摄驾驶员的面部图像以获取面部特征。
S2.进行虚拟驾驶试验
在模拟驾驶器中进行虚拟驾驶试验时,采用的是基于实际地图的1:1虚拟地图;虚拟驾驶实验员为10位男女比例为1:1的驾驶员,且都有三年以上驾龄,驾驶频率不低于10小时/周。要求驾驶员在虚拟驾驶试验中严格按照交通规则进行驾驶。模拟驾驶试验中,道路包括高速、市区、市郊、乡村公路,路长比例为5:3:1:1,且允许驾驶员在相关道路循环行驶。虚拟驾驶试验中,模拟驾驶系统随机控制其他车辆的异常行为,如非正常超车、紧急制动、强行变道等。虚拟驾驶试验中,连续进行虚拟驾驶试验,每次试验时长,4~8个小时,模拟驾驶过程中发生事故或者驾驶员感到身体不适时,可停止该次试验,实验员休息至少8小时后,方可重新进行试验,每人重复进行5次数。虚拟驾驶试验必须全程录像。虚拟驾驶试验完成后,回放试验录像,记录驾驶人员认为自己开始处于疲惫状态的时刻,即驾驶人员确定的疲劳临界时刻。该时刻前移20分钟,得到清醒状态结束时刻。该时刻后移20分钟,得到驾驶员疲劳状态开始时刻。
S3.试验数据预处理
将清醒状态结束时刻前的数据均标记为非疲劳驾驶类;将疲劳状态开始时刻后的数据均标记为疲劳驾驶类。删除既不属于疲劳驾驶数据,也不属于非疲劳驾驶数据的数据;删除空数据和位于正负相关信号总体标准差2.5倍范围之外的数据。随机选择8个男女比例为1:1的驾驶员的数据作为建模数据库,另2个驾驶员的数据作为测试数据库。
S4.训练SVM模型
使用SVM分类算法对建模数据库中的数据进行分类学习时,仅当所得模型参数连续20次迭代均不变时方可结束分类学习,以保证所得模型参数为最佳。
S5.测试SVM模型
使用测试数据库中的数据对基于SVM的疲劳驾驶识别模型进行测试时,输入测试数据库中的眨眼频率、人脸俯仰角、人脸横摆角、人脸侧倾角,输出为测试数据所属类型,即疲劳驾驶类或疲劳驾驶类。
S7.判断是否重新建模
如仅当基于SVM的疲劳驾驶识别模型的测试准确度高于85%,方可认为该模型具有高可信度,否则重新进行基于模拟驾驶器的试验。
S8.输出模型
输出基于SVM的疲劳驾驶识别模型。
以上所述仅为本发明较佳的实施方式,并非用以限定本发明的保护范围;同时,以上的描述对于相关技术领域中具有通常知识者应可明了并据以实施,因此其他未脱离本发明所揭露概念下所完成之等效改变或修饰,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法,其特征在于,包括以下步骤:
配置面部识别设备,进行面部识别设备校准;
驾驶员使用模拟驾驶器进行虚拟驾驶试验并全程录像,面部识别设备检测驾驶员面部特征,获得包含驾驶员面部特征的试验数据库;
驾驶员进行实验之后进行录像回放,记录驾驶人员认为自己开始处于疲惫状态的时刻;
对试验数据库进行预处理;
预处理后的试验数据库进行SVM分类模型训练,得到基于SVM的疲劳驾驶识别模型;
测试基于SVM的疲劳驾驶识别模型,得到模型的可信度。
2.根据权利要求1所述的基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法,其特征在于,所述面部识别设备需要检测的驾驶员面部特征包括眼睛眨眼频率、人脸俯仰角、人脸横摆角、人脸侧倾角。
3.根据权利要求1所述的基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法,其特征在于,所述面部识别设备的驾驶员面部特征数据采集频率为0.5次/s。
4.根据权利要求1所述的基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法,其特征在于,在模拟驾驶器中进行虚拟驾驶试验时,采用的是基于实际地图的1:1虚拟地图;虚拟驾驶试验的驾驶员为10位男女比例为1:1的驾驶员,且都有三年以上驾龄,驾驶频率不低于10小时/周。
5.根据权利要求1所述的基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法,其特征在于,在模拟驾驶器中进行虚拟驾驶试验时,道路包括高速、市区、市郊、乡村公路,路长比例为5:3:1:1,且允许驾驶员在相关道路循环行驶。
6.根据权利要求1所述的基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法,其特征在于,在模拟驾驶器中进行虚拟驾驶试验时,模拟驾驶系统随机控制其他车辆的异常行为,所述异常行为包括非正常超车、紧急制动、强行变道。
7.根据权利要求1所述的基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法,其特征在于,对试验数据库的预处理步骤包括:删除异常数据和无效数据;将处于整体数据正负3倍标准差范围之外的数据视为异常数据;将空数据视为无效数据。
8.根据权利要求1所述的基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法,其特征在于,
将驾驶人员认为自己开始处于疲惫状态的时刻确定为疲劳临界时刻;该疲劳临界时刻前移20分钟,得到清醒状态结束时刻;该疲劳临界时刻后移20分钟,得到疲劳状态开始时刻;
对试验数据库进行预处理时,将清醒状态结束时刻前的数据均标记为非疲劳驾驶类;将疲劳状态开始时刻后的数据均标记为疲劳驾驶类;
删除既不属于疲劳驾驶数据,也不属于非疲劳驾驶数据的数据;删除空数据和位于正负相关信号总体标准差2.5倍范围之外的数据。
9.根据权利要求4所述的基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法,其特征在于,对试验数据进行预处理时,随机选择8个男女比例为1:1的驾驶员的数据作为建模数据库,另2个驾驶员的数据作为测试数据库。
10.根据权利要求1所述的基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法,其特征在于,使用SVM分类算法对建模数据库中的数据进行分类学习时,仅当所得模型参数连续20次迭代均不变时方可结束分类学习;使用测试数据库中的数据对基于SVM的疲劳驾驶识别模型进行测试时,输入为测试数据库中的眨眼频率、人脸俯仰角、人脸横摆角、人脸侧倾角,输出为测试数据所属类型,即疲劳驾驶类或疲劳驾驶类。
CN202011206438.7A 2020-11-03 2020-11-03 基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法 Pending CN112329600A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011206438.7A CN112329600A (zh) 2020-11-03 2020-11-03 基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011206438.7A CN112329600A (zh) 2020-11-03 2020-11-03 基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法

Publications (1)

Publication Number Publication Date
CN112329600A true CN112329600A (zh) 2021-02-05

Family

ID=74323004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011206438.7A Pending CN112329600A (zh) 2020-11-03 2020-11-03 基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法

Country Status (1)

Country Link
CN (1) CN112329600A (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490139A (zh) * 2019-08-21 2019-11-22 南京亨视通信息技术有限公司 基于人脸识别的夜间疲劳驾驶判断方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490139A (zh) * 2019-08-21 2019-11-22 南京亨视通信息技术有限公司 基于人脸识别的夜间疲劳驾驶判断方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
薛雷: "考虑驾驶员生物电信号的疲劳驾驶检测方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
贾丽娟: "基于实车方向盘操作特征的疲劳驾驶检测方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
马添翼: "基于面部表情特征的驾驶员疲劳状态识别方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Similar Documents

Publication Publication Date Title
CN110329271B (zh) 一种基于机器学习的多传感器车辆行驶检测系统及方法
CN104933777B (zh) 一种通过行车记录仪上传路况信息的方法及其行车记录仪
Chen et al. Driving behavior analysis based on vehicle OBD information and adaboost algorithms
CN106297283A (zh) 基于车载智能单元的安全驾驶评估方法及系统
CN105956548A (zh) 驾驶员疲劳状况检测方法和装置
CN107813830A (zh) 一种辅助车辆驾驶的方法及装置
CN110232310B (zh) 一种基于神经网络的疲劳驾驶检测方法及相关设备
CN114627717A (zh) 基于虚拟现实和大数据分析的新手驾驶员培训系统
CN111914738A (zh) 一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统
CN112560782A (zh) 一种基于随机森林算法的车辆换道行为识别方法
CN113642114B (zh) 可犯错的拟人化随机跟车驾驶行为建模方法
CN110236575A (zh) 眼动仪与驾驶模拟器相结合的驾驶员反应时间计算方法
CN112329600A (zh) 基于模拟驾驶器和面部识别技术的疲劳驾驶识别建模方法
CN109849926B (zh) 一种辨别出租车是否交予他人驾驶的方法及系统
CN111932829B (zh) 一种预防疲劳驾驶设施效用测试方法及系统
CN112633163B (zh) 一种基于机器学习算法实现非法运营车辆检测的检测方法
CN112329714A (zh) 基于gm-hmm的驾驶员高速驾驶分心识别建模方法
CN113034917A (zh) 一种交通事故碰撞前车辆行驶轨迹计算方法及系统
CN115027497B (zh) 目标车辆切入意图预测方法及可读存储介质
Liu et al. Driving Performance Analysis of Driver Experience and Vehicle Familiarity Using Vehicle Dynamic Data
CN212809451U (zh) 一种高速公路入口称重设备车型分类预判装置
CN112329657B (zh) 一种感知驾驶员上半身动作的方法及相关装置
US20230057393A1 (en) Automatic Teaching Device
CN114648682A (zh) 基于人脸识别的dms疲劳识别准确率的测试方法及系统
CN115810253A (zh) 一种驾驶员微入睡事件短临预测的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210205