CN111881799B - 基于多源信息融合差别判定的驾驶人疲劳检测方法 - Google Patents

基于多源信息融合差别判定的驾驶人疲劳检测方法 Download PDF

Info

Publication number
CN111881799B
CN111881799B CN202010708676.1A CN202010708676A CN111881799B CN 111881799 B CN111881799 B CN 111881799B CN 202010708676 A CN202010708676 A CN 202010708676A CN 111881799 B CN111881799 B CN 111881799B
Authority
CN
China
Prior art keywords
fatigue
index
degree
driver
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010708676.1A
Other languages
English (en)
Other versions
CN111881799A (zh
Inventor
周炜
高金
李文亮
战琦
刘智超
张学文
曹琛
李臣
张禄
张沫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Institute of Highway Ministry of Transport
Original Assignee
Research Institute of Highway Ministry of Transport
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Institute of Highway Ministry of Transport filed Critical Research Institute of Highway Ministry of Transport
Priority to CN202010708676.1A priority Critical patent/CN111881799B/zh
Publication of CN111881799A publication Critical patent/CN111881799A/zh
Application granted granted Critical
Publication of CN111881799B publication Critical patent/CN111881799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains

Abstract

本发明公开一种基于多源信息融合差别判定的驾驶人疲劳检测方法,基于多源驾驶信息建立疲劳指标体系,并确定体系中各项疲劳指标的阈值;然后设定各项疲劳指标的权重系数Pi;对于超过阈值的疲劳指标,计算疲劳程度指数Fi;基于疲劳程度定级表,根据计算出的疲劳程度指数Fi确定疲劳程度。本发明提出的驾驶人疲劳检测方法融合了多维度指标,并基于这些指标的置信程度和风险等级融合判断,实现了对驾驶人疲劳程度的差别评价,具有指标更全面、判定更准确的优点。

Description

基于多源信息融合差别判定的驾驶人疲劳检测方法
技术领域
本发明涉及一种基于多源信息融合感知差别判定的驾驶人疲劳检测系统及方法,属于汽车安全技术和疲劳驾驶监控领域。
背景技术
疲劳是指由于脑力、肌肉或其他器官因过度消耗而机能反应减弱的人体表征现象,在疲劳状态下驾驶车辆称之为疲劳驾驶。疲劳后,驾驶人的生理状态会发生变化并影响驾驶行为,极易发生道路交通事故。
目前,通过多种技术、方法对疲劳驾驶进行有效检测已具有相应的理论研究基础,也具有技术可行性,但在实际复杂多变的行车环境下,单靠各种单一技术、方法均存在一定局限性,准确率低,误报、漏报严重。基于驾驶人面部特征的疲劳驾驶监测,是通过双眼持续闭合时间和PERCLOS原理监测,在技术上较为成熟。基于驾驶人生理特征的疲劳驾驶监测,需要接触式测量,影响正常驾驶,监测条件苛刻。基于驾驶人操作特征、车辆行驶状态的疲劳驾驶监测,不需要添加过多的硬件设备,而且不会对驾驶人的正常驾驶造成干扰,在部分工况下精确度较高,但受个人习惯与技能差异、车辆特性和道路环境的影响,无法实现全工况、高精度检测。
多种技术相互融合是实现全工况、高准确率检测疲劳驾驶的有效手段,充分利用不同信息之间的互补性和冗余性,提高系统的可靠性和容错能力,能够弥补不同技术之间的不足。
发明内容
在现行技术存在误报、漏报严重的情况下,本发明提出一种基于多源信息融合差别判定的驾驶人疲劳检测方法,是融合了驾驶人连续驾驶时长、驾驶人生理反应、驾驶人面部表征、驾驶人操作表现、车辆行驶状态等多个维度的指标,并基于指标可靠性进行的差别判定,使得判定结果更加准确。
本发明所采取的技术方案如下:一种基于多源信息融合差别判定的驾驶人疲劳检测方法,其特征在于:
1)基于多源驾驶信息,建立疲劳指标体系,并确定体系中各项疲劳指标的阈值;
2)设定各项疲劳指标的权重系数Pi;
3)对于超过阈值的疲劳指标,计算疲劳程度指数Fi:
N为超过阈值的疲劳指标的项数;
4)基于预先制作的疲劳程度定级表,根据计算出的疲劳程度指数Fi确定疲劳程度。
所述多源驾驶信息包括驾驶人持续闭眼时间、设定时间窗内眨眼次数、设定时间窗内车辆横向位移指数、连续驾驶时长、全天累积驾驶时长、设定时间窗内打哈欠次数、设定时间窗内的P80值、持续不操作方向盘时间、转向灯关闭时方向盘转角角速度绝对值、心率。
所述车辆横向位移指数计算方法如下:
step1:定义横向位移是指车辆中心线与车道中心线之间的相对偏移,采集设定时间窗内N个横向位移数据Li,i=1,2…N;
step2:计算N个横向位移数据的平均值Lm
step3:计算N个横向位移数据的标准差Lstd
step4:计算横向位移指数D:
各项所述疲劳指标的阈值根据积累经验自确定。
所述疲劳程度定级表中包含有疲劳程度等级、每一等级对应的疲劳程度界限值。
各项所述疲劳指标的权重系数Pi根据疲劳指标的置信度、风险程度确定取值趋势,并根据所述疲劳程度定级表确定具体的取值范围,所述权重系数Pi的取值范围是0<Pi≤Smax,Smax指疲劳程度定级表中的疲劳程度最大界限值。
所述置信度、风险程度根据积累经验自确定,所述置信度越高、风险程度越高,所述权重系数Pi越大。
本发明提出的驾驶人疲劳检测方法融合了驾驶人连续驾驶时长、面部特征、生理特征以及车辆状态信息等多维度指标,并基于这些指标的置信程度和风险等级融合判断,通过综合疲劳程度指数(Fi)实现了对驾驶人疲劳程度的差别评价,具有指标更全面、判定更准确的优点,解决了现有技术存在的检测维度单一、指标不全面导致的漏报率、误报问题。
附图说明
图1为本发明方法流程示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述,其中,附图与实施例一起用于阐释本发明。但本领域的技术人员应该知道,以下实施例并不是对本发明技术方案作的唯一限定,凡是在本发明技术方案精神实质下所做的任何等同变换或改动,均应视为属于本发明的保护范围。
本发明提出一种基于多源信息融合差别判定的驾驶人疲劳驾驶检测方法,是基于驾驶人连续驾驶时长、驾驶人生理反应、驾驶人面部表征、驾驶人操作表现、车辆行驶状态这些指标进行判定。通过驾驶人的驾驶时长、眼睑闭合程度、眨眼频率、口部张开程度、心率,以及车辆的方向盘转角信号、转向灯信号、横向位移信号这些指标做出决策判断。其中包括:
(1)通过接收驾驶人身份信息,进行驾驶人连续驾驶时长计算,从驾驶人上车被采集图像时开始计算,到车辆停止驾驶人下车为止,将采集图像的时长记为驾驶人的驾驶时长。
(2)通过接收驾驶人身份信息,进行驾驶人全天累积驾驶时长计算,全天累积采集同一驾驶人图像的时长记为驾驶人全天累积驾驶时长。
(3)通过接收眼睑闭合程度信息,进行持续闭眼时间计算,持续闭眼时间为驾驶人眼睑持续闭合超过90%的时间段。
(4)通过接收眼睑闭合程度信息,进行一定时间窗内眨眼频率计算,眨眼定义为眼睑闭合超过90%且持续500ms以上,但不超过2s的动作。眨眼频率可按照1min的时间窗进行计算。
(5)通过接收眼睑闭合程度信息,进行PERCLOS值计算,PERCLOS值取P80计算,P80指一定时间窗内眼睑闭合超过80%的时间占比。
(6)通过接收眼睑闭合程度信息和口部张开程度信息,进行一定时间窗内打哈欠次数计算,打哈欠为眼睑闭合超过90%,同时口部张开超过90%的动作。打哈欠次数可按照5min的时间窗进行计算。
(7)通过接收方向盘转角信息,进行持续不操作方向盘时间计算,在没有接收到方向盘转角信息时都视为没有操作方向盘。
(8)通过接收方向盘转角信息和转向灯信息,进行方向盘转角角速度绝对值计算。
(9)通过接收横向位移信息,进行一定时间窗内的车辆横向位移指数计算。一般采集横向位移信息时间窗不少于1min。
横向位移指数计算方法如下:
step1:定义横向位移是指车辆中心线与车道中心线之间的相对偏移,采集某一时间窗内N个横向位移数据Li,i=1,2…N;
step2:计算N个横向位移数据的平均值Lm
step3:计算N个横向位移数据的标准差Lstd
step4:计算横向位移指数D:
多源信息融合判定策略包括:
(1)基于采集和计算的上述多源信息,建立疲劳指标体系,建立的疲劳指标包括以下10项,见表1,其中10项疲劳指标中的阈值,可自定义,一般根据长期积累的经验数据确定。
表1疲劳指标
(2)将各项疲劳指标按置信度和风险程度进行分类,并设定各项指标的权重系数Pi,见表2。
表2疲劳指标类型及权重系数
置信度和风险程度也是根据长期经验确定其级别,各项疲劳指标的权重系数根据置信度和风险程度相应的取值,置信度和风险程度越高,权重系数较大,反之较小。如,对于持续闭眼时间、眨眼次数、横向位移这些指标,只要某一项大于阈值,就有可能造成安全事故,并且置信度非常高,所以定为高置信度、高风险指标,这样的指标权重系数就很大;对于连续驾驶时长、全天累积驾驶时长、打哈欠次数这些指标,虽然置信度高,但是比如即便驾驶时间很长,或者打哈欠次数很多,由于个体差异可能风险也不是很大,所以定为高置信度、低风险指标,这样的指标权重系数属于中级;对于P80、持续不操作方向盘时间、转向灯关闭时方向盘转角角速度绝对值、心率这些指标,比如即便长时间不操作方向盘或者心率低也不一定是疲劳,所述置信度低,同时即便持续不操作方向盘,或者心率低,也不一定有风险,所以属于低置信度、低风险指标,权重系数小。
(3)基于超过阈值的疲劳指标以及对应的权重系数Pi,计算疲劳程度指数Fi。
N为超过阈值的疲劳指标的项数。
(4)基于系统中内嵌的疲劳程度定级表,根据计算出的疲劳程度指数Fi确定疲劳程度,见表3。
表3疲劳程度定级表
序号 疲劳程度等级 疲劳程度指数Fi范围
1 清醒 0<Fi<S1
2 轻微疲劳 S1≤Fi<S2
3 中度疲劳 S2≤Fi<S3
4 严重疲劳 Fi≥S3
由表3可见,疲劳程度指数Fi落在哪个界限区间内,就属于哪一疲劳程度等级。疲劳程度等级可以自定义划分,比如划分为表3中的四级,也可简单划分为三级,也可复杂划分为五级。
表3中的疲劳程度界限值Si是自定义设定的,它只是一个相对衡量值,并无具体取值的限定,也无具体数值的意义,只是为了区分各疲劳程度等级之间的相互关系,比如取1以下数量级可以,取10以下数量级也可以,取100以下数量级也可以,只需保证0<S1<S2<S3…,按疲劳程度从小到大取值就可以。
由于疲劳程度等级是根据疲劳程度指数Fi所属的疲劳程度界限值区间而定,而疲劳程度指数Fi又是各项权重系数Pi的加和值,所以权重系数Pi的取值范围实际是根据疲劳程度界限值而确定,任何一项权重系数Pi的取值范围是0<Pi≤Smax,Smax指疲劳程度定级表中的疲劳程度最大界限值。同理,权重系数也只是一个相对衡量值,与数值本身的大小无关。
下面是一具体操作实施例:
第一步,确定10项疲劳指标及阈值,见表4。
表4疲劳指标
第二步,确定各项指标的置信度和风险程度,将指标分为3类;并根据疲劳程度定级表(表5)分别对每项指标的权重系数Pi赋值。
表5疲劳程度定级表
序号 疲劳程度 疲劳程度指数Fi范围
1 清醒 Fi≤1
2 一般疲劳 1<Fi≤6
3 严重疲劳 Fi>6
第1类,为高置信度、高风险指标,是疲劳判定的充分条件,且行驶风险较高,即满足该单项指标即视为严重疲劳,将持续闭眼时间、眨眼次数、横向位移指数三项指标定为高置信度、高风险指标,权重系数设定为6;第2类,为高置信度、低风险指标,是疲劳判定的充分条件,但行驶风险较低,即满足该单项指标即视为疲劳,将连续驾驶时长、全天累积驾驶时长、打呵欠次数定为高置信度、低风险指标,权重系数设定为1;第3类,为低置信度、低风险指标,即指标与疲劳的相关性较强,但非充分条件,且风险程度较低,将P80值、持续不操作方向盘时间、转向灯关闭时方向盘转角角速度绝对值、心率定为低置信度、低风险指标,权重系数设定为0.5,详见表6。
表6疲劳指标及权重系数
第三步,根据10项权重系数,假设编号为D1、D5、D9三项指标超标,则计算疲劳程度指数Fi为:
第四步,基于疲劳程度指数Fi和疲劳程度定级表(表5)确定疲劳程度,由于Fi>6,所以为严重疲劳。

Claims (4)

1.一种基于多源信息融合差别判定的驾驶人疲劳检测方法,其特征在于:
1)基于多源驾驶信息,建立疲劳指标体系,并确定体系中各项疲劳指标的阈值;
2)设定各项疲劳指标的权重系数Pi;
3)对于超过阈值的疲劳指标,计算疲劳程度指数Fi:
N为超过阈值的疲劳指标的项数;
4)基于预先制作的疲劳程度定级表,根据计算出的疲劳程度指数Fi确定疲劳程度;
所述多源驾驶信息包括驾驶人持续闭眼时间、设定时间窗内眨眼次数、设定时间窗内车辆横向位移指数、连续驾驶时长、全天累积驾驶时长、设定时间窗内打哈欠次数、设定时间窗内的P80值、持续不操作方向盘时间、转向灯关闭时方向盘转角角速度绝对值、心率;
所述车辆横向位移指数计算方法如下:
step1:定义横向位移是指车辆中心线与车道中心线之间的相对偏移,采集设定时间窗内N个横向位移数据Li,i=1,2…N;
step2:计算N个横向位移数据的平均值Lm
step3:计算N个横向位移数据的标准差Lstd
step4:计算横向位移指数D:
各项疲劳指标的权重系数Pi是根据疲劳指标的置信度、风险程度确定取值趋势,并根据所述疲劳程度定级表确定具体的取值范围,所述权重系数Pi的取值范围是0<Pi≤Smax,Smax指疲劳程度定级表中的疲劳程度最大界限值。
2.根据权利要求1所述的基于多源信息融合差别判定的驾驶人疲劳检测方法,其特征在于:各项所述疲劳指标的阈值根据积累经验自确定。
3.根据权利要求1所述的基于多源信息融合差别判定的驾驶人疲劳检测方法,其特征在于:所述疲劳程度定级表中包含有疲劳程度等级、每一等级对应的疲劳程度界限值。
4.根据权利要求1所述的基于多源信息融合差别判定的驾驶人疲劳检测方法,其特征在于:所述置信度、风险程度根据积累经验自确定,所述置信度越高、风险程度越高,权重系数Pi的取值越大。
CN202010708676.1A 2020-07-22 2020-07-22 基于多源信息融合差别判定的驾驶人疲劳检测方法 Active CN111881799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010708676.1A CN111881799B (zh) 2020-07-22 2020-07-22 基于多源信息融合差别判定的驾驶人疲劳检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010708676.1A CN111881799B (zh) 2020-07-22 2020-07-22 基于多源信息融合差别判定的驾驶人疲劳检测方法

Publications (2)

Publication Number Publication Date
CN111881799A CN111881799A (zh) 2020-11-03
CN111881799B true CN111881799B (zh) 2024-01-12

Family

ID=73155150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010708676.1A Active CN111881799B (zh) 2020-07-22 2020-07-22 基于多源信息融合差别判定的驾驶人疲劳检测方法

Country Status (1)

Country Link
CN (1) CN111881799B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012394A (zh) * 2021-03-17 2021-06-22 合肥工业大学 融合心率和方向盘动作特征的疲劳驾驶预警系统及方法
CN113643512B (zh) * 2021-07-28 2023-07-18 北京中交兴路信息科技有限公司 一种疲劳驾驶检测方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719431A (zh) * 2016-03-09 2016-06-29 深圳市中天安驰有限责任公司 一种疲劳驾驶检测系统
CN106971194A (zh) * 2017-02-16 2017-07-21 江苏大学 一种基于改进hmm和svm双层算法的驾驶意图识别方法
CN109367539A (zh) * 2018-11-01 2019-02-22 哈尔滨理工大学 一种检测疲劳驾驶的智能系统
CN110459034A (zh) * 2018-05-07 2019-11-15 厦门雅迅网络股份有限公司 一种疲劳驾驶预警方法和系统
CN110781873A (zh) * 2019-12-31 2020-02-11 南斗六星系统集成有限公司 一种双模态特征融合的驾驶员疲劳等级识别方法
CN111310683A (zh) * 2020-02-24 2020-06-19 合肥工业大学 一种基于驾驶员疲劳检测的人机协同控制方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719431A (zh) * 2016-03-09 2016-06-29 深圳市中天安驰有限责任公司 一种疲劳驾驶检测系统
CN106971194A (zh) * 2017-02-16 2017-07-21 江苏大学 一种基于改进hmm和svm双层算法的驾驶意图识别方法
CN110459034A (zh) * 2018-05-07 2019-11-15 厦门雅迅网络股份有限公司 一种疲劳驾驶预警方法和系统
CN109367539A (zh) * 2018-11-01 2019-02-22 哈尔滨理工大学 一种检测疲劳驾驶的智能系统
CN110781873A (zh) * 2019-12-31 2020-02-11 南斗六星系统集成有限公司 一种双模态特征融合的驾驶员疲劳等级识别方法
CN111310683A (zh) * 2020-02-24 2020-06-19 合肥工业大学 一种基于驾驶员疲劳检测的人机协同控制方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于驾驶行为的疲劳驾驶检测方法研究;金雪;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》(第3期);第2.1-2.2、3.1、4.5节 *

Also Published As

Publication number Publication date
CN111881799A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111881799B (zh) 基于多源信息融合差别判定的驾驶人疲劳检测方法
CN105151049B (zh) 基于驾驶员脸部特征和车道偏离检测的预警系统
Chai Drowsiness monitoring based on steering wheel status
CN112201038B (zh) 一种基于单车不良驾驶行为风险的路网风险评估方法
CN212484555U (zh) 一种疲劳驾驶多源信息检测系统
JP6134112B2 (ja) 車両運行状態情報基盤の運転集中度判断方法及びそのシステム
CN109147279B (zh) 一种基于车联网的驾驶员疲劳驾驶监测预警方法及系统
CN102436715B (zh) 疲劳驾驶检测方法
CN107697069A (zh) 汽车驾驶员疲劳驾驶智能控制方法
CN105740847A (zh) 一种基于驾驶员眼部识别和车辆行驶轨迹的疲劳等级判别算法
CN101872171A (zh) 基于信息融合的驾驶员疲劳状态识别方法和系统
CN101169873A (zh) 一种异常驾驶智能检测系统及其检测方法
CN108230619A (zh) 基于多特征融合的疲劳驾驶检测方法
CN106571015A (zh) 基于互联网络的驾驶行为数据采集方法
CN108335457B (zh) 一种基于驾驶人手环的驾驶安全监测方法
CN112528815A (zh) 基于多模态信息融合的疲劳驾驶检测方法
CN102940485A (zh) 一种胎心率基线自动识别算法
CN109740477A (zh) 驾驶员疲劳检测系统及其疲劳检测方法
CN110781873A (zh) 一种双模态特征融合的驾驶员疲劳等级识别方法
CN107563346A (zh) 一种基于人眼图像处理实现驾驶员疲劳判别的方法
CN110728824B (zh) 一种基于多源数据的驾驶员疲劳状态检测及提醒方法
CN112991685A (zh) 考虑驾驶人疲劳状态影响的交通系统风险评估及预警方法
CN109664894A (zh) 基于多源异构数据感知的疲劳驾驶安全预警系统
CN110232327B (zh) 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法
CN110781872A (zh) 一种双模态特征融合的驾驶员疲劳等级识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant