CN102509418B

CN102509418B - 一种多传感信息融合的疲劳驾驶评估预警方法及装置

Info

Publication number: CN102509418B
Application number: CN2011103070021A
Authority: CN
Inventors: 郝矿荣; 于洋; 黄军君; 刁莎
Original assignee: Donghua University
Current assignee: Donghua University
Priority date: 2011-10-11
Filing date: 2011-10-11
Publication date: 2013-11-13
Anticipated expiration: 2031-10-11
Also published as: CN102509418A

Abstract

本发明涉及一种多传感信息融合的疲劳驾驶评估预警方法和装置，其中，方法包括检测驾驶员面部及眼睛状态，从而得到驾驶员面部图像信息，采集车道图像信息；根据得到的驾驶员面部图像信息对驾驶员进行疲劳评估；根据车道图像信息建立数学模型，判断车辆是否压线；根据车道图像信息建立数学模型，判断车辆是否发生大角度偏离；根据上述步骤得到的信息评估驾驶安全等级；根据所述驾驶安全等级作出决策及预警。装置包括第一图像采集单元、驾驶员疲劳评估单元、第二图像采集单元、压线判断单元、偏离判断单元、驾驶评估单元和中央处理单元。本发明能够有效减少因疲劳驾驶引起的交通事故。

Description

一种多传感信息融合的疲劳驾驶评估预警方法及装置

技术领域

本发明涉及车辆安全驾驶技术领域，特别是涉及一种多传感信息融合的疲劳驾驶评估预警方法及装置。

背景技术

疲劳驾驶是当今交通安全的重要隐患之一。驾驶员在疲劳时，其对周围环境的感知能力、形势判断能力和对车辆的操控能力都有不同程度的下降，因此很容易发生交通事故。全世界每年因交通事故而导致的死亡人数达60万，直接经济损失约125亿美元，这些事故中57％的灾难性事故与驾驶员疲劳驾驶有关。在2007年至2008年我国直接由疲劳驾驶导致的死亡人数分别占机动车驾驶员交通肇事总死亡人数的11.35％、10.91％和12.5％，大约每年有9000人死于疲劳驾驶。

现有的驾驶员疲劳状态监测方法大都基于某一单项指标，虽然在限定条件下能够达到一定的精度，但在实际复杂多变的行车环境下，其准确性和可靠性上还存在问题，难以达到预期要求。

研究发现，驾驶员的疲劳状态受多种因素影响，到目前为止，国内外还没有发现非常有效的指标或模型能够对疲劳等级进行精确的评价。现有的大多数检测方法因其检测条件的限制和复杂环境的影响，不能准确完整地提取驾驶员的疲劳信息，导致目前开发的疲劳驾驶预警系统往往不能快速对疲劳状态作出判断与响应检测灵敏度低，可靠性差。

发明内容

本发明所要解决的技术问题是提供一种多传感信息融合的疲劳驾驶评估预警方法及装置，有效减少因疲劳驾驶引起的交通事故。

本发明解决其技术问题所采用的技术方案是：提供一种多传感信息融合的疲劳驾驶评估预警方法，包括以下步骤：

(1)检测驾驶员面部及眼睛状态，从而得到驾驶员面部图像信息；采集车道图像信息；

(2)根据得到的驾驶员面部图像信息对驾驶员进行疲劳评估；

(3)根据车道图像信息建立数学模型，判断车辆是否压线；

(4)根据车道图像信息建立数学模型，判断车辆是否发生大角度偏离；

(5)根据上述步骤得到的信息评估驾驶安全等级；

(6)根据所述驾驶安全等级作出决策及预警。

所述步骤(2)和步骤(4)之间还包括根据车速和行驶时间改变疲劳评估的灵敏度的步骤。

所述步骤(1)中的驾驶员面部图像信息包括睁眼信息、闭眼信息和转头信息。

所述步骤(2)采用PERCLOS方法对驾驶员进行疲劳度评估。

所述步骤(3)还包括以下子步骤：

(31)建立极坐标系，并将车道图像信息坐标系中的直线模型对应到所述的极坐标系中；

(32)建立数学模型得到X＝|cosθ|·m，其中，X为车道图像中心点到车道线的距离；θ为偏离角，即车辆实际导航方向和车道线指引方向夹角；m为车头中心点距车道线的水平距离；

(33)若X≤车身的一半长度时，判定车辆压线；否则车辆不压线。

所述步骤(1)前还包括判断所述车速是否大于门限值，若大于门限值则进入步骤(1)；否则保持对车速的检测。

本发明解决其技术问题所采用的技术方案是：还提供一种多传感信息融合的疲劳驾驶评估预警装置，包括：第一图像采集单元，用于采集驾驶员面部及眼睛状态；驾驶员疲劳评估单元，用于根据驾驶员面部及眼睛状态评估驾驶员的疲劳度；第二图像采集单元，用于采集车道图像信息；压线判断单元，用于根据车道图像信息判断车辆是否压线；偏离判断单元，用于根据车道图像信息判断车辆是否发生大角度偏离；驾驶评估单元，用于根据驾驶员疲劳评估单元、压线判断单元和偏离判断单元的结果，对驾驶安全等级进行评估；中央处理单元，用于驾驶安全等级根据作出决策及预警。

所述多传感信息融合的疲劳驾驶评估预警装置还包括：车辆行驶检测单元，用于检测车辆的车速和行驶时间；灵敏度单元，用于根据车辆的车速和行驶时间改变所述驾驶员疲劳评估单元的驾驶员的疲劳度。

所述多传感信息融合的疲劳驾驶评估预警装置还包括：还包括：启动单元，用于将车辆的车速与门限值进行比较，若车辆的车速大于门限值则启动所述第一图像采集单元和第二图像采集单元采集图像。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明通过检测驾驶员面部及眼睛状态、车速及行车时间和车道线信息等多种传感信息，并融合多种传感信息，准确完整地提取驾驶员的疲劳信息，从而对疲劳驾驶进行评估及预警，有效减少因疲劳驾驶引起的交通事故。利用PERCLOS算法将驾驶员疲劳程度分为四个等级，因此可根据不同的情况对驾驶员及车辆做出不同的预警及控制动作。

附图说明

图1是本发明的疲劳驾驶评估预警流程图；

图2a是车辆到右边线距离示意图；

图2b是图2a中的直线模型对应的极坐标示意图；

图3a是车辆到左边线距离示意图；

图3b是图3a中的直线模型对应的极坐标示意图；

图4a是车辆到左边线示意图；

图4b是图4a中的直线模型对应的极坐标示意图；

图5是车辆压线示意图；

图6是车辆大角度偏离车道示意图；

图7是疲劳驾驶评估及预警装置结构示意图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

以下结合图1，即疲劳驾驶评估预警流程图，分步说明具体的评估预警方法。

1)检测驾驶员面部及眼睛状态

本发明将驾驶员的面部及眼睛分为三种状态，“睁眼”、“闭眼”、“转头”。

三种状态的定义方法如下：面部各变量的取值及含义如表1所示。

表1面部各变量取值及含义

实际检测时，首先检测眼睛状态，若检测到ey＝1(检测到睁开的眼睛)，则定义为“睁眼”状态。若检测到ey＝0(未检测到睁开的眼睛)，再去检测脸部状态。此时，若fc＝1(检测到正面人脸)，则定义为“闭眼”状态。反之，若fc＝0(未检测到正面人脸)，则定义为“转头”状态。

2)根据PERCLOS方法对驾驶员进行疲劳度评估

本发明用PERCLOS的方法将驾驶员疲劳程度分为“未出现疲劳特征”，“出现轻微疲劳特征”，“驾驶不专心、转头过久”，“出现明显疲劳特征”四个等级。PERCLOS是指眼睛闭合时间占一定时间(本实例选取30秒)的百分率。

本示例检测面部图像的频率大概为50ms一次。以30秒为一个时间单位，统计30秒内检测到的“闭眼”次数，占总检测次数的百分比，作为PERCLOS值。每1秒统计一次前30秒的PERCLOS值。

同时，每1秒统计一次在这1秒钟内检测到“转头”次数占总检测次数的百分比。

根据以上计算结果，本系统选取疲劳阈值为36％，即当闭眼时间占总时间(30秒)超过35％(PERCLOS＞35％)时，判定为驾驶员出现明显疲劳特征，即Ⅳ级疲劳。当30％＜PERCLOS≤35％时，判定驾驶员出现轻微疲劳特征，即II级疲劳。当PERCLOS≤30％时，判定驾驶员未出现疲劳特征，即I级疲劳(不疲劳)。

若连续6秒检测到驾驶员“转头”次数占总检测次数的百分比超过90％，则判定驾驶员驾驶不专心，即III级疲劳。指标对比如表2。

表2疲劳度划分指标

3)根据车速及行车时间，改变疲劳度评估的灵敏度

灵敏度与车速和司机驾驶时间有关，主要作用于高速公路和非高速公路这两种行驶状态。灵敏度设定如表3。

表3灵敏度设定

对于不同的灵敏度，判定驾驶员疲劳度的指标不同，表3所示指标为中灵敏度情况下的指标。对于其他灵敏度，需将指标PERLOCS的阈值及“转头”时间阈值(中灵敏度：6秒)乘以灵敏度系数。本实例将灵敏度系数设定如下：

将中灵敏度(灵敏度B)的系数设为1，则，

低灵敏度系数Ka＝1.18。

高灵敏度系数Kc＝0.95。

4)根据车道线信息判断车辆是否压线

一般情况下，车道线画面中会出现实现和虚线两条线。判断车辆压线，先判断车辆压的是当前车道的哪一条线。

当车道有两个条同时出现时，需要通过以下方法判断车辆离左右两根车道线中的哪一根比较近。图2a为车辆到右边线的距离示意图。图3a和图4a均为车辆到左边线的距离示意图。

摄像头2监测得到的车道画面，经过一系列图像处理步骤，最终得到当前车道在图像坐标系中的直线模型对应的极坐标参数(ρ，θ)。

其中：

ρ为计算机测得的原点到车道线的距离；

A为图像中心点；

X为图像中心点到车道线的距离；

θ为偏离角；

a为原点到中心点连线的长度；

b为车道线与x轴的交点和中心点连线的长度；

c为车道线与x轴的交点和原点的连线的长度。

通过图2b、图3b和图4b，可以计算出X₁和X₂的值，即图像中心点到左车道线的距离和到右车道线的距离。

图2b中：因为

而b＝c-a，所以

图3b中：因为

而b＝c+a，所以

图4b中：因为

而b＝a-c，所以

通过以上计算，比较X₁，X₂的大小：

当X₁＞X₂时，车辆离右边线比较近；当X₁＜X₂时，车辆离左边线比较近。

下面给出判定车辆压线的指标，图5为车辆压线示意图。

由图5可知，X＝|cosθ|·m

其中，其中，X为车道图像中心点到车道线的距离；θ为偏离角，即车辆实际导航方向和车道线指引方向夹角；m为车头中心点距车道线的水平距离。

当计算出的X≤半车身长度时，判定车辆压线。

5)根据车道线信息判断车辆是否发生大角度偏离

通过分析车道图像可得α值，如图6所示，并规定，当α≥45°时，车辆发生了大角度偏离车道线。

6)结合多传感信息，评估驾驶安全等级

本发明根据上述多传感信息，将驾驶安全等级分为“安全”，“轻度危险”，“危险”，“非常危险”四个等级。

本实例装置在车速大于20km/h时启动。

首先，将驾驶员面部疲劳度分为I度，II度，III度，Ⅳ度4个等级，分别描述如表4。

表4驾驶员面部疲劳度等级描述

疲劳等级	驾驶员面部疲劳度描述
		I	未出现疲劳特征
II	出现轻微疲劳特征
		III	驾驶不专心，视线偏离路面过久等
IV	出现明显疲劳特征

将车道线状况(即车辆行驶状况)分为A、B、C、D四种情况，分别描述如表5：

表5路面车道线状况分类

车辆行驶状况	车道线画面描述
		A	车辆正常行驶
B	车辆压车道线(虚线)
		C	车辆大角度偏离车道线
D	车辆压车道线(实线)

结合上述驾驶员疲劳程度与车道线状况，将驾驶安全等级分为安全、轻度危险、危险、非常危险四级，如表6所示。

另外，出现以下任何一种情况都视为非常危险：

a)PSD红外测距仪发出对前方障碍物的报警信号。

b)驾驶员连续驾驶时间超过8小时。

c)车速超过150km/h。

表6驾驶员疲劳度等级划分

7)中央处理器作出决策及预警

结合前面划分的疲劳等级，根据不同的情况对驾驶员及车辆做出不同的预警及控制动作，具体操作如表7。

表7疲劳预警决策方案

表7中的语音及控制方案如下：

语音提醒1：“为了行车安全，请勿压线。”

语音提醒2：“您可能需要休息。”

语音提醒3：“请注意车道变更。”

语音提醒4：“为了您的安全，请专心开车。”

语音提醒5：“危险。”

语音提醒6：“为了您的安全，请休息后再行驶车辆。”

控制方案1：车辆以每秒5km/h的速度减速，直至速度减为20km/h。

控制方案2：车辆以每秒15km/h的速度减速，直至速度减为20km/h。

需要说明的是，在采集驾驶员面部及眼睛状态的同时还可以对车道信息进行采集，车道信息的采集也可以先于驾驶员面部及眼睛状态的采集。

本发明的第二实施例涉及一种多传感信息融合的疲劳驾驶评估预警装置，包括：第一图像采集单元，用于采集驾驶员面部及眼睛状态；驾驶员疲劳评估单元，用于根据驾驶员面部及眼睛状态评估驾驶员的疲劳度；第二图像采集单元，用于采集车道图像信息；压线判断单元，用于根据车道图像信息判断车辆是否压线；偏离判断单元，用于根据车道图像信息判断车辆是否发生大角度偏离；驾驶评估单元，用于根据驾驶员疲劳评估单元、压线判断单元和偏离判断单元的结果，对驾驶安全等级进行评估；中央处理单元，用于驾驶安全等级根据作出决策及预警。所述多传感信息融合的疲劳驾驶评估预警装置还包括：车辆行驶检测单元，用于检测车辆的车速和行驶时间；灵敏度单元，用于根据车辆的车速和行驶时间改变所述驾驶员疲劳评估单元的驾驶员的疲劳度。所述多传感信息融合的疲劳驾驶评估预警装置还包括：还包括：启动单元，用于将车辆的车速与门限值进行比较，若车辆的车速大于门限值则启动所述第一图像采集单元和第二图像采集单元采集图像。

其中各个主要单元的安装位置如图7所示，为本发明疲劳驾驶评估及预警装置的一个实施例的示意图。包括驾驶员面部图像采集模块a，即摄像头1；道路图像信息采集模块b，即摄像头2；PSD红外测距仪c；车辆测速装置d；车载中央处理器e。

驾驶员面部图像采集模块a、道路图像信息采集模块b、PSD红外测距仪c、车辆测速装置d将采集到的传感信息发送给中央处理器e，中央处理器e将所有信息分析处理，做出疲劳驾驶的评估及预警。具体的评估预警方法，以软件的形式运行在中央处理器e中。

Claims

1.一种多传感信息融合的疲劳驾驶评估预警方法，其特征在于，包括以下步骤：

（1）检测驾驶员面部及眼睛状态，从而得到驾驶员面部图像信息；采集车道图像信息；

（2）根据得到的驾驶员面部图像信息对驾驶员进行疲劳评估；

（3）根据车道图像信息建立数学模型，判断车辆是否压线，所述步骤（3）还包括以下子步骤；

（31）建立极坐标系，并将车道图像信息坐标系中的直线模型对应到所述的极坐标系中；

（32）建立数学模型得到X=|cosθ|·m，其中，X为车道图像中心点到车道线的距离；θ为偏离角，即车辆实际导航方向和车道线指引方向夹角；m为车头中心点距车道线的水平距离；

（33）若X≤车身的一半长度时，判定车辆压线；否则车辆不压线；

（4）根据车道图像信息建立数学模型，判断车辆是否发生大角度偏离；

（5）根据上述步骤得到的信息评估驾驶安全等级；

（6）根据所述驾驶安全等级作出决策及预警。

2.根据权利要求1所述的多传感信息融合的疲劳驾驶评估预警方法，其特征在于，所述步骤（2）和步骤（4）之间还包括根据车速和行驶时间改变疲劳评估的灵敏度的步骤。

3.根据权利要求1所述的多传感信息融合的疲劳驾驶评估预警方法，其特征在于，所述步骤（1）中的驾驶员面部图像信息包括睁眼信息、闭眼信息和转头信息。

4.根据权利要求1所述的多传感信息融合的疲劳驾驶评估预警方法，其特征在于，所述步骤（2）采用PERCLOS方法对驾驶员进行疲劳度评估。

5.根据权利要求1所述的多传感信息融合的疲劳驾驶评估预警方法，其特征在于，所述步骤（1）前还包括判断车速是否大于门限值，若大于门限值则进入步骤（1）；否则保持对车速的检测。