CN104794855A - 驾驶员注意力综合评估装置 - Google Patents

Abstract

本发明提供一种驾驶员注意力综合评估装置，具有这样的特征：包括：报警器；驾驶员疲劳测定器，获取驾驶员的当前疲劳值；车辆行驶状态测定器，获取车辆行驶的当前驾驶行为值；控制器，根据当前疲劳值和疲劳状态判定条件判定驾驶员的疲劳状态，再根据疲劳状态调节驾驶行为报警条件，当当前驾驶行为值符合驾驶行为报警条件，控制报警器报警。其优点在于将两种技术获取的信息进行融合，提供更精细准确的驾驶员注意力判定，更有效、更可靠地对疲劳驾驶进行预警，从而保证车辆行驶状态安全；同时能够有效降低产业化成本，降低使用门槛，有利于产品推广。

Description

驾驶员注意力综合评估装置

技术领域

本发明专利涉及车辆安全驾驶控制领域，特别涉及一种驾驶员注意力综合评估装置。

背景技术

在车辆驾驶过程中，尤其是长途驾驶过程中，驾驶员由于身体状况不佳或长时间驾车，容易产生疲劳，思维能力下降，反应迟钝；另一方面，当驾驶员视线不在路面上时，车辆也会偏离车道，容易发生车祸。

现有的驾驶员疲劳预警系统，采用驾驶员面部图像处理技术，或者脑电、心电传感器技术，或者方向盘握力传感器技术，预测驾驶员是否进入疲劳状态。这些技术或是存在需要驾驶员佩戴特定设备的要求，或疲劳判断精度较低，或疲劳判断结果收驾驶员驾驶习惯影响较大，或疲劳判定比较滞后等缺点。

现有的车辆道路偏离警告系统，采用车道线图像识别技术，能够通过图像中检测到的车道线，判断出本车辆相对于车道线的位置关系，当车辆轮胎压过车道线时，发出告警。此技术存在的最大缺点是，难以评估驾驶员是否为主动切换车道线，特别是在很多国家，车辆变换车道线时，司机没有打转向灯的习惯。

一些车辆既安装了驾驶员疲劳预警系统又安装了车辆道路偏离警告系统，当时两套系统各自运行，无法真正的根据驾驶员的不同状态，执行系统的安全报警工作。经常会产生误报警情况，而且频繁地报警反而降低了驾驶员对报警的反应灵敏度，而造成事故的发生。

发明内容

针对以上缺陷，本发明专利的目的是提供一种驾驶员注意力综合评估装置，以解决现有技术的中驾驶员疲劳预警系统和车辆道路偏离警告系统不能协调工作的技术问题。

本发明提供一种驾驶员注意力综合评估装置，具有这样的特征：包括：报警器；驾驶员疲劳测定器，获取驾驶员的当前疲劳值；车辆行驶状态测定器，获取车辆行驶的当前驾驶行为值；暂存器，暂存驾驶员疲劳测定器和车辆行驶状态测定器获得的数据；存储器，存储预设的疲劳状态判定条件和驾驶行为报警条件；控制器，根据当前疲劳值和疲劳状态判定条件判定驾驶员的疲劳状态，再根据疲劳状态调节驾驶行为报警条件，当当前驾驶行为值符合驾驶行为报警条件，控制报警器报警。

进一步，本发明提供一种驾驶员注意力综合评估装置，具有这样的特征：疲劳状态判定条件包括安全疲劳阈值；驾驶行为报警条件包括危险驾驶行为报警阈值和普通驾驶行为报警阈值；控制器，判断当前疲劳值是否小于安全疲劳阈值，当当前疲劳值小于安全疲劳阈值时，再判断当前驾驶行为值是否大于危险驾驶行为报警阈值，当当前驾驶行为值大于危险驾驶行为报警阈值时，控制报警器报警，当当前疲劳值不小于安全疲劳阈值时，再判断当前驾驶行为值是否大于普通驾驶行为报警阈值，当当前驾驶行为值大于普通驾驶行为报警阈值时，控制报警器报警。

进一步，本发明提供一种驾驶员注意力综合评估装置，还可以具有这样的特征：疲劳状态判定条件还包括危险疲劳阈值；驾驶行为报警条件还包括安全驾驶行为报警阈值；控制器，还判断当前疲劳值是否小于危险疲劳阈值，当当前疲劳值不小于安全疲劳阈值且小于危险疲劳阈值时，再判断当前驾驶行为值是否大于普通驾驶行为报警阈值，当当前驾驶行为值大于普通驾驶行为报警阈值时，控制报警器报警，当当前疲劳值不小于危险疲劳阈值时，再判断当前驾驶行为值是否大于安全驾驶行为报警阈值，当当前驾驶行为值大于安全驾驶行为报警阈值时，控制报警器报警。进一步，本发明提供一种驾驶员注意力综合评估装置，还可以具有这样的特征：驾驶员疲劳测定器包括：驾驶员面部图像采集单元，实时采集驾驶员的当前面部图像；当前疲劳值提取单元，根据当前面部图像提取疲劳特征向量，再根据预设的疲劳特征向量计算方法计算出当前疲劳值。

进一步，本发明提供一种驾驶员注意力综合评估装置，还可以具有这样的特征：当前疲劳值为头部运动速度、头部运动角速度、眼球运动速度、面部朝向、视线方向和眨眼频率中的任意一种或几种。

进一步，本发明提供一种驾驶员注意力综合评估装置，还可以具有这样的特征：车辆行驶状态测定器包括：车辆前方道路场景图像采集单元，实时采集车辆前方道路的当前场景图像；当前驾驶行为值提取单元，根据当前场景图像提取车辆行驶状态向量，再根据预设的车辆行驶状态向量计算方法计算出当前驾驶行为值。

进一步，本发明提供一种驾驶员注意力综合评估装置，还可以具有这样的特征：当前驾驶行为值为车轮压到车道线的距离、相对前车的距离、车轮压到车道线的时间和碰撞前车的时间中的任意一项或几项。

进一步，本发明提供一种驾驶员注意力综合评估装置，还可以具有这样的特征：还包括输入输出单元和通信单元。

发明的有益效果

根据本发明提供的一种驾驶员注意力综合评估装置，因为具有驾驶员面部图像采集单元和当前疲劳值提取单元的当前疲劳值提取单元获取驾驶员的当前疲劳值，具有车辆前方道路场景图像采集单元和当前驾驶行为值提取单元的车辆行驶状态测定器获取车辆行驶的当前驾驶行为值，且存储器中预存不同疲劳阈值和报警阈值，控制器可以根据当前驾驶员的不同疲劳状态来调高或者调低报警阈值；当驾驶员清醒时，将报警灵敏度调低，如车辆碰撞报警距离设为最短距离，因为清醒的驾驶员的反应速度比疲劳驾驶员的反应速度要快；当驾驶员处于普通状态时，将报警灵敏度调整为正常值，如车辆碰撞报警距离设为正常反应的距离；当驾驶员处于疲劳状态时，则将报警灵敏度调整为最高级别，即车辆碰撞报警距离设为最长距离，这样在驾驶员处于疲劳状态又不得不开车的情况下，给出驾驶员足够的反应距离。所以，本发明提供的一种驾驶员注意力综合评估装置结合基于驾驶员面部分析的疲劳侦测技术与道路图像分析技术，将两种技术获取的信息进行融合，提供更精细准确的驾驶员注意力判定，更有效、更可靠地对疲劳驾驶进行预警，从而保证车辆行驶状态安全；同时能够有效降低产业化成本，降低使用门槛，有利于产品推广。

附图说明

图1是实施例一驾驶员注意力综合评估装置流程图。

图2是实施例一驾驶员注意力综合评估装置疲劳阈值关系图。

图3是实施例一驾驶员注意力综合评估装置驾驶行为报警阈值关系图。

图4是车辆与车道线碰撞时间和距离的示意图。

图5是前后车辆碰撞时间和距离的示意图。

图6是实施例二驾驶员注意力综合评估装置流程图。

图7是实施例二驾驶员注意力综合评估装置疲劳阈值关系图。

图8是实施例二驾驶员注意力综合评估装置驾驶行为报警阈值关系图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的描述。

实施例一

驾驶员注意力综合评估装置包括：驾驶员疲劳测定器、车辆行驶状态测定器、暂存器、存储器、控制器、报警器输入输出单元和通信单元。

驾驶员疲劳测定器获取驾驶员的当前疲劳值包括驾驶员面部图像采集单元和当前疲劳值提取单元。

驾驶员面部图像采集单元为对准驾驶员面部的摄像机或者照相机，实时采集驾驶员的当前面部图像。

当前疲劳值提取单元中具有获取人脸特征分析程序和疲劳图像特征向量计算程序。当前疲劳值提取单元对图像中的人脸进行定位，然后从人脸区域中提取出特征区域，这些特征区域主要覆盖人脸部重要角点，再对特征区域提取图像纹理特征向量，这些特征包括距特征、边缘特征、直方图特征等，再将提取的特征向量和疲劳图像特征向量计算程序进行计算，将各个区域的相关性分值进行加权求和，加权系数和各个区域检测的置信度相关，即可获得该张人脸的疲劳分值，最后将时间轴上的某个时间窗口内的疲劳分值与事先存在存储器中的模板向量进行点乘，即可得到最终的该时间窗口内驾驶员的疲劳值。

驾驶员的疲劳值可以考察驾驶员面部的如下几个参数中的一种或几种参数同时测定：(1)头部运动速度；(2)面部朝向；(3)眼球运动速度；(4)视线方向(Felzenszwalb，P.and Huttenlocher，D.″PictorialStructures for Object Recognition.″Intl.Journal of ComputerVision，61(1)，pp.55-79，January2005)；(5)眨眼频率；(6)头部运动角速度。

车辆行驶状态测定器获取车辆行驶的当前驾驶行为值，包括车辆前方道路场景图像采集单元和当前驾驶行为值提取单元。

车辆前方道路场景图像采集单元为对准车辆前方道路的摄像机或者照相机，实时采集车辆前方道路的当前场景图像。当前场景图像包括本车行驶方向路面以及路面以上部分的图像信息，其内容包括路面上的车道线、路面上的车辆、路面上的行人等。

当前驾驶行为值提取单元具有车道线检测程序(Lane Detection andKalman-Based Linear-Parabol ic Lane Tracking，King Hann Lim，Semenyih，Maiaysia，Kah Phooi Seng，Ang，Li-Minn，Siew Wen Chin，Intelligent Human-Machine Systems and Cybernetics，2009.IHMSC’09.International Conference on(Volume：2))和前方车辆检测程序(Zehang Sun，George Bebis，Ronald Miller，″On-Road VehicleDetection：A Review，″IEEE Transactions on Pattern Analysis andMachine Intelligence，vol.28，no.5)。

如图4所示，车道线检测程序检测出图像中存在的车道线，提取车道线的类型，例如实线、虚线、双实线等，并根据实现标定的车辆前方道路场景图像采集单元相对于本车的位置，计算出车道线在本车坐标系下的表达方程，由此可进一步计算出本车相对于左或右侧车道线的横向距离Dl。

如图5所示，前方车辆检测程序检测出图像中存在的车辆，并根据实现标定的车辆前方道路场景图像采集单元相对于本车的位置，计算出被检测到的车辆在本车坐标系下的位置坐标、确定本车将碰撞到前车的距离Dc。

如图4和图5所示，车道线检测程序可以根据图像计算出车辆跨越车道线的时间，以及碰撞到前车所需要的时间(参考论文：M.Sagrebin；A.Noglik；J.Pauli.Robust time-to-contact calculation for realtime applications.International Conference on Computer Graphicsand Vision，pages128-133，2008)。所以当前驾驶行为值提取单元还可以提取车轮压到车道线的时间Tl或者碰撞前车的时间Tc作为当前驾驶行为值。

Tl或Tc的值越小，表示车辆距离压到车道线，或碰撞到前车的时间越短，对应的驾驶行为越危险，转换得到的驾驶行为值越高；Dl和Dc的值越小，表示车辆越靠近车道线，或距离前车越近，对应的驾驶行为越危险，转换得到的驾驶行为值越高。

暂存器，暂存驾驶员面部图像采集单元获得的当前面部图像，当前疲劳值提取单元获得的当前疲劳值、车辆前方道路场景图像采集单元获得的当前场景图像、当前驾驶行为值提取单元获得的当前驾驶行为值等实时更新的数据。

存储器预设有安全疲劳阈值和危险疲劳阈值。存储器还预设危险驾驶行为报警阈值、普通驾驶行为报警阈值和安全驾驶行为报警阈值。

安全疲劳阈值和危险疲劳阈值和驾驶员疲劳测定器获得的当前疲劳值相对应。如疲劳值选取的参数为头部运动角速度，角速度越高，表明头部运动越频繁，驾驶员越不倾向于疲劳，转换得到得疲劳值越低；那么安全疲劳阈值设定的头部运动角速度为90度每秒，危险疲劳阈值设定的头部运动速度为30度每秒。

安全驾驶行为报警阈值、普通驾驶行为报警阈值和危险驾驶行为报警阈值与车辆行驶状态测定器获取当前驾驶行为值相对应。车轮压到车道线的距离Dl越小，表明车辆飘离出本车道的可能性越高，转换成驾驶行为值越大；本车相对于前车的距离越小，表明本车追尾前车的可能性越高，转换成驾驶行为值越大。设定危险驾驶行为报警阈值的车轮压到车道线的距离为最短距离，碰撞前车的距离为最短距离，普通驾驶行为报警阈值的车轮压到车道线的距离为正常距离，碰撞前车的距离为正常距离，安全驾驶行为报警阈值的车轮压到车道线的距离为最长距离，碰撞前车的距离为最长距离。

控制器判断当前疲劳值是否小于安全疲劳阈值，还判断当前疲劳值是否小于危险疲劳阈值。当当前疲劳值小于安全疲劳阈值时，再判断当前驾驶行为值是否大于危险驾驶行为报警阈值，当当前驾驶行为值大于危险驾驶行为报警阈值时，控制报警器报警。

当当前疲劳值不小于安全疲劳阈值且小于危险疲劳阈值时，再判断当前驾驶行为值是否大于普通驾驶行为报警阈值，当当前驾驶行为值大于普通驾驶行为报警阈值时，控制报警器报警。

当当前疲劳值不小于危险疲劳阈值时，再判断当前驾驶行为值是否大于安全驾驶行为报警阈值，当当前驾驶行为值大于安全驾驶行为报警阈值时，控制报警器报警。

当然，疲劳值选取的参数可以是头部运动速度、面部朝向、眼球运动速度、视线方向或眨眼频率等参数。

报警器包括发出报警声音的扬声器和振动座椅。

当前疲劳值小于安全疲劳阈值状态下，需要报警时，只有扬声器发出语音提醒。当当前疲劳值不小于安全疲劳阈值且小于危险疲劳阈值状态下，需要报警时，扬声器发出语音提醒，并启动震动座椅发出震动。当当前疲劳值不小于危险疲劳阈值状态下，需要报警时，扬声器发出刺耳警示音，并启动震动座椅发出较长时间持续震动。

实施例二

由实施例一可见，疲劳值选取的参数有多种。有些并不是数值越大越疲劳，有些是数值越小越疲劳，如：头部运动角速度。驾驶行为值也是如此，碰撞时间和距离都是越小越危险。

实施例二中的驾驶员注意力综合评估装置包括：驾驶员疲劳测定器、车辆行驶状态测定器、暂存器、存储器、控制器、报警器输入输出单元和通信单元。部件的基本功能与实施例一中相同，不在详细描述。

不同在于疲劳值是越小越疲劳，驾驶行为值是也是越小越危险，控制器判定的条件随着数值的变化而变化。

图6是实施例二驾驶员注意力综合评估装置流程图。

图7是实施例二驾驶员注意力综合评估装置疲劳阈值关系图。

图8是实施例二驾驶员注意力综合评估装置驾驶行为报警阈值关系图。

如图6、图7和图8所示，控制器先判断当前疲劳值是否小于安全疲劳阈值。

当当前疲劳值小于危险疲劳值时，驾驶员处于疲劳状态，控制器再判断当前驾驶行为值是否小于安全驾驶行为报警阈值。当当前驾驶行为值小于安全驾驶行为报警阈值时，控制报警器报警；否则不报警。

当当前疲劳值不小于危险疲劳值时，控制器再判断当前疲劳值是否小于安全疲劳阈值。

当当前疲劳值小于安全疲劳阈值时，驾驶员处于普通状态，控制器再判断当前驾驶行为值是否小于普通驾驶行为报警阈值。当当前驾驶行为值小于普通驾驶行为报警阈值时，控制报警器报警；否则不报警。

当当前疲劳值不小于安全疲劳阈值时，驾驶员处于清醒状态，控制器在判断当前驾驶行为值是否小于安全驾驶行为报警阈值。当当前驾驶行为值小于安全驾驶行为报警阈值时，控制报警器报警；否则不报警。

当然，疲劳值越小越疲劳，而同时驾驶行为值越大越危险可以使用；反之，同样也可以实用。控制器根据数值标准的变化采取不同的判定条件，驾驶员注意力综合评估装置也同样能实现上述功能。

实施例三

驾驶员注意力综合评估装置包括：驾驶员疲劳测定器、车辆行驶状态测定器、暂存器、存储器、控制器、报警器输入输出单元和通信单元。部件的基本功能与实施例一中相同，不在详细描述。

不同在于疲劳值阈值和驾驶行为值阈值可以多等级设置，可以呈对应关系，如表1所示：

表1

控制器，先根据当前疲劳值和设定的疲劳阈值，从而确定当前的驾驶行为值与设定的哪个级别的驾驶行为阈值进行判定。控制器再将两者进行判定，确定是否进行报警。

实施例的有益效果

本发明专利相比于现有技术，具有如下的优点：

第一，驾驶员注意力综合评估装置融合了车辆道路偏离警告系统和驾驶员疲劳预警系统的计算结果，实现更为精确的驾驶员注意力评估技术。

第二，驾驶员注意力综合评估装置使用驾驶员疲劳预警系统的分析结果，干预车辆道路偏离警告系统的报警执行策略，获得更佳的用户体验。

第三，驾驶员注意力综合评估装置将驾驶员疲劳预警系统和车辆道路偏离警告系统集成在一个硬件平台下，可以有效降低成本，易于社会推广，提高社会效益。

Claims (8)

1.一种驾驶员注意力综合评估装置，其特征在于包括：报警器；

驾驶员疲劳测定器，获取驾驶员的当前疲劳值；

车辆行驶状态测定器，获取车辆行驶的当前驾驶行为值；

暂存器，暂存所述驾驶员疲劳测定器和所述车辆行驶状态测定器获得的数据；

存储器，存储预设的疲劳状态判定条件和驾驶行为报警条件；

控制器，根据所述当前疲劳值和所述疲劳状态判定条件判定驾驶员的疲劳状态，再根据所述疲劳状态调节所述驾驶行为报警条件，当所述当前驾驶行为值符合所述驾驶行为报警条件，控制所述报警器报警。

2.根据权利要求1所述的驾驶员注意力综合评估装置，其特征在于：

其中，所述疲劳状态判定条件包括安全疲劳阈值；

所述驾驶行为报警条件包括危险驾驶行为报警阈值和普通驾驶行为报警阈值；

控制器，判断所述当前疲劳值是否小于所述安全疲劳阈值，

当所述当前疲劳值小于所述安全疲劳阈值时，再判断所述当前驾驶行为值是否大于所述危险驾驶行为报警阈值，当所述当前驾驶行为值大于所述危险驾驶行为报警阈值时，控制所述报警器报警，

当所述当前疲劳值不小于所述安全疲劳阈值时，再判断所述当前驾驶行为值是否大于所述普通驾驶行为报警阈值，当所述当前驾驶行为值大于所述普通驾驶行为报警阈值时，控制所述报警器报警。

3.根据权利要求2所述的驾驶员注意力综合评估装置，其特征在于：

其中，所述疲劳状态判定条件还包括危险疲劳阈值；

所述驾驶行为报警条件还包括安全驾驶行为报警阈值；

控制器，还判断所述当前疲劳值是否小于所述危险疲劳阈值，

当所述当前疲劳值不小于所述安全疲劳阈值且小于所述危险疲劳阈值时，再判断所述当前驾驶行为值是否大于所述普通驾驶行为报警阈值，当所述当前驾驶行为值大于所述普通驾驶行为报警阈值时，控制所述报警器报警，

当所述当前疲劳值不小于所述危险疲劳阈值时，再判断所述当前驾驶行为值是否大于所述安全驾驶行为报警阈值，当所述当前驾驶行为值大于所述安全驾驶行为报警阈值时，控制所述报警器报警。

4.根据权利要求1或2或3所述的驾驶员注意力综合评估装置，其特征在于：

其中，所述驾驶员疲劳测定器包括：

驾驶员面部图像采集单元，实时采集驾驶员的当前面部图像；

当前疲劳值提取单元，根据所述当前面部图像提取疲劳特征向量，再根据预设的疲劳特征向量计算方法计算出所述当前疲劳值。

5.根据权利要求1或2或3所述的驾驶员注意力综合评估装置，其特征在于：

其中，所述当前疲劳值为头部运动速度、头部运动角速度、眼球运动速度、面部朝向、视线方向和眨眼频率中的任意一种或几种。

6.根据权利要求1或2或3所述的驾驶员注意力综合评估装置，其特征在于：

其中，所述车辆行驶状态测定器包括：

车辆前方道路场景图像采集单元，实时采集车辆前方道路的当前场景图像；

当前驾驶行为值提取单元，根据所述当前场景图像提取车辆行驶状态向量，再根据预设的车辆行驶状态向量计算方法计算出所述当前驾驶行为值。

7.根据权利要求1或2或3所述的驾驶员注意力综合评估装置，其特征在于：

其中，所述当前驾驶行为值为车轮压到车道线的距离、相对前车的距离、车轮压到车道线的时间和碰撞前车的时间中的任意一项或几项。

8.根据权利要求1或2或3所述的驾驶员注意力综合评估装置，其特征在于：

还包括输入输出单元和通信单元。