CN108814630A - 一种驾驶适宜性检测装置及方法 - Google Patents

Abstract

本发明公开了一种驾驶适宜性检测装置及检测方法，采用一体化封闭式眼镜结构，并在外层采用黑色吸光材料，有效避免漏光及人眼瞳孔由于视觉注意本身引起的瞳孔变化，在眼镜与脸部贴合处采用柔性硅胶材料，使脸部与眼镜贴合，相当于直接对疲劳进行检测，提高了疲劳检测精度；用矩形面光源对瞳孔进行刺激，能够使光源对瞳孔刺激均匀；采用红外面光源对瞳孔进行照射，克服红外点光源对瞳孔图像采集的干扰，使瞳孔成像更加均匀，不易受干扰，采用三维长时卷积深度学习网络分析瞳孔运动视频，并对驾驶员任务适宜性进行客观的分级判定，深层理解瞳孔运动状态，实现端到端的检测，提高检测准确率和驾驶适宜性检测效率，本装置结构简单，使用方便快捷。

Description

一种驾驶适宜性检测装置及方法

技术领域

本发明属于医疗卫生技术领域，涉及一种驾驶适宜性检测装置及方法。

背景技术

随着交通运输业的快速发展和车辆保有量的增加，如何降低道路交通事故数、保障行车安全是相关科研人员的研究热点之一。据资料统计，全世界每年由于道路交通事故导致死亡人数超过60万，造成直接经济损失超过10亿，我国是道路交通事故死亡人数较高的国家之一。在道路交通事故诸多成因中，驾驶员因素占较大比例，而疲劳驾驶更是其中最重要的原因。《中华人民共和国道路交通安全法》第二十二条明确规定：“机动车驾驶人……过度疲劳影响安全驾驶的，不得驾驶机动车。”因此，针对疲劳驾驶问题开展驾驶员疲劳检测技术相关研究，研发便携实用的驾驶员疲劳检测设备具有重要的理论价值和积极的现实意义。

美国和澳大利亚是全球驾驶疲劳研究最早和研究成果最多的两个国家，提出了适用于交通执法部门使用的疲劳检测方法应具有的三个特点：

(1)检测结果必须具有客观性和可靠性，即不受被测者主观意愿的影响(该项为必须具备的特点)；

(2)操作和携带简单方便、不受检测环境限制、检测时间短；

(3)测试方法容易被受试者接受，如不能对受试者产生任何直接和间接的身体伤害，不与受试者接触以避免可能的疾病传染。

目前，基于以上三点，对驾驶员进行疲劳检测的方法可分为主观检测与客观检测两大类。主观检测是靠第三方的主观评价和驾驶员的生理反应进行检测，评价性检测包括皮尔逊疲劳量化表、驾驶员自我记录表、斯坦福睡眠尺度表等，基本原理是通过某一相关特性参数的测量表或驾驶员对自己主观进行判断；基于驾驶员生理反应的检测方法包括闪屏值检测、膝腱反射机能检测等。主观检测方法操作简单，但实时性不好，测量结果的准确性难以保证，不能量化疲劳程度，所以很少使用，现阶段主要依靠客观检测方法。

客观检测方法主要分为三大类：驾驶员生理信号检测、驾驶员行为特征检测及车辆行为特征检测。驾驶员生理信号检测包括心电(ECG)、脑电(EEG)、脉搏等信号的检测，此方法与疲劳相关度最高，但多为接触式，其携带、操作不方便、研究实时性差；驾驶员行为特征检测主要有眼部特征、头部位置、嘴部状态的检测等，典型方法是PERCLOSE(percentageof eyelid closure over the pupil over time)法，此类方法与疲劳相关度一般，并且极易受眼疾(沙眼、干眼症等)干扰；车辆行为特征检测主要包括车辆行驶速度的检测、车道偏离程度、方向盘转角等，此方法操作简便，实时性好，但灵敏度不高，无法客观准确的反应疲劳程度。

现阶段国内外关于疲劳驾驶检测的研究重点主要集中在基于驾驶员行为特征和车辆行为特征的检测上，国外发展相对较快。

20世纪70年代，Walt Wierwille博士在弗吉尼亚大学开始研究眼睛光学变量与疲劳的关系，首次提出的疲劳测量(physiological fatigue detection devices andmeasures)方法采用PERCLOS作为疲劳测量指标。在1999年4月，美国联邦公路管理局，首先提出将PERCLOS作为预测机动车驾驶员驾驶疲劳的可行方法。经过发展，在2003年美国国家公路交通安全管理局(NHTSA)联合宾夕法尼亚大学和卡内基梅隆研究所研发出包括PERCLOS眼睑闭合监测器、车道安全跟踪系统、睡眠活动记录器三个子系统的驾驶疲劳检测与报警系统。此外，还研制出了疲劳检测系统DDDS，采用多普勒雷达和复杂的信号处理方法获取驾驶员烦躁不安的情绪活动、眨眼频率和持续时间等疲劳数据，判断驾驶员是否处于磕睡状态。马来西亚大学研究出一套疲劳检测系统，这种系统主要在方向盘上装上传感器，检测驾驶员手握方向盘的力度，传感器上连接着一台电脑，记录记录并处理这些信息，利用驾驶员手握方向盘的力度与人在疲劳之间的关系，通过检测驾驶员手握方向盘的力度和内部监督组似然比来识别驾驶员的疲劳状态，并发出警报。

20世纪60年代，我国开始研究驾驶员疲劳检测方法，虽然比国外起步晚，但就目前研究水平来说仍取得了一些成就。2000年，上海交通大学的石坚通过客观的方法对疲劳驾驶进行了研究，研究了利用疲劳驾驶时手握方向盘的情况，脚踩的踏板等信息参数来研究疲劳和驾驶安全的关系；吉林大学的王荣本教授通过对驾驶员的嘴部状态进行检测来判断驾驶员的疲劳程度，将嘴巴的张开大小作为想要提取的特征值，组成特征矢量，来设计输出闭嘴、说话和打呵欠三种不同状态；江苏大学研究所在研究PERCLOS算法的基础上，使用波长为850/950mm的红外图像仪及差分图像仪作为图像采集器来进行检测，利用红外光源成像排除了环境光源的干扰，这种测量的准确性得到了提高；浙江大学的吴群利用心电图和眼睛状态进行监视员疲劳检测，该方法通过实验获取人体在不同状态下的心电图，再通过核主元方法对采集的样本进行分类分析，然后利用算法支持向量数据描述法(SupportVector Data Description,SVDD)心电数据进行分类，最后结合PERCLOSE原理综合判断驾驶员的疲劳状态来进行检测，但此类方法与疲劳相关度一般，易受眼疾(沙眼、干眼症等)干扰；诸如此类的研究还有很多。现有的检测装置和检测方法，通过疲劳表象进行疲劳检测，易受干扰，检测准确度低。

发明内容

本发明的目的在于提供一种驾驶适宜性检测装置及方法，以克服现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

一种驾驶适宜性检测装置，包括眼镜载体，眼镜载体的镜面位置设有面光源和红外摄像机，眼镜载体前端设有吸光面罩，眼镜载体前端设有适于人眼部的鼻夹，使用时，能够使人眼完全处于黑暗状态，眼镜载体两侧支架铰接有眼镜应力支架，眼镜载体两侧还设有播音耳机，用于语音提示；眼镜应力支架内设有电池模块，眼镜载体内还设有主控处理器以及用于开关控制的总电源按钮和启动测试按钮；眼镜载体上设有显示模块。

进一步的，眼镜载体上设有两个红外摄像机。

进一步的，主控处理器包括处理模块以及于处理模块连接的SPI模块、USB模块、电源模块和I/O接口模块，其中，SPI模块用于对语音模块的数据传输与控制；USB模块用于对红外摄像机的数据传输与控制；电源模块用于对电池模块的充电控制及对整个主控处理器的供电控制；I/O接口模块连接于面光源模块、按钮及显示模块，处理模块用于对SPI模块与USB模块接收信息进行数据处理并通过显示模块显示。

一种驾驶适宜性检测方法，包括以下步骤：步骤1)、驾驶员佩戴驾驶适宜性检测装置，使驾驶员眼部完全处于眼镜载体内的暗室空间内；

步骤2)、黑暗状态下通过红外摄像机采集通孔孔径并发送至主控处理器，再通过面光源产生亮光刺激，同时通过红外摄像机采集通孔孔径并发送至主控处理器；

步骤3)、主控处理器采用基于时空卷积的疲劳检测模型分析瞳孔运动数据，通过显示模块显示当前驾驶员任务适宜度。

进一步的，步骤1)中，驾驶员头戴驾驶员任务适宜性检测装置，眼镜应力支架(4)扣住后脑便于支撑，将瞳孔处理相对暗室下，由总电源按钮(6)打开系统电源，由播音耳机播放操作及注意事项语音。

进一步的，由主控处理器控制红外摄像机采集瞳孔图像，在开始测试在设置时间后，由主控处理器控制面光源产生亮光刺激。

进一步的，采用基于时空卷积的疲劳检测模型分析瞳孔运动数据的具体步骤如下：

步骤3.1)、使用Brox光流估计法，计算前后帧的光流幅值，为使原帧数不变，第一帧采用第二帧的光流估计值；

步骤3.2)、对整个视频帧采用滑动选取视频片段,设视频总帧数为N，滑动窗口大小为D，步长始终为S，则滑动选取的视频片段个数n＝N-S+D；

步骤3.3)、将步骤3.2)中得到的视频片段个数作为不同的通道输入，则有n个输入通道；

步骤3.4)、对步骤3.3)中的n通道视频数据进行时空卷积计算；

步骤3.5)、对步骤3.4)最终得到的卷积结果，与三层全连接层fc6、fc7、fc8相连接,其中fc6的节点数设置为p6，fc7的节点数设置为p7，fc节点数设置为最终的类别数k。

进一步的，步骤3.4)具体地计算如下：

步骤3.4.1)、采用时空卷积核，空间分辨率为h×w,时间分辨率为d；

步骤3.4.2)、卷积时采用填充方式进行，保证输出与输入大小相同；

步骤3.4.3)、重复5次卷积，分别为conv1、conv2、conv3、conv4、conv5，每个卷积层分别采用Fn1、Fn2、Fn3、Fn4、Fn5个滤波器；每个卷积层之间采用最大池化层和ReLU层相连接，最大池化滤波器大小为Pw×Ph×Pd。

进一步的，第一层采用Pw＝2，Ph＝2，Pd＝1，其余层采用Pw＝2，Ph＝2，Pd＝2。

与现有技术相比，本发明具有以下有益的技术效果：

本发明一种驾驶适宜性检测装置，采用一体化封闭式眼镜结构，并在外层采用黑色吸光材料，能够有效避免漏光及人眼瞳孔由于视觉注意本身引起的瞳孔变化，在眼镜与脸部贴合处采用柔性硅胶材料，使脸部与眼镜贴合，相当于直接对疲劳进行检测，提高了疲劳检测精度；采用矩形面光源对瞳孔进行刺激，能够使光源对瞳孔刺激均匀；本疲劳检测眼镜采用红外面光源对瞳孔进行照射，克服红外点光源对瞳孔图像采集的干扰，使瞳孔成像更加均匀；不易受干扰，检测准确度高，本装置结构简单，使用方便快捷。

进一步的，眼镜载体上设有两个红外摄像机，使瞳孔成像更加均匀，适应双瞳差异人群。

一种驾驶适宜性检测方法，通过采用神经网络对瞳孔受光刺激运动进行分析，提高了检测准确率，采用眼镜为载体，使用一体化封闭式眼镜结构，并在眼镜与脸部贴合处采用柔性硅胶材料，使脸部与眼镜贴合的方法，能够使瞳孔处于暗室及无注意点的环境检测，为对瞳孔运动检测提供了良好的检测环境；采用面光源对瞳孔进行刺激，能够使瞳孔得到充分的刺激，采用三维长时卷积深度学习网络分析瞳孔运动视频，并对驾驶员任务适宜性进行客观的分级判定，深层理解瞳孔运动状态，实现端到端的检测，提高检测准确率和驾驶适宜性检测效率。

附图说明

图1为本发明结构示意图。

图2为本发明轴测图。

图3为检测算法模型结构示意图。

图4为主控处理器结构示意图。

图5为时空卷积核结构示意图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

如图1至图5所示，一种驾驶适宜性检测装置，包括眼镜载体1，眼镜载体1的镜面位置设有面光源2和红外摄像机3，眼镜载体1前端设有吸光面罩11，眼镜载体1前端设有适于人眼部的鼻夹，使用时，能够使人眼完全处于黑暗状态，在眼镜与脸部贴合处采用柔性硅胶材料，使脸部与眼镜贴合，眼镜载体1两侧支架铰接有眼镜应力支架4，眼镜载体1两侧还设有播音耳机5，用于语音提示；眼镜应力支架4内设有电池模块8，眼镜载体1内还设有主控处理器9以及用于开关控制的总电源按钮6和启动测试按钮7；眼镜载体1上设有显示模块10；

主控处理器9包括处理模块以及于处理模块连接的SPI模块、USB模块、电源模块和I/O接口模块，其中，SPI模块用于对语音模块的数据传输与控制；USB模块用于对红外摄像机的数据传输与控制；电源模块用于对电池模块的充电控制及对整个主控处理器的供电控制；I/O接口模块连接于面光源模块、按钮及显示模块，处理模块用于对SPI模块与USB模块接收信息进行数据处理并通过显示模块显示。

具体的，眼镜载体1上设有两个红外摄像机3，使瞳孔成像更加均匀，适应双瞳差异人群；

一种驾驶适宜性检测方法，包括以下步骤：

步骤1)、驾驶员佩戴驾驶适宜性检测装置，使驾驶员眼部完全处于眼镜载体内的暗室空间内；

步骤2)、黑暗状态下通过红外摄像机3采集通孔孔径并发送至主控处理器9，再通过面光源2产生亮光刺激，同时通过红外摄像机3采集通孔孔径并发送至主控处理器9；

步骤3)、主控处理器9采用基于时空卷积的疲劳检测模型分析瞳孔运动数据，通过显示模块10显示当前驾驶员任务适宜度。

具体的，步骤1)中，驾驶员头戴驾驶员任务适宜性检测装置，眼镜应力支架4扣住后脑便于支撑，将瞳孔处理相对暗室下，由总电源按钮6打开系统电源，由播音耳机播放操作及注意事项语音；

步骤2)中，由主控处理器9控制红外摄像机采集瞳孔图像，在开始测试在设置时间后，由主控处理器9控制面光源2产生亮光刺激；

具体的，步骤2)中开始测试设置时间为1s；

步骤3)中，采用基于时空卷积的疲劳检测模型分析瞳孔运动数据的具体步骤如下：

步骤3.1)、使用Brox光流估计法，计算前后帧的光流幅值，为使原帧数不变，第一帧采用第二帧的光流估计值。

步骤3.2)、对整个视频帧采用滑动选取视频片段,设视频总帧数为N，滑动窗口大小为D，步长始终为S，则滑动选取的视频片段个数n＝N-S+D；

步骤3.3)、将步骤3.2)中得到的视频片段个数作为不同的通道输入，则有n个输入通道；

步骤3.4)、对步骤3.3)中的n通道视频数据进行时空卷积计算。

步骤3.4)具体地计算如下：

步骤3.4.1)、采用时空卷积核如图5所示，空间分辨率为h×w,时间分辨率为d；

步骤3.4.2)、卷积时采用填充方式进行，保证输出与输入大小相同；

步骤3.4.3)、重复5次卷积，分别为conv1、conv2、conv3、conv4、conv5，每个卷积层分别采用Fn1、Fn2、Fn3、Fn4、Fn5(一般取值为Fn1＝64、Fn2＝128、Fn3＝256、Fn4＝256、Fn5＝256)个滤波器；每个卷积层之间采用最大池化层和ReLU层相连接。最大池化滤波器大小为Pw×Ph×Pd(一般情况下，第一层采用Pw＝2，Ph＝2，Pd＝1，其余层采用Pw＝2，Ph＝2，Pd＝2)。

步骤3.5)、对步骤3.4)最终得到的卷积结果，与三层全连接层(fc6、fc7、fc8)相连接,其中fc6的节点数设置为p6，fc7的节点数设置为p7(一般情况下p6＝p7＝2048)，fc节点数设置为最终的类别数k；

对不同驾驶任务适宜程度下的驾驶员，采用本发明装置，获取瞳孔受刺激下运动的视频图像(每次采集时长T秒，采样帧率F帧/秒，总帧数N＝T×F帧)。k个驾驶适宜度类别中包含的视频数据个数大于2000个，总视频数据个数大于20000个。

实施例

将驾驶适宜度构建成k个程度，F_k表示驾驶适宜度，t表示连续驾驶时间。以构建8个程度的适宜度、步长为0.5小时为例，各个适宜度类别如下所示(F₀至F₈的驾驶适宜度依次降低)：

F₀：t<0.5小时

F₁:0.5小时≤t<1小时

F₂:1小时≤t<1.5小时

F₃：1.5小时≤t<2小时

F₄：2小时≤t<2.5小时

F₅：2.5小时≤t<3小时

F₆：3小时≤t<3.5小时

F₇：3.5小时≤t<4小时

F₈：4小时≤t。

为了避免漏光及人眼瞳孔由于视觉注意本身引起的瞳孔变化，本疲劳检测眼镜采用一体化封闭式眼镜结构，并在外层采用黑色吸光材料，在眼镜与脸部贴合处采用柔性硅胶材料，使脸部与眼镜贴合，相当于直接对疲劳进行检测，提高了疲劳检测精度；为了克服点光源对瞳孔刺激不均匀的问题，本疲劳检测眼镜采用矩形面光源对瞳孔进行刺激；为了克服红外点光源对瞳孔图像采集的干扰，本疲劳检测眼镜采用红外面光源对瞳孔进行照射，使瞳孔成像更加均匀；为了适应双瞳差异人群，本疲劳检测眼镜采用双摄像头设计；为了使检测更准确，本疲劳检测眼镜采用RNN神经网络对瞳孔受光刺激运动进行分析，提高了检测准确率。采用眼镜为载体，使用一体化封闭式眼镜结构，并在眼镜与脸部贴合处采用柔性硅胶材料，使脸部与眼镜贴合的方法，能够使瞳孔处于暗室及无注意点的环境检测，为对瞳孔运动检测提供了良好的检测环境；采用面光源对瞳孔进行刺激，能够使瞳孔得到充分的刺激。

Claims (9)

1.一种驾驶适宜性检测装置，其特征在于，包括眼镜载体(1)，眼镜载体(1)的镜面位置设有面光源(2)和红外摄像机(3)，眼镜载体(1)前端设有吸光面罩(11)，眼镜载体(1)前端设有适于人眼部的鼻夹，眼镜载体(1)两侧支架铰接有眼镜应力支架(4)，眼镜载体(1)两侧还设有播音耳机(5)，用于语音提示；眼镜应力支架(4)内设有电池模块(8)，眼镜载体(1)内还设有主控处理器(9)以及用于开关控制的总电源按钮(6)和启动测试按钮(7)；眼镜载体(1)上设有显示模块(10)。

2.根据权利要求1所述的一种驾驶适宜性检测装置，其特征在于，眼镜载体(1)上设有两个红外摄像机(3)。

3.根据权利要求1所述的一种驾驶适宜性检测装置，其特征在于，主控处理器(9)包括处理模块以及于处理模块连接的SPI模块、USB模块、电源模块和I/O接口模块，其中，SPI模块用于对语音模块的数据传输与控制；USB模块用于对红外摄像机的数据传输与控制；电源模块用于对电池模块的充电控制及对整个主控处理器的供电控制；I/O接口模块连接于面光源模块、按钮及显示模块，处理模块用于对SPI模块与USB模块接收信息进行数据处理并通过显示模块显示。

4.一种基于权利要求1所述的检测装置的驾驶适宜性检测方法，其特征在于，包括以下步骤：步骤1)、驾驶员佩戴驾驶适宜性检测装置，使驾驶员眼部完全处于眼镜载体内的暗室空间内；

步骤2)、黑暗状态下通过红外摄像机(3)采集通孔孔径并发送至主控处理器(9)，再通过面光源(2)产生亮光刺激，同时通过红外摄像机(3)采集通孔孔径并发送至主控处理器(9)；

步骤3)、主控处理器(9)采用基于时空卷积的疲劳检测模型分析瞳孔运动数据，通过显示模块(10)显示当前驾驶员任务适宜度。

5.根据权利要求4所述的一种驾驶适宜性检测方法，其特征在于，步骤1)中，驾驶员头戴驾驶员任务适宜性检测装置，眼镜应力支架(4)扣住后脑便于支撑，将瞳孔处理相对暗室下，由总电源按钮(6)打开系统电源，由播音耳机播放操作及注意事项语音。

6.根据权利要求4所述的一种驾驶适宜性检测方法，其特征在于，由主控处理器(9)控制红外摄像机采集瞳孔图像，在开始测试在设置时间后，由主控处理器(9)控制面光源(2)产生亮光刺激。

7.根据权利要求4所述的一种驾驶适宜性检测方法，其特征在于，采用基于时空卷积的疲劳检测模型分析瞳孔运动数据的具体步骤如下：

步骤3.1)、使用Brox光流估计法，计算前后帧的光流幅值，为使原帧数不变，第一帧采用第二帧的光流估计值；

步骤3.2)、对整个视频帧采用滑动选取视频片段,设视频总帧数为N，滑动窗口大小为D，步长始终为S，则滑动选取的视频片段个数n＝N-S+D；

步骤3.3)、将步骤3.2)中得到的视频片段个数作为不同的通道输入，则有n个输入通道；

步骤3.4)、对步骤3.3)中的n通道视频数据进行时空卷积计算；

步骤3.5)、对步骤3.4)最终得到的卷积结果，与三层全连接层fc6、fc7、fc8相连接,其中fc6的节点数设置为p6，fc7的节点数设置为p7，fc节点数设置为最终的类别数k。

8.根据权利要求7所述的一种驾驶适宜性检测方法，其特征在于，步骤3.4)具体地计算如下：

步骤3.4.1)、采用时空卷积核，空间分辨率为h×w,时间分辨率为d；

步骤3.4.2)、卷积时采用填充方式进行，保证输出与输入大小相同；

步骤3.4.3)、重复5次卷积，分别为conv1、conv2、conv3、conv4、conv5，每个卷积层分别采用Fn1、Fn2、Fn3、Fn4、Fn5个滤波器；每个卷积层之间采用最大池化层和ReLU层相连接，最大池化滤波器大小为Pw×Ph×Pd。

9.根据权利要求8所述的一种驾驶适宜性检测方法，其特征在于，第一层采用Pw＝2，Ph＝2，Pd＝1，其余层采用Pw＝2，Ph＝2，Pd＝2。