CN106965675B - 一种货车集群智能安全作业系统 - Google Patents

Abstract

本发明公开了一种货车集群智能安全作业系统，实时监测疲劳驾驶模块通过判断眼睛最大距离小于阈值、嘴巴最大距离大于阈值的时间是否达到报警阈值，若达到，则向车载中控台发送报警指令；实时预防疲劳驾驶模块通过检测驾驶员头部的姿态数据，当长时间不动时，发送报警指令；实时监测醉酒驾驶模块检测到驾驶员酒精超标时，发送报警指令；语音识别交互模块用于进行语音识别；车载中控台接收报警指令并控制振动反馈模块和语音提醒模块实现对驾驶员的提醒。本发明可防止疲劳驾驶、醉酒驾驶、接打电话等外界干扰；同时，本发明对疲劳驾驶的检测精度高，可从本质上制止疲劳驾驶带来的交通事故。

Description

一种货车集群智能安全作业系统

技术领域

本发明涉及图像处理、模式识别、语音识别和自动化技术领域，尤其涉及一种货车集群智能安全作业系统。

背景技术

疲劳驾驶、醉酒驾驶或者驾驶过程中接打手机等干扰因素是目前交通事故发生的主要因素，因此，如何能防止疲劳驾驶、醉酒驾驶或者排除驾驶过程中的外界干扰，就显得尤为重要。

目前的智能安全作业系统中，主要是如何防止疲劳驾驶，然后给予自动智能提醒；其存在功能单一、疲劳驾驶的检测精度低、无检测概率比较大等问题。

发明内容

针对上述问题中存在的不足之处，如何防止疲劳驾驶、如何预防疲劳驾驶、如何防止醉酒驾驶和语言识别交互技术，三者在货车集群安全作业系统中起着关键性的作用；为此，本发明提供一种货车集群智能安全作业系统。

为实现上述目的，本发明提供一种货车集群智能安全作业系统，包括：车载中控台以及与所述车载中控台相连的实时监测疲劳驾驶模块、实时预防疲劳驾驶模块、实时监测醉酒驾驶模块、振动反馈模块、语音提醒模块和语音识别交互模块；

所述实时监测疲劳驾驶模块包括：设置在驾驶员前方的智能设备；所述智能设备包括：左摄像头和右摄像头，用于拍摄包含眼睛和嘴巴的左图像数据和右图像数据；第一处理器，用于对左右图像数据进行滤波、ROI区域提取、深度计算，获取ROI区域的深度图像；将深度图像送入到离线训练得到的眼睛、嘴巴识别模型中，获取眼睛和嘴巴图像区域；对眼睛和嘴巴图像区域进行边缘点检测，计算沿眼睛或嘴巴闭合方向上相对应两边缘点的最大距离，作为眼睛关键距离和嘴巴关键距离；判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；车载中控台通过振动反馈模块对驾驶员进行振动提醒，通过语音提醒模块进行语音提醒；

所述实时预防疲劳驾驶模块，用于实时监测驾驶员头部的运动姿态，并判断在预设时间B内驾驶员头部的运动姿态是否发生变化；若未发生变化，则向车载中控台发送报警指令；车载中控台通过振动反馈模块对驾驶员进行振动提醒，通过语音提醒模块进行语音提醒；

所述实时监测醉酒驾驶模块，用于对驾驶员进行酒精监测，判断驾驶员的酒精含量是否超标，若超标，则向车载中控台发送报警指令；车载中控台通过语音提醒模块进行语音提醒；

所述语音识别交互模块，用于对驾驶员进行语音识别，判断驾驶员是否接打电话，若是，则向车载中控台发送报警指令；车载中控台通过语音提醒模块进行语音提醒。

作为本发明的进一步改进，所述车载中控台与实时监测疲劳驾驶模块、实时预防疲劳驾驶模块、实时监测醉酒驾驶模块、振动反馈模块、语音提醒模块和语音识别交互模块之间的数据传输形式均采用蓝牙传输。

作为本发明的进一步改进，所述第一处理器包括：

滤波模块，用于对左右图像数据分别进行高斯平滑滤波，平滑窗口为7*7；

ROI区域提取模块，用于对滤波后的左右图像数据，提取包含眼睛和嘴巴信息的左ROI区域和右ROI区域；

深度图像获取模块，用于利用双目摄像头的标定参数及双目成像原理，对左右ROI区域进行深度计算，获取ROI区域的深度图像；

识别模型建立模块，用于对采集的大样本进行半监督随机森林学习，人工对大样本ROI区域中驾驶员的眼睛和嘴巴进行分类，建立眼睛、嘴巴的识别模型；该样本包括：嘴巴的张开及闭合、眼睛的张开及闭合；

识别模块，用于将ROI区域的深度图像送入到识别模型中，进行像素分类，获取眼睛和嘴巴图像区域；并对眼睛和嘴巴图像区域分别进行PCA计算，获取眼睛区域和嘴巴区域的二维图像方向；

边缘检测模块，用于对眼睛和嘴巴图像区域分别进行边缘检测，将检测到的边缘点按照顺时针或逆时针进行排序，得到由边缘点组成的眼睛轮廓和嘴巴轮廓；根据眼睛和嘴巴轮廓以及眼睛区域和嘴巴区域的二维图像方向，得到眼睛分割线和嘴巴分割线，计算眼睛分割线或嘴巴分割线两侧相对应的眼睛边缘点或嘴巴边缘点之间的最大距离，作为眼睛关键距离和嘴巴关键距离；

判断模块，用于判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令。

作为本发明的进一步改进，设定报警阈值为A1、A2、A3，其中：0＜A1＜A2＜A3＜A；

当眼睛闭合和/或嘴巴张开的时间大于A1且小于A2，则第一处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；

当眼睛闭合和/或嘴巴张开的时间大于A2且小于A3，则第一处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；

当眼睛闭合和/或嘴巴张开的时间大于A3且小于A，则第一处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。

作为本发明的进一步改进，所述实时预防疲劳驾驶模块包括：

IMU，所述IMU包括加速度传感器、陀螺仪传感器和地磁传感器，用于检测驾驶员头部的姿态数据；

第二处理器，用于对驾驶员头部的姿态数据进行滤波，并判断在预设时间B内驾驶员头部的运动姿态是否发生变化；若未发生变化，则向车载中控台发送报警指令；车载中控台通过振动反馈模块对驾驶员进行振动提醒，通过语音提醒模块进行语音提醒。

作为本发明的进一步改进，所述第二处理器包括：

滤波模块，用于对驾驶员头部的姿态数据进行卡尔曼滤波处理；

判断模块，用于对滤波处理的姿态数据进行姿态判断，判断驾驶员头部的运动姿态在预设时间B内是否发生变化，若没有发生变化，则向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动。

作为本发明的进一步改进，所述实时监测疲劳驾驶模块还包括：设置在驾驶员前方的智能眼镜；所述智能眼镜包括：

N个左红外LED灯和N个右红外LED灯，用于投影在左眼球和右眼球上，作为后续检测的特征点；其中，N≥7；

带有眼球追踪传感器的左摄像头和右摄像头，用于追踪左眼球和右眼球并拍摄左图像数据和右图像数据；

第三处理器，用于对左右图像数据进行滤波、ROI区域提取、特征点检测，并判断预设时间C内，左右图像特征点数目少于N/2的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；车载中控台通过振动反馈模块对驾驶员进行振动提醒，通过语音提醒模块进行语音提醒。

作为本发明的进一步改进，所述第三处理器包括：

滤波模块，用于对左右图像数据进行双边滤波处理；

ROI区域提取模块，用于对滤波处理后的左右图像数据，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域；

特征点检测模块，用于采用ORB检测算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；

判断模块，用于判断在预设时间C内，左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值，若达到，则向车载中控台发送报警指令。

作为本发明的进一步改进，设定报警阈值为C1、C2、C3，其中：0＜C1＜C2＜C3＜C；

当左右图像特征点数目少于N/2的时间大于C1且小于C2，则第三处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；

当左右图像特征点数目少于N/2的时间大于C2且小于C3，则第三处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；

当左右图像特征点数目少于N/2的时间大于C3且小于C，则第三处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。

作为本发明的进一步改进，预设时间A为300s，报警阈值A1为30s，报警阈值A2为150s，报警阈值A3为200s；

预设时间B为300s；

预设时间C为300s，报警阈值C1为30s，报警阈值C2为150s，报警阈值C3为200s。

与现有技术相比，本发明的有益效果为：

本发明通过智能设备，将计算得到的眼睛、嘴巴关键距离与各自设定的阈值进行比较来判断眼睛、嘴巴的闭合/张开状态，若眼睛闭合、嘴巴张开则表明驾驶员处于疲劳状态；并进一步在预设时间内，通过检测眼睛闭合、嘴巴张开的时间来判断驾驶员是否处于疲劳驾驶，当处于疲劳驾驶时，车载中控台通过振动反馈模块提醒驾驶员，从而实现疲劳驾驶的实时监测；

同时，本发明还可通过智能眼镜，根据检测到的特征点的个数来判断眼睛的闭合/张开状态，若眼睛闭合则表明驾驶员处于疲劳状态；并进一步在预设时间内，通过检测眼睛闭合的时间来判断驾驶员是否处于疲劳驾驶，当处于疲劳驾驶时，车载中控台通过振动反馈模块提醒驾驶员，从而实现疲劳驾驶的实时监测；

本发明通过监测驾驶员头部的运动姿态，若在一定时间内驾驶员头部的运动姿态未发生变化，可判断出该驾驶员处于疲劳驾驶，则向车载中控台发送报警指令，车载中控台通过振动反馈模块对驾驶员进行振动提醒，通过语音提醒模块进行语音提醒，从而实现疲劳驾驶的实时预防；

本发明通过实时监测醉酒驾驶模块来判断驾驶员的酒精含量是否超标，若超标，则向车载中控台发送报警指令；车载中控台通过语音提醒模块进行语音提醒，从而实现对酒驾的实时监测；

本发明通过语音识别交互模块来判断驾驶员是否接打电话，若是，则向车载中控台发送报警指令；车载中控台通过语音提醒模块进行语音提醒；从而实时提醒驾驶员在开车时禁止接打电话；

本发明公开的货车集群智能安全作业系统可防止疲劳驾驶、醉酒驾驶、接打电话等外界干扰；同时，本发明对疲劳驾驶的检测精度高，通过振动反馈模块和语音提醒模块实现振动提醒，从而从本质上制止疲劳驾驶带来的交通事故。

附图说明

图1为本发明第一种实施例公开的货车集群智能安全作业系统的框架图；

图2为图1中智能设备的框架图；

图3为图2中第一处理器的框架图；

图4为本发明第一种实施例公开的眼睛分割线及眼睛关键距离的示意图；

图5为本发明第二种实施例公开的货车集群智能安全作业系统的框架图；

图6为图5中智能眼镜的示意图；

图7为图6中第三处理器的框架图；

图8为本发明第二种实施例公开的特征点在投射在眼睛上的示意图。

图中：

10、车载中控台；20、实时监测疲劳驾驶模块；21、智能设备；211、左摄像头；212、右摄像头；213、第一处理器；22、智能眼镜；221、左红外LED灯；222、右红外LED灯；223、左摄像头；224、右摄像头；225、第三处理器；30、实时预防疲劳驾驶模块；31、IMU；32、第二处理器；40、实时监测醉酒驾驶模块；50、振动反馈模块；60、语音提醒模块；70、语音识别交互模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合附图对本发明做进一步的详细描述：

本发明提供一种货车集群智能安全作业系统，包括：车载中控台10以及与车载中控台10相连的实时监测疲劳驾驶模块20、实时预防疲劳驾驶模块30、实时监测醉酒驾驶模块40、振动反馈模块50、语音提醒模块60和语音识别交互模块70；车载中控台10与实时监测疲劳驾驶模块20、实时预防疲劳驾驶模块30、实时监测醉酒驾驶模块40、振动反馈模块50、语音提醒模块60和语音识别交互模块70之间的数据传输形式均采用蓝牙传输。

本发明实时监测疲劳驾驶模块可单独采用智能设备、也可单独选用智能眼镜、还可智能设备与智能眼镜同时使用。当选用智能设备时，实时预防疲劳驾驶模块可单独佩戴在驾驶员头上；当选用智能眼镜时，实时预防疲劳驾驶模块可安装在智能眼镜上。

实施例1：

如图1所示，本发明提供一种货车集群智能安全作业系统，包括：车载中控台10以及与车载中控台10相连的实时监测疲劳驾驶模块20、实时预防疲劳驾驶模块30、实时监测醉酒驾驶模块40、振动反馈模块50、语音提醒模块60和语音识别交互模块70；其中，振动反馈模块50可安装在驾驶员座椅上，其可采用多个振动凸点，通过处理器的判断结果，控制不同数量的振动凸点振动，从而实现3种振动模式(也可根据需求设计成多种振动模式)。

本发明的实时监测疲劳驾驶模块20采用设置在驾驶员前方的智能设备21，智能设备21可安装在驾驶员前方的仪表盘上。如图2所示，本发明的智能设备21包括：左摄像头211、右摄像头212、第一处理器213和电源；其中：左摄像头211用于拍摄包含眼睛和嘴巴的左图像数据，右摄像头212用于拍摄包含眼睛和嘴巴的右图像数据；左摄像头211和右摄像头212构成了双目摄像头。第一处理器213，第一处理器213用于对左右图像数据进行滤波、ROI区域提取、深度计算，获取ROI区域的深度图像；将深度图像送入到离线训练得到的眼睛、嘴巴识别模型中，获取眼睛和嘴巴图像区域；对眼睛和嘴巴图像区域进行边缘点检测，计算沿眼睛或嘴巴闭合方向上相对应两边缘点的最大距离，作为眼睛关键距离和嘴巴关键距离；判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；车载中控台10接收报警指令，控制振动反馈模块50对驾驶员进行振动提醒，通过语音提醒模块60进行语音提醒。

如图3所示，本发明的第一处理器213包括：滤波模块、ROI区域提取模块、深度图像获取模块、识别模型建立模块、识别模块、边缘检测模块和判断模块；其中：

滤波模块，用于对左右图像数据分别进行高斯平滑滤波，平滑窗口为7*7；

ROI区域提取模块，用于对滤波后的左右图像数据，提取包含眼睛和嘴巴信息的左ROI区域和右ROI区域；其中，本发明在汽车驾驶舱对摄像头的安装是有一定要求，一般要求标准是驾驶员正常驾驶状态下，驾驶员的头部位置正好落在摄像头图像区域的中间区域即可；即ROI区域是图像中间区域；

深度图像获取模块，利用提前对双目摄像头的标定参数，通过双目立体成像原理(三角定位)，对左右ROI区域进行深度数据计算，获取ROI区域的深度图像；

识别模型建立模块，用于采集300000个不同人的样本作为大样本数据，获取每个样本ROI区域的深度图像，通过半监督随机森林学习法，人工对大样本ROI深度图像中驾驶员的眼睛和嘴巴进行分类，建立眼睛、嘴巴的识别模型；其中，半监督随机森林的参数设计为：树的个数：200，二叉树的深度：100，每层树的最佳分割候选点个数：4，预测精度：0.001；样本中必须包含人的嘴巴张开，眼睛闭合状态等情况；

识别模块，用于将深度图像送入到通过离线训练得到的眼睛、嘴巴识别模型中，对ROI的深度图像进行像素分类，获取眼睛和嘴巴图像区域；并对眼睛和嘴巴图像区域分别进行PCA计算(PCA(Principal Component Analysis)是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性)，获取眼睛区域和嘴巴区域的二维图像方向；

边缘检测模块，用于对眼睛和嘴巴图像区域分别进行边缘检测，将检测到的边缘点按照顺时针或逆时针进行排序，得到由边缘点组成的眼睛轮廓和嘴巴轮廓，如图4所示的眼睛轮廓。根据眼睛和嘴巴轮廓以及眼睛区域和嘴巴区域的二维图像方向，得到眼睛分割线和嘴巴分割线，如图4所示的眼睛分割线；嘴巴分割线与眼睛分割线一致，用于分割上嘴唇和下嘴唇，图中未示出。计算眼睛分割线或嘴巴分割线两侧相对应的眼睛边缘点或嘴巴边缘点之间的最大距离，作为眼睛关键距离和嘴巴关键距离。如图4所示，以眼睛轮廓为例，将眼睛分割线两侧的边缘点相连(连接线与眼睛分割线垂直或近似垂直)，求得所有对应两边缘点的距离d1、d2···dn，并从所有距离中找出最大的距离d最大，该距离即为眼睛关键距离，形成该距离的两边缘点即为眼睛关键点；嘴巴关键距离的获取方法与上述方法一致。

判断模块，用于判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；其中，阈值T1、阈值T2可人为根据需求进行设定。判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值A1、A2、A3，0＜A1＜A2＜A3＜A；若达到，则向车载中控台发送报警指令；其中，本发明优选预设时间A为300s，报警阈值A1为30s，报警阈值A2为150s，报警阈值A3为200s；同时，还可根据实际需求设计不同的阈值；

a、当眼睛闭合和/或嘴巴张开的时间大于0且小于30s，则第一处理器不发送报警指令；

b、当眼睛闭合和/或嘴巴张开的时间大于30s且小于150s，则第一处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；

c、当眼睛闭合和/或嘴巴张开的时间大于150s且小于200s，则第一处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；

d、当眼睛闭合和/或嘴巴张开的时间大于200s且小于300s，则第一处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。

本发明智能设备20的实现方法为：

S101、输入双目摄像头采集的左图像数据和右图像数据，图像数据为双目摄像头采集的驾驶员面部图像。

S102、对左右图像数据分别进行传统的高斯平滑滤波，平滑窗口为7*7。

S103、对滤波后的左右图像数据，提取包含眼睛和嘴巴信息的左ROI区域和右ROI区域；其中，本发明在汽车驾驶舱对摄像头的安装是有一定要求，一般要求标准是驾驶员正常驾驶状态下，驾驶员的头部位置正好落在摄像头图像区域的中间区域即可；即ROI区域是图像中间区域。

S104、利用提前对双目摄像头的标定参数，通过双目立体成像原理(三角定位)，对左右ROI区域进行深度数据计算，获取ROI区域的深度图像。

S105、将深度图像送入到通过离线训练得到的眼睛、嘴巴识别模型中，对ROI的深度图像进行像素分类，获取眼睛和嘴巴图像区域；其中，识别模型的建立方法为：

a、采集300000个不同人的样本作为大样本数据；

b、依据S101-S104，获取每个样本ROI区域的深度图像；

c、通过半监督随机森林学习法，人工对大样本ROI深度图像中驾驶员的眼睛和嘴巴进行分类，建立眼睛、嘴巴的识别模型；其中，半监督随机森林的参数设计为：树的个数：200，二叉树的深度：100，每层树的最佳分割候选点个数：4，预测精度：0.001；样本中必须包含人的嘴巴张开，眼睛闭合状态等情况。

S106、对眼睛和嘴巴图像区域分别进行PCA计算(PCA(Principal ComponentAnalysis)是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性)，获取眼睛区域和嘴巴区域的二维图像方向。

S107、对眼睛和嘴巴图像区域分别进行边缘检测，将检测到的边缘点按照顺时针或逆时针进行排序，得到由边缘点组成的眼睛轮廓和嘴巴轮廓，如图4所示的眼睛轮廓。

S108、根据眼睛和嘴巴轮廓以及眼睛区域和嘴巴区域的二维图像方向，得到眼睛分割线和嘴巴分割线，如图4所示的眼睛分割线；嘴巴分割线与眼睛分割线一致，用于分割上嘴唇和下嘴唇，图中未示出。

S109、计算眼睛分割线或嘴巴分割线两侧相对应的眼睛边缘点或嘴巴边缘点之间的最大距离，作为眼睛关键距离和嘴巴关键距离。如图4所示，以眼睛轮廓为例，将眼睛分割线两侧相对应的边缘点相连(两边缘点的连接线与眼睛分割线垂直或最近似垂直)，求得所有对应两边缘点的距离d1、d2···dn，并从所有距离中找出最大的距离d_最大，该距离即为眼睛关键距离，形成该距离的两边缘点即为眼睛关键点；嘴巴关键距离的获取方法与上述方法一致。

S110、判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开，可表示驾驶员处于疲劳状态；跳至S111。其中，阈值T1、阈值T2可人为根据需求进行设定。

S111、判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值A1、A2、A3，0＜A1＜A2＜A3＜A；若达到，则向车载中控台发送报警指令；其中，本发明优选预设时间A为300s，报警阈值A1为30s，报警阈值A2为150s，报警阈值A3为200s；同时，还可根据实际需求设计不同的阈值；

a、当眼睛闭合和/或嘴巴张开的时间大于0且小于30s，则第一处理器不发送报警指令；

b、当眼睛闭合和/或嘴巴张开的时间大于30s且小于150s，则第一处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；

c、当眼睛闭合和/或嘴巴张开的时间大于150s且小于200s，则第一处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；

d、当眼睛闭合和/或嘴巴张开的时间大于200s且小于300s，则第一处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。

S112、车载中控台接收报警指令，控制振动反馈模块对驾驶员进行振动提醒，通过语音提醒模块进行语音提醒。

如图1所示，本发明的实时预防疲劳驾驶模块30包括：IMU31和第二处理器32；其中：

IMU(惯性测量单元)31包括加速度传感器、陀螺仪传感器和地磁传感器，用于检测驾驶员头部的姿态数据；其中，加速度传感器和陀螺仪传感器用于检测驾驶员头部的姿态数据，驾驶员头部的姿态数据可用六自由度表示，即通过加速度传感器沿检测x、y、z三个直角坐标轴方向的移动自由度和通过陀螺仪传感器检测绕这三个坐标轴的转动自由度，地磁传感器用于实时校正；从而通过IMU(惯性测量单元)31来判断驾驶员头部的运动姿态是否发生改变。

第二处理器32包括：滤波模块，用于对驾驶员头部的姿态数据进行卡尔曼滤波处理，进行传感器数据降噪处理。判断模块，用于对滤波处理的姿态数据进行姿态判断，判断驾驶员头部的运动姿态在预设时间B(本发明的预设时间B设定为300s，也可根据实际需求设计成其他的阈值)内是否发生变化，若没有发生变化，则向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动。

车载中控台10接收报警指令，控制振动反馈模块50对驾驶员进行振动提醒，通过语音提醒模块60进行语音提醒。

如图1所示，本发明的实时监测醉酒驾驶模块40主要是通过酒精检测模块检测人体是否摄入酒精及摄入酒精多少程度，每次在驾驶员从新启动行程时，提醒驾驶员先做酒精检测，如果不超标，则开始启动，否则通过语音提醒模块，向驾驶员发出提醒报警信息；同时，还通过4G无线传输模块，向调度中心发送驾驶员酒精检测信息，通过调度中心二次对驾驶员当前状态做进一步处理。

如图1所示，驾驶员在驾驶过程中，如果接打电话会给驾驶造成很大的安全隐患，这样驾驶员就无法获得调度中心实时指示和卡车集群中的其他驾驶员互动信息；本发明的语音识别交互模块70用于对驾驶员进行语音识别，判断驾驶员是否接打电话，若是，则向车载中控台发送报警指令；车载中控台通过语音提醒模块进行语音提醒。通过语音识别交互模块解决上述问题，提高了运输效率。

实施例2：

如图5所示，本发明提供一种货车集群智能安全作业系统，包括：车载中控台10以及与车载中控台10相连的实时监测疲劳驾驶模块20、实时预防疲劳驾驶模块30、实时监测醉酒驾驶模块40、振动反馈模块50、语音提醒模块60和语音识别交互模块70；其中，振动反馈模块50可安装在驾驶员座椅上，其可采用多个振动凸点，通过处理器的判断结果，控制不同数量的振动凸点振动，从而实现3种振动模式(也可根据需求设计成多种振动模式)。

本发明的实时监测疲劳驾驶模块20采用供驾驶员佩戴的智能眼镜22。如图6所示，智能眼镜22的外形与普通眼镜近似，其可以为眼镜框、也可在眼镜框上安装对应的太阳镜片、近视镜片等；本发明的智能眼镜22包括：左红外LED灯221、右红外LED灯222、左摄像头223、右摄像头224、第三处理器225和电源；其中：

左红外LED灯221、右红外LED灯222设置的数目最少为7个，本发明左红外LED灯221、右红外LED灯222均采用8个，上述数目综合考虑到电源的持久性和红外LED灯的效果。本发明8个左红外LED灯221均布在智能眼镜左镜框的边框上，左红外LED灯221投影在左眼球上(其可通过左红外LED灯的安装角度及调整镜框的结构来实现)，作为后续左ROI区域检测的特征点。8个右红外LED灯222均布在智能眼镜右镜框的边框上，右红外LED灯222投影在右眼球上(其可通过右红外LED灯的安装角度及调整镜框的结构来实现)，作为后续右ROI区域检测的特征点。

本发明在左镜框上对应安装有带有眼球追踪传感器的左摄像头223，左摄像头223用于追踪左眼球并拍摄左图像数据(左图像数据包含左眼信息、左红外LED灯221在左眼球上的投影等)，本发明的左摄像头223选用短焦摄像头。本发明在右镜框上对应安装有带有眼球追踪传感器的右摄像头224，右摄像头224用于追踪右眼球并拍摄右图像数据(右图像数据包含右眼信息、右红外LED灯222在右眼球上的投影等)，本发明的右摄像头224选用短焦摄像头。

本发明智能眼镜22上还安装有第三处理器225，第三处理器225用于对左右图像数据进行滤波、ROI区域提取、特征点检测，并判断预设时间C内，左右图像特征点数目少于N/2的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令。

如图7所示，本发明的第三处理器225包括：滤波模块、ROI区域提取模块、特征点检测模块和判断模块；其中：

滤波模块对输入的左右图像数据进行传统的双边滤波计算，进行图像数据降噪处理。

ROI区域提取模块对第一滤波降噪模块滤波降噪处理后的左右图像数据，进行ROI区域提取(ROI(region of interest)，感兴趣区域。机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域)，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域。ROI区域在图像的位置，是由硬件系统相对人眼的位置的摆放决定的，本发明将ROI区域摆放在左右图像中间的某一区域中。

特征点检测模块采用传统的ORB检测算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；其中，当眼睛处于闭合状态时，特征点投影在眼皮上，通过设计检测阈值，其无法通过ORB检测算法来检测到特征点；当眼睛处于张开状态时，特征点投影在眼球上，其获取的ROI区域呈现出明显的黑白效果，如图8所示；其可通过ORB检测算法来检测到特征点；基于上述原理，本发明通过检测特征点低于某一阈值则判断眼睛处于闭合状态，根据眼睛处于闭合状态的时间来判断驾驶员处于疲劳驾驶的状态，本发明选择ROI区域上特征点数目少于特征点总数的一半判断成驾驶员眼睛处于闭合状态，根据下述眼睛处于闭合状态的时间来判断驾驶员处于疲劳驾驶的状态；同时，也可选用其它的阈值来判断驾驶员眼睛处于闭合状态和疲劳驾驶的状态。

判断模块，用于在预设时间C内，判断左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值C1、C2、C3，0＜C1＜C2＜C3＜C；若达到，则向车载中控台10发送报警指令；本发明设计预设时间C为300s，报警阈值C1为30s，报警阈值C2为150s，报警阈值C3为200s；同时，也可根据实际需求设计成其他的阈值。其中：

a、当左右图像特征点数目少于4的时间大于0且小于30s，则没有达到报警阈值，第三处理器不发送报警指令；

b、当左右图像特征点数目少于4的时间大于30s且小于150s，则第三处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；

c、当左右图像特征点数目少于4的时间大于150s且小于200s，则第三处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；

d、当左右图像特征点数目少于4的时间大于200s且小于300s，则第三处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。

本发明的车载中控台10接收第三处理器225的报警指令，并向振动反馈模块50发送指令，控制其工作，实现对驾驶员的振动提醒；同时，向语音提醒模块60发送指令，控制其工作，实现对驾驶员的语音提醒。

本发明智能眼镜的实现方法为：

S101、输入摄像头采集的左图像数据、右图像数据及IMU采集的智能眼镜姿态数据；

S102、对左右图像数据进行双边滤波处理；

S103、对滤波处理后的左右图像数据，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域；

S104、采用ORB检测算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；

S105、在预设时间300s内，判断左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值30s、150s、200s，若达到，则向车载中控台发送报警指令；其中：

a、当左右图像特征点数目少于4的时间大于0且小于30s，则没有达到报警阈值，第三处理器不发送报警指令；

b、当左右图像特征点数目少于4的时间大于30s且小于150s，则第三处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；

c、当左右图像特征点数目少于4的时间大于150s且小于200s，则第三处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；

d、当左右图像特征点数目少于4的时间大于200s且小于300s，则第三处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动；

S106、对S101采集的智能眼镜姿态数据进行卡尔曼滤波处理；

S107、对滤波处理的姿态数据进行姿态判断，判断智能眼镜的姿态在预设时间300s内是否发生变化，若没有发生变化，则向车载中控台发送振动模式1的报警指令；

S108、车载中控台接收S105和S107的报警指令，控制振动反馈模块振动和语音提醒模块语音播放，实现对驾驶员的提醒。

本发明的实时预防疲劳驾驶模块30包括：IMU31和第二处理器32；其中：IMU31和第二处理器32均可安装在智能眼镜22上，同时，IMU31采集的传感器数据可通过第三处理器225进行处理，从而省略第二处理器32；

IMU(惯性测量单元)31包括加速度传感器、陀螺仪传感器和地磁传感器，用于检测驾驶员头部的姿态数据；其中，加速度传感器和陀螺仪传感器用于检测驾驶员头部的姿态数据，驾驶员头部的姿态数据可用六自由度表示，即通过加速度传感器沿检测x、y、z三个直角坐标轴方向的移动自由度和通过陀螺仪传感器检测绕这三个坐标轴的转动自由度，地磁传感器用于实时校正；从而通过IMU(惯性测量单元)31来判断驾驶员头部的运动姿态是否发生改变。

第二处理器32包括：滤波模块，用于对驾驶员头部的姿态数据进行卡尔曼滤波处理，进行传感器数据降噪处理。判断模块，用于对滤波处理的姿态数据进行姿态判断，判断驾驶员头部的运动姿态在预设时间B(本发明的预设时间B设定为300s，也可根据实际需求设计成其他的阈值)内是否发生变化，若没有发生变化，则向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动。

车载中控台10接收报警指令，控制振动反馈模块50对驾驶员进行振动提醒，通过语音提醒模块60进行语音提醒。

本发明的实时监测醉酒驾驶模块40主要是通过酒精检测模块检测人体是否摄入酒精及摄入酒精多少程度，每次在驾驶员从新启动行程时，提醒驾驶员先做酒精检测，如果不超标，则开始启动，否则通过语音提醒模块，向驾驶员发出提醒报警信息；同时，还通过4G无线传输模块，向调度中心发送驾驶员酒精检测信息，通过调度中心二次对驾驶员当前状态做进一步处理。

驾驶员在驾驶过程中，如果接打电话会给驾驶造成很大的安全隐患，这样驾驶员就无法获得调度中心实时指示和卡车集群中的其他驾驶员互动信息；本发明的语音识别交互模块70用于对驾驶员进行语音识别，判断驾驶员是否接打电话，若是，则向车载中控台发送报警指令；车载中控台通过语音提醒模块进行语音提醒。通过语音识别交互模块解决上述问题，提高了运输效率。

本发明通过智能设备，将计算得到的眼睛、嘴巴关键距离与各自设定的阈值进行比较来判断眼睛、嘴巴的闭合/张开状态，若眼睛闭合、嘴巴张开则表明驾驶员处于疲劳状态；并进一步在预设时间内，通过检测眼睛闭合、嘴巴张开的时间来判断驾驶员是否处于疲劳驾驶，当处于疲劳驾驶时，车载中控台通过振动反馈模块提醒驾驶员，从而实现疲劳驾驶的实时监测；同时，本发明还可通过智能眼镜，根据检测到的特征点的个数来判断眼睛的闭合/张开状态，若眼睛闭合则表明驾驶员处于疲劳状态；并进一步在预设时间内，通过检测眼睛闭合的时间来判断驾驶员是否处于疲劳驾驶，当处于疲劳驾驶时，车载中控台通过振动反馈模块提醒驾驶员，从而实现疲劳驾驶的实时监测；本发明通过监测驾驶员头部的运动姿态，若在一定时间内驾驶员头部的运动姿态未发生变化，可判断出该驾驶员处于疲劳驾驶，则向车载中控台发送报警指令，车载中控台通过振动反馈模块对驾驶员进行振动提醒，通过语音提醒模块进行语音提醒，从而实现疲劳驾驶的实时预防；本发明通过实时监测醉酒驾驶模块来判断驾驶员的酒精含量是否超标，若超标，则向车载中控台发送报警指令；车载中控台通过语音提醒模块进行语音提醒，从而实现对酒驾的实时监测；本发明通过语音识别交互模块来判断驾驶员是否接打电话，若是，则向车载中控台发送报警指令；车载中控台通过语音提醒模块进行语音提醒；从而实时提醒驾驶员在开车时禁止接打电话。

本发明公开的货车集群智能安全作业系统可防止疲劳驾驶、醉酒驾驶、接打电话等外界干扰；同时，本发明对疲劳驾驶的检测精度高，通过振动反馈模块和语音提醒模块实现振动提醒，从而从本质上制止疲劳驾驶带来的交通事故。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种货车集群智能安全作业系统，其特征在于，包括：车载中控台以及与所述车载中控台相连的实时监测疲劳驾驶模块、实时预防疲劳驾驶模块、实时监测醉酒驾驶模块、振动反馈模块、语音提醒模块和语音识别交互模块；

所述实时监测疲劳驾驶模块包括：设置在驾驶员前方的智能设备；所述智能设备包括：左摄像头和右摄像头，用于拍摄包含眼睛和嘴巴的左图像数据和右图像数据；第一处理器，用于对左右图像数据进行滤波、ROI区域提取、深度计算，获取ROI区域的深度图像；将深度图像送入到离线训练得到的眼睛、嘴巴识别模型中，获取眼睛和嘴巴图像区域；对眼睛和嘴巴图像区域进行边缘点检测，计算沿眼睛或嘴巴闭合方向上相对应两边缘点的最大距离，作为眼睛关键距离和嘴巴关键距离；判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；车载中控台通过振动反馈模块对驾驶员进行振动提醒，通过语音提醒模块进行语音提醒；

所述实时监测疲劳驾驶模块还包括：设置在驾驶员前方的智能眼镜；所述智能眼镜包括：

N个左红外LED灯和N个右红外LED灯，用于投影在左眼球和右眼球上，作为后续检测的特征点；其中，N≥7；

带有眼球追踪传感器的左摄像头和右摄像头，用于追踪左眼球和右眼球并拍摄左图像数据和右图像数据；

第三处理器，用于对左右图像数据进行滤波、ROI区域提取、特征点检测，并判断预设时间C内，左右图像特征点数目少于N/2的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；车载中控台通过振动反馈模块对驾驶员进行振动提醒，通过语音提醒模块进行语音提醒；

所述实时预防疲劳驾驶模块，用于实时监测驾驶员头部的运动姿态，并判断在预设时间B内驾驶员头部的运动姿态是否发生变化；若未发生变化，则向车载中控台发送报警指令；车载中控台通过振动反馈模块对驾驶员进行振动提醒，通过语音提醒模块进行语音提醒；

所述实时监测醉酒驾驶模块，用于对驾驶员进行酒精监测，判断驾驶员的酒精含量是否超标，若超标，则向车载中控台发送报警指令；车载中控台通过语音提醒模块进行语音提醒；

所述语音识别交互模块，用于对驾驶员进行语音识别，判断驾驶员是否接打电话，若是，则向车载中控台发送报警指令；车载中控台通过语音提醒模块进行语音提醒。

2.如权利要求1所述的货车集群智能安全作业系统，其特征在于，所述车载中控台与实时监测疲劳驾驶模块、实时预防疲劳驾驶模块、实时监测醉酒驾驶模块、振动反馈模块、语音提醒模块和语音识别交互模块之间的数据传输形式均采用蓝牙传输。

3.如权利要求1所述的货车集群智能安全作业系统，其特征在于，所述第一处理器包括：

滤波模块，用于对左右图像数据分别进行高斯平滑滤波，平滑窗口为7*7；

ROI区域提取模块，用于对滤波后的左右图像数据，提取包含眼睛和嘴巴信息的左ROI区域和右ROI区域；

深度图像获取模块，用于利用双目摄像头的标定参数及双目成像原理，对左右ROI区域进行深度计算，获取ROI区域的深度图像；

识别模型建立模块，用于对采集的大样本进行半监督随机森林学习，人工对大样本ROI区域中驾驶员的眼睛和嘴巴进行分类，建立眼睛、嘴巴的识别模型；该样本包括：嘴巴的张开及闭合、眼睛的张开及闭合；

识别模块，用于将ROI区域的深度图像送入到识别模型中，进行像素分类，获取眼睛和嘴巴图像区域；并对眼睛和嘴巴图像区域分别进行PCA计算，获取眼睛区域和嘴巴区域的二维图像方向；

边缘检测模块，用于对眼睛和嘴巴图像区域分别进行边缘检测，将检测到的边缘点按照顺时针或逆时针进行排序，得到由边缘点组成的眼睛轮廓和嘴巴轮廓；根据眼睛和嘴巴轮廓以及眼睛区域和嘴巴区域的二维图像方向，得到眼睛分割线和嘴巴分割线，计算眼睛分割线或嘴巴分割线两侧相对应的眼睛边缘点或嘴巴边缘点之间的最大距离，作为眼睛关键距离和嘴巴关键距离；

判断模块，用于判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令。

4.如权利要求3所述的货车集群智能安全作业系统，其特征在于，设定报警阈值为A1、A2、A3，其中：0＜A1＜A2＜A3＜A；

当眼睛闭合和/或嘴巴张开的时间大于A1且小于A2，则第一处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；

当眼睛闭合和/或嘴巴张开的时间大于A2且小于A3，则第一处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；

当眼睛闭合和/或嘴巴张开的时间大于A3且小于A，则第一处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。

5.如权利要求1所述的货车集群智能安全作业系统，其特征在于，所述实时预防疲劳驾驶模块包括：

IMU，所述IMU包括加速度传感器、陀螺仪传感器和地磁传感器，用于检测驾驶员头部的姿态数据；

第二处理器，用于对驾驶员头部的姿态数据进行滤波，并判断在预设时间B内驾驶员头部的运动姿态是否发生变化；若未发生变化，则向车载中控台发送报警指令；车载中控台通过振动反馈模块对驾驶员进行振动提醒，通过语音提醒模块进行语音提醒。

6.如权利要求5所述的货车集群智能安全作业系统，其特征在于，所述第二处理器包括：

滤波模块，用于对驾驶员头部的姿态数据进行卡尔曼滤波处理；

判断模块，用于对滤波处理的姿态数据进行姿态判断，判断驾驶员头部的运动姿态在预设时间B内是否发生变化，若没有发生变化，则向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动。

7.如权利要求1所述的货车集群智能安全作业系统，其特征在于，所述第三处理器包括：

滤波模块，用于对左右图像数据进行双边滤波处理；

ROI区域提取模块，用于对滤波处理后的左右图像数据，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域；

特征点检测模块，用于采用ORB检测算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；

判断模块，用于判断在预设时间C内，左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值，若达到，则向车载中控台发送报警指令。

8.如权利要求7所述的货车集群智能安全作业系统，其特征在于，设定报警阈值为C1、C2、C3，其中：0＜C1＜C2＜C3＜C；

当左右图像特征点数目少于N/2的时间大于C1且小于C2，则第三处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；

当左右图像特征点数目少于N/2的时间大于C2且小于C3，则第三处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；

当左右图像特征点数目少于N/2的时间大于C3且小于C，则第三处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。