CN110103816A - 一种驾驶状态检测方法 - Google Patents

Abstract

本发明公开了一种驾驶状态检测方法，包括驾驶姿势检测和面部表情检测，其中，驾驶姿势检测具体包括：利用位于方向盘上的传感器检测驾驶员的驾驶姿势，并发送至中央处理器，由中央处理器判断驾驶员的驾驶姿势是否正确；面部表情检测包括：利用位于驾驶室上的图像采集器采集驾驶员的面部信息，并发送至中央处理器；然后中央处理器对采集到的面部信息进行特征提取，并利用训练好的人脸识别模型，对该面部信息进行识别，判断驾驶员的精神状态是否正常。本发明主要针对驾驶员新手驾驶姿势的矫正和良好驾驶习惯的养成，以及对熟练驾驶员不良习惯的纠正，具有高可靠性和高效率的特点。

Description

一种驾驶状态检测方法

技术领域

本发明涉及汽车安全驾驶领域，具体涉及一种驾驶状态检测方法。

背景技术

随着人们生活水平的不断提高，汽车已经成为人们日常生活中一种必备的生活交通工具。我国汽车保有量增长迅速，相应的，驾驶新手也越来越多，交通事故的发生率不断提升，这其中，错误的驾驶姿势和不良驾驶习惯造成的比率也持续提高。据统计，由于驾驶员驾姿不正确及其引起的反光镜视野缺失，已成为导致交通事故发生的重要因素，良好的驾驶姿态和驾驶习惯是人们的生命财产安全的保证。

目前在对驾驶姿态进行检测时，主要是进行驾驶疲劳检测，有四种检测方式：

一是挂耳朵式疲劳预警器，其功能非常简单，驾驶员低头时就会报警；

二是手表式检测仪和眼镜式检测仪，手表式检测仪利用脉搏的跳动来估测人是否疲劳，眼镜式检测仪则利用一幅厚重的眼镜来判断眨眼频率；

三是方向盘触摸式，利用在方向盘上安装一些传感器来感知驾驶员是否握住方向盘，以判断驾驶员的驾驶状态；

四是图像识别式，利用图像传感器捕捉驾驶员面部，通过面部特征识别，判断驾驶员疲劳程度。

其中，前三种检测方法的实用性和可靠性均存在一定的问题，因此不能被大幅推广。

在图像识别式产品中，美国ATTENTION公司的DD850，已经通过美国交通运输部在全美进行推广，曾经参与安家廷煤矿的疲劳驾驶预警系统的招标。美国DSS公司的疲劳检测和分析系统也有一定的推广。奔驰、沃而沃的高端系列产品(200万以上)有瞌睡提醒装置。丰田的13代皇冠在日本销售的产品有瞌睡报警系统。

但是，这些方式只用于熟练驾驶员的疲劳监测，其面部表情识别方式仅限于面部特征的对比，不具有特别高的可靠性。

发明内容

本发明的目的在于提供一种驾驶状态检测方法，能够对驾驶员的驾驶状态进行实时监控，从而有效提醒驾驶员在驾驶中的错误姿势和不良习惯，保障驾驶员和乘客的生命财产安全。

为实现上述目的，本发明采用如下技术方案：

一种驾驶状态检测方法，包括驾驶姿势检测和面部表情检测，其中，

驾驶姿势检测具体包括：利用位于方向盘上的传感器检测驾驶员的驾驶姿势，并发送至中央处理器，由中央处理器判断驾驶员的驾驶姿势是否正确；

面部表情检测包括：

(1)利用位于驾驶室上的图像采集器采集驾驶员的面部信息，并发送至中央处理器；

(2)中央处理器对采集到的面部信息进行特征提取，并利用训练好的人脸识别模型，对该面部信息进行识别，判断驾驶员的精神状态是否正常。

优选的，所述传感器有两个，分别设置于方向盘的左右两侧，两个传感器均采用压力传感器或人体红外感应器。

优选的，所述中央处理器判断驾驶员的驾驶姿势是否正确时，利用传感器检测驾驶员的两只手是否握紧方向盘，若出现驾驶员单手握方向盘超过5秒，中央处理器通过语音提醒装置发出警告。

优选的，所述步骤(2)具体包括：

①建立训练模型；

汽车运行前30分钟为系统自我学习阶段，位于驾驶室上的图像采集器采集驾驶员的面部信息，中央处理器使用极大值抑制法尽量去除非人脸图像和部分人脸图像，然后通过自我学习建立训练模型；

中央处理器去除非人脸图像和部分人脸图像采用的是机器识别，利用机器识别来计算图像的损失，从而区分人脸和非人脸的图像，机器识别的目标主要分为两个，第一个是使用交叉熵函数计算损失，公式如式(1)：

其中，p_i为网络输出分类的概率，表明样本是否为人脸，表示输入的标签，表示输入的损失函数值；

第二个是利用每个样本的欧几里得损失表示损失函数，如公式(2)所示：

其中，表示网络回归的人脸框坐标，是实际的人脸框坐标,表示欧几里得损失；

机器识别完之后，使用交集并集比IoU来区分非人脸、人脸和部分人脸，IoU小于0.3的区域为非人脸，IoU大于0.65的区域为人脸，其他为部分人脸，其中，

在驾驶员开始驾驶的前半小时收集的图象中，经过检测、识别、筛选，将IoU大于0.65的人脸特征放入建立的训练模型库中，以建立用于人脸表情识别的训练模型。

其中，训练模型采用的多任务级联卷积神经网络，建立训练模型及其对其训练的过程均为现有技术，不再赘述

②提取人脸特征；

利用图像采集器采集驾驶员的面部表情，并利用基于深度学习的人脸归一化方法将不同尺寸或旋转的人脸，经过仿射变换矩阵将原坐标(x，y)转换成新坐标(x′，y′)，将不同方向、姿态和表情的人脸处理为规范化的人脸，其中，基于深度学习的人脸归一化方法为现有技术，仿射变换矩阵如式(4)所示：

其中，以图片上方为x轴正方向，右方为y轴正方向，坐标(x，y)以左眼为原点顺时针旋转θ角来进行旋转变换，或者以右眼为原点逆时针旋转θ角，旋转方式以脸部特征点分布确定，若集中在左侧则以右眼为原点，否则以右眼为原点，θ由双眼的位置(x_leye，y_leye)和(x_reye，y_reye)确定，其中，(x_leye，y_leye)表示左眼的坐标，(x_reye，y_reye表示右眼的坐标，θ的大小如式(5)所示：

坐标变换完之后，使用Softmax损失和中心损失联合监督训练深度模型，使得输出的人脸特征类内聚合、类间分散，Softmax损失函数如式(6)所示：

其中，L_S表示Softmax损失，x_i表示第y_i个类别的第i个特征，表示最后一个全连接层的权值w的第j列，b为偏差，m表示训练集分割成的子训练集值，n表示类别数，下标i＝1，2，......，i；下标j＝1，2，......，j；

中心损失函数如式(7)所示：

其中，L_C表示中心损失，x_i表示第y_i个类别的第i个特征，表示特征的第y_i类中心，下标i＝1，2，......，i；

从而有总的损失函数如式(8)所示：

其中，λ表示中心损失参数，其值在0-1之间，用于平衡两种损失函数的权重。

将上述损失函数输入网络模型中，网络模型为修改的InceptionRes Net v1结构，其中增加了与损失函数相连的全连接层1和全连接层2，全连接层的每一个结点都与上一层的所有结点相连，用来把所有提取到的特征综合起来，全连接层1后的输出就是所要提取的人脸特征，该网络模型提取人脸特征的过程为现有技术，不再赘述。

③识别面部表情；

将采集到的实时图像与所建立的特征训练模型进行比对，在此过程中，利用mini-batch梯度下降方法，在每个训练模型中表情的每个特征子集下进行梯度下降，mini-batch梯度下降方法为现有技术，然后对人脸图片分别用训练好的模型提取人脸特征向量，再用余弦距离度量人脸特征的相似度，公式如式(9)：

其中，x和y表示一对人脸特征向量。

当其余弦距离大于阈值时，表情识别系统将其识别为“正常驾驶”状态，若当其余弦距离小于阈值时，则表情识别系统将认为驾驶员处于“异常驾驶”状态，给予提醒并计时，若异常状态持续时间大于3分钟，则给予二次提醒。

本发明利用传感器监测驾驶员驾驶姿势是否正确，利用图像采集器采集驾驶员的面部表情，并结合基于深度学习的面部表情识别方法，检测驾驶员的精神状态，从而实现对驾驶员试问驾驶姿态试问实时监控，在驾驶姿态异常时通过语音系统进行提示和警示，能有效提醒和矫正驾驶员在驾驶中的错误姿势和不良习惯，保障驾驶员和乘客的生命财产安全。本发明主要针对驾驶员新手驾驶姿势的矫正和良好驾驶习惯的养成，以及对熟练驾驶员不良习惯的纠正，具有高可靠性和高效率的特点。

附图说明

图1为本发明所述损失函数的拓扑结构图。

具体实施方式

以下对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其他所有实施例，都属于本发明的保护范围。

本发明公开了一种驾驶状态检测方法，包括驾驶姿势检测和面部表情检测。

驾驶姿势检测具体包括：利用位于方向盘上的传感器检测驾驶员的驾驶姿势，并发送至中央处理器，由中央处理器判断驾驶员的驾驶姿势是否正确。

汽车行驶过程中若出现紧急情况，单手很难方便的把控方向盘做出快速调整汽车方向，以至于造成交通事故，因此，需要驾驶者两手紧握方向盘，故传感器设置有两个，分别设置于方向盘的左右两侧，两个传感器均采用压力传感器或人体红外感应器，驾驶员在驾驶车辆时，两个手分别握紧方向盘，传感器检测驾驶员的两只手是否握紧，若出现驾驶员单手握方向盘超过5秒，中央处理器通过语音提醒装置发出警告。

面部表情检测包括：

(1)利用位于驾驶室上的图像采集器采集驾驶员的面部信息，并发送至中央处理器；

(2)中央处理器对采集到的面部信息进行特征提取，并利用训练好的人脸识别模型，对该面部信息进行识别，判断驾驶员的精神状态是否正常。

①建立训练模型；

汽车运行前30分钟为系统自我学习阶段，位于驾驶室上的图像采集器采集驾驶员的面部信息，中央处理器使用极大值抑制法尽量去除非人脸图像和部分人脸图像，然后通过自我学习建立训练模型的多任务级联卷积神经网络。

中央处理器去除非人脸图像和部分人脸图像采用的是机器识别，利用机器识别来计算图像的损失，从而区分人脸和非人脸的图像，机器识别的目标主要分为两个，第一个是使用交叉熵函数计算损失，公式如式(1)：

其中，p_i为网络输出分类的概率，表明样本是否为人脸，表示输入的标签，表示输入的损失函数值。

第二个是利用每个样本的欧几里得损失表示损失函数，如公式(2)所示：

其中，表示网络回归的人脸框坐标，是实际的人脸框坐标,表示欧几里得损失。

机器识别完之后，使用交集并集比IoU来区分非人脸、人脸和部分人脸，IoU小于0.3的区域为非人脸，IoU大于0.65的区域为人脸，其他为部分人脸。其中，

在驾驶员开始驾驶的前半小时收集的图象中，经过检测、识别、筛选，将IoU大于0.65的人脸特征放入建立的训练模型库中，以建立用于人脸表情识别的神经网络模型。

其中，建立训练模型的多任务级联卷积神经网络及其对其训练的过程均为现有技术，不再赘述。

②提取人脸特征；

在特征提取的过程中，由于人长时间开车可能出现注意力不集中，疲劳等特征，人脸会出现不同的方向、姿态和表情，加大了表情识别的难度，难以确认驾驶员的驾驶状态，因此可以利用仿射变换矩阵将不同方向、姿态和表情的人脸处理为规范化的人脸，可以有效提高识别的可靠性。

利用图像采集器采集驾驶员的面部表情，并利用基于深度学习的人脸归一化方法将不同尺寸或旋转的人脸，经过仿射变换矩阵将原坐标(x，y)转换成新坐标(x′，y′)，将不同方向、姿态和表情的人脸处理为规范化的人脸，其中，基于深度学习的人脸归一化方法为现有技术，仿射变换矩阵如式(4)所示：

其中，以图片上方为x轴正方向，右方为y轴正方向，坐标(x，y)以左眼为原点顺时针旋转θ角来进行旋转变换，或者以右眼为原点逆时针旋转θ角，旋转方式以脸部特征点分布确定，若集中在左侧则以右眼为原点，否则以右眼为原点，θ由双眼的位置(x_leye，y_leye)和(x_reye，y_reye)确定，其中，(x_leye，y_leye)表示左眼的坐标，(x_reye，y_reye表示右眼的坐标，θ的大小如式(5)所示：

坐标变换完之后，使用Softmax损失和中心损失联合监督训练深度模型，使得输出的人脸特征类内聚合、类间分散，Softmax损失函数如式(6)所示：

其中，L_S表示Softmax损失，x_i表示第y_i个类别的第i个特征，表示最后一个全连接层的权值w的第j列，b为偏差，m表示训练集分割成的子训练集值，n表示类别数，下标i＝1，2，......，i；下标j＝1，2，......，j。

中心损失函数如式(7)所示：

其中，L_c表示中心损失，x_i表示第y_i个类别的第i个特征，表示特征的第y_i类中心，下标i＝1，2，......，i。

从而有总的损失函数如式(8)所示：

其中，λ表示中心损失参数，其值在0-1之间，用于平衡两种损失函数的权重。

将上述损失函数输入网络模型中，网络模型为修改的InceptionRes Net v1结构，如图1所示，增加了与损失函数相连的全连接层1(Fully Connectedl)和全连接层2(FullyConnected2)，全连接层的每一个结点都与上一层的所有结点相连，用来把所有提取到的特征综合起来，全连接层1后的输出就是所要提取的人脸特征，该网络模型提取人脸特征的过程为现有技术，不再赘述。

建立模型时和提取人脸特征时采用不同的损失计算方法，建立模型时的损失计算是为了区分人脸和非人脸的图像，而提取人脸特征时的损失计算是为了识别人脸特征点和特征位置，目的和对象不同，因而需要两种不同的方法来计算损失。

③识别面部表情；

将采集到的实时图像与所建立的特征训练模型进行比对，在此过程中，利用mini-batch梯度下降方法，在每个训练模型中表情的每个特征子集下进行梯度下降，这样可以在可靠性不变的条件下，减少算法的复杂度，节省算法所用的时间，计算损失函数值，mini-batch梯度下降方法为现有技术，然后对人脸图片分别用训练好的模型提取人脸特征向量，再用余弦距离度量人脸特征的相似度，公式如式(9)：

其中，x和y表示一对人脸特征向量。

当其余弦距离大于阈值时，表情识别系统将其识别为“正常驾驶”状态，若当其余弦距离小于阈值时，则表情识别系统将认为驾驶员处于“异常驾驶”状态，给予提醒并计时，若异常状态持续较长时间(大于3分钟)，则给予二次提醒。

本发明通过传感器，来检测驾驶员的驾驶姿势是否正确，通过图像采集器检测驾驶员的面部表情，通过与所建立模型的比对，达到表情识别的目的，以判断出驾驶员所处的状态，起到提醒驾驶员驾驶状态和纠正其驾驶习惯的作用。

Claims (4)

1.一种驾驶状态检测方法，其特征在于：包括驾驶姿势检测和面部表情检测，其中，

驾驶姿势检测具体包括：利用位于方向盘上的传感器检测驾驶员的驾驶姿势，并发送至中央处理器，由中央处理器判断驾驶员的驾驶姿势是否正确；

面部表情检测包括：

(1)利用位于驾驶室上的图像采集器采集驾驶员的面部信息，并发送至中央处理器；

(2)中央处理器对采集到的面部信息进行特征提取，并利用训练好的人脸识别模型，对该面部信息进行识别，判断驾驶员的精神状态是否正常。

2.如权利要求1所述的一种驾驶状态检测方法，其特征在于：所述传感器有两个，分别设置于方向盘的左右两侧，两个传感器均采用压力传感器或人体红外感应器。

3.如权利要求2所述的一种驾驶状态检测方法，其特征在于：所述中央处理器判断驾驶员的驾驶姿势是否正确时，利用传感器检测驾驶员的两只手是否握紧方向盘，若出现驾驶员单手握方向盘超过5秒，中央处理器通过语音提醒装置发出警告。

4.如权利要求1至3中任一项所述的一种驾驶状态检测方法，其特征在于，所述步骤(2)具体包括：

①建立训练模型；

汽车运行前30分钟为系统自我学习阶段，位于驾驶室上的图像采集器采集驾驶员的面部信息，中央处理器使用极大值抑制法尽量去除非人脸图像和部分人脸图像，然后通过自我学习建立训练模型；

中央处理器去除非人脸图像和部分人脸图像采用的是机器识别，利用机器识别来计算图像的损失，从而区分人脸和非人脸的图像，机器识别的目标主要分为两个，第一个是使用交叉熵函数计算损失，公式如式(1)：

其中，p_i为网络输出分类的概率，表明样本是否为人脸，表示输入的标签，表示输入的损失函数值；

第二个是利用每个样本的欧几里得损失表示损失函数，如公式(2)所示：

其中，表示网络回归的人脸框坐标，是实际的人脸框坐标,表示欧几里得损失；

机器识别完之后，使用交集并集比IoU来区分非人脸、人脸和部分人脸，IoU小于0.3的区域为非人脸，IoU大于0.65的区域为人脸，其他为部分人脸，其中，

在驾驶员开始驾驶的前半小时收集的图象中，经过检测、识别、筛选，将IoU大于0.65的人脸特征放入建立的训练模型库中，以建立用于人脸表情识别的训练模型。

其中，训练模型采用的多任务级联卷积神经网络，建立训练模型及其对其训练的过程均为现有技术，不再赘述

②提取人脸特征；

利用图像采集器采集驾驶员的面部表情，并利用基于深度学习的人脸归一化方法将不同尺寸或旋转的人脸，经过仿射变换矩阵将原坐标(x，y)转换成新坐标(x′，y′)，将不同方向、姿态和表情的人脸处理为规范化的人脸，其中，基于深度学习的人脸归一化方法为现有技术，仿射变换矩阵如式(4)所示：

其中，以图片上方为x轴正方向，右方为y轴正方向，坐标(x，y)以左眼为原点顺时针旋转θ角来进行旋转变换，或者以右眼为原点逆时针旋转θ角，旋转方式以脸部特征点分布确定，若集中在左侧则以右眼为原点，否则以右眼为原点，θ由双眼的位置(x_leye，y_leye)和(x_reye，y_reye)确定，其中，(x_leye，y_leye)表示左眼的坐标，(x_reye，y_reye表示右眼的坐标，θ的大小如式(5)所示：

坐标变换完之后，使用Softmax损失和中心损失联合监督训练深度模型，使得输出的人脸特征类内聚合、类间分散，Softmax损失函数如式(6)所示：

其中，L_S表示Softmax损失，x_i表示第y_i个类别的第i个特征，表示最后一个全连接层的权值w的第j列，b为偏差，m表示训练集分割成的子训练集值，n表示类别数，下标i＝1，2，……，i；下标j＝1，2，……，j；

中心损失函数如如式(7)所示：

其中，L_C表示中心损失，x_i表示第y_i个类别的第i个特征，表示特征的第y_i类中心，下标i＝1，2，……，i；

从而有总的损失函数如式(8)所示：

其中，λ表示中心损失参数，其值在0-1之间，用于平衡两种损失函数的权重。

将上述损失函数输入网络模型中，网络模型为修改的Inception Res Net v1结构，其中增加了与损失函数相连的全连接层1和全连接层2，全连接层的每一个结点都与上一层的所有结点相连，用来把所有提取到的特征综合起来，全连接层1后的输出就是所要提取的人脸特征，该网络模型提取人脸特征的过程为现有技术，不再赘述。

③识别面部表情；

将采集到的实时图像与所建立的特征训练模型进行比对，在此过程中，利用mini-batch梯度下降方法，在每个训练模型中表情的每个特征子集下进行梯度下降，mini-batch梯度下降方法为现有技术，然后对人脸图片分别用训练好的模型提取人脸特征向量，再用余弦距离度量人脸特征的相似度，公式如式(9)：

其中，x和y表示一对人脸特征向量。

当其余弦距离大于阈值时，表情识别系统将其识别为“正常驾驶”状态，若当其余弦距离小于阈值时，则表情识别系统将认为驾驶员处于“异常驾驶”状态，给予提醒并计时，若异常状态持续时间大于3分钟，则给予二次提醒。