CN109460699A - 一种基于深度学习的驾驶员安全带佩戴识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的驾驶员安全带佩戴识别方法，包括：通过人脸检测算法识别出输入图像中驾驶员的人脸位置；根据所述人脸位置截取驾驶员躯干区域作为待识别安全带区域；通过训练好的卷积深度学习模型对所述待识别安全带区域进行识别，识别出驾驶员是否佩戴安全带及识别出安全带的位置。本发明的卷积深度学习模型能够在各种环境下识别出驾驶员是否佩戴安全带及识别出安全带的准确位置，其学习效果和鲁棒性会比普通的CNN识别更好，因此能很好的推动汽车智能辅助终端技术的发展，可以为驾驶员安全带识别方面提供更高的识别率。

Description

一种基于深度学习的驾驶员安全带佩戴识别方法

技术领域

本发明涉及汽车驾驶辅助终端领域，具体涉及一种基于深度学习的驾驶员安全带佩戴识别方法。

背景技术

目前，安全带是否佩戴识别技术并不像驾驶员疲劳识别技术那么成熟，但是随着国家层面对道路交通安全方面关注加深，交通管理部门开始严格监管“两客一危”车辆，驾驶员的行车安全受到重视。车辆行驶过程中，当车辆发生交通事故时，佩戴安全带可以极大的降低驾驶员受到伤害的程度。所以，判断驾驶员行车是否佩戴安全带就变的特别重要。越来越多的车辆营运公司都要求，车内安全辅助终端设备具有识别驾驶员是否佩戴安全带的功能。现有技术的安全带识别的方法有以下几种：

(1)传统的方法使用Canny边缘检测，然后使用霍夫变换直线检测，如果能检测到两条基本平行而且在特定角度范围内的直线即可认为驾驶员佩戴安全带。这种方法优点是使用传统图像处理的方法，处理速度上比较有优势，利用较少的先验知识；但是，这种方法缺点非常明显，对于光线变化较大识别鲁棒性不好，而且面对有部分手臂遮挡情况容易误识别。所以，这种方法只能在比较固定的环境中使用，在复杂的行车环境中识别效果可能不尽人意。

(2)利用传统手工提取安全带区域特征，然后利用机器学习的BP神经网络或者传统机器学习SVM算法根据特征做一个分类器。方法(2)会比方法(1)现实效果更强，缺点在于特征提取方式比较困难。在一系列纹理特征包括灰度分布的不均匀性、梯度分布的不均匀性、能量大小、灰度平均、梯度平均、灰度均方差、梯度均方差、相关性、灰度熵、梯度熵、混合熵、惯性、逆差矩、LBP特征、haar特征和HOG特征中如何选择适合安全带分类的特征是很难的，选择过多特征容易冗余或者过拟合，选择过少特征模型会欠拟合。

(3)深度学习方法：随着深度学习兴起，越来越多视觉识别问题可以通过深度学习来解决。深度学习方法的最大优点是通过卷积网络学习自动提取分类所需要的特征，而且深度学习网络具有强大的拟合学习能力。在许多领域里，深度学习物体识别率上已经能超过人类。对于佩戴安全带的问题上，卷积网络通过自身对数据的学习能提取相应的特征进行分类是否佩戴安全带。尽管单纯的卷积神经网络在大数据学习能获得比较好的分类结果，但是依然存在比较大的缺点：(1)无法知道学习到的特征是安全带的特征还是其他方面的特征；(2)需要非常庞大的数据进行训练；(3)在识别是否佩戴安全带的分类图片中无法准确定位安全带的位置。

发明内容

本发明的主要目的在于提出一种基于深度学习的驾驶员安全带佩戴识别方法，能够在各种环境下识别出驾驶员是否佩戴安全带及识别出安全带的准确位置。

本发明采用如下技术方案：

一种基于深度学习的驾驶员安全带佩戴识别方法，包括：

通过人脸检测算法识别出输入图像中驾驶员的人脸位置；

根据所述人脸位置截取驾驶员躯干区域作为待识别安全带区域；

通过训练好的卷积深度学习模型对所述待识别安全带区域进行识别，识别出驾驶员是否佩戴安全带及识别出安全带的位置。

优选的，所述识别出驾驶员是否佩戴安全带及识别出安全带的位置之后，还包括：

选择一段时间内的多帧图像进行识别，综合各帧识别结果识别出驾驶员是否佩戴安全带及识别出安全带的位置。

优选的，所述识别出驾驶员是否佩戴安全带及识别出安全带的位置之后，还包括：

判断驾驶员是否佩戴安全带及安全带的佩戴位置是否正确，如果驾驶员未佩戴带安全带或者佩戴位置不正确，通过语音报警通知驾驶员，并将图片上传到后台服务器或云端；否则，不报警。

优选的，所述输入图像为拍摄的车内红外图像。

优选的，根据所述人脸位置截取驾驶员躯干区域作为待识别安全带区域，具体包括：

根据所述人脸位置截取驾驶员躯干区域并将尺寸归一化到指定尺寸后作为待识别安全带区域。

优选的，所述截取驾驶员躯干区域的方法，包括：

在识别出人脸后，以识别出的人脸框的若干倍大小方形来截取人脸以下的躯干位置作为驾驶员躯干区域。

优选的，卷积深度学习模型的训练方法，包括：

标注样本图片，将佩戴安全带的驾驶员图片标注人脸框和安全带位置特征点；将没佩戴安全带的驾驶员图片标注人脸框；所述样本图片包括佩戴安全带和不佩戴安全带的驾驶员图片；

预处理标注后的图片，根据标注的人脸框信息截取驾驶员躯干区域；并将截取的驾驶员躯干区域的尺寸归一化到指定尺寸；将标注的安全带位置特征点转换为相对于驾驶员躯干区域左上角的相对坐标；将转换后的驾驶员躯干区域作为模型训练安全带区域；

训练卷积深度学习模型，基于所述模型训练安全带区域，使用交叉熵损失函数和特征点欧式回归损失函数作为监督函数，最终训练出使交叉熵损失函数和特征点欧式回归损失函数之和最小的卷积深度学习模型。

优选的，所述安全带位置特征点的标注方法，包括：

沿安全带左右两侧的边缘位置各标注若干点；其中，同一侧各标注点等间距，左右两侧标注的点数相同且呈对称分布。

优选的，所述交叉熵损失函数表示如下：

其中，y_i为标签，表示当前图片司机是否佩戴安全带；p_i表示模型预测概率。

优选的，所述特征点欧式回归损失函数表示如下：

其中，和是向量；表示模型预测输出安全带特征点的位置；表示当前样本安全带特征点的准确位置。

与现有技术相比，本发明的有益效果如下：

(1)本发明的基于深度学习的驾驶员安全带佩戴识别方法，利用人脸检测技术定位人脸，通过人脸位置寻找驾驶员躯干待识别佩戴安全带区域，定位准确；

(2)本发明的基于深度学习的驾驶员安全带佩戴识别方法，基于卷积深度学习网络判断出红外图片中的驾驶员是否佩戴安全带，并且利用卷积深度学习网络同时输出安全带位置landmark，学习到的特征更具鲁棒性；引入安全带位置信息的学习，可以使用更少的样本，训练出来一个识别能力更强的模型；

(3)本发明的基于深度学习的驾驶员安全带佩戴识别方法，为了克服在实时检测过程中因驾驶员转动方向盘挡住安全带而可能导致的误识别，采取连续一段时间内多帧判断的方法识别是否佩戴安全带，通过综合多帧的识别结果计算出最终是否佩戴安全带。

上述说明仅是本发明技术方案的概述，为了能够更清楚地了解本发明的技术手段，从而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下列举本发明的具体实施方式。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述及其他目的、优点和特征。

附图说明

图1为本发明一种基于深度学习的驾驶员安全带佩戴识别方法的流程图；

图2为本发明的根据标注的人脸信息截取驾驶员躯干位置的示意图；

图3为本发明的卷积深度学习模型的训练流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步的详细描述。

参见图1所示，一种基于深度学习的驾驶员安全带佩戴识别方法，包括如下步骤：

步骤101，通过人脸检测算法识别出输入图像中驾驶员的人脸位置。

具体的，所述输入图像可以是车内辅助驾驶安全终端的红外摄像头实时根据环境光照变化调整ISP获取的最佳车内红外图像；也可以是单独的红外拍摄设备拍摄的车内红外图像，不论是哪种拍摄设备，在各种应用场景(白天、夜晚、强光、暗光、逆光以及佩戴不同条纹的安全带)下都能获得良好的成像。

所述人脸检测算法可以是现有技术的任意一种算法，只要能够识别出输入图像中驾驶员的人年位置即可，本发明实施例中不做具体限制和详细说明。

步骤102，根据所述人脸位置截取驾驶员躯干区域作为待识别安全带区域。

具体的，根据所述人脸位置截取驾驶员躯干区域并将尺寸归一化到128*128后作为待识别安全带区域。

本实施例中，所述截取驾驶员躯干区域的方法，包括：

参见图2所示，在识别出人脸后，以识别出的人脸框的2.5倍大小方形来截取人脸以下的躯干位置作为驾驶员躯干区域。

以人脸位置截取安全带区域的原因有两个：一是人脸检测算法比较成熟而且检测效果好，二是检测到的人脸方便进行疲劳，抽烟和打电话方面的识别。

步骤103，通过训练好的卷积深度学习模型对所述待识别安全带区域进行识别，识别出驾驶员是否佩戴安全带及识别出安全带的位置。

具体的，参见图3所示，卷积深度学习模型的训练方法，包括：

a、收集安全带正负样本。

具体的，收集车内辅助驾驶安全终端采集的车内红外图像，包括驾驶员佩戴安全带和不佩戴安全带的图片，需要涵盖各种应用场景，包括白天、夜晚、强光、暗光、逆光以及佩戴不同条纹的安全带。

b、标注样本图片。

具体的，将佩戴安全带的驾驶员图片标注人脸框和安全带位置特征点landmark；将没佩戴安全带的驾驶员图片标注人脸框，因为没佩戴安全带故不用标注安全带位置特征点。

参见图2所示，所述安全带位置特征点的标注方法，包括：沿安全带左右两侧的边缘位置各标注若干点；其中，同一侧各标注点等间距，左右两侧标注的点数相同且呈对称分布。

c、预处理标注后的图片。

具体的，包括：

根据标注的人脸框信息截取驾驶员躯干区域；

由于原来安全带特征点位置是相对于全图坐标，因此需要将截取的驾驶员躯干区域的尺寸归一化到128*128；将标注的安全带位置特征点转换为相对于驾驶员躯干区域左上角的相对坐标；将转换后的驾驶员躯干区域作为模型训练安全带区域。

d、训练卷积深度学习模型。

正常的分类模型在卷积网络提取特征后连接全连接fc层以及Softmax层输出分类的概率，本发明引入特征点landmark回归的方法定位安全带的位。

具体的，基于所述模型训练安全带区域，使用交叉熵损失函数和特征点欧式回归损失函数作为监督函数，最终训练出使交叉熵损失函数和特征点欧式回归损失函数之和最小的卷积深度学习模型。本发明所使用的卷积网络可以是改进的lightcnn网络、AlexNet或者GoogleNet网络，无论使用哪种网络，只要满足上述的使交叉熵损失函数和特征点欧式回归损失函数之和最小的条件即可，本发明实施例不做具体限制。

所述交叉熵损失函数表示如下：

其中，y_i为标签，表示当前图片司机是否佩戴安全带，当数值等于1时表示司机佩戴安全带，当数值等于0时表示司机没有佩戴安全带，这个标签仅仅是分类标签；

p_i表示模型预测概率，具体可以通过深度学习框架caffe的Softmax层根据网络提取出来的特征计算出来，属于现有技术，本发明实施例不做详细说明。

所述特征点欧式回归损失函数表示如下：

其中，和是向量；表示模型预测输出安全带特征点的位置；表示当前样本安全带特征点的准确位置。

需要说明的是，上述卷积深度学习模型通常是在实时进行驾驶员安全带佩戴识别之前就已经离线训练好了的，当然，部分情况下也可以进行在线修正，本发明实施例不做具体限制。

将步骤102中截取好的待识别安全带区域输入上述训练好的卷积网络即可进行预测，输出两个预测结果：是否佩戴的分类结果和安全带特征点位置输出。只有当安全带分数高于阈值时，输出的安全带特征点位置才是正确的。

具体的，是否佩戴的分类结果是通过安全带的分数来体现的，因此，只有对输入图片识别出的安全带的分数达到一定的值后才能认为输出的安全带特征点位置是正确的。

卷积深度学习模型训练时，有佩戴安全带的图片标签是1，没有佩戴安全带的图片标签是0，对训练好的模型输入新的图片进行预测后会输出一个0到1之间的概率值，越接近1就认为图片中有佩戴安全带的概率越大。阈值是通过大量新输入的正负样本通过画ROC曲线进行确定的，正常情况选取0.5即可。

步骤104，选择一段时间内的多帧图像进行识别，综合各帧识别结果识别出驾驶员是否佩戴安全带及识别出安全带的位置。多帧取平均分数的方式能很好解决某一帧驾驶员手臂刚好遮住安全带的情况。

步骤105，判断驾驶员是否佩戴安全带及安全带的佩戴位置是否正确，如果驾驶员未佩戴带安全带或者佩戴位置不正确，执行步骤106，否则，执行步骤107。

步骤106，通过语音报警通知驾驶员，并将图片上传到后台服务器或云端。

步骤107，不报警。

本发明一种基于深度学习的驾驶员安全带佩戴识别方法，采用深度学习方法对红外驾驶员图片进行识别以判断是否佩戴安全带，同时训练时候引入安全带特征点位置信息可以使模型学习提取到更准确的关于安全带的特征。因此利用特征点landmark回归的方法辅助安全带分类学习，可以使模型的泛化能力更强，识别效果比普通卷积识别效果更好。此外，在在实际应用中也可以引入一段时间内多帧判断的方式，以减少遮挡误报问题。本发明方法的实验效果为：采用带标注正负样本各10000张训练的效果能达到普通卷积直接训练分类使用正负样本各100000张训练出来的效果。

本发明一种基于深度学习的驾驶员安全带佩戴识别方法，前向预测阶段使用的是C++代码，将算法嵌入到arm芯片里面，在arm芯片内前向传播识别一次的时间在50ms左右，因此通过前端设备(车内辅助驾驶安全终端)可以实时监控驾驶员是否佩戴安全带，前端发现未佩戴安全带或佩戴位置不正确立即通过语言播报提醒驾驶员佩戴安全带，并且将报警图片上传后台服务器或云端备份。及时的提醒驾驶员佩戴安全带，在发生交通事故时可以大大减少驾驶员受到伤害的程度。由于本发明的方法的学习效果和鲁棒性会比普通的CNN识别更好，因此本发明能很好的推动汽车智能辅助终端技术的发展，可以为驾驶员安全带识别方面提供更高的识别率。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (10)

1.一种基于深度学习的驾驶员安全带佩戴识别方法，其特征在于，包括：

通过人脸检测算法识别出输入图像中驾驶员的人脸位置；

根据所述人脸位置截取驾驶员躯干区域作为待识别安全带区域；

通过训练好的卷积深度学习模型对所述待识别安全带区域进行识别，识别出驾驶员是否佩戴安全带及识别出安全带的位置。

2.根据权利要求1所述的基于深度学习的驾驶员安全带佩戴识别方法，其特征在于，所述识别出驾驶员是否佩戴安全带及识别出安全带的位置之后，还包括：

选择一段时间内的多帧图像进行识别，综合各帧识别结果识别出驾驶员是否佩戴安全带及识别出安全带的位置。

3.根据权利要求1所述的基于深度学习的驾驶员安全带佩戴识别方法，其特征在于，所述识别出驾驶员是否佩戴安全带及识别出安全带的位置之后，还包括：

判断驾驶员是否佩戴安全带及安全带的佩戴位置是否正确，如果驾驶员未佩戴带安全带或者佩戴位置不正确，通过语音报警通知驾驶员，并将图片上传到后台服务器或云端；否则，不报警。

4.根据权利要求1所述的基于深度学习的驾驶员安全带佩戴识别方法，其特征在于，所述输入图像为拍摄的车内红外图像。

5.根据权利要求1所述的基于深度学习的驾驶员安全带佩戴识别方法，其特征在于，根据所述人脸位置截取驾驶员躯干区域作为待识别安全带区域，具体包括：

根据所述人脸位置截取驾驶员躯干区域并将尺寸归一化到指定尺寸后作为待识别安全带区域。

6.根据权利要求1所述的基于深度学习的驾驶员安全带佩戴识别方法，其特征在于，所述截取驾驶员躯干区域的方法，包括：

在识别出人脸后，以识别出的人脸框的若干倍大小方形来截取人脸以下的躯干位置作为驾驶员躯干区域。

7.根据权利要求1所述的基于深度学习的驾驶员安全带佩戴识别方法，其特征在于，卷积深度学习模型的训练方法，包括：

标注样本图片，将佩戴安全带的驾驶员图片标注人脸框和安全带位置特征点；将没佩戴安全带的驾驶员图片标注人脸框；所述样本图片包括佩戴安全带和不佩戴安全带的驾驶员图片；

预处理标注后的图片，根据标注的人脸框信息截取驾驶员躯干区域；并将截取的驾驶员躯干区域的尺寸归一化到指定尺寸；将标注的安全带位置特征点转换为相对于驾驶员躯干区域左上角的相对坐标；将转换后的驾驶员躯干区域作为模型训练安全带区域；

训练卷积深度学习模型，基于所述模型训练安全带区域，使用交叉熵损失函数和特征点欧式回归损失函数作为监督函数，最终训练出使交叉熵损失函数和特征点欧式回归损失函数之和最小的卷积深度学习模型。

8.根据权利要求7所述的基于深度学习的驾驶员安全带佩戴识别方法，其特征在于，所述安全带位置特征点的标注方法，包括：

沿安全带左右两侧的边缘位置各标注若干点；其中，同一侧各标注点等间距，左右两侧标注的点数相同且呈对称分布。

9.根据权利要求7所述的基于深度学习的驾驶员安全带佩戴识别方法，其特征在于，所述交叉熵损失函数表示如下：

其中，y_i为标签，表示当前图片司机是否佩戴安全带；p_i表示模型预测概率。

10.根据权利要求7所述的基于深度学习的驾驶员安全带佩戴识别方法，其特征在于，所述特征点欧式回归损失函数表示如下：

其中，和是向量；表示模型预测输出安全带特征点的位置；表示当前样本安全带特征点的准确位置。