CN110309764A - 一种基于深度学习的多阶段驾驶员打电话行为检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的多阶段驾驶员打电话行为检测方法，包括车窗检测模块对输入图像进行车窗检测；人脸检测模块对输入图像进行人脸检测；驾驶员定位模块将每个检测到的车窗内的驾驶员进行定位；人脸区域扩展模块对每个驾驶员的人脸区域进行扩展，以便后续驾驶员手部和驾驶员打电话行为的检测；驾驶员打电话行为检测模块在驾驶员人脸扩展区域上对驾驶员打电话行为进行检测；驾驶员手部检测模块在驾驶员人脸扩展区域上对驾驶员手部进行检测；驾驶员手部脸部相交判断模块对驾驶员手部和脸部是否相交进行判定；最终结果判断模块将驾驶员打电话行为检测结果和驾驶员手部脸部相交判断结果进行结合，作为最终的驾驶员打电话行为判定结果。

Description

一种基于深度学习的多阶段驾驶员打电话行为检测方法

技术领域

本发明涉及计算机图像处理及智能交通技术领域，具体涉及一种基于深度学习的多阶段驾驶员打电话行为检测方法。

背景技术

近年来，随着汽车数量的不断增加，交通事故的发生率也在不断增加，已成为危害人类生命安全的重要因素之一。研究表明，十分之一的致命车祸与分心驾驶有关，相比于醉酒驾驶、超速驾驶和未佩戴安全带造成的死亡，分心驾驶的死亡人数增加得更快。作为分心驾驶的一种，驾驶员打电话行为会严重分散驾驶员的注意力，降低驾驶员的反应速度和应变能力，更易引发交通事故。《中华人民共和国道路交通安全法实施条例》中对驾驶员拨打接听手持电话做出了相应的处罚条例。

当前有许多学者提出了不同的驾驶员打电话行为检测方法，其中与本发明较接近的技术方案为：发明专利(专利号：ZL201510332624.8，名称：基于智能监控系统的驾驶员开车打电话检测方法)阐述了一种利用Cascade级联分类器对人头两侧的前景区域进行人手打电话分类的方法，进而判断驾驶员是否有违章打电话的行为。发明专利(专利号：ZL201510013139.4，名称：一种基于SVM的驾驶员接打电话监控方法)阐述了一种利用SVM分类器进行驾驶员打电话行为的分类，详细监视驾驶员的手停留在耳朵旁边的时间，并根据驾驶员的手停留在耳朵旁边的时间长短判断驾驶员是否正在接打电话。发明专利(公开号：CN107301384A，名称：一种驾驶员接打电话行为检测方法及系统。)阐述了一种基于二值化图像的驾驶员打电话行为检测方法，对驾驶员图像进行二值化，同时对当前图像进行人脸检测并通过预设的映射关系根据人脸范围计算出接打电话检测区域，然后统计连续数帧内检测区域内特定像素点的比例是否大于阈值，从而判断驾驶员是否在接打电话。

综上所述，当前驾驶员打电话行为检测方法存在着如下不足：1)传统的分类器(如Cascade、SVM等)提取的特征表达能力有限，导致驾驶员打电话行为检测的准确率不高；2)由于驾驶员的人脸在驾驶图像中所占的比例较小，一阶段端到端的深度学习方法对驾驶员打电话行为检测效果不好。

发明内容

针对现有的驾驶员打电话行为检测方法存在的上述问题，本发明提出了一种基于深度学习的多阶段驾驶员打电话行为检测方法。

本发明的技术方案如下：

一种基于深度学习的多阶段驾驶员打电话行为检测方法，其特征在于，包括如下步骤：

步骤1：利用卷积神经网络对样本图像进行训练，获取训练好的车窗检测模型、人脸检测模型、驾驶员手部检测模型以及驾驶员打电话行为检测模型，并利用车窗及驾驶员人脸的位置信息确定驾驶员的位置，具体为：

步骤1.1：利用车窗检测模块进行车窗定位，令检测到的车窗集合W＝{w_i|i＝0,1,...,n-1},其中w_i表示检测到的第i个车窗边界框，n表示检测到的车窗数量；利用人脸检测模块进行驾驶员人脸检测，令检测到的人脸集合F＝{f_j|j＝0,1,...,m₁-1}，其中f_j表示检测到的第j个人脸边界框，其中m₁≥n，m₁表示检测到的人脸数量；

步骤1.2：将车窗外的人脸边界框从人脸边界框集合中去除，具体为：令车窗内部的人脸边界框集合其中表示获取包含在第i个车窗边界框内的第j个人脸边界框，令其中表示第i个车窗边界框w_i中包含的人脸边界框集合，f_l ⁱ表示第i个车窗边界框w_i中包含的第l个人脸边界框，m₂表示车窗边界框w_i包含的人脸数目；

步骤1.3：使用驾驶员位置定位模块，将每个车窗边界框w_i内的副驾驶人员人脸边界框去除，具体为：令所有车窗边界框内的驾驶员人脸边界框集合其中表示获取车窗边界框w_i中包含的人脸边界框集合F_Wi中左上角横坐标最大的人脸边界框，令F_final＝{h_k|k＝0,1,...,n-1}；

步骤2：使用人脸区域扩展模块，对步骤1中得到的驾驶员人脸集合F_final中的每个人脸边界框h_k进行扩展，令人脸扩展区域集合R＝{r_k|k＝0,1,...,n-1}作为驾驶员打电话以及驾驶员手部待检测区域，利用驾驶员手部检测模块和驾驶员打电话行为检测模块在人脸扩展区域r_k上进行检测，具体为：

步骤2.1：利用驾驶员手部检测模块在人脸扩展区域r_k上进行驾驶员手部检测，令在人脸扩展区域r_k上检测到的驾驶员手部集合其中表示在第k个扩展区域上检测到的第r个驾驶员手部，利用驾驶员打电话行为检测模块在人脸扩展区域r_k上进行驾驶员打电话检测，令检测结果resC_k∈{true,false},resC_k表示在第k个人脸扩展区域r_k上得到的驾驶员打电话检测结果，false表示没有打电话，true表示打电话；

步骤2.2：将基于原图的驾驶员人脸边界框h_k的坐标转化到扩展区域r_k下，得到转化后的驾驶员人脸边界框集合F_cov＝{hc_k|k＝0,1,...,n-1}，hc_k表示第k个转换到人脸扩展区域集合R下的人脸边界框，利用驾驶员手部脸部相交判断模块，判断第k个人脸扩展区域上的人脸边界框hc_k与手部边界框是否相交，令判断结果resI_k∈{true,false}，true表示相交，false表示不相交；

步骤3：在最终结果判断模块中，结合步骤2.1中驾驶员打电话检测结果resC_k与步骤2.2中驾驶员手部和脸部相交结果resI_k作为最终的驾驶员打电话行为检测结果，令最终的驾驶员打电话行为检测结果集合resF＝{resf_k|k＝0,1,...,n-1}，其中，resf_k表示全图中第k辆车中的驾驶员打电话行为检测的结果，其中resf_k＝resC_k&&resI_k，resf_k等于false表示第k辆车中的驾驶员没有打电话，resf_k等于true表示第k辆车中的驾驶员在打电话。

进一步的，所述的一种基于深度学习的多阶段驾驶员打电话行为检测方法，其特征在于，步骤1中所述的卷积神经网络包含52个卷积层和1个全连接层，所述的样本图像包括卡口完整图像以及人脸区域扩展图像。

所述的一种基于深度学习的多阶段驾驶员打电话行为检测方法，其特征在于，所述的车窗检测模块、人脸检测模块、驾驶员手部检测模块和驾驶员打电话行为检测模块分别利用车窗检测模型、人脸检测模型、驾驶员手部检测模型进和驾驶员打电话行为检测模型进行检测。

所述的一种基于深度学习的多阶段驾驶员打电话行为检测方法，其特征在于，步骤2.1中所述的人脸边界框h_k扩展方法按如下步骤实现：

1)令人脸边界框h_k＝(x_k,y_k,w_k,h_k)，人脸扩展区域r_k＝(X_k,Y_k,W_k,H_k),其中x_k,y_k,w_k,h_k分别表示人脸边界框h_k的左上角的横坐标、左上角的纵坐标、宽和高，分别表示人脸边界框h_k的左上角的横坐标、左上角的纵坐标、宽以高X_k,Y_k,W_k,H_k分别表示扩展区域r_k的左上角的横坐标、左顶点的纵坐标、宽和高；

2)扩展过程如公式(1)所示：

其中，K为缩放倍数，取值范围为[1,2]；进一步，根据公式(2)进行越界处理：

其中，Width和Height分别为原图的宽和高。

所述的一种基于深度学习的多阶段驾驶员打电话行为检测方法，其特征在于，步骤2.2中基于原图的驾驶员人脸边界框h_k转化到扩展区域r_k的方法按如下步骤实现：

1)令hc_k＝(XC_k,YC_k,WC_k,HC_k)，其中XC_k,YC_k,WC_k,HC_k分别表示第k个扩展区域上的人脸边界框hc_k的左上角的横坐标、左上角的纵坐标、宽和高；

2)人脸边界框转化过程如公式(3)所示：

所述的一种基于深度学习的多阶段驾驶员打电话行为检测方法，其特征在于，步骤2.2中判断人脸扩展区域上的人脸边界框hc_k与手部边界框是否相交方法按如下步骤实现：

1)令人脸边界框hc_k的中心坐标为C_hc(X,Y)，令手部边界框其中分别表示第k个扩展区域上的第r个手部边界框的左上角的横坐标、左上角的纵坐标、宽和高，令手部边界框的中心坐标为C_h(x,y)，令C_hc(X,Y)和C_h(x,y)的距离为d，两中心连线与水平线的夹角为θ，其中θ为锐角；

2)判断人脸扩展区域上的人脸边界框hc_k与手部边界框是否相交如公式(4)所示：

本发明的有益效果是：

1)相比于传统的分类方法，利用深度学习的方法提取驾驶员打电话行为的深度特征并进行分类，提高了驾驶员打电话行为检测的准确率；

2)利用三个阶段进行驾驶员打电话行为检测，第一阶段进行车窗及人脸检测，将副驾驶人员排除，从而实现驾驶员的定位；第二阶段将第一阶段检测到的驾驶员人脸区域进行K倍缩放，然后在扩展区域上进行驾驶员打电话行为检测以及驾驶员手部的检测；第三阶段结合第二阶段中驾驶员打电话行为检测的结果以及驾驶员手部与驾驶员人脸相交的结果作为最终驾驶员打电话行为检测的结果，本方法的优点如下：

1)由于驾驶员的人脸在驾驶图像中所占的比例较小，一阶段端到端的深度学习方法对驾驶员打电话行为检测效果不好，并且无法准确区分正副驾驶人员，本方法在人脸扩展区域上进行驾驶员打电话行为检测以及驾驶员手部的检测，可以大大提高驾驶员打电话行为检测的准确率；

2)结合驾驶员打电话行为检测的结果以及驾驶员手部与驾驶员人脸相交的结果作为最终驾驶员打电话行为检测的结果，进一步提高了驾驶员打电话行为检测的准确率。

附图说明

图1为本发明一种基于深度学习的多阶段驾驶员打电话行为检测方法的框架图。

图2为本发明一种基于深度学习的多阶段驾驶员打电话行为检测方法实施例的流程图。

图中：1-人脸检测模块，2-车窗检测模块，3-驾驶员位置定位模块，4-人脸区域扩展模块，5-驾驶员打电话行为检测模块，6-驾驶员手部检测模块，7-驾驶员手部脸部相交判断模块，8-最终结果判断模块，9-原图。

具体实施方式

下面结合附图和实施例，对本发明进行进一步的说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

基于深度学习的多阶段驾驶员打电话行为检测方法，包括如下步骤：

步骤1：利用卷积神经网络对样本图像进行训练，获取训练好的车窗检测模型、人脸检测模型、驾驶员手部检测模型以及驾驶员打电话行为检测模型，并利用车窗及驾驶员人脸的位置信息确定驾驶员的位置，具体为：

步骤1.1：利用车窗检测模块2进行车窗定位，令检测到的车窗集合W＝{w_i|i＝0,1,...,n-1},其中w_i表示检测到的第i个车窗边界框，n表示检测到的车窗数量；利用人脸检测模块1进行驾驶员人脸检测，令检测到的人脸集合F＝{f_j|j＝0,1,...,m₁-1}，其中f_j表示第j个检测到的人脸边界框，其中m₁≥n，m₁表示检测到的人脸数量；

步骤1.2：将车窗外的人脸边界框从人脸边界框集合中去除，具体为：令车窗内部的人脸边界框集合其中表示获取包含在第i个车窗边界框内的第j个人脸边界框，令其中表示第i个车窗边界框w_i中包含的人脸边界框集合，f_l ⁱ表示第i个车窗边界框w_i中包含的第l个人脸边界框，m₂表示车窗边界框w_i包含的人脸数目；

步骤1.3：使用驾驶员位置定位模块3，将每个车窗边界框w_i内的副驾驶人员人脸边界框去除，具体为：令所有车窗边界框内的驾驶员人脸边界框集合其中表示获取车窗边界框w_i中包含的人脸边界框集合中左上角横坐标最大的人脸边界框，令F_final＝{h_k|k＝0,1,...,n-1}；

步骤2：使用人脸区域扩展模块4，对步骤1中得到的驾驶员人脸集合F_final中的每个人脸边界框h_k进行扩展，令人脸扩展区域集合R＝{r_k|k＝0,1,...,n-1}作为驾驶员打电话以及驾驶员手部待检测区域，利用驾驶员手部检测模块6和驾驶员打电话行为检测模块5在人脸扩展区域r_k上进行检测，具体为：

步骤2.1：利用驾驶员手部检测模块6在人脸扩展区域r_k上进行驾驶员手部检测，令在人脸扩展区域r_k上检测到的驾驶员手部集合其中表示在第k个扩展区域上检测到的第r个驾驶员手部，利用驾驶员打电话行为检测模块5在人脸扩展区域r_k上进行驾驶员打电话检测，令检测结果resC_k∈{true,false},resC_k表示在第k个人脸扩展区域r_k上得到的驾驶员打电话检测结果，false表示没有打电话，true表示打电话；

步骤2.2：将基于原图9的驾驶员人脸边界框h_k的坐标转化到扩展区域r_k下，得到转化后的驾驶员人脸边界框集合F_cov＝{hc_k|k＝0,1,...,n-1}，hc_k表示第k个转换到人脸扩展区域集合R下的人脸边界框，利用驾驶员手部脸部相交判断模块7，判断第k个人脸扩展区域上的人脸边界框hc_k与手部边界框是否相交，令判断结果resI_k∈{true,false}，true表示相交，false表示不相交；

步骤3：在最终结果判断模块8中，结合步骤2.1中驾驶员打电话检测结果resC_k与步骤2.2中驾驶员手部和脸部相交结果resI_k作为最终的驾驶员打电话行为检测结果，令最终的驾驶员打电话行为检测结果集合resF＝{resf_k|k＝0,1,...,n-1}，其中，resf_k表示全图中第k辆车中的驾驶员打电话行为检测的结果，其中resf_k＝resC_k&&resI_k，resf_k等于false表示第k辆车中的驾驶员没有打电话，resf_k等于true表示第k辆车中的驾驶员在打电话；

其中步骤1中所述的卷积神经网络包含52个卷积层和1个全连接层，样本图像包括卡口完整图像以及人脸区域扩展图像。车窗检测模块2、人脸检测模块1、驾驶员手部检测模块6和驾驶员打电话行为检测模块5分别利用车窗检测模型、人脸检测模型、驾驶员手部检测模型进和驾驶员打电话行为检测模型进行检测；

其中步骤2.1中所述的人脸边界框h_k扩展方法按如下步骤实现：

1)令人脸边界框h_k＝(x_k,y_k,w_k,h_k)，人脸扩展区域r_k＝(X_k,Y_k,W_k,H_k),其中x_k,y_k,w_k,h_k分别表示人脸边界框h_k的左上角的横坐标、左上角的纵坐标、宽和高，分别表示人脸边界框h_k的左上角的横坐标、左上角的纵坐标、宽以高X_k,Y_k,W_k,H_k分别表示扩展区域r_k的左上角的横坐标、左顶点的纵坐标、宽和高；

2)扩展过程如公式(1)所示：

其中，K为缩放倍数，取值范围为[1,2]，本实施例中，K取值为1；进一步，根据公式(2)进行越界处理：

其中，Width和Height分别为原图的宽和高；

步骤2.2中基于原图的驾驶员人脸边界框h_k转化到扩展区域r_k的方法按如下步骤实现：

1)令hc_k＝(XC_k,YC_k,WC_k,HC_k)，其中XC_k,YC_k,WC_k,HC_k分别表示第k个扩展区域上的人脸边界框hc_k的左上角的横坐标、左上角的纵坐标、宽和高；

2)人脸边界框转化过程如公式(3)所示：

步骤2.2中判断人脸扩展区域上的人脸边界框hc_k与手部边界框是否相交方法按如下步骤实现：

1)令人脸边界框hc_k的中心坐标为C_hc(X,Y)，令手部边界框其中分别表示第k个扩展区域上的第r个手部边界框的左上角的横坐标、左上角的纵坐标、宽和高，令手部边界框的中心坐标为C_h(x,y)，令C_hc(X,Y)和C_h(x,y)的距离为d，两中心连线与水平线的夹角为θ，其中θ为锐角；

2)判断人脸扩展区域上的人脸边界框hc_k与手部边界框是否相交如公式(4)所示：

Claims (6)

1.一种基于深度学习的多阶段驾驶员打电话行为检测方法，其特征在于，包括如下步骤：

步骤1：利用卷积神经网络对样本图像进行训练，获取训练好的车窗检测模型、人脸检测模型、驾驶员手部检测模型以及驾驶员打电话行为检测模型，并利用车窗及驾驶员人脸的位置信息确定驾驶员的位置，具体为：

步骤1.1：利用车窗检测模块进行车窗定位，令检测到的车窗集合W＝{w_i|i＝0,1,...,n-1},其中w_i表示检测到的第i个车窗边界框，n表示检测到的车窗数量；利用人脸检测模块进行驾驶员人脸检测，令检测到的人脸集合F＝{f_j|j＝0,1,...,m₁-1}，其中f_j表示检测到的第j个人脸边界框，其中m₁≥n，m₁表示检测到的人脸数量；

步骤1.2：将车窗外的人脸边界框从人脸边界框集合中去除，具体为：令车窗内部的人脸边界框集合其中表示获取包含在第i个车窗边界框内的第j个人脸边界框，令其中表示第i个车窗边界框w_i中包含的人脸边界框集合，f_l ⁱ表示第i个车窗边界框w_i中包含的第l个人脸边界框，m₂表示车窗边界框w_i包含的人脸数目；

步骤1.3：使用驾驶员位置定位模块，将每个车窗边界框w_i内的副驾驶人员人脸边界框去除，具体为：令所有车窗边界框内的驾驶员人脸边界框集合其中表示获取车窗边界框w_i中包含的人脸边界框集合中左上角横坐标最大的人脸边界框，令F_final＝{h_k|k＝0,1,...,n-1}；

步骤2：使用人脸区域扩展模块，对步骤1中得到的驾驶员人脸集合F_final中的每个人脸边界框h_k进行扩展，令人脸扩展区域集合R＝{r_k|k＝0,1,...,n-1}作为驾驶员打电话以及驾驶员手部待检测区域，利用驾驶员手部检测模块和驾驶员打电话行为检测模块在人脸扩展区域r_k上进行检测，具体为：

步骤2.1：利用驾驶员手部检测模块在人脸扩展区域r_k上进行驾驶员手部检测，令在人脸扩展区域r_k上检测到的驾驶员手部集合其中表示在第k个扩展区域上检测到的第r个驾驶员手部，利用驾驶员打电话行为检测模块在人脸扩展区域r_k上进行驾驶员打电话检测，令检测结果resC_k∈{true,false},resC_k表示在第k个人脸扩展区域r_k上得到的驾驶员打电话检测结果，false表示没有打电话，true表示打电话；

步骤2.2：将基于原图的驾驶员人脸边界框h_k的坐标转化到扩展区域r_k下，得到转化后的驾驶员人脸边界框集合F_cov＝{hc_k|k＝0,1,...,n-1}，hc_k表示第k个转换到人脸扩展区域集合R下的人脸边界框，利用驾驶员手部脸部相交判断模块，判断第k个人脸扩展区域上的人脸边界框hc_k与手部边界框是否相交，令判断结果resI_k∈{true,false}，true表示相交，false表示不相交；

步骤3：在最终结果判断模块中，结合步骤2.1中驾驶员打电话检测结果resC_k与步骤2.2中驾驶员手部和脸部相交结果resI_k作为最终的驾驶员打电话行为检测结果，令最终的驾驶员打电话行为检测结果集合resF＝{resf_k|k＝0,1,...,n-1}，其中，resf_k表示全图中第k辆车中的驾驶员打电话行为检测的结果，其中resf_k＝resC_k&&resI_k，resf_k等于false表示第k辆车中的驾驶员没有打电话，resf_k等于true表示第k辆车中的驾驶员在打电话。

2.如权利要求1所述的所述的一种基于深度学习的多阶段驾驶员打电话行为检测方法，其特征在于，步骤1中所述的卷积神经网络包含52个卷积层和1个全连接层，所述的样本图像包括卡口完整图像以及人脸区域扩展图像。

3.如权利要求1所述的所述的一种基于深度学习的多阶段驾驶员打电话行为检测方法，其特征在于，所述的车窗检测模块、人脸检测模块、驾驶员手部检测模块和驾驶员打电话行为检测模块分别利用车窗检测模型、人脸检测模型、驾驶员手部检测模型进和驾驶员打电话行为检测模型进行检测。

4.如权利要求1所述的所述的一种基于深度学习的多阶段驾驶员打电话行为检测方法，其特征在于，步骤2.1中所述的人脸边界框h_k扩展方法按如下步骤实现：

1)令人脸边界框h_k＝(x_k,y_k,w_k,h_k)，人脸扩展区域r_k＝(X_k,Y_k,W_k,H_k),其中x_k,y_k,w_k,h_k分别表示人脸边界框h_k的左上角的横坐标、左上角的纵坐标、宽和高，分别表示人脸边界框h_k的左上角的横坐标、左上角的纵坐标、宽以高X_k,Y_k,W_k,H_k分别表示扩展区域r_k的左上角的横坐标、左顶点的纵坐标、宽和高；

2)扩展过程如公式(1)所示：

其中，K为缩放倍数，取值范围为[1,2]；进一步，根据公式(2)进行越界处理：

其中，Width和Height分别为原图的宽和高。

5.如权利要求1所述的所述的一种基于深度学习的多阶段驾驶员打电话行为检测方法，其特征在于，步骤2.2中基于原图的驾驶员人脸边界框h_k转化到扩展区域r_k的方法按如下步骤实现：

1)令hc_k＝(XC_k,YC_k,WC_k,HC_k)，其中XC_k,YC_k,WC_k,HC_k分别表示第k个扩展区域上的人脸边界框hc_k的左上角的横坐标、左上角的纵坐标、宽和高；

2)人脸边界框转化过程如公式(3)所示：

6.如权利要求1所述的所述的一种基于深度学习的多阶段驾驶员打电话行为检测方法，其特征在于，步骤2.2中判断人脸扩展区域上的人脸边界框hc_k与手部边界框是否相交方法按如下步骤实现：

1)令人脸边界框hc_k的中心坐标为C_hc(X,Y)，令手部边界框其中分别表示第k个扩展区域上的第r个手部边界框的左上角的横坐标、左上角的纵坐标、宽和高，令手部边界框的中心坐标为C_h(x,y)，令C_hc(X,Y)和C_h(x,y)的距离为d，两中心连线与水平线的夹角为θ，其中θ为锐角；

2)判断人脸扩展区域上的人脸边界框hc_k与手部边界框是否相交如公式(4)所示：