CN110796109A - 一种基于模型融合的驾驶员分心行为识别方法 - Google Patents

Abstract

本发明公开了一种基于模型融合的驾驶员分心行为识别方法，属于模式识别、图像处理领域。所述方法包括；建立驾驶员分心行为真实数据集并对图片做数据增强等预处理；搭建VGG‑Net、Inception‑V3两种神经网络模型；训练并测试每一个网络模型，使其都能输出单模型测试的识别结果；对以上两个模型进行融合处理，得到模型融合后的测试结果，最终输出识别出的驾驶员的行为类别。不同模型的设计思路不同，提取图片特征原理也不同，本发明通过模型融合的方式，使不同模型的分类特点充分发挥，提高精度，分类结果比单模型的分类结果更准确可靠。本发明在安全驾驶与智能交通领域有着重要的实际应用价值。

Description

一种基于模型融合的驾驶员分心行为识别方法

技术领域

本发明属于模式识别、图像处理领域，具体涉及一种基于模型融合的驾驶员分心行为识别方法。

背景技术

经济在快速发展中，汽车保有量也在不断的上升当中，据有关统计，到2016年底，我国汽车保有量高达1.94亿辆。交通事故发生的频率也在逐年增加，驾驶员出现注意力分散的现象是发生交通事故的主要原因之一，驾驶员注意力分散主要在疲劳驾驶和分心驾驶两个方面。根据公安部门统计，2014年由分心驾驶造成的简易交通事故309.9 万次，占总简易交通事故的 47.22%；同时，分心驾驶导致的交通事故较 2013 年同比增长了11.1%。

针对交通事故，目前市场上大都采用行车记录仪，但也只能在事故发生之后，警方通过调取视频信息查看，无法在事故发生前就对驾驶员的异常分心行为提前做出警告信号。因此，如果我们能从源头上杜绝这种驾驶员分心驾驶的现象，可以极大降低交通事故发生的几率。

尤其对于重要货物运输、公交、出租车或其他载人客车等，一旦发生交通事故，带来的危害是非常严重的，因此，社会对于能够自动识别驾驶员分心行为并且给出警报的系统有着强烈的需求。

现有的驾驶员行为识别系统大多需要提取手和身体关节位置、头部姿态角等特定特征，但是并不容易获得，需要高成本的硬件设备。近年来深度学习的兴起，数据挖掘和采集技术也在不断发展，随着数据量的增多，通过采集司机驾驶过程中的照片，并对司机的动作进行分类是完全可能实现的，也大大节省了时间和成本。

卷积神经网络在图像识别中表现很好，可以使用大量的图片和类别标签，通过卷积神经网络，训练一个能准确分类司机动作的卷积神经网络模型，在司机分心驾驶时进行提醒，避免悲剧的产生。

发明内容

发明目的：为了克服现有技术的不足，使用卷积神经网络对驾驶员行为进行快速准确的识别，本发明提供了一种基于模型融合的驾驶员分心驾驶识别方法，实现了对驾驶员多种行为的自动识别，详见下文描述：

为了实现上述目的，本发明提供的技术方案如下：

一种基于模型融合的驾驶员分心行为识别方法，包括以下四大步骤。

步骤1：搜集有关驾驶员分心行为识别的数据集；在搜集到的数据集的基础上，通过自制数据集丰富行为种类，增加数据集的复杂性，并对数据集的图片进行预处理；其具体包括。

步骤101：搜集到相关数据集——state-farm-distracted-driver-detection，该数据集是图片形式，包含以下十种不同行为类别：

C0：安全驾驶

C1：右手手机打字

C2：右手打电话

C3：左手手机打字

C4：左手打电话

C5：调整收音机按钮

C6：喝水

C7：拿后座物品

C8：整理头发化妆

C9：与副驾驶乘客交谈。

步骤102：模拟车内环境进行实际拍摄，增加一项驾驶员抽烟的行为种类，一项双手离开方向盘的行为种类，丰富数据多样性及复杂程度，建立真实数据集，共12个驾驶员分心行为类别，即：

C10：抽烟

C11：双手离开方向盘。

步骤103：对建立好的数据集中的图片进行数据预处理；具体操作有：

为了防止图片过拟合及提升模型表现，需要进行数据增强，做一下旋转，平移，放缩等来增加数据的多样性；修改图片尺寸，为减少数据量，需将图片进行缩放，为使用预训练模型，将图片尺寸缩放成预训练模型能接受的尺寸；VGG使用图片大小为224

224的RGB图片，在TensorFlow中，需要将图片处理成 224224

3 的图片，使用临近像素重构图片，而非中心裁剪。

步骤2：搭建深度学习不同的卷积神经网络模型，设置网络结构、评价指标、优化器等。

网络模型是在TensorFlow中搭建的。

步骤201：分别构建VGG-Net、Inception-V3两种网络模型，设置网络参数。

步骤202：使用多类对数损失（𝑚𝑢l𝑡𝑖 − 𝑐l𝑎𝑠𝑠 l𝑜𝑔𝑎𝑟𝑖𝑡ℎ𝑚 l𝑜𝑠𝑠）作为评估指标，给出图片属于12个类的可能性，计算公式为：

（1）

其中𝑁是测试集中图片的数量，𝑀是类别标签的数量，如果

属于

则

，否则

，

是

属于

的概率。

步骤203：选择Adam来做主优化器。

步骤3：输入训练集对搭建好的网络模型进行训练，对不同的单网络模型进行测试，输出测试图像的识别结果，最终识别出驾驶员的行为类别。

步骤301：将自制数据集的训练集送入设计好的网络模型中进行训练，在训练样本时采用随机梯度下降法（SGD）不断迭代，以寻求最优参数。

步骤302：选择softmax函数构建分类器，计算输出为预测不同类别的概率。

步骤303：训练完成后，用测试集验证，得出准确率及损失值，预测出单张图片属于哪个类别的概率。

步骤4：对多个模型进行融合处理，得出待识别行为图像的最终分类识别行为结果。

步骤401：对VGG-Net、Inception-V3两种网络模型输出的分类识别结果进行融合处理，得到该待识别果蔬图像的最终识别结果。公式如下：

（2）

其中，

为待识别驾驶行为图像的最终识别结果，

表示待识别驾驶行为图像经过融合处理后最终被识别为行为类别

的概率，

表示神经网络模型的序号，n表示神经网络模型的总个数，

表示第

个神经网络模型的权重，

表示待识别驾驶行为图像经过第

个神经网络模型识别属于行为类别的概率。

步骤402：模型融合后得出测试准确率及损失，与单模型做对比。

本发明提供的一种基于模型融合的驾驶员分心行为识别方法，与现有技术相比较，有益效果和优点有以下几点。

（1）本发明使用卷积神经网络，实现对驾驶员分心行为的识别，不需要高成本的硬件设备，只需通过车载相机采集司机驾驶过程中的照片，即可对司机的动作进行识别分类，在智能交通和公共安全领域有着重要的应用价值。

（2）本发明方法使用数据集是在已有公开的数据集基础上，模拟车内环境进行实际拍摄，增加了样本数量及行为种类，将可识别的驾驶分心行为图像增加至12类。

（3）本发明采用深层的深度学习架构，在TensorFlow中搭建VGG-Net、Inception-V3两种网络模型，对网络结构和参数不断的优化改进，准确率分别达到83%、89%。

（4）本发明采用模型融合的方式，将样本经过不同的网络模型的多次分类，最终输出一个融合后的分类识别结果，准确率达到92%，相比较单个网络模型，提高了对驾驶分心行为的识别准确率。

附图说明

图1为本发明的方法流程图。

图2为本发明数据集中不同驾驶分心行为的样例图。

图3为本发明实验结果训练测试的准确率及损失图。

图4为本发明预测单张驾驶分心行为图像的所属类别概率图。

具体实施方式

以下将结合具体实施方式与附图，对本发明提出的技术方进行详细的描述。应理解，此处具体的实施方式仅用于说明解释本发明，而并不限制本发明。

本发明提供了一种基于模型融合的驾驶员分心行为识别方法，总体框图如图1所示，包括以下步骤。

步骤1：建立真实多种类驾驶行为数据集；并对数据集中的图片做预处理操作，具体步骤如下。

步骤101：在网络公开网站中，搜集到相关驾驶员分心行为种类识别数据集——state-farm-distracted-driver-detection.该数据集中训练集共22424张图片，一共包括十种不同的驾驶员行为，其中一种是正常驾驶，其余九种为分心驾驶，具体为：

C0：安全驾驶

C1：右手手机打字

C2：右手打电话

C3：左手手机打字

C4：左手打电话

C5：调整收音机按钮

C6：喝水

C7：拿后座物品

C8：整理头发化妆

C9：与副驾驶乘客交谈。

步骤102：为了增加训练样本数量，提高准确率，模拟车内环境进行实际拍摄增加样本。为了提高实用性，丰富驾驶员的行为种类，增加一项驾驶员抽烟的行为种类，一项双手离开方向盘的行为种类，建立真实数据集，共12个驾驶员分心行为类别，即：

C10：抽烟

C11：双手离开方向盘。

步骤103：数据集中的图片需要进行预处理后，才可以输入给网络模型，具体操作有：

为了防止图片过拟合及提升模型表现，需要进行数据增强，对每一张图片随机性保留原图、旋转、平移、放缩等来增加数据的多样性；修改图片尺寸，重定义图片大小，为减少数据量，需将图片进行缩放，为使用预训练模型，将图片尺寸缩放成预训练模型能接受的尺寸；数据集原图大小是680

680的RGB图片，VGG使用图片大小为224

224的RGB图片，在TensorFlow中，需要将图片处理成 224

2243 的图片，使用临近像素重构图片，而非中心裁剪。

步骤2：搭建深度学习不同的卷积神经网络模型，设置网络结构、评价指标、优化器等。

网络模型在TensorFlow中搭建。

步骤201：分别构建VGG-Net、Inception-V3两种网络模型，设置网络参数。具体网络结构分别为：

VGG卷积神经网络模型主要由输入层、卷积层、池化层、全连接层、Softmax组成。VGG由13个卷积层、5个池化层和3个全连接层组成，为了减少网络运行的时间成本，对其优化改进，采用卷积层组Conv1、卷积层组Conv2、卷积层组Conv3、卷积层组Conv4，每一个层组有两个卷积层，卷积核的尺寸统一大小为33，各层组由一个池化层分开；改进后的VGGNet由8个卷积层、3个池化层和两个全连接层组成，计算量与参数数量均大大减小了；最后由softmax函数构建分类器，分成12类输出，计算输出为预测不同类别的概率。

Inception-V3卷积神经网络模型是Inception网络结构的第三代分类器，本发明使用迁移学习，在ImageNet中训练的该模型可识别1000个种类；网络结构共由11个Inception模块卷积、池化、全连接层组成，由于本发明有12个行为种类，因此输出节点的数量变成12。

步骤202：使用多类对数损失（𝑚𝑢l𝑡𝑖 − 𝑐l𝑎𝑠𝑠 l𝑜𝑔𝑎𝑟𝑖𝑡ℎ𝑚 l𝑜𝑠𝑠）作为评估指标，给出图片属于12个类的可能性，计算公式为：

（1）

其中𝑁是测试集中图片的数量，𝑀是类别标签的数量，如果属于则

，否则

，

是

属于

的概率。

步骤203：选择Adam来做主优化器训练模型，选择出最优权重，再利用SGD优化器进行精调。

步骤3：将预处理后的图片输入搭建好的网络，对网络模型进行训练，对不同的单网络模型进行测试，输出测试图像的识别结果，最终识别出驾驶员的行为类别。

步骤301：将自制数据集的训练集送入设计好的网络模型中进行训练，在训练样本时采用随机梯度下降法（SGD）不断迭代，以寻求最优参数。

步骤302：设置初始学习率1e-5，epochs为10，norm_size设置为32，不断调整参数：若val_loss 在下降，应继续多训练几代，；若val_loss 开始上升，则可能是过拟合问题，需要正则化（dropout等）；若 val_loss 振荡，学习率太大，应减小学习率；若val loss 已经完全稳定，应减小训练代数。

步骤303：训练完成后，用测试集验证，得出准确率及损失值，预测出单张图片属于哪个类别的概率；结果输出单张图片最大概率的所属种类，并显示此概率。

步骤4：对VGGNet与Inception-V3模型进行融合处理，得出待识别行为图像的最终分类识别行为结果。

步骤401：对VGG-Net、Inception-V3两种网络模型输出的分类识别结果进行融合处理，得到该待识别驾驶行为图像的最终识别结果；公式如下：

（2）

其中，

为待识别驾驶行为图像的最终识别结果，

表示待识别驾驶行为图像经过融合处理后最终被识别为行为类别的概率，

表示神经网络模型的序号，n表示神经网络模型的总个数，

表示第

个神经网络模型的权重，

表示待识别驾驶行为图像经过第

个神经网络模型识别属于行为类别

的概率。

步骤402：模型融合后得出测试准确率及损失，与单模型做对比；

采用模型融合后的网络与单模型网络进行对比，VGGNet网络结构的平均准确率为83%，Inception-V3网络结构的平均准确率为89%，VGGNet与Inception-V3融合后的网络结构的平均准确率为92%。

本发明提供的基于模型融合的方法平均准确率达92%，高于单模型，并优于现有识别方法。

综上所述，本发明提供的一种基于模型融合的驾驶员分心行为识别方法，能够对12种驾驶员行为进行识别分类，准确的判断出所属分心行为的种类；该方法对比于现有识别方法更简单快速，准确率更高，可以被应用到安全驾驶领域，从源头上杜绝分心驾驶造成的交通事故，有重要的应用价值。

以上所描述的仅为本申请发明的实施例，并不限制本发明的保护范围，在不脱离本发明的原理的前提下，所作的改进或修改替换等，均应在本发明的专利保护范围之内。

Claims (2)

1.一种基于模型融合的驾驶员分心行为识别方法，其特征在于，所述方法包括以下步骤：

步骤1：搜集有关驾驶员分心行为识别的数据集；在搜集到的数据集的基础上，通过自制数据集丰富行为种类，增加数据集的复杂性，并对数据集的图片进行预处理；

步骤2：在TensorFlow中搭建两个不同的神经网络模型，设置网络结构、评价指标与优化器等；

步骤3：将预处理后的训练集图片分别输入两个网络进行学习，训练完成后，对网络模型进行测试，输出测试图像的识别结果，最终识别出驾驶员的行为类别；

步骤4：对两个模型进行融合处理，得出待识别行为图像的最终分类识别行为结果。

2.根据权利要求1所述的一种基于模型融合的驾驶员分心行为识别方法，其特征在于，所述步骤1的操作过程如下：

步骤101 ：搜集到相关数据集——state-farm-distracted-driver-detection，该数据集是图片形式，包含十种不同行为类别，其中一种是正常驾驶行为，九种分心驾驶行为；

步骤102：模拟车内环境进行实际拍摄，增加一项驾驶员抽烟的行为种类，一项双手离开方向盘的行为种类，丰富数据多样性及复杂程度，建立真实数据集，即：

步骤103：对数据集的图片进行数据预处理，为了防止图片过拟合及提升模型表现，需要进行数据增强，做一下旋转，平移，放缩等来增加数据的多样性；修改图片尺寸，为减少数据量，需将图片进行缩放，为使用预训练模型，将图片尺寸缩放成预训练模型能接受的尺寸；

所述步骤2的操作过程如下：

步骤201：分别构建VGG-Net、Inception-V3两种网络模型，设置网络参数；

步骤202：使用多类对数损失（𝑚𝑢l𝑡𝑖 − 𝑐l𝑎𝑠𝑠 l𝑜𝑔𝑎𝑟𝑖𝑡ℎ𝑚 l𝑜𝑠𝑠）作为评估指标，给出图片属于12个类的可能性，计算公式为：

（1）

其中𝑁是测试集中图片的数量，𝑀是类别标签的数量，如果

属于

则

，否则，

是

属于

的概率；

步骤203：选择Adam来做主优化器；

所述步骤3的操作过程如下：

步骤301：将自制数据集送入设计好的网络模型中进行训练，通过随机梯度下降法（SGD）不断迭代，以此寻求最优参数；

步骤302：选择softmax函数构建分类器，计算输出为预测不同类别的概率；

步骤303：训练完成后，用测试集验证，得出准确率及损失值，得出单张图片属于哪个类别的概率；

所述步骤4的操作过程如下：

步骤401：对VGG-Net、Inception-V3两种网络模型输出的分类识别结果进行融合处理，得到该待识别驾驶行为图像的最终识别结果，公式如下：

（2）

其中，

为待识别驾驶行为图像的最终识别结果，

表示待识别驾驶行为图像经过融合处理后最终被识别为行为类别

的概率，

表示神经网络模型的序号，n表示神经网络模型的总个数，

表示第

个神经网络模型的权重，

表示待识别驾驶行为图像经过第

个神经网络模型识别属于驾驶行为类别

的概率；

步骤402：模型融合后得出测试准确率及损失，与单模型做对比。

Images