CN112836584A - 基于深度学习的交通图像安全带分类方法 - Google Patents

Abstract

本发明公开基于深度学习的交通图像安全带分类方法，具体按照以下步骤实施：步骤1、构造数据集，并对数据集进行格式转换，随机分为训练集和测试集；步骤2、搭建具有SE模块的深层稠密残差网络并设计网络各层参数；步骤3、设置训练时需要的损失函数、网络优化算法及所有超参数，损失函数为加入正则化的交叉熵损失函数；步骤4、根据步骤3设置的损失函数、网络优化算法对步骤2构建的具有SE模块的深层稠密残差网络进行训练，得到网络模型；步骤5、对步骤1中的测试集通过步骤4中得到的网络模型权重进行预测，判断汽车驾驶员是否佩戴安全带。该方法能够增加安全带检测的准确度，减少虚警率和漏检率，以获取更高的安全带分类精度。

Description

基于深度学习的交通图像安全带分类方法

技术领域

本发明属于图像处理方法技术领域，具体涉及一种基于深度学习的交通 图像安全带分类方法。

背景技术

图像是人类获取信息、表达信息和传递信息的重要手段之一。近年来,随 着机动车数量的不断增加,交通安全事故与日俱增。当事故发生时,佩戴安 全带能够最大限度地保护驾驶员的生命安全。目前，安全带主要通过人工方 式对交通监控图像进行分析,判断驾驶员是否佩戴安全带，检测效率较低. 随着机器视觉研究的发展,基于图像识别的安全带自动检测方式已成为必然 趋势。

在交通视频监控中，有很多因素影响车辆检测和分类的准确率，包括复 杂的道路环境，光照和天气变化，以及摄像机的角度方向等。当在天气明朗 的时候，汽车前挡风玻璃框会在驾驶员身上产生一种形似安全带的阴影，传 统的图像处理方法很难分辨出是否佩戴安全带。

发明内容

本发明的目的是提供一种基于深度学习的交通图像安全带分类方法，该 方法能够增加安全带检测的准确度，减少虚警率和漏检率，以获取更高的安 全带分类精度。

本发明所采用的技术方案是，基于深度学习的交通图像安全带分类方 法，具体按照以下步骤实施：

步骤1、构造数据集，并对数据集进行格式转换，随机分为训练集和测 试集；

步骤2、搭建具有SE模块的深层稠密残差网络并设计网络各层参数；

步骤3、设置步骤2所构建的具有SE模块的深层稠密残差网络训练时 需要的损失函数、网络优化算法及所有超参数，损失函数为加入正则化的交 叉熵损失函数；

步骤4、根据步骤3设置的具有SE模块的深层稠密残差网络的损失函 数、网络优化算法对步骤2构建的具有SE模块的深层稠密残差网络进行训 练，得到网络模型；

步骤5、对步骤1中的测试集通过步骤4中得到的网络模型权重进行预 测，判断汽车驾驶员是否佩戴安全带。

本发明的特征还在于，

步骤1具体包括以下步骤：

步骤1.1、对获得的图片进行人工分类出驾驶员佩戴安全带和没有佩戴 安全带的图片，并裁减出主驾驶位区域，构造数据集；

步骤1.2、对步骤1.1得到的主驾驶位区域图片进行格式转换，转换为数 组形式，并将转换后的图片随机分为测试集和训练集，将佩戴安全带和没有 佩戴安全带作为图片标签，图片标签转换为one-hot编码。

步骤2具体包括以下步骤：

步骤2.1、构造具有SE模块的深层稠密残差网络，该网络结构如下：输 入图像—第1个卷积层—第1个平均池化层—第1个具有SE块的稠密残差 模块层—第1个批量归一化操作层—第1个ReLU激活函数层—第2个卷积 层—第2个平均池化层—第2个具有SE块的稠密残差模块层—第2个批量 归一化操作层—第2个ReLU激活函数层—第3个卷积层—第3个平均池化 层—第3个具有SE块的稠密残差模块层—第3个批量归一化操作层—第3 个ReLU激活函数层—第4个卷积层—第4个平均池化层—第4个批量归一 化操作层—第4个ReLU激活函数层—全局平均池化层—分类层；

其中，具有SE块的稠密残差模块的结构为：上一层输出特征图—SE 模块—第1个卷积层—第1个批量归一化操作层—第1个ReLU激活函数层 —第2个卷积层—第2个批量归一化操作层—第2个ReLU激活函数层—特 征图对应相加操作；相加的特征图为上一层输入的特征图依次通过并行卷积 层—批量归一化操作层—ReLU激活函数层输出的特征图；

SE模块的结构为：上一层输出特征图—全局平均池化—第一个全连接 层—ReLU激活函数—第二个全连接层—sigmoid激活函数—对应特征通道 相乘操作—SE模块输出特征图；

步骤2.2、设计所构建的具有SE块的深度稠密残差网络各层参数，参数 如下：

具有SE块的深度稠密残差网络各层参数为：第1个卷积层的卷积核尺 度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为48；第1个 平均池化层的池化核尺度设置为3*3，池化步长设置为2*2，特征映射图的 数目设置为48；第1个具有SE块的稠密残差模块层中的具有SE块的稠密 残差模块个数为3；输出的特征映射图的数目为120；第2个卷积层的卷积 核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为60；第 2个平均池化层的池化核尺度设置为2*2，池化步长设置为2*2，特征映射图 的数目设置为60；第2个具有SE块的稠密残差模块层中的具有SE块的稠 密残差模块个数为6，输出的特征映射图的数目为204；第3个卷积层的卷 积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为102； 第3个平均池化层的池化核尺度设置为2*2，池化步长设置为2*2，特征映 射图的数目设置为102；第3个具有SE块的稠密残差模块层中的具有SE块 的稠密残差模块个数为6，输出的特征映射图的数目为390；第4个卷积层 的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为 185；将第4个平均池化层的池化核尺度设置为2*2，池化步长设置为2*2， 特征映射图的数目设置为185；

具有SE块的稠密残差模块中第1个卷积层的卷积核尺度为1*1，卷积 步长为1*1，特征映射图的数目设置为48，第2个卷积层的卷积核尺度为3*3， 特征映射图的数目设置为24，并行卷积层的卷积核尺度为1*1，卷积步长为 1*1，特征映射图的数目设置为24。

步骤3具体包括以下步骤：

步骤3.1、损失函数为交叉熵损失函数，其定义如下：

其中，N为输入样本数；M为样本类别数；

为模型预测样本i属于c 类的概率；y_ic为真实样本标签，其值只能为0或者1，如果该类别和样本i 的真实类别相同就是1，否则是0；

引用权重衰减，在交叉熵损失函数中增加一个正则化项，抑制模型的复 杂度，降低过拟合风险，使用l₂正则化，其定义为：

l₂表示2范数，这里指的是权重2范数的平方和，λ为正则化系数；加 入l₂正则化项的损失函数为：

式中，L₀为交叉熵损失函数；n为训练集所包含的实例个数；第二项为 l₂正则化项，是所有权重的平方和，通过超参数λ权衡正则化项和原始损失 函数的比重；

步骤3.2、设置具有SE模块的深层稠密残差网络的超参数，具体包括网 络输入批次、学习速率、迭代次数、正则化系数；

将输入批次设置为64，将迭代次数设置为50，将初始学习速率设置为 0.1，并设置每经历20迭代后，学习速率减少1/10，最后10次迭代学习率为 0.001；正则化系数为0.0001；

步骤3.3、设置具有SE模块的深层稠密残差网络的优化算法，优化算法 使用随机梯度下降算法，通过引入随迭代次数变化的学习速率来不断优化步 骤3.1中的加入正则化的交叉熵损失函数，使其达到最小值。

步骤4具体包括以下步骤：

步骤4、根据步骤3设置的具有SE模块的深层稠密残差网络的损失函 数、网络优化算法对步骤2构建的具有SE模块的深层稠密残差网络进行训 练，每迭代一次保存一次模型，迭代50次后选择准确率最高的网络模型。

本发明的有益效果是：该方法通过对搭建好网络框架进行训练，使用已 训练好的网络可以直接完成是否佩戴安全带的检测工作，并且不需要手动调 节网络各个参数，本发明可以更好的分类出在复杂光照条件下驾驶员是否佩 戴安全带。在一定程度上提高了模型的鲁棒性，提高了是否佩戴安全带的分 类准确度。

附图说明

图1是本发明一种基于深度学习的交通图像安全带分类方法的流程图；

图2是表示佩戴安全带的图像样本示例；

图3是表示为没有佩戴安全带图片的样本示例；

图4是本发明的仿真结果图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明提供一种基于深度学习的交通图像安全带分类方法，如图1所示， 具体按照以下步骤实施：

步骤1、构造数据集，并对数据集进行格式转换，随机分为训练集和测 试集；

步骤1具体包括以下步骤：

步骤1.1、图片来自于道路交通视频监控所拍摄的车辆图片。对获得的 图片进行人工分类出驾驶员佩戴安全带和没有佩戴安全带的图片，并裁减出 主驾驶位区域，构造数据集；

步骤1.2、对步骤1.1得到的主驾驶位区域图片进行格式转换，转换为数 组形式，并将转换后的图片随机分为测试集和训练集，将佩戴安全带和没有 佩戴安全带作为图片标签，图片标签转换为one-hot编码。

步骤2、搭建具有SE模块的深层稠密残差网络并设计网络各层参数；

步骤2.1、构造具有SE模块的深层稠密残差网络，该网络结构如下：输 入图像—第1个卷积层—第1个平均池化层—第1个具有SE块的稠密残差 模块层—第1个批量归一化操作层—第1个ReLU激活函数层—第2个卷积 层—第2个平均池化层—第2个具有SE块的稠密残差模块层—第2个批量 归一化操作层—第2个ReLU激活函数层—第3个卷积层—第3个平均池化 层—第3个具有SE块的稠密残差模块层—第3个批量归一化操作层—第3 个ReLU激活函数层—第4个卷积层—第4个平均池化层—第4个批量归一 化操作层—第4个ReLU激活函数层—全局平均池化层—分类层；

其中，具有SE块的稠密残差模块的结构为：上一层输出特征图—SE 模块—第1个卷积层—第1个批量归一化操作层—第1个ReLU激活函数层 —第2个卷积层—第2个批量归一化操作层—第2个ReLU激活函数层—特 征图对应相加操作；相加的特征图为上一层输入的特征图依次通过并行卷积 层—批量归一化操作层—ReLU激活函数层输出的特征图；

SE模块的结构为：上一层输出特征图—全局平均池化—第一个全连接 层—ReLU激活函数—第二个全连接层—sigmoid激活函数—对应特征通道 相乘操作—SE模块输出特征图；

步骤2.2、设计所构建的具有SE块的深度稠密残差网络各层参数，参数 如下：

具有SE块的深度稠密残差网络各层参数为：第1个卷积层的卷积核尺 度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为48；第1个 平均池化层的池化核尺度设置为3*3，池化步长设置为2*2，特征映射图的 数目设置为48；第1个具有SE块的稠密残差模块层中的具有SE块的稠密 残差模块个数为3；输出的特征映射图的数目为120；第2个卷积层的卷积 核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为60；第 2个平均池化层的池化核尺度设置为2*2，池化步长设置为2*2，特征映射图 的数目设置为60；第2个具有SE块的稠密残差模块层中的具有SE块的稠 密残差模块个数为6，输出的特征映射图的数目为204；第3个卷积层的卷 积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为102； 第3个平均池化层的池化核尺度设置为2*2，池化步长设置为2*2，特征映 射图的数目设置为102；第3个具有SE块的稠密残差模块层中的具有SE块 的稠密残差模块个数为6，输出的特征映射图的数目为390；第4个卷积层 的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为 185；将第4个平均池化层的池化核尺度设置为2*2，池化步长设置为2*2， 特征映射图的数目设置为185；

具有SE块的稠密残差模块中第1个卷积层的卷积核尺度为1*1，卷积 步长为1*1，特征映射图的数目设置为48，第2个卷积层的卷积核尺度为3*3， 特征映射图的数目设置为24，并行卷积层的卷积核尺度为1*1，卷积步长为 1*1，特征映射图的数目设置为24。

步骤3、设置步骤2所构建的具有SE模块的深层稠密残差网络训练时 需要的损失函数、网络优化算法及所有超参数，损失函数为加入正则化的交 叉熵损失函数；

步骤3具体包括以下步骤：

步骤3.1、损失函数为交叉熵损失函数，其定义如下：

其中，N为输入样本数；M为样本类别数；

为模型预测样本i属于c 类的概率；y_ic为真实样本标签，其值只能为0或者1，如果该类别和样本i 的真实类别相同就是1，否则是0；

本发明的网络模型结构相对于其他网络模型结构较为复杂，为了防止过 拟合现象，引用权重衰减(weight decay)，在交叉熵损失函数中增加一个正 则化项，抑制模型的复杂度，降低过拟合风险，使用l₂正则化，其定义为：

l₂表示2范数，这里指的是权重2范数的平方和，λ为正则化系数；加 入l₂正则化项的损失函数为：

式中，L₀为交叉熵损失函数；n为训练集所包含的实例个数；第二项为 l₂正则化项，是所有权重的平方和，通过超参数λ权衡正则化项和原始损失 函数的比重；

步骤3.2、设置具有SE模块的深层稠密残差网络的超参数，具体包括网 络输入批次、学习速率、迭代次数、正则化系数；

将输入批次设置为64，将迭代次数设置为50，将初始学习速率设置为 0.1，并设置每经历20迭代后，学习速率减少1/10，最后10次迭代学习率为 0.001；正则化系数为0.0001；

步骤3.3、设置具有SE模块的深层稠密残差网络的优化算法，优化算法 使用随机梯度下降算法(SDG)，通过引入随迭代次数变化的学习速率来不 断优化步骤3.1中的加入正则化的交叉熵损失函数(即公式(3))，使其达 到最小值。

步骤4、根据步骤3设置的具有SE模块的深层稠密残差网络的损失函 数、网络优化算法对步骤2构建的具有SE模块的深层稠密残差网络进行训 练，得到网络模型；

步骤4具体包括以下步骤：

步骤4、根据步骤3设置的具有SE模块的深层稠密残差网络的损失函 数、网络优化算法对步骤2构建的具有SE模块的深层稠密残差网络进行训 练，每迭代一次保存一次模型，迭代50次后选择准确率最高的网络模型。

步骤5、对步骤1中的测试集通过步骤4中得到的网络模型权重进行预 测，判断汽车驾驶员是否佩戴安全带。

下面结合仿真实验对本发明的效果做进一步的说明。

1.仿真条件：

本发明的仿真实验是在Tensorflow环境中进行训练，安装环境为有 AMD RadeonR5 M240 GPU和Intel(R)Core(TM)i5-5200U CPU@2.20GHz 的计算机。

2.仿真内容与结果分析：

图2-3为测试集样本图片的部分示例，其中图2表示佩戴安全带的图像 样本示例；图3表示为没有佩戴安全带图片的样本示例；

图4为本发明的仿真结果的检测率与迭代次数的折线图。检测率达到了 97％。表1为在相同数据集下，本发明和其他传统分类方法的检出率、虚警 率、漏检率的对比表。其中本发明在各个方面都要优于传统方法，并且本发 明可以应用于实际中。

表1

Claims (5)

1.基于深度学习的交通图像安全带分类方法，其特征在于，具体按照以下步骤实施：

步骤1、构造数据集，并对数据集进行格式转换，随机分为训练集和测试集；

步骤2、搭建具有SE模块的深层稠密残差网络并设计网络各层参数；

步骤3、设置步骤2所构建的具有SE模块的深层稠密残差网络训练时需要的损失函数、网络优化算法及所有超参数，损失函数为加入正则化的交叉熵损失函数；

步骤4、根据步骤3设置的具有SE模块的深层稠密残差网络的损失函数、网络优化算法对步骤2构建的具有SE模块的深层稠密残差网络进行训练，得到网络模型；

步骤5、对步骤1中的测试集通过步骤4中得到的网络模型权重进行预测，判断汽车驾驶员是否佩戴安全带。

2.根据权利要求1所述的基于深度学习的交通图像安全带分类方法，其特征在于，步骤1具体包括以下步骤：

步骤1.1、对获得的图片进行人工分类出驾驶员佩戴安全带和没有佩戴安全带的图片，并裁减出主驾驶位区域，构造数据集；

步骤1.2、对步骤1.1得到的主驾驶位区域图片进行格式转换，转换为数组形式，并将转换后的图片随机分为测试集和训练集，将佩戴安全带和没有佩戴安全带作为图片标签，图片标签转换为one-hot编码。

3.根据权利要求1所述的基于深度学习的交通图像安全带分类方法，其特征在于，所述步骤2具体包括以下步骤：

步骤2.1、构造具有SE模块的深层稠密残差网络，该网络结构如下：输入图像—第1个卷积层—第1个平均池化层—第1个具有SE块的稠密残差模块层—第1个批量归一化操作层—第1个ReLU激活函数层—第2个卷积层—第2个平均池化层—第2个具有SE块的稠密残差模块层—第2个批量归一化操作层—第2个ReLU激活函数层—第3个卷积层—第3个平均池化层—第3个具有SE块的稠密残差模块层—第3个批量归一化操作层—第3个ReLU激活函数层—第4个卷积层—第4个平均池化层—第4个批量归一化操作层—第4个ReLU激活函数层—全局平均池化层—分类层；

其中，具有SE块的稠密残差模块的结构为：上一层输出特征图—SE模块—第1个卷积层—第1个批量归一化操作层—第1个ReLU激活函数层—第2个卷积层—第2个批量归一化操作层—第2个ReLU激活函数层—特征图对应相加操作；相加的特征图为上一层输入的特征图依次通过并行卷积层—批量归一化操作层—ReLU激活函数层输出的特征图；

SE模块的结构为：上一层输出特征图—全局平均池化—第一个全连接层—ReLU激活函数—第二个全连接层—sigmoid激活函数—对应特征通道相乘操作—SE模块输出特征图；

步骤2.2、设计所构建的具有SE块的深度稠密残差网络各层参数，参数如下：

具有SE块的深度稠密残差网络各层参数为：第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为48；第1个平均池化层的池化核尺度设置为3*3，池化步长设置为2*2，特征映射图的数目设置为48；第1个具有SE块的稠密残差模块层中的具有SE块的稠密残差模块个数为3；输出的特征映射图的数目为120；第2个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为60；第2个平均池化层的池化核尺度设置为2*2，池化步长设置为2*2，特征映射图的数目设置为60；第2个具有SE块的稠密残差模块层中的具有SE块的稠密残差模块个数为6，输出的特征映射图的数目为204；第3个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为102；第3个平均池化层的池化核尺度设置为2*2，池化步长设置为2*2，特征映射图的数目设置为102；第3个具有SE块的稠密残差模块层中的具有SE块的稠密残差模块个数为6，输出的特征映射图的数目为390；第4个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为185；将第4个平均池化层的池化核尺度设置为2*2，池化步长设置为2*2，特征映射图的数目设置为185；

具有SE块的稠密残差模块中第1个卷积层的卷积核尺度为1*1，卷积步长为1*1，特征映射图的数目设置为48，第2个卷积层的卷积核尺度为3*3，特征映射图的数目设置为24，并行卷积层的卷积核尺度为1*1，卷积步长为1*1，特征映射图的数目设置为24。

4.根据权利要求3所述的基于深度学习的交通图像安全带分类方法，其特征在于，步骤3具体包括以下步骤：

步骤3.1、损失函数为交叉熵损失函数，其定义如下：

其中，N为输入样本数；M为样本类别数；

为模型预测样本i属于c类的概率；y_ic为真实样本标签，其值只能为0或者1，如果该类别和样本i 的真实类别相同就是1，否则是0；

引用权重衰减，在交叉熵损失函数中增加一个正则化项，抑制模型的复杂度，降低过拟合风险，使用l₂正则化，其定义为：

l₂表示2范数，这里指的是权重2范数的平方和，λ为正则化系数；加入l₂正则化项的损失函数为：

式中，L₀为交叉熵损失函数；n为训练集所包含的实例个数；第二项为l₂正则化项，是所有权重的平方和，通过超参数λ权衡正则化项和原始损失函数的比重；

步骤3.2、设置具有SE模块的深层稠密残差网络的超参数，具体包括网络输入批次、学习速率、迭代次数、正则化系数；

将输入批次设置为64，将迭代次数设置为50，将初始学习速率设置为0.1，并设置每经历20迭代后，学习速率减少1/10，最后10次迭代学习率为0.001；正则化系数为0.0001；

步骤3.3、设置具有SE模块的深层稠密残差网络的优化算法，优化算法使用随机梯度下降算法，通过引入随迭代次数变化的学习速率来不断优化步骤3.1中的加入正则化的交叉熵损失函数，使其达到最小值。

5.根据权利要求4所述的基于深度学习的交通图像安全带分类方法，其特征在于，所述步骤4具体包括以下步骤：

步骤4、根据步骤3设置的具有SE模块的深层稠密残差网络的损失函数、网络优化算法对步骤2构建的具有SE模块的深层稠密残差网络进行训练，每迭代一次保存一次模型，迭代50次后选择准确率最高的网络模型。

Images