CN113657153A - 改进EfficientNet用于安全带检测的方法 - Google Patents
改进EfficientNet用于安全带检测的方法 Download PDFInfo
- Publication number
- CN113657153A CN113657153A CN202110774210.6A CN202110774210A CN113657153A CN 113657153 A CN113657153 A CN 113657153A CN 202110774210 A CN202110774210 A CN 202110774210A CN 113657153 A CN113657153 A CN 113657153A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- setting
- feature maps
- activation function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 230000006870 function Effects 0.000 claims abstract description 195
- 238000012360 testing method Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000005457 optimization Methods 0.000 claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000002474 experimental method Methods 0.000 claims abstract description 7
- 230000004913 activation Effects 0.000 claims description 138
- 238000010606 normalization Methods 0.000 claims description 123
- 238000000605 extraction Methods 0.000 claims description 30
- 238000010586 diagram Methods 0.000 claims description 25
- 238000004220 aggregation Methods 0.000 claims description 24
- 230000002776 aggregation Effects 0.000 claims description 24
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 101150064138 MAP1 gene Proteins 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开的改进EfficientNet用于安全带检测的方法，具体按照以下步骤实施：步骤1、构造安全带区域定位数据集；步骤2、构建驾驶员区域定位神经网络；步骤3、设置损失函数、网络优化算法及所有超参数；步骤4、根据步骤3设置的卷积神经网络的损失函数；步骤5、对网络模型权重进行测试实验；步骤6、得出主驾驶位区域框；步骤7、对数据集进行格式转换；步骤8、设计网络各层参数；步骤9、需要的损失函数、网络优化算法及所有超参数；步骤10、对步骤8构建的EfficientNet网络进行训练；步骤11、判断汽车驾驶员是否佩戴安全带。该方法能够在增加安全带检测精度的同时，模型参数量最小。
Description
技术领域
本发明属于图像处理方法技术领域，具体涉及一种改进EfficientNet用于安全带检测的方法。
背景技术
图像是人类获取信息、表达信息和传递信息的重要手段之一。近年来,随着机动车数量的不断增加,交通安全事故越来越多。事故发生时,是否佩戴安全带能够最大限度地保护驾驶员的生命安全；安全带主要通过人工方式判断道路交通视频中驾驶员是否佩戴安全带,检测效率较低。随着机器视觉研究的发展,基于图像识别的交通检测方式已成为必然趋势。通过对驾驶员是否佩戴安全带进行检测并处罚，可以有效的减少事故发生时的生命损失。
在交通视频监控中，有很多因素影响车辆目标检测的准确率，包括复杂的道路环境，光照和天气变化等。天气或光照不同时，驾驶员区域的特征信息复杂，传统的目标定位算法精度低，无法满足实际所需。
发明内容
本发明的目的是提供一种改进EfficientNet用于安全带检测的方法，该方法能够在增加安全带检测精度的同时，模型参数量最小。
本发明所采用的技术方案是，改进EfficientNet用于安全带检测的方法，具体按照以下步骤实施：
步骤1、构造安全带区域定位数据集，随机分为训练集和测试集，并对训练集和测试集进行格式转换；通过聚类算法得出数据集中目标框的长宽的集中值，作为先验框；
步骤2、构建驾驶员区域定位神经网络；神经网络包括有特征提取网络和路径聚合网络结构，设置特征提取网络结构和路径聚合网络结构的每层参数；
步骤3、设置步骤2所构建神经网络训练时需要的损失函数、网络优化算法及所有超参数；损失函数为自定义联合损失函数；
步骤4、根据步骤3设置的卷积神经网络的损失函数、网络优化算法对步骤2构建的卷积神经网络进行训练；并保存网络模型权重；
步骤5、对步骤1中的测试集通过步骤4中得到的网络模型权重进行测试实验；
步骤6、对步骤5中预测出的前挡风玻璃区域框的结果进行目标几何的重定位，得出主驾驶位区域框；
步骤7、根据步骤6中主驾驶位区域框提取该区域图片信息，构造安全带检测数据集，并对数据集进行格式转换，随机分为训练集和测试集；
步骤8、搭建具有像素注意力模块和通道注意力模块的EfficientNet网络并设计网络各层参数；
步骤9、设置步骤8所构建的具有像素注意力模块和通道注意力模块的EfficientNet网络训练时需要的损失函数、网络优化算法及所有超参数，损失函数为加入正则化的交叉熵损失函数；
步骤10、根据步骤9设置的具有像素注意力模块和通道注意力模块的EfficientNet网络的损失函数、网络优化算法对步骤8构建的具有像素注意力模块和通道注意力模块的EfficientNet网络进行训练，每迭代一次保存一次模型，迭代多次后选择准确率最高的网络模型；
步骤11、对步骤7中的测试集通过步骤10中得到的网络模型权重进行预测，判断汽车驾驶员是否佩戴安全带。
本发明的特征还在于，
步骤1具体包括以下步骤：
步骤1.1、对获得的图片进行人工标注，即把前挡风玻璃区域用矩形框框起来，通过用LabelImg软件标注出前挡风玻璃的位置，构造数据集；
步骤1.2、对步骤1.1得到的数据集随机分为测试集和训练集，并对测试集和训练集进行格式转换，转换为“图片地址-目标框大小-目标框的置信度”的文本格式；通过对转换后的数据集中目标框大小进行聚类算法得出所需要的预测目标框大小的先验框的大小。
步骤2具体包括以下步骤：
步骤2.1、构建特征提取网络结构，特征提取网络结构采用全卷积网络结构，其结构依次为：输入图片—输入三通道图像—第1个卷积层—第1个批量归一化操作层—第1个Mish激活函数层—第1个残差层—第2个残差层—第3个残差层—第4个残差层—第5个残差层—输出为第3个残差层输出特征图、第4个残差层输出特征图、第5个残差层输出特征图；
特征提取网络结构的参数如下：
将第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为2*2，特征映射图的数目设置为32；第1个残差层的特征映射图的数目设置为64，残差块数目设置为1；第2个残差层的特征映射图的数目设置为128，残差块数目设置为2；第3个残差层的特征映射图的数目设置为256，残差块数目设置为8；第4个残差层的特征映射图的数目设置为512，残差块数目设置为8；第5个残差层的特征映射图的数目设置为1024，残差块数目设置为4；
其中，残差层的结构依次为：输入特征图—零填充操作—第1个卷积层—第1个批量归一化操作层—第1个Mish激活函数层—第2个卷积层—第2个批量归一化操作层—第2个Mish激活函数层—第3个卷积层—第3个批量归一化操作层—第3个Mish激活函数层—第3个卷积层—第3个批量归一化操作层—第4个卷积层—第4个批量归一化操作层—第4个Mish激活函数层—第5个卷积层—第5个批量归一化操作层—第5个Mish激活函数层—第3个Mish激活函数层和第5个Mish激活函数层输出特征图对应相加操作—第6个卷积层—第6个批量归一化操作层—第6个Mish激活函数层—第2个Mish激活函数层和第6个Mish激活函数层输出特征图对应相并操作；上述结构中从“第4个卷积层”到“第3个Mish激活函数层和第5个Mish激活函数层输出特征图对应相加操作”为一个残差块；
其中残差层的参数为：将零填充设置为上左补一层零；将第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为2*2，输出的特征映射图的数目为输入的特征映射图的数目；将第2个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目的1/2；将第3个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目；第4个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目；第5个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目；第6个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目；
步骤2.2、构建路径聚合网络结构，采用具有上采样操作和卷积操作的卷积神经网络结构，输入为步骤2.1特征提取网络输出的三个特征图；输出为路径聚合后的三个特征图；其结构如下：
特征提取网络输出的第一个特征图—第1个卷积层—第1个批量归一化操作层—第1个LeakyReLU激活函数层—第2个卷积层—第2个批量归一化操作层—第2个LeakyReLU激活函数层—第3个卷积层—第3个批量归一化操作层—第3个LeakyReLU激活函数层—SPP多尺度最大池化层一第4个卷积层—第4个批量归一化操作层—第4个LeakyReLU激活函数层—第5个卷积层—第5个批量归一化操作层—第5个LeakyReLU激活函数层—第6个卷积层—第6个批量归一化操作层—第6个LeakyReLU激活函数层—第1个上采样卷积层—第1个上采样批量归一化操作层—第1个上采样LeakyReLU激活函数层；
特征提取网络输出的第二个特征图—第7个卷积层—第7个批量归一化操作层—第7个LeakyReLU激活函数层—第7个LeakyReLU激活函数层输出与第一个上采样LeakyReLU激活函数层相并操作—第1个五层卷积层—第2个上采样卷积层；
特征提取网络输出的第三个特征图—第8个卷积层—第8个批量归一化操作层—第8个LeakyReLU激活函数层—第8个LeakyReLU激活函数层输出与第2个上采样LeakyReLU激活函数层相并操作—第2个五层卷积层—第9个卷积层—第9个批量归一化操作层—第9个LeakyReLU激活函数层—第10个卷积层—输出路径聚合网络第1个特征图；
第2个五层卷积层输出—第1个0值填充—第11个卷积层—第10个批量归一化操作层—第10个LeakyReLU激活函数层—第10个LeakyReLU激活函数层输出与第1个五层卷积层输出相并操作—第3个五层卷积层—第12个卷积层—第11个批量归一化操作层—第11个LeakyReLU激活函数层—第13个卷积层—输出路径聚合网络第2个特征图；
第3个五层卷积层输出—第2个0值填充—第14个卷积层—第12个批量归一化操作层—第12个LeakyReLU激活函数层—第12个LeakyReLU激活函数层输出与第6个LeakyReLU激活函数层输出相并操作—第4个五层卷积层—第15个卷积层—第13个批量归一化操作层—第13个LeakyReLU激活函数层—第16个卷积层—输出路径聚合网络第3个特征图；
其中五层卷积层结构为：输入—第1个卷积层—第1个批量归一化操作层—第1个LeakyReLU激活函数层—第2个卷积层—第2个批量归一化操作层—第2个LeakyReLU激活函数层—第3个卷积层—第3个批量归一化操作层—第3个LeakyReLU激活函数层—第4个卷积层—第4个批量归一化操作层—第4个LeakyReLU激活函数层—第5个卷积层—第5个批量归一化操作层—第5个LeakyReLU激活函数层；
路径聚合网络结构的参数如下：
将第1个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为512；将第2个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为1024；将第3个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为512；SPP多尺度最大池化层中池化尺寸分别为13*13、9*9、5*5；将第4个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为512；将第5个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为1024；将第6个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为512；第1个上采样卷积层的卷积核尺度设置为2*2，卷积步长设置为1*1，特征映射图的数目设置为256；
将第7个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为256；第2个上采样卷积层的卷积核尺度设置为2*2，卷积步长设置为1*1，特征映射图的数目设置为128；
将第8个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为128；将第9个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为256；将第10个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为21；
将第11个卷积层的卷积核尺度设置为3*3，卷积步长设置为2*2，特征映射图的数目设置为256；将第12个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为512；将第13个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为21；
将第14个卷积层的卷积核尺度设置为3*3，卷积步长设置为2*2，特征映射图的数目设置为512；将第15个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为1024；将第16个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为21；
其中五层卷积层参数为：将第1个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入的特征映射图数目；将第2个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出特征映射图的数目为输入的特征映射图数目的两倍；将第3个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入的特征映射图数目；将第4个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出特征映射图的数目为输入的特征映射图数目的两倍；将第5个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入的特征映射图数目。
步骤3具体包括以下步骤：
步骤3.1、构建联合损失函数Ltotal，表达式如下：
Ltotal＝Lbox+Lobj (1)；
其中，
其中，Lbox表示预测框的位置和大小的损失值，Lobj代表预测框内存在目标的可信度损失值；总损失值Ltotal为Lbox和Lobj的总和；B代表先验框数量；M、N为输出多尺度特征图的宽和高；如果目标位于输出特征图的第(i,j)网格内的第k个先验框中，则
等于1，否则等于0；如果目标不位于特征图的(i,j)网格单元格内的第k个先验框中，则
等于1，否则等于0；
和
分别是在特征图的(i,j)网格中第k个先验框的真值框和预测框的位置信息，预测框和真值框的位置信息包括目标中心点坐标以及目标框的宽和高；
为真值框与预测框的交并集；
为真值框与预测框中心点的欧式距离；m2为同时包含预测框和真值框最小封闭区域的对角线距离；
和
分别是在特征图的(i,j)网格中第k个先验框的真值框宽和高，
和
分别是预测框的宽和高；Cij和
分别是目标在真值框和第k个预测框中存在的置信度；
步骤3.2、设置卷积神经网络的超参数，具体包络网络输入批次、先验框个数、输入图片尺寸、迭代次数；
将输入批次设置为32，将迭代次数设置为100，将先验框个数设置为3；
步骤3.3、设置卷积神经网络的优化器为Adam，来不断优化步骤3.1中的自定义联合损失函数，使其达到最小值。
步骤5具体包括以下步骤：
步骤5.1、对步骤1中的测试集通过步骤4中得到的网络模型权重进行测试实验，测试集图片通过模型权重输出为该图片中前挡风玻璃区域的中心点坐标和宽、高；
步骤5.2、对步骤5.1中的前挡风玻璃区域的中心点横坐标减宽的一半为前挡风玻璃区域左上顶点横坐标，中心点横坐标加宽的一半为前挡风玻璃区域右下顶点横坐标，并在原图中显示目标矩形框。
步骤6具体包括以下步骤：
步骤6.1、通过聚类算法得出主驾驶位区域框宽的集中值
步骤6.2、将步骤5.1中模型预测出的前挡分玻璃区域框的左上及右下坐标，通过以下公式进行主驾驶位区域左上及右下坐标更新，得到新的左上及右下坐标，进而得出驾驶位区域框；
其中，
分别为主驾驶位区域的左上顶点横、纵坐标；
分别为主驾驶位区域的右下顶点横、纵坐标；xmin、ymin分别为前挡风玻璃区域的左上顶点横、纵坐标；xmax、ymax分别为前挡风玻璃的右下顶点横、纵坐标；
为步骤6.1得出的主驾驶位区域框宽的集中值。
步骤7具体包括以下步骤：
步骤7.1、对步骤6得到的主驾驶员区域框对图像中的主驾驶员区域进行裁剪，并对裁剪后的驾驶员区域图片进行人工分类，分类出驾驶员佩戴安全带和没有佩戴安全带的图片，并裁减出驾驶员区域，构造数据集；
步骤7.2、对步骤7.1得到的主驾驶位区域图片进行格式转换，转换为数组形式，并将转换后的图片随机分为测试集和训练集，将佩戴安全带和没有佩戴安全带作为图片标签，图片标签转换为one-hot编码。
步骤8具体包括以下步骤：
步骤8.1、构造具有两层注意力机智的EfficientNet网络，该网络结构如下：输入图像—第1个卷积层—第1个批量归一化操作层—第1个Swish激活函数层—第1个深度可分离卷积层—第1个深度可分离批量归一化操作层—第1个深度可分离Swish激活函数层—第1个通道及像素注意力层—第2个卷积层—第2个批量归一化操作层—第1个移动倒置瓶颈层—第2个移动倒置瓶颈层—第3个移动倒置瓶颈层—第4个移动倒置瓶颈层—第5个移动倒置瓶颈层—第3个卷积层—第3个批量归一化操作层—第3个Swish激活函数层—第2个深度可分离卷积层—第2个深度可分离批量归一化操作层—第2个深度可分离Swish激活函数层—第1个通道注意力层—第4个卷积层—第4个批量归一化操作层—全局平均池化层—分类层；
其中移动倒置瓶颈层中瓶颈模块结构为：输入特征图—第1个卷积层—第1个批量归一化操作层—第1个Swish激活函数层—第1个深度可分离卷积层—第1个深度可分离批量归一化操作层—第1个深度可分离Swish激活函数层—第1个注意力层—第2个卷积层—第2个批量归一化操作层—第3个卷积层—第3个批量归一化操作层—第3个Swish激活函数层—第2个深度可分离卷积层—第2个深度可分离批量归一化操作层—第2个深度可分离Swish激活函数层—第2个注意力层—第4个卷积层—第4个批量归一化操作层—第4个批量归一化操作层和第2个批量归一化操作层输出特征图相加操作；
注意力层包含两个，一个是像素注意力层，一个是通道注意力层；通道注意力层结构为：上一层输出特征图—全局平均池化—第1个卷积层—第1个Swish激活函数层—第2个卷积层—sigmoid激活函数—对应特征通道相乘操作—通道注意力层输出特征图；像素注意力层结构为：上一层输出特征图—第1个卷积层—sigmoid激活函数—对应特征特征图相乘操作—输出特征图；
步骤8.2、设计所构建的具有两层注意力层的EfficientNet网络各层参数，参数如下：
将第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为2*2，输出特征映射图的数目为32；第1个深度可分离卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出特征映射图的数目为32；将第2个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为16；将第1个移动倒置瓶颈层中所有深度可分离卷积层卷积核尺度设置为3*3，输出特征映射图的数目为24，注意力层具有像素和通道注意力，移动倒置瓶颈模块个数为2；将第2个移动倒置瓶颈层中的所有深度可分离卷积层卷积核尺度设置为5*5，输出特征映射图的数目为40，注意力层具有像素和通道注意力，移动倒置瓶颈模块个数为2；将第3个移动倒置瓶颈层中的所有深度可分离卷积层卷积核尺度设置为3*3，输出特征映射图的数目为80，注意力层具有通道注意力，移动倒置瓶颈模块个数为3；将第4个移动倒置瓶颈层中所有深度可分离卷积层卷积核尺度设置为5*5，输出特征映射图的数目为112，注意力层具有通道注意力，移动倒置瓶颈模块个数为3；将第5个移动倒置瓶颈层中所有深度可分离卷积层卷积核尺度设置为5*5，输出特征映射图的数目为192，注意力层具有通道注意力，移动倒置瓶颈模块个数为4；将第3个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为1152；第2个深度可分离卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出特征映射图的数目为1152；将第4个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为320；将分类层输出类设置为2；
其中移动倒置瓶颈模块参数为：将第1个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目的6倍；将第2个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目；将第3个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目的6倍；将第4个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目；
注意力层参数如下；其中通道注意力参数为：将第1个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目的1/4倍；将第2个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目；像素注意力层参数为：将第1个卷积层的卷积核尺度设置为5*5，卷积步长设置为1*1，输出特征映射图的数目为1。
步骤9具体包括以下步骤：
步骤9.1、损失函数为交叉熵损失函数，其定义如下：
其中，A为输入样本数；B为样本类别数；
为模型预测样本α属于β类的概率；yαβ为真实样本标签，其值只能为0或者1，如果样本α的类别和该样本的真实类别相同就是1，否则是0；
引用权重衰减，在交叉熵损失函数中增加一个正则化项，抑制模型的复杂度，降低过拟合风险，使用
正则化，其定义为：
l2表示2范数，这里指的是权重2范数的平方和，λ为正则化系数；加入l2正则化项的损失函数为：
式中，L0为交叉熵损失函数；n为训练集所包含的实例个数；第二项为l2正则化项，是所有权重的平方和，通过超参数λ权衡正则化项和原始损失函数的比重；
步骤9.2、设置具有两层注意力的EfficientNet网络的超参数，具体包括网络输入批次、学习速率、迭代次数、正则化系数；
将输入批次设置为64，将迭代次数设置为50，将初始学习速率设置为0.1，并设置每经历20迭代后，学习速率减少1/10，最后10次迭代学习率为0.001；正则化系数为0.0001；
步骤9.3、设置具有两层注意力的EfficientNet网络的优化算法，优化算法使用随机梯度下降算法，通过引入随迭代次数变化的学习速率来不断优化步骤9.1中的加入正则化的交叉熵损失函数，使其达到最小值。
本发明的有益效果是：本发明方法通过对搭建好网络框架进行训练，使用已训练好的网络可以直接完成目标检测的工作，并且不需要手动调节网络各个参数，本发明可以更好的检测出在复杂光照条件下的车辆的前挡风玻璃和主驾驶员区域，并且可以更好的分类出在复杂光照条件下驾驶员是否佩戴安全带。在一定程度上提高了模型的鲁棒性，提高了是否佩戴安全带的分类准确度。
附图说明
图1是本发明改进EfficientNet用于安全带检测的方法的流程图；
图2是本发明方法中模型预测的车辆前挡风玻璃区域的仿真结果示例图；
图3是通过对车辆前挡风玻璃区域进行几何重定位的主驾驶位区域的仿真结果示例图；
图4是驾驶员佩戴安全带的图片样本示例图；
图5是驾驶员没有佩戴安全带图片样本示例图；
图6是驾驶员区域检测训练的仿真结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提供一种改进EfficientNet用于安全带检测的方法，如图1所示，具体按照以下步骤实施：
步骤1、构造安全带区域定位数据集，随机分为训练集和测试集，并对训练集和测试集进行格式转换；通过聚类算法得出数据集中目标框的长宽的集中值，作为先验框；
步骤1具体包括以下步骤：
步骤1.1、对获得的图片进行人工标注，即把前挡风玻璃区域用矩形框框起来，通过用LabelImg软件标注出前挡风玻璃的位置，构造数据集；
步骤1.2、对步骤1.1得到的数据集随机分为测试集和训练集，并对测试集和训练集进行格式转换，转换为“图片地址-目标框大小-目标框的置信度”的文本格式；通过对转换后的数据集中目标框大小进行聚类算法得出所需要的预测目标框大小的先验框的大小。
步骤2、构建驾驶员区域定位神经网络；神经网络包括有特征提取网络和路径聚合网络结构，设置特征提取网络结构和路径聚合网络结构的每层参数；
步骤2具体包括以下步骤：
步骤2.1、构建特征提取网络结构，特征提取网络结构采用全卷积网络结构，其结构依次为：输入图片—输入三通道图像—第1个卷积层—第1个批量归一化操作层—第1个Mish激活函数层—第1个残差层—第2个残差层—第3个残差层—第4个残差层—第5个残差层—输出为第3个残差层输出特征图、第4个残差层输出特征图、第5个残差层输出特征图；
特征提取网络结构的参数如下：
将第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为2*2，特征映射图的数目设置为32；第1个残差层的特征映射图的数目设置为64，残差块数目设置为1；第2个残差层的特征映射图的数目设置为128，残差块数目设置为2；第3个残差层的特征映射图的数目设置为256，残差块数目设置为8；第4个残差层的特征映射图的数目设置为512，残差块数目设置为8；第5个残差层的特征映射图的数目设置为1024，残差块数目设置为4；
其中，残差层的结构依次为：输入特征图—零填充操作—第1个卷积层—第1个批量归一化操作层—第1个Mish激活函数层—第2个卷积层—第2个批量归一化操作层—第2个Mish激活函数层—第3个卷积层—第3个批量归一化操作层—第3个Mish激活函数层—第3个卷积层—第3个批量归一化操作层—第4个卷积层—第4个批量归一化操作层—第4个Mish激活函数层—第5个卷积层—第5个批量归一化操作层—第5个Mish激活函数层—第3个Mish激活函数层和第5个Mish激活函数层输出特征图对应相加操作—第6个卷积层—第6个批量归一化操作层—第6个Mish激活函数层—第2个Mish激活函数层和第6个Mish激活函数层输出特征图对应相并操作；上述结构中从“第4个卷积层”到“第3个Mish激活函数层和第5个Mish激活函数层输出特征图对应相加操作”为一个残差块；
其中残差层的参数为：将零填充设置为上左补一层零；将第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为2*2，输出的特征映射图的数目为输入的特征映射图的数目；将第2个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目的1/2；将第3个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目；第4个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目；第5个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目；第6个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目；
步骤2.2、构建路径聚合网络结构，采用具有上采样操作和卷积操作的卷积神经网络结构，输入为步骤2.1特征提取网络输出的三个特征图；输出为路径聚合后的三个特征图；其结构如下：
特征提取网络输出的第一个特征图—第1个卷积层—第1个批量归一化操作层—第1个LeakyReLU激活函数层—第2个卷积层—第2个批量归一化操作层—第2个LeakyReLU激活函数层—第3个卷积层—第3个批量归一化操作层—第3个LeakyReLU激活函数层—SPP多尺度最大池化层一第4个卷积层—第4个批量归一化操作层—第4个LeakyReLU激活函数层—第5个卷积层—第5个批量归一化操作层—第5个LeakyReLU激活函数层—第6个卷积层—第6个批量归一化操作层—第6个LeakyReLU激活函数层—第1个上采样卷积层—第1个上采样批量归一化操作层—第1个上采样LeakyReLU激活函数层；
特征提取网络输出的第二个特征图—第7个卷积层—第7个批量归一化操作层—第7个LeakyReLU激活函数层—第7个LeakyReLU激活函数层输出与第一个上采样LeakyReLU激活函数层相并操作—第1个五层卷积层—第2个上采样卷积层；
特征提取网络输出的第三个特征图—第8个卷积层—第8个批量归一化操作层—第8个LeakyReLU激活函数层—第8个LeakyReLU激活函数层输出与第2个上采样LeakyReLU激活函数层相并操作—第2个五层卷积层—第9个卷积层—第9个批量归一化操作层—第9个LeakyReLU激活函数层—第10个卷积层—输出路径聚合网络第1个特征图；
第2个五层卷积层输出—第1个0值填充—第11个卷积层—第10个批量归一化操作层—第10个LeakyReLU激活函数层—第10个LeakyReLU激活函数层输出与第1个五层卷积层输出相并操作—第3个五层卷积层—第12个卷积层—第11个批量归一化操作层—第11个LeakyReLU激活函数层—第13个卷积层—输出路径聚合网络第2个特征图。
第3个五层卷积层输出—第2个0值填充—第14个卷积层—第12个批量归一化操作层—第12个LeakyReLU激活函数层—第12个LeakyReLU激活函数层输出与第6个LeakyReLU激活函数层输出相并操作—第4个五层卷积层—第15个卷积层—第13个批量归一化操作层—第13个LeakyReLU激活函数层—第16个卷积层—输出路径聚合网络第3个特征图。
其中五层卷积层结构为：输入—第1个卷积层—第1个批量归一化操作层—第1个LeakyReLU激活函数层—第2个卷积层—第2个批量归一化操作层—第2个LeakyReLU激活函数层—第3个卷积层—第3个批量归一化操作层—第3个LeakyReLU激活函数层—第4个卷积层—第4个批量归一化操作层—第4个LeakyReLU激活函数层—第5个卷积层—第5个批量归一化操作层—第5个LeakyReLU激活函数层。
路径聚合网络结构的参数如下：
将第1个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为512；将第2个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为1024；将第3个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为512；SPP多尺度最大池化层中池化尺寸分别为13*13、9*9、5*5；将第4个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为512；将第5个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为1024；将第6个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为512；第1个上采样卷积层的卷积核尺度设置为2*2，卷积步长设置为1*1，特征映射图的数目设置为256；
将第7个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为256；第2个上采样卷积层的卷积核尺度设置为2*2，卷积步长设置为1*1，特征映射图的数目设置为128；
将第8个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为128；将第9个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为256；将第10个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为21；
将第11个卷积层的卷积核尺度设置为3*3，卷积步长设置为2*2，特征映射图的数目设置为256；将第12个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为512；将第13个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为21；
将第14个卷积层的卷积核尺度设置为3*3，卷积步长设置为2*2，特征映射图的数目设置为512；将第15个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为1024；将第16个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为21；
其中五层卷积层参数为：将第1个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入的特征映射图数目；将第2个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出特征映射图的数目为输入的特征映射图数目的两倍；将第3个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入的特征映射图数目；将第4个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出特征映射图的数目为输入的特征映射图数目的两倍；将第5个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入的特征映射图数目。
步骤3、设置步骤2所构建神经网络训练时需要的损失函数、网络优化算法及所有超参数；损失函数为自定义联合损失函数；
步骤3具体包括以下步骤：
步骤3.1、构建联合损失函数Ltotal，表达式如下：
Ltotal＝Lbox+Lobj (1)；
其中，
其中，Lbox表示预测框的位置和大小的损失值，Lobj代表预测框内存在目标的可信度损失值；总损失值Ltotal为Lbox和Lobj的总和；B代表先验框数量(B设置为3)。M、N为输出多尺度特征图的宽和高；如果目标位于输出特征图的第(i,j)网格内的第k个先验框中，则
等于1，否则等于0。如果目标不位于特征图的(i,j)网格单元格内的第k个先验框中，则
等于1，否则等于0；
和
分别是在特征图的(i,j)网格中第k个先验框的真值框和预测框的位置信息，预测框和真值框的位置信息包括目标中心点坐标以及目标框的宽和高；
为真值框与预测框的交并集；
为真值框与预测框中心点的欧式距离；m2为同时包含预测框和真值框最小封闭区域的对角线距离；
和
分别是在特征图的(i,j)网格中第k个先验框的真值框宽和高，
和
分别是预测框的宽和高；Cij和
分别是目标在真值框和第k个预测框中存在的置信度；
步骤3.2、设置卷积神经网络的超参数，具体包络网络输入批次、先验框个数、输入图片尺寸、迭代次数；
将输入批次设置为32，将迭代次数设置为100，将先验框个数设置为3；
步骤3.3、设置卷积神经网络的优化器为Adam，来不断优化步骤3.1中的自定义联合损失函数，使其达到最小值。
步骤4、根据步骤3设置的卷积神经网络的损失函数、网络优化算法对步骤2构建的卷积神经网络进行训练；并保存网络模型权重；
步骤5、对步骤1中的测试集通过步骤4中得到的网络模型权重进行测试实验；
步骤5具体包括以下步骤：
步骤5.1、对步骤1中的测试集通过步骤4中得到的网络模型权重进行测试实验，测试集图片通过模型权重输出为该图片中前挡风玻璃区域的中心点坐标和宽、高；
步骤5.2、对步骤5.1中的前挡风玻璃区域的中心点横坐标减宽的一半为前挡风玻璃区域左上顶点横坐标，中心点横坐标加宽的一半为前挡风玻璃区域右下顶点横坐标，并在原图中显示目标矩形框。
步骤6、对步骤5中预测出的前挡风玻璃区域框的结果进行目标几何的重定位，得出主驾驶位区域框；
步骤6具体包括以下步骤：
步骤6.1、通过聚类算法得出主驾驶位区域框宽的集中值
步骤6.2、将步骤5.1中模型预测出的前挡分玻璃区域框的左上及右下坐标，通过以下公式进行主驾驶位区域左上及右下坐标更新，得到新的左上及右下坐标，进而得出驾驶位区域框；
其中，
分别为主驾驶位区域的左上顶点横、纵坐标；
分别为主驾驶位区域的右下顶点横、纵坐标；xmin、ymin分别为前挡风玻璃区域的左上顶点横、纵坐标；xmax、ymax分别为前挡风玻璃的右下顶点横、纵坐标；
为步骤6.1得出的主驾驶位区域框宽的集中值。
步骤7、根据步骤6中主驾驶位区域框提取该区域图片信息，构造安全带检测数据集，并对数据集进行格式转换，随机分为训练集和测试集；
步骤7具体包括以下步骤：
步骤7.1、对步骤6得到的主驾驶员区域框对图像中的主驾驶员区域进行裁剪，并对裁剪后的驾驶员区域图片进行人工分类，分类出驾驶员佩戴安全带和没有佩戴安全带的图片，部分示例如图4-5所示，并裁减出驾驶员区域，构造数据集；
步骤7.2、对步骤7.1得到的主驾驶位区域图片进行格式转换，转换为数组形式，并将转换后的图片随机分为测试集和训练集，将佩戴安全带和没有佩戴安全带作为图片标签，图片标签转换为one-hot编码。
步骤8、搭建具有像素注意力模块和通道注意力模块的EfficientNet网络并设计网络各层参数；
步骤8具体包括以下步骤：
步骤8.1、构造具有两层注意力机智的EfficientNet网络，该网络结构如下：输入图像—第1个卷积层—第1个批量归一化操作层—第1个Swish激活函数层—第1个深度可分离卷积层—第1个深度可分离批量归一化操作层—第1个深度可分离Swish激活函数层—第1个通道及像素注意力层—第2个卷积层—第2个批量归一化操作层—第1个移动倒置瓶颈层—第2个移动倒置瓶颈层—第3个移动倒置瓶颈层—第4个移动倒置瓶颈层—第5个移动倒置瓶颈层—第3个卷积层—第3个批量归一化操作层—第3个Swish激活函数层—第2个深度可分离卷积层—第2个深度可分离批量归一化操作层—第2个深度可分离Swish激活函数层—第1个通道注意力层—第4个卷积层—第4个批量归一化操作层—全局平均池化层—分类层；
其中移动倒置瓶颈层中瓶颈模块结构为：输入特征图—第1个卷积层—第1个批量归一化操作层—第1个Swish激活函数层—第1个深度可分离卷积层—第1个深度可分离批量归一化操作层—第1个深度可分离Swish激活函数层—第1个注意力层—第2个卷积层—第2个批量归一化操作层—第3个卷积层—第3个批量归一化操作层—第3个Swish激活函数层—第2个深度可分离卷积层—第2个深度可分离批量归一化操作层—第2个深度可分离Swish激活函数层—第2个注意力层—第4个卷积层—第4个批量归一化操作层—第4个批量归一化操作层和第2个批量归一化操作层输出特征图相加操作；
注意力层包含两个，一个是像素注意力层，一个是通道注意力层。通道注意力层结构为：上一层输出特征图—全局平均池化—第1个卷积层—第1个Swish激活函数层—第2个卷积层—sigmoid激活函数—对应特征通道相乘操作—通道注意力层输出特征图；像素注意力层结构为：上一层输出特征图—第1个卷积层—sigmoid激活函数—对应特征特征图相乘操作—输出特征图；
步骤8.2、设计所构建的具有两层注意力层的EfficientNet网络各层参数，参数如下：
将第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为2*2，输出特征映射图的数目为32；第1个深度可分离卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出特征映射图的数目为32；将第2个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为16；将第1个移动倒置瓶颈层中所有深度可分离卷积层卷积核尺度设置为3*3，输出特征映射图的数目为24，注意力层具有像素和通道注意力，移动倒置瓶颈模块个数为2；将第2个移动倒置瓶颈层中的所有深度可分离卷积层卷积核尺度设置为5*5，输出特征映射图的数目为40，注意力层具有像素和通道注意力，移动倒置瓶颈模块个数为2；将第3个移动倒置瓶颈层中的所有深度可分离卷积层卷积核尺度设置为3*3，输出特征映射图的数目为80，注意力层具有通道注意力，移动倒置瓶颈模块个数为3；将第4个移动倒置瓶颈层中所有深度可分离卷积层卷积核尺度设置为5*5，输出特征映射图的数目为112，注意力层具有通道注意力，移动倒置瓶颈模块个数为3；将第5个移动倒置瓶颈层中所有深度可分离卷积层卷积核尺度设置为5*5，输出特征映射图的数目为192，注意力层具有通道注意力，移动倒置瓶颈模块个数为4；将第3个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为1152；第2个深度可分离卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出特征映射图的数目为1152；将第4个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为320；将分类层输出类设置为2；
其中移动倒置瓶颈模块参数为：将第1个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目的6倍；将第2个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目；将第3个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目的6倍；将第4个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目；
注意力层参数如下。其中通道注意力参数为：将第1个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目的1/4倍；将第2个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目；像素注意力层参数为：将第1个卷积层的卷积核尺度设置为5*5，卷积步长设置为1*1，输出特征映射图的数目为1。
步骤9、设置步骤8所构建的具有像素注意力模块和通道注意力模块的EfficientNet网络训练时需要的损失函数、网络优化算法及所有超参数，损失函数为加入正则化的交叉熵损失函数；
步骤9具体包括以下步骤：
步骤9.1、损失函数为交叉熵损失函数，其定义如下：
其中，A为输入样本数；B为样本类别数；
为模型预测样本α属于β类的概率；yαβ为真实样本标签，其值只能为0或者1，如果样本α的类别和该样本的真实类别相同就是1，否则是0；
引用权重衰减，在交叉熵损失函数中增加一个正则化项，抑制模型的复杂度，降低过拟合风险，使用l2正则化，其定义为：
l2表示2范数，这里指的是权重2范数的平方和，λ为正则化系数；加入l2正则化项的损失函数为：
式中，L0为交叉熵损失函数；n为训练集所包含的实例个数；第二项为
正则化项，是所有权重的平方和，通过超参数λ权衡正则化项和原始损失函数的比重；
步骤9.2、设置具有两层注意力的EfficientNet网络的超参数，具体包括网络输入批次、学习速率、迭代次数、正则化系数；
将输入批次设置为64，将迭代次数设置为50，将初始学习速率设置为0.1，并设置每经历20迭代后，学习速率减少1/10，最后10次迭代学习率为0.001；正则化系数为0.0001；
步骤9.3、设置具有两层注意力的EfficientNet网络的优化算法，优化算法使用随机梯度下降算法，通过引入随迭代次数变化的学习速率来不断优化步骤9.1中的加入正则化的交叉熵损失函数，使其达到最小值。
步骤10、根据步骤9设置的具有像素注意力模块和通道注意力模块的EfficientNet网络的损失函数、网络优化算法对步骤8构建的具有像素注意力模块和通道注意力模块的EfficientNet网络进行训练，每迭代一次保存一次模型，迭代50次后选择准确率最高的网络模型；
步骤11、对步骤7中的测试集通过步骤10中得到的网络模型权重进行预测，判断汽车驾驶员是否佩戴安全带。
下面结合仿真实验对本发明方法的效果做进一步的说明。
1.仿真条件：
本发明方法的仿真实验是在Tensorflow环境中进行训练，安装环境为有AMDRadeon R5 M240 GPU和Intel(R)Core(TM)i5-5200U CPU@2.20GHz的计算机。
2.仿真内容与结果分析：
图2-5是本发明的仿真结果图及样本示例图。其中，图2、图3为本发明仿真实验的前挡风玻璃及驾驶员区域检测结果图。说明本发明检测出驾驶员安全带区域图满足了后续驾驶员安全带检测的需求。图4、图5为驾驶员安全带测试集样本图片的部分示例，分别为佩戴安全带的图像样本示例和没有佩戴安全带图片的样本示例。图6为本发明的安全带仿真结果的检测率与迭代次数的折线图。检测率达到了97％。
Claims (9)
1.改进EfficientNet用于安全带检测的方法，其特征在于，具体按照以下步骤实施：
步骤1、构造安全带区域定位数据集，随机分为训练集和测试集，并对训练集和测试集进行格式转换；通过聚类算法得出数据集中目标框的长宽的集中值，作为先验框；
步骤2、构建驾驶员区域定位神经网络；神经网络包括有特征提取网络和路径聚合网络结构，设置特征提取网络结构和路径聚合网络结构的每层参数；
步骤3、设置步骤2所构建神经网络训练时需要的损失函数、网络优化算法及所有超参数；损失函数为自定义联合损失函数；
步骤4、根据步骤3设置的卷积神经网络的损失函数、网络优化算法对步骤2构建的卷积神经网络进行训练；并保存网络模型权重；
步骤5、对步骤1中的测试集通过步骤4中得到的网络模型权重进行测试实验；
步骤6、对步骤5中预测出的前挡风玻璃区域框的结果进行目标几何的重定位，得出主驾驶位区域框；
步骤7、根据步骤6中主驾驶位区域框提取该区域图片信息，构造安全带检测数据集，并对数据集进行格式转换，随机分为训练集和测试集；
步骤8、搭建具有像素注意力模块和通道注意力模块的EfficientNet网络并设计网络各层参数；
步骤9、设置步骤8所构建的具有像素注意力模块和通道注意力模块的EfficientNet网络训练时需要的损失函数、网络优化算法及所有超参数，损失函数为加入正则化的交叉熵损失函数；
步骤10、根据步骤9设置的具有像素注意力模块和通道注意力模块的EfficientNet网络的损失函数、网络优化算法对步骤8构建的具有像素注意力模块和通道注意力模块的EfficientNet网络进行训练，每迭代一次保存一次模型，迭代多次后选择准确率最高的网络模型；
步骤11、对步骤7中的测试集通过步骤10中得到的网络模型权重进行预测，判断汽车驾驶员是否佩戴安全带。
2.根据权利要求1所述的改进EfficientNet用于安全带检测的方法，其特征在于，步骤1具体包括以下步骤：
步骤1.1、对获得的图片进行人工标注，即把前挡风玻璃区域用矩形框框起来，通过用LabelImg软件标注出前挡风玻璃的位置，构造数据集；
步骤1.2、对步骤1.1得到的数据集随机分为测试集和训练集，并对测试集和训练集进行格式转换，转换为“图片地址-目标框大小-目标框的置信度”的文本格式；通过对转换后的数据集中目标框大小进行聚类算法得出所需要的预测目标框大小的先验框的大小。
3.根据权利要求1所述的改进EfficientNet用于安全带检测的方法，其特征在于，步骤2具体包括以下步骤：
步骤2.1、构建特征提取网络结构，特征提取网络结构采用全卷积网络结构，其结构依次为：输入图片—输入三通道图像—第1个卷积层—第1个批量归一化操作层—第1个Mish激活函数层—第1个残差层—第2个残差层—第3个残差层—第4个残差层—第5个残差层—输出为第3个残差层输出特征图、第4个残差层输出特征图、第5个残差层输出特征图；
特征提取网络结构的参数如下：
将第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为2*2，特征映射图的数目设置为32；第1个残差层的特征映射图的数目设置为64，残差块数目设置为1；第2个残差层的特征映射图的数目设置为128，残差块数目设置为2；第3个残差层的特征映射图的数目设置为256，残差块数目设置为8；第4个残差层的特征映射图的数目设置为512，残差块数目设置为8；第5个残差层的特征映射图的数目设置为1024，残差块数目设置为4；
其中，残差层的结构依次为：输入特征图—零填充操作—第1个卷积层—第1个批量归一化操作层—第1个Mish激活函数层—第2个卷积层—第2个批量归一化操作层—第2个Mish激活函数层—第3个卷积层—第3个批量归一化操作层—第3个Mish激活函数层—第3个卷积层—第3个批量归一化操作层—第4个卷积层—第4个批量归一化操作层—第4个Mish激活函数层—第5个卷积层—第5个批量归一化操作层—第5个Mish激活函数层—第3个Mish激活函数层和第5个Mish激活函数层输出特征图对应相加操作—第6个卷积层—第6个批量归一化操作层—第6个Mish激活函数层—第2个Mish激活函数层和第6个Mish激活函数层输出特征图对应相并操作；上述结构中从“第4个卷积层”到“第3个Mish激活函数层和第5个Mish激活函数层输出特征图对应相加操作”为一个残差块；
其中残差层的参数为：将零填充设置为上左补一层零；将第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为2*2，输出的特征映射图的数目为输入的特征映射图的数目；将第2个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目的1/2；将第3个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目；第4个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目；第5个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目；第6个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目；
步骤2.2、构建路径聚合网络结构，采用具有上采样操作和卷积操作的卷积神经网络结构，输入为步骤2.1特征提取网络输出的三个特征图；输出为路径聚合后的三个特征图；其结构如下：
特征提取网络输出的第一个特征图—第1个卷积层—第1个批量归一化操作层—第1个LeakyReLU激活函数层—第2个卷积层—第2个批量归一化操作层—第2个LeakyReLU激活函数层—第3个卷积层—第3个批量归一化操作层—第3个LeakyReLU激活函数层—SPP多尺度最大池化层一第4个卷积层—第4个批量归一化操作层—第4个LeakyReLU激活函数层—第5个卷积层—第5个批量归一化操作层—第5个LeakyReLU激活函数层—第6个卷积层—第6个批量归一化操作层—第6个LeakyReLU激活函数层—第1个上采样卷积层—第1个上采样批量归一化操作层—第1个上采样LeakyReLU激活函数层；
特征提取网络输出的第二个特征图—第7个卷积层—第7个批量归一化操作层—第7个LeakyReLU激活函数层—第7个LeakyReLU激活函数层输出与第一个上采样LeakyReLU激活函数层相并操作—第1个五层卷积层—第2个上采样卷积层；
特征提取网络输出的第三个特征图—第8个卷积层—第8个批量归一化操作层—第8个LeakyReLU激活函数层—第8个LeakyReLU激活函数层输出与第2个上采样LeakyReLU激活函数层相并操作—第2个五层卷积层—第9个卷积层—第9个批量归一化操作层—第9个LeakyReLU激活函数层—第10个卷积层—输出路径聚合网络第1个特征图；
第2个五层卷积层输出—第1个0值填充—第11个卷积层—第10个批量归一化操作层—第10个LeakyReLU激活函数层—第10个LeakyReLU激活函数层输出与第1个五层卷积层输出相并操作—第3个五层卷积层—第12个卷积层—第11个批量归一化操作层—第11个LeakyReLU激活函数层—第13个卷积层—输出路径聚合网络第2个特征图；
第3个五层卷积层输出—第2个0值填充—第14个卷积层—第12个批量归一化操作层—第12个LeakyReLU激活函数层—第12个LeakyReLU激活函数层输出与第6个LeakyReLU激活函数层输出相并操作—第4个五层卷积层—第15个卷积层—第13个批量归一化操作层—第13个LeakyReLU激活函数层—第16个卷积层—输出路径聚合网络第3个特征图；
其中五层卷积层结构为：输入—第1个卷积层—第1个批量归一化操作层—第1个LeakyReLU激活函数层—第2个卷积层—第2个批量归一化操作层—第2个LeakyReLU激活函数层—第3个卷积层—第3个批量归一化操作层—第3个LeakyReLU激活函数层—第4个卷积层—第4个批量归一化操作层—第4个LeakyReLU激活函数层—第5个卷积层—第5个批量归一化操作层—第5个LeakyReLU激活函数层；
路径聚合网络结构的参数如下：
将第1个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为512；将第2个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为1024；将第3个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为512；SPP多尺度最大池化层中池化尺寸分别为13*13、9*9、5*5；将第4个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为512；将第5个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为1024；将第6个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为512；第1个上采样卷积层的卷积核尺度设置为2*2，卷积步长设置为1*1，特征映射图的数目设置为256；
将第7个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为256；第2个上采样卷积层的卷积核尺度设置为2*2，卷积步长设置为1*1，特征映射图的数目设置为128；
将第8个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为128；将第9个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为256；将第10个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为21；
将第11个卷积层的卷积核尺度设置为3*3，卷积步长设置为2*2，特征映射图的数目设置为256；将第12个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为512；将第13个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为21；
将第14个卷积层的卷积核尺度设置为3*3，卷积步长设置为2*2，特征映射图的数目设置为512；将第15个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为1024；将第16个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为21；
其中五层卷积层参数为：将第1个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入的特征映射图数目；将第2个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出特征映射图的数目为输入的特征映射图数目的两倍；将第3个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入的特征映射图数目；将第4个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出特征映射图的数目为输入的特征映射图数目的两倍；将第5个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入的特征映射图数目。
4.根据权利要求1所述的改进EfficientNet用于安全带检测的方法，其特征在于，步骤3具体包括以下步骤：
步骤3.1、构建联合损失函数Ltotal，表达式如下：
Ltotal＝Lbox+Lobj (1)
其中，
其中，Lbox表示预测框的位置和大小的损失值，Lobj代表预测框内存在目标的可信度损失值；总损失值Ltotal为Lbox和Lobj的总和；B代表先验框数量；M、N为输出多尺度特征图的宽和高；如果目标位于输出特征图的第(i,j)网格内的第k个先验框中，则
等于1，否则等于0；如果目标不位于特征图的(i,j)网格单元格内的第k个先验框中，则
等于1，否则等于0；
和
分别是在特征图的(i,j)网格中第k个先验框的真值框和预测框的位置信息，预测框和真值框的位置信息包括目标中心点坐标以及目标框的宽和高；
为真值框与预测框的交并集；
为真值框与预测框中心点的欧式距离；m2为同时包含预测框和真值框最小封闭区域的对角线距离；
和
分别是在特征图的(i,j)网格中第k个先验框的真值框宽和高，
和
分别是预测框的宽和高；Cij和
分别是目标在真值框和第k个预测框中存在的置信度；
步骤3.2、设置卷积神经网络的超参数，具体包络网络输入批次、先验框个数、输入图片尺寸、迭代次数；
将输入批次设置为32，将迭代次数设置为100，将先验框个数设置为3；
步骤3.3、设置卷积神经网络的优化器为Adam，来不断优化步骤3.1中的自定义联合损失函数，使其达到最小值。
5.根据权利要求1所述的改进EfficientNet用于安全带检测的方法，其特征在于，步骤5具体包括以下步骤：
步骤5.1、对步骤1中的测试集通过步骤4中得到的网络模型权重进行测试实验，测试集图片通过模型权重输出为该图片中前挡风玻璃区域的中心点坐标和宽、高；
步骤5.2、对步骤5.1中的前挡风玻璃区域的中心点横坐标减宽的一半为前挡风玻璃区域左上顶点横坐标，中心点横坐标加宽的一半为前挡风玻璃区域右下顶点横坐标，并在原图中显示目标矩形框。
6.根据权利要求5所述的改进EfficientNet用于安全带检测的方法，其特征在于，步骤6具体包括以下步骤：
步骤6.1、通过聚类算法得出主驾驶位区域框宽的集中值
步骤6.2、将步骤5.1中模型预测出的前挡分玻璃区域框的左上及右下坐标，通过以下公式进行主驾驶位区域左上及右下坐标更新，得到新的左上及右下坐标，进而得出驾驶位区域框；
其中，
分别为主驾驶位区域的左上顶点横、纵坐标；
分别为主驾驶位区域的右下顶点横、纵坐标；xmin、ymin分别为前挡风玻璃区域的左上顶点横、纵坐标；xmax、ymax分别为前挡风玻璃的右下顶点横、纵坐标；
为步骤6.1得出的主驾驶位区域框宽的集中值。
7.根据权利要求1所述的改进EfficientNet用于安全带检测的方法，其特征在于，步骤7具体包括以下步骤：
步骤7.1、对步骤6得到的主驾驶员区域框对图像中的主驾驶员区域进行裁剪，并对裁剪后的驾驶员区域图片进行人工分类，分类出驾驶员佩戴安全带和没有佩戴安全带的图片，并裁减出驾驶员区域，构造数据集；
步骤7.2、对步骤7.1得到的主驾驶位区域图片进行格式转换，转换为数组形式，并将转换后的图片随机分为测试集和训练集，将佩戴安全带和没有佩戴安全带作为图片标签，图片标签转换为one-hot编码。
8.根据权利要求1所述的改进EfficientNet用于安全带检测的方法，其特征在于，步骤8具体包括以下步骤：
步骤8.1、构造具有两层注意力机智的EfficientNet网络，该网络结构如下：输入图像—第1个卷积层—第1个批量归一化操作层—第1个Swish激活函数层—第1个深度可分离卷积层—第1个深度可分离批量归一化操作层—第1个深度可分离Swish激活函数层—第1个通道及像素注意力层—第2个卷积层—第2个批量归一化操作层—第1个移动倒置瓶颈层—第2个移动倒置瓶颈层—第3个移动倒置瓶颈层—第4个移动倒置瓶颈层—第5个移动倒置瓶颈层—第3个卷积层—第3个批量归一化操作层—第3个Swish激活函数层—第2个深度可分离卷积层—第2个深度可分离批量归一化操作层—第2个深度可分离Swish激活函数层—第1个通道注意力层—第4个卷积层—第4个批量归一化操作层—全局平均池化层—分类层；
其中移动倒置瓶颈层中瓶颈模块结构为：输入特征图—第1个卷积层—第1个批量归一化操作层—第1个Swish激活函数层—第1个深度可分离卷积层—第1个深度可分离批量归一化操作层—第1个深度可分离Swish激活函数层—第1个注意力层—第2个卷积层—第2个批量归一化操作层—第3个卷积层—第3个批量归一化操作层—第3个Swish激活函数层—第2个深度可分离卷积层—第2个深度可分离批量归一化操作层—第2个深度可分离Swish激活函数层—第2个注意力层—第4个卷积层—第4个批量归一化操作层—第4个批量归一化操作层和第2个批量归一化操作层输出特征图相加操作；
注意力层包含两个，一个是像素注意力层，一个是通道注意力层；通道注意力层结构为：上一层输出特征图—全局平均池化—第1个卷积层—第1个Swish激活函数层—第2个卷积层—sigmoid激活函数—对应特征通道相乘操作—通道注意力层输出特征图；像素注意力层结构为：上一层输出特征图—第1个卷积层—sigmoid激活函数—对应特征特征图相乘操作—输出特征图；
步骤8.2、设计所构建的具有两层注意力层的EfficientNet网络各层参数，参数如下：
将第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为2*2，输出特征映射图的数目为32；第1个深度可分离卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出特征映射图的数目为32；将第2个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为16；将第1个移动倒置瓶颈层中所有深度可分离卷积层卷积核尺度设置为3*3，输出特征映射图的数目为24，注意力层具有像素和通道注意力，移动倒置瓶颈模块个数为2；将第2个移动倒置瓶颈层中的所有深度可分离卷积层卷积核尺度设置为5*5，输出特征映射图的数目为40，注意力层具有像素和通道注意力，移动倒置瓶颈模块个数为2；将第3个移动倒置瓶颈层中的所有深度可分离卷积层卷积核尺度设置为3*3，输出特征映射图的数目为80，注意力层具有通道注意力，移动倒置瓶颈模块个数为3；将第4个移动倒置瓶颈层中所有深度可分离卷积层卷积核尺度设置为5*5，输出特征映射图的数目为112，注意力层具有通道注意力，移动倒置瓶颈模块个数为3；将第5个移动倒置瓶颈层中所有深度可分离卷积层卷积核尺度设置为5*5，输出特征映射图的数目为192，注意力层具有通道注意力，移动倒置瓶颈模块个数为4；将第3个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为1152；第2个深度可分离卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出特征映射图的数目为1152；将第4个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为320；将分类层输出类设置为2；
其中移动倒置瓶颈模块参数为：将第1个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目的6倍；将第2个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目；将第3个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目的6倍；将第4个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目；
注意力层参数如下；其中通道注意力参数为：将第1个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目的1/4倍；将第2个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出特征映射图的数目为输入特征射图数目；像素注意力层参数为：将第1个卷积层的卷积核尺度设置为5*5，卷积步长设置为1*1，输出特征映射图的数目为1。
9.根据权利要求1所述的改进EfficientNet用于安全带检测的方法，其特征在于，步骤9具体包括以下步骤：
步骤9.1、损失函数为交叉熵损失函数，其定义如下：
其中，A为输入样本数；B为样本类别数；
为模型预测样本α属于β类的概率；yαβ为真实样本标签，其值只能为0或者1，如果样本α的类别和该样本的真实类别相同就是1，否则是0；
引用权重衰减，在交叉熵损失函数中增加一个正则化项，抑制模型的复杂度，降低过拟合风险，使用l2正则化，其定义为：
l2表示2范数，这里指的是权重2范数的平方和，λ为正则化系数；加入l2正则化项的损失函数为：
式中，L0为交叉熵损失函数；n为训练集所包含的实例个数；第二项为l2正则化项，是所有权重的平方和，通过超参数λ权衡正则化项和原始损失函数的比重；
步骤9.2、设置具有两层注意力的EfficientNet网络的超参数，具体包括网络输入批次、学习速率、迭代次数、正则化系数；
将输入批次设置为64，将迭代次数设置为50，将初始学习速率设置为0.1，并设置每经历20迭代后，学习速率减少1/10，最后10次迭代学习率为0.001；正则化系数为0.0001；
步骤9.3、设置具有两层注意力的EfficientNet网络的优化算法，优化算法使用随机梯度下降算法，通过引入随迭代次数变化的学习速率来不断优化步骤9.1中的加入正则化的交叉熵损失函数，使其达到最小值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110774210.6A CN113657153B (zh) | 2021-07-08 | 2021-07-08 | 改进EfficientNet用于安全带检测的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110774210.6A CN113657153B (zh) | 2021-07-08 | 2021-07-08 | 改进EfficientNet用于安全带检测的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113657153A true CN113657153A (zh) | 2021-11-16 |
| CN113657153B CN113657153B (zh) | 2024-04-19 |
Family
ID=78489259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110774210.6A Active CN113657153B (zh) | 2021-07-08 | 2021-07-08 | 改进EfficientNet用于安全带检测的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113657153B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106295601A (zh) * | 2016-08-18 | 2017-01-04 | 合肥工业大学 | 一种改进的安全带检测方法 |
| WO2017040519A1 (en) * | 2015-08-31 | 2017-03-09 | Sri International | Method and system for monitoring driving behaviors |
| CN106682602A (zh) * | 2016-12-16 | 2017-05-17 | 深圳市华尊科技股份有限公司 | 一种驾驶员行为识别方法及终端 |
| CN108898054A (zh) * | 2018-05-24 | 2018-11-27 | 合肥工业大学 | 一种基于语义分割的安全带检测方法 |
| CN109460699A (zh) * | 2018-09-03 | 2019-03-12 | 厦门瑞为信息技术有限公司 | 一种基于深度学习的驾驶员安全带佩戴识别方法 |
| CN109635758A (zh) * | 2018-12-18 | 2019-04-16 | 武汉市蓝领英才科技有限公司 | 智慧工地基于视频的高空作业人员安全带穿戴检测方法 |
| CN111563494A (zh) * | 2020-07-16 | 2020-08-21 | 平安国际智慧城市科技股份有限公司 | 基于目标检测的行为识别方法、装置和计算机设备 |
| CN112016502A (zh) * | 2020-09-04 | 2020-12-01 | 平安国际智慧城市科技股份有限公司 | 安全带检测方法、装置、计算机设备及存储介质 |
-
2021
- 2021-07-08 CN CN202110774210.6A patent/CN113657153B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017040519A1 (en) * | 2015-08-31 | 2017-03-09 | Sri International | Method and system for monitoring driving behaviors |
| CN106295601A (zh) * | 2016-08-18 | 2017-01-04 | 合肥工业大学 | 一种改进的安全带检测方法 |
| CN106682602A (zh) * | 2016-12-16 | 2017-05-17 | 深圳市华尊科技股份有限公司 | 一种驾驶员行为识别方法及终端 |
| CN108898054A (zh) * | 2018-05-24 | 2018-11-27 | 合肥工业大学 | 一种基于语义分割的安全带检测方法 |
| CN109460699A (zh) * | 2018-09-03 | 2019-03-12 | 厦门瑞为信息技术有限公司 | 一种基于深度学习的驾驶员安全带佩戴识别方法 |
| CN109635758A (zh) * | 2018-12-18 | 2019-04-16 | 武汉市蓝领英才科技有限公司 | 智慧工地基于视频的高空作业人员安全带穿戴检测方法 |
| CN111563494A (zh) * | 2020-07-16 | 2020-08-21 | 平安国际智慧城市科技股份有限公司 | 基于目标检测的行为识别方法、装置和计算机设备 |
| CN112016502A (zh) * | 2020-09-04 | 2020-12-01 | 平安国际智慧城市科技股份有限公司 | 安全带检测方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| JINGRUI LUO: ""Seatbelt detection in road surveillance images based on improved dense residual network with two-level attention mechanism"", 《JOURNAL OF ELECTRONIC IMAGING》, 30 June 2021 (2021-06-30) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113657153B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108564097B (zh) | 一种基于深度卷积神经网络的多尺度目标检测方法 | |
| CN111753828B (zh) | 一种基于深度卷积神经网络的自然场景水平文字检测方法 | |
| CN108985250A (zh) | 一种基于多任务网络的交通场景解析方法 | |
| CN111460919B (zh) | 一种基于改进YOLOv3的单目视觉道路目标检测及距离估计方法 | |
| CN111612017A (zh) | 一种基于信息增强的目标检测方法 | |
| CN113158768B (zh) | 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法 | |
| CN108288047A (zh) | 一种行人/车辆检测方法 | |
| CN105205449A (zh) | 基于深度学习的手语识别方法 | |
| CN112836584B (zh) | 基于深度学习的交通图像安全带分类方法 | |
| CN115588126A (zh) | 一种融合GAM、CARAFE和SnIoU的车辆目标检测方法 | |
| CN115527096A (zh) | 一种基于改进YOLOv5的小目标检测方法 | |
| CN108932471B (zh) | 一种车辆检测方法 | |
| CN114511785A (zh) | 基于瓶颈注意力模块的遥感图像云检测方法及系统 | |
| CN114596463A (zh) | 一种基于图像的地块类型分类方法 | |
| CN106529391A (zh) | 一种鲁棒的限速交通标志检测与识别方法 | |
| CN117557922A (zh) | 改进YOLOv8的无人机航拍目标检测方法 | |
| CN113657153A (zh) | 改进EfficientNet用于安全带检测的方法 | |
| CN111666988A (zh) | 一种基于多层信息融合的目标检测算法 | |
| CN110555425A (zh) | 一种视频流实时行人检测方法 | |
| CN112686188B (zh) | 基于深度学习方法的前挡风玻璃及驾驶员区域定位方法 | |
| CN111598140A (zh) | 一种基于胶囊网络的遥感图像分类方法 | |
| CN116012835A (zh) | 一种基于文本分割的两阶段场景文本擦除方法 | |
| CN116092179A (zh) | 一种改进的yolox跌倒检测系统 | |
| CN115439926A (zh) | 一种基于关键区域和场景深度的小样本异常行为识别方法 | |
| CN112131996B (zh) | 基于通道分离卷积的路侧图像多尺度行人快速检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |