CN114913460A - 一种基于卷积神经网络的电动车入梯实时检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的电动车入梯实时检测方法，首先，获取电动车入梯视频，截取可用关键帧进行尺寸统一规范命名，建立数据集，并按设定比例划分为训练集、验证集和测试集；其次，采用基于深度卷积神经网络CNN的YOLOV4检测模型，作为电动车检测的基线网络架构，修改参数，优化检测模型，利用训练集和验证集进行模型训练，并利用测试集进行模型测试；最后，使用训练好的检测模型对待检测的电梯内图像进行检测，得到电动车入梯检测结果。本发明利用卷积神经网络建立模型进行数字图像处理，自动识别出电动车，方法简单易操作，可移植性强，能够对电动车入梯进行实时精准监测。

Description

一种基于卷积神经网络的电动车入梯实时检测方法

技术领域

本发明涉及电动车入梯检测技术领域，特别是涉及一种基于卷积神经网络的电动车入梯实时检测方法。

背景技术

近年来，随着电动车数量的激增与高层建筑的兴建，电动车进电梯、停楼道、进屋充电、“飞线”充电等现象常常发生，电动车火灾事故比例逐渐升高。然而电动车在充电时极易发生火灾，有些居民为了便利，通常会将电动车通过电梯搬至楼道或室内存放并充电，存在极大的安全隐患。这种情况下，一旦发生火灾，火焰和浓烟将封堵安全出口和逃生通道，极易造成人员伤亡。除了以上的安全隐患，电动车入电梯对电梯本身也会造成危害。根据现行标准，我国电梯类型分为六类，其中I类电梯为乘客电梯，I类电梯设计要求中没有考虑电动自行车的搭载。一旦电动车进入电梯，很有可能增加电梯运行负担，轻则影响使用寿命，重则导致故障。综上所述，很有必要对电动车驶入电梯的行为进行实时监测并提出警告。

目前，国内外已经有了一些相关研究，但大多是采用非计算机视觉的方法进行检测。例如采集噪音信息、重力加速度信息等，通过将这些信息送入神经网络进行特征提取和模式识别得出结果；还有人采取了对RFID标签进行感应；若感应到RFID标签，由RFID标签触发开关信号；由开关信号控制电梯保持暂停状态。这些方法可靠性不错，但实施起来较为麻烦。与之相比，基于卷积神经网络的电动车入梯实时检测方法更为简单，且移植性强。

卷积神经网络是一种模拟生物神经建立的网络，神经元就是其内部相连的节点，现在常用的卷积神经网络内除了有大量神经元构成的卷积层还有激活函数、池化层、全连接层等。基于卷积神经网络的YOLOV4网络架构，采用了YOLO(You Only Look Once)算法，将单个卷积神经网络(CNN)应用于整个图像，这是一种基于回归的检测算法，将目标检测问题转化为回归问题，牺牲了一些精度，换取每秒几十帧的检测速度，为实时检测打下基础。因此，加强卷积神经网络的YOLOV4网络架构在电动车入梯实时检测方面的应用具有重要意义。

发明内容

本发明的目的是提供一种基于卷积神经网络的电动车入梯实时检测方法，利用卷积神经网络建立模型进行数字图像处理，自动识别出电动车，方法简单易操作，可移植性强，能够对电动车入梯进行实时精准监测。

为实现上述目的，本发明提供了如下方案：

一种基于卷积神经网络的电动车入梯实时检测方法，包括以下步骤：

S1，获取电动车入梯视频，截取可用关键帧进行尺寸统一规范命名，建立数据集，并按设定比例划分为训练集、验证集和测试集；

S2，采用基于深度卷积神经网络CNN的YOLOV4检测模型，作为电动车检测的基线网络架构，修改参数，优化检测模型，利用训练集和验证集进行模型训练，并利用测试集进行模型测试；

S3，使用训练好的检测模型对待检测的电梯内图像进行检测，得到电动车入梯检测结果。

进一步的，所述步骤S1中，获取电动车入梯视频，截取可用关键帧进行尺寸统一规范命名，以VOC数据集格式进行存放，建立训练集、验证集和测试集，具体包括：

S101，通过电梯内的摄像头采集电梯内图像，从中获取电动车入梯视频，截取可用关键帧进行尺寸统一规范命名，以VOC数据集格式存放到数据集；

S102，利用数据标注软件，对数据集内电动车多个特征点进行提取标注，可用关键帧的图像内，电动车多个特征点上分别标注一个目标框，将标注完成的数据集按设定比例划分为训练集、验证集和测试集。

进一步的，所述步骤S2中，采用基于深度卷积神经网络CNN的YOLOV4检测模型，作为电动车检测的基线网络架构，修改参数，优化检测模型，利用训练集和测试集进行模型训练，并利用验证集进行模型测试，具体包括：

S201，基于深度卷积神经网络CNN的YOLOV4检测模型采用YOLOV4网络架构，将训练集和验证集输入YOLOV4网络架构中，得到权重文件和检测模型；

S202，对以电动车上的目标框为目标进行目标检测网络预测，生成预测框，并输出预测框参数信息；

S203，进行检测模型的损失计算，不断修改参数，改进检测模型输出结果。

进一步的，所述步骤S201中，所述YOLOV4网络架构包括输入层、主干层、输出层，输出层包括一组YOLO层，所述YOLOV4网络架构最小组件由卷积层、批归一化层、Mish激活函数组成，最小组件和多个残差(Res unit)模块通过concat(一种基于通道数叠加的特征融合方式，增加特征图的数量)组成CSPX模块。

进一步的，所述YOLOV4网络架构中空间金字塔池化模块由多个最大池化组成，主要进行1×1、5×5、9×9、13×13四种最大值池化核心的池化操作，并多尺度融合。

进一步的，所述步骤S202中，所述预测框的参数信息包括预测框信息、特征点信息、置信度；所述预测框信息包括预测框的中心点坐标、预测框长度和宽度值；所述置信度包括目标置信度和目标类别置信度，目标置信度表示预测的位置是否包含目标，目标类别置信度表示目标的类别是否为电动车。

进一步的，所述步骤S203中，损失计算采用CIOU_loss函数计算：

其中，IOU＝A/B，为目标框和预测框的交并比，A是目标框与预测框的交集，B是目标框与预测框的并集；Distance_2²是目标框中心点和预测框中心点的欧式距离，Distance_C²是目标框最小外接矩阵和预测框最小外接矩阵的对角线距离；v是衡量预测框和目标框长宽比一致性的参数。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于卷积神经网络的电动车入梯实时检测方法，基于YOLOV4网络架构检测电动车，不必进行预先的预测框构建和选取，直接预测目标位置和具体类别，流程简单，计算量小，具有良好的实时性；利用数据标注软件，对数据集内电动车多个特征点进行提取标注，可用关键帧的图像内，电动车多个特征点上分别标注一个目标框，考虑了人和车辆的运动、电梯使用环境光线的干扰、覆盖物的遮挡等可能会影响算法准确性的一系列实际情况，多途径、多角度采样并提取多个特征点，数据集质量高，通过修改参数对模型不断进行优化，最终算法准确性高且速度快；本发明所述方法拓展性强、迁移性好，只需要少量数据集训练就可以迁移到其他场景，适应性较强。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例基于卷积神经网络的电动车入梯实时检测方法的流程示意图；

图2a-图2d分别是本发明实施例模型训练结果的精度、召回率、mAP@0.5、mAP@0.5:0.95参数曲线示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于卷积神经网络的电动车入梯实时检测方法，利用卷积神经网络建立模型进行数字图像处理，自动识别出电动车，方法简单易操作，可移植性强，能够对电动车入梯进行实时精准监测。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供的基于卷积神经网络的电动车入梯实时检测方法，包括以下步骤：

S1，获取电动车入梯视频，截取可用关键帧进行尺寸统一规范命名，建立数据集，并按设定比例划分为训练集、验证集和测试集；具体包括：

S101，通过电梯内的摄像头采集电梯内图像，从中获取电动车入梯视频，截取可用关键帧进行尺寸统一规范命名，以VOC数据集格式存放到数据集；此外，还可以通过网络途径搜集各类电动车入梯照片或从网络视频中截取可用关键帧，与电梯内摄像头实时采集得到的图像结合起来，作为数据集；

S102，利用数据标注软件(例如labellimg)，对数据集内电动车多个特征点(例如篮筐、把手、座椅等)进行提取标注，以降低漏检率；可用关键帧的图像内，电动车多个特征点上分别标注一个目标框，将标注完成的数据集按设定比例划分为训练集、验证集和测试集，供后续深度卷积神经网络目标检测训练调用；其中，目标框标注目标类别ebike，并明确目标框的中心点坐标、目标长度和宽度值等相关信息；

S2，采用基于深度卷积神经网络CNN的YOLOV4检测模型，作为电动车检测的基线网络架构，修改参数，优化检测模型，利用训练集和验证集进行模型训练，并利用测试集进行模型测试；具体包括：

S201，基于深度卷积神经网络CNN的YOLOV4检测模型采用YOLOV4网络架构，将电动车设置为检测目标，将训练集和验证集输入YOLOV4网络架构中，得到权重文件和检测模型；具体地，运用python脚本文件将xml文件统一转化为txt格式的标注文件，随后根据需要修改数据data配置文件和配置网络中的cfg文件。使用5000余张图像进行模型训练，设置epoch为500，开始进行训练，得到的训练结果如图2a-2d所示，图2a-2d中，精度是精确性的度量，表示被分为正例的示例中实际为正例的比例，即模型预测是Positive的所有结果中，模型预测对的比重；召回率是覆盖面的度量，度量有多少个正例被分为正例，即真实值是Positive的所有结果中，模型预测对的比重；mAP是用Precision和Recall作为两轴作图后围成的面积，m表示平均，@后面的数表示判定IoU为正负样本的阈值(mAP@0.5：表示阈值大于0.5的平均mAP；mAP@0.5:0.95：表示在不同IoU阈值(从0.5到0.95，步长为0.05)上的平均mAP)；由图2a-2d的曲线可以看出，由于epoch设置较大，出现了过拟合的情况，后续训练将降低epoch大小来避免此类问题；

S202，对以电动车上的目标框为目标进行目标检测网络预测，生成预测框，并输出预测框参数信息；

S203，进行检测模型的损失计算，不断修改参数，改进检测模型输出结果；

S3，使用训练好的检测模型对待检测的电梯内图像进行检测，得到电动车入梯检测结果。

其中，所述步骤S201中，所述YOLOV4网络架构包括输入层、主干层、输出层，输出层包括一组YOLO层，所述YOLOV4网络架构最小组件(CBM)由卷积层、批归一化层、Mish激活函数组成，最小组件和多个残差(Res unit)模块通过concat(一种基于通道数叠加的特征融合方式，增加特征图的数量)组成CSPX模块。

所述YOLOV4网络架构中空间金字塔池化(SPP)模块由多个最大池化组成，主要进行1×1、5×5、9×9、13×13四种最大值池化核心的池化操作，并多尺度融合。

根据YOLOV4的网络结构主要分为两个部分：首先要读入所有的初始化数据，然后根据输入图片进行目标位置预测和類別回归。初始化数据读入步骤为读入数据模型、读入先验框数据、读入类别数据(本实施例中只有ebike这一个类别，所以数据就只有ebike)，读入图片尺寸数据。初始数据读完后，进行前向计算，算法首先将输入图像数据根据YOLOv4的接受尺寸进行灰色填充，图片达到尺寸要求后，将图片送入主干特征提取网络提取特征，生成了76×76×255，38×38×255，19×19×255三组高维数据，然后解码三组数据，输出位置预测、类别信息。

为了验证模型的性能，选择了一段40秒左右的视频用于检测。视频文件放在inference\images下，格式为MP4。运行detect.py后，历时53.370秒完成了检测。检测完的图像存放在inference\output。

为了验证检测算法的准确率，将300张随机抽取的训练集图片重新检验，其中有8张出现未检测的情况，有21张出现漏检的情况，查准率(精确度)为97.3％，查全率(召回率)为90.3％。关于漏检的情况，因为训练时使用的训练集多为单目标，所以对于多目标的检测能力较差。但考虑到系统的运作机制，只要出现电动车就将报警，所以这个结果可以接受。

所述步骤S202中，所述预测框的参数信息包括预测框信息、特征点信息、置信度；所述预测框信息包括预测框的中心点坐标、预测框长度和宽度值；所述置信度包括目标置信度和目标类别置信度，目标置信度表示预测的位置是否包含目标，目标类别置信度表示目标的类别是否为电动车。

所述步骤S203中，损失计算采用CIOU_loss函数计算：

其中，IOU＝A/B，为目标框和预测框的交并比，A是目标框与预测框的交集，B是目标框与预测框的并集；Distance_2²是目标框中心点和预测框中心点的欧式距离，Distance_C²是目标框最小外接矩阵和预测框最小外接矩阵的对角线距离；v是衡量预测框和目标框长宽比一致性的参数。

综上，本发明提供的基于卷积神经网络的电动车入梯实时检测方法，基于YOLOV4网络架构检测电动车，不必进行预先的预测框构建和选取，直接预测目标位置和具体类别，流程简单，计算量小，具有良好的实时性；利用数据标注软件，对数据集内电动车多个特征点进行提取标注，可用关键帧的图像内，电动车多个特征点上分别标注一个目标框，考虑了人和车辆的运动、电梯使用环境光线的干扰、覆盖物的遮挡等可能会影响算法准确性的一系列实际情况，多途径、多角度采样并提取多个特征点，数据集质量高，通过修改参数对模型不断进行优化，最终算法准确性高且速度快；本发明所述方法拓展性强、迁移性好，只需要少量数据集训练就可以迁移到其他场景，适应性较强。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于卷积神经网络的电动车入梯实时检测方法，其特征在于，包括以下步骤：

S1，获取电动车入梯视频，截取可用关键帧进行尺寸统一规范命名，建立数据集，并按设定比例划分为训练集、验证集和测试集；

S2，采用基于深度卷积神经网络CNN的YOLOV4检测模型，作为电动车检测的基线网络架构，修改参数，优化检测模型，利用训练集和验证集进行模型训练，并利用测试集进行模型测试；

S3，使用训练好的检测模型对待检测的电梯内图像进行检测，得到电动车入梯检测结果。

2.根据权利要求1所述的基于卷积神经网络的电动车入梯实时检测方法，其特征在于，所述步骤S1中，获取电动车入梯视频，截取可用关键帧进行尺寸统一规范命名，以VOC数据集格式进行存放，建立训练集、验证集和测试集，具体包括：

S101，通过电梯内的摄像头采集电梯内图像，从中获取电动车入梯视频，截取可用关键帧进行尺寸统一规范命名，以VOC数据集格式存放到数据集；

S102，利用数据标注软件，对数据集内电动车多个特征点进行提取标注，可用关键帧的图像内，电动车多个特征点上分别标注一个目标框，将标注完成的数据集按设定比例划分为训练集、验证集和测试集。

3.根据权利要求2所述的基于卷积神经网络的电动车入梯实时检测方法，其特征在于，所述步骤S2中，采用基于深度卷积神经网络CNN的YOLOV4检测模型，作为电动车检测的基线网络架构，修改参数，优化检测模型，利用训练集和测试集进行模型训练，并利用验证集进行模型测试，具体包括：

S201，基于深度卷积神经网络CNN的YOLOV4检测模型采用YOLOV4网络架构，将训练集和验证集输入YOLOV4网络架构中，得到权重文件和检测模型；

S202，对以电动车上的目标框为目标进行目标检测网络预测，生成预测框，并输出预测框参数信息；

S203，进行检测模型的损失计算，不断修改参数，改进检测模型输出结果。

4.根据权利要求3所述的基于卷积神经网络的电动车入梯实时检测方法，其特征在于，所述步骤S201中，所述YOLOV4网络架构包括输入层、主干层、输出层，输出层包括一组YOLO层，所述YOLOV4网络架构最小组件由卷积层、批归一化层、Mish激活函数组成，最小组件和多个残差模块通过concat组成CSPX模块。

5.根据权利要求4所述的基于卷积神经网络的电动车入梯实时检测方法，其特征在于，所述YOLOV4网络架构中空间金字塔池化模块由多个最大池化组成，主要进行1×1、5×5、9×9、13×13四种最大值池化核心的池化操作，并多尺度融合。

6.根据权利要求3所述的基于卷积神经网络的电动车入梯实时检测方法，其特征在于，所述步骤S202中，所述预测框的参数信息包括预测框信息、特征点信息、置信度；所述预测框信息包括预测框的中心点坐标、预测框长度和宽度值；所述置信度包括目标置信度和目标类别置信度，目标置信度表示预测的位置是否包含目标，目标类别置信度表示目标的类别是否为电动车。

7.根据权利要求3所述的基于卷积神经网络的电动车入梯实时检测方法，其特征在于，所述步骤S203中，损失计算采用CIOU_loss函数计算：

其中，IOU＝A/B，为目标框和预测框的交并比，A是目标框与预测框的交集，B是目标框与预测框的并集；Distance_2²是目标框中心点和预测框中心点的欧式距离，Distance_C²是目标框最小外接矩阵和预测框最小外接矩阵的对角线距离；v是衡量预测框和目标框长宽比一致性的参数。

Images