CN112749681A - 一种基于边缘设备和深度学习的违章检测方法 - Google Patents

Abstract

本发明提供了智慧城市技术领域的一种基于边缘设备和深度学习的违章检测方法，包括如下步骤：步骤S10、服务器创建若干个违章检测模型以及对应的检测规则，并对各所述违章检测模型进行训练；步骤S20、服务器基于应用场景将各所述违章检测模型以及检测规则发送给对应的边缘设备；步骤S30、边缘设备基于接收的所述违章检测模型以及检测规则，对关联摄像头拍摄的视频进行违章检测，生成违章检测结果；步骤S40、边缘设备将所述违章检测结果发送给服务器进行预警；步骤S50、服务器基于所述违章检测结果对违章检测模型进行优化。本发明的优点在于：极大的提升了违章行为检测的效率以及质量，降低了服务器的负荷以及检测成本。

Description

一种基于边缘设备和深度学习的违章检测方法

技术领域

本发明涉及智慧城市技术领域，特别指一种基于边缘设备和深度学习的违章检测方法。

背景技术

随着城市化进程的加快，城区的面积不断增大，城市的基础设施不断完善，城市的居民也与日俱增，违章行为也越来越多，使得城市的管理面临着新的挑战。

为了对城市进行更好的管理，新增了诸多的基础设施，例如在各街道、路口都布设了摄像头；然而，传统的摄像头仅具备拍摄和录制视频的功能，需要人工值守对违章行为进行监控，随着摄像头数量的增多，监控人员工作负担增大，无法对所有的摄像头进行实时监控，仅能采取轮播、抽查的方式，使得违章行为的监管存在缺失。

针对上述问题，存在如下两种解决方法：其一是将所有的传统摄像头替换为具有AI计算机视觉能力的摄像头，但是存在重复建设成本高，增大服务器的压力的缺点；其二是将摄像头采集的视频接入服务器，通过服务器对违章行为进行智能分析，但是存在增大服务器负荷，导致分析效率低下，且传统的智能分析算法准确率低、支持场景有限的缺点。

因此，如何提供一种基于边缘设备和深度学习的违章检测方法，实现提升违章行为检测的效率以及质量，降低服务器的负荷以及检测成本，成为一个亟待解决的问题。

发明内容

本发明要解决的技术问题，在于提供一种基于边缘设备和深度学习的违章检测方法，实现提升违章行为检测的效率以及质量，降低服务器的负荷以及检测成本。

本发明是这样实现的：一种基于边缘设备和深度学习的违章检测方法，包括如下步骤：

步骤S10、服务器创建若干个违章检测模型以及对应的检测规则，并对各所述违章检测模型进行训练；

步骤S20、服务器基于应用场景将各所述违章检测模型以及检测规则发送给对应的边缘设备；

步骤S30、边缘设备基于接收的所述违章检测模型以及检测规则，对关联摄像头拍摄的视频进行违章检测，生成违章检测结果；

步骤S40、边缘设备将所述违章检测结果发送给服务器进行预警；

步骤S50、服务器基于所述违章检测结果对违章检测模型进行优化。

进一步地，所述步骤S10具体包括：

步骤S11、服务器基于应用场景创建若干个违章检测模型以及各违章检测模型对应的检测规则；

步骤S12、服务器获取大量的监控视频，并将各所述监控视频保存为监控图像；

步骤S13、对各所述监控图像进行违章标注，基于所述违章标注对各所述监控图像按应用场景进行分类；

步骤S14、对所述监控图像进行样本扩充；

步骤S15、利用所述监控图像对各应用场景的违章检测模型进行训练。

进一步地，所述步骤S10中，所述检测规则包括检测区域以及检测时间段。

进一步地，所述步骤S11中，所述违章检测模型采用YOLOV4模型；所述YOLOV4模型的隐藏层的激活函数采用LeakyReLU，检测层的激活函数采用Sigmoid，损失函数采用GIOULoss。

进一步地，所述步骤S14具体为：

利用三维模拟器，模拟各所述监控图像在不同环境光以及不同天气情况下的图像进行样本扩充。

进一步地，所述步骤S14具体为：

利用Mosaic算法依次随机选取4张所述监控图像，进行随机缩放、随机裁剪以及随机拼接，以进行样本扩充。

进一步地，所述步骤S15具体包括：

步骤S151、将不同类别的各所述监控图像分别按预设的比例划分为训练集和验证集；

步骤S152、将所述训练集以及验证集中的监控图像切割为指定尺寸的监控子图像；

步骤S153、利用所述训练集中的监控子图像，对关联应用场景的违章检测模型进行训练；

步骤S154、设定一准确率阈值，利用所述验证集中的监控子图像，对关联应用场景的违章检测模型进行验证，判断准确率是否大于所述准确率阈值，若是，则进入步骤S20；若否，则增加所述训练集的样本量，并进入步骤S153。

进一步地，所述步骤S30具体包括：

步骤S31、边缘设备接收所述违章检测模型以及检测规则；

步骤S32、边缘设备基于所述检测规则获取关联摄像头拍摄的视频,将所述视频的图像帧切割为指定尺寸的子图像；

步骤S33、边缘设备利用所述违章检测模型对各子图像进行违章检测，判断是否存在违章行为以及违章行为类别；

步骤S34、将存在违章行为的所述子图像拼接回原图像帧，即违章图像，基于所述违章图像、违章行为类别以及违章时间生成违章检测结果。

进一步地，所述步骤S40具体为：

边缘设备将所述违章检测结果实时发送给服务器进行预警。

进一步地，所述步骤S50具体为：

服务器设定一百分比阈值；服务器基于所述违章检测结果携带的违章图像扩充训练集，利用扩充后的训练集对所述违章检测模型进行训练优化，判断优化后的所述违章检测模型的准确率提升的百分比是否超过百分比阈值，若是，则将所述违章检测模型更新给对应的边缘设备；若否，则结束流程。

本发明的优点在于：

1、通过服务器将训练的违章检测模型发送给边缘设备，边缘设备利用违章检测模型对关联摄像头拍摄的视频进行违章检测，由于边缘设备靠近关联的摄像头，能够及时获取视频并进行违章检测，且只将违章检测结果发送给服务器，不占用服务器的算力资源，进而极大的提升了违章行为检测的效率，极大的降低了服务器的负荷。

2、通过基于应用场景创建若干个违章检测模型进行训练，并对训练用的监控图像进行样本扩充，且利用违章检测结果对违章检测模型进行再次的优化，使得违章检测模型的识别准确率得到极大的提升，进而极大的提升了违章行为检测的质量。

3、通过边缘设备对关联摄像头拍摄的视频进行违章检测，兼容新旧摄像头，不必替换原有的摄像头，减少重复投资，也无需人工值守监控，进而极大的降低了违章检测成本。

4、通过向各边缘设备发送对应应用场景的违章检测模型，即不同应用场景下的边缘设备使用不同的违章检测模型，相对于一个模型集成所有的应用场景，极大的减轻了边缘设备的计算负担。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明一种基于边缘设备和深度学习的违章检测方法的流程图。

图2是本发明的硬件架构图。

具体实施方式

本申请实施例中的技术方案，总体思路如下：通过边缘设备接收服务器训练的违章检测模型对关联摄像头拍摄的视频进行违章检测，更靠近关联的摄像头，不占用服务器的算力资源，不必替换原有的摄像头，减少重复投资，进而提升违章行为检测的效率，降低服务器的负荷以及检测成本；通过基于应用场景创建若干个违章检测模型进行训练，并对训练用的监控图像进行样本扩充，且利用违章检测结果对违章检测模型进行再次的优化，以提升违章行为检测的质量。

请参照图1至图2所示，本发明一种基于边缘设备和深度学习的违章检测方法的较佳实施例，包括如下步骤：

步骤S10、服务器创建若干个违章检测模型以及对应的检测规则，并对各所述违章检测模型进行训练；

步骤S20、服务器基于应用场景将各所述违章检测模型以及检测规则发送给对应的边缘设备；边缘设备部署在摄像头附近，并保持网络互通；

步骤S30、边缘设备基于接收的所述违章检测模型以及检测规则，对关联摄像头拍摄的视频进行违章检测，生成违章检测结果；

步骤S40、边缘设备将所述违章检测结果发送给服务器进行预警；

步骤S50、服务器基于所述违章检测结果对违章检测模型进行优化。

所述步骤S10具体包括：

步骤S11、服务器基于应用场景创建若干个违章检测模型以及各违章检测模型对应的检测规则；

所述应用场景可依据实际需求设置，例如设置九个应用场景，第一应用场景为占道经营、出店经营、游摊小贩；第二应用场景为暴露垃圾、打包垃圾、垃圾满溢；第三应用场景为人员超定识别、人员聚集、人员违规停留；第四应用场景为违规户外广告牌、沿街晾晒、乱堆物料；第五应用场景为河道漂浮物、违规撑伞、非机动车乱停放；第六应用场景为路面破损、井盖丢失、应急车道违停；第七应用场景为车辆逆行、车辆拥堵检测、高速行人检测(穿越)；第八应用场景为明火烟雾监测、安全生产违规抽烟、通道堵塞；第九应用场景为生产安全帽检测、未佩戴口罩、危险区域入侵、鼠患。

步骤S12、服务器获取大量的监控视频，并将各所述监控视频保存为监控图像；

步骤S13、对各所述监控图像进行人工的违章标注，基于所述违章标注对各所述监控图像按应用场景进行分类；所述违章标注必须特征明显，未包含其他歧义特征；

步骤S14、对所述监控图像进行样本扩充；通过样本扩充，能够极大的提升所述违章检测模型的鲁棒性；

步骤S15、利用所述监控图像对各应用场景的违章检测模型进行训练。

所述步骤S10中，所述检测规则包括检测区域以及检测时间段。通过设置所述检测时间段，能够减轻边缘设备的计算负荷，例如游摊小贩的违章时间一般为7点至22点，则其余时间没必要进行违章检测。

所述步骤S11中，所述违章检测模型采用YOLOV4模型；由于所述YOLOV4模型的Mish激活函数计算量大，但精度高，为了平衡算力和精度，因此所述YOLOV4模型的隐藏层的激活函数采用LeakyReLU，检测层的激活函数采用Sigmoid，损失函数采用GIOU Loss。损失函数用GIOU Loss替代传统的CIOU Loss，在收敛和性能上得到提升。

所述违章检测模型采用K-means算法对数据集进行分析，根据肘部法则选择K值为9，并确定对应的anchor box(锚框)。

所述步骤S14具体为：

利用三维模拟器，模拟各所述监控图像在不同环境光以及不同天气情况下的图像进行样本扩充。

所述步骤S14具体为：

利用Mosaic算法依次随机选取4张所述监控图像，进行随机缩放、随机裁剪以及随机拼接，以进行样本扩充。

还可采用CutMix算法进行样本扩充，即将一部分区域cut掉但不填充0像素，而是随机填充训练集中的其他数据的区域像素值，分类结果按一定的比例分配。

所述步骤S15具体包括：

步骤S151、将不同类别的各所述监控图像分别按预设的比例划分为训练集和验证集；

步骤S152、将所述训练集以及验证集中的监控图像切割为指定尺寸的监控子图像；由于所述监控图像的分辨率多为1920*1080以上的高清图像，而YOLOV4模型针对416*416或者608*608分辨率的图像识别效果更佳，因此所述指定的尺寸优选为416*416或者608*608；

步骤S153、利用所述训练集中的监控子图像，对关联应用场景的违章检测模型进行训练；

步骤S154、设定一准确率阈值，利用所述验证集中的监控子图像，对关联应用场景的违章检测模型进行验证，判断准确率是否大于所述准确率阈值，若是，则进入步骤S20；若否，则增加所述训练集的样本量，并进入步骤S153。

所述步骤S30具体包括：

步骤S31、边缘设备接收所述违章检测模型以及检测规则；

步骤S32、边缘设备基于所述检测规则获取关联摄像头拍摄的视频,将所述视频的图像帧切割为指定尺寸的子图像；

步骤S33、边缘设备利用所述违章检测模型对各子图像进行违章检测，判断是否存在违章行为以及违章行为类别；

步骤S34、将存在违章行为的所述子图像拼接回原图像帧，即违章图像，基于所述违章图像、违章行为类别以及违章时间生成违章检测结果。

所述步骤S40具体为：

边缘设备将所述违章检测结果实时发送给服务器进行预警。

所述步骤S50具体为：

服务器设定一百分比阈值；服务器基于所述违章检测结果携带的违章图像扩充训练集，利用扩充后的训练集对所述违章检测模型进行训练优化，判断优化后的所述违章检测模型的准确率提升的百分比是否超过百分比阈值，若是，则将所述违章检测模型更新给对应的边缘设备；若否，则结束流程。服务器也可基于预设的时间周期将最新的所述违章检测模型更新给边缘设备。

综上所述，本发明的优点在于：

1、通过服务器将训练的违章检测模型发送给边缘设备，边缘设备利用违章检测模型对关联摄像头拍摄的视频进行违章检测，由于边缘设备靠近关联的摄像头，能够及时获取视频并进行违章检测，且只将违章检测结果发送给服务器，不占用服务器的算力资源，进而极大的提升了违章行为检测的效率，极大的降低了服务器的负荷。

2、通过基于应用场景创建若干个违章检测模型进行训练，并对训练用的监控图像进行样本扩充，且利用违章检测结果对违章检测模型进行再次的优化，使得违章检测模型的识别准确率得到极大的提升，进而极大的提升了违章行为检测的质量。

3、通过边缘设备对关联摄像头拍摄的视频进行违章检测，兼容新旧摄像头，不必替换原有的摄像头，减少重复投资，也无需人工值守监控，进而极大的降低了违章检测成本。

4、通过向各边缘设备发送对应应用场景的违章检测模型，即不同应用场景下的边缘设备使用不同的违章检测模型，相对于一个模型集成所有的应用场景，极大的减轻了边缘设备的计算负担。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (10)

1.一种基于边缘设备和深度学习的违章检测方法，其特征在于：包括如下步骤：

步骤S10、服务器创建若干个违章检测模型以及对应的检测规则，并对各所述违章检测模型进行训练；

步骤S20、服务器基于应用场景将各所述违章检测模型以及检测规则发送给对应的边缘设备；

步骤S30、边缘设备基于接收的所述违章检测模型以及检测规则，对关联摄像头拍摄的视频进行违章检测，生成违章检测结果；

步骤S40、边缘设备将所述违章检测结果发送给服务器进行预警；

步骤S50、服务器基于所述违章检测结果对违章检测模型进行优化。

2.如权利要求1所述的一种基于边缘设备和深度学习的违章检测方法，其特征在于：所述步骤S10具体包括：

步骤S11、服务器基于应用场景创建若干个违章检测模型以及各违章检测模型对应的检测规则；

步骤S12、服务器获取大量的监控视频，并将各所述监控视频保存为监控图像；

步骤S13、对各所述监控图像进行违章标注，基于所述违章标注对各所述监控图像按应用场景进行分类；

步骤S14、对所述监控图像进行样本扩充；

步骤S15、利用所述监控图像对各应用场景的违章检测模型进行训练。

3.如权利要求1所述的一种基于边缘设备和深度学习的违章检测方法，其特征在于：所述步骤S10中，所述检测规则包括检测区域以及检测时间段。

4.如权利要求2所述的一种基于边缘设备和深度学习的违章检测方法，其特征在于：所述步骤S11中，所述违章检测模型采用YOLOV4模型；所述YOLOV4模型的隐藏层的激活函数采用LeakyReLU，检测层的激活函数采用Sigmoid，损失函数采用GIOU Loss。

5.如权利要求2所述的一种基于边缘设备和深度学习的违章检测方法，其特征在于：所述步骤S14具体为：

利用三维模拟器，模拟各所述监控图像在不同环境光以及不同天气情况下的图像进行样本扩充。

6.如权利要求2所述的一种基于边缘设备和深度学习的违章检测方法，其特征在于：所述步骤S14具体为：

利用Mosaic算法依次随机选取4张所述监控图像，进行随机缩放、随机裁剪以及随机拼接，以进行样本扩充。

7.如权利要求2所述的一种基于边缘设备和深度学习的违章检测方法，其特征在于：所述步骤S15具体包括：

步骤S151、将不同类别的各所述监控图像分别按预设的比例划分为训练集和验证集；

步骤S152、将所述训练集以及验证集中的监控图像切割为指定尺寸的监控子图像；

步骤S153、利用所述训练集中的监控子图像，对关联应用场景的违章检测模型进行训练；

步骤S154、设定一准确率阈值，利用所述验证集中的监控子图像，对关联应用场景的违章检测模型进行验证，判断准确率是否大于所述准确率阈值，若是，则进入步骤S20；若否，则增加所述训练集的样本量，并进入步骤S153。

8.如权利要求1所述的一种基于边缘设备和深度学习的违章检测方法，其特征在于：所述步骤S30具体包括：

步骤S31、边缘设备接收所述违章检测模型以及检测规则；

步骤S32、边缘设备基于所述检测规则获取关联摄像头拍摄的视频,将所述视频的图像帧切割为指定尺寸的子图像；

步骤S33、边缘设备利用所述违章检测模型对各子图像进行违章检测，判断是否存在违章行为以及违章行为类别；

步骤S34、将存在违章行为的所述子图像拼接回原图像帧，即违章图像，基于所述违章图像、违章行为类别以及违章时间生成违章检测结果。

9.如权利要求1所述的一种基于边缘设备和深度学习的违章检测方法，其特征在于：所述步骤S40具体为：

边缘设备将所述违章检测结果实时发送给服务器进行预警。

10.如权利要求1所述的一种基于边缘设备和深度学习的违章检测方法，其特征在于：所述步骤S50具体为：

服务器设定一百分比阈值；服务器基于所述违章检测结果携带的违章图像扩充训练集，利用扩充后的训练集对所述违章检测模型进行训练优化，判断优化后的所述违章检测模型的准确率提升的百分比是否超过百分比阈值，若是，则将所述违章检测模型更新给对应的边缘设备；若否，则结束流程。

Images