CN115082834A - 一种基于深度学习工程车冒黑烟监测方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习工程车冒黑烟监测方法及系统，通过获取视频画面图像，并逐帧从视频画面图像中识别出车辆和烟火及车辆和烟火在视频图像中的位置；对同一帧视频画面图像中识别出的车辆和烟火进行筛选，找出疑似冒黑烟的工程车辆，并将疑似冒黑烟的工程车辆所在帧及相关信息添加到图像信息列表；进而判断当前帧中疑似冒黑烟的工程车辆是否为真；若为真，则将当前帧中所述冒黑烟工程车辆的相关信息上报至冒黑烟工程车辆列表。通过暗通道原理对烟火信息进一步确定，获取真正的黑烟信息，防止对于黑烟信息的误判，进而对于冒黑烟工程车的误判情况产生，保证了同一冒黑烟的工程车辆不超过两次抓拍，提高了抓拍冒黑烟的工程车辆的准确率。

Description

一种基于深度学习工程车冒黑烟监测方法及系统

技术领域

本发明涉及人工智能领域，尤其涉及一种基于深度学习工程车冒黑烟监测方法及系统。

背景技术

在智慧城市建设中，提高空气质量，维护城市形象，尤为重要。各个城市均有规定，市区范围内，特别对智慧工地环境周边，对工程车辆冒黑烟行为专项整治，早发现、早遏制。

目前，对于工程车冒黑烟的行为，一般采用“被动监控”模式，很难捕捉，错过了治理时机，通过人工查看、人工审核，不仅效率过低且非常浪费人力成本，处于目前的现状，导致很多工程车冒黑烟的行为丢失，容易造成污染空气环境和增加安全隐患的问题产生，市场上也存在一些黑烟车监控产品，但在实际应用过程中，同一黑烟工程车容易多次抓拍，且容易错误的判定工程车冒黑烟。

发明内容

有鉴于此，本发明提供一种基于深度学习工程车冒黑烟监测方法及系统，旨在解决抓拍冒黑烟的工程车辆准确率不高的技术问题。

为解决以上技术问题，本发明的技术方案为提供一种基于深度学习工程车冒黑烟监测方法，包括：

获取视频画面图像，并逐帧从视频画面图像中识别出车辆和烟火及车辆和烟火在视频图像中的位置；

对同一帧视频画面图像中识别出的车辆和烟火进行筛选，找出疑似冒黑烟的工程车辆，并将疑似冒黑烟的工程车辆所在帧及相关信息添加到图像信息列表；所述相关信息包括疑似冒黑烟的工程车辆所在帧的获取时间、工程车辆图像及位置、黑烟图像及位置；

利用所述图像信息列表判断当前帧中疑似冒黑烟的工程车辆是否为真；

若为真，则将当前帧中所述疑似冒黑烟的工程车辆的相关信息上报至冒黑烟工程车辆列表。

可选的，所述从视频画面图像中识别出车辆和烟火的方法，包括：

利用车辆识别神经网络模型和烟火识别神经网络模型逐帧识别出所述视频画面图像中的车辆和烟火，获取车辆和烟火在视频画面图像中的位置，并利用目标框对车辆和烟火进行框选；

对框选出的车辆进行甄别，判断其车型；

对框选的烟火进行甄别，判断是否为真的黑烟。

可选的，利用暗道原理对烟火进行甄别判断是否为真的黑烟。

可选的，所述对同一帧视频画面图像中识别出的车辆和烟火进行筛选的条件包括：

识别出的车辆为工程车辆；

并且识别出的烟火为黑烟；

并且该工程车辆与黑烟目标框交并比大于等于阈值。

可选的，所述图像信息列表滚动存储最近12帧图像信息。

可选的，所述利用所述图像信息列表判断当前帧中疑似冒黑烟的工程车辆是否为真的方法，包括：

若图像信息列表中存储的所有帧图像中有N帧及以上存储有疑似冒黑烟的工程车辆；

并且当前帧中疑似冒黑烟的工程车辆的深度特征与图像信息列表中存储的其他帧中疑似冒黑烟的工程车辆匹配M次及以上，则认为当前帧中疑似冒黑烟的工程车辆为真；

否则，认为当前帧中疑似冒黑烟的工程车辆不为真。

可选的，在将当前帧中所述疑似冒黑烟的工程车辆的相关信息上报至冒黑烟工程车辆列表之前，

将所述疑似冒黑烟的工程车辆的深度特征与冒黑烟工程车辆列表中工程车辆进行匹配；

若匹配失败则将所述疑似冒黑烟的工程车辆的相关信息首次添加至冒黑烟工程车辆列表中；

若匹配成功且满足二次上报条件，则将所述疑似冒黑烟的工程车辆的相关信息再次上报至冒黑烟工程车辆列表中，并更新所述冒黑烟工程车辆列表；

若匹配失败或匹配成功但不满足二次上报条件，则不进行再次上报；

其中，所述二次上报条件包括：当前帧中冒黑烟工程车辆深度特征能匹配上冒黑烟工程车辆列表中工程车辆、当前时间与工程车辆信息中最后上报时间差值大于T秒；

所述冒黑烟工程车辆的相关信息包括工程车辆的图像和位置、黑烟的图像和位置、冒黑烟工程车辆所在帧的获取时间、上报次数、最后上报时间。

可选的，所述深度特征为图像多层卷积后的高阶语义，其卷积公式为

，其中，g [ x , y ]为卷积核，f[x,y]为图像区域像素值，h[x,y]为高阶语义深度特征，符号∗表示卷积操作。

另外，本发明还提供一种基于深度学习工程车冒黑烟监测系统，包括：

图像获取模块，用于获取视频画面图像，并逐帧从视频画面图像中识别出车辆和烟火；

信息筛选模块，用于对同一帧视频画面图像中识别出的车辆和烟火进行筛选，找出疑似冒黑烟的工程车辆，并将疑似冒黑烟的工程车辆所在帧的相关信息添加到图像信息列表；所述相关信息包括疑似冒黑烟的工程车辆所在帧的获取时间、该帧图像以及车辆信息；

车辆判断模块，用于利用所述图像信息列表判断当前帧中疑似冒黑烟的工程车辆是否为真；

信息添加模块，用于若为真，则将当前帧中所述疑似冒黑烟的工程车辆的相关信息添加至冒黑烟工程车辆列表中。

可选的，所述一种基于深度学习工程车冒黑烟监测系统，还包括：

二次上报单元，用于所述疑似冒黑烟的工程车辆的深度特征与冒黑烟工程车辆列表中工程车辆匹配成功且满足二次上报条件，则将所述疑似冒黑烟的工程车辆的相关信息再次上报至冒黑烟工程车辆列表中，并更新所述冒黑烟工程车辆列表。

本发明的有益之处在于，本发明提出一种基于深度学习工程车冒黑烟监测方法及系统，通过获取视频画面图像，并逐帧从视频画面图像中识别出车辆和烟火及车辆和烟火在视频图像中的位置；对同一帧视频画面图像中识别出的车辆和烟火进行筛选，找出疑似冒黑烟的工程车辆，并将疑似冒黑烟的工程车辆所在帧及相关信息添加到图像信息列表；相关信息包括疑似冒黑烟的工程车辆所在帧的获取时间、工程车辆图像及位置、黑烟图像及位置；利用图像信息列表判断当前帧中疑似冒黑烟的工程车辆是否为真；若为真，则将当前帧中所述冒黑烟工程车辆的相关信息上报至冒黑烟工程车辆列表。保证了高准确率抓拍冒黑烟的工程车辆,且基于二次上报条件的约束，同一冒黑烟的工程车辆不超过两次抓拍，减少了后台人工审核的工作任务，缩短了城市治理的时机，保障了产品的实用性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1是本发明一实施例提供的一种基于深度学习工程车冒黑烟监测方法的步骤示意图；

图2是本发明一实施例提供的一种基于深度学习工程车冒黑烟监测方法的流程示意图；

图3是本发明一实施例提供的一种基于深度学习工程车冒黑烟监测系统的结构示意图。

图4是本发明一实施例提供的交并比计算中的交集示意图;

图5是本发明一实施例提供的交并比计算中的并集示意图；

图6是本发明一实施例提供的一种基于深度学习工程车冒黑烟监测方法中的交并比计算示意图。

具体实施方式

为了使本领域技术人员更好的理解本发明实施例，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，是本发明一实施例提供的一种基于深度学习工程车冒黑烟监测方法的步骤示意图。

S11、获取视频画面图像，并逐帧从视频画面图像中识别出车辆和烟火及车辆和烟火在视频图像中的位置。

视频画面可以从监控设备中取流获得，在此并不限定监控设备的种类、型号，可以是快球摄像机、一体化云台摄像机、半球摄像机等。

连续的图像变化每秒超过24帧（frame）画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面，看上去是平滑连续的视觉效果，这样连续的画面叫做视频，本实施例中需要逐帧从视频画面中去识别出车辆和烟火。

针对视频画面图像，利用车辆识别神经网络模型和烟火识别神经网络模型对所述视频画面图像进行识别，获取车辆和烟火在视频画面图像中的位置，并利用目标框对车辆和烟火进行框选，进而对框选出的车辆进行甄别，判断其车型是否为工程车辆，对框选的烟火进行甄别，判断是否为真的黑烟。

需要说明的是，在对烟火进行甄别的时候，采用了暗通道原理，判断是否为真的黑烟，其中，彩色图像都包括三个通道，即RGB三通道，也可以理解而成一张图片又三层同样大小的RGB（光学三原色：红绿蓝）三色堆叠而成，而图片实质上是由一个个像素组成的，对应于RGB三色来说，每一种颜色都是由这三原色组合而成，比如红色为（255，0，0），绿色为（0，255，0），粉红为（255，192，203），也就是说一张彩色图片中的每个像素都是以这种形式来表示的。暗通道原理，即清晰无烟雾的图片中每个像素至少有一个通道值很低，几乎趋近于零。而存在烟雾的区域不满足大自然中暗通道准则（暗通道趋近于零）。

暗通道计算公式为：

，在疑似烟雾目标区域统计

在[0,10]的比例。而确认疑似目标为烟雾目标，其比例满足： C(

∈[0,10])/(W*H) <40%。

其中，

C：疑似烟火目标趋于中满足大自然暗通道准则像素个数总和。

W：疑似烟雾趋于目标框的宽度。

H：疑似烟雾趋于目标框的高度。

此外，模型选用训练好的YOLOv5目标检测模型，原因在于，YOLO系列是目前单机目标检测框架中的潮流前线，YOLOv5并不是一个单独的模型，而是一个模型家族，包括了YOLOv5s（最小）、YOLOv5m、YOLOv5l、YOLOv5x（最大）。其前身经历了YOLOv1、YOLOv2、YOLOv3、YOLOv4，由于YOLOv5是在PyTorch（深度学习框架库）中实现的，它受它受益于成熟的PyTorch生态系统，支持更简单，部署更容易，相对于YOLOv4，YOLOv5具有以下优点：

1、速度更快。在YOLOv5 Colab notebook（笔记本环境）上，运行Tesla

P100，我们看到每张图像的推理时间仅需0.007秒，这意味着每秒140帧（FPS），速度是YOLOv4的2倍还多

2、精度更高。在Roboflow（目标检测中的数据格式转换工具）对血细胞计数和检测（BCCD）数据集的测试中，只训练了100个epochs（轮次）就达到了大约0.895的平均精度（mAP）。诚然EfficientDet（目标检测算法系列）和YOLOv4的性能相当，但在准确率没有任何损失的情况下，看到如此全面的性能提升是非常罕见的。

3、体积更小。YOLOv5的权重文件是27兆字节。YOLOv4（采用Darknet架构）的权重文件是244兆。YOLOv5比YOLOv4小了近90%！这意味着YOLOv5可以更容易地部署到嵌入式设备上。

可以理解的是，本实施例优选模型为YOLOv5目标检测模型，并不意味着仅能使用YOLOv5模型，其他能实现目标检测的模型均可以实现本实施例所提出的方法，因此，除本实施例使用的YOLOv5目标检测模型之外，利用其他目标检测模型实现本技术方案的方法均落入本发明的保护范围之内。

S12、对同一帧视频画面图像中识别出的车辆和烟火进行筛选，找出疑似冒黑烟的工程车辆，并将疑似冒黑烟的工程车辆所在帧及相关信息添加到图像信息列表；相关信息包括疑似冒黑烟的工程车辆所在帧的获取时间、工程车辆图像及位置、黑烟图像及位置。

对同一帧视频画面图像中识别出的车辆和烟火进行筛选的条件包括了：1、识别出的车辆为工程车辆；2、识别出的烟火为黑烟；3、该工程车辆与黑烟目标框交并比大于等于阈值。其中，交并比的阈值为0.3。其中，图4为交并比计算中交集的示意图，阴影部分为B1与B2的交集部分，图5位交并比计算中并集的示意图，阴影部分为B1与B2的并集部分，交并比的计算如图6所示，利用交集部分的数值除以并集部分的数值得到交并比的结果值。

其中，图像信息列表是不同帧图像信息集合，其滚动存储最近12帧图像信息，相关信息包括疑似冒黑烟的工程车辆所在帧的获取时间、该帧图像以及车辆信息，车辆信息包括工程车辆图像、工程车辆目标位置、黑烟图像、黑烟目标位置、IOU值、图像时间。

S13、利用图像信息列表判断当前帧中疑似冒黑烟的工程车辆是否为真。

若图像信息列表中存储的所有帧图像中有N帧及以上存储有疑似冒黑烟的工程车辆，并且当前帧中疑似冒黑烟的工程车辆的深度特征与图像信息列表中存储的其他帧中疑似冒黑烟的工程车辆匹配M次及以上，则认为当前帧中疑似冒黑烟的工程车辆为真。本实施例中，所有帧图像中有N帧优选为8帧图像，匹配M次及以上优选为2次及以上，即N=8，M=2。

需要说明的是，深度特征是指图像多层卷积后的高阶语义。卷积公式为：

，图像卷积通常使用这个公式，其中 g [ x , y ]为卷积核，f[x,y]为图像区域像素值，h[x,y]为高阶语义深度特征，符号∗表示卷积操作。

S14、若为真，则将当前帧中所述疑似冒黑烟的工程车辆的相关信息上报至冒黑烟工程车辆列表。

在确定了视频画面图像中存在冒黑烟工程车辆，则将冒黑烟工程车辆的相关信息上报至冒黑烟工程车辆列表中，通过确定为冒黑烟工程车辆的深度特征与黑烟工程车辆列表中的工程车辆进行匹配，若未匹配上则进行第一次上报，并将该确定为冒黑烟工程车辆信息更新到冒黑烟工程车辆列表中；若匹配上了，说明冒黑烟工程车辆列表中已存在该确定为冒黑烟工程车辆信息，则确定是否满足二次上报条件，若满足则再次上报，并将该确定为冒黑烟工程车辆信息更新到冒黑烟工程车辆列表中已存在相对应的黑烟工程车辆信息中。

其中，二次上报条件包括：1、当前帧存在冒黑烟工程车辆；2、确定为冒黑烟工程车辆的深度特征能匹配上冒黑烟工程车辆列表中工程车辆；3、当前时间与工程车辆信息中最后上报时间差值大于T秒。本实施例中，时间差值优选为2秒，即T=2。

需要说明的是，冒黑烟工程车辆列表是确认了冒黑烟工程车辆信息集合，其中冒黑烟工程车辆信息是指：工程车辆图像、工程车辆目标位置、黑烟图像、黑烟目标位置、交并比值、图像时间、上报次数、最后上报时间。在确定为冒黑烟工程车辆的深度特征与黑烟工程车辆列表中工程车辆进行匹配时，若匹配成功，说明黑烟工程车辆列表中存在确认为冒黑烟工程车辆的相关信息，在满足二次上报的基础上，将最新冒黑烟工程车辆信息更新到相对应的黑烟工程车辆列表中该工程车辆信息中，并将上报次数进行累加，上报时间更新为当前时间，即更新最后上报时间。

本发明一实施例提供的一种基于深度学习工程车冒黑烟监测方法，获取视频画面图像，并逐帧从视频画面图像中识别出车辆和烟火；对同一帧视频画面图像中识别出的车辆和烟火进行筛选，找出疑似冒黑烟的工程车辆，并将疑似冒黑烟的工程车辆所在帧的相关信息添加到图像信息列表；相关信息包括疑似冒黑烟的工程车辆所在帧的获取时间、该帧图像以及车辆信息；利用图像信息列表判断当前帧中疑似冒黑烟的工程车辆是否为真；若为真，则将当前帧中冒黑烟工程车辆的相关信息添加至冒黑烟工程车辆列表中。通过利用训练好的模型对视频画面图像进行目标识别，结合多种判定条件确定真正冒黑烟的工程车辆，进而将识别到的真正冒黑烟工程车辆的相关信息更新在冒黑烟工程车辆列表中，完成对冒黑烟工程车辆的高效监测，保证了高准确率抓拍冒黑烟的工程车辆,且同一冒黑烟的工程车辆不超过两次抓拍。减少了后台人工审核的工作任务，缩短了城市治理的时机，保障了产品的实用性。

进一步的，本发明一实施例还提供一种基于深度学习工程车冒黑烟监测方法的流程示意图，如图2所示。

首先获取视频画面，利用训练好的YOLOv5目标检测模型对视频画面图像中的车辆目标以及烟火目标进行检测，通过对视频画面中检测的目标车辆与目标烟火进行筛选，进行第一次确定，确定疑似冒黑烟工程车辆，并将该疑似冒黑烟工程车辆更新到图像信息列表中，进而利用图像信息列表判定疑似冒黑烟工程车辆是否为真，确定冒黑烟工程车辆，在确定了冒黑烟工程车辆之后，需要对该确定的冒黑烟工程车辆进行上报，上报至冒黑烟工程车辆列表中，此时存在两种情况，一种为首次上报，即确定的冒黑烟工程车辆首次出现在冒黑烟工程车辆列表中，一种为二次上报，即冒黑烟工程车辆列表中已存在改冒黑烟工程车辆的记录，此时需要结合二次上报条件确定是否进行二次上报，若不满足二次上报条件则不上报，若满足二次上报条件则进行二次上报，将该冒黑烟工程车辆的最新信息更新在冒黑烟工程车辆列表中，并及时更新上报次数以及最后上报时间。

其中，目标检测模型选用训练好的YOLOv5模型参照上述步骤S12所述内容，在此不做过多赘述。

需要说明的是，本实施例中出现的二次上报，意指第二次上报，且本实施例所提出的二次上报条件会将上报次数限制在不超过两次上报，也就意味着一辆工程车最多会有两次上报，以实现同一冒黑烟的工程车辆不超过两次抓拍，防止同一冒黑烟的工程车辆被大量重复抓拍导致整体效率低下的情况发生。

参照图3，是本发明一实施例提供的一种基于深度学习工程车冒黑烟监测系统的结构示意图，包括：

图像获取模块，用于获取视频画面图像，并逐帧从视频画面图像中识别出车辆和烟火；

信息筛选模块，用于对同一帧视频画面图像中识别出的车辆和烟火进行筛选，找出疑似冒黑烟的工程车辆，并将疑似冒黑烟的工程车辆所在帧的相关信息添加到图像信息列表；所述相关信息包括疑似冒黑烟的工程车辆所在帧的获取时间、该帧图像以及车辆信息；

车辆判断模块，用于利用所述图像信息列表判断当前帧中疑似冒黑烟的工程车辆是否为真；

信息添加模块，用于若为真，则将当前帧中所述疑似冒黑烟的工程车辆的相关信息上报至冒黑烟工程车辆列表。

进一步的，本发明一实施例提供的一种基于深度学习工程车冒黑烟监测系统，还包括：

二次上报单元，用于疑似冒黑烟的工程车辆的深度特征与冒黑烟工程车辆列表中工程车辆匹配成功且满足二次上报条件，则将疑似冒黑烟的工程车辆的相关信息再次上报至冒黑烟工程车辆列表中，并更新所述冒黑烟工程车辆列表。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于深度学习工程车冒黑烟监测方法，其特征在于，包括：

获取视频画面图像，并逐帧从视频画面图像中识别出车辆和烟火及车辆和烟火在视频图像中的位置；

对同一帧视频画面图像中识别出的车辆和烟火进行筛选，找出疑似冒黑烟的工程车辆，并将疑似冒黑烟的工程车辆所在帧及相关信息添加到图像信息列表；所述相关信息包括疑似冒黑烟的工程车辆所在帧的获取时间、工程车辆图像及位置、黑烟图像及位置；

利用所述图像信息列表判断当前帧中疑似冒黑烟的工程车辆是否为真；

若为真，则将当前帧中所述疑似冒黑烟的工程车辆的相关信息上报至冒黑烟工程车辆列表。

2.根据权利要求1所述的一种基于深度学习工程车冒黑烟监测方法，其特征在于，所述从视频画面图像中识别出车辆和烟火的方法，包括：

利用车辆识别神经网络模型和烟火识别神经网络模型逐帧识别出所述视频画面图像中的车辆和烟火，获取车辆和烟火在视频画面图像中的位置，并利用目标框对车辆和烟火进行框选；

对框选出的车辆进行甄别，判断其车型；

对框选的烟火进行甄别，判断是否为真的黑烟。

3.根据权利要求2所述的一种基于深度学习工程车冒黑烟监测方法，其特征在于，利用暗道原理对烟火进行甄别判断是否为真的黑烟。

4.根据权利要求2所述的一种基于深度学习工程车冒黑烟监测方法，其特征在于，所述对同一帧视频画面图像中识别出的车辆和烟火进行筛选的条件包括：

识别出的车辆为工程车辆；

并且识别出的烟火为黑烟；

并且该工程车辆与黑烟目标框交并比大于等于阈值。

5.根据权利要求1所述的一种基于深度学习工程车冒黑烟监测方法，其特征在于，所述图像信息列表滚动存储最近12帧图像信息。

6.根据权利要求1所述的一种基于深度学习工程车冒黑烟监测方法，其特征在于，所述利用所述图像信息列表判断当前帧中疑似冒黑烟的工程车辆是否为真的方法，包括：

若图像信息列表中存储的所有帧图像中有N帧及以上存储有疑似冒黑烟的工程车辆；

并且当前帧中疑似冒黑烟的工程车辆的深度特征与图像信息列表中存储的其他帧中疑似冒黑烟的工程车辆匹配M次及以上，则认为当前帧中疑似冒黑烟的工程车辆为真；

否则，认为当前帧中疑似冒黑烟的工程车辆不为真。

7.根据权利要求1所述的一种基于深度学习工程车冒黑烟监测方法，其特征在于，在将当前帧中所述疑似冒黑烟的工程车辆的相关信息上报至冒黑烟工程车辆列表之前，

将所述疑似冒黑烟的工程车辆的深度特征与冒黑烟工程车辆列表中工程车辆进行匹配；

若匹配失败则将所述疑似冒黑烟的工程车辆的相关信息首次添加至冒黑烟工程车辆列表中；

若匹配成功且满足二次上报条件，则将所述疑似冒黑烟的工程车辆的相关信息再次上报至冒黑烟工程车辆列表中，并更新所述冒黑烟工程车辆列表；

若匹配失败或匹配成功但不满足二次上报条件，则不进行再次上报；

其中，所述二次上报条件包括：当前帧中冒黑烟工程车辆深度特征能匹配上冒黑烟工程车辆列表中工程车辆、当前时间与工程车辆信息中最后上报时间差值大于T秒；

所述冒黑烟工程车辆的相关信息包括工程车辆的图像和位置、黑烟的图像和位置、冒黑烟工程车辆所在帧的获取时间、上报次数、最后上报时间。

8.根据权利要求6或7所述的一种基于深度学习工程车冒黑烟监测方法，其特征在于，所述深度特征为图像多层卷积后的高阶语义，其卷积公式

其中， g [ x , y ]为卷积核，f[x,y]为图像区域像素值，h[x,y]为高阶语义深度特征，符号∗表示卷积操作。

9.一种基于深度学习工程车冒黑烟监测系统，其特征在于，包括：

图像获取模块，用于获取视频画面图像，并逐帧从视频画面图像中识别出车辆和烟火；

信息筛选模块，用于对同一帧视频画面图像中识别出的车辆和烟火进行筛选，找出疑似冒黑烟的工程车辆，并将疑似冒黑烟的工程车辆所在帧的相关信息添加到图像信息列表；所述相关信息包括疑似冒黑烟的工程车辆所在帧的获取时间、该帧图像以及车辆信息；

车辆判断模块，用于利用所述图像信息列表判断当前帧中疑似冒黑烟的工程车辆是否为真；

信息添加模块，用于若为真，则将当前帧中所述疑似冒黑烟的工程车辆的相关信息添加至冒黑烟工程车辆列表中。

10.根据权利要求9所述的一种基于深度学习工程车冒黑烟监测系统，其特征在于，还包括：

二次上报单元，用于所述疑似冒黑烟的工程车辆的深度特征与冒黑烟工程车辆列表中工程车辆匹配成功且满足二次上报条件，则将所述疑似冒黑烟的工程车辆的相关信息再次上报至冒黑烟工程车辆列表中，并更新所述冒黑烟工程车辆列表。

Images