CN113505769B - 目标检测方法及应用其的车辆抛洒滴漏识别方法 - Google Patents

Abstract

本申请提出了一种目标检测方法及应用其的车辆抛洒滴漏识别方法，其中目标检测方法包括获取待测图像；将所述待测图像输入特征提取网络中，其中，所述特征提取网络包括多层残差模块，相邻两层所述残差模块间连接感受野增强模块，经过残差模块、感受野增强模块对特征进行提取，通过融合模块融合各层级特征，并输出预测结果。本申请能够对小目标进行识别从而提高抛洒物发现效率；并基于车辆运动运动轨迹在原始监控视频帧获取行车范围图像，以此增大输出模型中的识别目标，降低了模型对抛洒物的识别难度。

Description

目标检测方法及应用其的车辆抛洒滴漏识别方法

技术领域

本申请涉图像处理及机器学习技术领域，特别是涉及目标检测方法及应用其的车辆抛洒滴漏识别方法。

背景技术

工程车抛洒滴漏是城市治理中常见的问题，由于工程车装载渣土的不规范、未苫盖等行为导致抛洒滴漏的现象时有发生，不仅损害了城市道路环境、产生扬尘污染，而且给道路行驶带来严重安全隐患；由于人工排查的难度大，排查时效长、成本高，抛洒滴漏治理任务已经成为城市治理中的一大挑战。

近些年，随着计算机视觉相关技术的快速发展，在许多城市治理项目中发挥了巨大的作用，相关的技术也被应用到抛洒滴漏识别任务上，这种策略可以极大的提高抛洒物发现的效率，降低排查成本，提高城市治理水平；然而抛洒滴漏物存在目标较小，与周围背景相近，受其噪声干扰大等特点问题，尽管相关技术在抛洒滴漏识别技术得到了有效应用，但是它的识别准确率仍待进一步改进。

发明内容

本申请实施例提供了目标检测方法及应用其的车辆抛洒滴漏识别方法，能够对小目标进行识别从而提高抛洒物发现效率；并基于车辆运动运动轨迹在原始监控视频帧获取行车范围图像，以此增大输出模型中的识别目标，降低了模型对抛洒物的识别难度。

第一方面，本申请实施例提供了一种目标检测方法，包括以下步骤：获取待测图像将所述待测图像经卷积池化后得到的特征图输入特征提取网络中，其中，所述特征提取网络包括多层残差模块和每相邻两层所述残差模块间连接的感受野增强模块，所述感受野增强模块用于增强每一所述残差模块输出的图像特征的感受野，从第二个所述残差模块起将每一所述残差模块输出的图像特征与下一所述残差模块输出的图像特征输入融合网络中进行融合获取多个融合特征；分别将每一所述融合特征输入预测网络中，输出预测结果。

在其中一个实施例中，在所述感受野增强模块将所述第一特征信息的通道分为不同部分特征，一部分特征送入增大感受野算子进行卷积，输出的特征结果与另一部分特征拼接，对拼接后的特征采用通道混洗后与所述第一特征信息进行求和，输出所述第二特征信息。

在其中一个实施例中，所述增大感受野算子包括一个增大感受野的3x3卷积核和一个用于扩充特征通道数的1x1卷积核，经1x1卷积后的所述特征结果的通道数与另一部分特征通道数之和与所述第一特征信息通道数相等。

在其中一个实施例中，所述通道混洗包括：采用shuffleNet对拼接后的各部分特征的通道进行有序打乱。

在其中一个实施例中，应用于抛洒物检测中，其中所述预测结果至少包括所述待测图像中确定抛洒物位置的抛洒物候选框。

在其中一个实施例中，基于所述抛洒物候选框从所述待测图像中提取抛洒物图像，对所述抛洒物图像进行尺度变化后复制在第一样本图像上得到第二样本图像，其中，所述第一样本图像、所述第二样本图像用于对目标检测方法所需模型进行训练。

在其中一个实施例中，每个所述残差模块包括若干堆叠的残差块，其中每一所述残差块包括一个用于减少特征通道的1x1卷积核、一个用于增大感受野的3x3卷积核和一个用于扩充特征通道数的1x1卷积核，下层残差模块的残差块数量大于上层残差模块的残差数量且最下层残差模块的残差块数量与最上层残差模块的残差块数量相等。

在其中一个实施例中，在所述融合网络中将每个下层残差模块输出的图像特征通过反卷积进行图像特征的尺寸放大，将放大后的图像特征与上层残差模块输出的图像特征拼接，输出所述融合特征。

第二方面，本申请实施例提供一种车辆抛洒滴漏识别方法，包括：

将连续多帧监控视频帧输入车辆检测模型，获取至少两所述监控视频帧中同一待测车辆的轨迹坐标点；跟踪所述轨迹坐标点的变化得到车辆运动轨迹；基于所述车辆运动轨迹在待测视频帧中确定待测图像；根据权利要求1-8任一所述的目标检测方法检测所述待测图像中的抛洒物。

在其中一个实施例中，“将连续多帧监控视频帧输入车辆检测模型，获取至少两所述监控视频帧中同一待测车辆的轨迹坐标点”包括：

将连续多帧监控视频帧输入车辆检测模型，得到所述车辆检测模型输出的多个车辆目标框，为同一待测车辆对应的所述车辆目标框生成标识码；获取至少两所述监控视频帧中同一所述标识码对应的所述车辆目标框的中心点坐标，将所述中心点坐标确定为轨迹坐标点。

在其中一个实施例中，“基于所述车辆运动轨迹在待测视频帧中确定待测图像”包括：

获取所述车辆运动轨迹的极左点、极右点，根据所述极左点、所述极右点在所述待测视频帧获取矩形区域，

将所述矩形区域确定为待测图像，其中，所述极左点的横坐标为所有所述轨迹坐标点中的横坐标最小值，所述极左点的纵坐标为所有所述轨迹坐标点中的纵坐标最小值，所述极右点的横坐标为所有所述轨迹坐标点中的横坐标最大值，所述极右点的纵坐标为所有所述轨迹坐标点中的纵坐标最大值。

在其中一个实施例中，所述方法还包括：若任一监控视频中的待测图像中检测出抛洒物，对待测车辆进行车牌识别，基于识别得到的车牌信息在工程车车牌库中检索，若未检索到该待测车辆的登记信息，判断为黑车告警；若检索到该待测车辆的登记信息，从工程车车牌库中获取待测车辆的联系人，记录抛洒物所在路段信息。

第三方面，本申请实施例提供一种目标检测装置，包括：

获取模块，用于获取待测图像；输入模块，用于将所述待测图像输入特征提取网络中，其中，所述特征提取网络包括多层残差模块，相邻两层所述残差模块间连接感受野增强模块；特征提取模块，用于将所述待测图像经卷积得到的特征图输入残差模块中提取第一特征信息，将所述第一特征信息依次输入所述感受野增强模块、所述残差模块中，其中，每层所述残差模块对位于其下层的所述感受野增强模块输出的第二特征信息进行卷积，提取得到对应所述残差模块层级的图像特征；特征融合模块，用于将相邻两层级的所述图像特征分别输入到融合网络中，输出融合特征；预测模块，用于将所述融合特征输入预测网络中，输出预测结果。

第四方面，本申请实施例提供一种车辆抛洒滴漏识别装置，包括：

轨迹坐标点获取模块，用于将连续多帧监控视频帧输入车辆检测模型，获取至少两所述监控视频帧中同一待测车辆的轨迹坐标点；轨迹跟踪模块，用于跟踪所述轨迹坐标点的变化得到车辆运动轨迹；图像获取模块，用于基于所述车辆运动轨迹在待测视频帧中确定待测图像；识别模块，用于根据第一方面任一所述的目标检测方法检测所述待测图像中的抛洒物。

第五方面，本申请实施立体感一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行根据第一方面任一项所述的目标检测方法或者根据第二方面任一项所述的车辆抛洒滴漏识别方法。

第六方面，本申请实施例提供一种计算机程序产品，包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述代码软件部分用于执行第一方面任一项所述的目标检测方法或者根据第二方面任一项所述的车辆抛洒滴漏识别方法。

第七方面，本申请实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据第一方面任一项所述的目标检测方法或者根据第二方面任一项所述的车辆抛洒滴漏识别方法。

本发明的主要贡献和创新点如下：

本申请实施例提供的一种目标检测方法，通过将待测图像输入目标检测模型中进行检测，从而输出预测结果。感受野增强模块中增加目标的细粒度特征的表达能力，并通过特征金字塔的设计增强对目标数据的多尺度的识别能力。

此外，本申请实施例还提供一种车辆抛洒滴漏识别方法，通过跟踪车辆的运动轨迹确定车辆轨迹路线，根据轨迹路线在图像中获取到行车范围，截取行车范围图像作为抛洒物时别算法的输入，相当于在图像尺寸上放大了识别目标，因此降低了算法对抛洒物的识别难度。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的目标检测方法的流程图；

图2是根据本申请实施例的目标检测模型的网络结构图；

图3是根据本申请实施例的增强感受野算子结构示意图；

图4是根据本申请实施例的车辆抛洒滴漏识别方法的流程图；

图5是根据本申请实施例的目标检测装置的结构框图；

图6是车辆抛洒滴漏识别装置的结构框图；

图7是根据本申请实施例的电子装置的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

实施例一

本申请实施例提供了一种目标检测方法，如图1所示，该方法包括：

步骤S101、获取待测图像。

在本步骤中待测图像被用于输入模型中进行多目标检测。采集待测图像的方法可以是从监控视频中获取原始视频帧，待测图像的数量可以是一个或者多个，且每一原始视频帧中可以包括一个、多个待测目标或不包括待测目标。

步骤S102、将所述待测图像经卷积池化后得到的特征图输入特征提取网络中，其中，所述特征提取网络包括多层残差模块和每相邻两层所述残差模块间连接的感受野增强模块，所述感受野增强模块用于增强每一所述残差模块输出的图像特征的感受野，从第二个所述残差模块起将每一所述残差模块输出的图像特征与下一所述残差模块输出的图像特征输入融合网络中进行融合获取多个融合特征。

在本步骤中目标检测模型的主干网络采用的是restNet50网络结构，在两个残差模块的连接中部引入了感受野增强模块。在目标检测识别的过程中，感受野增强模块提高了在视觉感知中精细化目标图像特征能力。

在本步骤中，目标检测模型的训练包括如下步骤：

采集训练和测试样本，采集标注有目标检测框的监控视频帧，根据一定的比例分配得到训练样本和测试样本。

将训练样本输入到开源目标检测网络中并设置网络参数进行训练。在本方案的一实施例中，所述开源目标检测网络可选用restNet50，将训练样本迭代训练k次后，将测试样本输入到训练k轮的目标检测模型中进行预测并获取预测结果，若预测结果与测试样本中标注的标签是一致的，则为正确，否则错误，计算准确率，反复训练迭代，当损失函数不再下降且准确率不再上升，则停止训练，获取对应的目标检测模型。

在本步骤中待测图像的特征图输入第一个残差模块中进行特征提取，将输出的第一特征信息输入第一个感受野增强模块中增加目标的细粒度特征的表达能力，将第一个感受野增强模块输出第二特征信息作为第二个残差模块的输入，由第二个残差模块学习和利用第二特征信息中多个特征图通道之间的相关性，输出结果后输入第二个感受野增强模块进行学习，以此类推，在最后一个残差模块中获取到的图像特征包括了各个层级学习到的特征信息，即，通过多层残差模块与感受野增强模块堆叠，在特征提取部分加深网络，通过加深网络能对特征逐层抽象，并不断精炼提取知识，从而捕获到更丰富和复杂的特征。

本步骤区别于现有技术在于，现有技术中增大感受野最直接的策略就是加深网络层数，而模型的效果与网络层数成正比，但是这也带来一个非常大问题，层数越深，参数量也会成几何增长，会越来越难以训练，同时伴随pooling等池化操作会进一步加大数据的抖动，而本文的感受野增强模块与残差模块堆叠在增加深度的同时仅带来少量的参数增加。

步骤S103、从第二个所述残差模块起将每一所述残差模块输出的图像特征与下一所述残差模块输出的图像特征输入融合网络中进行融合获取多个融合特征。

在本步骤中采用了特征金字塔的设计形式，增强在整个模型对多尺度的识别能力。具体地，多尺度指的是在原始视频帧中多个形状不等的待测目标，例如大目标，中目标，小目标等，在本实施例中针对这三种形状待测目标设计了三层用于输出特征图的残差模块，在浅层残差模块输出浅层特征图作为预测小目标的图像特征，在中层残差模块输出中层特征图作为预测中目标的图像特征，在深层残差模块输出深层特征图作为预测小目标的图像特征，随着网络加深（层级增加）能够逐渐学习到较多的语义信息以及更大的感受野，但同时也会失去小目标的特征信息，因此将浅层特征图作为预测大目标的特征，通过不同层级融合使小目标不会随着网络加深淹没在上下文背景中。通过相邻两层级融合的方式不仅能获取到深层残差模块中有足够感受野以及较多语音信息的特征，也能获取到浅层残差模块中包含更多细节信息的特征，以这样的融合方式输出的融合特征更具区分性，从而实现能对不同尺寸的目标都提取出来的有益效果，提升了目标检测模型的检测精度。

步骤S104、分别将每一所述融合特征输入预测网络中，输出预测结果。

在本步骤中根据融合得到的一或多个融合特征进行候选框预测，并对候选框进行分类和回归计算，最终得到较为准确的多个目标的预测检测框，筛除重复的预测检测框，得到的预测框与阈值进行比对，将高于阈值的预测检测框作为预测结果。在预测结果中可以包括预测检测框的位置、大小、置信度等。

针对上述S101至S104，本申请实施例提供了一种目标检测方法，该方法通过将待测图像输入目标检测模型中进行检测，从而输出预测结果。感受野增强模块中增加目标的细粒度特征的表达能力，并通过特征金字塔的设计增强对目标数据的多尺度的识别能力。

所述的算法整体分为三个部分实现，包括特征提取、特征融合、检测定位与识别；

第一阶段特征提取：依次提取图像浅层、中层、深层的图像特征，这些图像特征主要通过特征提取网络中残差模块的神经网络进行逐层次特征计算的方式获得；在浅层、中层、深层的特征提取模块之前都采用了感受野增强模块，使得提取的各层次的图像特征都具有较好的感受野同时不缺少前层传递下来的细粒度信息。

在特征提取网络中所涉及的深层、中层和浅层特征是将特征提取网络按照卷积神经网络层数的深度划分的，每层的特征均进行包括但不限于卷积、池化、激活和批量归一化等操作；深层特征为整个目标检测网络最小分辨率的输出预测特征图；与中层和浅层相比，它具有较好的位置表达能力，但是缺乏中层、浅层的输出特征中更好的语义表达信息；

第二阶段特征融合，放大深层特征的尺度大小，使得生成的新特征与前层提取的中层特征尺度相同，利用矩阵求和操作将两个特征矩阵进行相加得到融合后的特征；中层与浅层的特征融合与其操作相同；这样融合后的特征具备更好的分类与定位的信息；

第三阶段检测定位与识别，对每个层级的特征分别进行候选框的预测，并对预测候选框进行分类和回归的计算，分类的算法可以使用softmax损失函数，回归算法则可以采用GIoU这种计算交并比的损失函数，最终回归计算获得较为准确的预测目标检测框并利用soft-NMS算法进行筛选去除重复的候选框；此外在预测的目标检测框。

在其中一些实施例中，在所述融合网络中将每个下层残差模块输出的图像特征通过反卷积进行图像特征的尺寸放大，将放大后的图像特征与上层残差模块输出的图像特征拼接，输出所述融合特征。

具体地，图2是目标检测模型的网络结构图，如图2所述，输入图像先进行卷积和池化操作，得到特征图，将特征图输入残差结构组1中进行特征提取，将输出的第一特征信息输入第一个感受野增强模块中增加目标的细粒度特征的表达能力，将第一个感受野增强模块输出第二特征信息作为残差结构组2的输入，由残差结构组2学习和利用第二特征信息中多个特征图通道之间的相关性，输出结果后输入第二个感受野增强模块进行学习，以此类推，在残差结构组4中获取到的图像特征包括了各个层级学习到的特征信息，分别提取残差结构组2、残差结构组3、残差结构组4输出的浅层、中层和深层特征，对其中的中层特征通过反卷积放大特征尺度并与浅层特征进行融合，通过预测模块输出；将深层特征通过反卷积放大特征尺度并与中层特征进行融合，通过预测模块输出；将深层特征通过预测模块输出。

在其中一些实施例中，在所述感受野增强模块将所述第一特征信息的通道分为不同部分特征，一部分特征送入增大感受野算子进行卷积，输出的特征结果与另一部分特征拼接，对拼接后的特征采用通道混洗后与所述第一特征信息进行求和，输出所述第二特征信息。

在本实施例中，将第一特征信息在通道方向上分成多个部分，一部分送入增大感受野的算子，再将输出的新特征与原先分离的那些部分特征利用concat操作进行拼接，最后打乱原特征图通道顺序。

打乱通道顺序的目的是在不增加计算量的情况下，能够使通道充分融合，通过这种方式使得输出的特征能考虑到更多通道，因此输出的特征的表现能力更高。

在其中一些实施例中，所述增大感受野算子包括一个增大感受野的3x3卷积核和一个用于扩充特征通道数的1x1卷积核，经1x1卷积后的所述特征结果的通道数与另一部分特征通道数之和与所述第一特征信息通道数相等。

在本实施例中，通过通道数对第一特征信息进行分割，可以是二等分、三等分或者是不等分分割，分割后的一部分特征信息被用于输入到3x3深度卷积中进行学习，并通过1x1通道将学习后的特征通道扩充到与另一部分通道相等，再通过concat拼接两部分特征信息，使得拼接后的特征信息与第一特征信息通道数相等。

在其中一些实施例中，所述通道混洗包括：采用shuffleNet对拼接后的各部分特征的通道进行有序打乱。

在本实施例中，采用shuffleNet进行通道混洗，具体地，参考图3，采用shuffleNetV2网络时，需要对通道进行均分（C表示通道数，W表示图像宽，H表示图像高），在图3中均分成了两部分，右边部分送入增大感受野算子进行卷积，输出的特征结果与左边部分特征拼接后进行混洗，混洗后的特征与输入时的第一特征信息求和，得到第二特征信息。

在其中一些实施例中，目标检测方法应用于抛洒物检测中，其中所述预测结果至少包括所述待测图像中确定抛洒物位置的抛洒物候选框。

在其中一些实施例中，每个所述残差模块包括若干堆叠的残差块，其中每一所述残差块包括一个用于减少特征通道的1x1卷积核、一个用于增大感受野的3x3卷积核和一个用于扩充特征通道数的1x1卷积核，下层残差模块的残差块数量大于上层残差模块的残差数量且最下层残差模块的残差块数量与最上层残差模块的残差块数量相等。

在本实施例中，图像特征主要通过特征提取网络中残差模块的神经网络模块进行逐层次特征计算的方式获得。示例性的，如图2所述，残差模块中的残差块个数分别是3、4、6、3，残差块中采用的都是3x3小卷积。通过每个残差模块中多个小卷积核堆叠的方式能在保证足够大感受野的同时增加网络层数，提高模型的非线性表达能力。

本申请实施例提供的一种目标检测方法可适用于检测各种复杂场景的多尺度目标。例如，对道路上的抛洒物进行识别时，抛洒物会因为自身体积或者与摄像头的距离远近等因素造成尺度大小不一，在识别抛洒物时，通过浅层与深层特征相结合的策略，丰富了融合特征在不同尺度抛洒物上的表现能力，从而对于小目标的抛洒物也可以获得更加准确的抛洒物定位与识别结果。

即，本申请实施例提供的抛洒物检测方法采用了针对小目标抛洒物识别的结构，通过增加特征的感受野从而增加目标的细粒度特征的表达能力，并通过特征金字塔的设计增强对目标数据的多尺度的识别能力。此外，本申请实施例还在数据方面对小目标抛洒物做了改进，来增强算法的检测精度，具体地，基于所述抛洒物候选框从所述待测图像中提取抛洒物图像，对所述抛洒物图像进行尺度变化后复制在第一样本图像上得到第二样本图像，其中，所述第一样本图像、所述第二样本图像用于对目标检测方法所需模型进行训练。

在本实施例中，通过在原数据中提取出抛洒物并进行尺度变换后复制粘贴到道路监控场景图像的道路上，不仅扩充了样本数量，还能增强模型对于不同环境的适应能力，从而提升了模型识别结果准确率。具体地，对于目标检测模型的训练需要采集到标注有目标检测框的监控视频帧，并根据一定的比例分配得到训练样本和测试样本。除了在采集到监控视频帧后采用平移、镜像、旋转等方式数据增强以外，还能将模型输出的抛洒物图像裁剪并粘贴到监控视频帧中作为模型的训练样本或者测试样本。通过上述数据增强方法能够提升模型的训练精度，从而提高后续对待测图像中抛洒物目标的识别准确率。

实施例二

参考图4，基于相同的构思，本申请实施例提供了一种车辆抛洒滴漏识别方法，该方法包括以下步骤：

步骤S401、将连续多帧监控视频帧输入车辆检测模型，获取至少两所述监控视频帧中同一待测车辆的轨迹坐标点。

步骤S402、跟踪所述轨迹坐标点的变化得到车辆运动轨迹。

步骤S403、基于所述车辆运动轨迹在待测视频帧中确定待测图像。

步骤S404、根据实施例一所述的目标检测方法检测所述待测图像中的抛洒物。

其中，对于抛洒物的检测方法如前述，在此不做累赘说明。在本实施例中着重对待测图像的获取方法进行解释。

在摄像头获取的原始监控视频中不仅包含了车行道信息，还包括人行道、道路旁的环境等其他无关信息，为了尽量减少在车辆抛洒物检测时获取到这些无关信息，本申请实施例对原始监控视频进行了处理。具体地，先通过跟踪车辆的运动轨迹确定车辆轨迹路线，根据轨迹路线在图像中获取到行车范围，截取行车范围图像作为抛洒物时别算法的输入，相当于在图像尺寸上放大了识别目标，因此降低了算法对抛洒物的识别难度。

在本实施例中通过车辆检测器提取车辆目标，再通过车辆跟踪器获取车辆运动轨迹。

在步骤S402中，轨迹坐标点指的是能够表示车辆位置信息的点，例如车辆检测框的左上角坐标、左下角坐标、中心点坐标等等，通过跟踪所述轨迹坐标点的变化得到车辆轨迹路线。需要说明的是，在连续多帧监控视频帧中可以包括一条或者多条车辆轨迹路线，可以通过给车辆编号从而区分不同的轨迹路线。

在其中一些实施例中，“将连续多帧监控视频帧输入车辆检测模型，获取至少两所述监控视频帧中同一待测车辆的轨迹坐标点”包括：

将连续多帧监控视频帧输入车辆检测模型，得到所述车辆检测模型输出的多个车辆目标框，为同一待测车辆对应的所述车辆目标框生成标识码；

获取至少两所述监控视频帧中同一所述标识码对应的所述车辆目标框的中心点坐标，将所述中心点坐标确定为轨迹坐标点。

在本实施例中，车辆检测模型，即车辆检测器的训练包括如下步骤：

采集训练和测试样本，采集标注有车辆检测框的监控视频图像，根据一定的比例分配得到训练样本和测试样本。

将训练样本输入到开源目标检测网络中并设置网络参数进行训练。在本方案的一实施例中，所述开源目标检测网络可选用YOLOv4，将训练样本迭代训练k次后，将验证数据输入到训练k轮的检测模型中进行预测并获取预测结果，若预测结果与训练样本中标注的标签是一致的，则为正确，否则错误，计算准确率，反复训练迭代，当损失函数不再下降且准确率不再上升，则停止训练，获取对应的车辆检测器。

在本实施例中，可以通过卡尔曼滤波构建车辆跟踪器实现对车辆的实时跟踪。

在步骤S403中，通过车辆运动轨迹的确定需要从监控视频帧中裁剪出的图像位置和大小，具体地，在监控视频帧中获取车辆运动范围图像I，图像I为矩形区域，则在监控视频帧中可以通过矩形的两个斜对角坐标点得到矩形区域的位置和大小。

在本实施例中示例性的提供了一种提取矩形区域图像的方法，具体地，“基于所述车辆运动轨迹在待测视频帧中确定待测图像”包括：获取所述车辆运动轨迹的极左点、极右点，根据所述极左点、所述极右点在所述待测视频帧获取矩形区域，将所述矩形区域确定为待测图像，其中，所述极左点的横坐标为所有所述轨迹坐标点中的横坐标最小值，所述极左点的纵坐标为所有所述轨迹坐标点中的纵坐标最小值，所述极右点的横坐标为所有所述轨迹坐标点中的横坐标最大值，所述极右点的纵坐标为所有所述轨迹坐标点中的纵坐标最大值。

在本实施例中，获取车辆跟踪器实时记录的轨迹坐标点并保存为集合，

，

表示第j帧图像中第i个车辆在跟踪ID变化前运动轨迹点的集合；其中轨迹坐标点为视频每一帧的跟踪框的中心位置坐标，利用轨迹坐标点

集合计算坐标点的横、纵坐标的均值作为轨迹的中心坐标，记为

；并找出该轨迹在当前图像上的极左点

和极右点

，通过设计提取车辆目标运动轨迹区域图像的规范公式，获取车辆运动范围图像I ,图像I为矩形区域，它在原视频帧中图像的坐标位置表示为

；

提取轨迹运动范围图像的规范公式如下：

其中

表示在一帧图像中第i个车辆运动轨迹的矩形区域的左上角点坐标，

表示在一帧图像中第i个车辆运动轨迹的矩形区域的右下角点坐标，w _i 表示为车辆框的宽，h _i 表示为车辆框的高，W _j ,H _j 分别表示原视频帧图像j的宽和高。

其他实施例还提供了一种车辆抛洒滴漏管理方法，该方法包括：

将连续多帧监控视频帧输入车辆检测模型，获取至少两所述监控视频帧中同一待测车辆的轨迹坐标点；跟踪所述轨迹坐标点的变化得到车辆运动轨迹；基于所述车辆运动轨迹在待测视频帧中确定待测图像；根据实施例一所述的目标检测方法检测所述待测图像中的抛洒物；若任一监控视频中的待测图像中检测出抛洒物，对待测车辆进行车牌识别，基于识别得到的车牌信息在工程车车牌库中检索，若未检索到该待测车辆的登记信息，判断为黑车告警；若检索到该待测车辆的登记信息，从工程车车牌库中获取待测车辆的联系人，记录抛洒物所在路段信息。

在本实施例中，可以构建抛洒滴漏预警系统，将检测得到的抛洒物以及涉案车辆推送给业务平台，对涉案车辆进行车牌识别以及历史图像数据库检索；利用车牌信息对当前告警区域中登记的工程车车牌进行查询，如果没有发现该车辆的登记信息，判断为黑车告警；如果是登记的合法运输车辆，通过登记信息数据库查找到涉案车辆登记人的手机号，给其发送短信告警通知以及对涉案车辆的工地拨打智能语音电话，告知其在一定时间内对抛洒滴漏现场进行处理，超时未处理则对其进行相应程度的处罚。

通过对历史图像数据库检索，查找该车是否为短期内多次涉案目标，同时上报案卷信息，记录涉及的路段、经纬度、车牌、涉案车图像和时间等信息；如果发现其曾多次涉案，系统则对其进行重点记录并对涉案车辆的驾驶员进行约谈教育，从而实现对路段抛洒滴漏现象的自动化管理。

实施例四

基于相同的技术构思，图5示例性的示出了本发明实施例提供的一种目标检测装置，包括：

获取模块501，用于获取待测图像；

特征提取模块502，用于将所述待测图像经卷积池化后得到的特征图输入特征提取网络中，其中，所述特征提取网络包括多层残差模块和每相邻两层所述残差模块间连接的感受野增强模块，所述感受野增强模块用于增强每一所述残差模块输出的图像特征的感受野；

特征融合模块503，用于从第二个所述残差模块起将每一所述残差模块输出的图像特征与下一所述残差模块输出的图像特征输入融合网络中进行融合获取多个融合特征；

预测模块504，用于分别将每一所述融合特征输入预测网络中，输出预测结果。

其中，装置中内置有目标检测模型，关于模型的架构如实施例一所述。另，该装置采用以上介绍的方法进行运行，因此重复的内容也不进行累赘说明。

实施例五

基于相同的构思，图6示例性的示出了本发明实施例提供的一种车辆抛洒滴漏识别装置，包括：

轨迹坐标点获取模块601，用于将连续多帧监控视频帧输入车辆检测模型，获取至少两所述监控视频帧中同一待测车辆的轨迹坐标点。

轨迹跟踪模块602，用于跟踪所述轨迹坐标点的变化得到车辆运动轨迹。

图像获取模块603，用于基于所述车辆运动轨迹在待测视频帧中确定待测图像。

识别模块604，用于根据实施例一所述的目标检测方法检测所述待测图像中的抛洒物。

同理，轨迹坐标点获取模块601中内置了车辆检测器，在轨迹跟踪模块602中内置了车辆跟踪器，在识别模块604中内置了目标检测模型，关于模型的架构如实施例一以及实施例二所述。另，该装置采用以上介绍的方法进行运行，因此重复的内容也不进行累赘说明。

实施例六

本实施例还提供了一种电子装置，参考图7，包括存储器704和处理器702，该存储器704中存储有计算机程序，该处理器702被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

具体地，上述处理器702可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器704可以包括用于数据或指令的大容量存储器704。举例来说而非限制，存储器704可包括硬盘驱动器（HardDiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidStateDrive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器704可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器704可在数据处理装置的内部或外部。在特定实施例中，存储器704是非易失性（Non-Volatile）存储器。在特定实施例中，存储器704包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-OnlyMemory，简称为PROM）、可擦除PROM（ErasableProgrammableRead-OnlyMemory，简称为EPROM）、电可擦除PROM（ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM）、电可改写ROM（ElectricallyAlterableRead-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-AccessMemory，简称为SRAM）或动态随机存取存储器（DynamicRandomAccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器704（FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM）、同步动态随机存取内存（SynchronousDynamicRandom-AccessMemory，简称SDRAM）等。

存储器704可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器702所执行的可能的计算机程序指令。

处理器702通过读取并执行存储器704中存储的计算机程序指令，以实现上述实施例中的任意一种目标检测方法、车辆抛洒滴漏识别方法。

可选地，上述电子装置还可以包括传输设备706以及输入输出设备708，其中，该传输设备706和上述处理器702连接，该输入输出设备708和上述处理器702连接。

传输设备706可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备706可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

输入输出设备708用于输入或输出信息。例如，上述输入输出设备可以是移动终端、显示屏、音箱、麦克、鼠标、键盘或其他设备。在本实施例中，输入的信息可以是待测图像、监控视频帧等，输出的信息可以是抛洒物识别结果、车辆识别结果、模型训练结果等等。

可选地，在本实施例中，上述处理器702可以被设置为通过计算机程序执行以下步骤：

S101、获取待测图像。

S102、将所述待测图像输入特征提取网络中，其中，所述特征提取网络包括多层残差模块，相邻两层所述残差模块间连接感受野增强模块。

S103、将所述待测图像经卷积得到的特征图输入残差模块中提取第一特征信息，将所述第一特征信息依次输入所述感受野增强模块、所述残差模块中，其中，每层所述残差模块对位于其下层的所述感受野增强模块输出的第二特征信息进行卷积，提取得到对应所述残差模块层级的图像特征。

S104、将相邻两层级的所述图像特征分别输入到融合网络中，输出融合特征。

S105、将所述融合特征输入预测网络中，输出预测结果。

S401、将连续多帧监控视频帧输入车辆检测模型，获取至少两所述监控视频帧中同一待测车辆的轨迹坐标点。

S402、跟踪所述轨迹坐标点的变化得到车辆运动轨迹。

S403、基于所述车辆运动轨迹在待测视频帧中确定待测图像。

S404、根据目标检测方法检测所述待测图像中的抛洒物。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的一种目标检测方法、车辆抛洒滴漏识别方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种目标检测方法、车辆抛洒滴漏识别方法。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (16)

1.一种目标检测方法，其特征在于，包括以下步骤：

获取待测图像；

将所述待测图像经卷积池化后得到的特征图输入特征提取网络中，其中，所述特征提取网络包括多层残差模块和每相邻两层所述残差模块间连接的感受野增强模块，所述感受野增强模块用于增强每一所述残差模块输出的图像特征的感受野；

在所述感受野增强模块将残差模块输出的第一特征信息的通道分为不同部分特征，一部分特征送入增大感受野算子进行卷积，输出的特征结果与另一部分特征拼接，对拼接后的特征采用通道混洗后与所述第一特征信息进行求和，输出第二特征信息；

从第二个所述残差模块起将每一所述残差模块输出的图像特征与下一所述残差模块输出的图像特征输入融合网络中进行融合获取多个融合特征；

分别将每一所述融合特征输入预测网络中，输出预测结果。

2.根据权利要求1所述的目标检测方法，其特征在于，所述增大感受野算子包括一个增大感受野的3x3卷积核和一个用于扩充特征通道数的1x1卷积核，经1x1卷积后的所述特征结果的通道数与另一部分特征通道数之和与所述第一特征信息通道数相等。

3.根据权利要求1所述的目标检测方法，其特征在于，所述通道混洗包括：采用shuffleNet对拼接后的各部分特征的通道进行有序打乱。

4.根据权利要求1所述的目标检测方法，其特征在于，应用于抛洒物检测中，其中所述预测结果至少包括所述待测图像中确定抛洒物位置的抛洒物候选框。

5.根据权利要求4所述的目标检测方法，其特征在于，基于所述抛洒物候选框从所述待测图像中提取抛洒物图像，对所述抛洒物图像进行尺度变化后复制在第一样本图像上得到第二样本图像，其中，所述第一样本图像、所述第二样本图像用于对目标检测方法所需模型进行训练。

6.根据权利要求1所述的目标检测方法，其特征在于，每个所述残差模块包括若干堆叠的残差块，其中每一所述残差块包括一个用于减少特征通道的1x1卷积核、一个用于增大感受野的3x3卷积核和一个用于扩充特征通道数的1x1卷积核，下层残差模块的残差块数量大于上层残差模块的残差数量且最下层残差模块的残差块数量与最上层残差模块的残差块数量相等。

7.根据权利要求1所述的目标检测方法，其特征在于，在所述融合网络中将每个下层残差模块输出的图像特征通过反卷积进行图像特征的尺寸放大，将放大后的图像特征与上层残差模块输出的图像特征拼接，输出所述融合特征。

8.一种车辆抛洒滴漏识别方法，其特征在于，包括：

将连续多帧监控视频帧输入车辆检测模型，获取至少两所述监控视频帧中同一待测车辆的轨迹坐标点；

跟踪所述轨迹坐标点的变化得到车辆运动轨迹；

基于所述车辆运动轨迹在待测视频帧中确定待测图像；

根据权利要求1-7任一所述的目标检测方法检测所述待测图像中的抛洒物。

9.根据权利要求8所述的车辆抛洒滴漏识别方法，其特征在于，“将连续多帧监控视频帧输入车辆检测模型，获取至少两所述监控视频帧中同一待测车辆的轨迹坐标点”包括：

将连续多帧监控视频帧输入车辆检测模型，得到所述车辆检测模型输出的多个车辆目标框，为同一待测车辆对应的所述车辆目标框生成标识码；

获取至少两所述监控视频帧中同一所述标识码对应的所述车辆目标框的中心点坐标，将所述中心点坐标确定为轨迹坐标点。

10.根据权利要求8所述的车辆抛洒滴漏识别方法，其特征在于，“基于所述车辆运动轨迹在待测视频帧中确定待测图像”包括：

获取所述车辆运动轨迹的极左点、极右点，根据所述极左点、所述极右点在所述待测视频帧获取矩形区域，

将所述矩形区域确定为待测图像，其中，所述极左点的横坐标为所有所述轨迹坐标点中的横坐标最小值，所述极左点的纵坐标为所有所述轨迹坐标点中的纵坐标最小值，所述极右点的横坐标为所有所述轨迹坐标点中的横坐标最大值，所述极右点的纵坐标为所有所述轨迹坐标点中的纵坐标最大值。

11.根据权利要求8所述的车辆抛洒滴漏识别方法，其特征在于，所述方法还包括：

若任一监控视频中的待测图像中检测出抛洒物，对待测车辆进行车牌识别，基于识别得到的车牌信息在工程车车牌库中检索，若未检索到该待测车辆的登记信息，判断为黑车告警；若检索到该待测车辆的登记信息，从工程车车牌库中获取待测车辆的联系人，记录抛洒物所在路段信息。

12.一种目标检测装置，其特征在于，包括：

获取模块，用于获取待测图像；

特征提取模块，用于将所述待测图像经卷积池化后得到的特征图输入特征提取网络中，其中，所述特征提取网络包括多层残差模块和每相邻两层所述残差模块间连接的感受野增强模块，所述感受野增强模块用于增强每一所述残差模块输出的图像特征的感受野；

在所述感受野增强模块将残差模块输出的第一特征信息的通道分为不同部分特征，一部分特征送入增大感受野算子进行卷积，输出的特征结果与另一部分特征拼接，对拼接后的特征采用通道混洗后与所述第一特征信息进行求和，输出第二特征信息；

特征融合模块，用于从第二个所述残差模块起将每一所述残差模块输出的图像特征与下一所述残差模块输出的图像特征输入融合网络中进行融合获取多个融合特征；

预测模块，用于分别将每一所述融合特征输入预测网络中，输出预测结果。

13.一种车辆抛洒滴漏识别装置，其特征在于，包括：

轨迹坐标点获取模块，用于将连续多帧监控视频帧输入车辆检测模型，获取至少两所述监控视频帧中同一待测车辆的轨迹坐标点；

轨迹跟踪模块，用于跟踪所述轨迹坐标点的变化得到车辆运动轨迹；

图像获取模块，用于基于所述车辆运动轨迹在待测视频帧中确定待测图像；

识别模块，用于根据权利要求1-7任一所述的目标检测方法检测所述待测图像中的抛洒物。

14.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行根据权利要求1至7任一项所述的目标检测方法或者根据权利要求8至11任一项所述的车辆抛洒滴漏识别方法。

15.一种计算机程序产品，其特征在于，包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述软件代码部分用于执行权利要求1至7任一项所述的目标检测方法或者根据权利要求8至11任一项所述的车辆抛洒滴漏识别方法。

16.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1至7任一项所述的目标检测方法或者根据权利要求8至11任一项所述的车辆抛洒滴漏识别方法。

Images