CN114332688B

CN114332688B - 公路监控视频场景下车辆检测方法

Info

Publication number: CN114332688B
Application number: CN202111522771.3A
Authority: CN
Inventors: 刘尧; 杜逸; 李炎; 金忠富
Original assignee: Intelligent Transportation Research Branch Of Zhejiang Transportation Investment Group Co ltd
Current assignee: Intelligent Transportation Research Branch Of Zhejiang Transportation Investment Group Co ltd
Priority date: 2021-12-14
Filing date: 2021-12-14
Publication date: 2022-09-09
Anticipated expiration: 2041-12-14
Also published as: CN114332688A

Abstract

本发明涉及图像处理领域。目的是提供一种公路监控视频场景下车辆检测方法，该方法应具有检测精度高、检测速度快的特点。技术方案是：公路监控视频场景下车辆检测方法，包括以下步骤：1)采集公路监控图片并对图片中的车辆轮廓进行标注形成数据集；2)将数据集输入车辆空洞卷积模型进行训练，得到训练后的车辆空洞卷积模型；3)利用车辆空洞卷积模型对公路监控视频的图片进行检测。

Description

公路监控视频场景下车辆检测方法

技术领域

本发明涉及图像处理领域，具体是一种公路监控视频场景下车辆检测方法。

背景技术

车辆检测高速公路监控视频分析的基础技术，是车流量检测、车辆行为分析、拥堵预测等技术的前提，属于计算机视觉中目标检测技术的范畴。

目标检测技术从阶段上分为二阶段检测技术和一阶段检测技术。二阶段检测技术的基本流程是先提出目标候选框，在第一阶段计算目标框的粗略位置、大小和前景概率，在第二阶段计算精确的目标框位置、大小及类别，代表性的方法有：RCNN(Regions with CNNfeatures),SPP-NET(Spatial Pyramid Pooling)，Fast RCNN，Faster RCNN等。一阶段检测技术的做法是直接通过深度神经网络计算目标的大小、位置和类别，代表性的方法有YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)。二阶段检测技术的架构具有较高的检测精度，但也限制了检测速度，一阶段检测技术的优势是速度快，劣势是精度下降。

在高速公路视频分析场景中，视频流是24小时不停产生的，因此使用二阶段检测技术进行车辆检测对检测结果的时效性和算力的挑战较大，同时，高速公路场景目标物体类别较少，视频质量高，再考虑时效性和算力的要求，一阶段检测技术更加符合高速公路车辆检测任务的要求。

目标检测需要定位出目标的位置，特征图分别率不宜过小，因此造成以下两种缺陷：1、大物体难以定位，大物体在较深的特征图上检测时，由于网络较深，下采样率大，目标框难以精确预测，增加了边界计算的难度；2、小物体难以检测：小物体通常在较浅层的特征图上检测，但浅层的语义信息弱，且融合深层特征时使用的上采样操作也会增加目标检测的难度。

目标检测包含两步，第一步通常是利用卷积神经网络处理输入图像，生成深层的特征图，这部分是网络是整个检测算法的骨架(Backbone)。第二步做区域生成和损失计算。Backbone方面常用的算法有VGGNet、Inception、ResNet、DenseNet、FPN(Feature PyramidNetworks)、DetNet。

当前网络在目标检测方面取得了巨大的成果，但仍存在以下问题：目标定位性弱；深层次的特征图对于物体定位不利，尤其是当分类网络涉及多个阶段时，这些目标的边界可能过于模糊而无法获得准确的回归；浅层通常仅具有低语义信息，这可能不足以识别目标实例的类别。

发明内容

本发明的目的是克服上述背景技术中的不足，提供一种公路监控视频场景下车辆检测方法，该方法应具有检测精度高、检测速度快的特点。

本发明的技术方案是：

公路监控视频场景下车辆检测方法，包括以下步骤：

1)采集公路监控图片并对图片中的车辆轮廓进行标注形成数据集；

2)将数据集输入车辆空洞卷积模型进行训练，得到训练后的车辆空洞卷积模型；

3)利用车辆空洞卷积模型对公路监控视频的图片进行检测；

所述车辆空洞卷积模型包括Backbone网络、Head网络、Detect网络；所述Backbone网络包括依次连接的Focus层、第一卷积层、残差结构空洞卷积层、第二卷积层、第一残差结构卷积层、第三卷积层、第二残差结构卷积层、第四卷积层、空间金字塔池化层、第三残差结构卷积层；所述Head网络包括依次连接的第五卷积层、第一上采样层、第一拼接层、第四残差结构卷积层、第六卷积层、第二上采样层、第二拼接层、第五残差结构卷积层、第七卷积层、第三拼接层、第六残差结构卷积层、第八卷积层、第四拼接层、第七残差结构卷积层；所述Detect网络基于预设定尺寸的候选框对特征图的目标进行分类和边界预测，Detect网络包括第一检测层、第二检测层、第三检测层；

所述第三残差结构卷积层的输出连接第五卷积层的输入，第一残差结构卷积层的输出还连接第二拼接层的输入，第二残差结构卷积层的输出还连接第一拼接层的输入，第五卷积层的输出还连接第四拼接层的输入，第六卷积层的输出还连接第三拼接层的输入，第五残差结构卷积层的输出还连接第一检测层的输入，第六残差结构卷积层的输出还连接第二检测层的输入，第七残差结构卷积层的输出还连接第三检测层的输入。

所述Focus层包括：对图片进行切片操作，将每张图片分成四张互补的图片，再将四张图片拼接后进行卷积操作，得到二倍下采样特征图。

所述第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层的步骤相同。

所述第一残差结构卷积层、第二残差结构卷积层、第三残差结构卷积层、第四残差结构卷积层、第五残差结构卷积层、第六残差结构卷积层、第七残差结构卷积层均包括：

S1-1、对输入特征图进行两次卷积操作；

S1-2、将S1-1的输出与输入特征图进行相加；

S1-3、将输入特征图进行一次卷积操作；

S1-4、将S1-2和S1-3的输出进行拼接，然后再进行一次卷积操作。

所述空间金字塔池化层包括：

S2-1、将输入特征图进行一次卷积操作；

S2-2、使用不同大小的池化窗口对输入特征图进行池化；

S2-3、将输入特征图与S2-2的输出进行拼接，再进行卷积操作。

所述残差结构空洞卷积层包括：

S3-1、对输入特征图依次进行卷积操作、空洞卷积操作、卷积操作；

S3-2、将输入特征图与S3-1的输出进行相加；

S3-3、将输入特征图进行空洞卷积操作；

S3-4、将S3-2的输出和S3-3的输出进行拼接，再进行卷积操作。

所述第一拼接层、第二拼接层、第三拼接层、第四拼接层均包括将浅层次的特征图和深层次的特征图进行拼接以融合多层次特征图的信息。

所述第一上采样层与第二上采样层均采用内插值法。

所述第一卷积层与卷积操作的步骤相同，均包括图像卷积、BatchNorm和激活函数。

本发明的有益效果是：

本发明的车辆空洞卷积模型包括三层网络结构，Backbone网络用于提取图像特征，Head网络构建特征图，Detect网络实现目标定位与分类；其中，Backbone网络采用了残差结构空洞卷积层，增加了特征图感受野和信息量，其输入特征图分三路(图7所示)，第一路依次经过卷积核为1*1的卷积、卷积核为3*3且空洞数为1的空洞卷积以及卷积核为1*1的卷积，第二路保持原始输入不变，第三路经过卷积核为1*1的卷积，第一路和第二路输出经过相加后与第三路输出进行拼接并卷积，残差结构空洞卷积层的优点是简化了学习过程，增强了梯度传播，可以解决梯度消失、梯度爆炸和网络退化问题；因此，本发明非常适合公路场景下车辆检测，可以实现大物体的精确定位与小物体的准确检测，极大地提升了检测精度与检测速度，保证了检测结构的时效性，降低了检测算力。

附图说明

图1是本发明的车辆空洞卷积模型的总体架构图。

图2是本发明的Focus层的示意图。

图3是本发明的卷积操作的示意图。

图4是本发明的各残差结构卷积层的示意图。

图5是本发明的空间金字塔池化层的示意图。

图6是空洞卷积操作的示意图。

图7是本发明的残差结构空洞卷积层的示意图。

图8是数据集的标签分布图。

图9是数据集的标签的标注框尺寸比例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种公路监控视频场景下车辆检测方法，包括以下步骤：

1)采集公路监控图片并对图片中的车辆轮廓进行标注形成数据集；将数据集划分为训练集与测试集；

3)利用车辆空洞卷积模型对公路监控视频的图片进行检测。

如图1所示，车辆空洞卷积模型(Dilated Convolution Model for Car，简称DCMC)包括三部分，分别为Backbone网络(主干网络)、Head网络(头网络)、Detect网络(检测网络)。

所述Backbone网络由五种神经网络层组成，分别为Focus层、卷积层、残差结构卷积层、空间金字塔池化层、残差结构空洞卷积层。其中，Backbone网络包括依次连接的Focus层、第一卷积层、残差结构空洞卷积层、第二卷积层、第一残差结构卷积层、第三卷积层、第二残差结构卷积层、第四卷积层、空间金字塔池化层、第三残差结构卷积层。

所述Head网络由卷积层、上采样层、拼接层和残差结构卷积层组成。其中，Head网络包括依次连接的第五卷积层、第一上采样层、第一拼接层、第四残差结构卷积层、第六卷积层、第二上采样层、第二拼接层、第五残差结构卷积层、第七卷积层、第三拼接层、第六残差结构卷积层、第八卷积层、第四拼接层、第七残差结构卷积层。

所述第三残差结构卷积层的输出连接第五卷积层的输入，第一残差结构卷积层的输出还连接第二拼接层的输入，第二残差结构卷积层的输出还连接第一拼接层的输入，第五卷积层的输出还连接第四拼接层的输入，第六卷积层的输出还连接第三拼接层的输入。

所述Detect网络基于预设定尺寸的候选框对特征图上的目标进行分类和边界预测，Detect网络包括第一检测层、第二检测层、第三检测层，第五残差结构卷积层的输出还连接第一检测层的输入，第六残差结构卷积层的输出还连接第二检测层的输入，第七残差结构卷积层的输出还连接第三检测层的输入。

三个检测层连接了不同尺寸的特征图，第一检测层对应的特征图尺寸最大，用于小目标检测，第二检测曾对应的特征图尺寸中等，用于中等目标检测，第三检测层对应特征图尺寸最小，用于大目标检测。

所述Focus层先对图片进行切片，再将图片进行通道级拼接(通道数扩张数倍)，最后进行卷积。具体步骤是：如图2所示，是在原始输入图片上隔像素点取一个值(类似于邻近下采样)，将一张图片分成四份(Slice)后进行拼接(Concat)，四份图片互补但是无信息丢失，从而将W、H信息集中到了通道空间，输入通道扩充了4倍，拼接起来的图片相对于原先的RGB三通道模式扩张成12个通道，将获得的新图片再进行卷积操作(CBS)，最后得到无信息丢失的二倍下采样特征图。

如图4所示，所述第一残差结构卷积层、第二残差结构卷积层、第三残差结构卷积层、第四残差结构卷积层、第五残差结构卷积层、第六残差结构卷积层、第七残差结构卷积层的步骤相同，均包括(C3表示各个残差结构卷积层)：

S1-1、对输入特征图进行两次卷积操作(CBS)；

S1-2、将S1-1的输出与输入特征图进行相加(add)；相加是把对应特征图上的相同通道进行一一对应相加，通道数不变；

S1-3、将输入特征图进行一次卷积操作(CBS)；

S1-4、将S1-2和S1-3的输出进行拼接(Concat)，然后再进行一次卷积操作(CBS)；拼接是指在通道深度上扩展，通道数增加。

如图5所示，所述空间金字塔池化层(SPP)用于提取不同尺度的特征，包括：

S2-1、将输入特征图进行一次卷积操作(CBS)；

S2-2、使用不同大小的池化窗口(MaxPool)对输入特征图进行池化；图中显示有3个池化窗口，池化窗口大小分别为5*5、9*9、13*13；

S2-3、将输入特征图与S2-2的输出进行拼接(Concat)，再进行卷积操作(CBS)。

如图7所示，所述残差结构空洞卷积层(DC5)包括：

S3-1、对输入特征图依次进行卷积操作(CBS)、空洞卷积操作(D-conv)、卷积操作(CBS)；

S3-2、将输入特征图与S3-1的输出进行相加(add)；

S3-3、将输入特征图进行空洞卷积操作(D-conv)；

S3-4、将S3-2的输出和S3-3的输出进行拼接(Concat)，再进行卷积操作(CBS)。

所述残差结构空洞卷积层中：相较于普通的卷积操作，空洞卷积操作在不引入更多参数的同时，可以获取更大的感受野，捕获多尺度上下文信息，特征图像素点包含信息的范围也更多。如图6所示，相同颜色的像素点(颜色以数字表示)在空洞参数为1的空洞卷积操作时使用同一个空洞卷积核，相当于在原始的卷积核对应特征图上的像素点向外发散。

所述空洞卷积操作(D-conv)具体计算方式是：将空洞卷积核在特征图上滑动，特征图上的数值与卷积核对应的数值相乘相加作为结果，空洞卷积核在特征图上滑动并完成所有计算，生成新的特征图结果。

所述第一上采样层与第二上采样层均采用内插值法(最近邻下采样)，内插值法是最简单的一种插值方法，不需要计算，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素(最近邻下采样，在待求像素的四邻像素中，将距离待求像素最近的邻像素灰度赋给待求像素)。

所述第一拼接层、第二拼接层、第三拼接层、第四拼接层的步骤相同，均包括将浅层次的特征图和深层次的特征图进行拼接以融合多层次特征图的信息，浅层次的特征图有利于目标检测的边界计算，而深层次的特征图有利于图像语义计算。

所述第一拼接层将第二残差结构卷积层(浅层次)与第一上采样层(深层次)进行拼接。所述第二拼接层将第一残差结构卷积层(浅层次)与第二上采样层(深层次)进行拼接。所述第三拼接层将第六卷积层(浅层次)与第七卷积层(深层次)进行拼接。所述第四拼接层将第五卷积层(浅层次)与第八卷积层(深层次)进行拼接。

所述第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层的步骤与卷积操作(CBS)的步骤相同，均包括(如图3所示)：对特征图进行图像卷积(Conv)、BatchNorm(BN)和激活函数(Silu)处理。激活函数选用SiLU函数(Sigmoid Weighted Liner Unit)。

图像卷积是指卷积核与特征图上的数值对应相乘相加，卷积核可以在特征图上上下左右滑动，完成所有位置的计算。BatchNorm为batch内所有数据做归一化，具体步骤是，先求出此次批量数据的均值和标准差，其次将所有卷积核输出值减去均值除以标准差，最后引入缩放和平移变量，即乘上一个可学习的系数，加上一个偏置。Batchnorm有效解决梯度消失问题，并加速收敛。SiLU函数，SiLU全称Sigmoid Weighted Liner Unit，计算公式为

SiLU(x)＝x*Sigmoid(x)

SiLU函数是非饱和型激活函数，且在全值域可导。

卷积操作是图像操作中的重要部分，本质是用卷积核的参数来提取数据的特征，具体做法是用卷积核对图像上对应区域的元素值相加求和，并使用滑动方法完成对整个图像的卷积操作，相关参数包括卷积核大小、步长、数量(输出通道数)等。

车辆空洞卷积模型(DCMC)的总体流程(表1所示)为：第1层为Focus层，第2到11层由CBS、DCS、C3、SPP层组成，每一层的输入均来自上一层，第12、16层是上采样层，第13、17、20、23层为拼接层，其他层由CBS和C3层构成，第25、26、27层为Detect层，所需要的特征图来自18、21、24层；DCMC中除残差空洞卷积层包含1*1卷积核之外，所有卷积核大小均为3*3。

表1

实验验证

数据集采用公开数据集Ua-Detrac。该数据集包括在中国北京和天津的24个不同道路使用Cannon Eos 550d相机拍摄的10小时视频。视频以每秒25帧(Fps)的速度录制，分辨率为960×540像素。该数据集包括训练集与测试集，训练集包含82085张图片，测试集包含14867张图片。经过对数据集以及标注结果的清洗，训练集保留80605张图片，测试集保留14866张图片。如图八所示，标签包含四个类别，分别为Car、Van、Bus、Others。标签的标注框尺寸比例如图九所示。

硬件与开发环境的配置为：torch 1.7，CUDA11.2，GPUNVIDIA GeForce RTX 3090,24575.5MB。

对比Baseline选择YOLOV5s算法。选用YOLOV5s的原因在于：

1、YOLOV5s算法在2020年6月9号提出，兼具速度与精度，是目标检测领域的前沿和具有代表性的算法；

2、模型结构大小和参数量与本专利提出的方法相当，具有效果可比性。

表2检测精度实验结果

表3模型检测速度

模型

视频帧数

视频尺寸

检测时长

平均耗时

多GPU

多线程

DCMC

750

960*960

8.416s

11.22ms

否

YOLOV5s

750

960*960

8.416s

11.22ms

否

如表2、表3的实验结果表明：

1、DCMC的最佳mAP(mean Average Precision)达到0.707，优于YOLOV5s的0.669；

2、DCMC的训练速度更快，在第6个epoch就达到最佳效果；YOLOV5s在第9个epoch达到最佳效果，DCMC在应用中将节省更多的离线计算资源；

3、DCMC的检测速度在单GPU单线程的情况下，单张图片检测耗时约11.22ms，与YOLOV5s速度相当，在相同检测速度的情况下DCMC提升了检测精度。

Claims

1.公路监控视频场景下车辆检测方法，包括以下步骤：

3)利用车辆空洞卷积模型对公路监控视频的图片进行检测；

所述第三残差结构卷积层的输出连接第五卷积层的输入，第一残差结构卷积层的输出还连接第二拼接层的输入，第二残差结构卷积层的输出还连接第一拼接层的输入，第五卷积层的输出还连接第四拼接层的输入，第六卷积层的输出还连接第三拼接层的输入，第五残差结构卷积层的输出还连接第一检测层的输入，第六残差结构卷积层的输出还连接第二检测层的输入，第七残差结构卷积层的输出还连接第三检测层的输入；

S1-1、对输入特征图进行两次卷积操作；

S1-2、将S1-1的输出与输入特征图进行相加；

S1-3、将输入特征图进行一次卷积操作；

S1-4、将S1-2和S1-3的输出进行拼接，然后再进行一次卷积操作；

所述残差结构空洞卷积层包括：

S3-2、将输入特征图与S3-1的输出进行相加；

S3-3、将输入特征图进行空洞卷积操作；

S3-4、将S3-2的输出和S3-3的输出进行拼接，再进行卷积操作。

2.根据权利要求1所述的公路监控视频场景下车辆检测方法，其特征在于：所述Focus层包括：对图片进行切片操作，将每张图片分成四张互补的图片，再将四张图片拼接后进行卷积操作，得到二倍下采样特征图。

3.根据权利要求2所述的公路监控视频场景下车辆检测方法，其特征在于：所述第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层的步骤相同。

4.根据权利要求3所述的公路监控视频场景下车辆检测方法，其特征在于：所述空间金字塔池化层包括：

S2-1、将输入特征图进行一次卷积操作；

S2-2、使用不同大小的池化窗口对输入特征图进行池化；

5.根据权利要求4所述的公路监控视频场景下车辆检测方法，其特征在于：所述第一拼接层、第二拼接层、第三拼接层、第四拼接层均包括将浅层次的特征图和深层次的特征图进行拼接以融合多层次特征图的信息。

6.根据权利要求5所述的公路监控视频场景下车辆检测方法，其特征在于：所述第一上采样层与第二上采样层均采用内插值法。

7.根据权利要求6所述的公路监控视频场景下车辆检测方法，其特征在于：所述第一卷积层与卷积操作的步骤相同，均包括向量卷积、BatchNorm层和激活。