CN110516524A

CN110516524A - 一种交通场景中基于Mask R-CNN的车辆轴数识别方法

Info

Publication number: CN110516524A
Application number: CN201910562775.0A
Authority: CN
Inventors: 张建; 张博
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2019-06-26
Filing date: 2019-06-26
Publication date: 2019-11-29

Abstract

本发明公开了一种交通场景中基于Mask R‑CNN的车辆轴数识别方法，该方法以车轮识别为基础，其内容包括：车辆图像数据库的建立、Mask R‑CNN网络的训练、车辆与车轮掩膜的输出及车辆轴数的计算。在车辆轴数计算中，首先将图像中每个车轮掩膜中像素垂直坐标最小的点作为车轮掩膜的顶点，然后统计一个车辆掩膜中所包含的车轮掩膜顶点数量，该数量即为车辆轴数。本发明较基于车轮轮廓形状与模板匹配的识别方法精度更高，检测中只需布设一个交通监控摄像头，与传统采用埋入式传感器的车轴识别方式相比，所需设备成本低。

Description

一种交通场景中基于Mask R-CNN的车辆轴数识别方法

技术领域

本发明涉及计算机视觉技术与智慧交通领域领域，具体为一种交通场景中基于Mask R-CNN的车辆轴数识别方法。

背景技术

车辆轴数识别为车辆分类及路面养护提供最直接的数据依据。当前车辆轴数的识别方式主要分为埋入式传感及非接触式传感两种。在埋入式传感方式中，通常将感应线圈、磁力计、压电电缆等传感器埋入路面铺装层之下，用来直接获得通过车辆的轴数，这种埋入式传感方式的优点是测量精度较高，稳定性强，但埋入式传感器安装复杂，维护困难，并会加速路面的老化。而非接触式传感方式主要利用路边布置的交通监控摄像头来识别车辆的车轮进而获取车辆轴数。传统基于图像的车轮识别方法主要包括基于车轮轮廓形状的椭圆检测与基于模板匹配的识别方法。车轮轮廓椭圆检测方法很依赖图像的边缘检测结果，且易受图像中复杂纹理的干扰，误检率与漏检率都很高。而在基于模板匹配的车轮检测方法中，需要将车轮模板库中所有的样本与检测图像一一进行匹配，花费时间长且精度低。

发明内容

为解决上述问题，本发明公开了一种交通场景中基于Mask R-CNN的车辆轴数识别方法，可准确、快速、低成本地识别得到车辆轴数。

为了达到以上目的，本发明提供如下技术方案：

一种交通场景中基于Mask R-CNN的车辆轴数识别方法，步骤如下：

1.建立包含车辆的交通图像数据库

首先选取交通场景中包含车辆的图像作为训练及测试样本。选取的样本要求在选取的图像中可观测到车辆的侧面，为车轮目标的训练提供基础。在样本的标注过程中将图像中每辆整车区域用图像标注工具手动分割出来，并按对应的车辆类型进行标注。类似地，将图像中的每个车轮区域分割出来标注为车轮类。

2.训练Mask R-CNN网络

首先选取用于提取图像特征的骨架网络结构，再将该骨架网络结构在ImageNet数据集上进行预训练，并将预训练结果作为骨架网络权重初始值。然后基于建立的车辆图像数据库，对Mask R-CNN整体网络进行训练。在训练过程中采用样本水平翻转的方法进行数据增强。

3.目标掩膜输出

将训练之后的Mask R-CNN网络对待测图像或视频帧进行检测，输出检测到的所有车辆及车轮掩膜。

4.确定车辆轴数

将图像中每个识别得到的车轮掩膜中像素垂直坐标最小的点作为该车轮掩膜的顶点，之后统计一个车辆掩膜中所包含的所有车轮掩膜顶点数量，该顶点数量即为车辆轴数。选取车轮掩膜的顶点作为车轮计数的依据是因为通常识别得到的车辆掩膜边缘不精确，而车轮掩膜顶点所在位置不易受车辆掩膜不精确边缘的影响。

与现有技术相比，本发明的有益效果在于：

(1)本发明较传统基于车轮轮廓形状及模板匹配的车辆轴数识别方法精度更高。

(2)本发明车辆轴数识别速度快，适用于交通监控视频的逐帧检测。

(3)本发明方法在检测中只需一个单目交通监控摄像头，与传统埋入式识别方法相比，所需设备成本大幅降低。

附图说明

图1为图像样本标注过程示意图；

图2(a)为车辆掩膜输出结果示意图；

图2(b)为车轮掩膜输出结果示意图；

图2(c)为车辆轴数计算示意图；

图3(a)为交通场景a中车辆轴数的识别结果；

图3(b)为交通场景b中车辆轴数的识别结果；

图3(c)为交通场景c中车辆轴数的识别结果。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

实施例1

如图1-图3(c)所示的一种交通场景中基于Mask R-CNN的车辆轴数识别方法，以某桥面交通场景为例，对交通监控摄像头视野范围内车辆的轴数进行识别。过程如下：

1.建立图像数据库

为了增强网络的泛化能力，车辆图像数据库采集来自不同地区的交通监控摄像头，其中场景包括桥梁、公路与城市街道。采用LabelMe图像标注工具进行样本标注。将样本图像中每辆整车区域分割出来并将车型分为卡车、客车与轿车三类，将图像中的每个车轮区域分割出来并标注为车轮类。图像标注过程如图1所示，图中车型为客车1，标注为车轮2。采集的图像样本分辨率包含1280×720及1920×1080像素，共342张样本，其中243张用于训练，其余样本用来进行测试。

2.网络搭建、训练及测试

为了检验不同骨架网络结构对Mask R-CNN整体网络性能的影响，分别选取常用于提取图像目标特征的Inception-v1、ResNet-50、ResNet-101及ResNeXt-101网络作为MaskR-CNN 的骨架结构，并分别将它们在ImageNet数据集上预训练的结果作为训练初始权重。然后基于建立的车辆图像数据库，对Mask R-CNN网络进行训练。训练共迭代3万次，在1万次之前学习率设为2×10^-3，1万至2万次之间设为2×10^-4，2万至3万次之间设为2×10^-4。动量、权重衰减系数及批尺寸分别设为0.9，5×10^-4与1。测试结果如表1所示。

表1基于不同骨架结构的Mask R-CNN网络性能

从表1中可以看出基于ResNeXt-101的网络检测精度最高，但检测耗时最长，而基于 Inception-v1的网络检测精度最低，但检测耗时最短。为了平衡检测精度与检测速度，本实例中选取了ResNet-50作为Mask R-CNN网络的骨架结构。

3.目标掩膜输出

将训练之后的Mask R-CNN网络对待测图像进行检测，输出检测到的所有车辆及车轮掩膜，其中输出的车辆掩膜如图2(a)所示,输出的车轮掩膜如图2(b)所示。

4.车轴数计算

将图像中每个车轮掩膜中像素垂直坐标最小的点作为车轮掩膜的顶点3，如图2(c)所示。之后统计一个车辆掩膜中所包含的车轮掩膜顶点数量，该数量即为车辆轴数。本实例中卡车掩膜包含了4个车轮掩膜顶点所以识别到的卡车轴数为4，而轿车掩膜包含了2个车轮掩膜顶点所以识别到的轿车轴数为2。为了验证本专利方法在交通场景中的可靠性，对三个不同交通场景(a)、(b)、(c)中的多辆车的轴数进行了识别，识别结果如图3(a)、图3(b)、图3(c)所示，车辆轴数总体识别准确率约为90％。其中车轴数识别错误的情况主要是由于车辆之间发生较严重遮挡，车轮无法被识别所造成。

综上，本发明方法可有效应用于交通场景中的车辆轴数识别当中。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims

1.一种交通场景中基于Mask R-CNN的车辆轴数识别方法，其特征在于：包括以下步骤：

S1：建立交通场景中车辆的图像数据库；

S2：基于建立的图像数据库训练Mask R-CNN网络；

S3：将训练后的Mask R-CNN网络对待测图像或视频帧进行检测，输出检测到的所有车辆及车轮掩膜；

S4：根据车辆掩膜中包含车轮掩膜顶点的数量判断车辆轴数。

2.如权利要求1所述的一种交通场景中基于Mask R-CNN的车辆轴数识别方法，其特征在于：在步骤S1中，首先选取交通场景中包含车辆的图像作为训练及测试样本，并要求在所选取的图像中可观测到车辆的侧面；之后用图像标注工具将图像中每辆整车区域分割出来并按对应的车辆类型进行标注，将图像中的每个车轮区域分割出来并标注为车轮类。

3.如权利要求1所述的一种交通场景中基于Mask R-CNN的车辆轴数识别方法，其特征在于：在步骤S2中，首先选取用于提取图像特征的骨架网络结构，再将骨架网络结构在ImageNet数据集上进行预训练，预训练结果作为骨架网络权重初始值；然后基于建立的车辆图像数据库，对Mask R-CNN整体网络进行训练；训练中采用样本水平翻转的方法进行数据增强。

4.如权利要求1所述的一种交通场景中基于Mask R-CNN的车辆轴数识别方法，其特征在于：在步骤S4中，将图像中每个识别得到的车轮掩膜中像素垂直坐标最小的点作为车轮掩膜的顶点，之后统计一个车辆掩膜中所包含的车轮掩膜顶点数量，所述顶点数量即为车辆轴数。