CN110516524A - 一种交通场景中基于Mask R-CNN的车辆轴数识别方法 - Google Patents
一种交通场景中基于Mask R-CNN的车辆轴数识别方法 Download PDFInfo
- Publication number
- CN110516524A CN110516524A CN201910562775.0A CN201910562775A CN110516524A CN 110516524 A CN110516524 A CN 110516524A CN 201910562775 A CN201910562775 A CN 201910562775A CN 110516524 A CN110516524 A CN 110516524A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- mask
- wheel
- axle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种交通场景中基于Mask R‑CNN的车辆轴数识别方法,该方法以车轮识别为基础,其内容包括:车辆图像数据库的建立、Mask R‑CNN网络的训练、车辆与车轮掩膜的输出及车辆轴数的计算。在车辆轴数计算中,首先将图像中每个车轮掩膜中像素垂直坐标最小的点作为车轮掩膜的顶点,然后统计一个车辆掩膜中所包含的车轮掩膜顶点数量,该数量即为车辆轴数。本发明较基于车轮轮廓形状与模板匹配的识别方法精度更高,检测中只需布设一个交通监控摄像头,与传统采用埋入式传感器的车轴识别方式相比,所需设备成本低。
Description
技术领域
本发明涉及计算机视觉技术与智慧交通领域领域,具体为一种交通场景中基于Mask R-CNN的车辆轴数识别方法。
背景技术
车辆轴数识别为车辆分类及路面养护提供最直接的数据依据。当前车辆轴数的识别方式 主要分为埋入式传感及非接触式传感两种。在埋入式传感方式中,通常将感应线圈、磁力计、 压电电缆等传感器埋入路面铺装层之下,用来直接获得通过车辆的轴数,这种埋入式传感方 式的优点是测量精度较高,稳定性强,但埋入式传感器安装复杂,维护困难,并会加速路面 的老化。而非接触式传感方式主要利用路边布置的交通监控摄像头来识别车辆的车轮进而获 取车辆轴数。传统基于图像的车轮识别方法主要包括基于车轮轮廓形状的椭圆检测与基于模 板匹配的识别方法。车轮轮廓椭圆检测方法很依赖图像的边缘检测结果,且易受图像中复杂 纹理的干扰,误检率与漏检率都很高。而在基于模板匹配的车轮检测方法中,需要将车轮模 板库中所有的样本与检测图像一一进行匹配,花费时间长且精度低。
发明内容
为解决上述问题,本发明公开了一种交通场景中基于Mask R-CNN的车辆轴数识别方法, 可准确、快速、低成本地识别得到车辆轴数。
为了达到以上目的,本发明提供如下技术方案:
一种交通场景中基于Mask R-CNN的车辆轴数识别方法,步骤如下:
1.建立包含车辆的交通图像数据库
首先选取交通场景中包含车辆的图像作为训练及测试样本。选取的样本要求在选取的图 像中可观测到车辆的侧面,为车轮目标的训练提供基础。在样本的标注过程中将图像中每辆 整车区域用图像标注工具手动分割出来,并按对应的车辆类型进行标注。类似地,将图像中 的每个车轮区域分割出来标注为车轮类。
2.训练Mask R-CNN网络
首先选取用于提取图像特征的骨架网络结构,再将该骨架网络结构在ImageNet数据集上 进行预训练,并将预训练结果作为骨架网络权重初始值。然后基于建立的车辆图像数据库, 对Mask R-CNN整体网络进行训练。在训练过程中采用样本水平翻转的方法进行数据增强。
3.目标掩膜输出
将训练之后的Mask R-CNN网络对待测图像或视频帧进行检测,输出检测到的所有车辆 及车轮掩膜。
4.确定车辆轴数
将图像中每个识别得到的车轮掩膜中像素垂直坐标最小的点作为该车轮掩膜的顶点,之 后统计一个车辆掩膜中所包含的所有车轮掩膜顶点数量,该顶点数量即为车辆轴数。选取车 轮掩膜的顶点作为车轮计数的依据是因为通常识别得到的车辆掩膜边缘不精确,而车轮掩膜 顶点所在位置不易受车辆掩膜不精确边缘的影响。
与现有技术相比,本发明的有益效果在于:
(1)本发明较传统基于车轮轮廓形状及模板匹配的车辆轴数识别方法精度更高。
(2)本发明车辆轴数识别速度快,适用于交通监控视频的逐帧检测。
(3)本发明方法在检测中只需一个单目交通监控摄像头,与传统埋入式识别方法相比, 所需设备成本大幅降低。
附图说明
图1为图像样本标注过程示意图;
图2(a)为车辆掩膜输出结果示意图;
图2(b)为车轮掩膜输出结果示意图;
图2(c)为车辆轴数计算示意图;
图3(a)为交通场景a中车辆轴数的识别结果;
图3(b)为交通场景b中车辆轴数的识别结果;
图3(c)为交通场景c中车辆轴数的识别结果。
具体实施方式
下面结合附图和具体实施方式,进一步阐明本发明,应理解下述具体实施方式仅用于说 明本发明而不用于限制本发明的范围。
实施例1
如图1-图3(c)所示的一种交通场景中基于Mask R-CNN的车辆轴数识别方法,以某桥 面交通场景为例,对交通监控摄像头视野范围内车辆的轴数进行识别。过程如下:
1.建立图像数据库
为了增强网络的泛化能力,车辆图像数据库采集来自不同地区的交通监控摄像头,其中 场景包括桥梁、公路与城市街道。采用LabelMe图像标注工具进行样本标注。将样本图像中每 辆整车区域分割出来并将车型分为卡车、客车与轿车三类,将图像中的每个车轮区域分割出 来并标注为车轮类。图像标注过程如图1所示,图中车型为客车1,标注为车轮2。采集的图像 样本分辨率包含1280×720及1920×1080像素,共342张样本,其中243张用于训练,其余样本用 来进行测试。
2.网络搭建、训练及测试
为了检验不同骨架网络结构对Mask R-CNN整体网络性能的影响,分别选取常用于提取 图像目标特征的Inception-v1、ResNet-50、ResNet-101及ResNeXt-101网络作为MaskR-CNN 的骨架结构,并分别将它们在ImageNet数据集上预训练的结果作为训练初始权重。然后基于 建立的车辆图像数据库,对Mask R-CNN网络进行训练。训练共迭代3万次,在1万次之前 学习率设为2×10-3,1万至2万次之间设为2×10-4,2万至3万次之间设为2×10-4。动量、权 重衰减系数及批尺寸分别设为0.9,5×10-4与1。测试结果如表1所示。
表1基于不同骨架结构的Mask R-CNN网络性能
从表1中可以看出基于ResNeXt-101的网络检测精度最高,但检测耗时最长,而基于 Inception-v1的网络检测精度最低,但检测耗时最短。为了平衡检测精度与检测速度,本实例 中选取了ResNet-50作为Mask R-CNN网络的骨架结构。
3.目标掩膜输出
将训练之后的Mask R-CNN网络对待测图像进行检测,输出检测到的所有车辆及车轮掩 膜,其中输出的车辆掩膜如图2(a)所示,输出的车轮掩膜如图2(b)所示。
4.车轴数计算
将图像中每个车轮掩膜中像素垂直坐标最小的点作为车轮掩膜的顶点3,如图2(c)所 示。之后统计一个车辆掩膜中所包含的车轮掩膜顶点数量,该数量即为车辆轴数。本实例中 卡车掩膜包含了4个车轮掩膜顶点所以识别到的卡车轴数为4,而轿车掩膜包含了2个车轮 掩膜顶点所以识别到的轿车轴数为2。为了验证本专利方法在交通场景中的可靠性,对三个 不同交通场景(a)、(b)、(c)中的多辆车的轴数进行了识别,识别结果如图3(a)、图3(b)、 图3(c)所示,车辆轴数总体识别准确率约为90%。其中车轴数识别错误的情况主要是由于 车辆之间发生较严重遮挡,车轮无法被识别所造成。
综上,本发明方法可有效应用于交通场景中的车辆轴数识别当中。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段,还包括由以上 技术特征任意组合所组成的技术方案。应当指出,对于本技术领域的普通技术人员来说,在 不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的 保护范围。
Claims (4)
1.一种交通场景中基于Mask R-CNN的车辆轴数识别方法,其特征在于:包括以下步骤:
S1:建立交通场景中车辆的图像数据库;
S2:基于建立的图像数据库训练Mask R-CNN网络;
S3:将训练后的Mask R-CNN网络对待测图像或视频帧进行检测,输出检测到的所有车辆及车轮掩膜;
S4:根据车辆掩膜中包含车轮掩膜顶点的数量判断车辆轴数。
2.如权利要求1所述的一种交通场景中基于Mask R-CNN的车辆轴数识别方法,其特征在于:在步骤S1中,首先选取交通场景中包含车辆的图像作为训练及测试样本,并要求在所选取的图像中可观测到车辆的侧面;之后用图像标注工具将图像中每辆整车区域分割出来并按对应的车辆类型进行标注,将图像中的每个车轮区域分割出来并标注为车轮类。
3.如权利要求1所述的一种交通场景中基于Mask R-CNN的车辆轴数识别方法,其特征在于:在步骤S2中,首先选取用于提取图像特征的骨架网络结构,再将骨架网络结构在ImageNet数据集上进行预训练,预训练结果作为骨架网络权重初始值;然后基于建立的车辆图像数据库,对Mask R-CNN整体网络进行训练;训练中采用样本水平翻转的方法进行数据增强。
4.如权利要求1所述的一种交通场景中基于Mask R-CNN的车辆轴数识别方法,其特征在于:在步骤S4中,将图像中每个识别得到的车轮掩膜中像素垂直坐标最小的点作为车轮掩膜的顶点,之后统计一个车辆掩膜中所包含的车轮掩膜顶点数量,所述顶点数量即为车辆轴数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910562775.0A CN110516524A (zh) | 2019-06-26 | 2019-06-26 | 一种交通场景中基于Mask R-CNN的车辆轴数识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910562775.0A CN110516524A (zh) | 2019-06-26 | 2019-06-26 | 一种交通场景中基于Mask R-CNN的车辆轴数识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110516524A true CN110516524A (zh) | 2019-11-29 |
Family
ID=68622359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910562775.0A Pending CN110516524A (zh) | 2019-06-26 | 2019-06-26 | 一种交通场景中基于Mask R-CNN的车辆轴数识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110516524A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111368637A (zh) * | 2020-02-10 | 2020-07-03 | 南京师范大学 | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 |
CN111508239A (zh) * | 2020-04-16 | 2020-08-07 | 成都旸谷信息技术有限公司 | 基于mask矩阵的车流量智能识别方法、系统 |
CN116453075A (zh) * | 2023-06-14 | 2023-07-18 | 山东省科学院海洋仪器仪表研究所 | 一种基于图像处理的轮轴识别方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105427614A (zh) * | 2015-08-28 | 2016-03-23 | 北京动视元科技有限公司 | 一种车型分类系统及其方法 |
CN108805042A (zh) * | 2018-05-25 | 2018-11-13 | 武汉东智科技股份有限公司 | 道路区域监控视频被树叶遮挡的检测方法 |
CN108898610A (zh) * | 2018-07-20 | 2018-11-27 | 电子科技大学 | 一种基于mask-RCNN的物体轮廓提取方法 |
CN109064495A (zh) * | 2018-09-19 | 2018-12-21 | 东南大学 | 一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法 |
CN109815933A (zh) * | 2019-02-11 | 2019-05-28 | 山东省公安厅高速公路交通警察总队 | 一种多轴车自动识别取证装置、系统及方法 |
CN109870223A (zh) * | 2019-01-17 | 2019-06-11 | 同济大学 | 一种视觉技术辅助的桥梁动态称重方法 |
CN109887273A (zh) * | 2019-01-23 | 2019-06-14 | 同济大学 | 一种基于多源冗余信息的桥梁活载优化识别方法 |
CN109919072A (zh) * | 2019-02-28 | 2019-06-21 | 桂林电子科技大学 | 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法 |
CN110379168A (zh) * | 2019-06-24 | 2019-10-25 | 东南大学 | 一种基于Mask R-CNN的交通车辆信息获取方法 |
-
2019
- 2019-06-26 CN CN201910562775.0A patent/CN110516524A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105427614A (zh) * | 2015-08-28 | 2016-03-23 | 北京动视元科技有限公司 | 一种车型分类系统及其方法 |
CN108805042A (zh) * | 2018-05-25 | 2018-11-13 | 武汉东智科技股份有限公司 | 道路区域监控视频被树叶遮挡的检测方法 |
CN108898610A (zh) * | 2018-07-20 | 2018-11-27 | 电子科技大学 | 一种基于mask-RCNN的物体轮廓提取方法 |
CN109064495A (zh) * | 2018-09-19 | 2018-12-21 | 东南大学 | 一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法 |
CN109870223A (zh) * | 2019-01-17 | 2019-06-11 | 同济大学 | 一种视觉技术辅助的桥梁动态称重方法 |
CN109887273A (zh) * | 2019-01-23 | 2019-06-14 | 同济大学 | 一种基于多源冗余信息的桥梁活载优化识别方法 |
CN109815933A (zh) * | 2019-02-11 | 2019-05-28 | 山东省公安厅高速公路交通警察总队 | 一种多轴车自动识别取证装置、系统及方法 |
CN109919072A (zh) * | 2019-02-28 | 2019-06-21 | 桂林电子科技大学 | 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法 |
CN110379168A (zh) * | 2019-06-24 | 2019-10-25 | 东南大学 | 一种基于Mask R-CNN的交通车辆信息获取方法 |
Non-Patent Citations (1)
Title |
---|
KAIMING HE等: "Mask R-CNN", 《 PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111368637A (zh) * | 2020-02-10 | 2020-07-03 | 南京师范大学 | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 |
CN111368637B (zh) * | 2020-02-10 | 2023-08-11 | 南京师范大学 | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 |
CN111508239A (zh) * | 2020-04-16 | 2020-08-07 | 成都旸谷信息技术有限公司 | 基于mask矩阵的车流量智能识别方法、系统 |
CN116453075A (zh) * | 2023-06-14 | 2023-07-18 | 山东省科学院海洋仪器仪表研究所 | 一种基于图像处理的轮轴识别方法及系统 |
CN116453075B (zh) * | 2023-06-14 | 2023-09-08 | 山东省科学院海洋仪器仪表研究所 | 一种基于图像处理的货车轮轴识别方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112380952B (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
CN112818988B (zh) | 一种指针式仪表自动识别读数方法及系统 | |
CN108759973B (zh) | 一种水位测量方法 | |
CN108898047B (zh) | 基于分块遮挡感知的行人检测方法及系统 | |
CN105373135B (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
CN110246130B (zh) | 基于红外和可见光图像数据融合的机场道面裂缝检测方法 | |
CN110910378B (zh) | 一种基于深度融合网络的双模态图像能见度检测方法 | |
CN110516524A (zh) | 一种交通场景中基于Mask R-CNN的车辆轴数识别方法 | |
CN106529559A (zh) | 一种指针式圆形多仪表盘实时读数识别方法 | |
CN104483326A (zh) | 基于深度信念网络的高压线绝缘子缺陷检测方法及系统 | |
CN107066998A (zh) | 一种利用移动设备的指针式圆形单仪表盘实时识别方法 | |
CN108681693A (zh) | 基于可信区域的车牌识别方法 | |
CN111079589B (zh) | 基于深度摄像和身高阈值像素标定的自动身高检测方法 | |
CN108710909B (zh) | 一种可变形旋转不变装箱物体清点方法 | |
CN107798293A (zh) | 一种道路裂缝检测装置 | |
CN106951863B (zh) | 一种基于随机森林的变电站设备红外图像变化检测方法 | |
CN109579774B (zh) | 一种基于深度实例分割网络的天线下倾角测量方法 | |
CN113781537A (zh) | 一种轨道弹条扣件缺陷识别方法、装置和计算机设备 | |
KR101874968B1 (ko) | 이미지 정보 기반의 시정거리 측정 시스템 및 이를 이용한 시정거리 측정 방법 | |
CN111582270A (zh) | 基于高精度的桥梁区域视觉靶标特征点的识别追踪方法 | |
CN114972153A (zh) | 一种基于深度学习的桥梁振动位移视觉测量方法及系统 | |
CN109977862A (zh) | 一种车位限位器的识别方法 | |
CN114266893A (zh) | 烟火隐患识别方法和设备 | |
CN113065556A (zh) | 一种数字式仪表定位和数字识别方法、装置和计算机设备 | |
CN112381747A (zh) | 基于轮廓特征点的太赫兹与可见光图像配准方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191129 |
|
RJ01 | Rejection of invention patent application after publication |