CN107247967A - 一种基于r‑cnn的车窗年检标检测方法 - Google Patents

一种基于r‑cnn的车窗年检标检测方法 Download PDF

Info

Publication number
CN107247967A
CN107247967A CN201710424766.6A CN201710424766A CN107247967A CN 107247967 A CN107247967 A CN 107247967A CN 201710424766 A CN201710424766 A CN 201710424766A CN 107247967 A CN107247967 A CN 107247967A
Authority
CN
China
Prior art keywords
annual test
super
cnn1
algorithm
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710424766.6A
Other languages
English (en)
Other versions
CN107247967B (zh
Inventor
尚凌辉
王弘玥
张兆生
丁连涛
刘小扬
郑永宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Original Assignee
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd filed Critical ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority to CN201710424766.6A priority Critical patent/CN107247967B/zh
Publication of CN107247967A publication Critical patent/CN107247967A/zh
Application granted granted Critical
Publication of CN107247967B publication Critical patent/CN107247967B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于R‑CNN的车窗年检标检测方法。本发明先使用超像素算法提取建议区域，再使用级联思想设计CNN分类网络，使用CNN回归提升年检标检测位置准确性，最后使用年检标的先验信息提升年检标检测的性能。本发明使用车窗位置信息，减少计算量；同时使用超像素分割算法，对算法做了GPU优化和算法优化，并且使用了车型信息指导超像素分割算法得到更好的结果，只需要两次迭代就可以得到较好的结果。

Description

一种基于R-CNN的车窗年检标检测方法
技术领域
本发明属于视频监控技术领域，涉及一种基于R-CNN的车窗年检标检测方法。
背景技术
当前，道路监控摄像头的安装已经十分普遍，如何利用好监控摄像头产生的大量车辆数据成为了一个问题。车辆检测、车牌识别等已经不能满足需求，需要更深度的车辆数据应用，比如套牌车检测、车辆轨迹分析、犯罪侦查、车辆是否按时年检等。
相对于车窗内的人、摆件、挂件等，年检标是一个更大概率上短时间内不变的特征物体。而检测并定位到年检标的位置，为进一步分析车辆是够按时年检等应用打下基础。
目前已有的技术中：
《一种基于深度学习的车辆特征物检测方法-201610052980.9》提出的结合selective search(Selective Search for Object Recognition)与edgebox(EdgeBoxes:Locating Object Proposals from Edges)建议框提取方法，对于提取年检标建议框效果不好，特别是多个年检标黏连的情况，而且速度较慢。
《一种车辆物件检测方法及装置-201610073077.0》直接在监控图像上做年检标检测，而不是在车窗上做，对于年检标检测问题，这个方法中大量的计算量其实是不必要的，而且提取特征图像的GoogleNet模型，计算量也过大了，因此限制了输入图片大小不能过大(400*800)，图片需要缩图，在车窗占整个图像比例较小的情况的，检测年检标这种小物体性能会急剧下降。
发明内容
本发明针对现有技术的不足，提供了一种基于R-CNN的车窗年检标检测方法。
本发明使用R-CNN(Region-based Convolutional Neural Network)进行车窗内的年检标的检测。本发明先使用超像素算法提取建议区域，再使用级联思想设计CNN分类网络，使用CNN回归提升年检标检测位置准确性，最后使用年检标的先验信息提升年检标检测的性能。
本发明方法具体步骤如下：
步骤1、输入图像、车窗位置、车的类型。
步骤2、使用超像素算法做超像素分割，并修改超像素算法的距离公式，使超像素分割的效果更好，减少计算的迭代次数；具体为：
步骤2.1、对超像素算法做了GPU速度优化。因为GPU的计算优势，颜色距离标准化系数从一个固定的值改为根据当前像素点群变化的值，即公式
替换为
D表示两个像素点之间的距离，dc表示两个像素点之间的颜色距离，ds表示两个像素点之间空间距离，m和Nc表示颜色距离的标准化系数，Ns表示空间距离的标准化系数。
步骤2.2、超像素算法的超像素块数量参数：因为不同车型的车窗大小是不同的，而年检标的大小是固定的，所以不同车型的使用不同的超像素块数量参数可以得到更好的效果，根据标注数据，统计得到超像素块数量参数。
步骤3、通过超像素块计算建议框：
步骤3.1、计算超像素块的中心点(xc,yc)作为矩形框的中心点。矩形框的宽高根据公式计算，如下：
w表示矩形框的宽，h表示矩形框的高，U表示超像素块内点的集合，xi、yi分别表示超像素块内点的水平方向和竖直方向坐标。即矩形框的宽等于超像素块的左边界和右边界与中心点水平方向距离最小值的两倍。
步骤3.2、当年检标黏连，超像素分割可能失败，因此将矩形框高宽比过大的矩形框分裂成上下两个矩形框；
步骤4、将建议框输入已经离线训练好的CNN1分类模型做分类，CNN1分类模型是一个轻量级的网络，作用是快速去除非年检标的建议框。
步骤5、将CNN1分类判定为正样本的矩形框输入CNN1回归模型，回归年检标的左上角坐标和右下角坐标。
步骤6、将CNN1回归模型的结果输入CNN2模型，做分类和回归。
步骤7、将CNN2的得到的检测框合并。
步骤8、根据统计年检标标注结果，得到年检标在车窗内相对位置的先验概率。结合年检标位置的先验概率和CNN2分类得到分数，计算检测框所在位置是否有年检标的后验概率；根据后验概率，得到最后检测结果。
步骤9、输出检测结果。
本发明的有益效果：
(1)使用车窗位置信息，减少计算量。
(2)使用超像素分割算法，对算法做了GPU优化和算法优化，并且使用了车型信息指导超像素分割算法得到更好的结果，只需要两次迭代就可以得到较好的结果(一般超像素分割算法需要迭代五次)。
(3)CNN1分类是一个轻量级的分类网络，采用了级联思想，提升整个方法的速度。
(4)做了两次CNN回归，得到的年检标的位置更准确。
(5)使用年检标在车窗内相对位置的先验概率，进一步提升年检标检测的性能。
附图说明
图1为本发明方法流程图。
图2为CNN1分类的网络结构图。
图3为CNN1回归的网络结构图。
图4为CNN2网络结构图。
具体实施方式
以下结合实施例和附图1对本发明作进一步说明：
本实施例包括下步骤：
步骤一、数据收集
1.1收集若干包含车前脸车窗的图片样本。
1.2使用车辆检测算法检测车辆，使用车辆特征点回归算法回归得到车窗位置，使用车型分类算法得到车辆类型。
1.3标注车窗内年检标的外接包围矩形框。
步骤二、离线训练
2.1、使用超像素算法做超像素分割，参考《SLIC Superpixels Compared toState-of-the-art Superpixel Methods》，并修改了超像素算法的距离公式。
2.1.1、对超像素算法做了GPU速度优化。因为GPU的计算优势，颜色距离标准化系数从一个固定的值改为根据当前像素点群变化的值，即公式
替换为
D表示两个像素点之间的距离，dc表示两个像素点之间的颜色距离，ds表示两个像素点之间空间距离，m和Nc表示颜色距离的标准化系数，Ns表示空间距离的标准化系数。
2.1.2、超像素算法的超像素块数量参数：因为不同车型的车窗大小是不同的，而年检标的大小是固定的，所以不同车型的使用不同的超像素块数量参数可以得到更好的效果。使用车型分类算法得到车辆的车型，对单个车窗根据车型运行多次超像素算法，每次运行的超像素块数量参数是不同的，具体见下表。例如车型分类结果是轿车，运行超像素算法参数三次，三次的参数分别是178、250、350。面包车运行两次，参数分别是250、350。
2.1.3、其他超像素算法参数：颜色空间CIELab，迭代次数2。因为对算法距离公式做了改进，可以使用更少的迭代次数，就可以得到足够好的结果。
2.2、通过超像素块计算建议框
2.2.1、计算超像素块的中心点(xc,yc)作为矩形框的中心点。矩形框的宽高根据公式计算，如下：
w表示矩形框的宽，h表示矩形框的高，U表示超像素块内点的集合，xi、yi分别表示超像素块内点的水平方向和竖直方向坐标。即矩形框的宽等于超像素块的左边界和右边界与中心点水平方向距离最小值的两倍。
2.2.2、将矩形框高宽比大于1.05的矩形框分裂成上下两个矩形框，避免部分因为年检标黏连超像素分割失败的情况。
2.3、训练CNN1分类模型。使用建议框和年检标标注，生成CNN1分类的训练样本，正负样本比例1:3。CNN1分类模型是一个轻量级的网络，它的作用是快速剔除大量非年检标的建议框。CNN1分类的网络结构见图2。conv_blok包含了一个3x3的卷积，激活层ReLU，标准化层BN。conv_blok1输出维度为16x16x16，其他卷积块输出大小见网络结构图。fc1是一个全连接层。prob是softMax层。
2.4、训练CNN1回归模型，回归年检标的左上和右下两个点的位置。使用建议框和年检标标注，生成CNN1回归的训练样本。CNN1回归的网络结构见图3。记号与图2相似。fc2是一个全连接层，输出大小1x1x4。
2.5、训练CNN2分类和回归模型：
2.5.1、CNN2模型是一个多任务模型，多任务间共享conv4前的计算结果，网络结构见图4。
2.5.2、使用建议框、CNN1分类模型、CNN1回归模型的结果和年检标标注生成训练样本，训练CNN2模型。
2.5.3、使用已经训练好的CNN2模型做难例挖掘，微调CNN2模型。
步骤三、在线检测
3.1、输入图像，车窗位置，车的类型。
3.2、超像素分割，步骤与训练步骤2.1相同。
3.3、通过超像素块计算建议框，步骤与训练步骤2.2相同。
3.4、将建议框输入CNN1分类模型做分类。
3.5、将CNN1分类判定为正样本的矩形框输入CNN1回归模型。
3.6、将CNN1回归模型的结果输入CNN2模型，做分类和回归。
3.7、将CNN2的得到的检测框合并，合并策略使用非极大值抑制。
3.8、根据统计年检标标注结果，得到年检标在车窗内相对位置的先验概率。结合年检标位置的先验概率和CNN2分类得到分数，计算检测框所在位置是否有年检标的后验概率。根据后验概率，得到最后检测结果。
3.9、输出检测结果。
综上，本发明为了克服建议框提取速度慢，效果不好的情况，使用的超像素分割算法对车窗进行分割，对超像素分割算法针对年检标检测做了改进，修改了距离公式，只需要两次迭代就可以得到较好的结果(一般超像素分割算法需要迭代五次)，并且使用车型分类结果，指导超像素分割算法得到更好的结果。本实施例得到建议框耗时8ms，要求交并比大于0.4时建议框检测率达到99.67％，要求交并比大于0.6时建议框检测率达到92.44％。
为了克服检测速度问题，本发明使用车辆检测和车辆特征点定位结果，在图像中的车窗上做年检标检测。除了使用快速的建议框提取技术，在后续的CNN模型设计中采用级联思想。整个耗时在NVIDIA 750显卡上只需14ms，在更好的显卡上，速度更快。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应带理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

Claims (7)

1.一种基于R-CNN的车窗年检标检测方法，其特征在于该方法包括以下步骤：
步骤1、输入图像、车窗位置、车的类型；
步骤2、使用超像素算法做超像素分割，并调整超像素算法中的距离公式，具体为：
步骤2.1、对超像素算法做GPU速度优化，将颜色距离标准化系数从一个固定的值改为根据当前像素点群变化的值；
步骤2.2、针对不同的车型，使用不同的超像素块数量参数；根据标注数据，统计得到超像素块数量参数；
步骤3、计算超像素块的中心点，并将该中心点作为框的建议框中心点，计算建议框的宽和高；
步骤4、将建议框输入已经离线训练好的CNN1分类模型做分类，所述的CNN1用于快速去除非年检标的建议框；
步骤5、将CNN1分类判定为正样本的矩形框输入CNN1回归模型，回归年检标的左上角坐标和右下角坐标；
步骤6、将CNN1回归模型的结果输入CNN2模型，做分类和回归；
步骤7、将CNN2模型得到的检测框合并；
步骤8、根据统计年检标标注结果，得到年检标在车窗内相对位置的先验概率，结合年检标位置的先验概率和CNN2模型分类得到分数，计算检测框所在位置是否有年检标的后验概率；根据后验概率，得到最后检测结果。
2.根据权利要求1所述的一种基于R-CNN的车窗年检标检测方法，其特征在于：离线训练前需要进行数据收集，其过程为：
收集若干包含车前脸车窗的图片样本；
使用车辆检测算法检测车辆，使用车辆特征点回归算法回归得到车窗位置，使用车型分类算法得到车辆类型；
标注车窗内年检标的外接包围矩形框。
3.根据权利要求1所述的一种基于R-CNN的车窗年检标检测方法，其特征在于：当年检标黏连时，将矩形框高宽比过大的矩形框分裂成上下两个矩形框。
4.根据权利要求1至3中任一项所述的一种基于R-CNN的车窗年检标检测方法，其特征在于：所述的CNN1分类模型是一个轻量级的网络，CNN1网络结构中conv_blok包含了一个3x3的卷积，激活层ReLU，标准化层BN；conv_blok1输出维度为16x16x16，fc1是一个全连接层，prob是softMax层。
5.根据权利要求1至3中任一项所述的一种基于R-CNN的车窗年检标检测方法，其特征在于：所述的CNN1回归模型的网络结构中fc2是一个全连接层，输出大小1x1x4。
6.根据权利要求1所述的一种基于R-CNN的车窗年检标检测方法，其特征在于：使用建议框、CNN1分类模型、CNN1回归模型的结果和年检标标注生成训练样本，训练CNN2模型。
7.根据权利要求6所述的一种基于R-CNN的车窗年检标检测方法，其特征在于：使用已经训练好的CNN2模型做难例挖掘，微调CNN2模型。
CN201710424766.6A 2017-06-07 2017-06-07 一种基于r-cnn的车窗年检标检测方法 Expired - Fee Related CN107247967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710424766.6A CN107247967B (zh) 2017-06-07 2017-06-07 一种基于r-cnn的车窗年检标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710424766.6A CN107247967B (zh) 2017-06-07 2017-06-07 一种基于r-cnn的车窗年检标检测方法

Publications (2)

Publication Number Publication Date
CN107247967A true CN107247967A (zh) 2017-10-13
CN107247967B CN107247967B (zh) 2020-09-18

Family

ID=60018169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710424766.6A Expired - Fee Related CN107247967B (zh) 2017-06-07 2017-06-07 一种基于r-cnn的车窗年检标检测方法

Country Status (1)

Country Link
CN (1) CN107247967B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808139A (zh) * 2017-11-01 2018-03-16 电子科技大学 一种基于深度学习的实时监控威胁分析方法及系统
CN108133476A (zh) * 2017-12-26 2018-06-08 安徽科大讯飞医疗信息技术有限公司 一种肺结节自动检测方法及系统
CN108229473A (zh) * 2017-12-29 2018-06-29 苏州科达科技股份有限公司 车辆年检标签检测方法及装置
CN113516104A (zh) * 2021-08-09 2021-10-19 上海高德威智能交通系统有限公司 一种营运客车识别方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046196A (zh) * 2015-06-11 2015-11-11 西安电子科技大学 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN105512683A (zh) * 2015-12-08 2016-04-20 浙江宇视科技有限公司 基于卷积神经网络的目标定位方法及装置
US20160140424A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Object-centric Fine-grained Image Classification
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140424A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Object-centric Fine-grained Image Classification
CN105046196A (zh) * 2015-06-11 2015-11-11 西安电子科技大学 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN105512683A (zh) * 2015-12-08 2016-04-20 浙江宇视科技有限公司 基于卷积神经网络的目标定位方法及装置
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NICOLAS A 等: "《Segment-before-Detect: Vehicle Detection and Classification through Semantic Segmentation of Aerial Images》", 《REMOTE SENSING》 *
YAN J 等: ""Object detection by labeling superpixels"", 《2015 IEEE CONFERENCE ON COMPUTER VISION & PATTERN RECOGNITION》 *
曹诗雨 等: ""基于Fast R-CNN的车辆目标检测"", 《中国图象图形学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808139A (zh) * 2017-11-01 2018-03-16 电子科技大学 一种基于深度学习的实时监控威胁分析方法及系统
CN107808139B (zh) * 2017-11-01 2021-08-06 电子科技大学 一种基于深度学习的实时监控威胁分析方法及系统
CN108133476A (zh) * 2017-12-26 2018-06-08 安徽科大讯飞医疗信息技术有限公司 一种肺结节自动检测方法及系统
CN108133476B (zh) * 2017-12-26 2022-02-01 安徽科大讯飞医疗信息技术有限公司 一种肺结节自动检测方法及系统
CN108229473A (zh) * 2017-12-29 2018-06-29 苏州科达科技股份有限公司 车辆年检标签检测方法及装置
CN113516104A (zh) * 2021-08-09 2021-10-19 上海高德威智能交通系统有限公司 一种营运客车识别方法、装置、电子设备及存储介质
CN113516104B (zh) * 2021-08-09 2023-08-29 上海高德威智能交通系统有限公司 一种营运客车识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN107247967B (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN101398893B (zh) 一种改进AdaBoost算法的鲁棒人耳检测方法
CN107134144B (zh) 一种用于交通监控的车辆检测方法
CN112330591B (zh) 少样本学习的钢轨表面缺陷检测方法及装置
CN108596055B (zh) 一种复杂背景下高分辨遥感图像的机场目标检测方法
CN110751099B (zh) 一种基于深度学习的无人机航拍视频轨迹高精度提取方法
CN112084869B (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN106228125B (zh) 基于集成学习级联分类器的车道线检测方法
CN103034863B (zh) 一种结合核Fisher与多尺度提取的遥感影像道路获取方法
CN109285139A (zh) 一种基于深度学习的x射线成像焊缝检测方法
CN105844621A (zh) 一种印刷品质量检测方法
CN106326893A (zh) 一种基于区域辨别的车辆颜色识别方法
CN107247967A (zh) 一种基于r‑cnn的车窗年检标检测方法
CN105260749B (zh) 基于方向梯度二值模式和软级联svm的实时目标检测方法
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN108388871B (zh) 一种基于车身回归的车辆检测方法
CN106778633B (zh) 一种基于区域分割的行人识别方法
CN110119726A (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
CN109101932B (zh) 基于目标检测的多任务及临近信息融合的深度学习方法
US11495022B2 (en) Method for recognizing an object of a mobile unit
CN108985145A (zh) 小尺寸交通标志检测识别的反向连接深度神经网络模型方法
CN115409069A (zh) 村镇建筑的识别方法、分类方法、装置、电子设备和介质
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN110197494A (zh) 一种基于单目红外图像的受电弓接触点实时检测算法
CN108648210B (zh) 一种静态复杂场景下快速多目标检测方法及装置
CN103679214A (zh) 基于在线面积估计和多特征决策融合的车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200918

Termination date: 20210607

CF01 Termination of patent right due to non-payment of annual fee