CN111104944A - 一种基于r-fcn的车牌字符检测及分割方法 - Google Patents

一种基于r-fcn的车牌字符检测及分割方法 Download PDF

Info

Publication number
CN111104944A
CN111104944A CN201911362683.4A CN201911362683A CN111104944A CN 111104944 A CN111104944 A CN 111104944A CN 201911362683 A CN201911362683 A CN 201911362683A CN 111104944 A CN111104944 A CN 111104944A
Authority
CN
China
Prior art keywords
license plate
character
fcn
region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911362683.4A
Other languages
English (en)
Inventor
张远辉
张纪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201911362683.4A priority Critical patent/CN111104944A/zh
Publication of CN111104944A publication Critical patent/CN111104944A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于R‑FCN的车牌字符检测及分割方法。本发明一种基于R‑FCN的车牌字符检测及分割方法，包括：S1.制作车牌图像样本并训练基于区域的检测网络；S2.输入一张待检测分割的彩色车牌图像；S3.将图像输入到基于区域的检测神经网络进行车牌字符检测并输出字符区域得分图和字符关联区域得分图；S4.处理检测神经网络输出的结果以得到车牌字符分割结果。本发明提出的基于R‑FCN的车牌字符检测及分割方法可以在复杂车牌图像情况下同时对汉字、数字和英文字母进行准确地分割并不受输入图像尺寸的限制，相比于其它同类基于深度学习方法具有更好的分割准确性和稳定性。

Description

一种基于R-FCN的车牌字符检测及分割方法
技术领域
本发明涉及一种基于R-FCN的车牌字符检测及分割方法，属于车牌图像识别领域中车牌字符分割技术。
背景技术
车辆牌照识别LPR(License Plate Recognition)系统是图像处理与模式识别技术在智能交通领域应用的重要研究课题之一。其在道路交通监控、停车场管理和车辆登记管理等方面有广泛的应用前景。
车牌识别系统作为智能交通系统的重要组成部分，它可以大大提高车辆管理工作的效率，实现车辆管理的自动化和智能化。车牌识别系统主要由两部分构成：车牌的检测和车牌的识别。其中车牌检测的任务是从采集的车辆图像中检测车牌位置并提取车牌区域图像。车牌的识别任务包括从检测到的车牌区域图像中检测并按序分割出车牌字符图像和识别字符图像两部分。由此可见，车牌字符检测是车牌识别系统的重要组成部分，车辆字符检测的效果将会直接关系到系统识别率的高低，因此，如何快速、准确地检测出车牌字符是车牌自动识别技术中关键的一步。现有基于深度学习网络的车牌字符检测方法存在以下技术问题：
1.现有方法多以基于滑动窗口的深度学习网络为主，由于实际车牌字符由数字、英文字母和部分汉字组成，这些字符形状多为不规则，若仅用单一形状的窗口平移滑动检测车牌字符并不能准确分割车牌字符。
2.现有方法多以基于滑动窗口的深度学习网络为主，该类方法对输入图像尺寸有一定限制。
因此，研究应用基于区域的卷积神经网络来分割车牌字符的方法是非常有必要的。
发明内容
为了解决背景技术中复杂环境下车牌字符分割难的问题，本发明提供一种基于R-FCN的车牌字符检测及分割方法，其对带有底纹、光照不均和对比度较低的车牌均具有很好的分割效果，能很好地解决现有基于深度学习网络的车牌字符检测方法在复杂车牌场景下检测精度不高问题。
为了解决上述技术问题，本发明提供了一种基于R-FCN的车牌字符检测及分割方法，步骤包括：
S1.制作车牌图像样本并训练基于区域的卷积神经网络；
S2.输入一张待检测分割的彩色车牌图像；
S3.将图像输入到基于区域的检测神经网络进行车牌字符检测并输出字符区域得分图和字符关联区域得分图；
S4.处理检测神经网络输出的结果以得到车牌字符分割结果。
在其中一个实施例中，其中步骤S1的具体流程为：
S1-1.制作车牌字符图像样本；
S1-2.使用样本训练检测网络。
在其中一个实施例中，其中步骤S1-1通过将二维各向同性的高斯图像透视变换至字符区域及字符关联区域的最小外接矩形边界处以制作车牌字符图像样本。
在其中一个实施例中，其中步骤S1-2用于训练的代价函数为：
Figure BDA0002337616810000021
其中p表示字符及其关联区域内的任意一个像素，Sr(p)、Sa(p)分别表示样本标签中在p像素点的字符区域得分和字符关联区域得分，
Figure BDA0002337616810000022
分别表示网络预测在像素点的字符区域得分和字符关联区域得分。
在其中一个实施例中，其中步骤S3的具体流程为：
S3-1.通过卷积神经网络R-FCN中六层卷积层来提取图像中的车牌字符特征信息；
S3-2.通过四层反卷积层对具有相同分辨率的特征信息进行特征融合和上采样；
S3-3.通过四层全连接卷积层对最后一层反卷积层输出的特征信息进行分类判断输出字符区域得分图和字符关联区域得分图。
在其中一个实施例中，步骤S3-2通过反卷积层将深层语义信息进行上采样使其与浅层语义信息拥有相同的分辨率，从而实现不同深度的特征的信息融合，在融合后的特征信息上进行分类可以提升检测神经网络的准确率。通过不同分辨率的特征图的信息融合，既可以丰富低层卷积层的特征信息以补充低层卷积层在提取特征信息时丢失的深层语义信息，又可以使特征图包含上下文信息，以此准确地检测模糊、低对比度等目标的准确位置。
在其中一个实施例中，步骤S3-3对最后融合后的尺寸大小相同的特征信息进行融合和分类，起到分类器的作用。
在其中一个实施例中，其中步骤S4的具体流程为：
S4-1.设置阈值，对得分图进行阈值分割获得字符区域和字符关联区域二值图；
S4-2.通过连通域标记方法将得到的二值图中的连通域标记并按连通域像素个数进行排序；
S4-3.对连通域像素个数设定阈值，并按阈值过滤像素个数不达阈值的连通域；
S4-4.计算各个连通域的面积最小外接旋转矩阵；
S4-5.使用字符关联区域的外接矩形来分割字符并用字符区域的外接矩形来精确定位车牌字符。
本发明与现有技术相比有益效果：相比传统方法，本发明提出的车牌字符分割方法对带有底纹、光照不均和对比度较低的车牌均具有很好的分割效果，相比于现有基于深度学习网络的车牌字符分割方法，本发明提出的车牌字符分割方法可以在复杂车牌图像情况下同时对汉字、数字和英文字母进行准确地分割并不受输入图像尺寸的限制，并且具有更好的分割准确性和稳定性。
附图说明
图1是本发明的流程图；
图2是本发明的车牌字符检测网络结构图。
图3是本发明具体实施例中两个车牌在复杂背景环境下车牌字符的准备切分结果示意图
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
如图1所示，所述的一种基于R-FCN的车牌字符检测及分割方法包括以下步骤：
S1.制作车牌图像样本并训练基于区域的卷积神经网络；
S2.输入一张待检测分割的彩色车牌图像；
S3.将图像输入到基于区域的检测神经网络进行车牌字符检测并输出字符区域得分图和字符关联区域得分图；
S4.处理检测神经网络输出的结果以得到车牌字符分割结果。
在其中一个实施例中，其中步骤S1的具体流程为：
S1-1.制作车牌字符图像样本；
S1-2.使用样本训练检测网络。
在其中一个实施例中，其中步骤S1-1通过将二维各向同性的高斯图像透视变换至字符区域及字符关联区域的最小外接矩形边界处以制作车牌字符图像样本。
在其中一个实施例中，其中步骤S1-2用于训练的代价函数为：
Figure BDA0002337616810000041
其中p表示字符及其关联区域内的任意一个像素，Sr(p)、Sa(p)分别表示样本标签中在像素点的字符区域得分和字符关联区域得分，
Figure BDA0002337616810000042
分别表示网络预测在p像素点的字符区域得分和字符关联区域得分。
在其中一个实施例中，其中步骤S3中的具体流程为：
S3-1.通过卷积神经网络R-FCN中六层卷积层来提取图像中的车牌字符特征信息；
S3-2.通过四层反卷积层对具有相同分辨率的特征信息进行特征融合和上采样；
S3-3.通过四层全连接卷积层对最后一层反卷积层输出的特征信息进行分类判断输出字符区域得分图和字符关联区域得分图。
在其中一个实施例中，步骤S3-2通过反卷积层将深层语义信息进行上采样使其与浅层语义信息拥有相同的分辨率，从而实现不同深度的特征的信息融合，在融合后的特征信息上进行分类可以提升检测神经网络的准确率。通过不同分辨率的特征图的信息融合，既可以丰富低层卷积层的特征信息以补充低层卷积层在提取特征信息时丢失的深层语义信息，又可以使特征图包含上下文信息，以此更好地检测模糊、低对比度等目标的准确位置。
在其中一个实施例中，步骤S3-3对最后融合后的尺寸大小相同的特征信息进行融合和分类，起到分类器的作用。
在其中一个实施例中，其中步骤S4的具体流程为：
S4-1.设置阈值，对得分图进行阈值分割获得字符区域和字符关联区域二值图；
S4-2.通过连通域标记方法将得到的二值图中的连通域标记并按连通域像素个数进行排序；
S4-3.对连通域像素个数设定阈值，并按阈值过滤像素个数不达阈值的连通域；
S4-4.计算各个连通域的面积最小外接旋转矩阵；
S4-5.使用字符关联区域的外接矩形来分割字符并用字符区域的外接矩形来精确定位车牌字符。
下面结合实例进一步描述发明。
在本实施例中，以在复杂背景环境下的车辆牌照分别为浙G152CZ和浙A038M5为例对基于R-FCN的车牌字符检测及分割方法进行说明。
本发明采用的基于区域的卷积神经网络的结构如图2所示，检测网络包含六层卷积层来提取图像中的车牌字符特征信息，卷积层尺寸依次减小，各层卷积核个数分别为64、64、128、256、512、512，各层卷积核大小都为3×3，步长分别为1、2、2、2、2、1。检测网络还包含四层反卷积层来对具有相同分辨率的特征信息进行特征融合和上采样，四层反卷积层由上至下各层卷积核个数分别为32、64、128、256，各层反卷积核大小都为3×3，这部分结构使用了U-net网络中类似的跳跃连接，该跳跃连接能够连接具有相同分辨率的反向卷积层的输出特征图与卷积层的输出特征图作为下一层反向卷积层的输入，通过跳跃连接的使用，反向卷积过程可以包含之前卷积层输出具有相同特征图尺寸的输出信息，利用较低层的较粗但较高分辨率的特征图的特征，进一步细化上采样过程。检测网络还包括四层全连接卷积层对最后一层反卷积层输出的特征信息进行分类判断输出字符区域得分图和字符关联区域得分图，这部分结构各层卷积核个数分别为32、32、16、16、2，前三层卷积核大小为3×3，后两层卷积核大小为1×1。
整个训练过程使用了PyTorch深度学习框架来训练网络，相关参数设置如下：优化器选用了ADAM优化器；Batchsize设置为16；Epoch设置为40；学习率初始设为0.1，到第20个Epoch时设为0.01。
其中，浙G152CZ和浙A038M5两个车牌图像在复杂背景环境下车牌字符的准确切分结果示意图，具体参见图3所示，并且从图3中可以看出，通过对检测网络输出的字符区域得分图和字符关联区域得分图做进一步的图像处理可实现对车牌单个字符的准确分割。

Claims (8)

1.一种基于R-FCN的车牌字符检测及分割方法，其特征在于，包括：
S1.制作样本并训练基于区域的卷积神经网络R-FCN；
S2.输入一张待检测分割的彩色车牌图像；
S3.将图像输入到基于区域的检测网络进行车牌字符检测并输出字符区域得分图和字符关联区域得分图；
S4.处理检测神经网络输出的结果以得到车牌字符分割结果。
2.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，步骤S1的具体流程为：
S1-1.制作车牌字符图像样本；
S1-2.使用样本训练检测网络。
3.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，步骤S1-1通过将二维各向同性的高斯图像透视变换至字符区域及字符关联区域最小外接矩形边界以制作基于区域的车牌字符图像样本。
4.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，步骤S1-2用于训练的代价函数L为：
Figure FDA0002337616800000011
其中p表示字符及其关联区域内的任意一个像素，Sr(p)、Sa(p)分别表示样本标签中在p像素点的字符区域得分和字符关联区域得分，
Figure FDA0002337616800000012
分别表示网络预测在p像素点的字符区域得分和字符关联区域得分。
5.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，其中步骤S3的具体流程为：
S3-1.通过基于区域的卷积神经网络R-FCN中六层卷积层来提取图像中的车牌字符特征信息；
S3-2.通过四层反卷积层对具有相同分辨率的特征信息进行特征融合和上采样；
S3-3.通过四层全连接卷积层对最后一层反卷积层输出的特征信息进行分类判断输出字符区域得分图和字符关联区域得分图。
6.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，步骤S3-2通过反卷积层将深层语义信息进行上采样使其与浅层语义信息拥有相同的分辨率，从而实现不同深度的特征的信息融合，在融合后的特征信息上进行分类可以提升检测神经网络的准确率。
7.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，步骤S3-3对最后融合后的尺寸大小相同的特征信息进行融合和分类，起到分类器的作用。
8.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，其中步骤S4的具体流程为：
S4-1.设置阈值，对得分图进行阈值分割获得字符区域和字符关联区域二值图；
S4-2.通过连通域标记方法将得到的二值图中的连通域标记并按连通域像素个数进行排序；
S4-3.对连通域像素个数设定阈值，并按阈值过滤像素个数不达阈值的连通域；
S4-4.计算各个连通域的面积最小外接旋转矩阵；
S4-5.使用字符关联区域的外接矩形来分割字符并用字符区域的外接矩形来精确定位车牌字符。
CN201911362683.4A 2019-12-26 2019-12-26 一种基于r-fcn的车牌字符检测及分割方法 Pending CN111104944A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911362683.4A CN111104944A (zh) 2019-12-26 2019-12-26 一种基于r-fcn的车牌字符检测及分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911362683.4A CN111104944A (zh) 2019-12-26 2019-12-26 一种基于r-fcn的车牌字符检测及分割方法

Publications (1)

Publication Number Publication Date
CN111104944A true CN111104944A (zh) 2020-05-05

Family

ID=70424301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911362683.4A Pending CN111104944A (zh) 2019-12-26 2019-12-26 一种基于r-fcn的车牌字符检测及分割方法

Country Status (1)

Country Link
CN (1) CN111104944A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132142A (zh) * 2020-09-27 2020-12-25 平安医疗健康管理股份有限公司 文本区域确定方法、装置、计算机设备及存储介质
CN115311647A (zh) * 2022-10-09 2022-11-08 松立控股集团股份有限公司 一种融合车标分类特征的车标检测识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132142A (zh) * 2020-09-27 2020-12-25 平安医疗健康管理股份有限公司 文本区域确定方法、装置、计算机设备及存储介质
CN115311647A (zh) * 2022-10-09 2022-11-08 松立控股集团股份有限公司 一种融合车标分类特征的车标检测识别方法
CN115311647B (zh) * 2022-10-09 2023-01-24 松立控股集团股份有限公司 一种融合车标分类特征的车标检测识别方法

Similar Documents

Publication Publication Date Title
CN105373794B (zh) 一种车牌识别方法
CN101334836B (zh) 一种融合色彩、尺寸和纹理特征的车牌定位方法
WO2018145470A1 (zh) 一种图像检测方法和装置
CN109255350B (zh) 一种基于视频监控的新能源车牌检测方法
CN108009518A (zh) 一种基于快速二分卷积神经网络的层次化交通标识识别方法
Zhang et al. Study on traffic sign recognition by optimized Lenet-5 algorithm
Chen et al. Shadow-based Building Detection and Segmentation in High-resolution Remote Sensing Image.
Zhang et al. A multi-feature fusion based traffic light recognition algorithm for intelligent vehicles
CN109726717A (zh) 一种车辆综合信息检测系统
CN111160205A (zh) 一种交通场景嵌入式多类目标端对端统一检测方法
CN109753962B (zh) 基于混合网络的自然场景图像中文本区域的处理方法
CN110956167A (zh) 一种基于定位字符的分类判别强化分离的方法
Zang et al. Traffic lane detection using fully convolutional neural network
CN111104944A (zh) 一种基于r-fcn的车牌字符检测及分割方法
CN107392115B (zh) 一种基于分层特征提取的交通标志识别方法
CN106919939A (zh) 一种交通标识牌跟踪识别方法及系统
CN113326846A (zh) 一种基于机器视觉的桥梁表观病害快速检测方法
CN108734170B (zh) 基于机器学习和模板的车牌字符分割方法
CN112330659B (zh) 结合lsd直线检测和连通域标记法的几何公差符号分割方法
CN110046618B (zh) 基于机器学习和最大极值稳定区域的车牌识别方法
CN111241916A (zh) 一种交通标志识别模型的建立方法
Rani et al. Object Detection in Natural Scene Images Using Thresholding Techniques
Phu et al. Traffic sign recognition system using feature points
CN112036246B (zh) 遥感影像分类模型的构建方法，遥感影像分类方法及系统
Wang et al. License plate recognition system based on image recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200505