CN109086778A - 一种基于卷积神经网络的车牌去模糊识别方法 - Google Patents

一种基于卷积神经网络的车牌去模糊识别方法 Download PDF

Info

Publication number
CN109086778A
CN109086778A CN201810843719.XA CN201810843719A CN109086778A CN 109086778 A CN109086778 A CN 109086778A CN 201810843719 A CN201810843719 A CN 201810843719A CN 109086778 A CN109086778 A CN 109086778A
Authority
CN
China
Prior art keywords
license plate
deblurring
network
convolutional neural
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810843719.XA
Other languages
English (en)
Inventor
武传营
李凡平
石柱国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Isa Data Technology Co Ltd
Beijing Yisa Technology Co Ltd
Qingdao Yisa Data Technology Co Ltd
Original Assignee
Qingdao Isa Data Technology Co Ltd
Beijing Yisa Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Isa Data Technology Co Ltd, Beijing Yisa Technology Co Ltd filed Critical Qingdao Isa Data Technology Co Ltd
Priority to CN201810843719.XA priority Critical patent/CN109086778A/zh
Publication of CN109086778A publication Critical patent/CN109086778A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种基于卷积神经网络的车牌去模糊识别方法，包括如下步骤：步骤一、去模糊训练样本采集；步骤二、训练车牌去模糊网络；步骤三、车牌识别训练样本采集；步骤五、把原始车牌数据输入训练好的去模糊网络，把输出图片输入车牌识别网络，实时的输出车牌属性内容。本发明方法中，通过上述各块功能的相互配合，各司其职，相互协作更高效地完成了本发明所述的任务，实现了快速有效地完成对车牌颜色、字符及类型的快速识别，在车牌分析的实践中获得了节约人力物力成本、显著提高准确性等良好效果。

Description

一种基于卷积神经网络的车牌去模糊识别方法
技术领域
本发明涉及图像检测技术领域，尤其涉及一种基于卷积神经网络的车牌去模糊识别方法。
背景技术
车牌是一辆汽车独一无二的信息，因此，对车辆牌照的识别技术可以作为辨识一辆车最为有效的方法。随着ITS(智能交通系统)的高速发展，对车牌识别技术的研究也随之发展。从根本上讲，牌照识别应用了先进的图像处理，模式识别，人工智能技术来获取、处理、解释记录拍照的图像。目前，牌照识别技术已经广泛而成功的应用于高速公路的监测，电子收费，交通违规管理，安全停车管理，偷盗车辆辨识等重要领域。
然而，现有车牌识别的大多数算法只能在受控条件下工作。例如，一些系统需要复杂的硬件来捕获高质量的图像，而其他系统则需要车辆缓慢地通过固定的门禁，甚至是完全停止。在一个在开放环境中准确检测车牌并识别是一项挑战性任务。困难在于字符模式的极端多样性，例如不同尺寸，字体和颜色，捕获视角引起的字符失真以及由不均匀的光线，遮挡或模糊引起的低质量图像。高度复杂的环境背景使问题变得更加复杂，特别像是商店、窗口、护栏、砖块等贴有文字信息的物体，通常会导致检测中的虚假警报。
以前的车牌识别工作通常依赖于某些手工制作的图像特征，其捕获了牌照的某些形态，颜色或纹理属性。这些特征可能对图像噪声敏感，并且可能在复杂背景或不同光照条件下导致许多假阳性。
为此提出一种基于卷积神经网络的车牌去模糊识别方法，以解决车牌难以识别的问题。
发明内容
本发明的目的是为了解决现有技术中车辆的车牌识别不准确的缺点，而提出的一种基于卷积神经网络的车牌去模糊识别方法。
为了实现上述目的，本发明采用了如下技术方案：
设计一种基于卷积神经网络的车牌去模糊识别方法，包括如下步骤：
步骤一、去模糊训练样本采集：收集清晰的车牌数据，作为车牌去模糊训练部分的输出数据，手工制作模糊车牌数据，作为训练输入的数据；
步骤二、训练车牌去模糊网络，输入数据为模糊车牌图像，输出清晰车牌图像；
步骤三、车牌识别训练样本采集：标记车牌属性标签；
步骤四、采用卷积神经网络、长短时记忆网络及CTC，进行车牌识别；
步骤五、把原始车牌数据输入训练好的去模糊网络，把输出图片输入车牌识别网络，实时的输出车牌属性内容。
优选的，深层卷积神经网络通过建立15convolution+ReLUlayers，完成车牌由模糊变清晰规律的学习，深层卷积神经网络包括图像特征提取网络、图像特征记忆网络及损失层。
优选的，图像特征提取网络为VGG-16网络去掉最后的池化层和三层全连接层，再接一层防过拟合层、一层扁平层；
图像特征记忆网络是通过双层的长短时记忆网络记忆车牌的特征；
损失层是利用CTC损失函数，接在长短时记忆网络的最后一层，用于序列学习，优化序列。
优选的，车牌属性标签包括：车牌颜色标签，车牌中的汉字标签、字母标签、数字标签。
优选的，步骤一中制作模糊车牌数据的方法为：对训练的清晰车牌数据添加透视畸变，增加饱和度光照的噪声，添加自然环境的噪声，然后在随机选择车牌不定大小的区域，使用高斯模糊进行模糊处理。
本发明提出的一种基于卷积神经网络的车牌去模糊识别方法，有益效果在于：
1、本发明通过对车牌预先的去模糊处理，构建一个深层次的车牌识别网络，实现了同一网络多功能任务的实现。在提高了准确率的同时，避免了多网络多任务造成的人力、物力、精力的浪费。
2、本发明的方法中主要应用了：基于卷积神经网络的图像特征提取网络、基于长短时记忆网络的图像特征记忆网络、以及优化序列的CTC层。
3、基于卷积神经网络的图像特征提取网络，完成对车牌颜色、字符及类型的特征提取；通过长短时记忆网络完成对车牌车牌颜色、字符及类型特征的长久记忆；CTC损失函数可较好的优化序列的损失。
4、本发明方法中，通过上述各块功能的相互配合，各司其职，相互协作更高效地完成了本发明所述的任务，实现了快速有效地完成对车牌颜色、字符及类型的快速识别，在车牌分析的实践中获得了节约人力物力成本、显著提高准确性等良好效果。
附图说明
图1为本发明的车牌字符及颜色特征提取卷积图。
图2为本发明的车牌识别的标签对应表。
图3为本发明的车牌颜色及字符识别完整网络图。
图4为本发明的车牌去模糊训练的卷积神经网络图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
如图1-4，一种基于卷积神经网络的车牌去模糊识别方法，包括如下步骤：
步骤一、去模糊样本采集：
收集清晰的车牌数据，作为车牌去模糊训练部分的输出数据，手工制作模糊车牌数据，作为训练输入的数据。
步骤二、训练车牌去模糊网络，网络结构如图4。
输入数据为66×66的模糊车牌图像，输出为16×16的清晰车牌图像。
主线网络为：15层的卷积神经网络层，15层的激活层，最后一层为线性linear层。
步骤三、车牌识别训练样本采集：标记车牌颜色、车牌字符、车牌类型的属性标签。
车牌颜色标签：0黄底黑字、1蓝底白字、2白底红“WJ”、黑字、3渐变绿色、4其他，如图2。
车牌字符标签：具体见图2；
车牌颜色对应车牌类型标签：{黄底黑字：大型民用汽车；蓝底白字：小型民用汽车；白底红“WJ”、黑字：武警专用汽车；渐变绿色：新能源汽车；其他：其他}，具体如图2。
最终训练输入标签，如车牌鲁Q37205：{13,54,33,37,32,30,35,2}，前七个标签为车牌字符，最后一个标签为对应车牌的颜色。
步骤四、采用卷积神经网络、长短时记忆网络及CTC，进行车牌颜色、字符及车牌类型的识别。
其中：特征提取网络包括13层卷积层、3层归一化层、13层激活层、5层池化层，特征记忆网络为两层LSTM层及CTC损失层，结构图，如图1、图3。
步骤五、把原始车牌数据输入训练好的去模糊网络，把输出图片输入车牌识别网络，实时的输出车牌颜色、字符及类型属性内容。
其中，深层卷积神经网络通过建立15convolution+ReLUlayers，完成车牌由模糊变清晰规律的学习，深层卷积神经网络包括图像特征提取网络、图像特征记忆网络及损失层。
图像特征提取网络为VGG-16网络去掉最后的池化层和三层全连接层，再接一层防过拟合层、一层扁平层；
图像特征记忆网络是通过双层的长短时记忆网络记忆车牌的特征；
损失层是利用CTC损失函数，接在长短时记忆网络的最后一层，用于序列学习，优化序列。
其中，所述步骤一中制作模糊车牌数据的方法为：对训练的清晰车牌数据添加透视畸变，增加饱和度光照的噪声，添加自然环境的噪声，然后在随机选择车牌不定大小的区域，使用高斯模糊进行模糊处理。
本发明通过对车牌预先的去模糊处理，构建一个深层次的车牌识别网络，实现了同一网络多功能任务的实现。在提高了准确率的同时，避免了多网络多任务造成的人力、物力、精力的浪费。
本发明的方法中主要应用了：基于卷积神经网络的图像特征提取网络、基于长短时记忆网络的图像特征记忆网络、以及优化序列的CTC层。
其中，基于卷积神经网络的图像特征提取网络，完成对车牌颜色、字符及类型的特征提取；通过长短时记忆网络完成对车牌车牌颜色、字符及类型特征的长久记忆；CTC损失函数可较好的优化序列的损失。
本发明方法中，通过上述各块功能的相互配合，各司其职，相互协作更高效地完成了本发明所述的任务，实现了快速有效地完成对车牌颜色、字符及类型的快速识别，在车牌分析的实践中获得了节约人力物力成本、显著提高准确性等良好效果。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于卷积神经网络的车牌去模糊识别方法，其特征在于：包括如下步骤：
步骤一、去模糊训练样本采集：收集清晰的车牌数据，作为车牌去模糊训练部分的输出数据，手工制作模糊车牌数据，作为训练输入的数据；
步骤二、训练车牌去模糊网络，输入数据为模糊车牌图像，输出清晰车牌图像；
步骤三、车牌识别训练样本采集：标记车牌属性标签；
步骤四、采用卷积神经网络、长短时记忆网络及CTC，进行车牌识别；
步骤五、把原始车牌数据输入训练好的去模糊网络，把输出图片输入车牌识别网络，实时的输出车牌属性内容。
2.根据权利要求1所述的一种基于卷积神经网络的车牌去模糊识别方法，其特征在于：所述深层卷积神经网络通过建立15convolution+ReLUlayers，完成车牌由模糊变清晰规律的学习，所述深层卷积神经网络包括图像特征提取网络、图像特征记忆网络及损失层。
3.根据权利要求1所述的一种基于卷积神经网络的车牌去模糊识别方法，其特征在于：所述图像特征提取网络为VGG-16网络去掉最后的池化层和三层全连接层，再接一层防过拟合层、一层扁平层；
所述图像特征记忆网络是通过双层的长短时记忆网络记忆车牌的特征；
所述损失层是利用CTC损失函数，接在长短时记忆网络的最后一层，用于序列学习，优化序列。
4.根据权利要求1所述的一种基于卷积神经网络的车牌去模糊识别方法，其特征在于：所述车牌属性标签包括：车牌颜色标签，车牌中的汉字标签、字母标签、数字标签。
5.根据权利要求1所述的一种基于卷积神经网络的车牌去模糊识别方法，其特征在于：所述步骤一中制作模糊车牌数据的方法为：对训练的清晰车牌数据添加透视畸变，增加饱和度光照的噪声，添加自然环境的噪声，然后在随机选择车牌不定大小的区域，使用高斯模糊进行模糊处理。
CN201810843719.XA 2018-07-27 2018-07-27 一种基于卷积神经网络的车牌去模糊识别方法 Pending CN109086778A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810843719.XA CN109086778A (zh) 2018-07-27 2018-07-27 一种基于卷积神经网络的车牌去模糊识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810843719.XA CN109086778A (zh) 2018-07-27 2018-07-27 一种基于卷积神经网络的车牌去模糊识别方法

Publications (1)

Publication Number Publication Date
CN109086778A true CN109086778A (zh) 2018-12-25

Family

ID=64831143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810843719.XA Pending CN109086778A (zh) 2018-07-27 2018-07-27 一种基于卷积神经网络的车牌去模糊识别方法

Country Status (1)

Country Link
CN (1) CN109086778A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800682A (zh) * 2018-12-29 2019-05-24 桂林电子科技大学 驾驶员属性识别方法及相关产品
CN112101274A (zh) * 2020-09-24 2020-12-18 苏州科达科技股份有限公司 一种车牌识别方法、装置、设备及可读存储介质
CN112183650A (zh) * 2020-10-09 2021-01-05 青岛中瑞车云工业互联网科技有限公司 一种在相机失焦情况下的数字检测识别方法
CN113065545A (zh) * 2021-02-24 2021-07-02 上海辛玮智能科技有限公司 基于深度学习的快速车牌识别方法
CN114004779A (zh) * 2020-07-27 2022-02-01 中移物联网有限公司 一种基于深度学习的人脸质量评价方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480772A (zh) * 2017-08-08 2017-12-15 浙江大学 一种基于深度学习的车牌超分辨率处理方法及系统
CN107704857A (zh) * 2017-09-25 2018-02-16 北京邮电大学 一种端到端的轻量级车牌识别方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480772A (zh) * 2017-08-08 2017-12-15 浙江大学 一种基于深度学习的车牌超分辨率处理方法及系统
CN107704857A (zh) * 2017-09-25 2018-02-16 北京邮电大学 一种端到端的轻量级车牌识别方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800682A (zh) * 2018-12-29 2019-05-24 桂林电子科技大学 驾驶员属性识别方法及相关产品
CN114004779A (zh) * 2020-07-27 2022-02-01 中移物联网有限公司 一种基于深度学习的人脸质量评价方法及装置
CN112101274A (zh) * 2020-09-24 2020-12-18 苏州科达科技股份有限公司 一种车牌识别方法、装置、设备及可读存储介质
CN112101274B (zh) * 2020-09-24 2023-02-10 苏州科达科技股份有限公司 一种车牌识别方法、装置、设备及可读存储介质
CN112183650A (zh) * 2020-10-09 2021-01-05 青岛中瑞车云工业互联网科技有限公司 一种在相机失焦情况下的数字检测识别方法
CN112183650B (zh) * 2020-10-09 2023-09-22 青岛中瑞车云工业互联网科技有限公司 一种在相机失焦情况下的数字检测识别方法
CN113065545A (zh) * 2021-02-24 2021-07-02 上海辛玮智能科技有限公司 基于深度学习的快速车牌识别方法

Similar Documents

Publication Publication Date Title
CN109086778A (zh) 一种基于卷积神经网络的车牌去模糊识别方法
Sun et al. Traffic sign detection and recognition based on convolutional neural network
CN110378331B (zh) 一种基于深度学习的端到端车牌识别系统及其方法
CN105956626A (zh) 基于深度学习的对车牌位置不敏感的车牌识别方法
CN108268867B (zh) 一种车牌定位方法及装置
Gazcón et al. Automatic vehicle identification for Argentinean license plates using intelligent template matching
Khalid et al. Automatic measurement of the traffic sign with digital segmentation and recognition<? show [AQ ID= Q1]?>
Kumar et al. Automatic vehicle number plate recognition system using machine learning
Kaur et al. Automatic License Plate Recognition System for Vehicles Using a CNN.
CN110226170A (zh) 一种雨雪天气中的道路交通标志识别方法
Shobayo et al. Development of smart plate number recognition system for fast cars with web application
CN106919939B (zh) 一种交通标识牌跟踪识别方法及系统
Suvon et al. Real time bangla number plate recognition using computer vision and convolutional neural network
CN111008574A (zh) 一种基于形体识别技术的重点人员轨迹分析方法
Islam et al. An efficient method for extraction and recognition of bangla characters from vehicle license plates
CN109993049A (zh) 一种面向智能安防领域的视频图像结构化分析系统
Prabhu et al. Recognition of Indian license plate number from live stream videos
Parvin et al. Vehicle number plate detection and recognition techniques: a review
Saha et al. Neural network based road sign recognition
Rahman et al. License plate detection and recognition: an empirical study
CN113627477A (zh) 车辆多属性识别方法及系统
Caballero et al. Detection of traffic panels in night scenes using cascade object detector
Garg et al. License Number Plate Recognition (LNPR)
Dutta et al. Smart usage of open source license plate detection and using iot tools for private garage and parking solutions
Song et al. Improved convolutional neutral network based model for small visual object detection in autonomous driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 266500 No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Applicant after: Issa Technology Co.,Ltd.

Applicant after: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

Address before: 108, 102 / F, building 17, yard 6, Jingshun East Street, Chaoyang District, Beijing

Applicant before: BEIJING YISA TECHNOLOGY Co.,Ltd.

Applicant before: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181225