CN113177552B - 一种基于深度学习的车牌识别方法 - Google Patents

一种基于深度学习的车牌识别方法 Download PDF

Info

Publication number
CN113177552B
CN113177552B CN202110586315.9A CN202110586315A CN113177552B CN 113177552 B CN113177552 B CN 113177552B CN 202110586315 A CN202110586315 A CN 202110586315A CN 113177552 B CN113177552 B CN 113177552B
Authority
CN
China
Prior art keywords
license plate
vehicle
frame
detection
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110586315.9A
Other languages
English (en)
Other versions
CN113177552A (zh
Inventor
汪全伍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dilu Technology Co Ltd
Original Assignee
Dilu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dilu Technology Co Ltd filed Critical Dilu Technology Co Ltd
Priority to CN202110586315.9A priority Critical patent/CN113177552B/zh
Publication of CN113177552A publication Critical patent/CN113177552A/zh
Application granted granted Critical
Publication of CN113177552B publication Critical patent/CN113177552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明涉及一种基于深度学习的车牌识别方法，属于车牌识别技术领域。本发明通过前方摄像头采集的图片(或者视频)，然后采用卷积神经网络(CNN)对图片进行特征提取从而来进行目标的检测，并采用多标签分类的方法对车牌进行多标签分类来获取车牌字符。本发明采用多标签分类的方法对车牌字符进行识别，避免了车牌字符分割过程中出现的分割不准确而造成最终识别率低问题。本方法对摄像头的位置要求不高，大多数场合都能使用，具有广泛的应用场景。

Description

一种基于深度学习的车牌识别方法
技术领域
本发明涉及一种基于深度学习的车牌识别方法，属于车牌识别技术领域。
背景技术
传统的目标检测方法大概分为区域选择（滑窗）、特征提取（SIFT、HOG等）、采用提取的特征来训练一个分类器三个部分；同时传统的车牌识别会对牌照字符分割完成牌照区域的定位后，再将牌照区域分割成单个字符，然后进行车牌字符识别，采用的方法主要有基于模板匹配算法。
传统目标检测主要问题有两方面：一方面滑窗选择策略没有针对性、时间复杂度高，窗口冗余；另一方面手工设计的特征鲁棒性较差；车牌字符识别算法复杂，并且对摄像头的安装角度有很大的要求，应用场景受限。
现有的车牌识别方法主要是通过固定特定摄像头的位置，只对车牌区域进行拍照检测，然后通过传统的视觉检测算法来获取车牌的区域，获取到车牌后对车牌进行一个仿射变换得到一个归整的车牌区域；然后对车牌区域进行二值化后进行字符分割得到当个字符，最后进行字符识别，其中字符识别方法主要有基于模板匹配算法和基于人工神经网络算法。基于模板匹配算法首先将分割后的字符的尺寸大小缩放为字符数据库中模板的大小，然后与所有的模板进行匹配，选择最佳匹配作为结果。基于人工神经网络的算法有两种：一种是先对字符进行特征提取，然后用所获得特征来训练神经网络分配器；另一种方法是直接把图像输入网络，由网络自动实现特征提取直至识别出结果。从而得到车牌的字符。
发明内容
本发明提出了一种基于深度学习的车牌识别方法，通过前方摄像头采集的图片(或者视频)，然后采用卷积神经网络(CNN)对图片进行特征提取从而来进行目标的检测，并采用多标签分类的方法对车牌进行多标签分类来获取车牌字符。
本发明为解决其技术问题采用如下技术方案：
一种基于深度学习的车牌识别方法，包括如下步骤：
步骤1：利用摄像头采集路上车辆数据，对采集后的车辆数据进行数据清洗并对车辆数据进行标注，利用清洗和标注后的车辆数据进行车辆检测模型的训练；
步骤2：采用步骤1中训练好的检测模型来对包含有车辆的图像进行车辆框的预测及车辆类别分类；
步骤3：通过步骤2获取得到车辆框后，在包含有车辆的图像上截取车辆框区域，并将所有截取得到的车辆区域作为车牌检测模型的训练集进行模型训练，从而得到车牌检测模型；得到车牌检测模型后，传入步骤2检测得到的车辆框区域，从而检测得到车牌区域；
步骤4：通过步骤3得到的车牌区域作为车牌识别模型的输入，从而得到车辆字符，最终得到车牌信息。
步骤1的具体过程如下：
步骤1.1:加载预先训练好的目标检测网络模型， 即在微软开源的用于目标检测训练的数据集，即COCO数据集训练好的检测模型，作为预训练模型；
步骤1.2:预处理将要参与模型训练的包含有车辆的图像。
步骤2的具体过程如下：
步骤2.1：根据深度学习提取框架主干网络，提取图像中的车辆特征；
步骤2.2:对提取的图像中的特征进行目标检测，获取包含有车辆的框及车辆类别。
步骤3的具体过程如下：
步骤3.1:通过步骤2获取得到车辆框后，在包含有车辆的图像上截取车辆框区域；
步骤3.2：将所有截取得到的车辆框区域作为车牌检测模型训练的训练集进行模型训练，得到车牌检测模型；
步骤3.2: 采用训练好的目标检测网络对步骤3.1中的车辆区域进行特征提取；
步骤3.3: 根据步骤3.2中的提取到的特征对存在车牌的检测框进行回归，回归的是预测框相对于标注框的偏移量，根据公式：
X= sigmoid(tx) + Cx; Y=sigmoid(ty) + Cy; W = exp(tw)*anchor_w; H =exp(th)*anchor_h 来获取到车牌检测框，其中：X表示检测框中心点的横坐标，Cx表示网格的横坐标偏移量， tx表示网络学习的横坐标目标；Y表示检测框中心点的纵坐标，Cy表示网格的纵坐标偏移量，ty表示网络学习的纵坐标目标；anchor_w表示锚框的宽，tw表示网络学习的目标框的宽，W表示的是最终目标框的宽；anchor_h表示锚框的高，th表示网络学习的目标框的高，H表示的是最终目标框的高，exp(*)表示的是以自然常数e为底的指数函数；sigmoid(*)表示的是逻辑函数；
步骤3.5：根据步骤3.4中的回归结果计算出真实的车牌检测框。
步骤4的具体过程如下：
步骤4.1：通过步骤3获取的车牌检测框在获取的车辆区域内来截取车牌区域；
步骤4.2：加载预先训练好的多标签分类网络；
步骤4.3：将步骤4.1的车牌区域作为步骤4.2的输入，对车牌区域进行多标签分类，从而得到车牌的字符。
本发明的有益效果如下：
1、采用了神经网络对图像特征进行提取，解决了手工对图像特征提取带来的特征点扎堆现象，从而导致图像某一块位置提取到的特征点特别多，而其他区域提取到的点特别少，甚至是没有。这在实际应用当中会导致估算相对姿态变换出现较大的偏差，影响定位精度。
2、采用多标签分类的方法对车牌字符进行识别，避免了车牌字符分割过程中出现的分割不准确而造成最终识别率低问题。
3、本方法对摄像头的位置要求不高，大多数场合都能使用，具有广泛的应用场景。
4、本方法采用神经网络技术，效果稳定，鲁棒性高。
附图说明
图1是本发明方法的流程图。
具体实施方式
下面结合附图对本发明创造做进一步详细说明。
如图1所示，本发明的方法对输入图像进行预处理，并对处理后的图像做为车辆检测模型的训练集进行训练，将训练得到的模型对输入图像进行车辆检测得到车辆检测框，根据得到的车辆检测框在输入图像上截取车辆区域；采用所有截取得到的车辆区域做为车牌检测模型的训练集对车牌检测模型进行训练，将训练得到车牌检测模型对截取的车辆区域进行检测得到车牌区域，将车牌区域做为多标签分类模型的输入，最终得到车牌字符信息，从而实现车牌识别。
本发明的基于深度学习的车牌识别方法，仅需要通过前方摄像头采集的图片(或者视频)，然后采用基于锚框及卷积神经网络(CNN)技术对图片进行特征提取， 采用的目标检测算法名称为yolov4， 在该算法的输入层， 我们结合原始的缩放图像的基础上采用的是融合层，这有利于我们最大程度的保存了原始图像该有的特征，并且在算法的锚框的获取上采用的是以宽高比为标准的聚类算法并加上了遗传算法对anchor(锚框)进行最优选择，从而来进行目标的检测，并采用多标签分类的方法对车牌进行多标签分类来获取车牌字符， 该方法是将车牌的每个字符划分为类别， 例如，当车牌字符为“皖A12345” 时， 将第一字符分为省份缩写那一类，第二个字符分为26个大写字母一类， 第三个字符归为0~9这10个数字这一类，同理……， 这样就形成了多标签分类。该发明技术具有很强的针对性、鲁棒性并且对摄像头的安装角度要求很低，具有很广泛的应用场景。

Claims (3)

1.一种基于深度学习的车牌识别方法，其特征在于，包括如下步骤：
步骤1：利用摄像头采集路上车辆数据，对采集后的车辆数据进行数据清洗并对车辆数据进行标注，利用清洗和标注后的车辆数据进行车辆检测模型的训练；
步骤2：采用步骤1中训练好的检测模型来对包含有车辆的图像进行车辆框的预测及车辆类别分类；
步骤3：通过步骤2获取得到车辆框后，在包含有车辆的图像上截取车辆框区域，并将所有截取得到的车辆区域作为车牌检测模型的训练集进行模型训练，从而得到车牌检测模型；得到车牌检测模型后，传入步骤2检测得到的车辆框区域，从而检测得到车牌区域；
步骤4：通过步骤3得到的车牌区域作为车牌识别模型的输入，从而得到车辆字符，最终得到车牌信息；
步骤2的具体过程如下：
步骤2.1：根据深度学习提取框架主干网络，提取图像中的车辆特征；
步骤2.2:对提取的图像中的特征进行目标检测，获取包含有车辆的框及车辆类别；
步骤3的具体过程如下：
步骤3.1：通过步骤2获取得到车辆框后，在包含有车辆的图像上截取车辆框区域；
步骤3.2：将所有截取得到的车辆框区域作为车牌检测模型训练的训练集进行模型训练，得到车牌检测模型；
步骤3.3:采用训练好的目标检测网络对步骤3.1中的车辆框区域进行特征提取；
步骤3.4:根据步骤3.3中的提取到的特征对存在车牌的检测框进行回归，回归的是预测框相对于标注框的偏移量，根据公式：
X＝sigmoid(tx)+Cx；Y＝sigmoid(ty)+Cy；W＝exp(tw)*anchor_w；H＝exp(th)*anchor_h来获取到车牌检测框，其中：X表示检测框中心点的横坐标，Cx表示网格的横坐标偏移量，tx表示网络学习的横坐标目标；Y表示检测框中心点的纵坐标，Cy表示网格的纵坐标偏移量，ty表示网络学习的纵坐标目标；anchor_w表示锚框的宽，tw表示网络学习的目标框的宽，W表示的是最终目标框的宽；anchor_h表示锚框的高，th表示网络学习的目标框的高，H表示的是最终目标框的高，exp(*)表示的是以自然常数e为底的指数函数；
sigmoid(*)表示的是逻辑函数；
步骤3.5：根据步骤3.4中的回归结果计算出真实的车牌检测框。
2.根据权利要求1所述的一种基于深度学习的车牌识别方法，其特征在于，步骤1的具体过程如下：
步骤1.1:加载预先训练好的目标检测网络模型，即在微软开源的用于目标检测训练的数据集，即COCO数据集训练好的检测模型，作为预训练模型；
步骤1.2:预处理将要参与模型训练的包含有车辆的图像。
3.根据权利要求1所述的一种基于深度学习的车牌识别方法，其特征在于，步骤4的具体过程如下：
步骤4.1：通过步骤3获取的车牌检测框在获取的车辆区域内来截取车牌区域；
步骤4.2：加载预先训练好的多标签分类网络；
步骤4.3：将步骤4.1的车牌区域作为步骤4.2的输入，对车牌区域进行多标签分类，从而得到车牌的字符。
CN202110586315.9A 2021-05-27 2021-05-27 一种基于深度学习的车牌识别方法 Active CN113177552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110586315.9A CN113177552B (zh) 2021-05-27 2021-05-27 一种基于深度学习的车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110586315.9A CN113177552B (zh) 2021-05-27 2021-05-27 一种基于深度学习的车牌识别方法

Publications (2)

Publication Number Publication Date
CN113177552A CN113177552A (zh) 2021-07-27
CN113177552B true CN113177552B (zh) 2024-04-26

Family

ID=76927575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110586315.9A Active CN113177552B (zh) 2021-05-27 2021-05-27 一种基于深度学习的车牌识别方法

Country Status (1)

Country Link
CN (1) CN113177552B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420725B (zh) * 2021-08-20 2021-12-31 天津所托瑞安汽车科技有限公司 Bsd产品的漏报场景识别方法、设备、系统和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564088A (zh) * 2018-04-17 2018-09-21 广东工业大学 车牌识别方法、装置、设备及可读存储介质
CN109344825A (zh) * 2018-09-14 2019-02-15 广州麦仑信息科技有限公司 一种基于卷积神经网络的车牌识别方法
CN110619327A (zh) * 2018-06-20 2019-12-27 湖南省瞬渺通信技术有限公司 一种复杂场景下基于深度学习的实时车牌识别方法
CN111310862A (zh) * 2020-03-27 2020-06-19 西安电子科技大学 复杂环境下基于图像增强的深度神经网络车牌定位方法
CN111563515A (zh) * 2020-05-18 2020-08-21 哈尔滨理工大学 一种基于改进的Faster-RCNN的车牌识别方法
CN111582277A (zh) * 2020-06-15 2020-08-25 深圳天海宸光科技有限公司 一种基于迁移学习的车牌识别系统及方法
KR20200119384A (ko) * 2019-03-26 2020-10-20 (주)아이에스인텍 차량 번호판을 실시간으로 인식하는 장치 및 방법
CN112200007A (zh) * 2020-09-15 2021-01-08 青岛邃智信息科技有限公司 一种社区监控场景下车牌检测及识别方法
CN112580643A (zh) * 2020-12-09 2021-03-30 浙江智慧视频安防创新中心有限公司 一种基于深度学习的车牌识别方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268867B (zh) * 2016-12-30 2020-10-30 杭州海康威视数字技术股份有限公司 一种车牌定位方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564088A (zh) * 2018-04-17 2018-09-21 广东工业大学 车牌识别方法、装置、设备及可读存储介质
CN110619327A (zh) * 2018-06-20 2019-12-27 湖南省瞬渺通信技术有限公司 一种复杂场景下基于深度学习的实时车牌识别方法
CN109344825A (zh) * 2018-09-14 2019-02-15 广州麦仑信息科技有限公司 一种基于卷积神经网络的车牌识别方法
KR20200119384A (ko) * 2019-03-26 2020-10-20 (주)아이에스인텍 차량 번호판을 실시간으로 인식하는 장치 및 방법
CN111310862A (zh) * 2020-03-27 2020-06-19 西安电子科技大学 复杂环境下基于图像增强的深度神经网络车牌定位方法
CN111563515A (zh) * 2020-05-18 2020-08-21 哈尔滨理工大学 一种基于改进的Faster-RCNN的车牌识别方法
CN111582277A (zh) * 2020-06-15 2020-08-25 深圳天海宸光科技有限公司 一种基于迁移学习的车牌识别系统及方法
CN112200007A (zh) * 2020-09-15 2021-01-08 青岛邃智信息科技有限公司 一种社区监控场景下车牌检测及识别方法
CN112580643A (zh) * 2020-12-09 2021-03-30 浙江智慧视频安防创新中心有限公司 一种基于深度学习的车牌识别方法、装置及存储介质

Also Published As

Publication number Publication date
CN113177552A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN106709436B (zh) 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
CN109101924B (zh) 一种基于机器学习的路面交通标志识别方法
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
WO2023060777A1 (zh) 一种基于深度学习的猪只体尺体重估测方法
CN108052880B (zh) 交通监控场景虚实车道线检测方法
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN109657632B (zh) 一种车道线检测识别方法
Anagnostopoulos et al. A license plate-recognition algorithm for intelligent transportation system applications
CN108985170A (zh) 基于三帧差分法及深度学习的输电线路悬挂物识别方法
Dehghan et al. View independent vehicle make, model and color recognition using convolutional neural network
CN107491720A (zh) 一种基于改进型卷积神经网络的车型识别方法
CN110008909B (zh) 一种基于ai的实名制业务实时稽核系统
CN105354568A (zh) 基于卷积神经网络的车标识别方法
CN108171112A (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN110163069B (zh) 用于辅助驾驶的车道线检测方法
CN106919902B (zh) 一种基于cnn的车辆识别和轨迹追踪方法
CN105373794A (zh) 一种车牌识别方法
CN107480585B (zh) 基于dpm算法的目标检测方法
CN111008632B (zh) 一种基于深度学习的车牌字符分割方法
CN103310194A (zh) 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN104978567A (zh) 基于场景分类的车辆检测方法
CN110738139B (zh) 一种融合Min-Max目标的NIN车牌识别方法
CN116758421A (zh) 一种基于弱监督学习的遥感图像有向目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant