CN114913515B - 端到端的车牌识别网络构建方法 - Google Patents

端到端的车牌识别网络构建方法 Download PDF

Info

Publication number
CN114913515B
CN114913515B CN202111674309.5A CN202111674309A CN114913515B CN 114913515 B CN114913515 B CN 114913515B CN 202111674309 A CN202111674309 A CN 202111674309A CN 114913515 B CN114913515 B CN 114913515B
Authority
CN
China
Prior art keywords
license plate
neural network
convolutional neural
network
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111674309.5A
Other languages
English (en)
Other versions
CN114913515A (zh
Inventor
张正
李迁迁
田青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN202111674309.5A priority Critical patent/CN114913515B/zh
Publication of CN114913515A publication Critical patent/CN114913515A/zh
Application granted granted Critical
Publication of CN114913515B publication Critical patent/CN114913515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

一种端到端的车牌识别网络构建方法，本方法采用卷积神经网络直接端到端的训练推理，卷积神经网络的输入是一幅车牌的图像，卷积神经网络的输出相应车牌的文字；卷积神经网络的设计是1)模型架构设计，对于输入的车牌的图像，提取特征；将提取到的特征分别送入多个相同的分类器；每个分类器是由一个三层的前馈神经网络构成；2)标签制作，车牌的字符进行编码分为三个部分，依次是省份、地区和个人编码；在编码时候，把蓝色牌中的个人编码对应字符位数与新能源车牌中的个人编码对应字符位数设置为相同，字符位数相差部分用“”表示；3)使用损失函数优化卷积神经网络；4)训练网络。本方法针对传统的蓝牌和绿牌，采用统一套方法即可完成识别。

Description

端到端的车牌识别网络构建方法
技术领域
本发明涉及深度学习领域，是一种使用卷积神经网络对汽车的车牌进行识别的方法，具体是一种端到端的车牌识别网络构建方法。
背景技术
车牌识别是智慧交通领域的一个重要研究分支。其主要任务是将车牌中的文字、数字和字母信息提取出来。该任务在停车场等场景有着广泛的应用需求。对于车牌分割算法，目前应用最多的是先对车牌进行分割，然后对分割后的图片进行识别。
由于车牌上有密集的字符和不密集的字符间隙，因此衍生出一些传统的方法可用于分割这些字符，如连接成分分析等。在字符被分割以后，目前的高性能方法总是训练一个可学习的神经网络来对字符进行分类，或者利用车牌字符周围的特征。这样的算法分为两个阶段，比较繁琐，而且识别的精度严重依赖字符的分割结果。
发明内容
本发明要解决的技术问题是传统车牌识别方法的先字符提取、再识别的繁琐过程，直接实现端到端的训练推理，并且本发明将蓝色油车和绿色新能源车的预测在一个模型中实现。
本发明的技术方案为：一种端到端的车牌识别网络构建方法，本方法采用卷积神经网络直接端到端的训练推理，卷积神经网络的输入是一幅车牌的图像，卷积神经网络的输出相应车牌的文字；所述卷积神经网络的设计方法包括：
步骤1)模型架构设计
对于输入的车牌的图像，使用ResNet18作为主干特征提取网络，提取特征；
将提取到的特征分别送入多个相同的分类器；每个分类器是由一个三层的前馈神经网络构成；
第1个分类器的输出维度是38，用于预测车牌中的第1位字符，是车牌的隶属省份；
第2个分类器的输出维度是25，用于预测车牌中的第2位字符，是车牌的隶属区域；
其余分类器的输出维度是35，用于预测车牌中的其余字符，是车牌的个人编码；
2)标签制作
车牌的字符进行编码分为三个部分，依次是省份PROVINCES、地区ALPHABETS和个人ADS编码；在编码时候，把蓝色燃油车牌中的个人编码对应字符位数与新能源车牌中的个人编码对应字符位数设置为相同，字符位数相差部分用“”表示；
车牌字符编码表示为：
PROVINCES＝[“京”，“津”，“沪”，“渝”，“冀”，“豫”，“川”，“云”，“辽”，“黑”，“湘”，“皖”，“鲁”，“苏”，“浙”，“赣”，“鄂”，“晋”，“蒙”，“吉”，“黑”，“闽”，“粤”，“桂”，“琼”，“贵”，“藏”，“陕”，“甘”，“青”，“宁”，“新”，“警”，“学”]
ALPHABETS＝[‘A’,’B’,’C’,’D’,’E’,’F’,’G’,’H’,’J’,’K’,’L’,’M’,’N’,’P’,’Q’,’R’,’S’,’T’,’U’,’V’,’W’,’X’,’Y’,’Z’,]
ADS＝[’A’,’B’,’C’,’D’,’E’,’F’,’G’,’H’,’J’,’K’,’L’,’M’,’N’,’P’,’Q’,’R’,’S’,’T’,’U’,’V’,’W’,’X’,’Y’,’Z’,’0’,’1’,’2’,’3’,’4’,’5’,’6’,’7’,’8’,’9’,”]
3)使用损失函数优化卷积神经网络
使用交叉熵作为损失函数，损失是八个分类器损失的和；
4)训练网络
采用随机梯度下降法进行训练，为了方便网络的收敛，采用迁移学习的方式，加载ResNet18在coco数据集上的预训练权重；
新增的分类器权重满足高斯分布随机初始化，标准差为0.01；
在每次迭代过程中，将一批被标记的训练数据输入到网络中，然后更新参数。
本方法构建的识别网络可作为模型用来把车牌图片信息转为文字信息并输出。针对传统的蓝牌和新能源的绿牌，采用统一套方法即可完成识别。
附图说明
图1是卷积神经网络的示意图。
图2是待识别车牌图像。
图3是车牌的文字信息输出界面示意图。
图4是编码字典示意图。
图5是绿色新能源车牌以及相应的输入图像和编码结果输出示意图。
图6是蓝色油车车牌以及相应的输入图像和编码结果输出示意图。
具体实施方式
本发明提出了一种无字符分割的车牌识别模型，采用卷积神经网络直接端到端的训练推理，输入一幅车牌图像，输出其车牌号。并且，本模型既可以预测包含7位字符的蓝色油车车牌，也可以预测包含8位字符的绿色新能源车牌。
下面结合附图与具体实施方式对本发明进一步说明：
步骤一：模型架构设计
使用ResNet18作为主干特征提取网络，提取特征。将提取到的特征分别送入8个分类器。每一个分类器的结构相同，均由一个三层的前馈神经网络构成。其网络结构图如图1所示：
第一个分类器的输出维度是38，用于预测车牌中的第1位字符，车牌的隶属省份。
第二个分类器的输出维度是25，用于预测车牌中的第2位字符，车牌的隶属区域。
第3～8个分类器的输出维度是35，用于预测车牌中的第3到8位字符，车牌的个人编码。
网络的输入是车牌图片(如图2)，输出是车牌的文字信息(如图3)。
步骤二：标签制作
以蓝色燃油车牌为例，本发明将车牌的字符分为三个部分，省份、地区、个人编码。并且将车牌字符进行编码，具体编码字典如图4：
在ADS个人编码的字典中，留有“”(空格)，目的是将蓝色燃油车的标签与新能源车的编码统一。具体来说，我们把蓝色燃油车也视作八位字符，只不过最后一位是“”。编码结果如图5以及图6所示：
步骤三：代价损失函数
利用损失函数优化，这里使用交叉熵作为损失函数，其总的损失是八个分类器损失的和。
losei＝CrossEntropyLoss(pre[i],label[i])
式中，pre[i]和label[i]的含义说明一下
此处，pre表示车牌信息预测值，label表示车牌信息的真实标签。其中pre[i]为车牌预测信息中的第i个字符，相应的label[i]为车牌真实标签中的第i个字符。
步骤四:训练网络
(a)采用随机梯度下降法进行训练，为了方便网络的收敛，采用迁移学习的方式，加载ResNet18在coco数据集上的预训练权重。
(b)新增加的分类器权重满足高斯分布随机初始化，标准差为0.01；
(c)在每次迭代过程中，将一批被标记的训练数据输入到网络中，然后更新参数。
具体的优化函数公式如下：
先计算dw和db的指数加权平均
vdw＝βvdw+(1-β)dw
vdb＝βvdb+(1-β)db
其中，β表示动量系数，默认设置为0.9。接下来再利用vdw，vdb来更新参数，具体如下：
w＝w-αvdw
b＝b-αvdb

Claims (3)

1.一种端到端的车牌识别网络构建方法，其特征是采用卷积神经网络直接端到端的训练推理，卷积神经网络的输入是一幅车牌的图像，卷积神经网络的输出相应车牌的文字；所述卷积神经网络的设计方法包括：
1)模型架构设计
对于输入的车牌的图像，使用ResNet18作为主干特征提取网络，提取特征；
将提取到的特征分别送入多个相同的分类器；每个分类器是由一个三层的前馈神经网络构成；
第1个分类器的输出维度是38，用于预测车牌中的第1位字符，是车牌的隶属省份；
第2个分类器的输出维度是25，用于预测车牌中的第2位字符，是车牌的隶属区域；
其余分类器的输出维度是35，用于预测车牌中的其余字符，是车牌的个人编码；
2)标签制作
车牌的字符进行编码分为三个部分，依次是省份PROVINCES、地区ALPHABETS和个人ADS编码；在编码时候，把蓝色燃油车牌中的个人编码对应字符位数与新能源车牌中的个人编码对应字符位数设置为相同，字符位数相差部分用“”表示；
车牌字符编码表示为：
PROVINCES＝[“京”，“津”，“沪”，“渝”，“冀”，“豫”，“川”，“云”，“辽”，“黑”，“湘”，“皖”，“鲁”，“苏”，“浙”，“赣”，“鄂”，“晋”，“蒙”，“吉”，“黑”，“闽”，“粤”，“桂”，“琼”，“贵”，“藏”，“陕”，“甘”，“青”，“宁”，“新”，“警”，“学”]
ALPHABETS＝[‘A’,’B’,’C’,’D’,’E’,’F’,’G’,’H’,’J’,’K’,’L’,’M’,’N’,’P’,’Q’,’R’,’S’,’T’,’U’,’V’,’W’,’X’,’Y’,’Z’,]
ADS＝[’A’,’B’,’C’,’D’,’E’,’F’,’G’,’H’,’J’,’K’,’L’,’M’,’N’,’P’,’Q’,’R’,’S’,’T’,’U’,’V’,’W’,’X’,’Y’,’Z’,’0’,’1’,’2’,’3’,’4’,’5’,’6’,’7’,’8’,’9’,”]
3)使用损失函数优化卷积神经网络
使用交叉熵作为损失函数，损失是八个分类器损失的和；
4)训练网络
采用随机梯度下降法进行训练，采用迁移学习的方式，加载ResNet18在coco数据集上的预训练权重；
新增的分类器权重满足高斯分布随机初始化，标准差为0.01；
在每次迭代过程中，将一批被标记的训练数据输入到网络中，然后更新参数。
2.根据权利要求1所述的端到端的车牌识别网络构建方法，其特征是所述步骤1)中，分类器有8个，第3～8个分类器用于预测车牌中的第3～8个字符，是车牌的个人编码。
3.根据权利要求1所述的端到端的车牌识别网络构建方法，其特征是在ADS个人编码的字典中，留有空格“”，把蓝色燃油车也视作八位字符，最后一位是空格“”。
CN202111674309.5A 2021-12-31 2021-12-31 端到端的车牌识别网络构建方法 Active CN114913515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111674309.5A CN114913515B (zh) 2021-12-31 2021-12-31 端到端的车牌识别网络构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111674309.5A CN114913515B (zh) 2021-12-31 2021-12-31 端到端的车牌识别网络构建方法

Publications (2)

Publication Number Publication Date
CN114913515A CN114913515A (zh) 2022-08-16
CN114913515B true CN114913515B (zh) 2024-04-02

Family

ID=82763429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111674309.5A Active CN114913515B (zh) 2021-12-31 2021-12-31 端到端的车牌识别网络构建方法

Country Status (1)

Country Link
CN (1) CN114913515B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937837B (zh) * 2022-11-09 2023-10-27 粤丰科盈智能投资(广东)有限公司 一种基于位置编码的车牌检测方法、装置及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096602A (zh) * 2016-06-21 2016-11-09 苏州大学 一种基于卷积神经网络的中文车牌识别方法
CN109086722A (zh) * 2018-08-06 2018-12-25 汉王科技股份有限公司 混合车牌识别方法、装置、电子设备
CN111461112A (zh) * 2020-03-03 2020-07-28 华南理工大学 一种基于双循环转录网络的车牌字符识别方法
CN112070176A (zh) * 2020-09-18 2020-12-11 福州大学 一种免切割的端到端车牌识别方法
CN112232351A (zh) * 2020-11-09 2021-01-15 浙江工业职业技术学院 一种基于深度神经网络的车牌识别系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9785855B2 (en) * 2015-12-17 2017-10-10 Conduent Business Services, Llc Coarse-to-fine cascade adaptations for license plate recognition with convolutional neural networks
US20180101750A1 (en) * 2016-10-11 2018-04-12 Xerox Corporation License plate recognition with low-rank, shared character classifiers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096602A (zh) * 2016-06-21 2016-11-09 苏州大学 一种基于卷积神经网络的中文车牌识别方法
CN109086722A (zh) * 2018-08-06 2018-12-25 汉王科技股份有限公司 混合车牌识别方法、装置、电子设备
CN111461112A (zh) * 2020-03-03 2020-07-28 华南理工大学 一种基于双循环转录网络的车牌字符识别方法
CN112070176A (zh) * 2020-09-18 2020-12-11 福州大学 一种免切割的端到端车牌识别方法
CN112232351A (zh) * 2020-11-09 2021-01-15 浙江工业职业技术学院 一种基于深度神经网络的车牌识别系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卷积神经网络在车牌识别中的应用研究;刘华春;;计算机技术与发展;20181220(第04期);全文 *
基于多尺度加权特征融合网络的地铁行人目标检测算法;董小伟等;电子与信息学报;20210715;全文 *

Also Published As

Publication number Publication date
CN114913515A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN112765358B (zh) 一种基于噪声标签学习的纳税人行业分类方法
CN109492679A (zh) 基于注意力机制与联结时间分类损失的文字识别方法
CN114913515B (zh) 端到端的车牌识别网络构建方法
CN112016556A (zh) 多类型车牌识别方法
CN101604381A (zh) 基于多分类支持向量机的车牌字符识别方法
CN111539211A (zh) 实体及语义关系识别方法、装置、电子设备及存储介质
CN109919175A (zh) 一种结合属性信息的实体多分类方法
CN114299286A (zh) 一种异常天气下基于类别分组的道路场景语义分割方法
CN109086926A (zh) 一种基于组合神经网络结构的短时轨道交通客流预测方法
CN111970169B (zh) 一种基于gru网络的协议流量识别方法
CN111460097A (zh) 一种基于tpn的小样本文本分类方法
CN105096604A (zh) 一种车牌识别的方法和装置
CN111191452A (zh) 一种铁路文本命名实体识别方法及装置
CN115661484A (zh) 一种轻量级的轮胎花纹分类方法及系统
CN114612666A (zh) 一种基于多模态对比学习的rgb-d语义分割方法
CN114861602A (zh) 一种推荐系统中的通用商品序列表征学习方法
CN116681373B (zh) 一种物流供应链管理方法
CN112101274B (zh) 一种车牌识别方法、装置、设备及可读存储介质
CN113642614A (zh) 基于深度网络的基本天气类型分类方法
CN112416354A (zh) 一种基于多维度特征和混合神经网络的代码可读性评估方法
CN115186670B (zh) 一种基于主动学习的领域命名实体识别方法及系统
CN109978013B (zh) 一种用于人物动作识别的深度聚类方法
CN115063597A (zh) 一种基于类脑学习的图像识别方法
CN115170888A (zh) 基于视觉信息和语义属性的电子元器件零样本识别模型及方法
CN109213973A (zh) Vin码转码存储方法及装置和对应的读取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant