CN110688880A - 一种基于精简ResNet残差网络的车牌识别方法 - Google Patents
一种基于精简ResNet残差网络的车牌识别方法 Download PDFInfo
- Publication number
- CN110688880A CN110688880A CN201810736742.9A CN201810736742A CN110688880A CN 110688880 A CN110688880 A CN 110688880A CN 201810736742 A CN201810736742 A CN 201810736742A CN 110688880 A CN110688880 A CN 110688880A
- Authority
- CN
- China
- Prior art keywords
- license plate
- layer
- residual error
- network
- convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000007613 environmental effect Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 20
- 210000002569 neuron Anatomy 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 abstract description 4
- 238000009825 accumulation Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
本发明提出了一种基于精简ResNet残差网络的车牌识别方法,包括如下步骤：一种基于精简ResNet残差网络的车牌识别方法,包括步骤：Ⅰ、输入车牌图片；Ⅱ、使用训练好的网络模型进行车牌识别；Ⅲ、输出识别出到的车牌号。本发明省去了车牌字符切割，手动特征提取等操作，简化了车牌识别过程中的步骤，通过训练好的基于精简ResNet残差网络的模型实现车牌端到端一步识别，减少之前模型的计算量及时间成本，避免误差累积，对车牌有着更好的识别效率和准确率，尤其对边界缺失，因曝光、运动、环境噪音等造成的字符模糊黏连等复杂环境下的车牌识别有着显著的性能提升。
Description
技术领域
本发明涉及车辆车牌自动识别技术领域，具体涉及一种基于精简ResNet 残差网络的车牌识别方法。
背景技术
目前的车牌识别技术的总体解决方案基本上都是通过车牌图片样本训练 车牌识别模型，然后在后续的应用中利用训练好的车牌模型进行识别。
现有车牌模型一般是对车牌图片使用精细的算法进行切割，将各个车牌 字符分开；对各个切割好的字符图片进行特征提取；使用SVM或全连接神经 网络等模型对特征进行分类实现对车牌字符的识别，最终完成车牌识别工作。 通过现有车牌模型对车牌图片进行分割需要很精细的算法，不但难度大，并 且对模糊的车牌图片分割效果较差，对粗略定位的车牌图片需要经过多个流 程进行处理识别，容易造成误差累积，计算量大，耗时多，复杂环境(例如 光照、车速、远距离、环境噪音等)下造成的车牌图片模糊及车牌字符间粘 连时，容易造成无法识别的情况。
发明内容
为了解决上述问题，本发明提出一种基于精简ResNet残差网络的车牌识 别方法。
为实现以上目的，本发明采用的技术方案是：
一种基于精简ResNet残差网络的车牌识别方法,包括如下步骤：
Ⅰ、输入车牌图片；
Ⅱ、使用训练好的网络模型进行车牌识别；所述网络模型训练过程如下：
a、生成或收集各种情况的车牌图片样本，包括不同倾斜度、不同模糊程 度、边界缺失或多出、不同光照噪点以及不同环境干扰，使样本多样化；
b、以精简ResNet残差网络作为基础网络，构建起网络模型；
c、训练网络模型；
d、利用训练出的网络模型对车牌图片进行端到端识别及模型评估；
Ⅲ、输出识别出到的车牌号。
优选的，所述步骤Ⅱ中网络模型包括第一残差结构、第二残差结构、第 三残差结构和分类层，所述第一残差结构、第二残差结构和第三残差结构均 包括用于特征提取的卷积层、加快训练速度的Batch Normalization层、用 于引入非线性因素的ReLu层和ELU层。
进一步的，所述第一残差结构和第二残差结构各分别包括两个卷积层， 每个卷积层的卷积核为3×3，卷积步长为1×1，padding方式为SAME，神经 元个数为256；
所述第三残差结构包括恒等映射卷积层和剩余映射卷积层，所述恒等映 射卷积层的卷积核为1×1，步长为2×2，padding方式为VALID，神经元个 数为512；所述剩余映射卷积层包括两个卷积层，分别为卷积核为3×3，步 长为2×2，padding方式为VALID，神经元个数为512的卷积层和卷积核为3 ×3，步长为1×1，padding方式为SAME，神经元个数为512的卷积层。
进一步的，所述分类层包括最大池化层和两个全连接层，所述最大池化 层与其中一个全连接层之间设有Flatten层，用以将输入数据转换成简单的 向量；该全连接层经过用以加快训练速度的Batch Normalization层批标准 化处理至另一个全连接层，然后将上述处理后的数据经过ELU层非线性变换 之后使用reshape函数将数据转换成二维向量，最后通过softmax函数处理 产生一系列的预测结果，就是归属分类的一个得分。
优选的，步骤Ⅱ车牌识别是利用d训练出的网络模型对待测样本进行车 牌识别测试，设置置信度阈值，若检测结果置信度得分大于阈值则输出该结 果；否则，丢弃。
本发明省去了车牌字符切割，手动特征提取等操作，简化了车牌识别过 程中的步骤，通过训练好的基于精简ResNet残差网络的模型实现车牌端到端 一步识别，减少之前模型的计算量及时间成本，避免误差累积，对车牌有着 更好的识别效率和准确率，尤其对边界缺失，因曝光、运动、环境噪音等造 成的字符模糊黏连等复杂环境下的车牌识别有着显著的性能提升。
附图说明
构成本发明的一部分附图用来提供对本发明的进一步理解。
在附图中：
图1为本发明一种基于精简ResNet残差网络的车牌识别方法的工作流程 框图。
图2为本发明网络模型训练流程图。
图3为本发明模型网络结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于精简ResNet残差网络的车牌识别方法,包括如下 步骤：
Ⅰ、输入车牌图片；
Ⅱ、使用训练好的网络模型进行车牌识别；所述网络模型训练过程如下 (如图2所示)：
a、生成或收集各种情况的车牌图片样本，包括不同倾斜度、不同模糊程 度、边界缺失或多出、不同光照噪点以及不同环境干扰，使样本多样化；
b、以精简ResNet残差网络作为基础网络，添加额外辅助的网络结构作 为特征提取层和分类层，构建起网络模型；
c、训练网络模型；
d、利用训练出的网络模型对车牌图片进行端到端识别及模型评估；
Ⅲ、输出识别出到的车牌号。
如图3所示，所述步骤Ⅱ中网络模型包括第一残差结构、第二残差结构、 第三残差结构和分类层，所述第一残差结构、第二残差结构和第三残差结构 均包括用于特征提取的卷积层、加快训练速度的Batch Normalization层、 用于引入非线性因素的ReLu层和ELU层。所述第一残差结构和第二残差结构 各分别包括两个卷积层，每个卷积层的卷积核为3×3，卷积步长为1×1， padding方式为SAME，神经元个数为256；所述第三残差结构包括恒等映射卷 积层和剩余映射卷积层，所述恒等映射卷积层的卷积核为1×1，步长为2×2，padding方式为VALID，神经元个数为512；所述剩余映射卷积层包括两个卷 积层，分别为卷积核为3×3，步长为2×2，padding方式为VALID，神经元 个数为512的卷积层和卷积核为3×3，步长为1×1，padding方式为SAME， 神经元个数为512的卷积层。步骤Ⅱ车牌识别是利用d训练出的网络模型对 待测样本进行车牌识别测试，设置置信度阈值，若检测结果置信度得分大于 阈值则输出该结果；否则，丢弃。
所述分类层包括最大池化层和两个全连接层，所述最大池化层与其中一 个全连接层之间设有Flatten层，用以将输入数据转换成简单的向量；该全 连接层经过用以加快训练速度的Batch Normalization层批标准化处理至另 一个全连接层，然后将上述处理后的数据经过ELU层非线性变换之后使用 reshape函数将数据转换成二维向量，最后通过softmax函数处理产生一系列 的预测结果，就是归属分类的一个得分。
所述网络模型的训练过程大致为：车牌样本的输入数据维度为 height*width*c，height表示样本像素高，width表示样本像素宽度，c表示 样本通道数，经过一个卷积核大小为3×3，卷积步长为2×2，padding方式 为SAME，神经元个数为256的卷积层，经dropout进入精简ResNet残差网络 模型的第一残差结构，进行车牌样本的特征提取，提取的特征数据进入第二 残差结构，对数据进行初步优化，然后进入第三残差结构进行数据的深度优化，第三残差结构输出的数据经分类层网络处理，输出数据维度为N*M，N表 示一个车牌字符个数，M表示所有组成车牌的字符集个数，每个数据对应其概 率，通过softmax函数计算得到M个字符集中概率最高的那个。
训练的模型目标函数可用于多目标分类，即车牌号各属车牌字符集中的 哪个字符，目标的损失函数公式如下:
Loss＝-∑yilny′i
其中yi表示真实值，y'i表示预测的类别概率。
所述网络模型的训练原理为：首先初始化网络中待训练的参数及超参数， 带训练参数通过Xavier初始化。向初始化后的网络中输入训练样本数据进行 网络前向传播，得到实际的输出结果。所述的训练样本数据包括归一化后的 图片信息以及标签信息。使用上述的损失函数，结合反向传播BP算法调整网 络参数。进行迭代训练，至损失值小于设定的阈值或达到最大迭代次数时训 练结束，得到用于车牌识别的网络模型。
利用训练的基于精简ResNet残差网络模型对待测样本进行车牌识别测 试。将车牌图片样本输入模型，得到识别到的车牌号和准确率。经测试本发 明的基于精简ResNet残差网络结构车牌识别模型，对远景近景车牌有很高的 识别率，尤其对车牌不同曝光、运动模糊、字符黏连、边界缺失、环境噪音 扰动等复杂环境下的车牌图片识别效果有显著提高。故在实际应用中只需保 存训练好的基于精简ResNet残差网络模型，利用模型对车牌进行端到端一步 识别即可。
所述基于精简ResNet残差网络的车牌识别方法是基于计算机装置来实现 的，所述计算机装置包括处理器和存储器，所述处理器读取并执行存储器中 实现生成基于精简ResNet残差网络的车牌识别方法的计算机程序。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人 员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其 中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于精简ResNet残差网络的车牌识别方法,包括如下步骤：
Ⅰ、输入车牌图片；
Ⅱ、使用训练好的网络模型进行车牌识别；所述网络模型训练过程如下：
a、生成或收集各种情况的车牌图片样本，包括不同倾斜度、不同模糊程度、边界缺失或多出、不同光照噪点以及不同环境干扰，使样本多样化；
b、以精简ResNet残差网络作为基础网络，构建起网络模型；
c、训练网络模型；
d、利用训练出的网络模型对车牌图片进行端到端识别及模型评估；
Ⅲ、输出识别出到的车牌号。
2.根据权利要求1所述的一种基于精简ResNet残差网络的车牌识别方法，其特征在于：所述步骤Ⅱ中网络模型包括第一残差结构、第二残差结构、第三残差结构和分类层，所述第一残差结构、第二残差结构和第三残差结构均包括用于特征提取的卷积层、加快训练速度的Batch Normalization层、用于引入非线性因素的ReLu层和ELU层。
3.根据权利要求2所述的一种基于精简ResNet残差网络的车牌识别方法，其特征在于：
所述第一残差结构和第二残差结构各分别包括两个卷积层，每个卷积层的卷积核为3×3，卷积步长为1×1，padding方式为SAME，神经元个数为256；
所述第三残差结构包括恒等映射卷积层和剩余映射卷积层，所述恒等映射卷积层的卷积核为1×1，步长为2×2，padding方式为VALID，神经元个数为512；所述剩余映射卷积层包括两个卷积层，分别为卷积核为3×3，步长为2×2，padding方式为VALID，神经元个数为512的卷积层和卷积核为3×3，步长为1×1，padding方式为SAME，神经元个数为512的卷积层。
4.根据权利要求3所述的一种基于精简ResNet残差网络的车牌识别方法，其特征在于：所述分类层包括最大池化层和两个全连接层，所述最大池化层与其中一个全连接层之间设有Flatten层，用以将输入数据转换成简单的向量；该全连接层经过用以加快训练速度的Batch Normalization层批标准化处理至另一个全连接层，然后将上述处理后的数据经过ELU层非线性变换之后使用reshape函数将数据转换成二维向量，最后通过softmax函数处理产生一系列的预测结果，就是归属分类的一个得分。
5.根据权利要求1所述的一种基于精简ResNet残差网络的车牌识别方法，其特征在于：步骤Ⅱ车牌识别是利用d训练出的网络模型对待测样本进行车牌识别测试，设置置信度阈值，若检测结果置信度得分大于阈值则输出该结果；否则，丢弃。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810736742.9A CN110688880A (zh) | 2018-07-06 | 2018-07-06 | 一种基于精简ResNet残差网络的车牌识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810736742.9A CN110688880A (zh) | 2018-07-06 | 2018-07-06 | 一种基于精简ResNet残差网络的车牌识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110688880A true CN110688880A (zh) | 2020-01-14 |
Family
ID=69107214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810736742.9A Pending CN110688880A (zh) | 2018-07-06 | 2018-07-06 | 一种基于精简ResNet残差网络的车牌识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110688880A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299486A (zh) * | 2021-12-30 | 2022-04-08 | 郑州信大先进技术研究院 | 嵌入式端实时高效的车牌识别方法、设备及介质 |
| CN111695587B (zh) * | 2020-04-01 | 2024-04-16 | 新华三技术有限公司 | 一种车辆品牌型号识别方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105956626A (zh) * | 2016-05-12 | 2016-09-21 | 成都新舟锐视科技有限公司 | 基于深度学习的对车牌位置不敏感的车牌识别方法 |
| CN106446895A (zh) * | 2016-10-28 | 2017-02-22 | 安徽四创电子股份有限公司 | 一种基于深度卷积神经网络的车牌识别方法 |
| CN107784303A (zh) * | 2016-12-15 | 2018-03-09 | 平安科技（深圳）有限公司 | 车牌识别方法及装置 |
| CN107944496A (zh) * | 2017-12-06 | 2018-04-20 | 电子科技大学 | 基于改进后的残差网络的骨龄自动化识别系统 |
-
2018
- 2018-07-06 CN CN201810736742.9A patent/CN110688880A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105956626A (zh) * | 2016-05-12 | 2016-09-21 | 成都新舟锐视科技有限公司 | 基于深度学习的对车牌位置不敏感的车牌识别方法 |
| CN106446895A (zh) * | 2016-10-28 | 2017-02-22 | 安徽四创电子股份有限公司 | 一种基于深度卷积神经网络的车牌识别方法 |
| CN107784303A (zh) * | 2016-12-15 | 2018-03-09 | 平安科技（深圳）有限公司 | 车牌识别方法及装置 |
| CN107944496A (zh) * | 2017-12-06 | 2018-04-20 | 电子科技大学 | 基于改进后的残差网络的骨龄自动化识别系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111695587B (zh) * | 2020-04-01 | 2024-04-16 | 新华三技术有限公司 | 一种车辆品牌型号识别方法及装置 |
| CN114299486A (zh) * | 2021-12-30 | 2022-04-08 | 郑州信大先进技术研究院 | 嵌入式端实时高效的车牌识别方法、设备及介质 |
| CN114299486B (zh) * | 2021-12-30 | 2024-04-16 | 郑州信大先进技术研究院 | 嵌入式端实时高效的车牌识别方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109543502B (zh) | 一种基于深度多尺度神经网络的语义分割方法 | |
| CN110334705B (zh) | 一种结合全局和局部信息的场景文本图像的语种识别方法 | |
| CN109977918B (zh) | 一种基于无监督域适应的目标检测定位优化方法 | |
| US20230186056A1 (en) | Grabbing detection method based on rp-resnet | |
| CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN111079847B (zh) | 一种基于深度学习的遥感影像自动标注方法 | |
| Sajanraj et al. | Indian sign language numeral recognition using region of interest convolutional neural network | |
| CN112861970B (zh) | 一种基于特征融合的细粒度图像分类方法 | |
| CN110728694B (zh) | 一种基于持续学习的长时视觉目标跟踪方法 | |
| CN113744311A (zh) | 基于全连接注意力模块的孪生神经网络运动目标跟踪方法 | |
| CN113591978B (zh) | 一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质 | |
| CN114202743A (zh) | 自动驾驶场景下基于改进faster-RCNN的小目标检测方法 | |
| CN111553414A (zh) | 一种基于改进Faster R-CNN的车内遗失物体检测方法 | |
| CN112733590A (zh) | 一种基于二阶混合注意力的行人重识别方法 | |
| CN105893941B (zh) | 一种基于区域图像的人脸表情识别方法 | |
| CN112233129A (zh) | 基于深度学习的并行多尺度注意力机制语义分割方法及装置 | |
| Sethy et al. | Off-line Odia handwritten numeral recognition using neural network: a comparative analysis | |
| CN112183649A (zh) | 一种用于对金字塔特征图进行预测的算法 | |
| CN110852295A (zh) | 一种基于多任务监督学习的视频行为识别方法 | |
| CN117197904A (zh) | 人脸活体检测模型的训练方法、人脸活体检测方法及装置 | |
| CN110688880A (zh) | 一种基于精简ResNet残差网络的车牌识别方法 | |
| CN113822134A (zh) | 一种基于视频的实例跟踪方法、装置、设备及存储介质 | |
| CN111612803A (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
| CN110555462A (zh) | 基于卷积神经网络的无固定多字符验证码识别方法 | |
| CN113887509B (zh) | 一种基于图像集合的快速多模态视频人脸识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200114 |
|
| RJ01 | Rejection of invention patent application after publication |