CN111767927A - 一种基于全卷积网络的轻量级车牌识别方法及系统 - Google Patents
一种基于全卷积网络的轻量级车牌识别方法及系统 Download PDFInfo
- Publication number
- CN111767927A CN111767927A CN202010496080.XA CN202010496080A CN111767927A CN 111767927 A CN111767927 A CN 111767927A CN 202010496080 A CN202010496080 A CN 202010496080A CN 111767927 A CN111767927 A CN 111767927A
- Authority
- CN
- China
- Prior art keywords
- license plate
- lightweight
- network
- recognition
- plate recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000006870 function Effects 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000012360 testing method Methods 0.000 claims abstract description 30
- 238000002372 labelling Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 30
- 239000010410 layer Substances 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 13
- 239000002356 single layer Substances 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000011109 contamination Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 230000006798 recombination Effects 0.000 claims description 6
- 238000005215 recombination Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000000844 transformation Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Character Input (AREA)
Abstract
本发明提供了一种基于全卷积网络的轻量级车牌识别方法及系统，包括：收集和标注车牌样本图片，按预设比例划分训练集和测试集；搭建基于全卷积的轻量级车牌识别网络模型；确定多任务学习框架，设定的损失函数；使用训练集的车牌样本图片训练基于全卷积的轻量级车牌识别网络模型，直至损失函数的误差小于预设值；选取训练过程中不同阶段保存的基于全卷积的轻量级车牌识别网络模型参数，使用测试集中的车牌样本图片在不同的参数下测试基于全卷积的轻量级车牌识别网络的综合性能，将准确率最高的参数固定为模型最终的参数；本发明采用全卷积网络建模序列信息，使得模型易于并行化实现，在推理阶段需要更少的计算资源，且具有更低的时延。
Description
技术领域
本发明涉及计算机视觉领域的数字图像处理技术和光学字符识别识别(OCR)技术，具体地，涉及一种基于全卷积网络的轻量级车牌识别方法及系统。
背景技术
随着经济社会的高速发展，机动车辆的数目也在不断增加。实现对车辆身份自动识别，能够提高车辆的管理效率、降低人力成本。因此，车牌识别技术成为近几年研究的热点。目前常见的车牌识别技术可分为基于字符分割的识别技术和基于端到端网络的识别技术。
基于字符分割的识别技术，即将连续的车牌内容分割成多个单一的字符，随后逐个对这些字符进行识别，最后根据识别结果依次组合为车牌号码。字符分割方法包括边缘提取、水平垂直投影、特征投影等方法；字符识别方法包括模版匹配法、隐马尔可夫模型、支持向量机、人工神经网络等方法。由于字符分割极易产生分割错误，且破坏了连续的语义信息，导致整体识别鲁棒性较差。并且该方法很难实现计算的并行化，从而导致平均处理时延高。
基于端到端网络的识别技术，即将输入车牌作为整幅图片进行识别。通常使用卷积神经网络(CNN)提取高级特征，再用循环神经网络(RNN)编码序列信息，最后输出全部字符的识别结果。该种方法保留了车牌完整的语义信息，具有较好的鲁棒性和较高的识别准确率。同时，该方法可以在一定程度上实现并行化计算进而提升处理效率。
对于车牌颜色类别的分类技术，常用的做法是基于数字图像处理技术，将RGB 图像转换到HSV色域，通过设定阈值对颜色进行分类，统计相同类别的像素块的个数，最后得出车牌的最终颜色。但是该方法容易收到亮度、光照等因素的影响，并且不合理的采样区域会极大地影响最终的分类结果。
基于端到端网络的识别技术中，论文(Zherzdev S,Gruzdev A.LPRNet:LicensePlate Recognition via Deep Neural Networks[J].2018.)提出了一种无需预先分割的端到端车牌识别模型，该模型达到实时处理的水平，且不用任何RNN结构。但是该模型无法用于识别双层车牌且不支持车牌颜色类别的判断。论文(Yu Cao, Huiyuan Fu,HuadongMa.An End-to-End Neural Network for Multi-line License Plate Recognition[C].2018.)提出了一种端到端的多层车牌识别网络模型，该模型提供了基于特征图谱分割解决多层车牌识别的思路，并采用双向长短期记忆网络 (BiLSTM)进行序列编码。但是采用RNN进行序列编码会导致在推理阶段，模型难以实现完全并行化，存在一定的计算时延；并且该模型也无法支持车牌颜色类别的判断任务。专利CN110619327A公开了一种基于端到端的车牌识别模型，采用全联接映射得到字符类别。但是存在无法处理变长车牌、双层车牌，建模方法鲁棒性差等问题。并且也不支持车牌颜色类别的识别。
专利文献CN106971185A(申请号：201710188171.5)公开了一种基于全卷积网络的车牌定位方法及装置。该方法包括：采用预先基于第一全卷积神经网络结构训练得到的车牌定位模型，确定待检测车辆图片中包含的至少一个车牌图片初分区域；对包含至少一个车牌图片初分区域的待检测车辆图片进行处理，得到待检测车辆图片中包含的候选车牌区域；采用预先基于第二全卷积神经网络结构训练得到的车牌首字识别模型，确定候选车牌区域的首字符是否为车牌首字符；若候选车牌区域的首字符为车牌首字符，则确定候选车牌区域是车牌，并在待检测车辆图片中绘制车牌所在位置。
专利文献CN107239778B(申请号：201710432232.8)公开了一种高效准确的车牌识别方法，包括：对输入的车牌图片进行车牌紧致化处理，获得紧致的车牌图片；使用预先训练好的全卷积神经网络模型进行车牌整体识别，获得紧致的车牌图片中每一像素点字符类别的预测结果，形成标签得分矩阵；对标签得分矩阵进行分析，获得最终的车牌字符串信息。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于全卷积网络的轻量级车牌识别方法及系统。
根据本发明提供的一种基于全卷积网络的轻量级车牌识别方法，包括：
步骤M1：收集和标注车牌样本图片，并按照预设比例划分为训练集和测试集；
步骤M2：基于车牌识别搭建基于全卷积的轻量级车牌识别网络模型；
步骤M3：确定多任务学习框架，并基于多任务学习框架设定用于优化基于全卷积的轻量级车牌识别网络模型参数的损失函数；
步骤M4：使用训练集的车牌样本图片训练基于全卷积的轻量级车牌识别网络模型，直至损失函数的误差小于预设值；
步骤M5：选取训练过程中不同阶段保存的基于全卷积的轻量级车牌识别网络模型参数，使用测试集中的车牌样本图片在不同的参数下测试基于全卷积的轻量级车牌识别网络的综合性能，将准确率最高的参数固定为模型最终的参数；
所述基于全卷积的轻量级车牌识别网络模型是实现车牌图片的字符内容和颜色类别的端到端识别，车牌图片作为输入，输出车牌的字符内容和车牌的颜色类别；
所述多任务学习框架是同时进行多个任务学习，包括车牌内容识别和车牌类别识别。
优选地，所述步骤M1包括：车牌样本图片利用数据增强和/或空间变换网络增加车牌样本图片的丰富性和多样性；
所述数据增强包括随机亮度、随机对比度和随机色饱和度变换；
所述空间变换网络用语构造平移、旋转和透视变换。
优选地，所述步骤M1包括：
所述车牌样本图片包括：单层、双层、新能源、警牌和军牌；同时车牌样本图片保证车牌区域完整且占比大于预设值；
所述标注车牌图片包括：标注车牌字符内容和车牌颜色。
优选地，所述步骤M1包括：采用人工合成车牌图片的方式扩充车牌样本图片数据集；
所述人工合成车牌图片包括使用计算机软件，按照国家规定的包括颜色、文字和尺寸车牌标准，结合包括光线变化、增加污损、旋转和缩放方法后生成的车牌图片。
优选地，所述步骤M2中基于全卷积的轻量级车牌识别网络模型包括：骨干网络、类别预测分支和字符预测分支；
所述骨干网络从输入图片中提取特征；
所述类别预测分支包括全局池化和类别预测模块，利用骨干网络输出的特征计算颜色类别；
所述字符预测分支包括特征重组、序列编码和字符预测模块，利用骨干网络输出的特征计算字符内容。
优选地，所述步骤M3包括：
步骤M3.1：轻量级车牌识别网络模型中类别预测分支采用交叉熵损失函数优化，损失函数定义为：
其中，LCE为损失函数的函数值；x为一维向量；xclass为x中索引为class的元素值；class为对应类别的下标索引；xj为x中索引为j的元素值；j为下标索引；
步骤M3.2：轻量级车牌识别网络模型中字符预测分支采用连接时序分类损失函数优化，损失函数定义：
令y＝(y1,y2,…,yw)为轻量级车牌识别网络模型中字符预测分支输出的概率分布，得到目标序列π的条件概率为：
其中，
为在时刻t得到中间序列πt概率；w表示概率分布的总长度；
通过多对一映射得到的序列作为最终的预测结果；
根据不同的目标序列π映射得到相同的结果，因此最终输出结果的概率为：
从而得到损失函数的最终形式：
LCTC＝-∑πlog(li|yi)；
步骤M3.3：骨干网络使用两个分支的损失加权优化，损失函数定义为，
Lbackbone＝λ1·LCTC+λ2·LCE
其中，λ1和λ2为线形加权参数，满足λ1+λ2＝1的约束条件。
优选地，所述步骤M5中综合性能包括：综合性能的评估指标包括车牌字符内容识别准确率、车牌颜色类别分类准确率和平均处理时延；
所述车牌字符内容识别准确率为字符完全识别正确的车牌数/总车牌数；
所述车牌颜色类别分类准确率为分类正确的车牌数/总车牌数；
所述平均处理时延为总处理时间/总车牌数。
根据本发明提供的一种基于全卷积网络的轻量级车牌识别系统，包括：
模块M1：收集和标注车牌样本图片，并按照预设比例划分为训练集和测试集；
模块M2：基于车牌识别搭建基于全卷积的轻量级车牌识别网络模型；
模块M3：确定多任务学习框架，并基于多任务学习框架设定用于优化基于全卷积的轻量级车牌识别网络模型参数的损失函数；
模块M4：使用训练集的车牌样本图片训练基于全卷积的轻量级车牌识别网络模型，直至损失函数的误差小于预设值；
模块M5：选取训练过程中不同阶段保存的基于全卷积的轻量级车牌识别网络模型参数，使用测试集中的车牌样本图片在不同的参数下测试基于全卷积的轻量级车牌识别网络的综合性能，将准确率最高的参数固定为模型最终的参数；
所述基于全卷积的轻量级车牌识别网络模型是实现车牌图片的字符内容和颜色类别的端到端识别，车牌图片作为输入，输出车牌的字符内容和车牌的颜色类别；
所述多任务学习框架是同时进行多个任务学习，包括车牌内容识别和车牌类别识别。
优选地，所述模块M1包括：车牌样本图片利用数据增强和/或空间变换网络增加车牌样本图片的丰富性和多样性；
所述数据增强包括随机亮度、随机对比度和随机色饱和度变换；
所述空间变换网络用语构造平移、旋转和透视变换；
所述模块M1包括：
所述车牌样本图片包括：单层、双层、新能源、警牌和军牌；同时车牌样本图片保证车牌区域完整且占比大于预设值；
所述标注车牌图片包括：标注车牌字符内容和车牌颜色；
所述模块M1包括：采用人工合成车牌图片的方式扩充车牌样本图片数据集；
所述人工合成车牌图片包括使用计算机软件，按照国家规定的包括颜色、文字和尺寸车牌标准，结合包括光线变化、增加污损、旋转和缩放方法后生成的车牌图片。
优选地，所述模块M2中基于全卷积的轻量级车牌识别网络模型包括：骨干网络、类别预测分支和字符预测分支；
所述骨干网络从输入图片中提取特征；
所述类别预测分支包括全局池化和类别预测模块，利用骨干网络输出的特征计算颜色类别；
所述字符预测分支包括特征重组、序列编码和字符预测模块，利用骨干网络输出的特征计算字符内容；
所述模块M3包括：
模块M3.1：轻量级车牌识别网络模型中类别预测分支采用交叉熵损失函数优化，损失函数定义为：
其中，LCE为损失函数的函数值；x为一维向量；xclass为x中索引为class的元素值；class为对应类别的下标索引；xj为x中索引为j的元素值；j为下标索引；
模块M3.2：轻量级车牌识别网络模型中字符预测分支采用连接时序分类损失函数优化，损失函数定义：
令y＝(y1,y2,…,yw)为轻量级车牌识别网络模型中字符预测分支输出的概率分布，得到目标序列π的条件概率为：
其中，
为在时刻t得到中间序列πt概率；w表示概率分布的总长度；
通过多对一映射得到的序列作为最终的预测结果；
根据不同的目标序列π映射得到相同的结果，因此最终输出结果的概率为：
从而得到损失函数的最终形式：
LCTC＝-∑πlog(li|yi)；
模块M3.3：骨干网络使用两个分支的损失加权优化，损失函数定义为，
Lbackbone＝λ1·LCTC+λ2·LCE
其中，λ1和λ2为线形加权参数，满足λ1+λ2＝1的约束条件；
所述模块M5中综合性能包括：综合性能的评估指标包括车牌字符内容识别准确率、车牌颜色类别分类准确率和平均处理时延；
所述车牌字符内容识别准确率为字符完全识别正确的车牌数/总车牌数；
所述车牌颜色类别分类准确率为分类正确的车牌数/总车牌数；
所述平均处理时延为总处理时间/总车牌数。
与现有技术相比，本发明具有如下的有益效果：
1、本发明基于端到端网络模型，相比于传统方法，去掉了字符分割步骤，保留了车牌完整的语义信息，具有较好的鲁棒性和较高的识别准确率。同时，该方法可以在一定程度上实现并行化计算进而提升处理效率
2、本发明在进行序列编码时，采用全卷积网络建模序列信息，无需任何RNN结构，使得模型易于并行化实现，在推理阶段需要更少的计算资源，且具有更低的时延。
3、本发明提出的模型能够同时准确识别车牌的字符内容和颜色类别，广泛支持单层、双层以及新能源、警牌、军牌等特殊类型车牌。该模型在整体轻量快速的同时，具有很高的识别准确率，能够应对各种复杂场景。同时，该模型的实现方式极易于训练和部署工作
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明基于全卷积网络的轻量级车牌识别方法的整体框架图。上下虚线框内分别包含了训练和推理两个阶段的框架。
图2为本发明提出的网络模型框架示意图。整张示意图表示数据的流动形式，每个虚线框内标识关键张量的维度和处理方式。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
为解决现存车牌识别方法在复杂场景下识别能力不足、支持车牌类型有限、需要计算资源大、平均计算时延高等问题，本发明提出一种基于全卷积网络的轻量级车牌识别方法。本发明提出的基于深度学习的网络模型主要由三个模块组成：用于特征提取的的骨干网络，用于计算颜色类别的类别预测分支和用于计算字符内容的字符预测分支。本发明公开的车牌识别方法，具有模型轻量快速、识别准确、易于部署等优点，能够同时准确识别车牌的字符内容和颜色类别，广泛支持单层、双层以及新能源、警牌、军牌等特殊类型车牌。
本发明公开了一种基于全卷积网络的轻量级车牌识别方法，包括以下步骤：首先搭建基于全卷积的轻量级车牌识别网络模型，包括特征提取骨干网络、字符识别分支和颜色分类分支；然后准备用于训练的车牌样本图片，图片是需要裁剪出合理的车牌区域，并标注相应的车牌字符内容和车牌颜色类别；接着采用多任务学习 (multi-task learning)的策略训练网络模型，识别分支采用连接时序分类损失 (CTCLoss)优化，类别分支采用交叉熵损失(CELoss)优化，用于优化骨干网络的 Loss由两者的线性组合构成；同时，在训练时通过数据增强和空间变换网络 (spatial transformer network，STN)增加样本的丰富性与多样性，从而提升识别模型的鲁棒性；最后将训练好的模型直接部署，即可实现对给定车牌图片进行分析识别，得到车牌的字符内容和颜色类别。本发明公开的车牌识别方法，具有模型轻量快速、识别准确、易于部署等优点，能够同时准确识别车牌的字符内容和颜色类别，并支持单层、双层以及新能源、警牌、军牌等特殊类型车牌。
实施例1
根据本发明提供的一种基于全卷积网络的轻量级车牌识别方法，包括：
步骤M1：收集和标注车牌样本图片，并按照9:1的比例划分为训练集和测试集；
步骤M2：基于车牌识别搭建基于全卷积的轻量级车牌识别网络模型；
步骤M3：确定多任务学习框架，并基于多任务学习框架设定用于优化基于全卷积的轻量级车牌识别网络模型参数的损失函数；
步骤M4：使用训练集的车牌样本图片训练基于全卷积的轻量级车牌识别网络模型，直至损失函数的误差小于预设值；
步骤M5：选取训练过程中不同阶段保存的基于全卷积的轻量级车牌识别网络模型参数，使用测试集中的车牌样本图片在不同的参数下测试基于全卷积的轻量级车牌识别网络的综合性能，将准确率最高的参数固定为模型最终的参数；
步骤M6：导出训练好的基于全卷积的轻量级车牌识别网络模型，通过直接部署成服务或集成于其他系统中使用。其中将训练好的模型导出为开放神经网络交换格式(OpenNeural Network Exchange，ONNX)，可以被目前主流的推理引擎加载。可以使用TensorflowServing或Flask+Caffe2等方法将模型封装为HTTP Server 的形式提供服务，通过API调用模型；或者将模型集成于现有系统中，通过接口函数实现调用。
所述基于全卷积的轻量级车牌识别网络模型，其作用是实现车牌图片的字符内容和颜色类别的端到端识别，其输入为车牌图片，输出为车牌的字符内容和车牌的颜色类别，其目的是实现车牌识别任务的有效性和高效性，即识别准确率高、识别速度快。
所述多任务学习框架是同时进行多个任务学习，包括车牌内容识别和车牌类别识别。
具体地，所述步骤M1包括：车牌样本图片利用数据增强和/或空间变换网络增加车牌样本图片的丰富性和多样性，增广样本可以有效避免模型过拟合并提升最终网络的鲁棒性；
所述数据增强包括随机亮度、随机对比度和随机色饱和度变换；
所述空间变换网络用语构造平移、旋转和透视变换。
具体地，所述步骤M1包括：
所述车牌样本图片包括：单层、双层、新能源、警牌和军牌；同时车牌样本图片保证车牌区域完整且占比大于80％；
所述标注车牌图片包括：标注车牌字符内容和车牌颜色。
具体地，所述步骤M1包括：采用人工合成车牌图片的方式扩充车牌样本图片数据集；
所述人工合成车牌图片包括使用计算机软件，按照国家规定的包括颜色、文字和尺寸车牌标准，结合包括光线变化、增加污损、旋转和缩放方法后生成的车牌图片。
具体地，所述步骤M2中基于全卷积的轻量级车牌识别网络模型包括：采用PyTorch深度学习框架搭建和训练模型；
所述基于全卷积的轻量级车牌识别网络模型包括：骨干网络、类别预测分支和字符预测分支；
所述骨干网络从输入图片中提取特征；表1为网络中普遍使用的轻量卷机模块，表2为骨干网络的网络结构。该模块的输入为的RGB车牌图片，输出为的特征图谱；
表1
表2
所述类别预测分支包括全局池化和类别预测模块，利用骨干网络输出的特征计算颜色类别；表3为颜色分类分支的网络结构，该模块的输入为特征图谱，输出为车牌的颜色类别。
| 单元名称 | 输出尺寸C×H×W |
| 输入层 | 256×8×28 |
| 全局池化层 | 256 |
| 全联接层 | #T |
表3
所述字符预测分支包括特征重组、序列编码和字符预测模块，利用骨干网络输出的特征计算字符内容。表4-5为为内容识别分支的网络结构，该模块的输入为特征图谱，输出为车牌的字符内容；
表4
表5
具体地，所述步骤M3包括：
步骤M3.1：轻量级车牌识别网络模型中类别预测分支采用交叉熵损失函数优化，损失函数定义为：
其中，LCE为损失函数的函数值；x为一维向量；xclass为x中索引为class的元素值；class为对应类别的下标索引；xj为x中索引为j的元素值；j为下标索引；
步骤M3.2：轻量级车牌识别网络模型中字符预测分支采用连接时序分类损失函数优化，损失函数定义：
令y＝(y1,y2,…,yw)为轻量级车牌识别网络模型中字符预测分支输出的概率分布，得到目标序列π的条件概率为：
其中，
为在时刻t得到中间序列πt概率；w表示概率分布的总长度；
通过多对一映射得到的序列作为最终的预测结果；
根据不同的目标序列π映射得到相同的结果，因此最终输出结果的概率为：
从而得到损失函数的最终形式：
LCTC＝-∑πlog(li|yi)；
步骤M3.3：骨干网络使用两个分支的损失加权优化，损失函数定义为，
Lbackbone＝λ1·LCTC+λ2·LCE
其中，λ1和λ2为线形加权参数，满足λ1+λ2＝1的约束条件。在训练的前几个周期，λ1取1、λ2取0；在后续的训练周期中，λ1取0.7、λ2取0.3。
具体地，所述步骤M5中综合性能包括：综合性能的评估指标包括车牌字符内容识别准确率、车牌颜色类别分类准确率和平均处理时延；
所述车牌字符内容识别准确率为字符完全识别正确的车牌数/总车牌数；
所述车牌颜色类别分类准确率为分类正确的车牌数/总车牌数；
所述平均处理时延为总处理时间/总车牌数。
根据本发明提供的一种基于全卷积网络的轻量级车牌识别系统，包括：
模块M1：收集和标注车牌样本图片，并按照9:1的比例划分为训练集和测试集；
模块M2：基于车牌识别搭建基于全卷积的轻量级车牌识别网络模型；
模块M3：确定多任务学习框架，并基于多任务学习框架设定用于优化基于全卷积的轻量级车牌识别网络模型参数的损失函数；
模块M4：使用训练集的车牌样本图片训练基于全卷积的轻量级车牌识别网络模型，直至损失函数的误差小于预设值；
模块M5：选取训练过程中不同阶段保存的基于全卷积的轻量级车牌识别网络模型参数，使用测试集中的车牌样本图片在不同的参数下测试基于全卷积的轻量级车牌识别网络的综合性能，将准确率最高的参数固定为模型最终的参数；
模块M6：导出训练好的基于全卷积的轻量级车牌识别网络模型，通过直接部署成服务或集成于其他系统中使用。其中将训练好的模型导出为开放神经网络交换格式(OpenNeural Network Exchange，ONNX)，可以被目前主流的推理引擎加载。可以使用TensorflowServing或Flask+Caffe2等方法将模型封装为HTTP Server 的形式提供服务，通过API调用模型；或者将模型集成于现有系统中，通过接口函数实现调用。
所述基于全卷积的轻量级车牌识别网络模型，其作用是实现车牌图片的字符内容和颜色类别的端到端识别，其输入为车牌图片，输出为车牌的字符内容和车牌的颜色类别，其目的是实现车牌识别任务的有效性和高效性，即识别准确率高、识别速度快。
所述多任务学习框架是同时进行多个任务学习，包括车牌内容识别和车牌类别识别。
具体地，所述模块M1包括：车牌样本图片利用数据增强和/或空间变换网络增加车牌样本图片的丰富性和多样性，增广样本可以有效避免模型过拟合并提升最终网络的鲁棒性；
所述数据增强包括随机亮度、随机对比度和随机色饱和度变换；
所述空间变换网络用语构造平移、旋转和透视变换。
具体地，所述模块M1包括：
所述车牌样本图片包括：单层、双层、新能源、警牌和军牌；同时车牌样本图片保证车牌区域完整且占比大于80％；
所述标注车牌图片包括：标注车牌字符内容和车牌颜色。
具体地，所述模块M1包括：采用人工合成车牌图片的方式扩充车牌样本图片数据集；
所述人工合成车牌图片包括使用计算机软件，按照国家规定的包括颜色、文字和尺寸车牌标准，结合包括光线变化、增加污损、旋转和缩放方法后生成的车牌图片。
具体地，所述模块M2中基于全卷积的轻量级车牌识别网络模型包括：采用PyTorch深度学习框架搭建和训练模型；
所述基于全卷积的轻量级车牌识别网络模型包括：骨干网络、类别预测分支和字符预测分支；
所述骨干网络从输入图片中提取特征；表1为网络中普遍使用的轻量卷机模块，表2为骨干网络的网络结构。该模块的输入为的RGB车牌图片，输出为的特征图谱；
表1
表2
所述类别预测分支包括全局池化和类别预测模块，利用骨干网络输出的特征计算颜色类别；表3为颜色分类分支的网络结构，该模块的输入为特征图谱，输出为车牌的颜色类别。
| 单元名称 | 输出尺寸C×H×W |
| 输入层 | 256×8×28 |
| 全局池化层 | 256 |
| 全联接层 | #T |
表3
所述字符预测分支包括特征重组、序列编码和字符预测模块，利用骨干网络输出的特征计算字符内容。表4-5为为内容识别分支的网络结构，该模块的输入为特征图谱，输出为车牌的字符内容；
表4
表5
具体地，所述模块M3包括：
模块M3.1：轻量级车牌识别网络模型中类别预测分支采用交叉熵损失函数优化，损失函数定义为：
其中，LCE为损失函数的函数值；x为一维向量；xclass为x中索引为class的元素值；class为对应类别的下标索引；xj为x中索引为j的元素值；j为下标索引；
模块M3.2：轻量级车牌识别网络模型中字符预测分支采用连接时序分类损失函数优化，损失函数定义：
令y＝(y1,y2,…,yw)为轻量级车牌识别网络模型中字符预测分支输出的概率分布，得到目标序列π的条件概率为：
其中，
为在时刻t得到中间序列πt概率；w表示概率分布的总长度；
通过多对一映射得到的序列作为最终的预测结果；
根据不同的目标序列π映射得到相同的结果，因此最终输出结果的概率为：
从而得到损失函数的最终形式：
LCTC＝-∑πlog(li|yi)；
模块M3.3：骨干网络使用两个分支的损失加权优化，损失函数定义为，
Lbackbone＝λ1·LCTC+λ2·LCE
其中，λ1和λ2为线形加权参数，满足λ1+λ2＝1的约束条件。在训练的前几个周期，λ1取1、λ2取0；在后续的训练周期中，λ1取0.7、λ2取0.3。
具体地，所述模块M5中综合性能包括：综合性能的评估指标包括车牌字符内容识别准确率、车牌颜色类别分类准确率和平均处理时延；
所述车牌字符内容识别准确率为字符完全识别正确的车牌数/总车牌数；
所述车牌颜色类别分类准确率为分类正确的车牌数/总车牌数；
所述平均处理时延为总处理时间/总车牌数。
实施例2
实施例2是实施例1的变化例
如图1所示，本实施例提供了一种基于全卷积网络的轻量级车牌识别方法。包含网络模型、训练步骤、部署步骤等方面。
如图2所示，本实施例设计了一个车牌识别网络框架，支持同时准确识别车牌的字符内容和颜色类别，广泛支持我国单层、双层以及新能源、警牌、军牌等特殊类型车牌。模型训练使用多任务训练框架，采用CELoss和CTCLoss(Graves A, Fernández S,Gomez F,etal.Connectionist temporal classification: labelling unsegmented sequence datawith recurrent neural networks[C]. 2006.)作为优化模型参数的损失函数。
数据集
数据集包含从真实环境中收集的真实数据集和使用计算机生成的合成数据集。
真实数据集包含8232张车牌图片。其中小型车牌3652张、大型车牌2819张、新能源857张、警牌139张、军牌34张、大型双层车牌715张、双层军牌16张。
合成数据集使用OpenCV按照国家规定的颜色、文字、尺寸等车牌标准，结合光线变化、增加污损、旋转、缩放等方法合成，并使用生成对抗网络(GAN)进行风格迁移，共包含50万张车牌图片。其中小型车牌10万张、大型车牌10万张、新能源 5万张、警牌5万张、军牌5万张、大型双层车牌10万张、双层军牌5万张。
所有图片均标注了车牌的字符内容和颜色类别。
测试描述
在本实施例的测试过程中，基于全卷积网络的轻量级车牌识别模型使用PyTorch搭建和训练；部署时导出为开放神经网络交换格式(Open Neural Network Exchange，ONNX)。
首先用生成数据集预训练识别模型，使其学习到一定的先验知识，以得到合适的初始权重。随后使用真实数据集多模型中的权重参数进行微调，得到更优的网络权重。在训练过程中，使用Tensorboard实时查看网络的训练情况，监控训练loss，避免过拟合发生。
训练结束后，从所有保存的中间结果中，选取在测试集上loss最低的权重使用。测试使用从真实数据集中预留的824张图片。测试准确率包括字符识别准确率、颜色类别分类准确率和总体准确率。平均处理时间使用caffe2推理引擎测试，采用处理图片的总时间/图片总数的计算方法评估。
测试结果
在合成数据集的测试集上，字符识别准确率为94.7％，颜色类别分类准确率为99.9％，总体识别准确率为94.6％。
在真实数据集的测试集上，字符识别准确率为97.6％，颜色类别分类准确率为100％，总体识别准确率为97.6％。
将模型导出为onnx格式，使用caffe2推理引擎加载并推理。在GPU GTX1080Ti 上，平均每张图片的处理时间为3.3ms；在CPU i5-8259U上，平均每张图片的处理时间为8.6ms。
通过本实施例测试结果表明，本发明提出的一种基于全卷积网络的轻量级车牌识别方法，在具有模型轻量快速、识别准确、易于部署等优点的基础上，能够广泛支持各种类型车牌，填补了该领域同时进行车牌字符内容和颜色类别识别的空白，具有很强的商用价值。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于全卷积网络的轻量级车牌识别方法，其特征在于，包括：
步骤M1：收集和标注车牌样本图片，并按照预设比例划分为训练集和测试集；
步骤M2：基于车牌识别搭建基于全卷积的轻量级车牌识别网络模型；
步骤M3：确定多任务学习框架，并基于多任务学习框架设定用于优化基于全卷积的轻量级车牌识别网络模型参数的损失函数；
步骤M4：使用训练集的车牌样本图片训练基于全卷积的轻量级车牌识别网络模型的参数，直至损失函数的误差小于预设值；
步骤M5：选取训练过程中不同阶段保存的基于全卷积的轻量级车牌识别网络模型参数，使用测试集中的车牌样本图片在不同的参数下测试基于全卷积的轻量级车牌识别网络的综合性能，将准确率最高的参数固定为基于全卷积的轻量级车牌识别网络模型最终的参数；
所述基于全卷积的轻量级车牌识别网络模型是实现车牌图片的字符内容和颜色类别的端到端识别，车牌图片作为输入，输出车牌的字符内容和车牌的颜色类别；
所述多任务学习框架是同时进行多个任务学习，包括车牌内容识别和车牌类别识别。
2.根据权利要求1所述的基于全卷积网络的轻量级车牌识别方法，其特征在于，所述步骤M1包括：车牌样本图片利用数据增强和/或空间变换网络增加车牌样本图片的丰富性和多样性；
所述数据增强包括随机亮度、随机对比度和随机色饱和度变换；
所述空间变换网络用语构造平移、旋转和透视变换。
3.根据权利要求1所述的基于全卷积网络的轻量级车牌识别方法，其特征在于，所述步骤M1包括：
所述车牌样本图片包括：单层、双层、新能源、警牌和军牌；同时车牌样本图片保证车牌区域完整且占比大于预设值；
所述标注车牌图片包括：标注车牌字符内容和车牌颜色。
4.根据权利要求1所述的基于全卷积网络的轻量级车牌识别方法，其特征在于，所述步骤M1包括：采用人工合成车牌图片的方式扩充车牌样本图片数据集；
所述人工合成车牌图片包括使用计算机软件，按照国家规定的包括颜色、文字和尺寸车牌标准，结合包括光线变化、增加污损、旋转和缩放方法后生成的车牌图片。
5.根据权利要求1所述的基于全卷积网络的轻量级车牌识别方法，其特征在于，所述步骤M2中基于全卷积的轻量级车牌识别网络模型包括：骨干网络、类别预测分支和字符预测分支；
所述骨干网络从输入图片中提取特征；
所述类别预测分支包括全局池化和类别预测模块，利用骨干网络输出的特征计算颜色类别；
所述字符预测分支包括特征重组、序列编码和字符预测模块，利用骨干网络输出的特征计算字符内容。
6.根据权利要求4所述的基于全卷积网络的轻量级车牌识别方法，其特征在于，所述步骤M3包括：
步骤M3.1：轻量级车牌识别网络模型中类别预测分支采用交叉熵损失函数优化，损失函数定义为：
其中，LCE为损失函数的函数值；x为一维向量；xclass为x中索引为class的元素值；class为对应类别的下标索引；xj为x中索引为j的元素值；j为下标索引；
步骤M3.2：轻量级车牌识别网络模型中字符预测分支采用连接时序分类损失函数优化，损失函数定义：
令y＝(y1,y2,…,yw)为轻量级车牌识别网络模型中字符预测分支输出的概率分布，得到目标序列π的条件概率为：
其中，
为在时刻t得到中间序列πt概率；w表示概率分布的总长度；
通过多对一映射得到的序列作为最终的预测结果；
根据不同的目标序列π映射得到相同的结果，因此最终输出结果的概率为：
从而得到损失函数的最终形式：
LCTC＝-∑π log(li|yi)；
步骤M3.3：骨干网络使用两个分支的损失加权优化，损失函数定义为，
Lbackbone＝λ1·LCTC+λ2·LCE
其中，λ1和λ2为线形加权参数，满足λ1+λ2＝1的约束条件。
7.根据权利要求1所述的基于全卷积网络的轻量级车牌识别方法，其特征在于，所述步骤M5中综合性能包括：综合性能的评估指标包括车牌字符内容识别准确率、车牌颜色类别分类准确率和平均处理时延；
所述车牌字符内容识别准确率为字符完全识别正确的车牌数/总车牌数；
所述车牌颜色类别分类准确率为分类正确的车牌数/总车牌数；
所述平均处理时延为总处理时间/总车牌数。
8.一种基于全卷积网络的轻量级车牌识别系统，其特征在于，包括：
模块M1：收集和标注车牌样本图片，并按照预设比例划分为训练集和测试集；
模块M2：基于车牌识别搭建基于全卷积的轻量级车牌识别网络模型；
模块M3：确定多任务学习框架，并基于多任务学习框架设定用于优化基于全卷积的轻量级车牌识别网络模型参数的损失函数；
模块M4：使用训练集的车牌样本图片训练基于全卷积的轻量级车牌识别网络模型的参数，直至损失函数的误差小于预设值；
模块M5：选取训练过程中不同阶段保存的基于全卷积的轻量级车牌识别网络模型参数，使用测试集中的车牌样本图片在不同的参数下测试基于全卷积的轻量级车牌识别网络的综合性能，将准确率最高的参数固定为基于全卷积的轻量级车牌识别网络模型最终的参数；
所述基于全卷积的轻量级车牌识别网络模型是实现车牌图片的字符内容和颜色类别的端到端识别，车牌图片作为输入，输出车牌的字符内容和车牌的颜色类别；
所述多任务学习框架是同时进行多个任务学习，包括车牌内容识别和车牌类别识别。
9.根据权利要求8所述的基于全卷积网络的轻量级车牌识别系统，其特征在于，所述模块M1包括：车牌样本图片利用数据增强和/或空间变换网络增加车牌样本图片的丰富性和多样性；
所述数据增强包括随机亮度、随机对比度和随机色饱和度变换；
所述空间变换网络用语构造平移、旋转和透视变换；
所述模块M1包括：
所述车牌样本图片包括：单层、双层、新能源、警牌和军牌；同时车牌样本图片保证车牌区域完整且占比大于预设值；
所述标注车牌图片包括：标注车牌字符内容和车牌颜色；
所述模块M1包括：采用人工合成车牌图片的方式扩充车牌样本图片数据集；
所述人工合成车牌图片包括使用计算机软件，按照国家规定的包括颜色、文字和尺寸车牌标准，结合包括光线变化、增加污损、旋转和缩放方法后生成的车牌图片。
10.根据权利要求8所述的基于全卷积网络的轻量级车牌识别系统，其特征在于，所述模块M2中基于全卷积的轻量级车牌识别网络模型包括：骨干网络、类别预测分支和字符预测分支；
所述骨干网络从输入图片中提取特征；
所述类别预测分支包括全局池化和类别预测模块，利用骨干网络输出的特征计算颜色类别；
所述字符预测分支包括特征重组、序列编码和字符预测模块，利用骨干网络输出的特征计算字符内容；
所述模块M3包括：
模块M3.1：轻量级车牌识别网络模型中类别预测分支采用交叉熵损失函数优化，损失函数定义为：
其中，LCE为损失函数的函数值；x为一维向量；xclass为x中索引为class的元素值；class为对应类别的下标索引；xj为x中索引为j的元素值；j为下标索引；
模块M3.2：轻量级车牌识别网络模型中字符预测分支采用连接时序分类损失函数优化，损失函数定义：
令y＝(y1,y2,…,yw)为轻量级车牌识别网络模型中字符预测分支输出的概率分布，得到目标序列π的条件概率为：
其中，
为在时刻t得到中间序列πt概率；w表示概率分布的总长度；
通过多对一映射得到的序列作为最终的预测结果；
根据不同的目标序列π映射得到相同的结果，因此最终输出结果的概率为：
从而得到损失函数的最终形式：
LCTC＝-∑π log(li|yi)；
模块M3.3：骨干网络使用两个分支的损失加权优化，损失函数定义为，
Lbackbone＝λ1·LCTC+λ2·LCE
其中，λ1和λ2为线形加权参数，满足λ1+λ2＝1的约束条件；
所述模块M5中综合性能包括：综合性能的评估指标包括车牌字符内容识别准确率、车牌颜色类别分类准确率和平均处理时延；
所述车牌字符内容识别准确率为字符完全识别正确的车牌数/总车牌数；
所述车牌颜色类别分类准确率为分类正确的车牌数/总车牌数；
所述平均处理时延为总处理时间/总车牌数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010496080.XA CN111767927A (zh) | 2020-06-03 | 2020-06-03 | 一种基于全卷积网络的轻量级车牌识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010496080.XA CN111767927A (zh) | 2020-06-03 | 2020-06-03 | 一种基于全卷积网络的轻量级车牌识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111767927A true CN111767927A (zh) | 2020-10-13 |
Family
ID=72720372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010496080.XA Pending CN111767927A (zh) | 2020-06-03 | 2020-06-03 | 一种基于全卷积网络的轻量级车牌识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767927A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215224A (zh) * | 2020-10-22 | 2021-01-12 | 深圳市平方科技股份有限公司 | 基于深度学习的挂车号码识别方法和装置 |
| CN113052174A (zh) * | 2021-03-26 | 2021-06-29 | 北京百度网讯科技有限公司 | 车牌数据样本生成方法、装置、电子设备和存储介质 |
| CN113159204A (zh) * | 2021-04-28 | 2021-07-23 | 深圳市捷顺科技实业股份有限公司 | 车牌识别模型生成方法、车牌识别方法及相关组件 |
| CN113173170A (zh) * | 2021-01-08 | 2021-07-27 | 海南华天科创软件开发有限公司 | 基于人员画像个性化算法 |
| CN113177528A (zh) * | 2021-05-27 | 2021-07-27 | 南京昊烽信息科技有限公司 | 基于多任务学习策略训练网络模型的车牌识别方法及系统 |
| CN113326893A (zh) * | 2021-06-22 | 2021-08-31 | 苏州科达科技股份有限公司 | 车牌识别模型的训练、识别方法、装置及电子设备 |
| CN113343903A (zh) * | 2021-06-28 | 2021-09-03 | 成都恒创新星科技有限公司 | 一种自然场景下的车牌识别方法及系统 |
| CN113378972A (zh) * | 2021-06-28 | 2021-09-10 | 成都恒创新星科技有限公司 | 一种复杂场景下的车牌识别方法及系统 |
| CN114463537A (zh) * | 2022-01-06 | 2022-05-10 | 深圳市景阳信息技术有限公司 | 一种车牌的识别方法、装置、终端及可读存储介质 |
| CN116383731A (zh) * | 2023-03-06 | 2023-07-04 | 南京航空航天大学 | 一种战术机动的识别方法、系统、电子设备及存储介质 |
| CN116935373A (zh) * | 2023-09-18 | 2023-10-24 | 珠海亿智电子科技有限公司 | 多类型车牌识别模型的训练方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062575A (zh) * | 2018-01-03 | 2018-05-22 | 广东电子工业研究院有限公司 | 一种高相似度图像识别与分类方法 |
| CN108564088A (zh) * | 2018-04-17 | 2018-09-21 | 广东工业大学 | 车牌识别方法、装置、设备及可读存储介质 |
| CN109344825A (zh) * | 2018-09-14 | 2019-02-15 | 广州麦仑信息科技有限公司 | 一种基于卷积神经网络的车牌识别方法 |
-
2020
- 2020-06-03 CN CN202010496080.XA patent/CN111767927A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062575A (zh) * | 2018-01-03 | 2018-05-22 | 广东电子工业研究院有限公司 | 一种高相似度图像识别与分类方法 |
| CN108564088A (zh) * | 2018-04-17 | 2018-09-21 | 广东工业大学 | 车牌识别方法、装置、设备及可读存储介质 |
| CN109344825A (zh) * | 2018-09-14 | 2019-02-15 | 广州麦仑信息科技有限公司 | 一种基于卷积神经网络的车牌识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| SERGEY ZHERZDEVEX-INTEL ET AL.: "LPRNet: License Plate Recognition via Deep Neural Networks", 《ARXIV》 * |
| YU CAO ET AL.: "An End-to-End Neural Network for Multi-line License Plate Recognition", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 * |
| 孙黎: "基于深度学习的交通视频分析系统的设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215224A (zh) * | 2020-10-22 | 2021-01-12 | 深圳市平方科技股份有限公司 | 基于深度学习的挂车号码识别方法和装置 |
| CN113173170B (zh) * | 2021-01-08 | 2023-03-17 | 海南华天科创软件开发有限公司 | 基于人员画像个性化算法 |
| CN113173170A (zh) * | 2021-01-08 | 2021-07-27 | 海南华天科创软件开发有限公司 | 基于人员画像个性化算法 |
| CN113052174A (zh) * | 2021-03-26 | 2021-06-29 | 北京百度网讯科技有限公司 | 车牌数据样本生成方法、装置、电子设备和存储介质 |
| CN113052174B (zh) * | 2021-03-26 | 2023-08-11 | 北京百度网讯科技有限公司 | 车牌数据样本生成方法、装置、电子设备和存储介质 |
| CN113159204A (zh) * | 2021-04-28 | 2021-07-23 | 深圳市捷顺科技实业股份有限公司 | 车牌识别模型生成方法、车牌识别方法及相关组件 |
| CN113177528A (zh) * | 2021-05-27 | 2021-07-27 | 南京昊烽信息科技有限公司 | 基于多任务学习策略训练网络模型的车牌识别方法及系统 |
| CN113177528B (zh) * | 2021-05-27 | 2024-05-03 | 南京昊烽信息科技有限公司 | 基于多任务学习策略训练网络模型的车牌识别方法及系统 |
| CN113326893A (zh) * | 2021-06-22 | 2021-08-31 | 苏州科达科技股份有限公司 | 车牌识别模型的训练、识别方法、装置及电子设备 |
| CN113343903A (zh) * | 2021-06-28 | 2021-09-03 | 成都恒创新星科技有限公司 | 一种自然场景下的车牌识别方法及系统 |
| CN113378972A (zh) * | 2021-06-28 | 2021-09-10 | 成都恒创新星科技有限公司 | 一种复杂场景下的车牌识别方法及系统 |
| CN113378972B (zh) * | 2021-06-28 | 2024-03-22 | 成都恒创新星科技有限公司 | 一种复杂场景下的车牌识别方法及系统 |
| CN113343903B (zh) * | 2021-06-28 | 2024-03-26 | 成都恒创新星科技有限公司 | 一种自然场景下的车牌识别方法及系统 |
| CN114463537A (zh) * | 2022-01-06 | 2022-05-10 | 深圳市景阳信息技术有限公司 | 一种车牌的识别方法、装置、终端及可读存储介质 |
| CN116383731B (zh) * | 2023-03-06 | 2023-11-14 | 南京航空航天大学 | 一种战术机动的识别方法、系统、电子设备及存储介质 |
| CN116383731A (zh) * | 2023-03-06 | 2023-07-04 | 南京航空航天大学 | 一种战术机动的识别方法、系统、电子设备及存储介质 |
| CN116935373A (zh) * | 2023-09-18 | 2023-10-24 | 珠海亿智电子科技有限公司 | 多类型车牌识别模型的训练方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111767927A (zh) | 一种基于全卷积网络的轻量级车牌识别方法及系统 | |
| CN111784685B (zh) | 一种基于云边协同检测的输电线路缺陷图像识别方法 | |
| Luo et al. | Traffic sign recognition using a multi-task convolutional neural network | |
| CN110363201B (zh) | 基于协同学习的弱监督语义分割方法及系统 | |
| Ping et al. | A deep learning approach for street pothole detection | |
| CN111738908B (zh) | 结合实例分割和循环生成对抗网络的场景转换方法及系统 | |
| CN108537824B (zh) | 基于交替反卷积与卷积的特征图增强的网络结构优化方法 | |
| CN114998220B (zh) | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 | |
| CN109886147A (zh) | 一种基于单网络多任务学习的车辆多属性检测方法 | |
| CN112990282B (zh) | 一种细粒度小样本图像的分类方法及装置 | |
| CN111027539A (zh) | 一种基于空间位置信息的车牌字符分割方法 | |
| CN110059539A (zh) | 一种基于图像分割的自然场景文本位置检测方法 | |
| CN113378815B (zh) | 一种场景文本定位识别的系统及其训练和识别的方法 | |
| CN113076992A (zh) | 一种生活垃圾检测方法及装置 | |
| CN113205107A (zh) | 一种基于改进高效率网络的车型识别方法 | |
| CN113177528B (zh) | 基于多任务学习策略训练网络模型的车牌识别方法及系统 | |
| CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
| CN114882204A (zh) | 船名自动识别方法 | |
| CN112785610B (zh) | 一种融合低层特征的车道线语义分割方法 | |
| CN112528058B (zh) | 基于图像属性主动学习的细粒度图像分类方法 | |
| CN113920494A (zh) | 一种基于transformer的车牌字符识别方法 | |
| CN111160282A (zh) | 一种基于二值化Yolov3网络的红绿灯检测方法 | |
| CN115424243A (zh) | 基于yolov5-shufflenetv2的车位号码识别方法、设备和介质 | |
| CN113920127B (zh) | 一种训练数据集独立的单样本图像分割方法和系统 | |
| CN114898290A (zh) | 一种海上船舶实时检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201013 |