CN114429626A - 基于深度学习的多版式车牌识别方法、装置及介质 - Google Patents

基于深度学习的多版式车牌识别方法、装置及介质 Download PDF

Info

Publication number
CN114429626A
CN114429626A CN202111504135.8A CN202111504135A CN114429626A CN 114429626 A CN114429626 A CN 114429626A CN 202111504135 A CN202111504135 A CN 202111504135A CN 114429626 A CN114429626 A CN 114429626A
Authority
CN
China
Prior art keywords
license plate
recognition
branch
color
characters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111504135.8A
Other languages
English (en)
Inventor
殷绪成
刘琦
杨春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Eeasy Electronic Tech Co ltd
Original Assignee
Zhuhai Eeasy Electronic Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Eeasy Electronic Tech Co ltd filed Critical Zhuhai Eeasy Electronic Tech Co ltd
Priority to CN202111504135.8A priority Critical patent/CN114429626A/zh
Publication of CN114429626A publication Critical patent/CN114429626A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的多版式车牌识别方法、装置及介质的技术方案，包括：构建双分支结构的神经网络；通过主干网络对多个版式车牌的进行分析并输出车牌图像特征；通过共享车牌图像特征，并分别提取车牌图像第一行及第二行的字符及颜色；通过对应的车牌字符高层语义特征提取网络以及字符分类器对字符进行提取；通过颜色特征提取网络对车牌颜色进行识别；融合识别得到的车牌字符及颜色，得到车牌识别结果。本发明的有益效果为：采用共享特征和多分支的结构，实现了同时预测车牌号以及车牌颜色；通过车牌号识别子网络的多分支设计，实现多版式车牌号识别的功能；通过网络共享图像特征，只需一次推理过程便可得到车牌号以及车牌颜色。

Description

基于深度学习的多版式车牌识别方法、装置及介质
技术领域
本发明涉及计算机图像处理及人工智能领域，具体涉及了一种基于深度学习的多版式车牌识别方法、装置及介质。
背景技术
车牌识别在高速收费卡口、停车场卡口、车辆追踪、交通监管等场景中都有着广泛的应用。当前在有约束的固定场景下，比如高速收费卡口以及停车场卡口等场景，由于拍摄得到的车牌尺寸较大且基本没有旋转角度，其中的车牌识别技术已经非常成熟。但是在非固定的开放场景下，比如行车记录仪拍摄或者手机拍摄，由于得到的车牌尺寸变化大，旋转角度不定且有一定的运动模糊，这类型的车牌识别依然面临着挑战。
传统车牌号以及车牌颜色识别方法要分为两个模型，每个模型只解决一个子问题，分别是车牌号识别、车牌颜色识别。传统车牌号识别是基于字符分割的，车牌图像二值化后经过膨胀腐蚀等的图形学操作提取车牌字符连通域，从而分割车牌字符，再对分割出的车牌字符提取特征与模板字库特征比对。传统车牌颜色识别是基于颜色阈值划分，对整个车牌图像做颜色直方图，根据占比最大的颜色区间与阈值比较从而确认出车牌颜色，颜色通道包括RGB，HSV等。在开放场景下，车牌尺寸、角度变化大，车牌字符难以使用传统方法分割；另外，由于光照变化大，车牌颜色在不同光照下与真实颜色有差异，比如阴影下蓝色车牌看起来是黑色，导致车牌颜色使用传统方法识别性能不佳。
现有技术对于多版式的车牌实现方式如下：
(1)一类是基于分割的车牌识别方法，该类方法利用检测网络例如yolo，yolov3等网络检测单个字符，再对单个字符区域进行字符分类，该方法可以适应于单双行不同版式车牌识别问题，但是需要大量人工标注的车牌字符位置信息，数据获取成本高；
(2)另一类车牌识别方法不需要进行车牌分割，是基于Encoder-Decoder架构的序列建模方法，这类方法在进行序列建模时，大多在使用CNN结构作为Encoder(编码器)，RNN结构作为Decoder(解码器)，使用CTC损失或者Attention机制来对齐车牌字符序列的图像特征和语义特征。基于CTC的方法将车牌图像特征提取到一维空间里，无法直接适用于双行车牌号识别问题，而基于Attention机制的方法可以解决单双行车牌号识别问题，但是网络结构大多比较复杂，所需计算资源大，难以部署到基于人工智能芯片的端上。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供了一种基于深度学习的多版式车牌识别方法、装置及介质，实现了开场场景多版式车牌识别任务的预测效果。
本发明的技术方案包括一种基于深度学习的多版式车牌识别方法，该方法包括：构建双分支结构的神经网络，所述双分支结构神经网络包括主干网络、识别分支及颜色分支，所述识别分支包括第一识别分支及第二识别分支；通过所述主干网络对包括有一个或多个版式的车牌图像进行特征提取并输出车牌图像特征；所述第一识别分支及所述第二识别分支通过共享所述车牌图像特征，并分别提取所述车牌图像第一行及第二行的字符；所述第一识别分支及所述第二识别分支通过对应的车牌字符高层语义特征提取网络获取高层语义特征，进一步，使用字符分类器对字符进行提取；所述主干网络还连接所述颜色分支的颜色特征提取网络，通过所述颜色特征提取网络对车牌颜色进行识别，得到车牌颜色识别结果；融合识别得到的车牌字符及车牌颜色，得到车牌识别结果。
根据所述的基于深度学习的多版式车牌识别方法，该方法还包括对所述双分支结构的神经网络的训练，包括车牌号识别训练及车牌号颜色识别训练，其中，所述车牌号识别训练包括：使用CTC损失，引入空白符对不定长解码序列进行对齐，构建序列识别模型，所述不定长解码序列包括车牌号与输入的车牌图像，所述序列识别模型的损失函数为
Figure BDA0003401663340000031
x为输入样本，Lrec为解码得到真值l的所有路径π∈B-1(l)的概率和；
所述车牌号颜色识别训练包括：使用多分类的交叉熵损失对所述颜色特征提取网络进行更新，所述颜色识别模型损失函数Lcolor为
Figure BDA0003401663340000032
K为颜色类别数，当样本真值属于第i个类别时yi＝1，否则yi＝0。
根据所述的基于深度学习的多版式车牌识别方法，所述主干网络通过所述第一识别分支及所述第二识别分支中车牌识别时损失的梯度进行参数更新，其中车牌颜色识别损失的梯度用于更新车牌颜色识别分支。
根据所述的基于深度学习的多版式车牌识别方法，所述第一识别分支及所述第二识别分支在执行车牌字符识别时，使用CTC损失对应的真值不同，其中，所述第一识别分支对应单行车牌的位于首位的非英文及数字字符，以及，双行车牌的第一行字符的真值；所述第二识别分支对应单行车牌其余字符以及双行第二行字符的真值。
根据所述的基于深度学习的多版式车牌识别方法，更新所述第一识别分支及所述第二识别分支的损失函数分别为
Figure BDA0003401663340000033
Figure BDA0003401663340000034
其中，l1，l2分别代表了不同车牌识别分支网络对应的真值；
更新车牌颜色识别的分支网络的损失函数为
Figure BDA0003401663340000035
更新提取特征的所述主干网络的损失函数为
Lbackbone＝Lrec1+Lrec2。
根据所述的基于深度学习的多版式车牌识别方法，该方法还包括：所述双分支结构的神经网络的训练使用的数据集包括合成数据集及真实数据集，其中所述合成数据集包括：提取真实车牌字符字体、字号以及排版，通过PIL python库生成具有不同车牌号的多个合成车牌，并对合成车牌添加随机高斯噪声、随机椒盐噪声、随机仿射变换以及随机运动模糊噪声；所述真实数据集为行车记录设备及移动设备所拍摄的真实车牌。
根据所述的基于深度学习的多版式车牌识别方法，所述第一识别分支及所述第二识别分支通过对应的车牌字符高层语义特征提取网络以及字符分类器对字符进行提取还包括：所述车牌图像特征为单行车牌时，若单行车牌的首位字符不是英文字母和数字，所述第一识别分支对首位字符进行处理，所述第二识别分支对应于除首位外的其他字符进行处理；若单行车牌的首位字符是英文字母或数字，则所述第一识别分支对应空，所述第二识别分支对全部车牌字符进行处理。
根据所述的基于深度学习的多版式车牌识别方法，所述双分支结构的结构包括卷积神经网络和全连接结构，并基于pytorch深度学习框架，并在训练中采用Adam优化策略进行优化，其中训练样本数设置为128，初始学习率设置为0.0001，权重衰减参数设置为5×10-4，动量参数为0.9。
本发明的技术方案还包括一种基于深度学习的多版式车牌识别装置，该装置包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现任一项所述的方法步骤。
本发明的技术方案还包括一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现任一所述的方法步骤。本发明的技术方案还包括一种动态接入的蓝牙设备级联装置，该装置包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实任一项所述的方法步骤。
本发明的有益效果为：采用共享特征和多分支的结构，将车牌号识别、车牌颜色识别两种任务相融合，实现了同时预测车牌号以及车牌颜色；通过车牌号识别子网络的多分支设计，可以让网络自适应地学习不同分支应该对应的特征，从而实现多版式车牌号识别的功能；另外，设计车牌颜色识别分支与车牌号识别子网络共享图像特征，从而实现统一的模型，在测试过程中输入图片后只需一次推理过程便可得到车牌号以及车牌颜色。
附图说明
下面结合附图和实施例对本发明进一步地说明；
图1所示为根据本发明实施方式的流程图。
图2所示为根据本发明实施方式的部分多版式车牌示例。
图3所示为根据本发明实施方式的总体框架图。
图4所示为根据本发明实施方式的多版式车牌识别流程图。
图5所示为根据本发明实施方式的合成集上测试结果示意图。
图6所示为根据本发明实施方式的真实集上测试结果示意图。
图7所示为根据本发明实施方式的装置示意图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。
在本发明的描述中，对方法步骤的连续标号是为了方便审查和理解，结合本发明的整体技术方案以及各个步骤之间的逻辑关系，调整步骤之间的实施顺序并不会影响本发明技术方案所达到的技术效果。
本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
图1所示为根据本发明实施方式的流程图。流程包括：构建双分支结构的神经网络，双分支结构神经网络包括主干网络、识别分支及颜色分支，识别分支包括第一识别分支及第二识别分支；通过主干网络对包括有一个或多个版式的车牌图像进行特征提取并输出车牌图像特征；第一识别分支及第二识别分支通过共享车牌图像特征，并分别提取车牌图像第一行及第二行的字符特征；第一识别分支及第二识别分支通过对应的车牌字符高层语义特征提取网络获取高层语义特征，进一步，使用字符分类器对字符进行提取；主干网络还连接颜色分支的颜色特征提取网络，通过颜色特征提取网络对车牌颜色进行识别，得到车牌颜色识别结果；融合识别得到的车牌字符及车牌颜色，得到车牌识别结果。
图2所示为根据本发明实施方式的部分多版式车牌示例。图中的车牌为本发明的合成车牌，本发明使用的数据集均为非公开数据集，包括合成车牌及真实车牌。
合成车牌集：根据不同版式车牌的字符字体、字号以及排版，利用PIL python库直接生成具有不同车牌号的车牌。然后对所有车牌叠上随机高斯噪声、随机椒盐噪声、随机仿射变换以及随机运动模糊噪声。一共生成300万张车牌数据，分别是单行蓝色车牌100万张，双行黄色车牌100万张，单行绿色车牌100万张。
真实车牌集：真实数据集的采集根据采集设备分为两个子集。
(1)行车记录仪子集：利用车辆中的行车记录仪所采集道路数据，经过标注，一共获得33980张真实单行蓝牌车牌图像，训练集和测试集的划分比例为9：1。
(2)手机子集：利用手机后置摄像头所拍摄车辆数据，经过标注，一共获得5514张真实单行黄牌车牌图像，12500张双行黄牌车牌图像，8412张单行绿牌车牌图像。
为了评估本发明的有效性，在上述提到的数据集中分别进行了车牌号识别和车牌颜色识别的测试。实验的测评指标是车牌号识别的准确率以及车牌颜色识别准确率。在合成集上的实验结果见图5，结果表明本方法在数据量充足的情况下可以解决多版式车牌的车牌号以及车牌颜色识别。在真实集上的实验结果见附图6，由于行车记录仪拍摄的图像中小尺寸车牌和运动模糊的车牌较多，其车牌图像质量是低于手机拍摄的车牌图像质量，所以蓝色单行车牌号识别性能不如其他各个版式车牌，但是对于拍摄的近处的蓝色单行车牌号识别结果基本是完全正确的，因此，实验结果表明本方法可以适用于真实开放场景中的多版式车牌号识别以及车牌颜色识别。
图3所示为根据本发明实施方式的总体框架图。参考图3，从左往右表示图像预测流程，其中上面分支为双分支结构对车牌号进行上下行分别预测的结果，下面分支为颜色特征提取网络对车牌颜色的分别。
本发明的技术方案设计了双分支结构识别双行车牌，第一个分支对应双行车牌的第一行字符，第二个分支对应双行车牌第二行字符。首先是一个主干网络用于提取车牌图像特征，然后这两个分支共享主干网络输出的图像特征，不同的分支代表不同位置的字符分类器，包括车牌字符高层语义特征提取网络以及字符分类器，最后融合两个分支的识别结果可得到最终的车牌号。
为了使其他版式单行车牌也能够使用这个双分支网络，本发明的技术方案依据不同的车牌版式设计了两种对齐方式，若各类单行车牌的首位字符不是英文字母和数字，第一个分支对应首位字符，第二个分支对应于除首位外的其他字符；若各类单行车牌的首位字符是英文字母或数字，第一个分支对应空，第二个分支对应于全部车牌字符。这样可以构建一个车牌号识别深度神经网络同时解决多种版式车牌识别的问题。本发明的技术方案设计的双分支车牌识别网络的第一个分支对应于单行车牌的首位汉字以及双行车牌第一行字符，第二个分支对应于单行车牌其余字符以及双行车牌第二行字符。
由于深度神经网络种浅层特征大多是图像的纹理、颜色等低语义的图像特征，因此本发明的技术方案设计车牌颜色识别器与车牌号识别子网络共享主干网络浅层的图像特征，然后再连接一个颜色特征提取网络以及字符分类器。
实施方式还包括训练过程，包括两种任务，它们分别是：第一/第二分支的车牌号识别任务和车牌号颜色识别任务。其中车牌号识别任务使用的是CTC损失，通过引入空白符从而实现不定长解码序列即预测的车牌号与输入的车牌图像之间的对齐，构建有效的序列识别模型：
Figure BDA0003401663340000081
这表示，当输入样本x，最大化解码得到真值l的所有路径π∈B-1(l)的概率。对于车牌号识别的两个分支，其所对应的真值是不同的，第一个分支对应单行车牌的非英文及数字的首位字符以及双行车牌的第一行字符的真值；第二个分支对应单行车牌其余字符以及双行第二行字符的真值。
车牌颜色识别损失使用的是多分类的交叉熵损失：
Figure BDA0003401663340000082
K代表的是颜色类别数，当样本真值属于第i个类别时yi＝1，否则yi＝0。
由于车牌颜色任务需要的是通用的底层颜色、纹理特征，所以在训练网络时，用于提取图像特征的主干网络只由两个车牌号识别分支损失的梯度做参数更新，车牌颜色识别损失的梯度只更新车牌颜色识别分支，这样可以同时保证车牌号识别和车牌颜色识别两个任务的高性能。
本发明的技术方案的实验和测试均采用pytorch深度学习框架，训练中采用Adam优化策略进行优化。具体的，训练时batchsize(一次训练样本数)设置为128。初始学习率设置为0.0001。权重衰减参数设置为5×10-4，动量参数为0.9。此外，为了方便模型部署到端侧，将一般序列模型中使用的循环神经网络结构替换为全连接结构。
训练数据如数据集介绍来自多个数据源，可通过数据采集来源分为合成数据集和真实数据集。由于真实车牌采集成本高，车牌采集到的图像相对较少，并且采集得到的各类版式的车牌分布是不平衡的，因此首先采用大量平衡的合成数据预训练本发明的技术方案提出的网络。然后对于真实数据，采用了随机裁剪、增加高斯噪声、增加椒盐噪声、增加运动模糊噪声的方式增广各版式数据集，最终达到各版式数据集基本平衡的效果。最后，使用增广配平后的车牌数据集微调预训练模型。
综上，更新两个车牌号识别的分支网络的损失函数分别为：
Figure BDA0003401663340000091
Figure BDA0003401663340000092
其中，l1，l2分别代表了不同车牌识别分支对应的真值。
更新车牌颜色识别的分支网络的损失函数为：
Figure BDA0003401663340000093
用于更新提取特征的主干网络的损失函数为：
Lbackbone＝Lrec1+Lrec2。
图4所示为根据本发明实施方式的多版式车牌识别流程图。其主要包括：对车牌图像进行前处理(预处理)，使得图像符合神经网络输入要求；通过神经网络的2个分支，对车牌中车牌号进行识别，同时还通过颜色特征提取网络对车牌颜色进行预测，分别得到车牌的车牌号及颜色，最后融合得到预测的车牌。
图7所示为根据本发明实施方式的装置示意图。图中装置包括存储器100及处理器200，其中处理器200存储有计算机程序，计算机程序用于执行：构建双分支结构的神经网络，双分支结构神经网络包括主干网络、识别分支及颜色分支，识别分支包括第一识别分支及第二识别分支；通过主干网络对包括有一个或多个版式的车牌图像进行特征提取并输出车牌图像特征；第一识别分支及第二识别分支通过共享车牌图像特征，并分别提取车牌图像第一行及第二行的字符特征；第一识别分支及第二识别分支通过对应的车牌字符高层语义特征提取网络获取高层语义特征，进一步，使用字符分类器对字符进行提取；主干网络还连接颜色分支的颜色特征提取网络，通过颜色特征提取网络对车牌颜色进行识别，得到车牌颜色识别结果；融合识别得到的车牌字符及车牌颜色，得到车牌识别结果。
应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (10)

1.一种基于深度学习的多版式车牌识别方法，其特征在于，该方法包括：
构建双分支结构的神经网络，所述双分支结构神经网络包括主干网络、识别分支及颜色分支，所述识别分支包括第一识别分支及第二识别分支；
通过所述主干网络对包括有一个或多个版式的车牌图像进行特征提取并输出车牌图像特征；
所述第一识别分支及所述第二识别分支通过共享所述车牌图像特征，并分别提取所述车牌图像第一行及第二行的字符；
所述第一识别分支及所述第二识别分支通过对应的车牌字符高层语义特征提取网络获取高层语义特征，进一步，使用字符分类器对字符进行提取；
所述主干网络还连接颜色分支，与所述识别分支共享低层车牌图像特征，通过所述颜色特征提取网络对车牌颜色进行识别，得到车牌颜色识别结果；
融合识别得到的车牌字符及车牌颜色，得到车牌识别结果。
2.根据权利要求1所述的基于深度学习的多版式车牌识别方法，该方法还包括对所述双分支结构的神经网络的训练，包括车牌号识别训练及车牌号颜色识别训练，
其中，所述车牌号识别训练包括：使用CTC损失，引入空白符对不定长解码序列进行对齐，构建序列识别模型，所述不定长解码序列包括车牌号与输入的车牌图像，所述序列识别模型的损失函数为
Figure FDA0003401663330000011
x为输入样本，Lrec为解码得到真值l的所有路径π∈B-1(l)的概率和；
所述车牌号颜色识别训练包括：使用多分类的交叉熵损失对所述颜色特征提取网络进行更新，所述颜色识别模型损失函数Lcolor为
Figure FDA0003401663330000012
K为颜色类别数，当样本真值属于第i个类别时yi＝1，否则yi＝0。
3.根据权利要求2所述的基于深度学习的多版式车牌识别方法，其特征在于，所述主干网络通过所述第一识别分支及所述第二识别分支中车牌识别时损失的梯度进行参数更新，其中车牌颜色识别损失的梯度用于更新车牌颜色识别分支。
4.根据权利要求2所述的基于深度学习的多版式车牌识别方法，其特征在于，所述第一识别分支及所述第二识别分支在执行车牌字符识别时，使用CTC损失对应的真值不同，其中，所述第一识别分支对应单行车牌的位于首位的非英文及数字字符，以及，双行车牌的第一行字符的真值；所述第二识别分支对应单行车牌其余字符以及双行第二行字符的真值。
5.根据权利要求4所述的基于深度学习的多版式车牌识别方法，其特征在于，更新所述第一识别分支及所述第二识别分支的损失函数分别为
Figure FDA0003401663330000021
Figure FDA0003401663330000022
其中，l1，l2分别代表了不同车牌识别分支网络对应的真值；
更新车牌颜色识别的分支网络的损失函数为
Figure FDA0003401663330000023
更新提取特征的所述主干网络的损失函数为
Lbackbone＝Lrec1+Lrec2。
6.根据权利要求2所述的基于深度学习的多版式车牌识别方法，其特征在于，该方法还包括：
所述双分支结构的神经网络的训练使用的数据集包括合成数据集及真实数据集，其中所述合成数据集包括：提取真实车牌字符字体、字号以及排版，通过PIL python库生成具有不同车牌号的多个合成车牌，并对合成车牌添加随机高斯噪声、随机椒盐噪声、随机仿射变换以及随机运动模糊噪声；
所述真实数据集为行车记录设备及移动设备所拍摄的真实车牌。
7.根据权利要求1所述的基于深度学习的多版式车牌识别方法，其特征在于，所述第一识别分支及所述第二识别分支通过对应的车牌字符高层语义特征提取网络以及字符分类器对字符进行提取还包括：
所述车牌图像特征为单行车牌时，若单行车牌的首位字符不是英文字母和数字，所述第一识别分支对首位字符进行处理，所述第二识别分支对应于除首位外的其他字符进行处理；
若单行车牌的首位字符是英文字母或数字，则所述第一识别分支对应空，所述第二识别分支对全部车牌字符进行处理。
8.根据权利要求1所述的基于深度学习的多版式车牌识别方法，其特征在于，所述双分支结构的结构包括卷积神经网络和全连接结构，并基于pytorch深度学习框架，并在训练中采用Adam优化策略进行优化，其中训练样本数设置为128，初始学习率设置为0.0001，权重衰减参数设置为5×10-4，动量参数为0.9。
9.一种基于深度学习的多版式车牌识别装置，该装置包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8任一项所述的方法步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一所述的方法步骤。
CN202111504135.8A 2021-12-09 2021-12-09 基于深度学习的多版式车牌识别方法、装置及介质 Pending CN114429626A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111504135.8A CN114429626A (zh) 2021-12-09 2021-12-09 基于深度学习的多版式车牌识别方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111504135.8A CN114429626A (zh) 2021-12-09 2021-12-09 基于深度学习的多版式车牌识别方法、装置及介质

Publications (1)

Publication Number Publication Date
CN114429626A true CN114429626A (zh) 2022-05-03

Family

ID=81310766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111504135.8A Pending CN114429626A (zh) 2021-12-09 2021-12-09 基于深度学习的多版式车牌识别方法、装置及介质

Country Status (1)

Country Link
CN (1) CN114429626A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935373A (zh) * 2023-09-18 2023-10-24 珠海亿智电子科技有限公司 多类型车牌识别模型的训练方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935373A (zh) * 2023-09-18 2023-10-24 珠海亿智电子科技有限公司 多类型车牌识别模型的训练方法、装置、设备及存储介质
CN116935373B (zh) * 2023-09-18 2024-03-12 珠海亿智电子科技有限公司 多类型车牌识别模型的训练方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111414906B (zh) 纸质票据图片的数据合成与文本识别方法
Rey et al. Detecting animals in African Savanna with UAVs and the crowds
CN108710865B (zh) 一种基于神经网络的司机异常行为检测方法
Xu et al. Learning-based shadow recognition and removal from monochromatic natural images
US8379994B2 (en) Digital image analysis utilizing multiple human labels
CN110909820A (zh) 基于自监督学习的图像分类方法及系统
CN109886161B (zh) 一种基于可能性聚类和卷积神经网络的道路交通标识识别方法
CN108009548A (zh) 一种智能路牌识别方法及系统
CN109190504B (zh) 汽车图像数据的处理方法、装置及可读存储介质
CN112287941B (zh) 一种基于自动字符区域感知的车牌识别方法
CN111126115A (zh) 暴力分拣行为识别方法和装置
Reis et al. Combining convolutional side-outputs for road image segmentation
CN109993806A (zh) 一种颜色识别方法、装置及电子设备
CN113159045A (zh) 一种结合图像预处理与卷积神经网络的验证码识别方法
Dorbe et al. FCN and LSTM based computer vision system for recognition of vehicle type, license plate number, and registration country
CN111274964A (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN116543325A (zh) 基于无人机影像的农作物人工智能自动识别方法和系统
CN114429626A (zh) 基于深度学习的多版式车牌识别方法、装置及介质
CN111242114B (zh) 文字识别方法及装置
Xu et al. A review of deep learning techniques for detecting animals in aerial and satellite images
CN116596891B (zh) 基于半监督多任务检测的木地板颜色分类及缺陷检测方法
CN112750128B (zh) 图像语义分割方法、装置、终端及可读存储介质
Wu et al. Real-time vehicle color recognition based on yolo9000
CN110766001B (zh) 基于cnn和rnn的银行卡卡号定位与端到端识别方法
CN108664968A (zh) 一种基于文本选取模型的无监督文本定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination