CN114241432A - 车牌识别方法、设备及存储介质 - Google Patents

车牌识别方法、设备及存储介质 Download PDF

Info

Publication number
CN114241432A
CN114241432A CN202111662493.1A CN202111662493A CN114241432A CN 114241432 A CN114241432 A CN 114241432A CN 202111662493 A CN202111662493 A CN 202111662493A CN 114241432 A CN114241432 A CN 114241432A
Authority
CN
China
Prior art keywords
character
license plate
characters
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111662493.1A
Other languages
English (en)
Inventor
葛鹤银
满志朋
薛莹
赵诗宇
吴家新
朱林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN202111662493.1A priority Critical patent/CN114241432A/zh
Publication of CN114241432A publication Critical patent/CN114241432A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种车牌识别方法、设备及存储介质，属于计算机技术领域，该方法包括：通过获取目标图像；将目标图像输入预先训练的字符检测模型，得到目标图像中的字符信息，字符检测模型训练时使用的第一样本数据少于车牌识别模型训练时使用的第一样本数据；按照位置信息对各个字符进行位置排序，得到目标图像中的车牌信息；可以解决车牌识别模型需要使用大量的样本数据训练得到，在采集的样本数据较少的情况下，训练得到的车牌识别模型识别车牌的准确率较低的问题；由于字符检测模型训练时使用的第一样本数据少于车牌识别模型训练时使用的第一样本数据，因此，减少了训练时所需要的第一样本数据，可以扩大车牌识别方法的使用范围。

Description

车牌识别方法、设备及存储介质
【技术领域】
本申请涉及一种车牌识别方法、设备及存储介质，属于计算机技术领域。
【背景技术】
随着车牌识别技术的不断发展和计算机运算能力的快速提升，车牌识别技术被广泛的应用于自动驾驶、辅助驾驶、停车场管理等场景中。车牌识别是指将车辆图像中车牌区域内的文字提取并显示的技术。
传统的车牌识别方法，包括：先基于深度学习的方式使用样本数据对初始网络模型进行训练，得到车牌识别模型。在进行车牌识别的过程中，将采集到的目标图像输入车牌识别模型，得到目标图像数据对应的车牌信息。
然而，车牌识别模型需要使用大量的样本数据训练得到，在采集的样本数据较少的情况下，训练得到的车牌识别模型识别车牌的准确率较低。
【发明内容】
本申请提供了车牌识别方法、设备及存储介质，可以解决车牌识别模型需要使用大量的样本数据训练得到，在采集的样本数据较少的情况下，训练得到的车牌识别模型识别车牌的准确率较低的问题。本申请提供如下技术方案：
第一方面，提供一种车牌识别方法，所述方法包括：
获取目标图像；
将所述目标图像输入预先训练的字符检测模型，得到所述目标图像中的字符信息，所述字符信息包括每个字符的字符类别和所述字符的位置信息，所述字符检测模型训练时使用的第一样本数据少于车牌识别模型训练时使用的第一样本数据；
按照所述位置信息对各个字符进行位置排序，得到所述目标图像中的车牌信息，所述车牌信息包括所述字符类别。
可选地，所述字符检测模型的训练过程包括：
使用第一训练集对预先创建的初始网络模型进行训练，得到中间模型；所述第一训练集包括第二样本车辆图像和所述第二样本车辆图像中车牌区域的字符类别标签；
使用第二训练集对所述中间模型进行训练，得到所述字符检测模型；所述第二训练集包括所述第二样本车辆图像、所述第二样本车辆图像对应的字符类别标签、所述第一样本车辆图像、和所述第一样本车辆图像中车牌区域的字符类别标签；
其中，所述第一样本车辆图像中字符特征与所述第二样本车辆图像中字符特征不同。
可选地，所述第二样本数据集中，所述第一样本车辆图像的图像数量大于所述第二样本车辆图像的图像数量。
可选地，所述字符检测模型是基于无先验框Anchor的网络模型建立的。
可选地，所述字符检测模型包括主干网络、连接层和预测层，所述主干网络通过所述连接层与所述预测层相连；
所述主干网络包括裁剪后的多个残差块和位于所述残差块之后的下采样层；
所述预测层用于定位所述主干网络输出的特征图中的字符，并对所述字符进行分类，得到所述字符信息。
可选地，所述字符信息还包括每个位置信息对应的置信度；
所述按照所述位置信息对各个字符进行位置排序，得到所述目标图像中的车牌信息，包括：
对于每个字符，基于所述位置信息确定其它字符的检测框与所述字符的检测框之间的重叠度；
在所述重叠度大于重叠度阈值的情况下，从所述其它字符和所述字符中确定置信度最小的字符，得到候选字符；
在所有字符遍历完成后将所述候选字符删除；
按照所述位置信息对删除后字符中进行位置排序，得到所述目标图像的车牌信息。
可选地，所述在所有字符遍历完成后将所述候选字符删除，包括：
确定字符的数量是否与预设数量相符；
在所述字符的数量与所述预设数量不符的情况下，在所有字符遍历完成后将所述候选字符删除。
可选地，所述确定字符的数量是否与预设数量相符之后，还包括：
在所述字符的数量与所述预设数量相符的情况下，按照所述位置信息对各个字符进行位置排序，得到所述目标图像中的车牌信息。
第二方面，提供一种电子设备，所述设备包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面提供的车牌识别方法。
第二方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第一方面提供的车牌识别方法。
本申请的有益效果至少包括：通过获取目标图像；将目标图像输入预先训练的字符检测模型，得到目标图像中的字符信息，字符信息包括每个字符的字符类别和字符的位置信息，字符检测模型训练时使用的第一样本数据少于车牌识别模型训练时使用的第一样本数据；按照位置信息对各个字符进行位置排序，得到目标图像中的车牌信息，车牌信息包括字符类别；可以解决车牌识别模型需要使用大量的样本数据训练得到，在采集的样本数据较少的情况下，训练得到的车牌识别模型识别车牌的准确率较低的问题；由于字符检测模型训练时使用的第一样本数据少于车牌识别模型训练时使用的第一样本数据，因此，减少了训练时所需要的第一样本数据，可以扩大车牌识别方法的使用范围。
另外，先使用第一训练集对初始网络模型进行训练，得到中间模型；再在中间模型的基础上，再次使用第二训练集对中间模型进行微调，在微调过程中中间模型专注于对第一样本车辆图像中字符特征的学习，可以提高字符检测模型识别第一样本车辆图像中字符特征的灵敏度。
另外，通过在第二训练集中融合第二样本车辆图像、第二样本车辆图像对应的字符类别标签、第一样本车辆图像、和第一样本车辆图像对应的字符类别标签，既可以提高字符检测模型识别第一样本车辆图像中字符特征的灵敏度，还可以降低验证集检测准确率震荡的效果，从而提高模型的鲁棒性。
另外，由于字符检测模型是基于无先验框Anchor的网络模型建立的，不需要预先设定Anchor的大小，因此，可以避免由于Anchor的尺寸设置不佳，导致的字符检测准确性较差的问题；既可以提高车牌识别的效率，还可以提高车牌识别的精度。
另外，由于字符检测模型的主干网络是对传统网络模型的主干网络进行裁剪后得到的，且裁剪的过程中没有改变残差块与下采样层之间的连接关系，因此，可以在保证字符检测模型检测精度的同时，减小字符检测模型训练难度。
另外，由于根据字符之间的重叠度和字符对应的置信度确定候选字符，并在所有字符遍历完成之后删除候选字符，因此，可以避免字符检测网络可能存在检测误差导致的重复检测的情况，可以提高车牌识别的精度。
另外，由于在字符的数量与预设数量相符的情况下，直接按照位置信息对各个字符进行位置排序，得到车牌信息，因此，可以避免将正确检测出的字符删除的情况，可以提高车牌识别的精度。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。
【附图说明】
图1是本申请一个实施例提供的车牌识别方法的流程图；
图2是本申请一个实施例提供的字符检测模型和初始网络模型的结构示意图；
图3是本申请一个实施例提供的字符检测模型训练过程的流程图；
图4是本申请一个实施例提供的车牌识别装置的框图；
图5本申请一个实施例提供的电子设备的框图。
【具体实施方式】
下面结合附图和实施例，对本申请的具体实施方式做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
首先，对本申请实施例涉及的若干名词进行介绍。
车牌识别模型：识别出目标图像中的车牌信息，包括字符的类型和各个字符的排列顺序。
字符检测模型：检测目标图像中的字符类型和字符所在的位置。
先验框(Anchor)：提前在图像上预设好的不同大小，不同长宽比的框。在对图像进行目标预测时，基于先验框确定图像中的目标所在的位置。
重叠度(Intersection over Union，IOU)：两个区域交集与并集之间的比值，取值范围为0～1，重叠度越高，两个区域越相近。
可选地，本申请以各个实施例提供的车牌识别方法用于电子设备中为例进行说明，该电子设备为终端或服务器，终端可以为手机、计算机、平板电脑、扫描仪、电子眼、监控摄像头等，本实施例不对电子设备的类型作限定。
图1是本申请一个实施例提供的车牌识别方法的流程图，该方法至少包括以下几个步骤：
步骤101，获取目标图像。
可选地，目标图像是指待进行车牌识别的图像。目标图像可以为视频流中的一帧图像，或者也可以是拍摄到的单张图像，本实施例不对目标图像的来源作限定。
可选地，目标图像中具有车牌或者不具有车牌，目标图像为一张或者至少两张，本实施例不对目标图像中的图像内容和目标图像的数量作限定。
步骤102，将目标图像输入预先训练的字符检测模型，得到目标图像中的字符信息。
其中，字符信息包括每个字符的字符类别和字符的位置信息。
在一个示例中，字符类别包括26个英文字母类别和10个数字类别。在其它实施例中，字符类别也可以包括汉字，如各个直辖市或省会的简称，如“苏”、“吉”或者“黑”等，或者，还可以包括希腊字母，如“α”、“β”等，本实施例不对字符类别的划分方式作限定。
字符的位置信息是指：字符的检测框的位置信息。在一个示例中，位置信息为字符检测框的中心位置的坐标。或者，位置信息为检测框的左顶点坐标，本实施例不对位置信息的实现方式作限定。
可选地，字符信息还包括每个位置信息对应的置信度。
其中，置信度用于指示字符检测框内存在字符的概率以及字符检测框位置的准确性。
由于字符检测模型是检测目标图像中每个字符的类别和位置信息，而不用识别出目标图像中所有字符的排列顺序，所以字符检测模型的训练难度小于车牌识别模型的训练难度，字符检测模型训练时使用的第一样本数据少于车牌识别模型训练时使用的第一样本数据。
可选地，第一样本数据包括：第一样本车辆图像、和第一样本车辆图像中车牌区域的字符类别标签。
在一个示例中，字符类别标签为字符标注框，字符标注框用于指示第一样本车辆图像中字符的位置和字符的类别。
可选地，为了进一步地减少字符检测模型训练过程中使用的第一样本数据的数量，采用迁移学习的训练方法对字符检测模型进行训练。具体地，字符检测模型的训练过程包括以下几个步骤：
步骤1，使用第一训练集对预先创建的初始网络模型进行训练，得到中间模型。
其中，第一训练集包括第二样本车辆图像和第二样本车辆图像中车牌区域的字符类别标签。
第一样本车辆图像中字符特征与第二样本车辆图像中字符特征不同。即，本实施例中，先使用第二样本车辆图像训练得到中间模型，再使用第一样本车辆图像对中间模型迁移学习，从而实现对第二样本车辆图像中的字符特征进行学习。
可选地，字符特征包括字符的字形、字符的排列方式和\或字符在所有样本图像中的比例。
假设字符检测模型用于识别目标地理位置的车辆的车牌信息，则第一样本车辆图像是在目标地理位置采集得到的车辆图像，第二样本车辆图像是在任意地理位置采集到的车辆图像。
字符检测模型的模型结构与初始网络模型的模型结构相同。传统的车牌识别方式中的车牌识别模型是基于有Anchor的网络模型建立的，而有Anchor的网络模型由于预先设定Anchor的大小，不利于对小目标的检测。因此，传统的车牌识别方式通常是利用车牌识别模型识别目标图片中车牌的位置，再使用其他方式识别车牌位置的字符。
基于此，在一个示例中，字符检测模型是基于无先验框Anchor的网络模型建立的。由于字符检测模型是对初始网络模型进行训练得到的，因此，字符检测模型的模型结构与初始网络模型的模型结构相同、且与下文中的中间模型的模型结构相同。相应地，初始网络模型和中间模型是基于无先验框Anchor的网络模型建立。由于无Anchor的网络模型不需要预先设定Anchor的大小，因此，可以避免由于Anchor的尺寸设置不佳，导致的字符检测准确性较差的问题；既可以提高车牌识别的效率，还可以提高车牌识别的精度。
可选地，无先验框Anchor的网络模型可以是YOLOX网络模型，或者也可以是FCOS网络模型，或者还可以是CenterNet网络模型，本实施例不对无Anchor的网络模型的类型做限定。
本实施例中以无先验框Anchor的网络模型为YOLOX网络模型为例进行说明，参考图2所示的字符检测模型和初始网络模型的模型结构，该模型结构包括：主干网络21、连接层22和预测层23，主干网络21通过连接层22与预测层23相连。其中，主干网络21用于对输入的图像进行特征提取得到特征图。预测层23用于定位主干网络21输出的特征图中的字符，并对字符进行分类，得到字符信息。
可选地，字符检测模型的主干网络包括五个下采样层，每个下采样层的下采样步长为2。即，字符检测模型整个主干网络的下采样步长为32。
由于传统的主干网络中隐藏层数量较多，而这些隐藏层不会使得字符检测的精度增加，反而会降低字符检测的速度。基于此，本实施例中，对传统主干网络进行裁剪，以减小字符检测模型的训练难度和所需训练的模型参数。具体地，对传统网络模型的进行裁剪，包括：将YOLOX网络模型的主干网络进行裁剪得到字符检测模型的主干网络。
在一个示例中，字符检测模型的主干网络是对传统网络模型的主干网络的每个下采样层前删除预设裁剪个数的残差块得到的。此时，字符检测模型的主干网络包括裁剪后的多个残差块和位于残差块之后的下采样层。
其中，每个下采样层对应的预设裁剪个数相同或不同。
比如：传统网络模型为YOLOX网络模型，YOLOX网络模型的主干网络Darknet53中包括五个下采样层，每个下采样层前对应的残差块的个数分别为1、2、8、8、4，在裁剪过程中，每个下采样层前删除的残差块个数为分别为0、1、3、4、3，则字符检测模型的主干网络的每个下采样层前对应的残差块的个数为1，1，5，4，1，此时，字符检测模型的主干网络的结构参考图2。
在另一个示例中，将传统网络模型的主干网络的宽度进行缩减，得到字符检测模型的主干网络。
可选地，将传统网络模型的主干网络的宽度进行缩减，得到字符检测模型的主干网络，包括：减少传统网络模型主干网络的卷积层中卷积核的数量，得到字符检测模型的主干网络。
比如：将传统的网络模型的主干网的宽度缩减为原来的一半，得到字符检测模型的主干网络。
由于字符信息包括每个字符的字符类别和字符的位置信息，因此，对初始网络模型进行训练时使用的损失函数包括第一损失函数和第二损失函数，其中，第一损失函数用于最小化字符类别的差异，第二损失函数用于最小化位置信息的差异。其中，第一损失函数可以为分类损失函数，第二损失函数可以为回归损失函数。
步骤2，使用第二数据集对中间模型进行训练，得到字符识别模型。
第二训练集包括第二样本车辆图像、第二样本车辆图像对应的字符类别标签、第一样本车辆图像、和第一样本车辆图像中车牌区域的字符类别标签。
由于第二样本数据集包括第一样本车辆图像和第一样本车辆图像对应的字符类别标签，因此，使用第二样本数据集训练得到的字符检测网络可以识别目标图像中的字符信息。
由于中间模型是经过第一样本数据集训练得到的，第二样本车辆图像的训练已经使得中间模型具有检测字符的能力。因此，只需要在中间模型上的基础上微调字符检测模型对第一样本车辆图像中字符特征的识别能力即可，此时，使用第一样本车辆图像的数量小于在初始网络模型的基础上训练字符检测模型时使用的第一样本车辆图像的数量，可以实现用小样本训练字符检测网络。
由于第一样本车辆图像的数量是极少的，为了提高中间模型的准确性，在采集到第一样本车辆图像后，还可以对第一样本车辆图像进行扩充。具体地，对第一样本车辆图像的扩充方式包括离线增强和/或在线增强。
其中，在线增强是指在网络训练的过程中对样本数据进行变换以扩充样本数据；离线增强是指先对样本数据进行扩充，使用扩充后的样本数据对网络进行训练。
可选地，对第一样本车辆图像进行离线增强的方式可以是对第一样本车辆图像进行RGB通道重组、和/或对第一样本车辆图像中的车牌区域随机缩放，或者还可以是对第一样本车辆图像中的车牌区域进行裁剪，本实施例不对第一样本车辆图像离线增强的方式作限定。
在一个示例中，对第一样本车辆图像进行离线增强包括：对第一样本车辆图像进行RGB通道随机重组，得到重组样本图像；对重组样本图像中的车牌区域进行随机缩放和裁剪，得到扩充后的第一样本车辆图像。
比如：第一样本车辆图像经RGB通道随机重组后得到的重组样本图像的数量是第一样本车辆图像数量的2倍；对重组样本图像的车牌区域随机缩放和裁剪后得到的扩充后的第一样本车辆图像的数量是重组样本图像的5倍。最终得到的扩充后的第一样本车辆图像的数量是第一样本车辆图像数量的10倍。
在其它的模型训练方式中，电子设备也可以使用第一训练集和第一样本车辆图像、和第一样本车辆图像中车牌区域的字符类别标签对初始网络模型进行训练，得到字符检测模型。但是，此时，第一样本车辆图像的占比在所有训练数据中的占比较小，字符检测模型对第一样本车辆图像中字符特征的提取可能不敏感。本实施例中，通过先使用第一训练集对初始网络模型进行训练，得到中间模型；再在中间模型的基础上，再次使用第二训练集对中间模型进行微调，在微调过程中中间模型专注于对第一样本车辆图像中字符特征的学习，可以提高字符检测模型识别第一样本车辆图像中字符特征的灵敏度。
另外，在其它的模型训练方式中，可以只采用第一样本车辆图像、和第一样本车辆图像中车牌区域的字符类别标签对中间模型进行训练。此时，验证集检测准确率发生震荡，模型缺乏鲁棒性。而本实施例中，通过在第二训练集中融合第二样本车辆图像、第二样本车辆图像对应的字符类别标签、第一样本车辆图像、和第一样本车辆图像对应的字符类别标签，既可以提高字符检测模型识别第一样本车辆图像中字符特征的灵敏度，还可以降低验证集检测准确率震荡的效果，从而提高模型的鲁棒性。
为了提高字符检测模型的准确性，在采集到第二样本车辆图像后，也可以对第二样本车辆图像进行扩充。对第二样本车辆图像进行扩充的方式参考上述对第一样本车辆图像进行扩充的方式，本实施例在此不再赘述。
可选地，为了提高车牌检测网络对目标图像中的字符信息的检测精度，第二样本数据集中，第一样本车辆图像的图像数量大于第二样本车辆图像的图像数量。换言之，第一样本车辆图像在第二样本数据集中的占比大于第二样本车辆图像在第二样本数据集中的占比。
为了更清楚地理解本实施例提供的字符检测模型训练过程，参考图3，下面对该训练过程举一个实例进行说明，本实例中以第一样本车辆图像为B国家的车辆图像，第二样本车辆图像为A国家的车辆图像为例，该过程至少包括以下几个步骤：
步骤31，获取第一数量的A国家车辆图像。
其中，第一数量大于或等于使初始网络模型达到预设检测精度所需要的最小训练样本图像数量。
步骤32，使用A国家车辆图像对预先创建的初始网络模型进行训练，得到中间模型。
步骤33，获取第二数量B国家的车牌图像。
其中，第二数量小于使初始网络模型达到预设检测精度所需要的最小训练样本图像数量。
步骤34，使用B国家的车牌图像和A国家的车牌图像在中间模型上进行迁移学习，得到字符检测模型。
由于使用少量的B国家的图像在中间模型上进行迁移学习即可得到字符检测模型，因此，本申请提供的车牌识别方法对车牌数量极少的国家也同样适用，可以扩大车牌识别方法的适用范围。
一般地，使初始网络模型达到预设检测精度所需要的最小训练样本图像数量是数以万计、或者上百万计的，即第一数量是万级、十万级或百万级的，而第二数量可以是百计的，此时，相对于第一数量来说，第二数量是极少的。
步骤103，按照位置信息对各个字符进行位置排序，得到目标图像中的车牌信息。
其中，车牌信息包括字符类别。
字符检测网络可能存在检测误差，比如：对一个字符重复检测，得到同一字符对应的两个检测框。
基于此，按照位置信息对各个字符进行位置排序，得到目标图像中的车牌信息，包括：对于每个字符，基于位置信息确定其它字符的检测框与字符的检测框之间的重叠度；在重叠度大于重叠度阈值的情况下，从其它字符和字符中确定置信度最小的字符，得到候选字符；在所有字符遍历完成后将候选字符删除；按照位置信息对删除后字符中进行位置排序，得到目标图像的车牌信息。
其中，重叠度的计算方式为：两个检测框重叠部分的面积与两个检测框集合部分的面积的比值。
可选地，预设重叠度阈值为预设定值，比如：预设重叠度阈值为80％、90％等，本实施例不对预设重叠度阈值的取值作限定。
可选地，在所有字符遍历完成后将候选字符删除，包括：确定字符的数量是否与预设数量相符。在字符的数量与预设数量不符的情况下，在所有字符遍历完成后将候选字符删除。在字符的数量与预设数量相符的情况下，按照位置信息对各个字符进行位置排序，得到目标图像中的车牌信息。
其中，预设数量根据目标图像中车牌的字符数确定。
在一个示例中，预设数量与目标图像中车牌的字符数相同。
由于在字符的数量与预设数量相符的情况下，删除候选字符可能会导致字符的数量小于预设字符数量的情况，即将被正确检测的字符删除。此时，会导致误删车牌字符的问题。基于此，本实施例中，在字符的数量与预设数量相符的情况下，不需要执行删除候选字符的步骤，可以避免误删车牌字符的问题，提高车牌识别的准确度。
综上所述，本实施例提供的车牌识别方法，通过获取目标图像；将目标图像输入预先训练的字符检测模型，得到目标图像中的字符信息，字符信息包括每个字符的字符类别和字符的位置信息，字符检测模型训练时使用的第一样本数据少于车牌识别模型训练时使用的第一样本数据；按照位置信息对各个字符进行位置排序，得到目标图像中的车牌信息，车牌信息包括字符类别；可以解决车牌识别模型需要使用大量的样本数据训练得到，在采集的样本数据较少的情况下，训练得到的车牌识别模型识别车牌的准确率较低的问题；由于字符检测模型训练时使用的第一样本数据少于车牌识别模型训练时使用的第一样本数据，因此，减少了训练时所需要的第一样本数据，可以扩大车牌识别方法的使用范围。
另外，先使用第一训练集对初始网络模型进行训练，得到中间模型；再在中间模型的基础上，再次使用第二训练集对中间模型进行微调，在微调过程中中间模型专注于对第一样本车辆图像中字符特征的学习，可以提高字符检测模型识别第一样本车辆图像中字符特征的灵敏度。
另外，通过在第二训练集中融合第二样本车辆图像、第二样本车辆图像对应的字符类别标签、第一样本车辆图像、和第一样本车辆图像对应的字符类别标签，既可以提高字符检测模型识别第一样本车辆图像中字符特征的灵敏度，还可以降低验证集检测准确率震荡的效果，从而提高模型的鲁棒性。
另外，由于字符检测模型是基于无先验框Anchor的网络模型建立的，不需要预先设定Anchor的大小，因此，可以避免由于Anchor的尺寸设置不佳，导致的字符检测准确性较差的问题；既可以提高车牌识别的效率，还可以提高车牌识别的精度。
另外，由于字符检测模型的主干网络是对传统网络模型的主干网络进行裁剪后得到的，且裁剪的过程中没有改变残差块与下采样层之间的连接关系，因此，可以在保证字符检测模型检测精度的同时，减小字符检测模型训练难度。
另外，由于根据字符之间的重叠度和字符对应的置信度确定候选字符，并在所有字符遍历完成之后删除候选字符，因此，可以避免字符检测网络可能存在检测误差导致的重复检测的情况，可以提高车牌识别的精度。
另外，由于在字符的数量与预设数量相符的情况下，直接按照位置信息对各个字符进行位置排序，得到车牌信息，因此，可以避免将正确检测出的字符删除的情况，可以提高车牌识别的精度。
图4是本申请一个实施例提供的车牌识别装置的框图。该装置至少包括以下几个模块：图像获取模块410、字符检测模块420和位置排序模块430。
图像获取模块410，用于获取目标图像；
字符检测模块420，用于将所述目标图像输入预先训练的字符检测模型，得到所述目标图像中的字符信息，所述字符信息包括每个字符的字符类别和所述字符的位置信息，所述字符检测模型训练时使用的第一样本数据少于车牌识别模型训练时使用的第一样本数据；
位置排序模块430，按照所述位置信息对各个字符进行位置排序，得到所述目标图像中的车牌信息，所述车牌信息包括所述字符类别。
相关细节参考上述方法实施例。
需要说明的是：上述实施例中提供的车牌识别装置在进行车牌识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将车牌识别装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的车牌识别装置与车牌识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图5本申请一个实施例提供的电子设备的框图。该设备至少包括处理器501和存储器502。
处理器501可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的车牌识别方法。
在一些实施例中，电子设备还可选包括有：外围设备接口和至少一个外围设备。处理器501、存储器502和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。
当然，电子设备还可以包括更少或更多的组件，本实施例对此不作限定。
可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的车牌识别方法。
可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的车牌识别方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车牌识别方法，其特征在于，所述方法包括：
获取目标图像；
将所述目标图像输入预先训练的字符检测模型，得到所述目标图像中的字符信息，所述字符信息包括每个字符的字符类别和所述字符的位置信息，所述字符检测模型训练时使用的第一样本数据少于车牌识别模型训练时使用的第一样本数据；
按照所述位置信息对各个字符进行位置排序，得到所述目标图像中的车牌信息，所述车牌信息包括所述字符类别。
2.根据权利要求1所述的方法，其特征在于，所述字符检测模型的训练过程包括：
使用第一训练集对预先创建的初始网络模型进行训练，得到中间模型；所述第一训练集包括第二样本车辆图像和所述第二样本车辆图像中车牌区域的字符类别标签；
使用第二训练集对所述中间模型进行训练，得到所述字符检测模型；所述第二训练集包括所述第二样本车辆图像、所述第二样本车辆图像对应的字符类别标签、所述第一样本车辆图像、和所述第一样本车辆图像中车牌区域的字符类别标签；
其中，所述第一样本车辆图像中字符特征与所述第二样本车辆图像中字符特征不同。
3.根据权利要求2所述的方法，其特征在于，所述第二样本数据集中，所述第一样本车辆图像的图像数量大于所述第二样本车辆图像的图像数量。
4.根据权利要求1所述的方法，其特征在于，所述字符检测模型是基于无先验框Anchor的网络模型建立的。
5.根据权利要求1所述的方法，其特征在于，所述字符检测模型包括主干网络、连接层和预测层，所述主干网络通过所述连接层与所述预测层相连；
所述主干网络包括裁剪后的多个残差块和位于所述残差块之后的下采样层；
所述预测层用于定位所述主干网络输出的特征图中的字符，并对所述字符进行分类，得到所述字符信息。
6.根据权利要求1所述的方法，其特征在于，所述字符信息还包括每个位置信息对应的置信度；
所述按照所述位置信息对各个字符进行位置排序，得到所述目标图像中的车牌信息，包括：
对于每个字符，基于所述位置信息确定其它字符的检测框与所述字符的检测框之间的重叠度；
在所述重叠度大于重叠度阈值的情况下，从所述其它字符和所述字符中确定置信度最小的字符，得到候选字符；
在所有字符遍历完成后将所述候选字符删除；
按照所述位置信息对删除后字符中进行位置排序，得到所述目标图像的车牌信息。
7.根据权利要求6所述的方法，其特征在于，所述在所有字符遍历完成后将所述候选字符删除，包括：
确定字符的数量是否与预设数量相符；
在所述字符的数量与所述预设数量不符的情况下，在所有字符遍历完成后将所述候选字符删除。
8.根据权利要求7所述的方法，其特征在于，所述确定字符的数量是否与预设数量相符之后，还包括：
在所述字符的数量与所述预设数量相符的情况下，按照所述位置信息对各个字符进行位置排序，得到所述目标图像中的车牌信息。
9.一种电子设备，其特征在于，所述设备包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如权利要求1至8任一项所述的车牌识别方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序被处理器执行时用于实现如权利要求1至8任一项所述的车牌识别方法。
CN202111662493.1A 2021-12-30 2021-12-30 车牌识别方法、设备及存储介质 Pending CN114241432A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111662493.1A CN114241432A (zh) 2021-12-30 2021-12-30 车牌识别方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111662493.1A CN114241432A (zh) 2021-12-30 2021-12-30 车牌识别方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114241432A true CN114241432A (zh) 2022-03-25

Family

ID=80745133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111662493.1A Pending CN114241432A (zh) 2021-12-30 2021-12-30 车牌识别方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114241432A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782257A (zh) * 2022-06-22 2022-07-22 深圳市爱深盈通信息技术有限公司 车牌拼接方法、装置、识别方法、设备终端和存储介质
WO2024011888A1 (zh) * 2022-07-13 2024-01-18 北京京东乾石科技有限公司 一种车牌识别方法及装置、计算机可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782257A (zh) * 2022-06-22 2022-07-22 深圳市爱深盈通信息技术有限公司 车牌拼接方法、装置、识别方法、设备终端和存储介质
CN114782257B (zh) * 2022-06-22 2022-11-15 深圳市爱深盈通信息技术有限公司 车牌拼接方法、装置、识别方法、设备终端和存储介质
WO2024011888A1 (zh) * 2022-07-13 2024-01-18 北京京东乾石科技有限公司 一种车牌识别方法及装置、计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN110738125B (zh) 利用Mask R-CNN选择检测框的方法、装置及存储介质
CN107944450B (zh) 一种车牌识别方法及装置
CN109961040B (zh) 身份证区域定位方法、装置、计算机设备及存储介质
CN109697468B (zh) 样本图像的标注方法、装置及存储介质
CN114241432A (zh) 车牌识别方法、设备及存储介质
CN111860502A (zh) 图片表格的识别方法、装置、电子设备及存储介质
CN112990162B (zh) 目标检测方法、装置、终端设备及存储介质
CN114897806A (zh) 缺陷检测方法、电子设备及计算机可读存储介质
CN116310656B (zh) 训练样本确定方法、装置和计算机设备
CN112464797A (zh) 一种吸烟行为检测方法、装置、存储介质及电子设备
CN113205047A (zh) 药名识别方法、装置、计算机设备和存储介质
CN116051575A (zh) 图像分割方法、装置、计算机设备、存储介质程序产品
CN116597466A (zh) 一种基于改进YOLOv5s的工程图纸文字检测识别方法及系统
CN111860219A (zh) 一种高速占道判断方法、装置及电子设备
CN113486856B (zh) 一种驾驶员不规范行为检测方法
CN114120071A (zh) 一种带有对象标注框图像的检测方法
CN112597940B (zh) 证件图像识别方法、装置及存储介质
CN114299030A (zh) 物体检测模型处理方法、装置、设备及存储介质
CN113486715A (zh) 图像翻拍识别方法、智能终端以及计算机存储介质
CN115019310B (zh) 图文识别方法及设备
CN111340139A (zh) 一种图像内容复杂度的判别方法及装置
CN116071557A (zh) 一种长尾目标检测方法、计算机可读存储介质及驾驶设备
CN115546219A (zh) 检测板式生成方法、板卡缺陷检测方法、装置及产品
CN105224957A (zh) 一种基于单样本的图像识别的方法及系统
CN114387600A (zh) 文本特征识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination