CN113326843B - 车牌识别方法、装置、电子设备和可读存储介质 - Google Patents

车牌识别方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN113326843B
CN113326843B CN202110674106.XA CN202110674106A CN113326843B CN 113326843 B CN113326843 B CN 113326843B CN 202110674106 A CN202110674106 A CN 202110674106A CN 113326843 B CN113326843 B CN 113326843B
Authority
CN
China
Prior art keywords
license plate
time sequence
correlation
sample
plate recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110674106.XA
Other languages
English (en)
Other versions
CN113326843A (zh
Inventor
韩涛
李梓赫
谭昶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iflytek Information Technology Co Ltd
Original Assignee
Iflytek Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iflytek Information Technology Co Ltd filed Critical Iflytek Information Technology Co Ltd
Priority to CN202110674106.XA priority Critical patent/CN113326843B/zh
Publication of CN113326843A publication Critical patent/CN113326843A/zh
Application granted granted Critical
Publication of CN113326843B publication Critical patent/CN113326843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Character Discrimination (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种车牌识别方法、装置、电子设备和可读存储介质，所述车牌识别方法，包括：基于待识别的车牌图像，得到车牌时序特征；基于位置编码，得到所述车牌时序特征中各特征之间的相关性，并基于所述相关性，更新所述车牌时序特征，得到车牌时序关联特征；基于所述车牌时序关联特征，得到车牌识别结果。本发明的车牌识别方法，通过单次特征提取的方式，且考虑到特征之间的相关性，可以一次得到完成的识别结果，无需进行单字分割与标注，识别效率高。

Description

车牌识别方法、装置、电子设备和可读存储介质
技术领域
本发明涉及车牌识别技术领域，尤其涉及一种车牌识别方法、装置、电子设备和可读存储介质。
背景技术
对车牌进行准确高效的识别是建设智能交通系统的一个重要环节。车牌识别主要是从图像中定位出牌照位置，然后对车牌进行字符分割识别，组成牌照号码输出。
现有技术中，通常通过如下两种方式进行车牌识别：一种是基于文字词条的识别任务，文本识别的方案易出现单字丢失的情况；另一种方案是基于单字字符分割再分类的方案，这种方案需要提供训练数据的单字位置，人工标注工作量很大。另外，以上两种方式在进行解码时，对于不同位数的车牌易出错，比如可能会出现蓝牌或者黄牌解码出8位字符的情况，或者绿牌解码出7位字符的情况。
发明内容
本发明提供一种车牌识别方法、装置、电子设备和可读存储介质，用以解决现有技术中对于不同位数车牌识别错误率高的缺陷，实现高效准确识别不同位数车牌。
本发明提供一种车牌识别方法，包括：
基于待识别的车牌图像，得到车牌时序特征；
基于位置编码，得到所述车牌时序特征中各特征之间的相关性，并基于所述相关性，更新所述车牌时序特征，得到车牌时序关联特征；
基于所述车牌时序关联特征，得到车牌识别结果。
根据本发明实施例的车牌识别方法，通过固定时序长度的分类，可以解决车牌识别过程中多字少字的问题，且无需如单字分割方法中那样需要大量标注，结合注意力转换，可以得到准确的字符顺序。
根据本发明提供的一种车牌识别方法，
在所述得到车牌时序特征之后，所述方法还包括：基于所述车牌时序特征，得到车牌字符长度；
在所述得到车牌识别结果之后，所述方法还包括：基于所述车牌字符长度，验证所述车牌识别结果。
根据本发明提供的一种车牌识别方法，
所述车牌识别方法通过车牌识别模型执行；其中，所述车牌识别模型为，以样本车牌图像为样本，以与所述车牌样本图像对应的样本车牌识别结果为样本标签训练得到。
根据本发明提供的一种车牌识别方法，所述样本车牌图像包括不同位数的样本车牌图像，对所述车牌识别模型进行训练时，所述车牌识别模型的损失函数基于交叉熵损失函数和不同位数的样本车牌图像的权重确定。
根据本发明提供的一种车牌识别方法，所述不同位数的样本车牌图像的权重基于不同位数的样本车牌图像的样本数量与样本数量最大的一类样本车牌图像的样本数量的比值确定。
根据本发明提供的一种车牌识别方法，所述样本车牌图像通过对原样本车牌图像执行包括如下的至少一种操作得到：
缩放到目标大小；
随机打乱RGB三通道；
在目标角度范围内随机旋转目标角度。
根据本发明提供的一种车牌识别方法，在所述基于待识别的车牌图像，得到车牌时序特征之前，所述方法还包括：
将经过车牌定位得到的原车牌图像缩放到目标大小，得到待识别的车牌图像。
本发明还提供一种车牌识别装置，包括：
第一处理模块，用于基于待识别的车牌图像，得到车牌时序特征；
第二处理模块，基于位置编码，得到所述车牌时序特征中各特征之间的相关性，并基于所述相关性，更新所述车牌时序特征，得到车牌时序关联特征；
第三处理模块，用于基于所述车牌时序关联特征，得到车牌识别结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述车牌识别方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述车牌识别方法的步骤。
本发明提供的车牌识别方法、装置、电子设备和可读存储介质，通过固定时序长度的分类，可以解决车牌识别过程中多字少字的问题，且无需如单字分割方法中那样需要大量标注，结合注意力转换，可以得到准确的字符顺序。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的车牌识别方法的流程示意图；
图2是本发明提供的车牌识别模型的结构示意图；
图3是本发明提供的车牌识别装置的结构示意图；
图4是本发明提供的电子设备的结构示意图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图2描述本发明实施例的车牌识别方法。
如图1所示，本发明实施例提供的车牌识别方法包括：步骤110、步骤120和步骤130。
其中，步骤110、基于待识别的车牌图像，得到车牌时序特征；
该步骤中，待识别的车牌图像可以通过如下方法得到：
采集到车辆图像，对车辆图像进行车牌定位，从车辆图像中分割出车牌所在区域，得到原车牌图像。
原车牌图像可以作为待识别的车牌图像。
或者，还可以将原车牌图像缩放到目标大小，得到待识别的车牌图像。缩放为目标大小的车牌图像可以降低识别难度，提高识别效率。目标大小可以为64*512。
其中，在一些实施例中，该车牌识别方法应用于图像采集设备。对应地在该步骤中，待识别的车牌图像可以通过如下方法得到：
通过图像采集设备对目标车辆进行拍摄，得到包括车牌信息的车辆图像，对车辆图像进行车牌定位，从车辆图像中分割出车牌所在区域，得到原车牌图像。
在另一些实施例中，该车牌识别方法应用于监控系统的后台服务器，后台服务器接收图像采集设备拍摄得到的包括车牌信息的车辆图像，对车辆图像进行车牌定位，从车辆图像中分割出车牌所在区域，得到原车牌图像。
对车辆图像进行车牌定位，从车辆图像中分割出车牌所在区域，得到原车牌图像，可以通过如下多种方法实现，包括但不限于以下两种：
其一、在车辆图像中基于预设的规则划出多个候选框，对各个候选框进行特征提取，基于提取的特征确定该候选框作为车牌的置信度，将车牌置信度最高的候选框确定为包含车牌的候选框，该候选框所框住的区域即为车牌区域，从车辆图像中分割出该区域即得到原车牌图像。
其二、将车辆图像按像素点或者像素点组合进行分割，得到子图像，提取各个子图像的特征，基于提取的特征确定该子图像作为车牌的置信度，将车牌置信度最高的子图像确定为包含车牌的子图像，该子图像即为原车牌图像。
上述车牌定位方法均可以通过神经网络执行。
在得到待识别的车牌图像后，对车牌图像进行特征提取，可以得到车牌时序特征。
在一些实施例中，车牌时序特征的时序长度与车牌的最大字符长度相等。
需要说明的是，不同类型的车牌字符数量不一致，本发明的实施例中，在进行特征提取时，以字符数量最大的车牌类型为参考，通过空白填充，确保特征提取后满足各类车牌。
具体地，蓝牌和黄牌包括7位字符，绿牌包括8位字符，在进行特征提取时，引入一位空白字符，这样车牌时序特征的时序长度统一为8位，与车牌的最大字符长度相等。
在一些实施例中，该车牌识别方法可以通过神经网络(车牌识别模型)来执行。
对应地，步骤110、基于待识别的车牌图像，得到车牌时序特征，可以包括：
将待识别的车牌图像输入到车牌识别模型的主干网络层，得到车牌时序特征；
该主干网络层可以为resnet18，即包括17个卷积层和1个全连接层。经过5次的下采样后，待识别的车牌图像转化为B*C*1*D的特征张量，合并特征张量的最后两个维度，得到车牌时序特征B*C*D，其中，B为batchsize，为一次训练时输入到车牌识别模型的样本车车牌图像的数量，C是上一层输出的通道数，D为车牌时序特征的时序长度，以蓝牌和黄牌包括7位字符，绿牌包括8位字符为例，D取8，这样最后识别出来字符长度也为8。
步骤120、基于位置编码，得到车牌时序特征中各特征之间的相关性，并基于相关性，更新该车牌时序特征，得到车牌时序关联特征；
需要说明的是，在步骤110中得到的车牌时序特征对应于车牌的各个字符，但是字符与字符之间可能存在间隔空白，且车辆图像的质量(比如拍摄角度不正，运动模糊)也会导致车牌时序特征不一定对应车牌的字符，或者发生字符位置偏移的情况。
对应地，车牌时序特征中各特征的顺序与车牌实际的字符顺序可能不一致，即车牌的编码的相关顺序不强。
对于车牌来说，字符和字符之间相关性较强，例如一般车牌的第二位是大写字母A到Z，第二位和第一位省份的缩写的相关性要远大于与其他位置字符的特征。而字符与字符的间隔空白以及噪声特征是不具有相关性的，同时每种颜色的车牌也都有类似的相关性。
本发明的技术方案，通过结合车牌独特的位置编码，基于位置编码，可以得到车牌时序特征中各特征之间的相关性。
再利用得到的各特征之间的相关性，更新该车牌时序特征，即可消除车牌时序特征与实际车牌不一一顺序对应的问题，从而消除间隔空白和字符位置偏移的问题。
以国内车牌为例，车牌第一位字符固定是汉字，第二位固定是英文字符。因此本发明提供的方案加入了位置编码，对于原有的字符位置B*D编码到一个统一的向量空间中，得到B*D*C的特征。
在实际的执行中，步骤120可以包括基于位置编码，对车牌时序特征作注意力转换，得到车牌时序关联特征；
通过对车牌时序特征作注意力转换，可以基于字符之间的两两相关性，消除间隔空白和字符位置偏移的问题。
注意力转换可以通过特征来计算特征权重矩阵，矩阵维度是D*D，在D＝8时，该矩阵维度是8*8。这个矩阵的每一列表达的是当前位置的特征和所有位置特征的相关性的权重大小。也就是当前待解码字符和所有字符之间的相关性，权重越大表示相关性越强，反之亦然。
对于车牌来说，字符和字符之间相关性较强，例如一般车牌的第二位是大写字母A到Z，第二位和第一位省份的缩写的相关性要远大于与其他位置字符的特征。而字符与字符的间隔空白以及噪声特征是不具有相关性的，同时每种颜色的车牌也都有类似的相关性。
仅对车牌时序特征作注意力转换，可以学习到时序特征中每一个特征和其他特征相关性关系的权重，并不能分清楚字符之间的前后顺序。
车牌的解码相关顺序虽然不强，但是本发明的技术方案，还结合了车牌的独特位置编码，基于位置编码，对车牌时序特征作注意力转换。
以国内车牌为例，车牌第一位字符固定是汉字，第二位固定是英文字符。因此本发明提供的方案加入了位置编码，对于原有的字符位置B*D编码到一个统一的向量空间中，得到B*D*C的特征。
在一些实施例中，该车牌识别方法可以通过神经网络来执行。
对应地，步骤120、基于位置编码，对车牌时序特征作注意力转换，得到车牌时序关联特征，可以包括：
将位置编码和车牌时序特征输入到车牌识别模型的自注意力层，得到车牌时序关联特征；
换言之，如图2所示，将位置编码和主干网络输出的车牌时序特征一起输入给自注意力层，得到自注意力层输出的车牌时序关联特征。
自注意力层输出的特征B*(C/D)*D*D转化成B*C*D。
步骤130、基于车牌时序关联特征，得到车牌识别结果。
在得到车牌时序关联特征后，车牌时序关联特征中消除了间隔空白以及字符位置偏移的问题，通过识别车牌时序关联特征，即可得到车牌识别结果。
在一些实施例中，该车牌识别方法可以通过神经网络来执行。
对应地，步骤130、基于车牌时序关联特征，得到车牌识别结果，可以包括：
将车牌时序关联特征输入到车牌识别模型的序列识别层，得到车牌识别结果。
换言之，通过全连接层输出时序D个字符的类别，也就是车牌序列识别。
需要说明的是，在该车牌识别方法通过神经网络来执行的情况下，车牌识别模型为，以样本车牌图像为样本，以与车牌样本图像对应的样本车牌识别结果为样本标签训练得到。
换言之，车牌识别模型的训练样本为：样本车牌图像；车牌识别模型的训练标签为：样本车牌识别结果，该样本车牌识别结果可以为根据样本车牌图像进行人工标注得到。
根据本发明实施例的车牌识别方法，通过单次特征提取的方式，且考虑到特征之间的相关性，可以一次得到完成的识别结果，无需进行单字分割与标注，识别效率高。
在一些实施例中，车牌时序特征的时序长度与车牌的最大字符长度相等，对应地，待识别的车牌图像无论是多少位的车牌，其车牌识别结果的位数均与字符数量最大的车牌类型的字符数量相当。
比如，蓝牌或者黄牌，最后一位需要识别成空格。
根据本发明实施例的车牌识别方法，通过固定时序长度的分类，可以解决车牌识别过程中多字少字的问题，且无需如单字分割方法中那样需要大量标注，结合特征之间的相关性，可以得到准确的字符顺序。
在一些实施例中，车牌识别方法通过车牌识别模型执行。
用于训练车牌识别模型的样本车牌图像包括不同位数的样本车牌图像，对车牌识别模型进行训练时，车牌识别模型的损失函数基于交叉熵损失函数和不同位数的样本车牌图像的权重确定。
可以理解的是，各子位数的样本车牌图像的样本数量可能不同，甚至相差很大，即训练样本会存在数据分布不均的问题，相关技术中，如果面对该样本数据分布不均的问题，通常都是通过对少数类样本进行扩容等方式，来解决该问题，但是扩容得到的样本相较于原始样本，还是会存在样本之间关联性大的问题，且处理起来比较复杂。
本发明的技术方案中，直接对损失函数进行加权来平衡因为数据不平衡导致的模型偏向性问题，处理更高效方便。
比如，现阶段7位蓝牌的燃油车数量远大于8位绿牌的电动车数据，样本数据分布不均的情况较为严重。
换言之，为了解决蓝牌和绿牌字符长度不一的问题，此时的8个时序特征并不需要全部解码成字符，通过字符长度识别的分类模块，约束时序的特征表达。
具体地，可以将样本分成两个类别，0代表蓝牌，需要7位解码，1代表绿牌，需要8位解码，得到的损失函数回传来优化主干网络对特征提取的能力。
在损失函数进行加权来平衡因为数据不平衡导致的模型偏向性问题，车牌识别模型的损失函数应用公式
Loss＝mask*Lossorg
确定，
其中，Loss为损失函数，Lossorg为样本标签与预测的结果计算出的交叉熵损失函数，mask为不同位数的样本车牌图像的权重，以国内车牌为例，mask为8位的向量。
进一步地，不同位数的样本车牌图像的权重基于不同位数的样本车牌图像的样本数量与样本数量最大的一类样本车牌图像的样本数量的比值确定。
以国内车牌为例，包括7位蓝牌(和黄牌)以及8为绿牌。
Figure BDA0003120358350000101
其中，num(7位)为训练样本中7位车牌的数量，num(8位)为训练样本中8位车牌的数量。
换言之，对于8位车牌，在处理其最后一位的损失函数时，人为的增加一个权重，该权重是根据训练样本中7位车牌数量和8位车牌数量的比值，这个比值越大说明训练样本中8位车牌越少，计算损失函数的权重则越大，反之亦然。
进一步地，还存在一些特殊车辆的车牌，其样本数据更少，比如警车牌、挂车牌或大使馆车牌，其训练样本数据量偏少，最后一位字符召回率低，本发明的实施例可以在7位车牌最后的特殊字符也生成了相应权重：
Figure BDA0003120358350000111
其中，num(7位)为训练样本中7位车牌的数量，num(特殊车牌)为训练样本中特殊车牌的数量，num(8位)为训练样本中8位车牌的数量。
因此，上述实施方式中，通过采用样本数量的比值来扩大损失函数的权重方式来增强少样本数据的表达，可以在不对少样本数据进行扩容，且增强对应的召回率。
在一些实施例中，样本车牌图像通过对原样本车牌图像执行包括如下的至少一种操作得到：
缩放到目标大小；
随机打乱RGB三通道；
在目标角度范围内随机旋转目标角度。
可以理解的是，通过将原样本车牌图像缩放到目标大小，可以便于对不同的样本车牌图像进行车牌时序特征提取。比如，统一缩放到64*512。
通过随机打乱原样本车牌图像的RGB三通道，可以增强车牌识别模型对背景颜色的鲁棒性。可以理解的是，不同位数的车牌，其最主要的区别之一在于背景颜色以及字体颜色的不同，通过随机打乱原样本车牌图像的RGB三通道，可以确保训练样本的颜色多样性。
在实际进行车牌识别时，车辆图像的角度各异，通过在训练阶段，对原样本车牌图像随机旋转目标角度，可以训练样本中车牌角度的多样性，从而增强车牌识别模型对不同角度下车牌识别的鲁棒性。
目标角度范围可以为(a，b)，其中，-15°≤a≤-5°，-15°≤b≤-5°，比如a＝-10°，b＝-10°，在常规识别中，车牌角度基本都在上述范围之内。
在实际的执行中，可以对原样本车牌图像执行以上三种操作得到样本车牌图像，执行的顺序有多种，包括但不限于：
其一，先将原样本车牌图像缩放到目标大小；然后随机打乱缩放到目标大小的原样本车牌图像的RGB三通道；再在目标角度范围内随机旋转目标角度。
其二，先将原样本车牌图像缩放到目标大小；然后在目标角度范围内随机旋转目标角度；再随机打乱缩放到目标大小的原样本车牌图像的RGB三通道。
另外，需要说明的是，原样本车牌图像还可以执行除了以上三种操作之外的其他操作。
在一些实施例中，在步骤110、得到车牌时序特征之后，方法还包括：基于车牌时序特征，得到车牌字符长度；
在步骤130、得到车牌识别结果之后，方法还包括：基于车牌字符长度，验证车牌识别结果。
可以理解的是，对于不同字符长度的车牌，通过预先解码出车牌字符长度，可以作为最后车牌识别结果的验证依据。
比如，基于车牌时序特征，得到车牌字符长度为8位，但是车牌识别结果为7位有效字符，1位填充字符，则表示识别错误。
或者，基于车牌时序特征，得到车牌字符长度为7位，车牌识别结果为7位有效字符，1位填充字符，则表示识别正确。
通过后验证的方式，可以及时发现识别的错误情况。
如图2所示，在一些实施例中，该车牌识别方法可以通过神经网络来执行。
对应地，车牌识别模型还可以包括长度识别层，主干网络层输出的车牌时序特征输入给长度识别层，长度识别层输出车牌字符长度。
根据本发明实施例的车牌识别方法，采用时序分类的方法对整行车牌一次性输出结果，可以缩短车牌识别的时间以及模型的大小，特别是可以大幅提升该识别方法在嵌入式端上运行的效率，同时能够做到对多种类型车牌鲁棒。
下面对本发明提供的车牌识别装置进行描述，下文描述的车牌识别装置与上文描述的车牌识别方法可相互对应参照。
如图3所示，本发明实施例的车牌识别装置包括：第一处理模块310、第二处理模块320和第三处理模块330。
第一处理模块310，用于基于待识别的车牌图像，得到车牌时序特征；
第二处理模块320，用于基于位置编码，得到所述车牌时序特征中各特征之间的相关性，并基于所述相关性，更新所述车牌时序特征，得到车牌时序关联特征；
第三处理模块330，用于基于车牌时序关联特征，得到车牌识别结果。
该步骤中，待识别的车牌图像可以通过如下方法得到：
采集到车辆图像，对车辆图像进行车牌定位，从车辆图像中分割出车牌所在区域，得到原车牌图像。
原车牌图像可以作为待识别的车牌图像。
或者，还可以将原车牌图像缩放到目标大小，得到待识别的车牌图像。缩放为目标大小的车牌图像可以降低识别难度，提高识别效率。目标大小可以为64*512。
在得到待识别的车牌图像后，第一处理模块310对车牌图像进行特征提取。
需要说明的是，不同类型的车牌字符数量不一致，本发明的实施例中，在进行特征提取时，以字符数量最大的车牌类型为参考，通过空白填充，确保特征提取后满足各类车牌。
具体地，蓝牌和黄牌包括7位字符，绿牌包括8位字符，在进行特征提取时，引入一位空白字符，这样车牌时序特征的时序长度统一为8位，与车牌的最大字符长度相等。
在一些实施例中，第一处理模块310可以加载有车牌识别模型的主干网络层；
该主干网络层可以为resnet18，即包括17个卷积层和1个全连接层。经过5次的下采样后，待识别的车牌图像转化为B*C*1*D的特征张量，合并特征张量的最后两个维度，得到车牌时序特征B*C*D，其中，B为batchsize，为一次训练时输入到车牌识别模型的样本车车牌图像的数量，C是上一层输出的通道数，D为车牌时序特征的时序长度，以蓝牌和黄牌包括7位字符，绿牌包括8位字符为例，D取8，这样最后识别出来字符长度也为8。
需要说明的是，通过第一处理模块310得到的车牌时序特征对应于车牌的各个字符，但是字符与字符之间可能存在间隔空白，且车辆图像的质量(比如拍摄角度不正，运动模糊)也会导致车牌时序特征不一定对应车牌的字符，或者发生字符位置偏移的情况。
通过第二处理模块320对车牌时序特征作注意力转换，可以基于字符之间的两两相关性，消除间隔空白和字符位置偏移的问题。
注意力转换可以通过特征来计算特征权重矩阵，矩阵维度是D*D，在D＝8时，该矩阵维度是8*8。这个矩阵的每一列表达的是当前位置的特征和所有位置特征的相关性的权重大小。也就是当前待解码字符和所有字符之间的相关性，权重越大表示相关性越强，反之亦然。
对于车牌来说，字符和字符之间相关性较强，例如一般车牌的第二位是大写字母A到Z，第二位和第一位省份的缩写的相关性要远大于与其他位置字符的特征。而字符与字符的间隔空白以及噪声特征是不具有相关性的，同时每种颜色的车牌也都有类似的相关性。
仅对车牌时序特征作注意力转换，可以学习到时序特征中每一个特征和其他特征相关性关系的权重，并不能分清楚字符之间的前后顺序。
车牌的解码相关顺序虽然不强，但是本发明的技术方案，还结合了车牌的独特位置编码，基于位置编码，对车牌时序特征作注意力转换。
以国内车牌为例，车牌第一位字符固定是汉字，第二位固定是英文字符。因此本发明提供的方案加入了位置编码，对于原有的字符位置B*D编码到一个统一的向量空间中，得到B*D*C的特征。
第二处理模块320可以加载有车牌识别模型的自注意力层。
将位置编码和车牌时序特征输入到车牌识别模型的自注意力层，得到车牌时序关联特征；
换言之，如图2所示，将位置编码和主干网络输出的车牌时序特征一起输入给自注意力层，得到自注意力层输出的车牌时序关联特征。
自注意力层输出的特征B*(C/D)*D*D转化成B*C*D。
在得到车牌时序关联特征后，车牌时序关联特征中消除了间隔空白以及字符位置偏移的问题，通过识别车牌时序关联特征，即可得到车牌识别结果。
需要说明的是，待识别的车牌图像无论是多少位的车牌，其车牌识别结果的位数均与字符数量最大的车牌类型的字符数量相当。
比如，蓝牌或者黄牌，最后一位需要识别成空格。
根据本发明实施例的车牌识别装置，通过单次特征提取的方式，且考虑到特征之间的相关性，可以一次得到完成的识别结果，无需进行单字分割与标注，识别效率高。
在一些实施例中，该车牌识别装置还可以包括：
第四处理模块，用于在得到车牌时序特征之后，基于车牌时序特征，得到车牌字符长度；
第五处理模块，在得到车牌识别结果之后，基于车牌字符长度，验证车牌识别结果。
在一些实施例中，第一处理模块310，还用于将待识别的车牌图像输入到车牌识别模型的主干网络层，得到车牌时序特征；
第二处理模块320，还用于将位置编码和车牌时序特征输入到车牌识别模型的自注意力层，得到车牌时序关联特征；
第三处理模块330，还用于将车牌时序关联特征输入到车牌识别模型的序列识别层，得到车牌识别结果；
其中，车牌识别模型为，以样本车牌图像为样本，以与车牌样本图像对应的样本车牌识别结果为样本标签训练得到。
在一些实施例中，样本车牌图像包括不同位数的样本车牌图像，对车牌识别模型进行训练时，车牌识别模型的损失函数基于交叉熵损失函数和不同位数的样本车牌图像的权重确定。
在一些实施例中，不同位数的样本车牌图像的权重基于不同位数的样本车牌图像的样本数量与样本数量最大的一类样本车牌图像的样本数量的比值确定。
在一些实施例中，样本车牌图像通过对原样本车牌图像执行包括如下的至少一种操作得到：
缩放到目标大小；
随机打乱RGB三通道；
在目标角度范围内随机旋转目标角度。
在一些实施例中，该车牌识别装置还可以包括：
第六处理模块，用于在基于待识别的车牌图像，得到车牌时序特征之前，将经过车牌定位得到的原车牌图像缩放到目标大小，得到待识别的车牌图像。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行车牌识别方法，该方法包括：基于待识别的车牌图像，得到车牌时序特征；基于位置编码，得到所述车牌时序特征中各特征之间的相关性，并基于所述相关性，更新所述车牌时序特征，得到车牌时序关联特征；基于车牌时序关联特征，得到车牌识别结果。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的车牌识别方法，该方法包括：基于待识别的车牌图像，得到车牌时序特征；基于位置编码，得到所述车牌时序特征中各特征之间的相关性，并基于所述相关性，更新所述车牌时序特征，得到车牌时序关联特征；基于车牌时序关联特征，得到车牌识别结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的车牌识别方法，该方法包括：基于待识别的车牌图像，得到车牌时序特征；基于位置编码，得到所述车牌时序特征中各特征之间的相关性，并基于所述相关性，更新所述车牌时序特征，得到车牌时序关联特征；基于车牌时序关联特征，得到车牌识别结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种车牌识别方法，其特征在于，包括：
基于待识别的车牌图像，得到车牌时序特征，所述车牌时序特征的时序长度与车牌的最大字符长度相等；
基于位置编码，得到所述车牌时序特征中各特征之间的相关性，并基于所述相关性，更新所述车牌时序特征，得到车牌时序关联特征；
基于所述车牌时序关联特征，得到车牌识别结果。
2.根据权利要求1所述的车牌识别方法，其特征在于，
在所述得到车牌时序特征之后，所述方法还包括：基于所述车牌时序特征，得到车牌字符长度；
在所述得到车牌识别结果之后，所述方法还包括：基于所述车牌字符长度，验证所述车牌识别结果。
3.根据权利要求1所述的车牌识别方法，其特征在于，所述车牌识别方法通过车牌识别模型执行；其中，所述车牌识别模型为，以样本车牌图像为样本，以与所述车牌样本图像对应的样本车牌识别结果为样本标签训练得到。
4.根据权利要求3所述的车牌识别方法，其特征在于，所述样本车牌图像包括不同位数的样本车牌图像，对所述车牌识别模型进行训练时，所述车牌识别模型的损失函数基于交叉熵损失函数和不同位数的样本车牌图像的权重确定。
5.根据权利要求4所述的车牌识别方法，其特征在于，所述不同位数的样本车牌图像的权重基于不同位数的样本车牌图像的样本数量与样本数量最大的一类样本车牌图像的样本数量的比值确定。
6.根据权利要求3所述的车牌识别方法，其特征在于，所述样本车牌图像通过对原样本车牌图像执行包括如下的至少一种操作得到：
缩放到目标大小；
随机打乱RGB三通道；
在目标角度范围内随机旋转目标角度。
7.根据权利要求1-6中任一项所述的车牌识别方法，其特征在于，在所述基于待识别的车牌图像，得到车牌时序特征之前，所述方法还包括：
将经过车牌定位得到的原车牌图像缩放到目标大小，得到待识别的车牌图像。
8.一种车牌识别装置，其特征在于，包括：
第一处理模块，用于基于待识别的车牌图像，得到车牌时序特征，所述车牌时序特征的时序长度与车牌的最大字符长度相等；
第二处理模块，基于位置编码，得到所述车牌时序特征中各特征之间的相关性，并基于所述相关性，更新所述车牌时序特征，得到车牌时序关联特征；
第三处理模块，用于基于所述车牌时序关联特征，得到车牌识别结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述车牌识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述车牌识别方法的步骤。
CN202110674106.XA 2021-06-17 2021-06-17 车牌识别方法、装置、电子设备和可读存储介质 Active CN113326843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110674106.XA CN113326843B (zh) 2021-06-17 2021-06-17 车牌识别方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110674106.XA CN113326843B (zh) 2021-06-17 2021-06-17 车牌识别方法、装置、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN113326843A CN113326843A (zh) 2021-08-31
CN113326843B true CN113326843B (zh) 2022-11-18

Family

ID=77423734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110674106.XA Active CN113326843B (zh) 2021-06-17 2021-06-17 车牌识别方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN113326843B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000268291A (ja) * 1999-03-18 2000-09-29 Nec Corp ナンバープレート認識装置
JP2016095763A (ja) * 2014-11-17 2016-05-26 住友電工システムソリューション株式会社 ナンバープレート検出装置及びナンバープレート検出方法
CN111222513A (zh) * 2019-12-31 2020-06-02 深圳云天励飞技术有限公司 车牌号码识别方法、装置、电子设备及存储介质
CN111461112A (zh) * 2020-03-03 2020-07-28 华南理工大学 一种基于双循环转录网络的车牌字符识别方法
CN112101274A (zh) * 2020-09-24 2020-12-18 苏州科达科技股份有限公司 一种车牌识别方法、装置、设备及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108701234A (zh) * 2018-03-05 2018-10-23 深圳前海达闼云端智能科技有限公司 车牌识别方法及云系统
CN109086722B (zh) * 2018-08-06 2021-04-13 汉王科技股份有限公司 混合车牌识别方法、装置、电子设备
CN111062396B (zh) * 2019-11-29 2022-03-25 深圳云天励飞技术有限公司 车牌号码识别方法、装置、电子设备及存储介质
CN112861845A (zh) * 2021-04-23 2021-05-28 北京欣博电子科技有限公司 车牌识别方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000268291A (ja) * 1999-03-18 2000-09-29 Nec Corp ナンバープレート認識装置
JP2016095763A (ja) * 2014-11-17 2016-05-26 住友電工システムソリューション株式会社 ナンバープレート検出装置及びナンバープレート検出方法
CN111222513A (zh) * 2019-12-31 2020-06-02 深圳云天励飞技术有限公司 车牌号码识别方法、装置、电子设备及存储介质
CN111461112A (zh) * 2020-03-03 2020-07-28 华南理工大学 一种基于双循环转录网络的车牌字符识别方法
CN112101274A (zh) * 2020-09-24 2020-12-18 苏州科达科技股份有限公司 一种车牌识别方法、装置、设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Robust Automatic Recognition of Chinese License Plates in Natural Scenes;Ming-Xiang He et al;《IEEE Access》;20200923;第8卷;173804-173814页 *
高效高精度车牌识别系统;刘曜溪等;《中国科技论文在线精品论文》;20201231;第13卷(第4期);456-464页 *

Also Published As

Publication number Publication date
CN113326843A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN111414906B (zh) 纸质票据图片的数据合成与文本识别方法
CN111191663B (zh) 车牌号码识别方法、装置、电子设备及存储介质
CN111222513B (zh) 车牌号码识别方法、装置、电子设备及存储介质
CN111046859B (zh) 字符识别方法及装置
CN110188762B (zh) 中英文混合商户门店名称识别方法、系统、设备及介质
CN110765740B (zh) 一种基于dom树的全类型文本替换方法、系统、装置及存储介质
CN111428750A (zh) 一种文本识别模型训练及文本识别方法、装置及介质
CN112215236B (zh) 文本识别方法、装置、电子设备及存储介质
CN114782770A (zh) 一种基于深度学习的车牌检测与车牌识别方法及系统
CN114741553B (zh) 基于图像特征的图片搜索方法
CN115690797A (zh) 字符识别方法、装置、设备及存储介质
CN110399912B (zh) 一种字符识别的方法、系统、设备及计算机可读存储介质
CN111400497A (zh) 一种文本识别方法、装置、存储介质及电子设备
CN110766010A (zh) 一种信息识别方法、模型训练方法和相关装置
CN113326843B (zh) 车牌识别方法、装置、电子设备和可读存储介质
US11748979B2 (en) Method for training a neural network for recognition of a character sequence and associated recognition method
CN112288748B (zh) 一种语义分割网络训练、图像语义分割方法及装置
CN113657279B (zh) 一种票据类图像版面解析方法及装置
CN113920511A (zh) 车牌识别方法、模型训练方法、电子设备及可读存储介质
CN115147847A (zh) 文本识别结果的确定方法、装置、存储介质及计算机设备
CN113052176A (zh) 一种字符识别模型训练方法、装置及系统
CN112733670A (zh) 指纹特征提取方法、装置、电子设备及存储介质
CN111738255A (zh) 一种基于深度学习的路牌文本检测与识别算法
CN112580643B (zh) 一种基于深度学习的车牌识别方法、装置及存储介质
CN113392840B (zh) 基于多尺度分割融合的实时语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant