CN116386018A - 车牌字符分类方法以及系统 - Google Patents

车牌字符分类方法以及系统 Download PDF

Info

Publication number
CN116386018A
CN116386018A CN202310224775.6A CN202310224775A CN116386018A CN 116386018 A CN116386018 A CN 116386018A CN 202310224775 A CN202310224775 A CN 202310224775A CN 116386018 A CN116386018 A CN 116386018A
Authority
CN
China
Prior art keywords
branch
license plate
plate character
feature
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310224775.6A
Other languages
English (en)
Inventor
闫军
丁丽珠
王艳清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart Intercommunication Technology Co ltd
Original Assignee
Smart Intercommunication Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart Intercommunication Technology Co ltd filed Critical Smart Intercommunication Technology Co ltd
Priority to CN202310224775.6A priority Critical patent/CN116386018A/zh
Publication of CN116386018A publication Critical patent/CN116386018A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开一种车牌字符分类方法以及系统。方法包括：构建均匀车牌字符数据集与尾部加强车牌字符数据集；将所述均匀车牌字符数据集输入至第一分支网络中，获得第一分支特征；将所述尾部加强车牌字符数据集输入至第二分支网络中，获得第二分支特征；将所述第一分支特征与所述第二分支特征进行双分支融合训练，获得双分支融合特征；将所述双分支融合特征输入至多类别分类器中进行分类，获得每个车牌字符的类别。通过本方法，不仅保护了数量占多数的类别的特征学习，而且加强了对于数量占少数的类别的特征学习，充分对所有字符类别进行了特征学习，解决了传统方法由于长尾分布导致的容易出现分类错误的问题，整体上提高了对车牌字符分类的准确率。

Description

车牌字符分类方法以及系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种车牌字符分类方法以及系统。
背景技术
车牌识别技术在城市交通管理、车辆识别、停车场收费管理、违章处理等多种场景中具有重要的作用，车牌识别技术目前具有多种实现算法。传统方法基于视频图像进行车牌字符的二维目标检测。传统方法利用的数据量较少，且不同字符类型的数据量差异较大，一些数据采集困难，导致在进行车牌字符的分类时，呈现出长尾分布的数据分布特征。也可以理解为，少部分字符类别占据多数字符数据数量，多部分字符类别占据少数字符数据数量，使得整体的数据分布呈现为长尾分布，进而当采用传统方法进行车牌字符分类时导致分布在尾部的大多数类别的特征学习的不够充分，容易出现分类错误的问题。
发明内容
本发明的目的是解决传统方法对长尾分布数据进行特征学习不够充分导致的分类错误的技术问题。为实现上述目的，本发明提供一种车牌字符分类方法以及系统。
本发明提供一种车牌字符分类方法，包括：
构建均匀车牌字符数据集与尾部加强车牌字符数据集；
将所述均匀车牌字符数据集输入至第一分支网络中，获得第一分支特征；
将所述尾部加强车牌字符数据集输入至第二分支网络中，获得第二分支特征；
将所述第一分支特征与所述第二分支特征进行双分支融合训练，获得双分支融合特征；
将所述双分支融合特征输入至多类别分类器中进行分类，获得每个车牌字符的类别。
在一个实施例中，所述构建均匀车牌字符数据集与尾部加强车牌字符数据集，包括：
获取多类别车牌字符数据，对所述多类别车牌字符数据进行同概率采样，形成所述均匀车牌字符数据集；
对所述多类别车牌字符数据进行尾部高概率采样，形成所述尾部加强车牌字符数据集；
所述尾部高概率采样的采样概率为：
Figure BDA0004118125350000021
其中，1/Ni表示类别i的样本总数量的倒数，C表示所述多类别车牌字符数据的总类别数，B表示一个模型训练周期中每次迭代的样本输入数量。
在一个实施例中，所述将所述均匀车牌字符数据集输入至第一分支网络中，获得第一分支特征之后，所述方法还包括：
对所述第一分支特征进行语义特征提取，获得第一语义特征；
将所述第一语义特征依次经过全局池化层、卷积层、归一化层以及激活函数层进行特征提取，获得第一加强特征；
对所述第一加强特征进行特征值归一化，获得第一归一化特征；
将所述第一归一化特征加权至所述第一分支特征中，获得第一分支加权特征；
将所述第一分支加权特征与所述第二分支特征进行双分支融合训练，获得所述双分支融合特征。
在一个实施例中，所述将所述尾部加强车牌字符数据集输入至第二分支网络中，获得第二分支特征之后，所述方法还包括：
对所述第二分支特征进行语义特征提取，获得第二语义特征；
将所述第二语义特征依次经过全局池化层、卷积层、归一化层以及激活函数层进行特征提取，获得第二加强特征；
对所述第二加强特征进行特征值归一化，获得第二归一化特征；
将所述第二归一化特征加权至所述第二分支特征中，获得第二分支加权特征；
将所述第一分支加权特征与所述第二分支加权特征进行双分支融合训练，获得所述双分支融合特征。
在一个实施例中，所述将所述第一分支加权特征与所述第二分支加权特征进行双分支融合训练，获得所述双分支融合特征中，所述双分支融合特征为：
Fa＝γFu+(1-γ)Fr；
Figure BDA0004118125350000031
其中，γ表示权重系数，Fu表示所述第一分支加权特征，Fr表示所述第二分支加权特征，T表示当前训练周期，M表示总训练周期。
本发明提供一种车牌字符分类系统，包括：
数据构建模块，用于构建均匀车牌字符数据集与尾部加强车牌字符数据集；
第一分支网络模块，用于将所述均匀车牌字符数据集输入至第一分支网络中，获得第一分支特征；
第二分支网络模块，用于将所述尾部加强车牌字符数据集输入至第二分支网络中，获得第二分支特征；
双分支融合模块，用于将所述第一分支特征与所述第二分支特征进行双分支融合训练，获得双分支融合特征；
分类模块，用于将所述双分支融合特征输入至多类别分类器中进行分类，获得每个车牌字符的类别。
在一个实施例中，所述数据构建模块包括：
均匀数据形成模块，用于获取多类别车牌字符数据，对所述多类别车牌字符数据进行同概率采样，形成所述均匀车牌字符数据集；
尾部加强数据形成模块，用于对所述多类别车牌字符数据进行尾部高概率采样，形成所述尾部加强车牌字符数据集；
所述尾部高概率采样的采样概率为：
Figure BDA0004118125350000041
其中，1/Ni表示类别i的样本总数量的倒数，C表示所述多类别车牌字符数据的总类别数，B表示一个模型训练周期中每次迭代的样本输入数量。
在一个实施例中，所述系统还包括：
第一语义特征提取模块，用于对所述第一分支特征进行语义特征提取，获得第一语义特征；
第一加强特征提取模块，用于将所述第一语义特征依次经过全局池化层、卷积层、归一化层以及激活函数层进行特征提取，获得第一加强特征；
第一归一化特征提取模块，用于对所述第一加强特征进行特征值归一化，获得第一归一化特征；
第一分支加权特征提取模块，用于将所述第一归一化特征加权至所述第一分支特征中，获得第一分支加权特征；
所述双分支融合模块用于将所述第一分支加权特征与所述第二分支特征进行双分支融合训练，获得所述双分支融合特征。
在一个实施例中，所述系统还包括：
第二语义特征提取模块，用于对所述第二分支特征进行语义特征提取，获得第二语义特征；
第二加强特征提取模块，用于将所述第二语义特征依次经过全局池化层、卷积层、归一化层以及激活函数层进行特征提取，获得第二加强特征；
第二归一化特征提取模块，用于对所述第二加强特征进行特征值归一化，获得第二归一化特征；
第二分支加权特征提取模块，用于将所述第二归一化特征加权至所述第二分支特征中，获得第二分支加权特征；
所述双分支融合模块用于将所述第一分支加权特征与所述第二分支加权特征进行双分支融合训练，获得所述双分支融合特征。
在一个实施例中，所述双分支融合模块中，所述双分支融合特征为：
Fa＝γFu+(1-γ)Fr；
Figure BDA0004118125350000051
其中，γ表示权重系数，Fu表示所述第一分支加权特征，Fr表示所述第二分支加权特征，T表示当前训练周期，M表示总训练周期。
上述车牌字符分类方法以及系统中，通过利用第一分支网络与第二分支网络进行特征学习，第一分支网络对所有类别的车牌字符进行均匀采样学习，第二分支网络加强对于数量较少的尾部车牌字符类别数据进行采样和学习，进而对两个分支学习到的特征进行融合，实现对网络参数的迭代与优化。通过本发明提供的车牌字符分类方法，不仅保护了数量占多数的类别的特征学习，而且加强了对于数量占少数的类别的特征学习，充分对所有字符类别进行了特征学习，解决了传统方法由于长尾分布导致的容易出现分类错误的问题，整体上提高了对车牌字符分类的准确率。
附图说明
图1是本发明提供的车牌字符分类方法的步骤流程图。
图2是本发明提供的车牌字符分类系统的结构示意图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
请参见图1，本发明提供一种车牌字符分类方法，包括：
S10，构建均匀车牌字符数据集与尾部加强车牌字符数据集；
S20，将均匀车牌字符数据集输入至第一分支网络中，获得第一分支特征；
S30，将尾部加强车牌字符数据集输入至第二分支网络中，获得第二分支特征；
S40，将第一分支特征与第二分支特征进行双分支融合训练，获得双分支融合特征；
S50，将双分支融合特征输入至多类别分类器中进行分类，获得每个车牌字符的类别。
本实施例中，在S10中，均匀车牌字符数据集与尾部加强车牌字符数据集来源于从监控视频中收集包含车辆车牌的图像帧。均匀车牌字符数据集是通过均匀采样方式对大量的多类别车牌字符数据进行采样构建形成。尾部加强车牌字符数据集是通过非均匀的尾部字符类别数据加强采样方式进行采样构建形成。均匀采样方式中各个字符类别是以相同的概率被采样，包括了所有车牌字符类别。非均匀的尾部字符类别数据加强采样方式中，各个字符类别被采样的概率不是均匀的，与每个字符类别的数量的倒数相关，对于样本数量少的类别被采样的概率增加。
在S20与S30中，第一分支网络与第二分支网络可以相同也可以不同。第一分支网络与第二分支网络均包括主干网络与分类器网络。主干网络包括ResNet、MobileNet、Transformer等网络。在一个实施例中，第一分支网络与第二分支网络采用相同的主干网络，两个分支网络的输入数据同样重要，均匀车牌字符数据集涵盖了所有训练集中的样本，以用于提高模型的整体泛化性能，尾部加强车牌字符数据集以提高模型对于尾部类别车牌字符的分类准确率。第一分支网络与第二分支网络采用相同的分支网络结构，可以减少模型参数的计算量，更有利于步骤S40中两个分支的融合训练。在一个实施例中，第一分支网络与第二分支网络均采用基于ResNet-50的主干网络进行特征提取，以保证提取到更加丰富和有效的特征。
在S40与S50中，双分支融合时，逐像素将第一分支网络与第二分支网络学习到的特征参数进行相加，获得双分支融合特征。在一个实施例中，对第一分支特征与第二分支特征进行双分支融合时，可以增加权重系数进行不同程度的融合。
通过多类别分类器对融合后的双分支融合特征进行分类，可以采用Logistic分类器、softmax分类器等，本实施例中不做具体限定。
通过S10至S50步骤，基于均匀车牌字符数据集与尾部加强车牌字符数据集对第一分支网络、第二分支网络以及多类别分类器形成的模型进行训练，获得训练完成的第一分支网络与第二分支网络，对待测车牌字符图像进行字符分类检测，最后获得车牌字符图像的分类结果。
本发明提供的车牌字符分类方法，通过利用第一分支网络与第二分支网络进行特征学习，第一分支网络对所有类别的车牌字符进行均匀采样学习，第二分支网络加强对于数量较少的尾部车牌字符类别数据进行采样和学习，进而对两个分支学习到的特征进行融合，实现对网络参数的迭代与优化。通过本发明提供的车牌字符分类方法，不仅保护了数量占多数的类别的特征学习，而且加强了对于数量占少数的类别的特征学习，充分对所有字符类别进行了特征学习，解决了传统方法由于长尾分布导致的容易出现分类错误的问题，整体上提高了对车牌字符分类的准确率。
在一个实施例中，S10，构建均匀车牌字符数据集与尾部加强车牌字符数据集，包括：
S110，获取多类别车牌字符数据，对多类别车牌字符数据进行同概率采样，形成均匀车牌字符数据集；
S120，对多类别车牌字符数据进行尾部高概率采样，形成尾部加强车牌字符数据集；
尾部高概率采样的采样概率为：
Figure BDA0004118125350000081
其中，1/Ni表示类别i的样本总数量的倒数，C表示多类别车牌字符数据的总类别数，B表示一个模型训练周期中每次迭代的样本输入数量。
本实施例中，从监控视频中收集包含车辆车牌的图像帧，通过车牌字符目标检测算法进行车牌检测，得到每个车牌字符的位置信息，并基于位置信息进行截取保存为单个的车牌字符图像或采用人工方式截取每个车牌字符的图像。对截取获得多个车牌字符图像进行分类统计，形成多类别车牌字符数据。在一个实施例中，多类别车牌字符数据按照车牌字符类别统计，共有86种车牌字符类别，包括10个阿拉伯数字(0-9)、24个大写字母(A-Z，除I和O)和52个汉字。
车牌字符图像来源于真实的道路交通场景监控捕捉的机动车与非机动车的车牌字符图像，涵盖不同视角、不同背景、不同光照强度下的车牌字符图像。多类别车牌字符数据包括小汽车、新能源汽车、公交车、摩托车、电动车、大货车等不同类型的车牌。
对于每个训练周期，受限于硬件及设备条件影响，无法一次性的输入所有训练数据到模型中进行学习，需要采用多次迭代的方式，在一个训练周期中，训练集总数量为N，每次迭代的样本数量为B，共迭代N/B次以实现一个训练周期。对于类别i的样本总数量为Ni，在每次迭代中总的采样数量为B，为了加强对于尾部类别的数据采样，对于每个类别的采样概率，与类别的数量的倒数成反比，也就是说，数量越少的类别，被采样到的概率越高，进而各个字符类别被采样的概率不再是均匀的，而是与数量的倒数相关，如公式尾部高概率采样的采样概率所示，增加了对于样本数量少的类别被采样的概率。
在一个实施例中，S20，将均匀车牌字符数据集输入至第一分支网络中，获得第一分支特征之后，方法还包括：
S201，对第一分支特征进行语义特征提取，获得第一语义特征；
S202，将第一语义特征依次经过全局池化层、卷积层、归一化层以及激活函数层进行特征提取，获得第一加强特征；
S203，对第一加强特征进行特征值归一化，获得第一归一化特征；
S204，将第一归一化特征加权至第一分支特征中，获得第一分支加权特征；
在S40中，将第一分支加权特征与第二分支特征进行双分支融合训练，获得双分支融合特征。
本实施例中，对第一分支网络的输出进行全局的语义特征提取，获得第一语义特征，第一语义特征依次经过全局池化操作、卷积核大小为1×1的卷积层、归一化层以及激活函数层进一步进行特征提取，获得第一加强特征，然后利用sigmoid函数进行特征值归一化，获得第一归一化特征，并将第一归一化特征加权到原始的网络层输出的第一分支特征中，形成第一分支加权特征，实现了对第一分支网络的特征提取的加强。
在一个实施例中，S30，将尾部加强车牌字符数据集输入至第二分支网络中，获得第二分支特征之后，方法还包括：
S301，对第二分支特征进行语义特征提取，获得第二语义特征；
S302，将第二语义特征依次经过全局池化层、卷积层、归一化层以及激活函数层进行特征提取，获得第二加强特征；
S303，对第二加强特征进行特征值归一化，获得第二归一化特征；
S304，将第二归一化特征加权至第二分支特征中，获得第二分支加权特征；
在S40中，将第一分支加权特征与第二分支加权特征进行双分支融合训练，获得双分支融合特征。
本实施例中，对第二分支网络的输出进行全局的语义特征提取，获得第二语义特征，第二语义特征依次经过全局池化操作、卷积核大小为1×1的卷积层、归一化层以及激活函数层进一步进行特征提取，获得第二加强特征，然后利用sigmoid函数进行特征值归一化，获得第二归一化特征，并将第二归一化特征加权到原始的网络层输出的第二分支特征中，形成第二分支加权特征，实现了对第二分支网络的特征提取的加强。
在一个实施例中，S40，将第一分支加权特征与第二分支加权特征进行双分支融合训练，获得双分支融合特征中，双分支融合特征为：
Fa＝γFu+(1-γ)Fr；
Figure BDA0004118125350000101
其中，γ表示权重系数，Fu表示第一分支加权特征，Fr表示第二分支加权特征，T表示当前训练周期，M表示总训练周期。
本实施例中，若第一分支网络与第二分支网络的主干网络相同，输出的维度是相同的。在进行双分支融合时，两分支的输出维度相同，逐像素将所学习到的特征参数进行相加，获得双分支融合特征。若第一分支网络与第二分支网络的主干网络不同，则对第一分支加权特征与第二分支加权特征的维度进行调整为同维度后进行逐像素相加。
双分支融合特征Fa中引入了权重系数γ，通过对权重系数将第一分支加权特征与第二分支加权特征进行了不同程度的关注。通过权重系数γ中的参数T与M，对权重系数进行了调整，可以使得在模型的训练过程中，前N个训练周期中优先关注对于第一分支加权特征的学习，也就是所有样本均匀采样的特征进行学习，进而使得能够让模型先学习到所有样本的特征。在M-N个训练周期中，优先关注对于第二分支加权特征的学习，也就是加强对于尾部类别数据采样的特征，这样能在学习到整体特征的基础上，逐渐优化对于尾部类别数据的学习。从而，通过本实施例中双分支融合特征的融合，可以充分学习到第一分支加权特征与第二分支加权特征，并随着权重系统γ的训练周期不断进行，而进行动态的调整，使得车牌字符分类方法的准确率更高，更能适用于任何数据的调整变化。
在一个实施例中，总训练周期M可以为200至300，当前训练周期T可以为80至120。
请参见图2，本发明提供一种车牌字符分类系100。车牌字符分类系100包括数据构建模块10、第一分支网络模块20、第二分支网络模块30、双分支融合模块40以及分类模块50。数据构建模块10用于构建均匀车牌字符数据集与尾部加强车牌字符数据集。第一分支网络模块20用于将均匀车牌字符数据集输入至第一分支网络中，获得第一分支特征。第二分支网络模块30用于将尾部加强车牌字符数据集输入至第二分支网络中，获得第二分支特征。双分支融合模块40用于将第一分支特征与第二分支特征进行双分支融合训练，获得双分支融合特征。分类模块50用于将双分支融合特征输入至多类别分类器中进行分类，获得每个车牌字符的类别。
本实施例中，数据构建模块10的相关描述可参考上述实施例中S10的相关描述。第一分支网络模块20的相关描述可参考上述实施例中S20的相关描述。第二分支网络模块30的相关描述可参考上述实施例中S30的相关描述。双分支融合模块40的相关描述可参考上述实施例中S40的相关描述。分类模块50的相关描述可参考上述实施例中S50的相关描述。
在一个实施例中，数据构建模块10包括均匀数据形成模块与尾部加强数据形成模块。均匀数据形成模块用于获取多类别车牌字符数据，对多类别车牌字符数据进行同概率采样，形成均匀车牌字符数据集。尾部加强数据形成模块用于对多类别车牌字符数据进行尾部高概率采样，形成尾部加强车牌字符数据集。
尾部高概率采样的采样概率为：
Figure BDA0004118125350000121
其中，1/Ni表示类别i的样本总数量的倒数，C表示多类别车牌字符数据的总类别数，B表示一个模型训练周期中每次迭代的样本输入数量。
本实施例中，均匀数据形成模块的相关描述可参考上述实施例中S110的相关描述。尾部加强数据形成模块的相关描述可参考上述实施例中S120的相关描述。
在一个实施例中，车牌字符分类系100还包括第一语义特征提取模块、第一加强特征提取模块、第一归一化特征提取模块、第一分支加权特征提取模块。第一语义特征提取模块用于对第一分支特征进行语义特征提取，获得第一语义特征。第一加强特征提取模块用于将第一语义特征依次经过全局池化层、卷积层、归一化层以及激活函数层进行特征提取，获得第一加强特征。第一归一化特征提取模块用于对第一加强特征进行特征值归一化，获得第一归一化特征。第一分支加权特征提取模块用于将第一归一化特征加权至第一分支特征中，获得第一分支加权特征。双分支融合模块用于将第一分支加权特征与第二分支特征进行双分支融合训练，获得双分支融合特征。
本实施例中，第一语义特征提取模块的相关描述可参考上述实施例中S201的相关描述。第一加强特征提取模块的相关描述可参考上述实施例中S202的相关描述。第一归一化特征提取模块的相关描述可参考上述实施例中S203的相关描述。第一分支加权特征提取模块的相关描述可参考上述实施例中S204的相关描述。
在一个实施例中，车牌字符分类系100还包括第二语义特征提取模块、第二加强特征提取模块、第二归一化特征提取模块、第二分支加权特征提取模块。第二语义特征提取模块用于对第二分支特征进行语义特征提取，获得第二语义特征。第二加强特征提取模块用于将第二语义特征依次经过全局池化层、卷积层、归一化层以及激活函数层进行特征提取，获得第二加强特征。第二归一化特征提取模块用于对第二加强特征进行特征值归一化，获得第二归一化特征。第二分支加权特征提取模块用于将第二归一化特征加权至第二分支特征中，获得第二分支加权特征。双分支融合模块用于将第一分支加权特征与第二分支加权特征进行双分支融合训练，获得双分支融合特征。
本实施例中，第二语义特征提取模块的相关描述可参考上述实施例中S301的相关描述。第二加强特征提取模块的相关描述可参考上述实施例中S302的相关描述。第二归一化特征提取模块的相关描述可参考上述实施例中S303的相关描述。第二分支加权特征提取模块的相关描述可参考上述实施例中S304的相关描述。
在一个实施例中，双分支融合模块40中，双分支融合特征为：
Fa＝γFu+(1-γ)Fr；
Figure BDA0004118125350000131
其中，γ表示权重系数，Fu表示第一分支加权特征，Fr表示第二分支加权特征，T表示当前训练周期，M表示总训练周期。
本实施例中，双分支融合模块40中双分支融合特征的相关描述可参考上述实施例中方法的描述。
上述各个实施例中，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于的特定顺序或层次。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，模块和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，模块和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块，或模块都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车牌字符分类方法，其特征在于，包括：
构建均匀车牌字符数据集与尾部加强车牌字符数据集；
将所述均匀车牌字符数据集输入至第一分支网络中，获得第一分支特征；
将所述尾部加强车牌字符数据集输入至第二分支网络中，获得第二分支特征；
将所述第一分支特征与所述第二分支特征进行双分支融合训练，获得双分支融合特征；
将所述双分支融合特征输入至多类别分类器中进行分类，获得每个车牌字符的类别。
2.根据权利要求1所述的车牌字符分类方法，其特征在于，所述构建均匀车牌字符数据集与尾部加强车牌字符数据集，包括：
获取多类别车牌字符数据，对所述多类别车牌字符数据进行同概率采样，形成所述均匀车牌字符数据集；
对所述多类别车牌字符数据进行尾部高概率采样，形成所述尾部加强车牌字符数据集；
所述尾部高概率采样的采样概率为：
Figure FDA0004118125340000011
其中，1/Ni表示类别i的样本总数量的倒数，C表示所述多类别车牌字符数据的总类别数，B表示一个模型训练周期中每次迭代的样本输入数量。
3.根据权利要求1所述的车牌字符分类方法，其特征在于，所述将所述均匀车牌字符数据集输入至第一分支网络中，获得第一分支特征之后，所述方法还包括：
对所述第一分支特征进行语义特征提取，获得第一语义特征；
将所述第一语义特征依次经过全局池化层、卷积层、归一化层以及激活函数层进行特征提取，获得第一加强特征；
对所述第一加强特征进行特征值归一化，获得第一归一化特征；
将所述第一归一化特征加权至所述第一分支特征中，获得第一分支加权特征；
将所述第一分支加权特征与所述第二分支特征进行双分支融合训练，获得所述双分支融合特征。
4.根据权利要求3所述的车牌字符分类方法，其特征在于，所述将所述尾部加强车牌字符数据集输入至第二分支网络中，获得第二分支特征之后，所述方法还包括：
对所述第二分支特征进行语义特征提取，获得第二语义特征；
将所述第二语义特征依次经过全局池化层、卷积层、归一化层以及激活函数层进行特征提取，获得第二加强特征；
对所述第二加强特征进行特征值归一化，获得第二归一化特征；
将所述第二归一化特征加权至所述第二分支特征中，获得第二分支加权特征；
将所述第一分支加权特征与所述第二分支加权特征进行双分支融合训练，获得所述双分支融合特征。
5.根据权利要求4所述的车牌字符分类方法，其特征在于，所述将所述第一分支加权特征与所述第二分支加权特征进行双分支融合训练，获得所述双分支融合特征中，所述双分支融合特征为：
Fa＝γFu+(1-γ)Fr；
Figure FDA0004118125340000021
其中，γ表示权重系数，Fu表示所述第一分支加权特征，Fr表示所述第二分支加权特征，T表示当前训练周期，M表示总训练周期。
6.一种车牌字符分类系统，其特征在于，包括：
数据构建模块，用于构建均匀车牌字符数据集与尾部加强车牌字符数据集；
第一分支网络模块，用于将所述均匀车牌字符数据集输入至第一分支网络中，获得第一分支特征；
第二分支网络模块，用于将所述尾部加强车牌字符数据集输入至第二分支网络中，获得第二分支特征；
双分支融合模块，用于将所述第一分支特征与所述第二分支特征进行双分支融合训练，获得双分支融合特征；
分类模块，用于将所述双分支融合特征输入至多类别分类器中进行分类，获得每个车牌字符的类别。
7.根据权利要求6所述的车牌字符分类系统，其特征在于，所述数据构建模块包括：
均匀数据形成模块，用于获取多类别车牌字符数据，对所述多类别车牌字符数据进行同概率采样，形成所述均匀车牌字符数据集；
尾部加强数据形成模块，用于对所述多类别车牌字符数据进行尾部高概率采样，形成所述尾部加强车牌字符数据集；
所述尾部高概率采样的采样概率为：
Figure FDA0004118125340000031
其中，1/Ni表示类别i的样本总数量的倒数，C表示所述多类别车牌字符数据的总类别数，B表示一个模型训练周期中每次迭代的样本输入数量。
8.根据权利要求6所述的车牌字符分类系统，其特征在于，所述系统还包括：
第一语义特征提取模块，用于对所述第一分支特征进行语义特征提取，获得第一语义特征；
第一加强特征提取模块，用于将所述第一语义特征依次经过全局池化层、卷积层、归一化层以及激活函数层进行特征提取，获得第一加强特征；
第一归一化特征提取模块，用于对所述第一加强特征进行特征值归一化，获得第一归一化特征；
第一分支加权特征提取模块，用于将所述第一归一化特征加权至所述第一分支特征中，获得第一分支加权特征；
所述双分支融合模块用于将所述第一分支加权特征与所述第二分支特征进行双分支融合训练，获得所述双分支融合特征。
9.根据权利要求8所述的车牌字符分类系统，其特征在于，所述系统还包括：
第二语义特征提取模块，用于对所述第二分支特征进行语义特征提取，获得第二语义特征；
第二加强特征提取模块，用于将所述第二语义特征依次经过全局池化层、卷积层、归一化层以及激活函数层进行特征提取，获得第二加强特征；
第二归一化特征提取模块，用于对所述第二加强特征进行特征值归一化，获得第二归一化特征；
第二分支加权特征提取模块，用于将所述第二归一化特征加权至所述第二分支特征中，获得第二分支加权特征；
所述双分支融合模块用于将所述第一分支加权特征与所述第二分支加权特征进行双分支融合训练，获得所述双分支融合特征。
10.根据权利要求9所述的车牌字符分类系统，其特征在于，所述双分支融合模块中，所述双分支融合特征为：
Fa＝γFu+(1-γ)Fr；
Figure FDA0004118125340000041
其中，γ表示权重系数，Fu表示所述第一分支加权特征，Fr表示所述第二分支加权特征，T表示当前训练周期，M表示总训练周期。
CN202310224775.6A 2023-03-09 2023-03-09 车牌字符分类方法以及系统 Pending CN116386018A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310224775.6A CN116386018A (zh) 2023-03-09 2023-03-09 车牌字符分类方法以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310224775.6A CN116386018A (zh) 2023-03-09 2023-03-09 车牌字符分类方法以及系统

Publications (1)

Publication Number Publication Date
CN116386018A true CN116386018A (zh) 2023-07-04

Family

ID=86974090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310224775.6A Pending CN116386018A (zh) 2023-03-09 2023-03-09 车牌字符分类方法以及系统

Country Status (1)

Country Link
CN (1) CN116386018A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704513A (zh) * 2023-08-04 2023-09-05 深圳思谋信息科技有限公司 文本质量检测方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704513A (zh) * 2023-08-04 2023-09-05 深圳思谋信息科技有限公司 文本质量检测方法、装置、计算机设备和存储介质
CN116704513B (zh) * 2023-08-04 2023-12-15 深圳思谋信息科技有限公司 文本质量检测方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN110969160B (zh) 一种基于深度学习的车牌图像校正、识别方法及系统
CN109033950B (zh) 基于多特征融合级联深度模型的车辆违停检测方法
CN111368687A (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN112016556B (zh) 多类型车牌识别方法
CN108830254B (zh) 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法
Xiang et al. Lightweight fully convolutional network for license plate detection
CN113205107A (zh) 一种基于改进高效率网络的车型识别方法
CN116386018A (zh) 车牌字符分类方法以及系统
Yépez et al. Deep learning‐based embedded license plate localisation system
Hu et al. Vehicle color recognition based on smooth modulation neural network with multi-scale feature fusion
Lin et al. A lightweight, high-performance multi-angle license plate recognition model
Tan et al. Vehicular traffic density estimation via statistical methods with automated state learning
CN111612803B (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN116229406B (zh) 车道线检测方法、系统、电子设备及存储介质
CN113505640A (zh) 一种基于多尺度特征融合的小尺度行人检测方法
CN116311206A (zh) 基于多模型引导的车牌字符分类方法以及系统
CN116091964A (zh) 高位视频场景解析方法以及系统
CN116682101A (zh) 车牌号码识别方法以及系统
CN115761667A (zh) 一种基于改进fcos算法的无人车辆搭载摄像头目标检测方法
CN114973169A (zh) 基于多目标检测和跟踪的车辆分类计数方法及系统
Yan et al. Extensive exploration of comprehensive vehicle attributes using D‐CNN with weighted multi‐attribute strategy
CN112749661A (zh) 一种基于区块链和IVggNet的交通事故判责模型
CN115424250A (zh) 一种车牌识别方法及装置
Qu et al. An improved character recognition algorithm for license plate based on BP neural network
CN112348044A (zh) 车牌检测方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination