CN114067303B - 一种车牌识别方法及装置 - Google Patents

一种车牌识别方法及装置 Download PDF

Info

Publication number
CN114067303B
CN114067303B CN202111280297.8A CN202111280297A CN114067303B CN 114067303 B CN114067303 B CN 114067303B CN 202111280297 A CN202111280297 A CN 202111280297A CN 114067303 B CN114067303 B CN 114067303B
Authority
CN
China
Prior art keywords
license plate
character
country
region
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111280297.8A
Other languages
English (en)
Other versions
CN114067303A (zh
Inventor
杨少春
班华忠
王正
崔凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Icetech Science & Technology Co ltd
Original Assignee
Beijing Icetech Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Icetech Science & Technology Co ltd filed Critical Beijing Icetech Science & Technology Co ltd
Priority to CN202111280297.8A priority Critical patent/CN114067303B/zh
Publication of CN114067303A publication Critical patent/CN114067303A/zh
Application granted granted Critical
Publication of CN114067303B publication Critical patent/CN114067303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种车牌识别方法，该方法包括：搜集不同国家或地区的车牌样本，进行透视变换；获取车牌字符和车牌所属国家或地区样本集；输入车牌字符样本集，采用目标检测网络进行训练，获得车牌字符识别模型；在车牌字符识别模型上增加车牌所属国家或地区属性的识别分支，输入车牌所属国家或地区样本集进行训练，获得第二车牌字符识别模型；输入视频图像，对视频图像进行车牌检测，获取车牌图像；对车牌图像进行透视变换，获得校正的车牌图像；经过第二车牌字符识别模型，获得车牌字符及字符位置、车牌所属国家或地区属性及置信度，进行校正，输出校正后的车牌识别结果。与现有技术相比，本发明能准确地识别车牌字符和车牌所属国家或地区。

Description

一种车牌识别方法及装置
技术领域
本发明涉及图像处理、智慧停车、车牌识别，特别涉及一种车牌识别方法及装置。
背景技术
随着世界边境贸易、国际旅游业的飞速发展，同一地域出现不同国家或地区车牌的现象已非常普遍。虽然现阶段基于深度学习的车牌识别在准确率和稳健性上已显著提高，但由于不同国家的车牌样式、车牌规范不同，以及不同国家或地区车牌可能存在易混淆字符，例如字母I和O与数字1和0等情况，采用同一深度学习模型仍然面临着很多困难。
综上所述，目前迫切需要提出一种能支持多国家或地区的车牌识别方法。
发明内容
有鉴于此，本发明的主要目的在于实现多国家或地区的车牌识别，且识别准确率较高。
为达到上述目的，按照本发明的第一个方面，提供了一种车牌识别方法，该方法包括：
第一步骤，搜集不同国家或地区的车牌样本，基于车牌的四个顶点对车牌样本进行透视变换处理；对透视变换处理后的车牌样本内的不同字符索引和字符位置进行标注，将含有不同字符索引和字符位置标注信息的车牌样本作为车牌字符样本集；对车牌样本所属国家或地区索引进行标注，将含有所属国家或地区索引的车牌样本作为车牌所属国家或地区样本集；
第二步骤，输入车牌字符样本集，采用目标检测网络进行训练，以获得车牌字符识别模型；
第三步骤，在车牌字符识别模型上增加车牌所属国家或地区属性的识别分支，输入车牌所属国家或地区样本集进行训练，获得第二车牌字符识别模型；
第四步骤，输入视频图像，对视频图像进行车牌检测，获取车牌图像及四个顶点位置；
第五步骤，基于车牌四个顶点对车牌图像进行透视变换，获得校正的车牌图像；输入校正的车牌图像，经过第二车牌字符识别模型，获得车牌图像的车牌字符及字符位置、车牌所属国家或地区属性及置信度；根据字符位置，确定车牌的单或双层属性，确定字符输出顺序；根据车牌所属国家或地区属性及置信度，对车牌字符识别结果进行校正，输出校正后的车牌识别结果。
所述对车牌图像内所属国家或地区索引进行标注即为对每张车牌图像标注其所属国家或者地区的索引。进一步地，根据车牌颜色、单双层信息对各个国家或者地区的车牌进行细分。
进一步地，所述第二步骤中目标检测网络为采用Anchor-based的单阶目标检测模型。
进一步地，所述第二步骤包括：输入车牌字符样本集；采用Anchor-based的单阶目标检测模型，对输入的车牌字符样本集进行反复训练，直至模型收敛，得到训练好的车牌字符识别模型。
进一步地，所述Anchor-based的单阶目标检测网络包括以下的一种网络：SSD、YOLOV3、YOLOV4、RetinaDet等。
进一步地，所述第三步骤包括：在所述车牌字符识别模型增加车牌所属国家或地区属性识别分支网络，该分支由一个kernel_size=3、stride=2、padding=1的卷积层、kernel_size=1、stride=1、padding=0的卷积层和一个全连接层串联而成，以车牌字符识别模型的最后一个最小特征图对应的网络层作为输入，采用交叉熵损失函数作为目标函数；输入车牌所属国家或地区样本集，对增加分支网络的车牌字符识别模型进行反复训练，训练时，所述车牌字符识别模型的权重不更新，直至模型收敛，获得第二车牌字符识别模型。
进一步地，所述第五步骤包括：
车牌图像透视变换校正步骤，基于车牌四个顶点，对车牌图像进行透视变换，获得校正的车牌图像；
第二车牌字符识别模型识别步骤，输入校正的车牌图像，经过第二车牌字符识别模型，获得车牌图像的车牌字符及字符位置、车牌所属国家或地区属性及置信度；
车牌单双层属性和字符顺序确定步骤，根据字符位置，确定车牌的单或双层属性，确定字符输出顺序；
车牌识别结果校正步骤，根据车牌所属国家或地区属性及置信度，对车牌字符识别结果进行校正，输出校正后的车牌识别结果。
进一步地，所述第二车牌字符识别模型识别步骤包括：输入校正的车牌图像，经过第二车牌字符识别模型的前向传播，获得校正车牌图像的特征图，根据特征图的目标分值、类别分值、位置偏移，获得疑似目标、类别索引及对应位置，通过非极大值抑制确定车牌字符和字符位置；采用Softmax函数确定校正车牌图像属于每个国家或地区类别的概率，输出最大值对应的类别索引值和置信度。
进一步地，所述车牌识别结果校正步骤包括：根据车牌所属国家或地区属性及置信度，如果置信度不低于置信度门限，则依据该国家或地区的车牌样式规范，对识别的车牌字符顺序、字符位置、车牌单双层属性进行校正；输出校正后的车牌字符顺序、字符位置、车牌单双层属性、以及车牌所属国家或地区属性。
按照本发明的另一个方面，提供了一种车牌识别装置，该装置包括：
样本集搜集和标注模块，用于搜集不同国家或地区的车牌样本，基于车牌的四个顶点对车牌样本进行透视变换处理；对透视变换处理后的车牌样本内的不同字符索引和字符位置进行标注，将含有不同字符索引和字符位置标注信息的车牌样本作为车牌字符样本集；对车牌样本所属国家或地区索引进行标注，将含有所属国家或地区索引的车牌样本作为车牌所属国家或地区样本集；
车牌字符识别模型训练模块，用于输入车牌字符样本集，采用目标检测网络进行训练，以获得车牌字符识别模型；
第二车牌字符识别模型训练模块，用于在车牌字符识别模型上增加车牌所属国家或地区属性的识别分支，输入车牌所属国家或地区样本集进行训练，获得第二车牌字符识别模型；
车牌检测模块，用于输入视频图像，对视频图像进行车牌检测，获取车牌图像及四个顶点位置；
字符和所属国家或地区属性识别模块，用于基于车牌四个顶点对车牌图像进行透视变换，获得校正的车牌图像；输入校正的车牌图像，经过第二车牌字符识别模型，获得车牌图像的车牌字符及字符位置、车牌所属国家或地区属性及置信度；根据字符位置，确定车牌的单或双层属性，确定字符输出顺序；根据车牌所属国家或地区属性及置信度，对车牌字符识别结果进行校正，输出校正后的车牌识别结果。
进一步地，所述第二车牌字符识别模型训练模块包括：用于在所述车牌字符识别模型增加车牌所属国家或地区属性识别分支网络，该分支由一个kernel_size=3、stride=2、padding=1的卷积层、kernel_size=1、stride=1、padding=0的卷积层和一个全连接层串联而成，以车牌字符识别模型的最后一个最小特征图对应的网络层作为输入，采用交叉熵损失函数作为目标函数；输入车牌所属国家或地区样本集，对增加分支网络的车牌字符识别模型进行反复训练，训练时，所述车牌字符识别模型的权重不更新，直至模型收敛，获得第二车牌字符识别模型。
进一步地，所述字符和所属国家或地区属性识别模块包括：
车牌图像透视变换校正模块，用于基于车牌四个顶点，对车牌图像进行透视变换，获得校正的车牌图像；
第二车牌字符识别模型识别模块，用于输入校正的车牌图像，经过第二车牌字符识别模型，获得车牌图像的车牌字符及字符位置、车牌所属国家或地区属性及置信度；
车牌单双层属性和字符顺序确定模块，用于根据字符位置，确定车牌的单或双层属性，确定字符输出顺序；
车牌识别结果校正模块，用于根据车牌所属国家或地区属性及置信度，对车牌字符识别结果进行校正，输出校正后的车牌识别结果。
进一步地，所述第二车牌字符识别模型识别模块包括：用于输入校正的车牌图像，经过第二车牌字符识别模型的前向传播，获得校正车牌图像的特征图，根据特征图的目标分值、类别分值、位置偏移，获得疑似目标、类别索引及对应位置，通过非极大值抑制确定车牌字符和字符位置；采用Softmax函数确定校正车牌图像属于每个国家或地区类别的概率，输出最大值对应的类别索引值和置信度。
进一步地，所述车牌识别结果校正模块包括：用于根据车牌所属国家或地区属性及置信度，如果置信度不低于置信度门限，则依据该国家或地区的车牌样式规范，对识别的车牌字符顺序、字符位置、车牌单双层属性进行校正；输出校正后的车牌字符顺序、字符位置、车牌单双层属性、以及车牌所属国家或地区属性。
与现有的车牌识别技术相比，本发明的一种车牌识别方法及装置通过车牌字符识别模型和附带车牌所属国家或地区属性的分支网络的训练，可以有效地识别车牌的字符、字符位置、以及车牌所属国家或地区的属性。
附图说明
图1示出了按照本发明的一种车牌识别方法的流程图。
图2示出了按照本发明的一种车牌识别装置的框架图。
具体实施方式
为使本领域的技术人员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。
图1给出了按照本发明的一种车牌识别方法的流程图。如图1所示，按照本发明的一种车牌识别方法包括：
第一步骤S1，搜集不同国家或地区的车牌样本，基于车牌的四个顶点对车牌样本进行透视变换处理；对透视变换处理后的车牌样本内的不同字符索引和字符位置进行标注，将含有不同字符索引和字符位置标注信息的车牌样本作为车牌字符样本集；对车牌样本所属国家或地区索引进行标注，将含有所属国家或地区索引的车牌样本作为车牌所属国家或地区样本集；
第二步骤S2，输入车牌字符样本集，采用目标检测网络进行训练，以获得车牌字符识别模型；
第三步骤S3，在车牌字符识别模型上增加车牌所属国家或地区属性的识别分支，输入车牌所属国家或地区样本集进行训练，获得第二车牌字符识别模型；
第四步骤S4，输入视频图像，对视频图像进行车牌检测，获取车牌图像及四个顶点位置；
第五步骤S5，基于车牌四个顶点对车牌图像进行透视变换，获得校正的车牌图像；输入校正的车牌图像，经过第二车牌字符识别模型，获得车牌图像的车牌字符及字符位置、车牌所属国家或地区属性及置信度；根据字符位置，确定车牌的单或双层属性，确定字符输出顺序；根据车牌所属国家或地区属性及置信度，对车牌字符识别结果进行校正，输出校正后的车牌识别结果。
其中，所述第一步骤S1中所述车牌样本为不同国家、不同地区、不同车牌类别的车牌检测矩形框图像。
其中，所述透视变化可以参见文献《Multiple View Geometry in ComputerVision, 2003, 655 pages, Richard Hartley, Andrew Zisserman, 0521540518,9780521540513, Cambridge University Press, 2003》。
所述字符索引为训练时车牌字符类别对应的标注编号。示例性地，将数字0-9和字母A-Z按照0-35的索引标注，将汉字、韩文、日文等特殊字符按照36及后面的序号进行索引标注。
所述字符位置为车牌图像中每个车牌字符对应的左边界、上边界、右边界、下边界坐标。示例性地，对于车牌图像“川B 685KD”，分别获取车牌字符“川”、“B”、“6”、“8”、“5”、“K”、“D”的字符索引和字符位置信息，将字符索引和字符位置信息标注在车牌图像上，以形成车牌字符样本集。
所述对车牌图像内所属国家或地区索引进行标注即为对每张车牌图像标注其所属国家或者地区的索引。进一步地，根据车牌颜色、单双层信息对各个国家或者地区的车牌进行细分，这样可以进一步地减少类内差异。示例性地，对我国的车牌图像标注的所属国家或地区索引包括：中国蓝牌、中国绿牌、中国单层黄牌、中国双层黄牌、中国单层武警车牌、中国双层武警车牌等不同类别；对哈萨克斯坦车牌可划分为不同年份系列的单双层车牌或特殊用途车牌，例如：哈萨克斯坦1994款单层、哈萨克斯坦1994款双层、哈萨克斯坦2012款单层、哈萨克斯坦2012款双层；对乌兹别克斯坦的车牌图像标注的所属国家或地区索引包括：乌兹别克斯坦单层、乌兹别克斯坦双层。
进一步地，所述第二步骤S2中目标检测网络为采用Anchor-based的单阶目标检测模型。
进一步地，所述第二步骤S2包括：输入车牌字符样本集；采用Anchor-based的单阶目标检测模型，对输入的车牌字符样本集进行反复训练，直至模型收敛，得到训练好的车牌字符识别模型。
进一步地，所述Anchor-based的单阶目标检测网络包括以下的一种网络：SSD、YOLOV3、YOLOV4、RetinaDet等。
进一步地，所述第三步骤S3包括：在所述车牌字符识别模型增加车牌所属国家或地区属性识别分支网络，该分支由一个kernel_size=3、stride=2、padding=1的卷积层、kernel_size=1、stride=1、padding=0的卷积层和一个全连接层串联而成，以车牌字符识别模型的最后一个最小特征图对应的网络层作为输入，采用交叉熵损失函数作为目标函数；输入车牌所属国家或地区样本集，对增加分支网络的车牌字符识别模型进行反复训练，训练时，所述车牌字符识别模型的权重不更新，直至模型收敛，获得第二车牌字符识别模型。
示例性地，对增加分支网络的车牌字符识别模型进行训练时，设置batch size为32，采用随机梯度下降SGD优化算法，学习率从0.01逐渐降低到0.0001，迭代20 epoch等。
其中，所述第四步骤S4可以采用现有的车牌检测算法或者车牌定位算法，从视频图像中获取车牌的位置和四个顶点位置。
进一步地，所述第五步骤S5包括：
车牌图像透视变换校正步骤S51，基于车牌四个顶点，对车牌图像进行透视变换，获得校正的车牌图像；
第二车牌字符识别模型识别步骤S52，输入校正的车牌图像，经过第二车牌字符识别模型，获得车牌图像的车牌字符及字符位置、车牌所属国家或地区属性及置信度；
车牌单双层属性和字符顺序确定步骤S53，根据字符位置，确定车牌的单或双层属性，确定字符输出顺序；
车牌识别结果校正步骤S54，根据车牌所属国家或地区属性及置信度，对车牌字符识别结果进行校正，输出校正后的车牌识别结果。
进一步地，所述第二车牌字符识别模型识别步骤S52包括：输入校正的车牌图像，经过第二车牌字符识别模型的前向传播，获得校正车牌图像的特征图，根据特征图的目标分值、类别分值、位置偏移，获得疑似目标、类别索引及对应位置，通过非极大值抑制（Non-Maximum Suppression，NMS）确定车牌字符和字符位置；采用Softmax函数确定校正车牌图像属于每个国家或地区类别的概率，输出最大值对应的类别索引值和置信度。
进一步地，所述车牌识别结果校正步骤S54包括：根据车牌所属国家或地区属性及置信度，如果置信度不低于置信度门限，则依据该国家或地区的车牌样式规范，对识别的车牌字符顺序、字符位置、车牌单双层属性进行校正；输出校正后的车牌字符顺序、字符位置、车牌单双层属性、以及车牌所属国家或地区属性。
进一步地，所述置信度门限的取值范围为0.2~0.8。
图2给出了按照本发明的一种车牌识别装置的框架图。如图2所示，按照本发明的一种车牌识别装置包括：
样本集搜集和标注模块1，用于搜集不同国家或地区的车牌样本，基于车牌的四个顶点对车牌样本进行透视变换处理；对透视变换处理后的车牌样本内的不同字符索引和字符位置进行标注，将含有不同字符索引和字符位置标注信息的车牌样本作为车牌字符样本集；对车牌样本所属国家或地区索引进行标注，将含有所属国家或地区索引的车牌样本作为车牌所属国家或地区样本集；
车牌字符识别模型训练模块2，用于输入车牌字符样本集，采用目标检测网络进行训练，以获得车牌字符识别模型；
第二车牌字符识别模型训练模块3，用于在车牌字符识别模型上增加车牌所属国家或地区属性的识别分支，输入车牌所属国家或地区样本集进行训练，获得第二车牌字符识别模型；
车牌检测模块4，用于输入视频图像，对视频图像进行车牌检测，获取车牌图像及四个顶点位置；
字符和所属国家或地区属性识别模块5，用于基于车牌四个顶点对车牌图像进行透视变换，获得校正的车牌图像；输入校正的车牌图像，经过第二车牌字符识别模型，获得车牌图像的车牌字符及字符位置、车牌所属国家或地区属性及置信度；根据字符位置，确定车牌的单或双层属性，确定字符输出顺序；根据车牌所属国家或地区属性及置信度，对车牌字符识别结果进行校正，输出校正后的车牌识别结果。
其中，所述样本集搜集和标注模块1中字符索引为训练时车牌字符类别对应的标注编号。所述字符位置为车牌图像中每个车牌字符对应的左边界、上边界、右边界、下边界坐标。
所述对车牌图像内所属国家或地区索引进行标注即为对每张车牌图像标注其所属国家或者地区的索引。进一步地，根据车牌颜色、单双层信息对各个国家或者地区的车牌进行细分，这样可以进一步地减少类内差异。
进一步地，所述车牌字符识别模型训练模块2中目标检测网络为采用Anchor-based的单阶目标检测模型。
进一步地，所述车牌字符识别模型训练模块2包括：用于输入车牌字符样本集；采用Anchor-based的单阶目标检测模型，对输入的车牌字符样本集进行反复训练，直至模型收敛，得到训练好的车牌字符识别模型。
进一步地，所述Anchor-based的单阶目标检测网络包括以下的一种网络：SSD、YOLOV3、YOLOV4、RetinaDet等。
进一步地，所述第二车牌字符识别模型训练模块3包括：用于在所述车牌字符识别模型增加车牌所属国家或地区属性识别分支网络，该分支由一个kernel_size=3、stride=2、padding=1的卷积层、kernel_size=1、stride=1、padding=0的卷积层和一个全连接层串联而成，以车牌字符识别模型的最后一个最小特征图对应的网络层作为输入，采用交叉熵损失函数作为目标函数；输入车牌所属国家或地区样本集，对增加分支网络的车牌字符识别模型进行反复训练，训练时，所述车牌字符识别模型的权重不更新，直至模型收敛，获得第二车牌字符识别模型。
进一步地，所述字符和所属国家或地区属性识别模块5包括：
车牌图像透视变换校正模块51，用于基于车牌四个顶点，对车牌图像进行透视变换，获得校正的车牌图像；
第二车牌字符识别模型识别模块52，用于输入校正的车牌图像，经过第二车牌字符识别模型，获得车牌图像的车牌字符及字符位置、车牌所属国家或地区属性及置信度；
车牌单双层属性和字符顺序确定模块53，用于根据字符位置，确定车牌的单或双层属性，确定字符输出顺序；
车牌识别结果校正模块54，用于根据车牌所属国家或地区属性及置信度，对车牌字符识别结果进行校正，输出校正后的车牌识别结果。
进一步地，所述第二车牌字符识别模型识别模块52包括：用于输入校正的车牌图像，经过第二车牌字符识别模型的前向传播，获得校正车牌图像的特征图，根据特征图的目标分值、类别分值、位置偏移，获得疑似目标、类别索引及对应位置，通过非极大值抑制确定车牌字符和字符位置；采用Softmax函数确定校正车牌图像属于每个国家或地区类别的概率，输出最大值对应的类别索引值和置信度。
进一步地，所述车牌识别结果校正模块54包括：用于根据车牌所属国家或地区属性及置信度，如果置信度不低于置信度门限，则依据该国家或地区的车牌样式规范，对识别的车牌字符顺序、字符位置、车牌单双层属性进行校正；输出校正后的车牌字符顺序、字符位置、车牌单双层属性、以及车牌所属国家或地区属性。
进一步地，所述置信度门限的取值范围为0.2~0.8。
与现有的车牌识别技术相比，本发明的一种车牌识别方法及装置通过车牌字符识别模型和附带车牌所属国家或地区属性的分支网络的训练，可以有效地识别车牌的字符、字符位置、以及车牌所属国家或地区的属性。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (4)

1.一种车牌识别方法，其特征在于，该方法包括：
第一步骤，搜集不同国家或地区的车牌样本，基于车牌的四个顶点对车牌样本进行透视变换处理；对透视变换处理后的车牌样本内的不同字符索引和字符位置进行标注，将含有不同字符索引和字符位置标注信息的车牌样本作为车牌字符样本集；对车牌样本所属国家或地区索引进行标注，将含有所属国家或地区索引的车牌样本作为车牌所属国家或地区样本集；
第二步骤，输入车牌字符样本集，采用目标检测网络进行训练，以获得车牌字符识别模型；
第三步骤，在车牌字符识别模型上增加车牌所属国家或地区属性的识别分支，输入车牌所属国家或地区样本集进行训练，获得第二车牌字符识别模型；
第四步骤，输入视频图像，对视频图像进行车牌检测，获取车牌图像及四个顶点位置；
第五步骤，基于车牌四个顶点对车牌图像进行透视变换，获得校正的车牌图像；输入校正的车牌图像，经过第二车牌字符识别模型，获得车牌图像的车牌字符及字符位置、车牌所属国家或地区属性及置信度；根据字符位置，确定车牌的单或双层属性，确定字符输出顺序；根据车牌所属国家或地区属性及置信度，对车牌字符识别结果进行校正，输出校正后的车牌识别结果；
进一步地，所述第三步骤包括：在所述车牌字符识别模型增加车牌所属国家或地区属性识别分支网络，该分支由一个kernel_size=3、stride=2、padding=1的卷积层、kernel_size=1、stride=1、padding=0的卷积层和一个全连接层串联而成，以车牌字符识别模型的最后一个最小特征图对应的网络层作为输入，采用交叉熵损失函数作为目标函数；输入车牌所属国家或地区样本集，对增加分支网络的车牌字符识别模型进行反复训练，训练时，所述车牌字符识别模型的权重不更新，直至模型收敛，获得第二车牌字符识别模型；
所述第五步骤包括：
车牌图像透视变换校正步骤，基于车牌四个顶点，对车牌图像进行透视变换，获得校正的车牌图像；
第二车牌字符识别模型识别步骤，输入校正的车牌图像，经过第二车牌字符识别模型，获得车牌图像的车牌字符及字符位置、车牌所属国家或地区属性及置信度；
车牌单双层属性和字符顺序确定步骤，根据字符位置，确定车牌的单或双层属性，确定字符输出顺序；
车牌识别结果校正步骤，根据车牌所属国家或地区属性及置信度，对车牌字符识别结果进行校正，输出校正后的车牌识别结果；
所述第二车牌字符识别模型识别步骤包括：输入校正的车牌图像，经过第二车牌字符识别模型的前向传播，获得校正车牌图像的特征图，根据特征图的目标分值、类别分值、位置偏移，获得疑似目标、类别索引及对应位置，通过非极大值抑制确定车牌字符和字符位置；采用Softmax函数确定校正车牌图像属于每个国家或地区类别的概率，输出最大值对应的类别索引值和置信度；
所述车牌识别结果校正步骤包括：根据车牌所属国家或地区属性及置信度，如果置信度不低于置信度门限，则依据该国家或地区的车牌样式规范，对识别的车牌字符顺序、字符位置、车牌单双层属性进行校正；输出校正后的车牌字符顺序、字符位置、车牌单双层属性、以及车牌所属国家或地区属性；
进一步地，所述置信度门限的取值范围为0.2~0.8。
2.如权利要求1所述的方法，其特征在于，所述对车牌图像内所属国家或地区索引进行标注即为对每张车牌图像标注其所属国家或者地区的索引；
进一步地，根据车牌颜色、单双层信息对各个国家或者地区的车牌进行细分。
3.如权利要求1所述的方法，其特征在于，所述第二步骤中目标检测网络为采用Anchor-based的单阶目标检测模型；
进一步地，所述第二步骤包括：输入车牌字符样本集；采用Anchor-based的单阶目标检测模型，对输入的车牌字符样本集进行反复训练，直至模型收敛，得到训练好的车牌字符识别模型。
4.一种车牌识别装置，其特征在于，该装置包括：
样本集搜集和标注模块，用于搜集不同国家或地区的车牌样本，基于车牌的四个顶点对车牌样本进行透视变换处理；对透视变换处理后的车牌样本内的不同字符索引和字符位置进行标注，将含有不同字符索引和字符位置标注信息的车牌样本作为车牌字符样本集；对车牌样本所属国家或地区索引进行标注，将含有所属国家或地区索引的车牌样本作为车牌所属国家或地区样本集；
车牌字符识别模型训练模块，用于输入车牌字符样本集，采用目标检测网络进行训练，以获得车牌字符识别模型；
第二车牌字符识别模型训练模块，用于在车牌字符识别模型上增加车牌所属国家或地区属性的识别分支，输入车牌所属国家或地区样本集进行训练，获得第二车牌字符识别模型；
车牌检测模块，用于输入视频图像，对视频图像进行车牌检测，获取车牌图像及四个顶点位置；
字符和所属国家或地区属性识别模块，用于基于车牌四个顶点对车牌图像进行透视变换，获得校正的车牌图像；输入校正的车牌图像，经过第二车牌字符识别模型，获得车牌图像的车牌字符及字符位置、车牌所属国家或地区属性及置信度；根据字符位置，确定车牌的单或双层属性，确定字符输出顺序；根据车牌所属国家或地区属性及置信度，对车牌字符识别结果进行校正，输出校正后的车牌识别结果；
进一步地，所述第二车牌字符识别模型训练模块包括：用于在所述车牌字符识别模型增加车牌所属国家或地区属性识别分支网络，该分支由一个kernel_size=3、stride=2、padding=1的卷积层、kernel_size=1、stride=1、padding=0的卷积层和一个全连接层串联而成，以车牌字符识别模型的最后一个最小特征图对应的网络层作为输入，采用交叉熵损失函数作为目标函数；输入车牌所属国家或地区样本集，对增加分支网络的车牌字符识别模型进行反复训练，训练时，所述车牌字符识别模型的权重不更新，直至模型收敛，获得第二车牌字符识别模型；
所述字符和所属国家或地区属性识别模块包括：
车牌图像透视变换校正模块，用于基于车牌四个顶点，对车牌图像进行透视变换，获得校正的车牌图像；
第二车牌字符识别模型识别模块，用于输入校正的车牌图像，经过第二车牌字符识别模型，获得车牌图像的车牌字符及字符位置、车牌所属国家或地区属性及置信度；
车牌单双层属性和字符顺序确定模块，用于根据字符位置，确定车牌的单或双层属性，确定字符输出顺序；
车牌识别结果校正模块，用于根据车牌所属国家或地区属性及置信度，对车牌字符识别结果进行校正，输出校正后的车牌识别结果；
所述车牌识别结果校正模块包括：用于根据车牌所属国家或地区属性及置信度，如果置信度不低于置信度门限，则依据该国家或地区的车牌样式规范，对识别的车牌字符顺序、字符位置、车牌单双层属性进行校正；输出校正后的车牌字符顺序、字符位置、车牌单双层属性、以及车牌所属国家或地区属性；
进一步地，所述置信度门限的取值范围为0.2~0.8。
CN202111280297.8A 2021-11-01 2021-11-01 一种车牌识别方法及装置 Active CN114067303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111280297.8A CN114067303B (zh) 2021-11-01 2021-11-01 一种车牌识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111280297.8A CN114067303B (zh) 2021-11-01 2021-11-01 一种车牌识别方法及装置

Publications (2)

Publication Number Publication Date
CN114067303A CN114067303A (zh) 2022-02-18
CN114067303B true CN114067303B (zh) 2024-05-07

Family

ID=80236203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111280297.8A Active CN114067303B (zh) 2021-11-01 2021-11-01 一种车牌识别方法及装置

Country Status (1)

Country Link
CN (1) CN114067303B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018219054A1 (zh) * 2017-06-02 2018-12-06 杭州海康威视数字技术股份有限公司 一种车牌识别方法、装置及系统
CN109657664A (zh) * 2017-10-12 2019-04-19 杭州海康威视数字技术股份有限公司 一种车牌类型的识别方法、装置及电子设备
KR102089298B1 (ko) * 2019-10-21 2020-03-16 가천대학교 산학협력단 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법
CN112446375A (zh) * 2019-09-03 2021-03-05 上海高德威智能交通系统有限公司 车牌识别方法、装置、设备及存储介质
CN113177528A (zh) * 2021-05-27 2021-07-27 南京昊烽信息科技有限公司 基于多任务学习策略训练网络模型的车牌识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LT3599572T (lt) * 2018-07-27 2021-12-27 JENOPTIK Traffic Solutions UK Ltd Transporto priemonės valstybinių numerių atpažinimo būdas ir prietaisas

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018219054A1 (zh) * 2017-06-02 2018-12-06 杭州海康威视数字技术股份有限公司 一种车牌识别方法、装置及系统
CN109657664A (zh) * 2017-10-12 2019-04-19 杭州海康威视数字技术股份有限公司 一种车牌类型的识别方法、装置及电子设备
CN112446375A (zh) * 2019-09-03 2021-03-05 上海高德威智能交通系统有限公司 车牌识别方法、装置、设备及存储介质
KR102089298B1 (ko) * 2019-10-21 2020-03-16 가천대학교 산학협력단 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법
CN113177528A (zh) * 2021-05-27 2021-07-27 南京昊烽信息科技有限公司 基于多任务学习策略训练网络模型的车牌识别方法及系统

Also Published As

Publication number Publication date
CN114067303A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN112818812B (zh) 图像中表格信息的识别方法、装置、电子设备及存储介质
CN106650731B (zh) 一种鲁棒的车牌、车标识别方法
CN109740606B (zh) 一种图像识别方法及装置
CN110569738B (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
CN105528595A (zh) 在无人机航拍图像中对输电线路绝缘子的识别定位方法
CN105354568A (zh) 基于卷积神经网络的车标识别方法
CN111797829A (zh) 一种车牌检测方法、装置、电子设备和存储介质
CN111582339B (zh) 一种基于深度学习的车辆检测与识别的方法
CN108681735A (zh) 基于卷积神经网络深度学习模型的光学字符识别方法
CN109325407B (zh) 基于f-ssd网络滤波的光学遥感视频目标检测方法
CN113255578B (zh) 交通标识的识别方法及装置、电子设备和存储介质
CN111178282A (zh) 一种道路交通限速标志定位识别方法及装置
CN112150448B (zh) 图像处理方法、装置及设备、存储介质
CN110717493A (zh) 一种基于深度学习的含堆叠字符的车牌识别方法
CN110765963A (zh) 车辆制动检测方法、装置、设备及计算机可读存储介质
CN105654122A (zh) 基于核函数匹配的空间金字塔物体识别方法
CN115063802A (zh) 一种基于PSENet的圆形印章识别方法、设备及介质
CN115359295A (zh) 一种解耦知识蒸馏金具目标检测方法及系统
CN116189162A (zh) 一种船牌检测与识别方法、装置、电子设备和储存介质
CN106980859A (zh) 一种用于识别铝车轮背腔字符的方法
CN114882204A (zh) 船名自动识别方法
CN112734818B (zh) 基于残差网络和sift的多源高分辨率遥感图像自动配准方法
CN116343237A (zh) 基于深度学习和知识图谱的票据识别方法
CN116704490B (zh) 车牌识别方法、装置和计算机设备
CN114067303B (zh) 一种车牌识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant