CN116704490A - 车牌识别方法、装置和计算机设备 - Google Patents
车牌识别方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN116704490A CN116704490A CN202310961281.6A CN202310961281A CN116704490A CN 116704490 A CN116704490 A CN 116704490A CN 202310961281 A CN202310961281 A CN 202310961281A CN 116704490 A CN116704490 A CN 116704490A
- Authority
- CN
- China
- Prior art keywords
- license plate
- recognition result
- image
- initial
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 88
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000003702 image correction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 7
- 230000009466 transformation Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000012806 monitoring device Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 3
- 101100116973 Mus musculus Dmbt1 gene Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000002896 database filtering Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/19007—Matching; Proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19107—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Character Discrimination (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种车牌识别方法、装置和计算机设备，属于图像处理和计算机视觉技术领域。所述方法包括：获取车辆的输入视频流中的当前图像；将当前图像输入预先训练得到的车牌检测模型中，得到至少一个车牌图像以及车牌在车牌图像中的位置信息；将各车牌图像输入预先训练得到的车牌识别模型中，得到车牌图像对应的初始识别结果；将初始识别结果和对应的车牌图像中的位置信息添加至车牌数据库中，作为车牌数据库中的一条记录；根据初始识别结果以及车牌数据库中的各条记录，更新车牌图像的车牌识别结果。本申请可以达到高效准确识别车牌的效果。
Description
技术领域
本申请涉及图像处理和计算机视觉技术领域，具体而言，涉及一种车牌识别方法、装置和计算机设备。
背景技术
近年来，ITS（Intelligent Transport System，智能交通系统）成为当今世界交通管理体系发展的必然趋势，车牌自动识别技术作为智能交通系统的重要组成部分，目前已被广泛应用于城市道路监控、高速路收费与监控、小区停车场出入管理、治安卡口等场合，车牌检测和识别技术已成为智能交通系统的研究热点之一。
相关技术中，车牌检测和识别主要是基于特征进行识别的模式，通过预处理或特征提取的方式从汽车的车牌图像中获取车辆车牌的特征信息，并利用分类器对这些特征进行判定车牌的识别结果，其中，特征提取器和特征分类器都是人工设计。
然而，在基于相关技术进行智能车牌识别时，受人工设计特征提取器和特征分类器影响，存在车牌识别准确性以及鲁棒性能受限的问题，因此，相关技术的方案存在识别准确率低的问题。
发明内容
本申请的目的在于提供一种车牌识别方法、装置和计算机设备，可以达到高效准确识别车牌的效果。
本申请的实施例是这样实现的：
本申请实施例的第一方面，提供一种车牌识别方法，包括：
获取车辆的输入视频流中的当前图像；
将当前图像输入预先训练得到的车牌检测模型中，得到至少一个车牌图像以及车牌在车牌图像中的位置信息；
将各车牌图像输入预先训练得到的车牌识别模型中，得到车牌图像对应的初始识别结果，初始识别结果中包括：车牌图像中的字符；
将初始识别结果和对应的车牌图像中的位置信息添加至车牌数据库中，作为车牌数据库中的一条记录，车牌数据库中有多条记录，每条记录中均包括一个车牌识别结果以及该车牌识别结果中车牌的位置信息；
根据初始识别结果以及车牌数据库中的各条记录，更新车牌图像的车牌识别结果。
作为一种可能的实现方式，将初始识别结果和对应的车牌图像中的位置信息添加至车牌数据库中，作为车牌数据库中的一条记录，还包括：
根据车牌图像的中心点坐标以及车牌在车牌图像中的位置信息，确定初始识别结果的计数权重；
将初始识别结果的计数权重与初始识别结果在车牌数据库中出现的次数相加，得到初始识别结果的列属性值；
将初始识别结果、对应的车牌图像中的位置信息以及初始识别结果的列属性值添加至车牌数据库中，作为车牌数据库中的一条记录，车牌数据库中有多条记录，每条记录中均包括一个车牌识别结果、该车牌识别结果的列属性值以及该车牌识别结果中车牌的位置信息。
作为一种可能的实现方式，根据初始识别结果以及车牌数据库中各条记录，更新车牌图像的车牌识别结果，还包括：
若未检测到车牌在车牌图像中的位置信息的变化时，不执行更新车牌图像的车牌识别结果的步骤。
作为一种可能的实现方式，根据初始识别结果以及车牌数据库中各条记录，更新车牌图像的车牌识别结果，包括：
根据车牌数据库中各车牌识别结果和各车牌识别结果的位置信息，确定各车牌识别结果的特征信息；
根据各车牌识别结果的特征信息，对车牌数据库中的各车牌识别结果进行聚类，得到多个聚类中心；
根据多个聚类中心以及初始识别结果，更新车牌图像的车牌识别结果。
作为一种可能的实现方式，根据多个聚类中心以及初始识别结果，更新车牌图像的车牌识别结果，包括：
将初始识别结果与各聚类中心分别进行匹配；
选取与初始识别结果相似度最高的聚类中心作为车牌图像的车牌识别结果。
作为一种可能的实现方式，将当前图像输入预先训练得到的车牌检测模型中，得到至少一个车牌图像以及车牌在车牌图像中的位置，包括：
将当前图像输入车牌检测模型中，得到至少一个车牌初始图像以及车牌在车牌初始图像中的位置；
对各车牌初始图像进行图像矫正，得到车牌图像，并将车牌在车牌初始图像中的位置作为车牌在车牌图像中的位置信息。
作为一种可能的实现方式，将各车牌图像输入预先训练得到的车牌识别模型中，得到车牌图像对应的初始识别结果，包括：
将车牌图像输入车牌识别模型中，得到待选识别结果，待选识别结果中包括车牌图像中的字符；
根据待选识别结果中的各字符，确定是否丢弃待选识别结果；
若否，则将待选识别结果作为初始识别结果。
作为一种可能的实现方式，根据待选识别结果中的各字符，确定是否丢弃待选识别结果，包括：
确定待选识别结果中的中间字符的标准差与待选识别结果中的所有字符的标准差的距离；
若距离大于或等于预设阈值，则丢弃待选识别结果。
本申请实施例的第二方面，提供了一种车牌识别装置，该车牌识别装置包括：
获取模块，用于获取车辆的输入视频流中的当前图像；
检测模块，用于将当前图像输入预先训练得到的车牌检测模型中，得到至少一个车牌图像以及车牌在车牌图像中的位置信息；
识别模块，用于将各车牌图像输入预先训练得到的车牌识别模型中，得到车牌图像对应的初始识别结果，初始识别结果中包括：车牌图像中的字符；
记录模块，用于将初始识别结果和对应的车牌图像中的位置信息添加至车牌数据库中，作为车牌数据库中的一条记录，车牌数据库中有多条记录，每条记录中均包括一个车牌识别结果以及车牌识别结果中车牌的位置信息；
更新模块，用于根据初始识别结果以及车牌数据库中各条记录，更新车牌图像的车牌识别结果。
本申请实施例的第三方面，提供了一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述第一方面所述的车牌识别方法。
本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的车牌识别方法。
本申请实施例的有益效果包括：
本申请实施例提供的一种车牌识别方法，通过车牌检测模型获取车辆输入视频流中每帧当前图像的车牌图像以及车牌在其对应的当前图像中的位置，车牌检测模型输出车牌图像以及车牌图像在对应的当前图像中的位置，车牌识别模型接收车牌图像及位置信息并对车牌图像进行识别获得车牌的初始识别结果，将车牌图像的初始识别结果以及车牌初始识别结果对应的车牌图像中车牌的位置信息添加至车牌数据库，用当前车牌的初始识别结果与车牌数据库中的各个记录包含的各个车牌识别结果中车牌在车牌图像中的位置信息以及各个车牌初始识别结果进行匹配，用车牌数据库中与当前车牌图像的初始识别结果相似度最高的车牌初始识别结果更新当前车牌初始识别结果，适用于逐帧检测和实时检测环境，且能对当前车牌初始识别结果进行降噪，有效提高车牌识别结果的准确性。另外，将识别结果存入数据库，并实时更新其内容，筛选出可信度比较高的识别结果进行保存，最后将检测识别结果实时显示在图像中。本申请提出的系统和方法能够针对车牌视频进行实时检测识别，能够在车辆运动模糊、光照条件差、相机采集角度不同的环境下，识别结果依然保持很高的稳定性和准确性。该系统部署简单，准确，自动化等优点，适用于智能停车场、道路交通管理、车间管理等领域。如此，可以达到高效准确识别车牌的效果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的系统流程图；
图2为本申请实施例提供的第一种车牌识别方法的流程图；
图3为本申请实施例提供的第二种车牌识别方法的流程图；
图4为本申请实施例提供的第三种车牌识别方法的流程图；
图5为本申请实施例提供的聚类中心的示意图；
图6为本申请实施例提供的第四种车牌识别方法的流程图；
图7为本申请实施例提供的第五种车牌识别方法的流程图；
图8为本申请实施例提供的第六种车牌识别方法的流程图；
图9为本申请实施例提供的第七种车牌识别方法的流程图；
图10为本申请实施例提供的一种车牌识别装置的结构示意图；
图11为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，经常会预先对车辆的车牌图像进行处理，再使用人工设计的特征提取器对车辆的每一帧图像进行特征提取获取车牌图像中的车牌特征信息，再使用人工设计的特征分类器对这些车牌特征信息进行分类判别确定车牌的识别结果。然而，这种方案需要使用人工设计的特征提取器和特征分类器来识别车辆的车牌图像，特征提取器的特征提取规则受人为干涉，特征分类器的分类规则同样也受人为因素的影响，这就造成了车牌识别结果准确性和鲁棒性能受限。另外，人工设计好的特征提取器和特征分类器的性能是固定的，这样就不能灵活地根据车辆所处场景变更，无法保证车牌识别结果的准确性。
为此，本申请实施例提供了车牌识别方法，通过检测模型标定车辆的输入视频流中每帧图像包含的车牌图像，再将标定的车牌图像输入识别模型中获取车牌的初始识别结果，基于车牌的初始识别结果提取车牌的中心特征信息，将车牌的中心特征与车牌数据库中的聚类中心特征进行匹配，获得与车牌初始识别结果最接近的聚类中心，确定车辆车牌的识别结果，可以达到高效准确识别车牌的效果。
本发申请的实施方案通常采用移动端的方式实现，移动端负责图像数据的采集，检测识别模型的推理和识别结果优化的运算。本申请能够实现实时检测识别车牌视频，在读取视频流的同时，实时输出车牌的识别结果。
图1为本申请提供的一种系统流程图，参见图1，本申请提供的车牌识别系统主要依赖于车牌检测模型、车牌识别模型以及车牌数据库三大模块，其中，车牌检测模型主要由通用的实时图像检测模型为主，车牌识别模型主要以字符识别模型为主。根据车牌的输入视频流的特点，进行逐帧识别，并将识别结果按照编辑距离建立车牌数据库，通过对数据库的内容进行过滤，实时更新数据库内容，筛选出可信度较高的车牌识别结果进行保存，最后将车牌识别结果可信度高的内容显示在图像中。
可选的，该车辆识别系统接收车辆的输入视频流，并经由车牌检测模型识别该输入视频流中的每一帧车牌图像并通过定位框定位出车牌图像中车牌的位置图像，车牌检测模型输出车牌的位置图像，经由系统中的图像矫正单元对车牌位置图像进行矫正使得车牌位置图像更加清晰，矫正后的车牌位置图像输入车牌识别模型，车牌识别模型识别车牌位置图像中的字符并输出车牌的初始识别结果，通过计算机算法识别车牌识别结果图像的清晰度，将清晰的车牌识别结果图像存储到车牌数据库中，将识别模型输出的结果与车牌数据库中存储的数据进行特征匹配，输出车牌识别结果并显示。
可选的，检测模型是指通过计算机视觉技术，对图像或视频中的目标图像进行自动检测和定位的模型，其中，常用的检测模型可以分为两种，单阶段检测与两阶段检测。单阶段检测模型是通过输入图像，一次性检测并输出目标图像的定位和类型，优点是速度快，能够达到实时检测的要求，常见的单阶段目标检测模型有SSD、YOLO系列等。两阶段检测模型是通过加入先验知识得到更加准确的定位图像，常用的技术包括候选框、ROI池化层、RPN、ROIAlign层等，通过候选框和多尺度检测方式实现对不同尺寸目标图像的检测，RPN是在两阶段检测模型中通过神经网络生成候选框的偏移，然后对回归框进行过滤筛选得到置信度比较高的检测框，ROIAlign层对初步的检测结果进行更加精细的定位与分类。此外，移动端部署将计算和存储资源放置在嵌入式等平台中，可用减少云端计算的负担和延迟，因此移动端的部署主要以单阶段检测模型为主，而且很多单阶段检测模型在保持速度的前提下，在检测结果精度上已经超过一些双阶段模型，成为移动端部署的主要模型。
可选的，车牌识别模型主要分为两类：基于深度学习算法的字符识别和基于传统机器学习算法的字符识别模型。传统字符识别模型主要采用字符分割定位的方法进行识别，主要通过人工进行特征提取，常见的特征包括SIFT、HOG、LBP特征等，识别的方法以SVM、KNN作为分类模型，这种方式的优点是计算量少，无需大量的数据集即可完成训练，但是在复杂场景下的识别准确率较低，泛化性能较差。基于深度学习的字符识别模型包括数据增强、卷积神经网络、循环神经网络、注意力机制等，其中，数据增强是对图像数据进行预处理，例如旋转、平移、对比度增强、归一化等操作；卷积神经网络用于提取图像的深层特征，对输入数据进行抽象表示；循环神经网络可用于文本序列领域，提取文本序列中的隐藏信息；注意力机制用于提高模型的关注度，提高感兴趣区域的识别度。基于深度学习的字符识别模型的优点是识别精度高，能够自动根据模型推理得到识别结果。
下面对本申请实施例提供的车辆识别方法进行详细地解释说明。
图2为本申请提供的一种车辆识别方法的流程图，该方法可以应用于移动设备，该移动设备可以是便携电脑等设备。参见图2，本申请实施例提供一种车牌识别方法，包括：
S201、获取车辆的输入视频流中的当前图像。
可选的，通过监控设备拍摄或录像进入监控设备视野的车辆的视频讯息，将该视频讯息作为车辆的输入视频流，监控设备将车辆的输入视频流发送给移动设备进行处理，移动设备获取车辆的输入视频流，移动设备从车辆的输入视频流中获取多帧当前图像。值得说明的是，输入视频流是由多帧当前图像组成的。
可选的，监控设备可以安装在停车场、加油站、道路天桥等多个应用场景，监控设备可以是车牌识别摄像头，也可以是智能照车牌摄像机等，监控设备可以根据应用场景的不同适应性选择，本申请对此不做具体限定。
S202、将当前图像输入预先训练得到的车牌检测模型中，得到至少一个车牌图像以及车牌在车牌图像中的位置信息。
可选的，将车辆的输入视频流中包含的每一帧当前图像都依次输入预先训练得到的车牌检测模型中，车牌检测模型对每帧当前图像进行识别，获取每帧图像中包含的车牌图像以及车牌在该图像中的位置信息。
值得注意的是，车辆输入视频流中不一定每一帧图像都包含车牌图像，检测模型识别到当前图像无车牌图像时，将不包含车牌图像的车牌图像丢弃。
可选的，预先训练得到的车牌检测模型可以由多目标检测模型迁移学习训练得到，车牌检测模型可以根据实际场景灵活选择。常用的检测模型有RCNN（Region-basedConvolutional Neural Network），代表性的模型包括Selective Search、Fast RCNN、Faster RCNN等，部署中对实时要求高的检测模型主要是YOLO（You Only Look Once）系列，实现端到端的目标检测。这些通用的检测模型通常在COCO（Common Objects in Context）等数据集上进行预训练，在预训练的基础上，训练车牌检测数据集，可以得到高精度的车牌检测结果。
可选的，车牌检测模型通过定位框可以标定当前图像中包含的车牌图像，还可以根据定位框的位置获取车牌在当前图像中的位置坐标，车牌检测模型检测车辆的输入视频流，视频流中包含多帧当前图像，则车牌检测模型也会输出多个车牌图像以及各图像在其对应的当前图像中的位置信息。
值得注意的是，定位框获取的当前图像中的车牌图像位置信息，是基于车牌的四个角点和中心点确定的，即车牌检测模型可以获取车牌在当前图像中车牌四个角点的坐标以及车牌中心点的坐标。
S203、将各车牌图像输入预先训练得到的车牌识别模型中，得到车牌图像对应的初始识别结果，初始识别结果中包括：车牌图像中的字符。
可选的，将各个车牌图像输入预先训练得到的车牌识别模型中，车牌识别模型识别各个车牌图像得到多个车牌初始识别结果，其中每个车牌图像对应一条字符串，同一个车牌因为拍摄角度不同车牌的初始识别结果也会有差异，车牌的初始识别结果包括该车牌图像中包含的各个字符。
值得注意的是，车牌主要是由多个组成，车牌包括的字符个数可能是七个、八个等，车牌的初始识别结果不一定包含车牌实际包含的所有字符，车牌的初始识别结果可能只包括车牌在当前图像中的字符结果。
可选的，预先训练得到的车牌识别模型主要根据大规模数据集训练和优化得到，车牌识别模型是基于深度学习进行字符识别，主要利用卷积神经网络去提取字符特征，然后利用循环神经网络保存字符序列的隐藏特征，最后由时序分类CTC（ConnectionistTemporal Classification）等技术完成Loss计算，经过全连接层和softmax层输出21×78大小的概率图，其中21表示预测字符的最大长度，78表示字符集的种类。
可选的，车牌识别数据集是从CCPD和CRPD数据集上裁剪得到，为了增加样本的多样性，本申请扩充了带有标注的车间数据集，最终车牌识别模型在测试集上的准确率94.5%，检测结果比较稳定。
S204、将初始识别结果和对应的车牌图像中的位置信息添加至车牌数据库中，作为车牌数据库中的一条记录，车牌数据库中有多条记录，每条记录中均包括一个车牌识别结果以及车牌识别结果中车牌的位置信息。
可选的，将初始识别结果、初始识别结果的列属性值以及车牌对应各个当前图像的位置信息都存储至车牌数据库中，车牌数据库中的每条记录都包括一个车牌图像的初始识别结果和该车牌在其对应的当前图像中的位置信息，可以进一步筛选出可信度比较高的识别结果进行保存，提高车牌数据库的包容性，车牌数据库包含各车牌多个方位的识别结果，通过对初始车牌识别结果的统计可以进一步提高车牌数据库的可靠性。
S206、根据初始识别结果以及车牌数据库中各条记录，更新车牌图像的车牌识别结果。
可选的，根据车辆车牌的当前图像的初始识别结果与车牌数据库中的每个车牌识别结果的位置信息以及车牌识别结果进行匹配，将位置信息以及车牌识别结果包含的字符串信息最接近的记录作为选定的车牌识别结果，用选定的车牌数据库中的车牌识别结果记录更新当前车牌图像的初始识别结果。
可选的，根据车牌的初始识别结果与车牌数据库中的各条记录更新的车牌识别结果更具有稳定性，可以排除环境及外界的干扰，提高车牌识别结果的稳定性和可靠性。
在本申请实施例中，通过车牌检测模型获取车辆输入视频流中每帧当前图像的车牌图像以及车牌在其对应的当前图像中的位置，车牌检测模型输出车牌图像以及车牌图像在对应的当前图像中的位置，车牌识别模型接收车牌图像及位置信息并对车牌图像进行识别获得车牌的初始识别结果，将车牌图像的初始识别结果以及车牌初始识别结果对应的车牌图像中车牌的位置信息添加至车牌数据库，用当前车牌的初始识别结果与车牌数据库中的各个记录包含的各个车牌识别结果中车牌在车牌图像中的位置信息以及各个车牌初始识别结果进行匹配，用车牌数据库中与当前车牌图像的初始识别结果相似度最高的车牌初始识别结果更新当前车牌初始识别结果，适用于逐帧检测和实时检测环境，且能对当前车牌初始识别结果进行降噪，有效提高车牌识别结果的准确性。另外，将识别结果存入数据库，并实时更新其内容，筛选出可信度比较高的识别结果进行保存，最后将检测识别结果实时显示在图像中。本申请提出的系统和方法能够针对车牌视频进行实时检测识别，能够在车辆运动模糊、光照条件差、相机采集角度不同的环境下，识别结果依然保持很高的稳定性和准确性。该系统部署简单，准确，自动化等优点，适用于智能停车场、道路交通管理、车间管理等领域。如此，可以达到高效准确识别车牌的效果。
一种可能的实现方式中，参见图3，上述步骤S204的操作具体可以为：
S301、根据车牌图像的中心点坐标以及车牌在车牌图像中的位置信息，确定初始识别结果的计数权重。
可选的，根据车牌图像的中心点坐标、车牌在其对应的当前图像中的位置信息，可以确定该车牌的初始结果的计数权重，计数权重用于指示该车牌图像在当前图像中的位置与图像中心位置的差距，当车牌在车牌图像中的位置越接近图像中心，则说明拍摄角度最佳，最终的车牌识别效果也更为准确。
可选的，可以通过下述公式（1）得到每条车牌的初始识别结果的计数权重。具体的，针对每条车牌的初始识别结果，分别调用下述公式（1），即可得到该条车牌的初始识别结果的计数权重值。
（1）
其中，g(x,y)表示每条初始识别结果的计数权重值，表示图像中心点的坐标，（x,y）表示当前图像中车牌的检测中心点坐标，/>表示高斯分布的半径大小。
可选的，取自监控设备拍摄图像的图像中心点，如监控设备的像素为300×300，则监控设备采集的图像的中心点坐标始终为（150，150），即图像的中心点坐标只受监控设备像素点的影响；（x,y）取自各个当前图像中车牌的中心坐标，该坐标作为车牌的检测中心坐标，如车牌正位于当前图像的中心，车牌的检测坐标为（150，150），车牌位于车牌图像非正中心时，坐标可能为（100，150）、（80，200）等，车牌的检测中心坐标由车牌在其相应的当前图像中的位置决定。
可选的，根据g(x,y)可以判断车牌与像素图像中心点的距离远近，当车牌的检测中心坐标与图像中心坐标相同时，；当车牌的检测中心坐标距离图像中心坐标越远时，g(x,y)的结果越小，即车牌对应的初始识别结果的计数权重越小；当车牌的检测中心坐标距离图像中心坐标越远时，g(x,y)的结果越大越接近/>，即车牌对应的初始识别结果的计数权重越大。
可选的，车牌的初始识别结果的计数权重值可以反映当前车牌图像的拍摄角度，可以进一步表征该图像包含的车牌图像的初始识别结果的准确性的高低，距离图像中心越近的车牌图像对应的初始识别的结果准确性越高。
S302、将初始识别结果的计数权重与初始识别结果在车牌数据库中出现的次数相加，得到初始识别结果的列属性值。
可选的，根据车牌检测模型输出的车牌在车牌图像中的位置可以确定车牌图像的中心点坐标，对车牌数据库中存储的车牌识别结果进行统计确定每条车牌初始识别结果出现的次数，根据车牌图像的中心点坐标、车牌在车牌图像中的位置以及初始结果的统计次数，确定初始识别结果的列属性值。
可选的，将每条初始识别结果的计数权重与该初始识别结果统计次数相加，可以确定初始识别结果的列属性值。其中，初始识别结果的统计次数可以反映初始识别结果中对应的字符串的置信度。
值得注意的是，车牌的初始识别结果的列属性值用于指示初始识别结果中字符串的计数累计值。
S303、将初始识别结果、对应的车牌图像中的位置信息以及初始识别结果的列属性值添加至车牌数据库中，作为车牌数据库中的一条记录，车牌数据库中有多条记录，每条记录中均包括一个车牌识别结果、该车牌识别结果的列属性值以及该车牌识别结果中车牌的位置信息。
可选的，将初始识别结果、初始识别结果的列属性值以及车牌对应各个当前图像的位置信息都存储至车牌数据库中，车牌数据库中的每条记录都包括一个车牌图像的初始识别结果、该车牌在其对应的当前图像中的位置以及该初始识别结果对应的列属性值，车牌数据库中包含多条车牌的初始识别结果。
可选的，根据初始识别结果中车牌在该初始识别结果对应的车牌图像中的位置信息、车牌初始识别结果对应的字符串的累计值以及车牌识别结果对应的字符，共同确定车牌识别结果的置信度，可以进一步提高车牌识别结果的准确性。
在本申请实施例中，考虑到车辆输入视频流中车牌在每帧图像中的位置反映了该图像的观测角度，观测角度越佳，车牌识别结果的准确性也就越高。因此根据车牌的二维图像的坐标建立二维高斯分布模型，越靠近图像中心的位置，累加观测的值越大，表明是该车牌字符串的概率更高。通过车牌在车牌图像中的中心点坐标以及车牌图像自身的中心点坐标确定该车牌图像对应的初始识别结果的计数权重，根据每条车牌识别结果的计数权重以及车牌识别结果的统计次数确定该车牌识别结果的列属性值，根据初始识别结果中车牌在该初始识别结果对应的车牌图像中的位置信息、车牌初始识别结果对应的字符串的累计值以及车牌识别结果对应的字符，确定并更新车牌的识别结果，这样可以提高车牌识别结果的可信度以及准确性。如此，可以达到高效准确识别车牌的效果。
作为一种可能的实施方式，上述步骤S205的操作具体还包括：
若未检测到车牌在车牌图像中的位置信息的变化时，不执行更新车牌图像的车牌识别结果的步骤。
可选的，当车牌在车牌图像中的位置信息与车牌数据库中的记录中车牌的识别结果中车牌的位置信息相同时，即表示当前车牌的识别结果是准确并稳定的车牌识别结果，将当前车牌的识别结果作为车牌图像的识别结果，不更新当前车牌识别结果。
作为一种可选的实施方式，在实际应用时，对于车辆静止后在某一角度拍摄的车牌，由于识别模型错误导致识别结果一直累计，最终将错误地更新数据库，会对数据库造成污染。本申请若未检测到车牌在车牌图像中的位置信息的变化时，不执行更新车牌图像的车牌识别结果的步骤，实现了只保留不同角度的图片识别结果，有效避免了当检测车间视频时，经常出现车辆静止后识别结果错误的情况，避免了对数据库的数据污染。
一种可能的实现方式中，参见图4，上述步骤S205的操作具体可以为：
S401、根据车牌数据库中各车牌识别结果和各车牌识别结果的位置信息，确定各车牌识别结果的特征信息。
可选的，每条车牌识别结果的特征信息包括该车牌识别结果中包含的字符和该车牌在其对应的图像中的位置坐标。其中，车牌识别结果中包含字符以及各个字符的置信度，车牌识别结果的位置信息包括车牌在其对应的当前图像中的四角点坐标和车牌中心坐标。值得说明的是，通过车牌识别模型对车牌识别结果进行特征提取。
S402、根据各车牌识别结果的特征信息，对车牌数据库中的各车牌识别结果进行聚类，得到多个聚类中心。
可选的，根据各个车牌识别结果对应的特征信息，利用聚类算法对车牌的初始结果进行聚类，将特征信息相同或相似度较高的车牌识别结果聚类成一个聚类中心，每个聚类中心之间存在较大的距离差，即每个聚类中心对应的车牌识别结果对应的当前图像的采集角度差异较大。
可选的，对车辆的车牌识别结果聚类得到多个聚类中心，其中，聚类中心的数量是由车牌识别结果的数量决定，当车辆对应的车牌识别结果越多，则其对应的聚类中心的数量也就越多。
图5为本申请提供的一种聚类中心的示意图，参见图5，可知根据车牌识别结果对应的特征信息，利用KNN聚类的带不同中心点的车牌结果，KNN聚类特征由两部分组成。首先，位置信息由欧氏距离度量，车牌识别结果字符串由便就编辑度量，聚类中心的数量由距离阈值决定，距离阈值是人为决定的，距离阈值用于指示车牌中心距离图像中心的距离。
可选的，编辑距离是指将一个字符串转成另一个字符串所需的最少操作次数，常用于拼写改正、字符串匹配、文本识别等。编辑距离通常包括三种基本的操作：替换、插入和删除。实现编辑距离的方法多种多样，常用的有基于搜索的算法、基于动态规划的算法等。在车牌识别结果中，可以通过计算车牌识别字符之间的距离，进行相似度的计算。
S403、根据多个聚类中心以及初始识别结果，更新车牌图像的车牌识别结果。
可选的，将初始识别结果包含的特征信息与车牌数据库中多个聚类中心包含的特征信息进行匹配，将特征信息最为接近的聚类中心对应的字符串作为该车牌图像的车牌识别结果，根据聚类中心对应的字符更新车牌图像的车牌识别结果。
在本申请实施例中，通过车牌数据库中存储的各个车牌识别结果和各车牌识别结果中车牌所在车牌图像中的位置确定各个车牌识别结果的特征信息，对车牌识别结果的特征信息进行聚类得到多个不同的聚类中心，其中每个聚类中心的特征是由多个相近的车牌识别结果的特征提炼而来，将车牌的初始识别结果与聚类中心进行特征匹配，将特征信息最为接近的聚类中心对应的字符串作为该车牌图像的车牌识别结果。将数据库中的内容进行聚类分析，保持差异大的聚类中心结果。其中，聚类的特征由位置和车牌结果字符串组成，分别由欧式距离和编辑距离进行度量，最后将当前帧的检测识别结果与聚类中心结果匹配，以相似度最高的识别车牌字符串作为当前帧的识别结果，有效实现了对车辆的识别结果进行降噪。如此，可以达到高效准确识别车牌的效果。
一种可能的实现方式中，参见图6，上述步骤S403的操作具体可以为：
S601、将初始识别结果与各聚类中心分别进行匹配。
可选的，将车牌的初始识别结果对应的特征信息与各个聚类中心的特征信息进行匹配，确定车牌的初始识别结果与各个聚类中心之间的相似程度。
S602、选取与初始识别结果相似度最高的聚类中心作为车牌图像的车牌识别结果。
可选的，将聚类中心中与初始识别结果特征相似度最高的聚类中心作为目标聚类中心。目标聚类中心对应一个置信度较高的字符串，将目标聚类中心对应的字符作为车牌图像的车牌识别结果。
在本申请实施例中，通过将车牌的初始识别结果的特征信息与车牌数据库中的各个聚类中心的特征信息进行匹配，将数据库中的内容进行聚类分析，保持差异大的聚类中心结果，并将当前帧的检测识别结果与聚类中心结果匹配，确定特征信息相似度最高的聚类中心包含的字符信息作为车牌图像的车牌识别结果进行显示，这样可以保证车牌识别结果的稳定性。如此，可以达到高效准确识别车牌的效果。
一种可能的实现方式中，参见图7，上述步骤S202的操作具体可以为：
S701、将当前图像输入车牌检测模型中，得到至少一个车牌初始图像以及车牌在车牌初始图像中的位置。
可选的，将当前图像输入车牌检测模型中，车牌检测模型对当前图像包含的数据进行标注，形成车牌定位框，本申请使用的车牌检测模型为YOLOv5检测模型，但不以此为限，根据不同的应用场景，可以随机更换相应的车牌检测模型。
可选的，当本申请使用的车牌检测模型为YOLOv5时，车牌检测模型在预训练模型的基础上，采集车牌图像包含的数据集并进行标注，标注格式如（label，x，y，w，h，pt1x，pt1y，pt2x，pt2y，pt3x，pt3y，pt4x，pt4y）。其中，label表示车牌的类别，x表示车牌图像的中心点横坐标除以当前图像的宽， y表示车牌图像的中心点纵坐标除以当前图像的高，w表示车牌定位框的宽除以当前图像的宽，h表示车牌定位框的高除以当前图像的高，ptx表示车牌四个角点的横坐标，pty表示车牌是四个角点的纵坐标，检测模型最终输出一个15维的向量，代表车牌定位框的定位以及类型等信息。
值得注意的是，车牌检测模型检测的数据集有CCPD数据集和CRPD数据集，数据集通常集中于车外场景的车牌数据采集。
S702、对各车牌初始图像进行图像矫正，得到车牌图像，并将车牌在车牌初始图像中的位置作为车牌在车牌图像中的位置信息。
可选的，根据各个车牌初始图像中车牌的定位信息对车牌初始图像进行矫正，得到矫正后的车牌图像，车牌图像矫正前后车牌在当前图像中的位置信息不发生改变。
可选的，可以通过下述公式（2）得到每一帧车牌图像中车牌每个角点的矫正数据。具体的，针对每一帧车牌图像的车牌的每一个角点坐标，分别调用下述公式（2），即可得到该车牌图像矫正后的车牌图像。
（2）
其中，表示图像的变换系数，/>表示矫正后的车牌目标点的坐标，（x,y）表示当前图像中车牌的四个角点坐标，A表示透视变换矩阵。
可选的，（x,y）取自各个当前图像中车牌的四个角点的位置坐标，车牌的四个角点位置坐标由检测模型检测定位输出，根据车牌的四个角点坐标对当前图像进行矫正。
可选的，车牌检测模型输出的车牌图像可能存在模糊、变形车牌等，直接将这样的车牌定位输入车牌识别模型可能会无法识别车牌数据，需要对车牌进行矫正变换提高车牌识别模型识别结果的准确性。
可选的，可以通过下述公式（3）得到每一帧车牌图像中车牌的每个角点坐标对应的透视变换矩阵。具体的，针对每一帧车牌图像中车牌的每一个角点坐标，分别调用下述公式（3），即可得到该车牌图像矫正后每个车牌角点的透视变换矩阵。
（3）
可选的，A表示车牌图像矫正的透视变换矩阵，根据选定的目标点坐标计算出车牌图像的变换系数以及车牌图像的透视变换矩阵，确定车牌图像矫正的最终效果，可以充分对车牌的初始图像进行清晰化处理。值得说明的是，常用的图像矫正方法包括畸变矫正、透视变换、校正旋转、去除噪声与模糊等，经过图像矫正后的图像在视觉上更加清晰、准确。
在本申请实施例中，通过车牌检测模型获取车牌在其对应的当前图像中位置坐标，位置坐标包括车牌的四个角点的位置坐标以及车牌的中心位置坐标，根据车牌的四个角点坐标对车牌检测模型输出的车牌的初始图像进行矫正，得到清晰的车牌图像，根据图像质量进行自动筛选，保留准确率比较高的识别结果，可以适用于任何复杂场景下的车牌识别，这样可以提高车牌识别结果的准确性。如此，可以达到高效准确识别车牌的效果。
一种可能的实现方式中，参见图8，上述步骤S203的操作具体可以为：
S801、将车牌图像输入车牌识别模型中，得到待选识别结果，待选识别结果中包括车牌图像中的字符。
可选的，将车牌图像输入车牌识别模型得到的车牌字符识别结果，将车牌识别模型直接输出的车牌识别结果作为待选识别结果，待选识别结果包括车牌图像中的字符信息。
S802、根据待选识别结果中的各字符，确定是否丢弃待选识别结果。
可选的，根据待选识别结果中各个字符的置信度，确定当前识别结果的质量好坏，通过设定的阈值确定是否丢弃当前待选识别结果。
可选的，设定的阈值是指置信度的阈值，当当前车牌识别结果的字符置信度低于当前置信度阈值时，就认为当前车牌识别结果不清晰或不准确，置信度可以反映出当前车牌识别结果中各个字符的误差，置信度越高则该字符的准确性越高，置信度越低则该字符的识别误差越大。
值得说明的是，置信度阈值是针对车牌中每个字符设定的阈值，可以充分对车牌识别结果进行降噪处理。
S803、若否，则将待选识别结果作为初始识别结果。
可选的，当待选识别结果中各个字符的置信度远小于预设的置信度阈值时，则丢弃当前待选识别结果；当待选识别结果中各个字符的置信度大于或等于预设的置信度阈值，则将待选识别结果作为初始识别结果，并将初始识别结果的字符、置信度以及位置信息存储至车牌数据库。
在本申请实施例中，通过将车牌图像输入车牌识别模型获取待选识别结果，根据待选识别结果中各个字符的置信度筛确定是否丢弃待选识别结果，将未丢弃的待选识别结果作为车牌的初始识别结果，这样可以保证车牌初始识别结果的置信度高以及可靠性高。如此，可以达到高效准确识别车牌的效果。
一种可能的实现方式中，参见图9，上述步骤S802的操作具体可以为：
S901、确定待选识别结果中的中间字符的标准差与待选识别结果中的所有字符的标准差的距离。
可选的，根据待选识别结果中包含的字符，确定待选识别结果中的中间字符的标准差与待选识别结果中所有字符的标准差之间的距离。
值得注意的是，车牌识别模型输出的待选识别结果经实验发现首字符与尾字符出现识别错误的概率较大，为提高车牌识别的准确性，本申请采用方差一致性原则对车牌识别结果进行过滤，达到对待选识别结果降噪的目的。
可选的，可以通过下述公式（4）得到每个待选识别结果中的中间字符的标准差与待选识别结果中所有字符的标准差之间的距离。具体的，针对每个待选识别结果包含的字符，分别调用下述公式（4），即可得到该待选识别结果中的中间字符的标准差与待选识别结果中所有字符的标准差之间的距离。
假设待选识别结果为：代表七个字符的识别结果，则根据公式（4）进行计算该待选识别结果中的中间字符的标准差与待选识别结果中所有字符的标准差之间的距离，如下：
=/>（4）
其中，表示待选识别结果中的中间字符的标准差与待选识别结果中所有字符的标准差之间的距离，/>表示待选识别结果中的中间字符的标准差，表示待选识别结果中所有字符的标准差。
S902、若距离大于或等于预设阈值，则丢弃待选识别结果。
可选的，根据待选识别结果中的中间字符的标准差与待选识别结果中所有字符的标准差之间的距离以及预设阈值确定是否保存当前图像的车牌识别结果，其中，预设阈值是针对待选识别结果中的中间字符的标准差与待选识别结果中所有字符的标准差之间的距离设定的，根据应用场景人为设定预设阈值的大小。
可选的，可以通过下述公式（5）确定待选识别结果是否被丢弃。具体的，针对每个待选识别结果中的中间字符的标准差与待选识别结果中所有字符的标准差之间的距离，分别调用下述公式（5），即可确定当前待选识别结果是否被丢弃。
（5）
其中，f(x)表示是否丢弃当前待选识别结果，Thres表示待选识别结果中的中间字符的标准差与待选识别结果中所有字符的标准差之间的距离的阈值，当时，则f(x)=1，保留当前待选识别结果，当/>时，则f(x)=0，丢弃当前待选识别结果。
可选的，将保存的待选识别结果存储至车牌数据库中，可以降低车牌数据库中错误识别结果出现的概率。
在本申请实施例中，以车牌检测识别为主、检测模型输出车牌的关键点，然后通过透视变换得到矫正后的车牌图像，最后由识别模型输出字符识别结果。实验发现车牌首字符汉字和尾字符的识别错误率较高，因此设计基于方差一致性原则判断首尾字符与其他字符置信度的差异，当两者之间方差差值越小，表明字符识别得更加准确。通过确定待选识别结果中的中间字符的标准差与待选识别结果中全部字符的标准差的距离，再确定待选识别结果中的中间字符的标准差与待选识别结果中全部字符的标准差的距离与预设距离阈值之间的大小关系确定当前待选识别结果是否被丢弃，这样可以保证初始待选识别结果的准确性。如此，可以达到高效准确识别车牌的效果。
作为一种可能的实施方式，本申请通过使用检测模型得到车牌的定位，然后通过透视变换得到矫正的图像，最后通过识别模型得到车牌结果。本申请的检测模型可以采用任何通用的检测模型框架，模型选取比较灵活。针对识别模型的车牌结果，根据图像质量进行自动筛选，保留准确率比较高的识别结果，因此本申请适用于任何复杂场景下的车牌识别。最后，本申请将逐帧识别结果保留在数据库中，通过与数据库的匹配确定最终的识别结果，该方案相当于简单实现了车牌的自动跟踪，对于车辆跟踪、车辆计数等具有借鉴意义。本申请设计了一种智能的车牌识别系统的自适应鲁棒性设计与优化方法，自动过滤模糊等图像，实时检测识别车牌结果，通过数据库过滤能够提高车牌识别结果的稳定性。本申请具有应用前景广阔，可应用于城市交通管理、公路收费、停车场管理、出租车调度等领域。同时，随着人工智能技术的不断发展，车牌检测识别专利还可以结合人脸识别、大数据分析等技术，进一步提高精准度和效率。
下述对用以执行的本申请所提供车牌识别方法的装置和计算机设备进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。
图10是本申请实施例提供的一种车牌识别装置的结构示意图，参见图10，该装置包括：
获取模块1001，用于获取车辆的输入视频流中的当前图像；
检测模块1002，用于将当前图像输入预先训练得到的车牌检测模型中，得到至少一个车牌图像以及车牌在车牌图像中的位置信息；
识别模块1003，用于将各所述车牌图像输入预先训练得到的车牌识别模型中，得到车牌图像对应的初始识别结果，初始识别结果中包括：车牌图像中的字符；
记录模块1004，用于将初始识别结果和对应的所述车牌图像中的位置信息添加至车牌数据库中，作为车牌数据库中的一条记录，车牌数据库中有多条记录，每条记录中均包括一个车牌识别结果以及该车牌识别结果中车牌的位置信息；
更新模块1005，用于根据初始识别结果以及车牌数据库中的各条记录，更新车牌图像的车牌识别结果。
作为一种可能的实施方式，记录模块1004具体用于：
根据车牌图像的中心点坐标以及车牌在车牌图像中的位置信息，确定初始识别结果的计数权重；
将初始识别结果的计数权重与初始识别结果在车牌数据库中出现的次数相加，得到初始识别结果的列属性值；
将初始识别结果、对应的车牌图像中的位置信息以及初始识别结果的列属性值添加至车牌数据库中，作为车牌数据库中的一条记录，车牌数据库中有多条记录，每条记录中均包括一个车牌识别结果、该车牌识别结果的列属性值以及该车牌识别结果中车牌的位置信息。
作为一种可能的实施方式，更新模块1005还用于：
若未检测到车牌在车牌图像中的位置信息的变化时，不执行更新车牌图像的车牌识别结果的步骤。
作为一种可能的实施方式，更新模块1005具体用于：
根据车牌数据库中各车牌识别结果和各车牌识别结果的位置信息，确定各车牌识别结果的特征信息；
根据各车牌识别结果的特征信息，对车牌数据库中的各车牌识别结果进行聚类，得到多个聚类中心；
根据多个聚类中心以及初始识别结果，更新车牌图像的车牌识别结果。
作为一种可能的实施方式，更新模块1005具体还用于：
将初始识别结果与各聚类中心分别进行匹配；
选取与初始识别结果相似度最高的聚类中心作为车牌图像的车牌识别结果。
作为一种可能的实施方式，检测模块1002还用于：
将当前图像输入车牌检测模型中，得到至少一个车牌初始图像以及车牌在车牌初始图像中的位置；
对各车牌初始图像进行图像矫正，得到车牌图像，并将车牌在车牌初始图像中的位置作为车牌在车牌图像中的位置信息。
作为一种可能的实施方式，识别模块1003具体还用于：
将车牌图像输入车牌识别模型中，得到待选识别结果，待选识别结果中包括车牌图像中的字符；
根据待选识别结果中的各字符，确定是否丢弃待选识别结果；
若否，则将待选识别结果作为初始识别结果。
作为一种可能的实施方式，识别模块1003还可以用于：
确定待选识别结果中的中间字符的标准差与待选识别结果中的所有字符的标准差的距离；
若距离大于或等于预设阈值，则否丢弃待选识别结果。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路（Application Specific Integrated Circuit，简称ASIC），或，一个或多个微处理器，或，一个或者多个现场可编程门阵列（Field Programmable Gate Array，简称FPGA）等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器（Central Processing Unit，简称CPU）或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统（system-on-a-chip，简称SOC）的形式实现。
图11是本申请实施例提供的一种计算机设备的结构示意图。参见图11，计算机设备包括：存储器1101、处理器1102，存储器1101中存储有可在处理器1102上运行的计算机程序，处理器1102执行计算机程序时，实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
可选地，本申请还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述任一车牌识别方法实施例。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（英文：processor）执行本申请各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文：Read-Only Memory，简称：ROM）、随机存取存储器（英文：Random Access Memory，简称：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种车牌识别方法，其特征在于，包括：
获取车辆的输入视频流中的当前图像；
将所述当前图像输入预先训练得到的车牌检测模型中，得到至少一个车牌图像以及车牌在所述车牌图像中的位置信息；
将各所述车牌图像输入预先训练得到的车牌识别模型中，得到所述车牌图像对应的初始识别结果，所述初始识别结果中包括：所述车牌图像中的字符；
将所述初始识别结果和对应的所述车牌图像中的位置信息添加至车牌数据库中，作为所述车牌数据库中的一条记录，所述车牌数据库中有多条记录，每条记录中均包括一个车牌识别结果以及该车牌识别结果中车牌的位置信息；
根据所述初始识别结果以及所述车牌数据库中的各条记录，更新所述车牌图像的车牌识别结果。
2.根据权利要求1所述的车牌识别方法，其特征在于，所述将所述初始识别结果和对应的所述车牌图像中的位置信息添加至所述车牌数据库中，作为所述车牌数据库中的一条记录，还包括：
根据所述车牌图像的中心点坐标以及车牌在所述车牌图像中的位置信息，确定所述初始识别结果的计数权重；
将所述初始识别结果的计数权重与所述初始识别结果在车牌数据库中出现的次数相加，得到所述初始识别结果的列属性值；
将所述初始识别结果、对应的所述车牌图像中的位置信息以及初始识别结果的列属性值添加至所述车牌数据库中，作为所述车牌数据库中的一条记录，所述车牌数据库中有多条记录，每条记录中均包括一个车牌识别结果、该车牌识别结果的列属性值以及该车牌识别结果中车牌的位置信息。
3.根据权利要求1所述的车牌识别方法，其特征在于，所述根据所述初始识别结果以及所述车牌数据库中的各条记录，更新所述车牌图像的车牌识别结果，还包括：
若未检测到车牌在所述车牌图像中的位置信息的变化时，不执行更新所述车牌图像的车牌识别结果的步骤。
4.根据权利要求1所述的车牌识别方法，其特征在于，所述根据所述初始识别结果以及所述车牌数据库中各条记录，更新所述车牌图像的车牌识别结果，包括：
根据所述车牌数据库中各车牌识别结果和各车牌识别结果的位置信息，确定各所述车牌识别结果的特征信息；
根据各所述车牌识别结果的特征信息，对所述车牌数据库中的各车牌识别结果进行聚类，得到多个聚类中心；
根据所述多个聚类中心以及所述初始识别结果，更新所述车牌图像的车牌识别结果。
5.根据权利要求4所述的车牌识别方法，其特征在于，所述根据所述多个聚类中心以及所述初始识别结果，更新所述车牌图像的车牌识别结果，包括：
将所述初始识别结果与各所述聚类中心分别进行匹配；
选取与所述初始识别结果相似度最高的聚类中心作为所述车牌图像的车牌识别结果。
6.根据权利要求1-5任一项所述的车牌识别方法，其特征在于，所述将所述当前图像输入预先训练得到的车牌检测模型中，得到至少一个车牌图像以及车牌在所述车牌图像中的位置，包括：
将所述当前图像输入所述车牌检测模型中，得到至少一个车牌初始图像以及车牌在所述车牌初始图像中的位置；
对各所述车牌初始图像进行图像矫正，得到所述车牌图像，并将车牌在所述车牌初始图像中的位置作为车牌在所述车牌图像中的位置信息。
7.根据权利要求1-5任一项所述的车牌识别方法，其特征在于，所述将各所述车牌图像输入预先训练得到的车牌识别模型中，得到所述车牌图像对应的初始识别结果，包括：
将所述车牌图像输入所述车牌识别模型中，得到待选识别结果，所述待选识别结果中包括所述车牌图像中的字符；
根据所述待选识别结果中的各字符，确定是否丢弃所述待选识别结果；
若否，则将所述待选识别结果作为所述初始识别结果。
8.根据权利要求7所述的车牌识别方法，其特征在于，所述根据所述待选识别结果中的各字符，确定是否丢弃所述待选识别结果，包括：
确定所述待选识别结果中的中间字符的标准差与所述待选识别结果中的所有字符的标准差的距离；
若所述距离大于或等于预设阈值，则丢弃所述待选识别结果。
9.一种车牌识别装置，其特征在于，所述装置包括：
获取模块，用于获取车辆的输入视频流中的当前图像；
检测模块，用于将所述当前图像输入预先训练得到的车牌检测模型中，得到至少一个车牌图像以及车牌在所述车牌图像中的位置信息；
识别模块，用于将各所述车牌图像输入预先训练得到的车牌识别模型中，得到所述车牌图像对应的初始识别结果，所述初始识别结果中包括：所述车牌图像中的字符；
记录模块，用于将所述初始识别结果和对应的所述车牌图像中的位置信息添加至所述车牌数据库中，作为所述车牌数据库中的一条记录，所述车牌数据库中有多条记录，每条记录中均包括一个车牌识别结果以及该车牌识别结果中车牌的位置信息；
更新模块，用于根据所述初始识别结果以及所述车牌数据库中的各条记录，更新所述车牌图像的车牌识别结果。
10.一种计算机设备，其特征在于，包括：存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述权利要求1至8任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310961281.6A CN116704490B (zh) | 2023-08-02 | 2023-08-02 | 车牌识别方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310961281.6A CN116704490B (zh) | 2023-08-02 | 2023-08-02 | 车牌识别方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116704490A true CN116704490A (zh) | 2023-09-05 |
| CN116704490B CN116704490B (zh) | 2023-10-10 |
Family
ID=87829607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310961281.6A Active CN116704490B (zh) | 2023-08-02 | 2023-08-02 | 车牌识别方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116704490B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935659A (zh) * | 2023-09-12 | 2023-10-24 | 四川遂广遂西高速公路有限责任公司 | 一种高速服务区卡口车辆稽核系统及其方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950954A (zh) * | 2021-02-24 | 2021-06-11 | 电子科技大学 | 一种基于高位摄像头的智能停车车牌识别方法 |
| CN113128507A (zh) * | 2021-05-12 | 2021-07-16 | 锐捷网络股份有限公司 | 一种车牌识别方法、装置、电子设备及存储介质 |
| CN114049622A (zh) * | 2021-10-29 | 2022-02-15 | 深圳市爱深盈通信息技术有限公司 | 车牌识别方法及系统 |
| CN115424253A (zh) * | 2022-08-29 | 2022-12-02 | 科大讯飞股份有限公司 | 车牌识别方法、装置、电子设备和存储介质 |
| CN115690765A (zh) * | 2022-10-21 | 2023-02-03 | 中关村科学城城市大脑股份有限公司 | 车牌识别方法、装置、电子设备、可读介质和程序产品 |
| CN115909313A (zh) * | 2022-12-07 | 2023-04-04 | 中国计量大学 | 一种基于深度学习的违停车牌识别方法和装置 |
-
2023
- 2023-08-02 CN CN202310961281.6A patent/CN116704490B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950954A (zh) * | 2021-02-24 | 2021-06-11 | 电子科技大学 | 一种基于高位摄像头的智能停车车牌识别方法 |
| CN113128507A (zh) * | 2021-05-12 | 2021-07-16 | 锐捷网络股份有限公司 | 一种车牌识别方法、装置、电子设备及存储介质 |
| CN114049622A (zh) * | 2021-10-29 | 2022-02-15 | 深圳市爱深盈通信息技术有限公司 | 车牌识别方法及系统 |
| CN115424253A (zh) * | 2022-08-29 | 2022-12-02 | 科大讯飞股份有限公司 | 车牌识别方法、装置、电子设备和存储介质 |
| CN115690765A (zh) * | 2022-10-21 | 2023-02-03 | 中关村科学城城市大脑股份有限公司 | 车牌识别方法、装置、电子设备、可读介质和程序产品 |
| CN115909313A (zh) * | 2022-12-07 | 2023-04-04 | 中国计量大学 | 一种基于深度学习的违停车牌识别方法和装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935659A (zh) * | 2023-09-12 | 2023-10-24 | 四川遂广遂西高速公路有限责任公司 | 一种高速服务区卡口车辆稽核系统及其方法 |
| CN116935659B (zh) * | 2023-09-12 | 2023-12-08 | 四川遂广遂西高速公路有限责任公司 | 一种高速服务区卡口车辆稽核系统及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116704490B (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112418117B (zh) | 一种基于无人机图像的小目标检测方法 | |
| Chen et al. | Vehicle detection in high-resolution aerial images via sparse representation and superpixels | |
| CN107153817B (zh) | 行人重识别数据标注方法和装置 | |
| Shahab et al. | ICDAR 2011 robust reading competition challenge 2: Reading text in scene images | |
| CN106650731B (zh) | 一种鲁棒的车牌、车标识别方法 | |
| CN110866430B (zh) | 一种车牌识别方法及装置 | |
| CN110263712B (zh) | 一种基于区域候选的粗精行人检测方法 | |
| CN112016605B (zh) | 一种基于边界框角点对齐和边界匹配的目标检测方法 | |
| CN111310662B (zh) | 一种基于集成深度网络的火焰检测识别方法及系统 | |
| CN111340855A (zh) | 一种基于轨迹预测的道路移动目标检测方法 | |
| CN110008844B (zh) | 一种融合slic算法的kcf长期手势跟踪方法 | |
| CN111091124B (zh) | 一种书脊文字识别方法 | |
| CN111435421B (zh) | 一种面向交通目标的车辆重识别方法和装置 | |
| CN108734200B (zh) | 基于bing特征的人体目标视觉检测方法和装置 | |
| CN111652035B (zh) | 一种基于ST-SSCA-Net的行人重识别方法及系统 | |
| CN116704490B (zh) | 车牌识别方法、装置和计算机设备 | |
| CN110309810B (zh) | 一种基于批次中心相似度的行人重识别方法 | |
| CN113486886B (zh) | 一种自然场景下的车牌识别方法和装置 | |
| CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN116030396B (zh) | 一种用于视频结构化提取的精确分割方法 | |
| CN115457277A (zh) | 一种智能化路面病害识别检测方法及系统 | |
| CN111160107B (zh) | 一种基于特征匹配的动态区域检测方法 | |
| CN111832497B (zh) | 一种基于几何特征的文本检测后处理方法 | |
| CN113723558A (zh) | 基于注意力机制的遥感图像小样本舰船检测方法 | |
| CN110555406B (zh) | 一种基于Haar-like特征及CNN匹配的视频运动目标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |