CN115424253A - 车牌识别方法、装置、电子设备和存储介质 - Google Patents

车牌识别方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115424253A
CN115424253A CN202211065170.9A CN202211065170A CN115424253A CN 115424253 A CN115424253 A CN 115424253A CN 202211065170 A CN202211065170 A CN 202211065170A CN 115424253 A CN115424253 A CN 115424253A
Authority
CN
China
Prior art keywords
license plate
image
recognition
sequence
previous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211065170.9A
Other languages
English (en)
Inventor
吴嘉嘉
殷兵
胡金水
刘聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202211065170.9A priority Critical patent/CN115424253A/zh
Publication of CN115424253A publication Critical patent/CN115424253A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/26Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274Syntactic or semantic context, e.g. balancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Character Discrimination (AREA)

Abstract

本发明提供一种车牌识别方法、装置、电子设备和存储介质,其中方法包括:获取车牌图像序列;将所述车牌图像序列中的各图像逐个作为当前图像,基于排列在所述当前图像前的上一图像的识别特征,对所述当前图像进行车牌识别,得到所述当前图像的识别结果,所述上一图像的识别特征是基于所述上一图像的识别结果确定的;基于车牌图像序列中的各图像的识别结果,确定车牌识别结果。本发明提供的方法、装置、电子设备和存储介质,对车牌图像序列中的每个图像进行车牌识别的过程中,均参考了排列在自身之前的所有图像的识别结果所体现出的识别特征,保证了单帧图像的车牌识别过程能够获取到更加丰富的信息输入,提高了车牌识别的可靠性。

Description

车牌识别方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种车牌识别方法、装置、电子设备和存储介质。
背景技术
车牌识别作为智能交通系统的重要组成部分,在车辆管理、车辆监控,交通流量监测、交通控制、被盗车辆及特种车辆的甄别等方面发挥着重要作用。
目前的车牌识别多是应用预先训练得到的神经网络模型,对于单张图像进行车牌识别。而由于车辆多数时间处于运动状态,抓拍得到的车牌图像质量普遍较差,导致基于车牌图像进行的车牌识别准确性较差。
发明内容
本发明提供一种车牌识别方法、装置、电子设备和存储介质,用以解决现有技术中基于单张图像进行车牌识别准确性低的缺陷。
本发明提供一种车牌识别方法,包括:
获取车牌图像序列;
将所述车牌图像序列中的各图像逐个作为当前图像,基于排列在所述当前图像前的上一图像的识别特征,对所述当前图像进行车牌识别,得到所述当前图像的识别结果,所述上一图像的识别特征是基于所述上一图像的识别结果确定的;
基于所述车牌图像序列中的各图像的识别结果,确定车牌识别结果。
根据本发明提供的一种车牌识别方法,所述上一图像的识别特征是基于如下步骤确定的:
提取所述上一图像的识别结果中包括的车牌字符串的语义特征;
基于所述语义特征,确定所述上一图像的识别特征。
根据本发明提供的一种车牌识别方法,所述基于所述语义特征,确定所述上一图像的识别特征,包括:
对所述车牌字符串中的各字符在所述上一图像中的位置信息进行编码,得到位置特征;
基于所述位置特征和/或所述上一图像的视觉特征,以及所述语义特征,确定所述上一图像的识别特征。
根据本发明提供的一种车牌识别方法,所述车牌字符串中的各字符在所述上一图像中的位置信息和所述上一图像的视觉特征基于如下步骤确定:
将所述上一图像输入至目标检测模型,由所述目标检测模型提取所述上一图像的视觉特征并基于所述视觉特征对所述上一图像进行字符检测,得到所述目标检测模型输出的所述视觉特征和所述各字符在所述上一图像中的位置信息;
所述目标检测模型是基于携带了字符位置标签的样本图像训练得到的。
根据本发明提供的一种车牌识别方法,所述基于排列在所述当前图像前的上一图像的识别特征,对所述当前图像进行车牌识别,得到所述当前图像的识别结果,包括:
在所述当前图像为首帧图像的情况下,将所述当前图像输入至车牌识别模型中,得到所述车牌识别模型输出的所述当前图像的识别结果;
在所述当前图像非所述首帧图像的情况下,将所述上一图像的识别特征,以及所述当前图像输入至车牌识别模型中,得到所述车牌识别模型输出的所述当前图像的识别结果;
所述车牌识别模型是基于携带了车牌字符串标签的样本图像序列训练得到。
根据本发明提供的一种车牌识别方法,所述获取车牌图像序列,包括:
获取初始图像序列;
对所述初始图像序列中的各图像进行车牌检测,得到所述初始图像序列中各图像的车牌检测结果;
从所述初始图像序列中截取连续多帧所述车牌检测结果为存在车牌的图像,构建所述车牌图像序列。
根据本发明提供的一种车牌识别方法,所述从所述初始图像序列中截取连续多帧所述车牌检测结果为存在车牌的图像,构建所述车牌图像序列,包括:
从所述初始图像序列中截取连续多帧所述车牌检测结果为存在车牌的图像,构建候选图像序列;
基于所述候选图像序列中各图像的车牌检测结果中的车牌位置信息,对所述候选图像序列中的各图像进行车牌图像截取,得到所述车牌图像序列。
本发明还提供一种车牌识别装置,包括:
序列获取单元,用于获取车牌图像序列;
识别单元,用于将所述车牌图像序列中的各图像逐个作为当前图像,基于排列在所述当前图像前的上一图像的识别特征,对所述当前图像进行车牌识别,得到所述当前图像的识别结果,所述上一图像的识别特征是基于所述上一图像的识别结果确定的;
结果确定单元,用于基于所述车牌图像序列中的各图像的识别结果,确定车牌识别结果。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述车牌识别方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述车牌识别方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述车牌识别方法。
本发明提供的车牌识别方法、装置、电子设备和存储介质,对车牌图像序列中的每个图像进行车牌识别的过程中,均参考了排列在自身之前的所有图像的识别结果所体现出的识别特征,由此保证了单帧图像的车牌识别过程能够获取到更加丰富的信息输入,避免了单帧图像由于质量较差影响识别效果的问题,提高了车牌识别的可靠性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的车牌识别方法的流程示意图;
图2是本发明提供的识别特征确定方法的流程示意图;
图3是本发明提供的识别特征的融合流程示意图;
图4是本发明提供的车牌识别模型的运行流程示意图;
图5是本发明提供的车牌识别模型的训练流程示意图;
图6是本发明提供的车牌识别装置的结构示意图;
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前的车牌识别,多是针对单张图像进行。而由于车辆多数时间处于运动状态,抓拍得到的车牌图像质量普遍较差,导致基于单张车牌图像进行的车牌识别准确性较差。针对这一问题,本发明提供一种车牌识别方法,图1是本发明提供的车牌识别方法的流程示意图,如图1所示,该方法包括:
步骤110,获取车牌图像序列。
具体地,车牌图像序列包括多帧连续拍摄的图像,车牌图像序列中的各帧图像中均包含同一个车辆的车牌。车牌图像序列可以是从摄像头捕获的视频中拆分的一段包含同一车辆的视频的图像序列,也可以是在拍摄到包含同一车辆的图像序列之后,对该图像序列中的各图像分别以车牌为目标进行图像目标检测后,截取各图像中的车牌图像构成的图像序列,本发明实施例对此不作具体限定。
步骤120,将所述车牌图像序列中的各图像逐个作为当前图像,基于排列在所述当前图像前的上一图像的识别特征,对所述当前图像进行车牌识别,得到所述当前图像的识别结果,所述上一图像的识别特征是基于所述上一图像的识别结果确定的。
具体地,在得到车牌图像序列之后,可以将车牌图像序列中的各图像逐个作为当前图像,以上一图像的识别结果所确定的识别特征作为参考,对当前图像进行车牌识别,从而得到当前图像的识别结果。即,在对车牌图像序列中的每个图像进行车牌识别的过程中,均参考了上一图像的识别结果所体现出的识别特征。
并且,可以理解的是,由于上一图像的车牌识别也参考到了上上一图像的识别结果所体现的识别特征,因此上一图像的识别特征中也涵盖了上上一图像的识别特征,由此递推可知,针对当前图像的车牌识别,实际上参考到了车牌图像序列中排列在当前图像之前的所有图像的识别特征,由此保证了单帧图像的车牌识别过程能够获取到更加丰富的信息输入,从而提高了车牌识别的可靠性。
此处,基于识别结果所体现出的识别特征,可以反映识别结果中包含的车牌字符串的编码特征,也可以反映识别结果中车牌字符串的各字符在车牌图像中的位置特征,还可以反映识别结果中车牌字符串在视觉上的特征,本发明实施例对此不作具体限定。
具体在识别过程中,首先将车牌图像序列中排在第一位的图像,即首帧图像作为当前图像,并执行针对单帧图像的识别流程:
在以首帧图像作为当前图像的识别流程中,由于当前图像是车牌图像序列中的首帧图像,即当前图像在车牌图像序列中不存在上一图像,因此针对当前图像,也不存在上一图像的识别结果,此时可以直接对当前图像进行车牌识别,从而得到当前图像的识别结果,此处的车牌识别可以是OCR(optical character recognition,文字识别),识别结果表示当前图像中包含车牌的车牌字符串,例如“皖A 12345”、“鄂B 23456”。
在完成以首帧图像作为当前图像的识别流程之后,即可将车牌图像序列中在首帧图像之后的下一图像,即第二帧图像,作为当前图像,并返回执行识别流程:
在以第二帧图像作为当前图像的识别流程中,由于当前图像是车牌图像序列中的第二帧图像,即当前图像在车牌图像序列中存在上一图像,即首帧图像,且在上次识别流程执行完成时也得到的首帧图像的识别结果,此时可以对首帧图像的识别结果进行特征提取,从而得到首帧图像的识别特征,在此基础上,即可基于首帧图像的识别特征,对第二帧图像进行车牌识别,从而得到第二帧图像的识别结果。
在完成以第二帧图像作为当前图像的识别流程之后,即可将车牌图像序列中在第二帧图像之后的下一图像,即第三帧图像,作为当前图像,并返回执行识别流程。
以第三帧图像作为当前图像的识别流程与上述以第二帧图像作为当前图像的识别流程类似,此处不作赘述。可以理解的是,后续车牌图像序列中各帧图像依次作为当前图像的识别流程均与上述以第二帧图像作为当前图像的识别流程类似,在完成车牌图像序列中各帧图像分别作为当前图像的识别流程之后,即可得到车牌图像序列中各帧图像的识别结果。
可以理解的是,除首帧图像之外,车牌图像序列中各帧图像的识别结果均是在参考了排列在自身之前的所有图像的识别特征的情况下得到的,因此,各帧图像的识别结果均较相关技术中针对单帧图像得到的识别结果,更加准确可靠。
步骤130,基于所述车牌图像序列中的各图像的识别结果,确定车牌识别结果。
具体地,在得到车牌图像序列中的各图像的识别结果之后,可以将最多识别结果包含的车牌号字符串,作为最终的车牌识别结果,也可以对各识别结果包含的车牌号字符串中每个位置的字符出现的次数分别进行统计,然后选取每个位置上出现次数最多的字符构建字符串作为最终的车牌识别结果,本发明实施例对此不作具体限定。
本发明实施例提供的车牌识别方法,对车牌图像序列中的每个图像进行车牌识别的过程中,均参考了排列在自身之前的所有图像的识别结果所体现出的识别特征,由此保证了单帧图像的车牌识别过程能够获取到更加丰富的信息输入,避免了单帧图像由于质量较差影响识别效果的问题,提高了车牌识别的可靠性。
基于上述实施例,图2是本发明提供的识别特征确定方法的流程示意图,如图2所示,步骤120中应用的,上一图形的识别特征是基于如下步骤确定的:
步骤210,提取所述上一图像的识别结果中包括的车牌字符串的语义特征;
步骤220,基于所述语义特征,确定所述上一图像的识别特征。
具体地,上一图像的识别结果中包括车牌字符串,例如“皖A 12345”、“鄂B23456”。为了辅助当前图像进行车牌识别,可以对车牌字符串进行特征提取,使得提取所得的识别特征中可以涵盖车牌字符串的信息。此处,具体提取了车牌字符串的语义特征,可以理解的是,语义特征中不仅涵盖了车牌字符串中各字符自身的特征,还涵盖了车牌字符串中各字符在上下文上的特征,因此语义特征可以表征车牌字符串在字符层面以及字符排列层面的信息。语义特征的提取,可以通过预训练的语言模型,例如BERT(BidirectionalEncoder Representation from Transformers)模型实现。
在得到车牌字符串的语义特征之后,可以直接将语义特征作为识别特征,也可以在语义特征的基础上,作进一步的特征提取,或者添加其他与上一图像相关的特征融合构成识别特征,本发明实施例对此不作具体限定。
本发明实施例提供的方法,通过提取车牌字符串的语义特征确定识别特征,为单帧图像的车牌识别提供了有效参考,有助于提高车牌识别的准确性和可靠性。
基于上述任一实施例,步骤220包括:
对所述车牌字符串中的各字符在所述上一图像中的位置信息进行编码,得到位置特征;
基于所述位置特征和/或所述上一图像的视觉特征,以及所述语义特征,确定所述上一图像的识别特征。
具体地,在基于上一图像对应的车牌字符串的语义特征确定上一图像的识别特征的过程中,还可以融合除语义特征之外,其他维度上与上一图像相关的特征,以丰富用于当前图像车牌识别的参考信息。
在确定识别特征时,可以将语义特征,与车牌字符串中的各字符在上一图像中的位置特征和/或上一图像的视觉特征进行融合。此处,特征之间的融合可以通过拼接实现,也可以通过特征相加或者加权实现,本发明实施例对此不作具体限定。
此处,位置特征可以对上一图像中各字符的位置进行编码得到的,位置特征反映了上一图像中车牌字符的分布情况,将位置特征融合到识别特征中,使得针对当前图像进行车牌识别时,能够结合上一图像中车牌字符的分布情况更好地预测当前图像中车牌字符的分布情况,从而更准确地进行车牌字符识别;
视觉特征可以是对上一图像进行图像特征提取得到的,视觉特征反映了上一图像的图像信息,将视觉特征融合到识别特征中,使得针对当前图像进行车牌识别时,能够结合上一图像的图像信息,弥补当前图像的图像质量问题,从而更准确地进行车牌字符识别。
本发明实施例提供的方法,通过语义特征,与车牌字符串中的各字符在上一图像中的位置特征和/或上一图像的视觉特征确定识别特征,丰富了用于当前图像车牌识别的参考信息,有助于进一步提高车牌识别的准确性。
基于上述任一实施例,步骤220中,用于识别特征确定的位置信息和视觉特征是基于如下步骤确定的:
将所述上一图像输入至目标检测模型,由所述目标检测模型提取所述上一图像的视觉特征并基于所述视觉特征对所述上一图像进行字符检测,得到所述目标检测模型输出的所述视觉特征和所述各字符在所述上一图像中的位置信息;
所述目标检测模型是基于携带了字符位置标签的样本图像训练得到的。
具体地,位置信息和视觉特征,均是针对上一图像进行以字符为目标的目标检测得到的,此处的目标检测具体可以通过预先训练好的目标检测模型实现,具体过程中,可以将上一图像输入到目标检测模型中,由目标检测模型首先针对上一图像进行图像特征提取,从而得到上一图像的视觉特征,并且在此基础上,基于视觉特征进行目标检测,即可得到上一图像中各字符的位置信息,随后,目标检测模型输出检测过程中产生的视觉特征以及检测的结果即上一图像中各字符的位置信息。
在目标检测之前,还需要先完成目标检测模型的训练,目标检测模型的训练方法可以包括如下步骤:首先收集大量样本图像,并且标注样本图像中包含的字符的位置,形成携带了字符位置标签的样本图像;随后即可基于携带了字符位置标签的样本图像对初始模型进行训练,从而得到目标检测模型。
基于上述任一实施例,图3是本发明提供的识别特征的融合流程示意图,如图3所示,针对上一图像,可以通过车牌识别得到识别结果,即上一图像中的车牌字符串,通过BERT模型即可提取车牌字符串的语义特征。另外,可以通过目标检测得到上一图像的视觉特征和上一图像中各字符的位置信息,针对上一图像中各字符的位置信息作位置编码(Position Embedding)即可得到位置特征。
在得到语义特征、视觉特征和位置特征之后,对此三者进行融合,即可得到上一图像的识别特征。
基于上述任一实施例,图4是本发明提供的车牌识别模型的运行流程示意图,如图4所示,步骤120中,所述基于排列在所述当前图像前的上一图像的识别特征,对所述当前图像进行车牌识别,得到所述当前图像的识别结果,包括:
在所述当前图像为首帧图像的情况下,将所述当前图像输入至车牌识别模型中,得到所述车牌识别模型输出的所述当前图像的识别结果;
在所述当前图像非所述首帧图像的情况下,将所述上一图像的识别特征,以及所述当前图像输入至车牌识别模型中,得到所述车牌识别模型输出的所述当前图像的识别结果;
所述车牌识别模型是基于携带了车牌字符串标签的样本图像序列训练得到。
具体地,针对当前图像的车牌识别,可以通过车牌识别模型实现,此处的车牌识别模型可以是OCR模型,车牌识别模型的输入可以是单帧图像,也可以既包括单帧图像也包括该帧图像的上一图像的识别特征。且车牌识别模型输入形式的变化,是基于输入图像在车牌图像序列中的序号确定的,即,首帧图像单独输入,非首帧图像携带上一图像的识别特征一并输入。对应图4中,首帧图像,即图像1单独输入,非首帧图像,即图像2至图像n携带上一图像的识别特征一并输入。
在基于车牌识别模型进行车牌图像序列的识别之前,还需要对车牌识别模型进行训练。图5是本发明提供的车牌识别模型的训练流程示意图,如图5所示,在针对车牌识别模型进行训练的过程中,首先需要获取样本图像序列,并且标注样本图像序列中各图像的车牌字符串标签,可以理解的是,针对一个样本图像序列,其中各图像的车牌字符串标签是一致的。随后,可以逐个将样本图像序列中的各样本图像及其上一样本图像的识别特征输入到尚未训练完成的车牌识别模型中,以获取车牌识别模型输出的预测结果,并将预测结果与车牌字符串标签比对得到损失值。此处,损失值可以是通过交叉熵损失求得的。
基于上述任一实施例,步骤110包括:
获取初始图像序列;
对所述初始图像序列中的各图像进行车牌检测,得到所述初始图像序列中各图像的车牌检测结果;
从所述初始图像序列中截取连续多帧所述车牌检测结果为存在车牌的图像,构建所述车牌图像序列。
具体地,初始图像序列即直接采集得到的视频拆解得到的连续视频帧所构成的图像序列。对于初始图像序列中的每一帧图像,都可以进行车牌检测,从而得到各帧图形的车牌检测结果,此处的车牌检测结果可以指示该帧图像中是否包含有车牌。
根据各帧图像的车牌检测结果,可以确定各帧图像中是否包含有车牌,从而将初始图像序列以连续多帧图像中是否包含车牌为基准分解成一段一段,从而区分是否属于同一车辆,并基于每段中包含车牌的图像构建车牌图像序列,例如可以如果连续5帧没有检测到车牌,就设置1个段点,或者连续3帧没有检测到车牌,就设置1个段点。假设共30帧的初始图像序列的车牌检测结果如下表所示:
序号 1-8 9-16 17-23 24 25-27 28-30
车牌检测结果
以连续5帧作为基准,则序号1-8的图像构成一个车辆的车牌图像序列,17-23、25-27的图像构成一个车辆的车牌图像序列。
本发明实施例提供的方法,通过连续多帧图像中是否包含车牌为基准对初始图像序列进行拆分,实现了初始图像序列的车辆区分,为后续针对同一车辆的车牌图像序列进行车牌识别提供了条件。
基于上述任一实施例,步骤110中,所述从所述初始图像序列中截取连续多帧所述车牌检测结果为存在车牌的图像,构建所述车牌图像序列,包括:
从所述初始图像序列中截取连续多帧所述车牌检测结果为存在车牌的图像,构建候选图像序列;
基于所述候选图像序列中各图像的车牌检测结果中的车牌位置信息,对所述候选图像序列中的各图像进行车牌图像截取,得到所述车牌图像序列。
具体地,将初始图像序列以连续多帧图像中是否包含车牌为基准分解成一段一段,从而区分是否属于同一车辆,并基于每段中包含车牌的图像,构建候选图像序列。此处的候选图像序列中的各图像所包含的车牌,均是同一车辆的车牌。
在此基础上,还可以针对之前进行车牌检测得到的车牌检测结果中包含的车牌在图像中的位置信息,即,车牌位置信息,从候选图像序列的各图像中截取出车牌所在的区域,即车牌图像,从而构成车牌图像序列。
本发明实施例提供的方法,考虑到车牌拍摄过程中车辆可能存在运动,且相机本身也可能抖动,导致针对一个车辆拍摄的图像序列中各图像的车牌位置不同,对各图像进行了车牌图像截取,避免了车牌在图像中的位置区别对于后续基于车牌图像序列的车牌识别造成干扰,提高了车牌识别的可靠性。
基于上述任一实施例,图6是本发明提供的车牌识别装置的结构示意图,如图6所示,该装置包括:
序列获取单元610,用于获取车牌图像序列;
识别单元620,用于将所述车牌图像序列中的各图像逐个作为当前图像,基于排列在所述当前图像前的上一图像的识别特征,对所述当前图像进行车牌识别,得到所述当前图像的识别结果,所述上一图像的识别特征是基于所述上一图像的识别结果确定的;
结果确定单元630,用于基于所述车牌图像序列中的各图像的识别结果,确定车牌识别结果。
本发明实施例提供的车牌识别装置,对车牌图像序列中的每个图像进行车牌识别的过程中,均参考了排列在自身之前的所有图像的识别结果所体现出的识别特征,由此保证了单帧图像的车牌识别过程能够获取到更加丰富的信息输入,避免了单帧图像由于质量较差影响识别效果的问题,提高了车牌识别的可靠性。
基于上述任一实施例,该装置还包括识别特征确定单元,用于:
提取所述上一图像的识别结果中包括的车牌字符串的语义特征;
基于所述语义特征,确定所述上一图像的识别特征。
基于上述任一实施例,识别特征确定单元具体用于:
对所述车牌字符串中的各字符在所述上一图像中的位置信息进行编码,得到位置特征;
基于所述位置特征和/或所述上一图像的视觉特征,以及所述语义特征,确定所述上一图像的识别特征。
基于上述任一实施例,识别特征确定单元还用于:
将所述上一图像输入至目标检测模型,由所述目标检测模型提取所述上一图像的视觉特征并基于所述视觉特征对所述上一图像进行字符检测,得到所述目标检测模型输出的所述视觉特征和所述各字符在所述上一图像中的位置信息;
所述目标检测模型是基于携带了字符位置标签的样本图像训练得到的。
基于上述任一实施例,识别单元620具体用于:
在所述当前图像为首帧图像的情况下,将所述当前图像输入至车牌识别模型中,得到所述车牌识别模型输出的所述当前图像的识别结果;
在所述当前图像非所述首帧图像的情况下,将所述上一图像的识别特征,以及所述当前图像输入至车牌识别模型中,得到所述车牌识别模型输出的所述当前图像的识别结果;
所述车牌识别模型是基于携带了车牌字符串标签的样本图像序列训练得到。
基于上述任一实施例,序列获取单元610用于:
获取初始图像序列;
对所述初始图像序列中的各图像进行车牌检测,得到所述初始图像序列中各图像的车牌检测结果;
从所述初始图像序列中截取连续多帧所述车牌检测结果为存在车牌的图像,构建所述车牌图像序列。
基于上述任一实施例,序列获取单元610用于:
从所述初始图像序列中截取连续多帧所述车牌检测结果为存在车牌的图像,构建候选图像序列;
基于所述候选图像序列中各图像的车牌检测结果中的车牌位置信息,对所述候选图像序列中的各图像进行车牌图像截取,得到所述车牌图像序列。
图7示例了一种电子设备的实体结构示意图,如图7所示,该电子设备可以包括:处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740,其中,处理器710,通信接口720,存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令,以执行车牌识别方法,该方法包括:
获取车牌图像序列;
将所述车牌图像序列中的各图像逐个作为当前图像,基于排列在所述当前图像前的上一图像的识别特征,对所述当前图像进行车牌识别,得到所述当前图像的识别结果,所述上一图像的识别特征是基于所述上一图像的识别结果确定的;
基于所述车牌图像序列中的各图像的识别结果,确定车牌识别结果。
此外,上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的车牌识别方法,该方法包括:
获取车牌图像序列;
将所述车牌图像序列中的各图像逐个作为当前图像,基于排列在所述当前图像前的上一图像的识别特征,对所述当前图像进行车牌识别,得到所述当前图像的识别结果,所述上一图像的识别特征是基于所述上一图像的识别结果确定的;
基于所述车牌图像序列中的各图像的识别结果,确定车牌识别结果。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的车牌识别方法,该方法包括:
获取车牌图像序列;
将所述车牌图像序列中的各图像逐个作为当前图像,基于排列在所述当前图像前的上一图像的识别特征,对所述当前图像进行车牌识别,得到所述当前图像的识别结果,所述上一图像的识别特征是基于所述上一图像的识别结果确定的;
基于所述车牌图像序列中的各图像的识别结果,确定车牌识别结果。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种车牌识别方法,其特征在于,包括:
获取车牌图像序列;
将所述车牌图像序列中的各图像逐个作为当前图像,基于排列在所述当前图像前的上一图像的识别特征,对所述当前图像进行车牌识别,得到所述当前图像的识别结果,所述上一图像的识别特征是基于所述上一图像的识别结果确定的;
基于所述车牌图像序列中的各图像的识别结果,确定车牌识别结果。
2.根据权利要求1所述的车牌识别方法,其特征在于,所述上一图像的识别特征是基于如下步骤确定的:
提取所述上一图像的识别结果中包括的车牌字符串的语义特征;
基于所述语义特征,确定所述上一图像的识别特征。
3.根据权利要求2所述的车牌识别方法,其特征在于,所述基于所述语义特征,确定所述上一图像的识别特征,包括:
对所述车牌字符串中的各字符在所述上一图像中的位置信息进行编码,得到位置特征;
基于所述位置特征和/或所述上一图像的视觉特征,以及所述语义特征,确定所述上一图像的识别特征。
4.根据权利要求3所述的车牌识别方法,其特征在于,所述车牌字符串中的各字符在所述上一图像中的位置信息和所述上一图像的视觉特征基于如下步骤确定:
将所述上一图像输入至目标检测模型,由所述目标检测模型提取所述上一图像的视觉特征并基于所述视觉特征对所述上一图像进行字符检测,得到所述目标检测模型输出的所述视觉特征和所述各字符在所述上一图像中的位置信息;
所述目标检测模型是基于携带了字符位置标签的样本图像训练得到的。
5.根据权利要求1至4中任一项所述的车牌识别方法,其特征在于,所述基于排列在所述当前图像前的上一图像的识别特征,对所述当前图像进行车牌识别,得到所述当前图像的识别结果,包括:
在所述当前图像为首帧图像的情况下,将所述当前图像输入至车牌识别模型中,得到所述车牌识别模型输出的所述当前图像的识别结果;
在所述当前图像非所述首帧图像的情况下,将所述上一图像的识别特征,以及所述当前图像输入至车牌识别模型中,得到所述车牌识别模型输出的所述当前图像的识别结果;
所述车牌识别模型是基于携带了车牌字符串标签的样本图像序列训练得到。
6.根据权利要求1至4中任一项所述的车牌识别方法,其特征在于,所述获取车牌图像序列,包括:
获取初始图像序列;
对所述初始图像序列中的各图像进行车牌检测,得到所述初始图像序列中各图像的车牌检测结果;
从所述初始图像序列中截取连续多帧所述车牌检测结果为存在车牌的图像,构建所述车牌图像序列。
7.根据权利要求6所述的车牌识别方法,其特征在于,所述从所述初始图像序列中截取连续多帧所述车牌检测结果为存在车牌的图像,构建所述车牌图像序列,包括:
从所述初始图像序列中截取连续多帧所述车牌检测结果为存在车牌的图像,构建候选图像序列;
基于所述候选图像序列中各图像的车牌检测结果中的车牌位置信息,对所述候选图像序列中的各图像进行车牌图像截取,得到所述车牌图像序列。
8.一种车牌识别装置,其特征在于,包括:
序列获取单元,用于获取车牌图像序列;
识别单元,用于将所述车牌图像序列中的各图像逐个作为当前图像,基于排列在所述当前图像前的上一图像的识别特征,对所述当前图像进行车牌识别,得到所述当前图像的识别结果,所述上一图像的识别特征是基于所述上一图像的识别结果确定的;
结果确定单元,用于基于所述车牌图像序列中的各图像的识别结果,确定车牌识别结果。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述车牌识别方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述车牌识别方法。
CN202211065170.9A 2022-08-29 2022-08-29 车牌识别方法、装置、电子设备和存储介质 Pending CN115424253A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211065170.9A CN115424253A (zh) 2022-08-29 2022-08-29 车牌识别方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211065170.9A CN115424253A (zh) 2022-08-29 2022-08-29 车牌识别方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115424253A true CN115424253A (zh) 2022-12-02

Family

ID=84203271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211065170.9A Pending CN115424253A (zh) 2022-08-29 2022-08-29 车牌识别方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115424253A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704490A (zh) * 2023-08-02 2023-09-05 苏州万店掌网络科技有限公司 车牌识别方法、装置和计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704490A (zh) * 2023-08-02 2023-09-05 苏州万店掌网络科技有限公司 车牌识别方法、装置和计算机设备
CN116704490B (zh) * 2023-08-02 2023-10-10 苏州万店掌网络科技有限公司 车牌识别方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN110070029B (zh) 一种步态识别方法及装置
CN112329719B (zh) 行为识别方法、装置以及计算机可读存储介质
CN111401171B (zh) 一种人脸图像的识别方法、装置、电子设备和存储介质
CN111046971A (zh) 图像识别方法、装置、设备及计算机可读存储介质
CN112215236B (zh) 文本识别方法、装置、电子设备及存储介质
CN110175553B (zh) 基于步态识别与人脸识别建立特征库的方法及装置
CN115424253A (zh) 车牌识别方法、装置、电子设备和存储介质
CN111325078A (zh) 一种人脸识别方法、装置及存储介质
CN116189063B (zh) 一种用于智能视频监控的关键帧优化方法及装置
CN111241930A (zh) 一种用于人脸识别的方法及系统
CN114241363A (zh) 工序识别方法、装置、电子设备和存储介质
CN115761842A (zh) 一种人脸底库自动更新方法、装置
CN112818150B (zh) 一种图片内容审核方法、装置、设备和介质
CN112560728B (zh) 目标对象识别方法及装置
CN111553408B (zh) 视频识别软件自动测试的方法
CN114612907A (zh) 一种车牌识别方法及装置
CN115880599A (zh) 基于行为识别算法的物体被盗检测方法及装置
CN113554685A (zh) 遥感卫星运动目标检测方法、装置、电子设备及存储介质
CN112381058A (zh) 基于行人重识别的黑白名单管控方法及设备
CN116311080B (zh) 监控影像检测方法及装置
CN114022869B (zh) 一种基于级联网络的车辆重识别方法及装置
CN113516058B (zh) 直播视频群组异常活动检测方法、装置、电子设备及介质
CN116740813B (zh) 一种基于ai图像识别行为监测的分析系统及其方法
US20240054757A1 (en) Methods and systems for temporal action localization of video data
CN117671750A (zh) 一种人脸特定部位检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination