CN112215222A - 车牌识别方法、装置、设备及存储介质 - Google Patents

车牌识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112215222A
CN112215222A CN202011086689.6A CN202011086689A CN112215222A CN 112215222 A CN112215222 A CN 112215222A CN 202011086689 A CN202011086689 A CN 202011086689A CN 112215222 A CN112215222 A CN 112215222A
Authority
CN
China
Prior art keywords
license plate
vehicle detection
sample classifier
result image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011086689.6A
Other languages
English (en)
Inventor
刘世超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202011086689.6A priority Critical patent/CN112215222A/zh
Publication of CN112215222A publication Critical patent/CN112215222A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种车牌识别方法、装置、设备及存储介质,方法包括:获取计算机视觉传感器采集的目标图像;采用预设的车辆检测模型对所述目标图像中的车辆进行检测,以获得至少一幅车辆检测结果图像;所述车辆检测模型中包括训练至收敛的正样本分类器、训练至收敛的负样本分类器及检测结果解析子模型;采用预设的变形平面目标检测模型对所述车辆检测结果图像中的车牌进行检测和校正,以获得车牌检测校正结果图像;对所述车牌检测校正结果图像中的车牌字符进行识别。由于首先识别车辆检测结果图像,并对车辆检测结果图像进行校正操作,从而能够在车牌图像存在倾斜视角时,也能够实现对车牌信息的识别。

Description

车牌识别方法、装置、设备及存储介质
技术领域
本公开实施例涉及图像处理技术领域,尤其涉及一种车牌识别方法、装置、设备及存储介质。
背景技术
随着人工智能技术的不断发展,智能交通系统也得到了不断发展。在智能交通系统中,需要对车牌进行自动化检测和识别以满足各种应用场景需求。如应用在收费监控场景,停车场验证场景等。
现有技术中,在对车牌进行自动化检测和识别时,应用到自动车牌识别系统(英文为:Automatic License Plate Recognition,简称为:ALPR)。该ALPR系统在计算机视觉传感器采集只包括一辆车及车牌的正面视图的特定场景中具有很高的识别准确率。如在收费监控场景和停车场验证场景中均具有很高的识别率。
但智能交通系统的应用不仅局限上述的特定场景中,在某些挑战性的场景中,如计算机视觉传感器采集包括多辆车的图像,每辆车的车牌图像由于是倾斜视角而存在失真情况时,该ALPR系统无法对车牌进行准确地识别,导致智能交通系统中错误车牌信息的出现。
发明内容
本公开实施例提供一种车牌识别方法、装置、设备及存储介质,该方法解决了现有的车牌识别方法在车牌图像存在倾斜视角时,无法准确地识别车牌信息的技术问题。
第一方面,本公开实施例提供一种车牌识别方法,包括:
获取计算机视觉传感器采集的目标图像;
采用预设的车辆检测模型对所述目标图像中的车辆进行检测,以获得至少一幅车辆检测结果图像;所述车辆检测模型中包括训练至收敛的正样本分类器、训练至收敛的负样本分类器及检测结果解析子模型;
采用预设的变形平面目标检测模型对所述车辆检测结果图像中的车牌进行检测和校正,以获得车牌检测校正结果图像;
对所述车牌检测校正结果图像中的车牌字符进行识别。
进一步地,如上所述的方法,所述采用预设的车辆检测模型对所述目标图像中的车辆进行检测,以获得至少一幅车辆检测结果图像,包括:
将所述目标图像分别输入到所述训练至收敛的正样本分类器及所述训练至收敛的负样本分类器中;
通过所述训练至收敛的正样本分类器输出至少一个第一车辆检测区域并通过所述训练至收敛的负样本分类器输出非车辆检测区域;
采用所述检测结果解析子模型对所述第一车辆检测区域和所述非车辆检测区域进行解析,确定至少一幅车辆检测结果图像。
进一步地,如上所述的方法,所述采用所述检测结果解析子模型对所述车辆检测区域和所述非车辆检测区域进行解析,确定至少一幅车辆检测结果图像,包括:
将所述车辆检测区域和所述非车辆检测区域输入到所述检测结果解析子模型中;
通过所述检测结果解析子模型确定所述非车辆检测区域对应的第二车辆检测区域,并将所述第一车辆检测区域和所述第二车辆检测区域进行对比,以确定最终车辆检测区域;
根据所述最终车辆检测区域裁切出至少一幅车辆检测结果图像。
进一步地,如上所述的方法,所述采用预设的车辆检测模型对所述目标图像中的车辆进行检测,以获得至少一幅车辆检测结果图像之前,还包括:
分别获取所述正样本分类器对应的第一训练样本和所述负样本分类器对应的第二训练样本;
采用所述第一训练样本对初始正样本分类器进行训练,并采用所述第二训练样本对初始负样本分类器进行训练;
分别判断所述初始正样本分类器和所述初始负样本分类器是否满足预设的收敛条件;
将满足预设收敛条件的正样本分类器确定为所述训练至收敛的正样本分类器,并将满足预设收敛条件的负样本分类器确定为所述训练至收敛的负样本分类器。
进一步地,如上所述的方法,所述分别判断所述初始正样本分类器和所述初始负样本分类器是否满足预设的收敛条件,包括:
分别判断所述初始正样本分类器和所述初始负样本分类器对应的焦点损失函数的取值是否达到最小;
若确定初始正样本分类器和所述初始负样本分类器对应的焦点损失函数的取值达到最小,则确定初始正样本分类器和所述初始负样本分类器满足预设收敛条件。
进一步地,如上所述的方法,所述训练至收敛的正样本分类器和/或所述训练至收敛的负样本分类器为训练至收敛的YOLOv5模型。
进一步地,如上所述的方法,所述采用预设的变形平面目标检测模型对所述车辆检测结果图像中的车牌进行检测和校正,以获得车牌检测校正结果图像,包括:
将所述车辆检测结果图像输入到所述预设的变形平面目标检测模型中;
通过所述变形平面目标检测模型中的车牌检测子模型对所述车辆检测结果图像中的车牌区域进行检测,以获得车牌检测结果图像;
采用所述变形平面目标检测模型中的仿射矩阵对所述车牌检测结果图像进行仿射变换,以获得车牌检测校正结果图像。
进一步地,如上所述的方法,所述采用所述变形平面目标检测模型中的仿射矩阵对所述车牌检测结果图像进行仿射变换,以获得车牌检测校正结果图像之后,还包括:
采用所述变形平面目标检测模型中的归一化函数对所述车牌检测校正结果图像进行去噪处理。
进一步地,如上所述的方法,所述对所述车牌检测校正结果图像中的车牌字符进行识别,包括:
采用OCR技术对所述车牌检测校正结果图像中的车牌字符进行识别。
第二方面,本公开实施例提供一种车牌识别装置,包括:
图像获取模块,用于获取计算机视觉传感器采集的目标图像;
车辆检测模块,用于采用预设的车辆检测模型对所述目标图像中的车辆进行检测,以获得至少一幅车辆检测结果图像;所述车辆检测模型中包括训练至收敛的正样本分类器、训练至收敛的负样本分类器及检测结果解析子模型;
车牌检测校正模块,用于采用预设的变形平面目标检测模型对所述车辆检测结果图像中的车牌进行检测和校正,以获得车牌检测校正结果图像;
车牌识别模块,用于对所述车牌检测校正结果图像中的车牌字符进行识别。
第三方面,本公开实施例提供一种电子设备,包括:
存储器,处理器以及计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如第一方面所述的方法。
第四方面,本公开实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现如第一方面所述的方法。
本公开实施例提供一种车牌识别方法、装置、设备及存储介质,通过在获取到计算机视觉传感器采集的目标图像之后,可以通过预设的车辆检测模型识别该目标图像中的车辆检测结果图像,其中,该车辆检测模型中包括正样本分类器、负样本分类器以及结果解析子模型,从而能够精准地识别出目标图像中的车辆检测结果图像。进一步地,采用预设的变形平面目标检测模型对车辆监测结果图像中的车牌进行检测和校正,获得车牌检测校正结果图像,对车牌检测校正结果图像中的车牌字符进行识别。由于首先识别车辆检测结果图像,并对车辆检测结果图像进行校正操作,从而能够在车牌图像存在倾斜视角时,也能够实现对车牌信息的识别。
应当理解,上述发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征,亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开基于的网络架构示意图;
图2为本公开实施例一提供的车牌识别方法的流程示意图;
图3为本公开实施例提供的倾斜车牌区域示意图;
图4为本公开实施例提供的车辆检测模型的结构示意图;
图5为本公开实施例提供的应用场景示意图;
图6为本公开实施例二提供的车牌识别方法的流程示意图;
图7为本公开实施例三提供的车牌识别方法的流程示意图;
图8为本公开实施例四提供的车牌识别方法的流程示意图;
图9为本公开实施例五提供的车牌识别装置的结构示意图;
图10为本公开实施例六提供的车牌识别装置的结构示意图;
图11为本公开实施例七提供的车牌识别装置的结构示意图;
图12为本公开实施例八提供的车牌识别装置的结构示意图;
图13为本公开实施例九提供的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
针对上述提及的现有的车牌识别方法在车牌图像存在倾斜视角时,无法准确地识别车牌信息的技术问题,本公开提供了一种车牌识别方法、装置、设备及存储介质。
需要说明的是,本公开提供车牌识别方法、装置、设备及存储介质可运用在各种对车牌进行识别的场景中。
现有技术中,为了实现对车辆的车牌检测,一般都将计算机视觉传感器采集的图像输入至自动车牌识别系统中,得到识别结果。但是,该自动车牌识别系统一般只能对只包括一辆车及车牌的正面视图的特定图像进行精准识别。而当车牌存在倾斜视角时,采用自动车牌识别系统进行识别,则识别精度不高。
在解决上述技术问题的过程中,发明人通过研究发现,为了实现对任意一种场景下的车牌识别,在获取到计算机视觉传感器采集的目标图像之后,首先可以采用预设的车辆检测模型识别该目标图像中的车辆检测结果图像。为了提高后续的车牌识别精度,可以对该车辆检测结果图像进行校正操作,对校正后的车牌检测校正结果图像进行字符识别。由于该车辆检测模型中包括正样本分类器、负样本分类器及检测结果解析子模型,从而该车辆检测模型的识别精度较高。进一步地对车辆检测结果图像进行校正操作,从而能够提高车牌检测的识别精度,适用于各种不同的场景,当车牌存在倾斜时,也能够对其进行精准地识别。
图1为本公开基于的网络架构示意图,如图1所示,本公开基于的网络架构至少包括:计算机视觉传感器1以及服务器2,其中,服务器2中设置有车牌识别装置。该车牌识别装置采用C/C++、Java、Shell或Python等语言编写。该计算机视觉传感器1与服务器2通信连接,从而二者可以进行信息交互。
图2为本公开实施例一提供的车牌识别方法的流程示意图,如图2所示,该方法包括:
步骤101、获取计算机视觉传感器采集的目标图像。
本实施例的执行主体为车牌识别装置,该车牌识别装置可耦合于服务器中。该服务器可以与计算机视觉传感器通信连接,从而能够与计算机视觉传感器进行信息交互。
在本实施方式中,该计算机视觉传感器可以设置在任意一个需要进行车牌识别的场景中,例如停车场、高速公路、加油站等场景。其可以获取目标场景中的目标图像,并发送给车牌识别装置。相应地,车牌识别装置可以获取计算机视觉传感器发送的目标图像。
具体地,该计算机视觉传感器可以按照预设的时间间隔向车牌识别装置发送目标图像,也可以实时地向车牌识别装置发送目标图像,本公开对此不做限制。
实际应用中,由于计算机视觉传感器设置的位置不同,其采集到的目标图像中的车牌区域可能会存在倾斜角度。图3为本公开实施例提供的倾斜车牌区域示意图,如图3所示,车牌区域存在不同程度的倾斜,导致后续车牌识别精度不高。
步骤102、采用预设的车辆检测模型对所述目标图像中的车辆进行检测,以获得至少一幅车辆检测结果图像;所述车辆检测模型中包括训练至收敛的正样本分类器、训练至收敛的负样本分类器及检测结果解析子模型。
在本实施方式中,由于计算机视觉传感器采集的目标图像中,除了车辆区域以外,往往还包括很多非车辆检测区域。因此,针对整张目标图像进行车牌识别往往计算量较大,导致识别效率低,识别精度不高。
因此,为了提高车牌识别的效率以及精度,在进行车牌识别操作之前,首先可以通过预设的车辆检测模型对目标图像中的车辆进行检测,获得至少一个车辆检测结果图像,其中,该车辆检测结果图像中仅包括车辆区域。
需要说明的是,该车辆检测模型中具体包括训练至收敛的正样本分类器、训练至收敛的负样本分类器及检测结果解析子模型,其中,该正样本分类器用于对目标图像中车辆区域进行识别,负样本分类器用于对目标图像中的非车辆检测区域进行识别。检测结果解析子模型用于根据车辆区域以及非车辆检测区域确定精准的车辆检测结果图像。
图4为本公开实施例提供的车辆检测模型的结构示意图,如图4所示,该车辆检测模型具体包括正样本分类器、负样本分类器以及结果分析子模型。实际应用中,可以将输入正样本对正样本分类器进行训练,并输入负样本对负样本分类器进行训练。
步骤103、采用预设的变形平面目标检测模型对所述车辆检测结果图像中的车牌进行检测和校正,以获得车牌检测校正结果图像。
在本实施方式中,由于计算机视觉传感器设置的位置不同,其采集到的目标图像中的车牌区域可能会存在倾斜角度。而存在倾斜角度的车牌可能会导致识别经过不够精准。因此,为了提高车牌的识别精度,在获得至少一个车辆检测结果图像之后,可以采用预设的变形平面目标检测模型对每一车辆检测结果图像中的车牌进行检测与矫正,得到校正后的,水平的车牌检测校正结果图像。
步骤104、对所述车牌检测校正结果图像中的车牌字符进行识别。
在本实施方式中,当对车辆检测结果图像中的车牌进行检测以及校正,获得水平方向的车牌检测校正结果图像之后,即可以对该车牌检测校正结果图像中的车牌字符进行识别。
需要说明的是,由于该车牌检测校正结果图像为处于水平方向的车牌区域图像,因此,可以采用任意一种能够实现字符识别的方法对其进行字符识别操作。举例来说,具体可以采用OCR技术对所述车牌检测校正结果图像中的车牌字符进行识别。
图5为本公开实施例提供的应用场景示意图,如图5所示,从计算机视觉传感器获取的目标图像中具体包括三台车辆。通过预设的车辆检测模型对该目标图像中的车辆进行检测,分别得到三个车辆对应的车辆检测结果图像。为了提高后续车牌识别的识别精度。可以对该车辆检测结果图像进行检测,检测到车辆检测结果图像中的车牌区域,并对该车牌区域进行校正操作,得到是哪个车牌检测校正结果图像。分别对该车牌检测校正结果图像进行字符识别操作,获得三台车辆对应的车牌号码。
本实施例提供的车牌识别方法,通过在获取到计算机视觉传感器采集的目标图像之后,可以通过预设的车辆检测模型识别该目标图像中的车辆检测结果图像,其中,该车辆检测模型中包括正样本分类器、负样本分类器以及结果解析子模型,从而能够精准地识别出目标图像中的车辆检测结果图像。进一步地,采用预设的变形平面目标检测模型对车辆监测结果图像中的车牌进行检测和校正,获得车牌检测校正结果图像,对车牌检测校正结果图像中的车牌字符进行识别。由于首先识别车辆检测结果图像,并对车辆检测结果图像进行校正操作,从而能够在车牌图像存在倾斜视角时,也能够实现对车牌信息的识别。
图6为本公开实施例二提供的车牌识别方法的流程示意图,在实施例一的基础上,如图6所示,步骤102具体包括:
步骤201、将所述目标图像分别输入到所述训练至收敛的正样本分类器及所述训练至收敛的负样本分类器中。
步骤202、通过所述训练至收敛的正样本分类器输出至少一个第一车辆检测区域并通过所述训练至收敛的负样本分类器输出非车辆检测区域。
步骤203、采用所述检测结果解析子模型对所述第一车辆检测区域和所述非车辆检测区域进行解析,确定至少一幅车辆检测结果图像。
在本实施例中,由于计算机视觉传感器采集的目标图像中,除了车辆区域以外,往往还包括很多非车辆检测区域。因此,为了实现对车牌的精准识别,首先可以采用预设的车辆检测模型去除目标图像中的非车辆检测区域,对车辆区域进行识别操作。
具体地,将目标图像输入至已经训练至收敛的正样本分类器中,获得至少一个第一车辆检测区域,以及,将目标图像输入至已经训练至收敛的负样本分类器中,获得目标图像中的非车辆检测区域。
为了提高识别的车辆区域的精准度,在获得第一车辆检测区域以及非车辆检测区域之后,可以采用检测结果解析子模型对所述第一车辆检测区域和非车辆检测区域进行解析,确定至少一幅车辆检测结果图像。
进一步地,在实施例一的基础上,步骤203具体包括:
将所述车辆检测区域和所述非车辆检测区域输入到所述检测结果解析子模型中。
通过所述检测结果解析子模型确定所述非车辆检测区域对应的第二车辆检测区域,并将所述第一车辆检测区域和所述第二车辆检测区域进行对比,以确定最终车辆检测区域。
根据所述最终车辆检测区域裁切出至少一幅车辆检测结果图像。
在本实施例中,为了实现对至少一幅车辆检测结果图像的识别,具体可以将车辆检测区域和所述非车辆检测区域输入到所述检测结果解析子模型中,通过检测结果解析子模型确定非车辆检测区域对应的第二车辆检测区域。将第一车辆检测区域与第二车辆检测区域进行对比,以确定最终车辆检测区域。在最终车辆检测区域中进行裁切操作,获得至少一幅车辆检测结果图像。
本实施例提供的车牌识别方法,通过在车牌识别之前,首先采用预设的车辆检测模型去除目标图像中的非车辆检测区域,对车辆区域进行识别操作,从而能够提高车牌识别的精准度,并且能够减少车牌识别过程中的计算量,提高检测效率。
图7为本公开实施例三提供的车牌识别方法的流程示意图,在上述任一实施例的基础上,如图7所示,步骤102之前,还包括:
步骤301、分别获取所述正样本分类器对应的第一训练样本和所述负样本分类器对应的第二训练样本。
步骤302、采用所述第一训练样本对初始正样本分类器进行训练,并采用所述第二训练样本对初始负样本分类器进行训练。
步骤303、分别判断所述初始正样本分类器和所述初始负样本分类器是否满足预设的收敛条件。
步骤304、将满足预设收敛条件的正样本分类器确定为所述训练至收敛的正样本分类器,并将满足预设收敛条件的负样本分类器确定为所述训练至收敛的负样本分类器。
在本实施例中,为了能够采用车辆检测模型进行车辆检测结果图像的检测操作,首先需要训练获得该车辆检测模型。具体地,可以分别获取正样本分类器对应的第一训练样本和负样本分类器对应的第二训练样本。其中,该第一训练样本中包括多张已经对车辆区域进行标注的图像,第二训练样本中包括多张已经对非车辆区域进行标注的图像。
采用第一训练样本对初始正样本分类器进行训练,并采用第二训练样本对初始负样本分类器进行训练。分别判断初始正样本分类器和初始负样本分类器是否满足预设的收敛条件。将满足预设收敛条件的正样本分类器确定为训练至收敛的正样本分类器,并将满足预设收敛条件的负样本分类器确定为训练至收敛的负样本分类器。
进一步地,在上述任一实施例的基础上,步骤303具体包括:
分别判断所述初始正样本分类器和所述初始负样本分类器对应的焦点损失函数的取值是否达到最小;
若确定初始正样本分类器和所述初始负样本分类器对应的焦点损失函数的取值达到最小,则确定初始正样本分类器和所述初始负样本分类器满足预设收敛条件。
在本实施例中,具体可以通过焦点损失值是否达到最小来判定初始正样本分类器和初始负样本分类器是否收敛。
具体地,可以分别判断初始正样本分类器和初始负样本分类器对应的焦点损失值是否达到最小,若是,则可以判定该初始正样本分类器和所述初始负样本分类器满足预设收敛条件,反之,则表征初始正样本分类器和所述初始负样本分类器满足预设收敛条件未收敛,还需要继续采用第一训练样本以及第二训练样本进行训练操作。其中,初始正样本分类器和所述初始负样本分类器对应的损失函数如公式1所示:
Figure BDA0002720599570000111
其中,-log(p)为初始交叉熵损失函数,α为类别间(0-1二分类)的权重参数,(1-p)γ为简单/困难样本调节因子(modulating factor),而γ则为聚焦参数(focusingparameter)。
具体地,所述训练至收敛的正样本分类器和/或所述训练至收敛的负样本分类器为训练至收敛的YOLOv5模型。
本实施例提供的车牌识别方法,通过分别获取正样本分类器对应的第一训练样本和负样本分类器对应的第二训练样本。采用第一训练样本对初始正样本分类器进行训练,并采用第二训练样本对初始负样本分类器进行训练。直至初始正样本分类器以及初始负样本分类器收敛,从而后续能够通过该车辆检测模型对车辆区域进行识别操作,从而能够提高车牌识别的精准度,并且能够减少车牌识别过程中的计算量,提高检测效率。
图8为本公开实施例四提供的车牌识别方法的流程示意图,在上述任一实施例的基础上,如图8所示,步骤103具体包括:
步骤401、将所述车辆检测结果图像输入到所述预设的变形平面目标检测模型中。
步骤402、通过所述变形平面目标检测模型中的车牌检测子模型对所述车辆检测结果图像中的车牌区域进行检测,以获得车牌检测结果图像。
步骤403、采用所述变形平面目标检测模型中的仿射矩阵对所述车牌检测结果图像进行仿射变换,以获得车牌检测校正结果图像。
在本实施例中,由于目标图像中的车牌区域可能会存在倾斜角度。而存在倾斜角度的车牌可能会导致识别经过不够精准。因此,可以采用预设的变形平面目标检测模型对每一车辆检测结果图像中的车牌进行检测与矫正,得到校正后的,水平的车牌检测校正结果图像。
具体地,可以将车辆检测结果图像输入到预设的变形平面目标检测模型中。通过该变形平面目标检测模型中的车牌检测子模型对所述车辆检测结果图像中的车牌区域进行检测,以获得车牌检测结果图像。
采用所述变形平面目标检测模型中的仿射矩阵对所述车牌检测结果图像进行仿射变换,以获得车牌检测校正结果图像。其中,可以采用任意一种能够实现图像校正的仿射矩阵实现对车牌检测结果图像的仿射变换,本公开对此不做限制。
进一步地,在上述任一实施例的基础上,步骤403之后,还包括:
采用所述变形平面目标检测模型中的归一化函数对所述车牌检测校正结果图像进行去噪处理。
在本实施例中,为了提高获得的车牌检测结果图像的精度,该变形平面目标检测模型中还设置有归一化函数。可以采用该归一化函数对车牌检测校正结果图像进行去噪处理。
本实施例提供的车牌识别方法,通过采用预设的变形平面目标检测模型对每一车辆检测结果图像中的车牌进行检测与矫正,得到校正后的,水平的车牌检测校正结果图像,从而能够在车牌图像存在倾斜视角时,也能够实现对车牌信息的识别。
图9为本公开实施例五提供的车牌识别装置的结构示意图,如图9所示,该装置包括:图像获取模块51、车辆检测模块52、车牌检测校正模块53以及车牌识别模块54。其中,图像获取模块51,用于获取计算机视觉传感器采集的目标图像。车辆检测模块52,用于采用预设的车辆检测模型对所述目标图像中的车辆进行检测,以获得至少一幅车辆检测结果图像;所述车辆检测模型中包括训练至收敛的正样本分类器、训练至收敛的负样本分类器及检测结果解析子模型。车牌检测校正模块53,用于采用预设的变形平面目标检测模型对所述车辆检测结果图像中的车牌进行检测和校正,以获得车牌检测校正结果图像。车牌识别模块54,用于对所述车牌检测校正结果图像中的车牌字符进行识别。
具体地,车牌识别模块54具体用于:采用OCR技术对所述车牌检测校正结果图像中的车牌字符进行识别。
本实施例提供的车牌识别装置,通过在获取到计算机视觉传感器采集的目标图像之后,可以通过预设的车辆检测模型识别该目标图像中的车辆检测结果图像,其中,该车辆检测模型中包括正样本分类器、负样本分类器以及结果解析子模型,从而能够精准地识别出目标图像中的车辆检测结果图像。进一步地,采用预设的变形平面目标检测模型对车辆监测结果图像中的车牌进行检测和校正,获得车牌检测校正结果图像,对车牌检测校正结果图像中的车牌字符进行识别。由于首先识别车辆检测结果图像,并对车辆检测结果图像进行校正操作,从而能够在车牌图像存在倾斜视角时,也能够实现对车牌信息的识别。
图10为本公开实施例六提供的车牌识别装置的结构示意图,在实施例五的基础上,如图10所示,车辆检测模块52包括:输入单元61、检测单元62以及解析单元63。其中,输入单元61,用于将所述目标图像分别输入到所述训练至收敛的正样本分类器及所述训练至收敛的负样本分类器中。检测单元62,用于通过所述训练至收敛的正样本分类器输出至少一个第一车辆检测区域并通过所述训练至收敛的负样本分类器输出非车辆检测区域。解析单元63,用于采用所述检测结果解析子模型对所述第一车辆检测区域和所述非车辆检测区域进行解析,确定至少一幅车辆检测结果图像。
进一步地,在实施例五的基础上,解析单元63具体用于:
将所述车辆检测区域和所述非车辆检测区域输入到所述检测结果解析子模型中;
通过所述检测结果解析子模型确定所述非车辆检测区域对应的第二车辆检测区域,并将所述第一车辆检测区域和所述第二车辆检测区域进行对比,以确定最终车辆检测区域;
根据所述最终车辆检测区域裁切出至少一幅车辆检测结果图像。
图11为本公开实施例七提供的车牌识别装置的结构示意图,在上述任一实施例的基础上,如图11所示,该装置还包括:样本获取模块71、训练模块72、判断模块73以及生成模块74。其中,样本获取模块71,用于分别获取所述正样本分类器对应的第一训练样本和所述负样本分类器对应的第二训练样本。训练模块72,用于采用所述第一训练样本对初始正样本分类器进行训练,并采用所述第二训练样本对初始负样本分类器进行训练。判断模块73,用于分别判断所述初始正样本分类器和所述初始负样本分类器是否满足预设的收敛条件。生成模块74,用于将满足预设收敛条件的正样本分类器确定为所述训练至收敛的正样本分类器,并将满足预设收敛条件的负样本分类器确定为所述训练至收敛的负样本分类器。
进一步地,在上述任一实施例的基础上,训练模块72具体用于:
分别判断所述初始正样本分类器和所述初始负样本分类器对应的焦点损失函数的取值是否达到最小;
若确定初始正样本分类器和所述初始负样本分类器对应的焦点损失函数的取值达到最小,则确定初始正样本分类器和所述初始负样本分类器满足预设收敛条件。
进一步地,在上述任一实施例的基础上,所述训练至收敛的正样本分类器和/或所述训练至收敛的负样本分类器为训练至收敛的YOLOv5模型。
图12为本公开实施例八提供的车牌识别装置的结构示意图,在上述任一实施例的基础上,如图12所示,车牌检测校正模块53包括:处理单元81、车牌检测单元82以及变换单元83。其中,处理单元81,用于将所述车辆检测结果图像输入到所述预设的变形平面目标检测模型中。车牌检测单元82,用于通过所述变形平面目标检测模型中的车牌检测子模型对所述车辆检测结果图像中的车牌区域进行检测,以获得车牌检测结果图像。变换单元83,用于采用所述变形平面目标检测模型中的仿射矩阵对所述车牌检测结果图像进行仿射变换,以获得车牌检测校正结果图像。
进一步地,在上述任一实施例的基础上,所述车牌检测校正模块53还用于:
采用所述变形平面目标检测模型中的归一化函数对所述车牌检测校正结果图像进行去噪处理。
图13为本公开实施例九提供的电子设备的结构示意图,如图13所示,该电子设备包括:
存储器91,处理器92以及计算机程序;
其中,所述计算机程序存储在所述存储器91中,并被配置为由所述处理器92执行以实现如上述任一实施例所述的方法。
本公开另一实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现如上述任一实施例所述的方法。
在本公开所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种车牌识别方法,其特征在于,包括:
获取计算机视觉传感器采集的目标图像;
采用预设的车辆检测模型对所述目标图像中的车辆进行检测,以获得至少一幅车辆检测结果图像;所述车辆检测模型中包括训练至收敛的正样本分类器、训练至收敛的负样本分类器及检测结果解析子模型;
采用预设的变形平面目标检测模型对所述车辆检测结果图像中的车牌进行检测和校正,以获得车牌检测校正结果图像;
对所述车牌检测校正结果图像中的车牌字符进行识别。
2.根据权利要求1所述的方法,其特征在于,所述采用预设的车辆检测模型对所述目标图像中的车辆进行检测,以获得至少一幅车辆检测结果图像,包括:
将所述目标图像分别输入到所述训练至收敛的正样本分类器及所述训练至收敛的负样本分类器中;
通过所述训练至收敛的正样本分类器输出至少一个第一车辆检测区域并通过所述训练至收敛的负样本分类器输出非车辆检测区域;
采用所述检测结果解析子模型对所述第一车辆检测区域和所述非车辆检测区域进行解析,确定至少一幅车辆检测结果图像。
3.根据权利要求2所述的方法,其特征在于,所述采用所述检测结果解析子模型对所述车辆检测区域和所述非车辆检测区域进行解析,确定至少一幅车辆检测结果图像,包括:
将所述车辆检测区域和所述非车辆检测区域输入到所述检测结果解析子模型中;
通过所述检测结果解析子模型确定所述非车辆检测区域对应的第二车辆检测区域,并将所述第一车辆检测区域和所述第二车辆检测区域进行对比,以确定最终车辆检测区域;
根据所述最终车辆检测区域裁切出至少一幅车辆检测结果图像。
4.根据权利要求2所述的方法,其特征在于,所述采用预设的车辆检测模型对所述目标图像中的车辆进行检测,以获得至少一幅车辆检测结果图像之前,还包括:
分别获取所述正样本分类器对应的第一训练样本和所述负样本分类器对应的第二训练样本;
采用所述第一训练样本对初始正样本分类器进行训练,并采用所述第二训练样本对初始负样本分类器进行训练;
分别判断所述初始正样本分类器和所述初始负样本分类器是否满足预设的收敛条件;
将满足预设收敛条件的正样本分类器确定为所述训练至收敛的正样本分类器,并将满足预设收敛条件的负样本分类器确定为所述训练至收敛的负样本分类器。
5.根据权利要求4所述的方法,其特征在于,所述分别判断所述初始正样本分类器和所述初始负样本分类器是否满足预设的收敛条件,包括:
分别判断所述初始正样本分类器和所述初始负样本分类器对应的焦点损失函数的取值是否达到最小;
若确定初始正样本分类器和所述初始负样本分类器对应的焦点损失函数的取值达到最小,则确定初始正样本分类器和所述初始负样本分类器满足预设收敛条件。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述训练至收敛的正样本分类器和/或所述训练至收敛的负样本分类器为训练至收敛的YOLOv5模型。
7.根据权利要求1所述的方法,其特征在于,所述采用预设的变形平面目标检测模型对所述车辆检测结果图像中的车牌进行检测和校正,以获得车牌检测校正结果图像,包括:
将所述车辆检测结果图像输入到所述预设的变形平面目标检测模型中;
通过所述变形平面目标检测模型中的车牌检测子模型对所述车辆检测结果图像中的车牌区域进行检测,以获得车牌检测结果图像;
采用所述变形平面目标检测模型中的仿射矩阵对所述车牌检测结果图像进行仿射变换,以获得车牌检测校正结果图像。
8.一种车牌识别装置,其特征在于,包括:
图像获取模块,用于获取计算机视觉传感器采集的目标图像;
车辆检测模块,用于采用预设的车辆检测模型对所述目标图像中的车辆进行检测,以获得至少一幅车辆检测结果图像;所述车辆检测模型中包括训练至收敛的正样本分类器、训练至收敛的负样本分类器及检测结果解析子模型;
车牌检测校正模块,用于采用预设的变形平面目标检测模型对所述车辆检测结果图像中的车牌进行检测和校正,以获得车牌检测校正结果图像;
车牌识别模块,用于对所述车牌检测校正结果图像中的车牌字符进行识别。
9.一种电子设备,其特征在于,包括:
存储器,处理器以及计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行以实现如权利要求1-7中任一项所述的方法。
CN202011086689.6A 2020-10-12 2020-10-12 车牌识别方法、装置、设备及存储介质 Pending CN112215222A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011086689.6A CN112215222A (zh) 2020-10-12 2020-10-12 车牌识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011086689.6A CN112215222A (zh) 2020-10-12 2020-10-12 车牌识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112215222A true CN112215222A (zh) 2021-01-12

Family

ID=74053568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011086689.6A Pending CN112215222A (zh) 2020-10-12 2020-10-12 车牌识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112215222A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569844A (zh) * 2021-06-29 2021-10-29 深圳市捷顺科技实业股份有限公司 一种车牌检测的方法及装置
WO2022262013A1 (zh) * 2021-06-15 2022-12-22 合肥维天运通信息科技股份有限公司 一种车辆状态信息采集监控方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472262A (zh) * 2018-09-25 2019-03-15 平安科技(深圳)有限公司 车牌识别方法、装置、计算机设备及存储介质
US20190251369A1 (en) * 2018-02-11 2019-08-15 Ilya Popov License plate detection and recognition system
WO2019169532A1 (zh) * 2018-03-05 2019-09-12 深圳前海达闼云端智能科技有限公司 车牌识别方法及云系统
CN111191653A (zh) * 2019-12-25 2020-05-22 北京精英路通科技有限公司 车牌识别方法、装置、计算机设备及存储介质
CN111461113A (zh) * 2020-03-03 2020-07-28 华南理工大学 一种基于变形平面物体检测网络的大角度车牌检测方法
CN111639598A (zh) * 2020-05-29 2020-09-08 济南博观智能科技有限公司 车牌识别方法、车牌识别装置、车牌识别设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190251369A1 (en) * 2018-02-11 2019-08-15 Ilya Popov License plate detection and recognition system
WO2019169532A1 (zh) * 2018-03-05 2019-09-12 深圳前海达闼云端智能科技有限公司 车牌识别方法及云系统
CN109472262A (zh) * 2018-09-25 2019-03-15 平安科技(深圳)有限公司 车牌识别方法、装置、计算机设备及存储介质
CN111191653A (zh) * 2019-12-25 2020-05-22 北京精英路通科技有限公司 车牌识别方法、装置、计算机设备及存储介质
CN111461113A (zh) * 2020-03-03 2020-07-28 华南理工大学 一种基于变形平面物体检测网络的大角度车牌检测方法
CN111639598A (zh) * 2020-05-29 2020-09-08 济南博观智能科技有限公司 车牌识别方法、车牌识别装置、车牌识别设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022262013A1 (zh) * 2021-06-15 2022-12-22 合肥维天运通信息科技股份有限公司 一种车辆状态信息采集监控方法及系统
US11954955B2 (en) 2021-06-15 2024-04-09 Hefei Weitianyuntong Information Technology Co., Ltd Method and system for collecting and monitoring vehicle status information
CN113569844A (zh) * 2021-06-29 2021-10-29 深圳市捷顺科技实业股份有限公司 一种车牌检测的方法及装置

Similar Documents

Publication Publication Date Title
CN110705405B (zh) 目标标注的方法及装置
US11004234B2 (en) Method and apparatus for annotating point cloud data
US11205276B2 (en) Object tracking method, object tracking device, electronic device and storage medium
WO2017032311A1 (zh) 一种检测方法及装置
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪系统及方法
CN110287936B (zh) 图像检测方法、装置、设备及存储介质
CN111666848B (zh) 运输车辆到站检测方法、装置、设备及存储介质
CN112215222A (zh) 车牌识别方法、装置、设备及存储介质
CN110443237B (zh) 证件识别方法、装置、电子设备及计算机可读存储介质
CN112001200A (zh) 识别码识别方法、装置、设备、存储介质和系统
CN111401287B (zh) 一种停车计费系统中的车辆认证方法及装置
CN113327337A (zh) 一种确保车辆正常缴费出场的方法
KR101705061B1 (ko) 차량 번호판의 글자 인식을 위한 번호판 검출방법
CN111476279A (zh) 基于相似程度值的识别方法、装置和计算机设备
CN112794274B (zh) 一种油罐车底部装油口安全监控方法及系统
CN113869364A (zh) 图像处理方法、装置、电子设备及介质
CN109034171B (zh) 视频流中的无牌车辆检测方法和装置
CN111626078A (zh) 识别车道线的方法及装置
CN115131725A (zh) 交通流统计方法、装置、设备及存储介质
CN112016514B (zh) 一种交通标志识别方法、装置、设备及储存介质
CN114663899A (zh) 金融票据的处理方法、装置、设备及介质
CN112883973A (zh) 车牌识别方法、装置、电子设备和计算机存储介质
CN111639640A (zh) 基于人工智能的车牌识别方法、装置及设备
CN118075438B (zh) 视频显示方法及装置、控制器、视频显示系统
CN117152666B (zh) 一种机动车特征的分析校正识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination