CN116912812A - 一种车牌识别方法、装置及电子设备 - Google Patents

一种车牌识别方法、装置及电子设备 Download PDF

Info

Publication number
CN116912812A
CN116912812A CN202310823017.6A CN202310823017A CN116912812A CN 116912812 A CN116912812 A CN 116912812A CN 202310823017 A CN202310823017 A CN 202310823017A CN 116912812 A CN116912812 A CN 116912812A
Authority
CN
China
Prior art keywords
license plate
plate recognition
target detection
detection frame
angles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310823017.6A
Other languages
English (en)
Inventor
周宏扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Technology Innovation Center
China Telecom Corp Ltd
Original Assignee
China Telecom Technology Innovation Center
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Technology Innovation Center, China Telecom Corp Ltd filed Critical China Telecom Technology Innovation Center
Priority to CN202310823017.6A priority Critical patent/CN116912812A/zh
Publication of CN116912812A publication Critical patent/CN116912812A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种车牌识别方法、装置及电子设备，涉及智能交通技术和图像识别技术相结合的技术领域。该方法包括：获取车辆的N个角度的图像集合，并确定N个角度各自的损失函数，然后，根据N个角度各自的损失函数对图像集合中的样本图像集合进行模型训练，得到训练好的车牌识别模型，最后，将图像集合中的测试图像集合输入车牌识别模型，得到车辆的M个车牌识别结果，并从M个车牌识别结果中选择出满足置信度要求的目标车牌识别结果。通过上述方法，使得训练过程可以得到多帧图像辅助，提高车牌识别模型的鲁棒性。同时，由于目标车牌识别结果的计算逻辑简单，使得车牌识别模型的通用性强。

Description

一种车牌识别方法、装置及电子设备
技术领域
本申请涉及智能交通技术和图像识别技术相结合的技术领域，特别是涉及一种车牌识别方法、装置及电子设备。
背景技术
车牌识别技术是智能交通领域的重要研究课题之一，它被广泛应用于道路交通监测系统、高速公路自动收费系统、停车场管理系统等多种交通管理系统。车牌识别场景主要分为静态场景和动态场景，静态场景常见于停车场卡口、小区物业登记等，由于该场景下的车牌清晰且尺寸固定，因此车牌识别情况较好；动态场景常见于交通领域的各种事件触发抓拍，比如，闯红灯抓拍、鸣笛抓拍和测速抓拍等，但抓拍过程中由于遮挡、过曝等影响，因此，在对抓拍到的单帧图像进行车牌识别时，会降低车牌识别的准确度。
为了解决上述问题，当前常用的车牌识别方法是：抓拍车辆各个角度的单帧图像，并将各个角度的单帧图像，统一使用一种损失函数进行模型训练，得到训练好的车牌识别模型，然后，在模型推理阶段，针对抓拍到的各个角度的单帧图像，将其输入到车牌识别模型中分别进行识别，得到车辆的各个车牌识别结果，最后，根据车辆当前应用场景的计算逻辑，在各个车牌识别结果中确定出目标车牌识别结果。
但上述车牌识别过程是对各个角度的单帧图像分别进识别，没有前后帧的图像辅助，导致车牌识别结果的容错率低，且得到各个车牌识别结果后，需针对不同场景更改计算逻辑，从而导致车牌识别模型通用性较差。
发明内容
本申请提供了一种车牌识别方法、装置及电子设备，可以解决当前车牌识别过程在对各个角度的单帧图像分别进识别时，没有前后帧的图像辅助，导致车牌识别结果的容错率低，且得到各个车牌识别结果后，需针对不同场景更改计算逻辑，从而导致车牌识别模型通用性较差的问题。
第一方面，本申请提供了一种车牌识别方法，所述方法包括：
获取车辆的N个角度的图像集合，并确定所述N个角度各自的损失函数，其中，所述N为大于0的整数；
根据所述N个角度各自的损失函数对所述图像集合中的样本图像集合进行模型训练，得到训练好的车牌识别模型；
将所述图像集合中的测试图像集合输入所述车牌识别模型，得到所述车辆的M个车牌识别结果，其中，所述M等于所述N；
从所述M个车牌识别结果中选择出满足置信度要求的目标车牌识别结果。
通过上述方法，根据N个角度各自的损失函数对图像集合中的样本图像集合进行模型训练，使得训练过程可以得到多帧图像辅助，提高车牌识别模型的鲁棒性。同时，由于目标车牌识别结果的计算逻辑简单，使得车牌识别模型的通用性强。
在一种可能的设计中，所述根据所述N个角度各自的损失函数对所述图像集合中的样本图像集合进行模型训练，得到训练好的车牌识别模型，包括：
将所述样本图像集合中的各个样本图像输入至神经网络模型，并根据所述神经网络模型中的贝塞尔曲线检测对所述各个样本图像进行目标检测，得到所述各个样本图像各自的曲形目标检测框；
矫正各个曲形目标检测框，得到所述各个曲形目标检测框各自的矩形目标检测框；
基于所述N个角度各自的损失函数及各个矩形目标检测框进行模型训练，得到所述训练好的车牌识别模型。
通过上述方法，将样本图像集合中的各个样本图像输入至神经网络，并根据神经网络中贝塞尔曲线和N个角度各自的损失函数对各个样本图像进行训练，可以得到识别精度较高的车牌识别模型，提高车牌识别模型的鲁棒性。
在一种可能的设计中，所述矫正各个曲形目标检测框，得到所述各个曲形目标检测框各自的矩形目标检测框，包括：
获取所述神经网络模型中识别窗口的第一宽度值和第一高度值，并确定所述识别窗口中任一格点到所述识别窗口的第二宽度值和第二高度值；
根据所述第一宽度值与所述第二宽度值，计算得到宽度参数值，并根据所述第一高度值与所述第二高度值，计算得到高度参数值；
根据所述宽度参数值在第一曲形目标检测框中，确定出第一位置点和第二位置点，其中，所述第一曲形目标检测框为所述各个曲形目标检测框中的任一曲形目标检测框；
根据所述高度参数值、所述第一位置点和所述第二位置点，确定出所述任一格点在所述第一曲形目标检测框中的目标位置点，并将所述目标位置点映射到所述识别窗口中，得到所述第一曲形目标检测框的矩形目标检测框。
通过上述方法，矫正各个曲形目标检测框，可以提高车牌识别过程的精确性。
在一种可能的设计中，所述基于所述N个角度各自的损失函数及各个矩形目标检测框进行模型训练，得到所述训练好的车牌识别模型，包括：
在所述N个角度各自的损失函数中，确定出所述各个矩形目标检测框各自的损失函数；
根据所述各个矩形目标检测框各自的损失函数，对所述各个矩形目标检测框进行评估，得到评估结果；
在所述评估结果满足预设要求时，将当前车牌识别模型作为所述训练好的车牌识别模型。
通过上述方法，基于N个角度各自的损失函数及各个矩形目标检测框进行模型训练，可以得到识别精度较高的车牌识别模型。
第二方面，本申请提供了一种车牌识别装置，所述装置包括：
确定模块，用于获取车辆的N个角度的图像集合，并确定所述N个角度各自的损失函数，其中，所述N为大于0的整数；
训练模块，用于根据所述N个角度各自的损失函数对所述图像集合中的样本图像集合进行模型训练，得到训练好的车牌识别模型；
识别模块，用于将所述图像集合中的测试图像集合输入所述车牌识别模型，得到所述车辆的M个车牌识别结果，其中，所述M等于所述N；
选择模块，用于从所述M个车牌识别结果中选择出满足置信度要求的目标车牌识别结果。
在一种可能的设计中，所述训练模块包括：
检测单元，用于将所述样本图像集合中的各个样本图像输入至神经网络模型，并根据所述神经网络模型中的贝塞尔曲线检测对所述各个样本图像进行目标检测，得到所述各个样本图像各自的曲形目标检测框；
矫正单元，用于矫正各个曲形目标检测框，得到所述各个曲形目标检测框各自的矩形目标检测框；
训练单元，用于基于所述N个角度各自的损失函数及各个矩形目标检测框进行模型训练，得到所述训练好的车牌识别模型。
在一种可能的设计中，所述矫正单元具体用于：
获取所述神经网络模型中识别窗口的第一宽度值和第一高度值，并确定所述识别窗口中任一格点到所述识别窗口的第二宽度值和第二高度值；
根据所述第一宽度值与所述第二宽度值，计算得到宽度参数值，并根据所述第一高度值与所述第二高度值，计算得到高度参数值；
根据所述宽度参数值在第一曲形目标检测框中，确定出第一位置点和第二位置点，其中，所述第一曲形目标检测框为所述各个曲形目标检测框中的任一曲形目标检测框；
根据所述高度参数值、所述第一位置点和所述第二位置点，确定出所述任一格点在所述第一曲形目标检测框中的目标位置点，并将所述目标位置点映射到所述识别窗口中，得到所述第一曲形目标检测框的矩形目标检测框。
在一种可能的设计中，所述训练单元具体用于：
在所述N个角度各自的损失函数中，确定出所述各个矩形目标检测框各自的损失函数；
根据所述各个矩形目标检测框各自的损失函数，对所述各个矩形目标检测框进行评估，得到评估结果；
在所述评估结果满足预设要求时，将当前车牌识别模型作为所述训练好的车牌识别模型。
第三方面，本申请提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现上述的车牌识别方法步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的车牌识别方法步骤。
基于本申请所提供的车牌识别方法，根据N个角度各自的损失函数对图像集合中的样本图像集合进行模型训练，使得训练过程可以得到多帧图像辅助，提高车牌识别模型的鲁棒性。同时，由于目标车牌识别结果的计算逻辑简单，使得车牌识别模型的通用性强。
上述第二方面至第四方面中的各个方面以及各个方面可能达到的技术效果参照上述针对第一方面或者第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。
附图说明
图1为本申请实施例提供的一种车牌识别方法的流程图；
图2为本申请实施例提供的一种图像采集的场景示意图；
图3为本申请实施例提供的一种矫正曲形目标检测框的逻辑示意图；
图4为本申请实施例提供的一种车牌识别装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。需要说明的是，在本申请的描述中“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，并存在A和B，单独存在B这三种情况。A与B连接，可以表示：A与B直接连接和A与B通过C连接这两种情况。另外，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
为了便于本领域技术人员理解，首先对本申请实施例中所涉及的技术术语进行解释说明。
(1)端到端是指通过神经网络模型直接对样本图像集合进行检测和识别，并输出相应的结果。
(2)ResNet-50是一种深度学习模型，有50层卷积神经网络，用于图像分类、目标检测和语义分割等任务。
(3)特征图金字塔网络(Feature Pyramid Networks，FPN)用于解决目标检测中的多尺度问题。
(4)贝塞尔曲线(Bezier curve)又称贝兹曲线或贝济埃曲线，是应用于二维图形应用程序的数学曲线，由一系列控制点和插值点组成，用于输出曲形目标检测框。
(5)双线性插值是一种图像缩放算法，用于根据第一曲形目标检测框中对应位置点op四周的四个真实存在点的像素值，来计算出对应位置点op的像素值。
本申请实施例提供了一种车牌识别方法，根据N个角度各自的损失函数对图像集合中的样本图像集合进行模型训练，使得训练过程可以得到多帧图像辅助，提高车牌识别模型的鲁棒性。同时，由于目标车牌识别结果的计算逻辑简单，使得车牌识别模型的通用性强。其中，本申请实施例所述方法和装置基于同一技术构思，由于方法及装置所解决问题的原理相似，因此装置与方法的实施例可以相互参见，重复之处不再赘述。
为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可按照实施例或者附图所示的方法顺序执行或者并执行。
图1为本申请实施例提供的一种车牌识别方法的流程图，该流程可由车牌识别装置所执行，该装置可通过软件的方式实现，也可通过硬件的方式实现，还可通过软件和硬件结合的方式实现，用以提高车牌识别的准确度及车牌识别模型的通用性。如图1所示，该流程包括如下步骤：
S11，获取车辆的N个角度的图像集合，并确定N个角度各自的损失函数；
可选的，确定N个角度各自的损失函数，具体可以是：首先，通过图像采集设备获取车辆的N个角度的图像集合，并添加N个角度各自的影响因子α1，α2，…，αN，例如，角度1抓拍的图像的影响因子为α1，角度2抓拍的图像的影响因子为α2，……,角度N抓拍的图像的影响因子为αN,该α1，α2，…，αN的大小可以由用户随机添加，也可以根据图像的清晰度进行添加，具体的大小视情况而定，此处不作具体的限定。
如图2所示，以地平线和摄像机C到车辆的连线之间的夹角为角度标准，设置3个抓拍角度θ1，θ2和θ3，并按照设置的3个角度，对来往的车辆进行抓拍，获取到的初始图像集合为：{θ1：车辆A的图像1、车辆B的图像1、车辆C的图像1，θ2：车辆A的图像2、车辆B的图像2、车辆C的图像2，θ3：车辆A的图像3、车辆B的图像3、车辆C的图像3}。在获取到的初始图像集合中添加3个角度各自的影响因子α1、α2、α3，得到图像集合为：{θ1：车辆A的图像1(α1)、车辆B的图像1(α1)、车辆C的图像1(α1)，θ2：车辆A的图像2(α2)、车辆B的图像2(α2)、车辆C的图像2(α2)，θ3：车辆A的图像3(α3)、车辆B的图像3(α3)、车辆C的图像3(α3)}。
需要说明的是，上述图2所示的场景只是一种示例，在实际抓拍过程中，可根据需求，设置更多的角度进行抓拍，本申请实施例在此不做限制。
然后，根据N个角度各自的影响因子α1，α2，…，αN，确定并保存N个角度各自的损失函数。例如，角度θ1、θ2和θ3各自的影响因子为α1、α2和α3，当前车牌识别模型的损失函数为loss，则角度θ1、θ2和θ3各自的损失函数为α1loss、α2loss和α3loss。
最后，按照一定的比例将得到的图像集合分为样本图像集合和测试图像集合，具体的比例视情况而定，此处不作具体的限定。
举例来讲，将图像集合：{θ1：车辆A的图像1(α1)、车辆B的图像1(α1)、车辆C的图像1(α1)，θ2：车辆A的图像2(α2)、车辆B的图像2(α2)、车辆C的图像2(α2)，θ3：车辆A的图像3(α3)、车辆B的图像3(α3)、车辆C的图像3(α3)}按照2:1的比例，分别对角度θ1、θ1和θ1的图像进行划分，得到样本图像集合：{θ1：车辆A的图像1(α1)、车辆B的图像1(α1)，θ2：车辆A的图像2(α2)、车辆B的图像2(α2)，θ3：车辆A的图像3(α3)、车辆B的图像3(α3)}和测试图像集合：{θ1：车辆C的图像1(α1)，θ2：车辆C的图像2(α2)，θ3：车辆C的图像3(α3)}。
S12，根据N个角度各自的损失函数对图像集合中的样本图像集合进行模型训练，得到训练好的车牌识别模型；
在本申请实施例中，需将样本图像集合中的各个样本图像输入至神经网络模型进行模型训练，其中，神经网络模型的骨干网络可以是ResNet-50 FPN，该神经网络模型包括(1)检测部分：Bezier curve检测，(2)识别部分：对齐层(Bezier-Align)和识别分支网络。
(1)检测部分：Bezier curve检测
当各个样本图像输入至神经网络模型时，在骨干网络的基础上通过Bezier curve检测对各个样本图像进行目标检测，包括对于各个样本图像中的检测目标的长边使用Bezier curve包围，短边则使用直线段包围，从而得到各个样本图像各自的曲形目标检测框。
(2)识别部分：Bezier-Align和识别分支网络
在得到各个样本图像各自的曲形目标检测框后，通过Bezier-Align矫正各个曲形目标检测框，具体原理如图3所示，包括：
(a)获取识别窗口301的第一宽度值w和第一高度值h，并确定识别窗口中任一格点g到识别窗口的第二宽度值gw和第二高度值gh；
(b)根据第一宽度值w与第二宽度值gw，计算得到宽度参数值并根据第一高度值h与第二高度值gh，计算得到高度参数值/>
(c)根据宽度参数值t在第一曲形目标检测框302中，确定出第一位置点tp和第二位置点bp，即找出第一曲形目标检测框302的上下边贝塞尔曲线方程对应参数值为t的位置点，其中，第一曲形目标检测框为各个曲形目标检测框中的任一曲形目标检测框；
(d)根据高度参数值r、第一位置点tp和第二位置点bp，确定出任一格点g在第一曲形目标检测框中的对应位置点op，并将对应位置点op映射到识别窗口中，得到第一曲形目标检测框的矩形目标检测框303。具体来讲，按照高度参数值r对从bp到tp的线段进行分割，得到对应位置点op，具体的计算公式如下所示：
op＝bp×r+tp×(1-r) (1)
在通过公式(1)得到对应位置点op后，可以通过二维插值，比如，双线性差值，求解出该处的像素值，从而根据该像素值将对应位置点op映射到识别窗口中，重复上述操作，直至得到各个曲形目标检测框各自的矩形目标检测框。
当得到各个曲形目标检测框各自对应的矩形目标检测框后，在识别分支网络中，基于上述N个角度各自的损失函数及各个矩形目标检测框进行模型训练，得到训练好的车牌识别模型。具体来讲，首先，在上述N个角度各自的损失函数中，确定出各个矩形目标检测框各自的损失函数，然后，根据各个矩形目标检测框各自的损失函数，对各个矩形目标检测框进行评估，得到评估结果，最后，在该评估结果满足预设要求时，将当前车牌识别模型作为训练好的车牌识别模型，其中，预设要求视情况而定，此处不作具体的限定。
示例一：角度θ1、θ2和θ3各自的损失函数为α1loss、α2loss和α3loss，矩形目标检测框1对应的样本图像为{θ1：车辆A的图像1(α1)}、矩形目标检测框2对应的样本图像为{θ1：车辆B的图像1(α1)}、矩形目标检测框3对应的样本图像为{θ1：车辆C的图像1(α1)}。根据各个样本图像标签中的影响因子，可以确定出矩形目标检测框1、2和3的损失函数都为α1loss，则通过损失函数α1loss对矩形目标检测框1、2和3进行评估，得到评估结果为：准确度85％，此时，该评估结果不满足预设要求：准确度>90％，则按照上述模型训练方法继续进行模型训练，直到上述评估结果满足预设要求时，将当前车牌识别模型作为训练好的车牌识别模型。
示例二：角度θ1、θ2和θ3各自的损失函数为α1loss、α2loss和α3loss，矩形目标检测框1对应的样本图像为{θ2：车辆A的图像2(α2)}、矩形目标检测框2对应的样本图像为{θ1：车辆B的图像1(α1)}、矩形目标检测框3对应的样本图像为{θ2：车辆C的图像2(α2)}。根据各个样本图像标签中的影响因子，可以确定出矩形目标检测框1和3的损失函数都为α2loss，矩形目标检测框2的损失函数为α1loss，则通过损失函数加权算法得到最终的损失函数LOSS＝α1loss+α2loss。并通过损失函数LOSS对矩形目标检测框1、2和3进行评估，得到评估结果为：准确度90％，此时，该评估结果不满足预设要求：准确度>95％，则按照上述模型训练方法继续进行模型训练，直到上述评估结果满足预设要求时，将当前车牌识别模型作为训练好的车牌识别模型。
示例三：角度θ1、θ2和θ3各自的损失函数为α1loss、α2loss和α3loss，矩形目标检测框1对应的样本图像为{θ2：车辆A的图像2(α2)}、矩形目标检测框2对应的样本图像为{θ1：车辆B的图像1(α1)}、矩形目标检测框3对应的样本图像为{θ3：车辆C的图像3(α3)}。根据各个样本图像标签中的影响因子，可以确定出矩形目标检测框1的损失函数为α2loss，矩形目标检测框2的损失函数为α1loss，矩形目标检测框3的损失函数为α3loss，则通过损失函数加权算法得到最终的损失函数LOSS＝α1loss+α2loss+α3loss。并通过损失函数LOSS对矩形目标检测框1、2和3进行评估，得到评估结果为：准确度97％，此时，该评估结果满足预设要求：准确度>95％，则将当前车牌识别模型作为训练好的车牌识别模型。
S13，将图像集合中的测试图像集合输入车牌识别模型，得到车辆的M个车牌识别结果；
在本申请实施例中，通过上述方法得到训练好的车牌识别模型后，将图像集合中的测试图像集合输入该车牌识别模型进行识别，得到车辆的M个车牌识别结果，其中，M＝N为大于0的整数。该M个车牌识别结果可包括各自对应的置信度。
举例来讲，将测试图像集合{θ1：车辆C的图像1(α1)，θ2：车辆C的图像2(α2)，θ3：车辆C的图像3(α3)}输入上述车牌识别模型进行识别，得到车牌C的三个车牌识别结果为：“美A123456”置信度0.89，“美A123456”置信度0.82，“美A123450”置信度0.3。
S14，从该M个车牌识别结果中选择出满足置信度要求的目标车牌识别结果。
举例来讲，车辆的车牌识别结果包括：“美A123456”置信度0.89，“美A123451”置信度0.6，“美A123450”置信度0.3。将车牌识别结果中的置信度进行比较，选择出置信度最高0.89的车牌识别结果“美A123456”作为目标车牌识别结果。
在一种可能的设计中，若存在多个满足置信度要求的识别结果，则获取车牌识别结果中各个字母各自的置信度，选择出满足置信度要求的各个目标字母，组成目标车牌识别结果。
举例来讲，车辆的车牌识别结果1为：“美A05”置信度0.89，车牌识别结果2为：“美A85”置信度0.89，车牌识别结果3为：“飘B054”置信度0.55。经比较，车牌识别结果1和2的置信度都满足置信度要求，则分别获取车牌识别结果1、2和3中各个字母各自的置信度，其中，车牌识别结果1：“美”置信度0.90、“A”置信度0.89、“0”置信度0.88、“5”置信度0.89，车牌识别结果2：“美”置信度0.95、“A”置信度0.89、“8”置信度0.80、“5”置信度0.92,车牌识别结果3：“飘”置信度0.3、“B”置信度0.3、“8”置信度0.8、“5”置信度0.8。根据车牌识别结果1、2和3中各个字母各自的置信度，选择出置信度最高的各个目标字母为“美”、“5”、“A”、“0”，并按照车牌识别结果中顺序将各个目标字母组成目标车牌识别结果为：“美A05”。
需要说明的是，该置信度要求可以是M个车牌识别结果中置信度最高所对应的车牌识别结果，也可以是大于设定的置信度阈值所对应的车牌识别结果，本申请实施例在此不做限制。
基于上述车牌识别方法，根据N个角度各自的损失函数对图像集合中的样本图像集合进行模型训练，使得训练过程可以得到多帧图像辅助，提高车牌识别模型的鲁棒性。同时，由于目标车牌识别结果的计算逻辑简单，使得车牌识别模型的通用性强。
基于同一发明构思，本申请实施例中还提供了一种车牌识别装置，如图4所示，为本申请中一种车牌识别装置的结构示意图，该装置包括：
确定模块41，用于获取车辆的N个角度的图像集合，并确定所述N个角度各自的损失函数，其中，所述N为大于0的整数；
训练模块42，用于根据所述N个角度各自的损失函数对所述图像集合中的样本图像集合进行模型训练，得到训练好的车牌识别模型；
识别模块43，用于将所述图像集合中的测试图像集合输入所述车牌识别模型，得到所述车辆的M个车牌识别结果，其中，所述M等于所述N；
选择模块44，用于从所述M个车牌识别结果中选择出满足置信度要求的目标车牌识别结果。
在一种可能的设计中，所述训练模块42包括：
检测单元，用于将所述样本图像集合中的各个样本图像输入至神经网络模型，并根据所述神经网络模型中的贝塞尔曲线检测对所述各个样本图像进行目标检测，得到所述各个样本图像各自的曲形目标检测框；
矫正单元，用于矫正各个曲形目标检测框，得到所述各个曲形目标检测框各自的矩形目标检测框；
训练单元，用于基于所述N个角度各自的损失函数及各个矩形目标检测框进行模型训练，得到所述训练好的车牌识别模型。
在一种可能的设计中，所述矫正单元具体用于：
获取所述神经网络模型中识别窗口的第一宽度值和第一高度值，并确定所述识别窗口中任一格点到所述识别窗口的第二宽度值和第二高度值；
根据所述第一宽度值与所述第二宽度值，计算得到宽度参数值，并根据所述第一高度值与所述第二高度值，计算得到高度参数值；
根据所述宽度参数值在第一曲形目标检测框中，确定出第一位置点和第二位置点，其中，所述第一曲形目标检测框为所述各个曲形目标检测框中的任一曲形目标检测框；
根据所述高度参数值、所述第一位置点和所述第二位置点，确定出所述任一格点在所述第一曲形目标检测框中的目标位置点，并将所述目标位置点映射到所述识别窗口中，得到所述第一曲形目标检测框的矩形目标检测框。
在一种可能的设计中，所述训练单元具体用于：
在所述N个角度各自的损失函数中，确定出所述各个矩形目标检测框各自的损失函数；
根据所述各个矩形目标检测框各自的损失函数，对所述各个矩形目标检测框进行评估，得到评估结果；
在所述评估结果满足预设要求时，将当前车牌识别模型作为所述训练好的车牌识别模型。
基于上述的一种车牌识别装置，根据N个角度各自的损失函数对图像集合中的样本图像集合进行模型训练，使得训练过程可以得到多帧图像辅助，提高车牌识别模型的鲁棒性。同时，由于目标车牌识别结果的计算逻辑简单，使得车牌识别模型的通用性强。
基于同一发明构思，本申请实施例中还提供了一种电子设备，所述电子设备可以实现前述车牌识别装置的功能，参考图5，所述电子设备包括：
至少一个处理器51，以及与至少一个处理器51连接的存储器52，本申请实施例中不限定处理器51与存储器52之间的具体连接介质，图5中是以处理器51和存储器52之间通过总线50连接为例。总线50在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线50可以分为地址总线、数据总线、控制总线等，为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器51也可以称为控制器，对于名称不做限制。
在本申请实施例中，存储器52存储有可被至少一个处理器51执行的指令，至少一个处理器51通过执行存储器52存储的指令，可以执行前文论述车牌识别方法。处理器51可以实现图4所示的装置中各个模块的功能。
其中，处理器51是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器52内的指令以及调用存储在存储器52内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监控。
在一种可能的设计中，处理器51可包括一个或多个处理单元，处理器51可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器51中。在一些实施例中，处理器51和存储器52可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器51可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的车牌识别方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器52作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器52可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等。存储器52是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器52还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对处理器51进行设计编程，可以将前述实施例中介绍的车牌识别方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图1所示的实施例的车牌识别方法的步骤。如何对处理器51进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行前文论述车牌识别方法。
在一些可能的实施方式中，本申请提供的车牌识别方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在装置上运行时，程序代码用于使该控制设备执行本说明书上述描述的根据本申请各种示例性实施方式的车牌识别方法中的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种车牌识别方法，其特征在于，所述方法包括：
获取车辆的N个角度的图像集合，并确定所述N个角度各自的损失函数，其中，所述N为大于0的整数；
根据所述N个角度各自的损失函数对所述图像集合中的样本图像集合进行模型训练，得到训练好的车牌识别模型；
将所述图像集合中的测试图像集合输入所述车牌识别模型，得到所述车辆的M个车牌识别结果，其中，所述M等于所述N；
从所述M个车牌识别结果中选择出满足置信度要求的目标车牌识别结果。
2.如权利要求1所述的方法，其特征在于，所述根据所述N个角度各自的损失函数对所述图像集合中的样本图像集合进行模型训练，得到训练好的车牌识别模型，包括：
将所述样本图像集合中的各个样本图像输入至神经网络模型，并根据所述神经网络模型中的贝塞尔曲线检测对所述各个样本图像进行目标检测，得到所述各个样本图像各自的曲形目标检测框；
矫正各个曲形目标检测框，得到所述各个曲形目标检测框各自的矩形目标检测框；
基于所述N个角度各自的损失函数及各个矩形目标检测框进行模型训练，得到所述训练好的车牌识别模型。
3.如权利要求2所述的方法，其特征在于，所述矫正各个曲形目标检测框，得到所述各个曲形目标检测框各自的矩形目标检测框，包括：
获取所述神经网络模型中识别窗口的第一宽度值和第一高度值，并确定所述识别窗口中任一格点到所述识别窗口的第二宽度值和第二高度值；
根据所述第一宽度值与所述第二宽度值，计算得到宽度参数值，并根据所述第一高度值与所述第二高度值，计算得到高度参数值；
根据所述宽度参数值在第一曲形目标检测框中，确定出第一位置点和第二位置点，其中，所述第一曲形目标检测框为所述各个曲形目标检测框中的任一曲形目标检测框；
根据所述高度参数值、所述第一位置点和所述第二位置点，确定出所述任一格点在所述第一曲形目标检测框中的目标位置点，并将所述目标位置点映射到所述识别窗口中，得到所述第一曲形目标检测框的矩形目标检测框。
4.如权利要求2所述的方法，其特征在于，所述基于所述N个角度各自的损失函数及各个矩形目标检测框进行模型训练，得到所述训练好的车牌识别模型，包括：
在所述N个角度各自的损失函数中，确定出所述各个矩形目标检测框各自的损失函数；
根据所述各个矩形目标检测框各自的损失函数，对所述各个矩形目标检测框进行评估，得到评估结果；
在所述评估结果满足预设要求时，将当前车牌识别模型作为所述训练好的车牌识别模型。
5.一种车牌识别装置，其特征在于，所述装置包括：
确定模块，用于获取车辆的N个角度的图像集合，并确定所述N个角度各自的损失函数，其中，所述N为大于0的整数；
训练模块，用于根据所述N个角度各自的损失函数对所述图像集合中的样本图像集合进行模型训练，得到训练好的车牌识别模型；
识别模块，用于将所述图像集合中的测试图像集合输入所述车牌识别模型，得到所述车辆的M个车牌识别结果，其中，所述M等于所述N；
选择模块，用于从所述M个车牌识别结果中选择出满足置信度要求的目标车牌识别结果。
6.如权利要求5所述的装置，其特征在于，所述训练模块包括：
检测单元，用于将所述样本图像集合中的各个样本图像输入至神经网络模型，并根据所述神经网络模型中的贝塞尔曲线检测对所述各个样本图像进行目标检测，得到所述各个样本图像各自的曲形目标检测框；
矫正单元，用于矫正各个曲形目标检测框，得到所述各个曲形目标检测框各自的矩形目标检测框；
训练单元，用于基于所述N个角度各自的损失函数及各个矩形目标检测框进行模型训练，得到所述训练好的车牌识别模型。
7.如权利要求6所述的装置，其特征在于，所述矫正单元具体用于：
获取所述神经网络模型中识别窗口的第一宽度值和第一高度值，并确定所述识别窗口中任一格点到所述识别窗口的第二宽度值和第二高度值；
根据所述第一宽度值与所述第二宽度值，计算得到宽度参数值，并根据所述第一高度值与所述第二高度值，计算得到高度参数值；
根据所述宽度参数值在第一曲形目标检测框中，确定出第一位置点和第二位置点，其中，所述第一曲形目标检测框为所述各个曲形目标检测框中的任一曲形目标检测框；
根据所述高度参数值、所述第一位置点和所述第二位置点，确定出所述任一格点在所述第一曲形目标检测框中的目标位置点，并将所述目标位置点映射到所述识别窗口中，得到所述第一曲形目标检测框的矩形目标检测框。
8.如权利要求6所述的装置，其特征在于，所述训练单元具体用于：
在所述N个角度各自的损失函数中，确定出所述各个矩形目标检测框各自的损失函数；
根据所述各个矩形目标检测框各自的损失函数，对所述各个矩形目标检测框进行评估，得到评估结果；
在所述评估结果满足预设要求时，将当前车牌识别模型作为所述训练好的车牌识别模型。
9.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-4中任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4中任一项所述的方法步骤。
CN202310823017.6A 2023-07-05 2023-07-05 一种车牌识别方法、装置及电子设备 Pending CN116912812A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310823017.6A CN116912812A (zh) 2023-07-05 2023-07-05 一种车牌识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310823017.6A CN116912812A (zh) 2023-07-05 2023-07-05 一种车牌识别方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN116912812A true CN116912812A (zh) 2023-10-20

Family

ID=88359501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310823017.6A Pending CN116912812A (zh) 2023-07-05 2023-07-05 一种车牌识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116912812A (zh)

Similar Documents

Publication Publication Date Title
CN112528878B (zh) 检测车道线的方法、装置、终端设备及可读存储介质
WO2022126377A1 (zh) 检测车道线的方法、装置、终端设备及可读存储介质
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN108986465B (zh) 一种车流量检测的方法、系统及终端设备
US11380104B2 (en) Method and device for detecting illegal parking, and electronic device
CN111191611B (zh) 基于深度学习的交通标志标号识别方法
CN111047908B (zh) 跨线车辆的检测装置、方法及视频监控设备
CN108830131B (zh) 基于深度学习的交通目标检测与测距方法
CN111382625A (zh) 道路标识识别方法、装置及电子设备
CN112101205A (zh) 基于多任务网络的训练方法和装置
CN115620518A (zh) 基于深度学习的交叉口交通冲突判别方法
CN109977862B (zh) 一种车位限位器的识别方法
CN111191482B (zh) 一种刹车灯识别方法、装置及电子设备
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
CN112329886A (zh) 双车牌识别方法、模型训练方法、装置、设备及存储介质
CN112837384A (zh) 车辆标记方法、装置和电子设备
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
CN114898306B (zh) 一种检测目标朝向的方法、装置及电子设备
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
CN116912812A (zh) 一种车牌识别方法、装置及电子设备
CN107452230B (zh) 一种障碍物检测方法、装置、终端设备及存储介质
CN116259021A (zh) 一种车道线检测方法、存储介质和电子设备
CN115393827A (zh) 交通信号灯状态识别方法、系统、电子设备及存储介质
CN115018926A (zh) 车载相机的俯仰角确定方法、装置、设备和存储介质
CN113989774A (zh) 一种交通灯检测方法、装置、车辆和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination