CN115273087A - 一种基于图像语义分割的车牌字符分割与识别方法及系统 - Google Patents

一种基于图像语义分割的车牌字符分割与识别方法及系统 Download PDF

Info

Publication number
CN115273087A
CN115273087A CN202211200460.XA CN202211200460A CN115273087A CN 115273087 A CN115273087 A CN 115273087A CN 202211200460 A CN202211200460 A CN 202211200460A CN 115273087 A CN115273087 A CN 115273087A
Authority
CN
China
Prior art keywords
license plate
image
character
segmentation
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211200460.XA
Other languages
English (en)
Inventor
朱锦钊
于鹏
刘帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fangtu Technology Co ltd
Original Assignee
Guangzhou Fangtu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fangtu Technology Co ltd filed Critical Guangzhou Fangtu Technology Co ltd
Priority to CN202211200460.XA priority Critical patent/CN115273087A/zh
Publication of CN115273087A publication Critical patent/CN115273087A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明公开了一种基于图像语义分割的车牌字符分割与识别方法及系统，本发明的方法包括：将所述待检测车牌图像输入预先训练好的车牌顶点检测模型，得到待检测车牌图像对应的车牌的四个顶点位置；根据所述车牌的四个顶点位置得到车牌区域并校正后输入到预先训练好的车牌字符检测模型中，得到每个字符区域的矩形边界框；将每个字符区域图像依次输入到预先训练好的车牌字符分割模型中，得到所述待检测车牌图像中的每个字符的二值掩码语义图像，最后对所述每个字符掩码语义图像进行识别，根据识别结果得到识别的车牌号。本发明对所述待检测车牌图像中的每个字符图像进行识别，大大提升了车牌识别的准确率。

Description

一种基于图像语义分割的车牌字符分割与识别方法及系统
技术领域
本发明涉及车牌识别领域，具体涉及一种基于图像语义分割的车牌字符分割与识别方法及系统、电子设备、存储介质。
背景技术
随着国民经济水平的大幅度增加，人们的生活水平也日益提高，很明显的一方面，各地区的汽车保有量在庞大的基数基础上都是稳步在增长；而随着汽车数量的增多，对于汽车的管理工作量和管理难度就随之加大，而对于作为汽车身份标识的车牌号的管理方面，就提出了新的要求，其中，最常见的，就是对车牌的准确识别。
传统的车牌识别方法主要包括：(1)基于传统方案的车牌识别方法，例如基于梯度的车牌检测方法、基于颜色空间的车牌检测方法，这类方法识别速度快，但存在车牌误检过多，车牌检测不准确的问题；(2)基于深度学习网络的车牌检测方法，采用基于深度学习的字符检测模型进行车牌检测，该类方法以车牌字符的包围框作为检测对象，没有利用车牌边界、顶点信息，容易受车身字符、复杂背景等干扰，从而造成车牌识别结果不准确。
因此，如何准确的对车牌进行识别，亟待解决。
发明内容
鉴于以上技术问题，本发明的目的在于提供一种基于图像语义分割的车牌字符分割与识别方法及系统、电子设备、存储介质，解决传统的车牌识别方法误检过多或没有利用车牌字符图像语义信息、车牌顶点信息，容易受车身字符、复杂背景等干扰，造成车牌识别结果不准确的问题。
本发明采用以下技术方案：
一种基于图像语义分割的车牌字符分割与识别方法，包括以下步骤:
获取待检测车牌图像；
将所述待检测车牌图像输入预先训练好的车牌顶点检测模型，得到待检测车牌图像对应的车牌的四个顶点位置；
根据所述车牌的四个顶点位置，计算得到车牌区域；并将所述车牌区域输入到预先训练好的车牌字符区域检测模型中，得到每个字符区域的矩形边界框；
将所述每个字符区域的矩形边界框图像，依次输入到预先训练好的车牌字符分割模型中，得到所述待检测车牌图像中的每个字符的二值掩码图像；
对所述每个字符掩码二值图像进行识别，根据识别结果得到识别的车牌号。
优选的，还包括：
根据所述车牌的四个顶点位置，对所述待检测车牌图像进行畸变校正和/或倾斜校正。
优选的，所述预先训练好的车牌顶点检测模型通过以下步骤得到：
基于卷积池化神经网络构建车牌顶点检测模型，所述车牌顶点检测模型的训练损失为车牌四个顶点的回归损失;
获取车牌样本图像，并对每张车牌样本图像标注车牌四个顶点位置坐标，构建车牌顶点样本库；基于所述车牌顶点样本库训练所述车牌顶点检测模型，得到训练好的车牌顶点检测模型。
优选的，所述预先训练好的车牌字符检测模型通过以下步骤得到：
基于目标检测算法网络结构构建车牌字符检测模型，所述网络结构的损失函数包括车牌字符目标的分类损失、车牌每个字符矩形框的回归损失；
收集车牌样本图像，对每张车牌图像的每个字符区域进行人工标注类别和矩形边框信息，构建车牌字符图像样本库；并在所述车牌字符图像样本库上，对所述车牌字符检测模型进行训练，得到训练好的车牌字符检测模型。
优选的，所述预先训练好的车牌字符分割模型通过以下步骤得到：
基于卷积池化反卷积的编解码器结构的车牌字符分割模型构建车牌字符分割模型，所述的车牌字符分割模型的训练损失为车牌每个字符图像像素点的二元交叉熵；
收集车牌样本图像，对每张车牌图像的每个字符进行人工标注语义信息，构建车牌字符语义图像样本库；并在所述车牌字符语义图像样本库上，对所述车牌字符分割模型进行训练，得到训练好的车牌字符分割模型。
优选的，所述车牌样本图像包含的车牌类别包括但不限于蓝牌、绿牌、白牌、黄牌单层、黄牌双层中的一种或多种。
优选的，所述的畸变校正包括：
根据所述车牌的四个顶点位置，获取所述待检测车牌图像的畸变信息，根据所述畸变信息对待检测车牌图像的四个顶点位置进行校正。
一种基于图像语义分割的车牌字符分割与识别系统，包括：
获取单元，用于获取待检测车牌图像；
车牌位置检测单元，用于将所述待检测车牌图像输入预先训练好的车牌顶点检测模型，得到待检测车牌图像对应的车牌的四个顶点位置；
车牌字符检测单元，用于根据所述车牌的四个顶点位置，计算得到车牌区域，并将所述车牌区域输入到预先训练好的车牌字符区域检测模型中，得到每个字符区域的矩形边界框；
分割单元，用于将所述每个字符区域的矩形边界框图像，依次输入到预先训练好的车牌字符分割模型中，得到所述待检测车牌图像中的每个字符的二值掩码图像；
识别单元，用于对所述每个字符掩码二值图像进行识别，根据识别结果得到识别的车牌号。
一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于图像语义分割的车牌字符分割与识别方法。
一种计算机存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时，实现所述的基于图像语义分割的车牌字符分割与识别方法。
相比现有技术，本发明的有益效果在于：
本发明通过将所述待检测车牌图像输入预先训练好的车牌顶点检测模型，得到待检测车牌图像对应的车牌的四个顶点位置；根据所述车牌的四个顶点位置得到车牌区域并进行校正处理；对所述待检测车牌图像校正后，输入到预先训练好的车牌字符检测模型中，得到每个字符区域的矩形边界框；然后将每个字符区域图像依次输入到预先训练好的车牌字符分割模型中，得到所述待检测车牌图像中的每个字符的二值掩码语义图像，最后对所述每个字符掩码语义图像进行识别，根据识别结果得到识别的车牌号；其中，这种基于深度学习网络的根据字符语义信息的预处理的车牌识别方法，避免了噪声干扰，以及车牌曝光过度或过低等对车牌字符识别的不良影响；同时，根据所述车牌的四个顶点位置，对车牌的校正处理，之后再进一步字符检测方法，保证了检测出车牌的字符不偏斜和完整性，更有利于后续的字符语义分割，避免了车牌字符语义分割过程中的干扰问题；而且，对待检测车牌图像采用了通过语义分割出单个字符的预处理后再进行图像文字识别，由于语义分割算法具备较强的鲁棒性，以及二值化后字符语义信息特征更加显著，从而大大提升了车牌识别的稳定性和准确率。
进一步的，通过对所述待检测车牌图像进行畸变校正和/或倾斜校正，以使待检测车牌图像的边框对齐，再对边框对齐后的待检测车牌图像进行字符检测和语义分割以及识别，减少了多余的图像噪声，从而有利于进一步提高车牌识别的准确性。
附图说明
图1为本发明一实施例提供的一种基于图像语义分割的车牌字符分割与识别方法的流程示意图；
图2为本发明一具体实施例提供的一种基于图像语义分割的车牌字符分割与识别方法的流程示意图；
图3为本发明一具体实施例提供的一种车牌检测及定位算法的结构示意图；
图4为本发明一具体实施例提供的一种车牌字符检测算法的结构示意图；
图5为本发明一实施例提供的一种车牌字符分割模型的结构示意图；
图6为本发明一实施例提供的一种基于图像语义分割的车牌字符分割与识别系统的示意图；
图7为本发明一实施例提供的一种电子设备的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例：
实施例一：
请参照图1-7所示，如1所示的一种基于图像语义分割的车牌字符分割与识别方法，包括以下步骤:
S1:获取待检测车牌图像；
S2:将所述待检测车牌图像输入预先训练好的车牌顶点检测模型，得到待检测车牌图像对应的车牌的四个顶点位置；
S3:根据所述车牌的四个顶点位置，计算得到车牌区域；并将所述车牌区域输入到预先训练好的车牌字符区域检测模型中，得到每个字符区域的矩形边界框；
S4:将所述每个字符区域的矩形边界框图像，依次输入到预先训练好的车牌字符分割模型中，得到所述待检测车牌图像中的每个字符的二值掩码图像；
S5:对所述每个字符掩码二值图像进行识别，根据识别结果得到识别的车牌号。
在上述实现过程中，本发明通过对待检测车牌图像采用了通过语义分割出的二值掩码单个字符的预处理后再进行图像识别，由于语义分割算法具备较强的鲁棒性，大大提升了车牌识别的准确率。
作为另一实施例，本发明的方法具体还包括：
步骤S11:获取待检测车牌图像；
在本实施例中，所述待检测车牌图像可通过摄像头直接拍摄获取，或通过从视频图像中提取帧图，或通过网络接收图像或视频等方式获取，这里不作具体限制。
步骤S21:将所述待检测车牌图像输入预先训练好的车牌顶点检测模型，得到待检测车牌图像对应的车牌的四个顶点位置。
可选的，所述预先训练好的车牌顶点检测模型通过以下步骤得到：
步骤211：基于卷积神经架构设计的车牌四个顶点检测模型，所述模型的训练损失为车牌四个顶点的回归损失。
需要说明的是，本申请中即为车牌顶点检测模型,通过得到车牌四个顶点，定位出车牌的区域，从而可实现车牌检测。
在本实施例中，所述车牌顶点检测模型的车牌检测及定位算法的结构示意图如图3所示，由输入、输出和一系列卷积池化层和全连接层构成。所述待测车牌图像经卷积池化和全连接层，得到其高度抽象化的特征，再经输出层得到车牌的四个顶点位置坐标。
步骤221:收集2万张左右车牌样本图像，并对所述车牌样本图像进行车牌四个顶点人工标注，构建车牌顶点样本库。在所述车牌顶点样本库上，对所述车牌顶点检测模型进行训练，得到训练好的车牌顶点检测模型。
步骤S31:通过所述待测车牌图像四个顶点位置坐标，对所述待测车牌进行水平校正，确保车牌上下边框水平对齐，无倾斜或变形。
步骤S41:基于目标检测算法网络结构构建车牌字符检测模型，所述网络结构的损失函数包括车牌字符目标分类损失、单个字符边界框的回归损失；
需要说明的是，目标检测(Object Dectection)的任务是对图像中所有感兴趣的目标（或物体），确定他们的类别和位置。
在本实施例中，所述目标检测算法可采用One stage 目标检测算法，或Two stage目标检测算法网络结构，例如，采用R-CNN算法或Fast R-CNN算法模型等，这里不做具体限定。
在具体实现时，目标检测不仅要实现目标的分类，而且还要解决目标的定位问题，即获取目标在原始图像中的位置信息，因此，需要利用边界框回归来预测物体的目标检测框，以提高最终的检测精度。
步骤S411:收集2万张左右车牌样本图像，并对每张车牌样本图像先进行水平校正，之后对车牌中的每个字符人为标注矩形边界框、车牌字符目标的类别，从而确保标注矩形框无任何倾斜。构建车牌字符图像样本库。在所述车牌字符图像样本库上，对所述车牌字符检测模型进行训练，得到训练好的车牌字符检测模型。
在本实施例中，所述车牌样本图像包含的车牌类别包括但不限于蓝牌、绿牌、白牌、黄牌单层、黄牌双层中的一种或多种，并且可以根据中国车牌类别的更新而更新。
在具体实现时，可根据实际需要识别的车牌图像进行选择，选择所有车牌类别的一种或多种。
在具体训练时，优化损失函数可参照下文中式(1-4)的函数，选择合理数值进行训练，直到达到理想的效果。
步骤S51:基于卷积的编解码架构的车牌字符分割模型，由输入、输出和编解码器构成，如图5所示。具体分割流程，所述车牌字符图像经编解码器输出一个字符二值掩码图像，其中字符上像素点的值为255，背景像素点值为0。所述基于卷积的编解码架构的损失函数为字符图像素点的二分类损失；
需要说明的是，语义分割是一种典型的计算机视觉问题，其是指将一些原始数据（例如，平面图像）作为输入，并将它们转换为具有突出显示的感兴趣区域的掩模。
在具体实施中，语义分割的语义分割架构可以被认为是一个编码器-解码器网络。语义分割不仅需要在像素级有判别能力，还需要有能将编码器在不同阶段学到的可判别特征投影到像素空间(即映射回原图大小)的机制。不同的架构采用不同的机制（跳跃连接、金字塔池化等）作为解码机制的一部分。
具体的，编码器通常是一个预训练的分类网络，像 VGG、ResNet，然后是一个解码器网络。解码器，是将编码器学习到的可判别特征(较低分辨率)从语义上投影到像素空间(较高分辨率)，以获得密集分类。
步骤S511:收集5000张左右车牌样本图像，之后对车牌中的每个字符人为进行语义标注，得到真值标注图片，即为原车牌相同大小的二值图片，字符像素点值为255，背景像素值为0。从而构建车牌字符语义图像样本库。在所述车牌字符语义图像样本库上，对所述车牌字符分割模型进行训练，得到训练好的车牌字符分割模型。
步骤S61: 对所述每个字符图像进行识别，根据识别结果得到识别的车牌号。
在具体实施时，对所述每个字符图像进行识别可采用OCR文字识模型进行识别，然后将对所述每个字符图像进行识别的识别结果按顺序组合成车牌号，作为待识别车牌图像的车牌号。
在上述实现过程中，本发明通过将所述待检测车牌图像输入预先训练好的车牌顶点检测模型，得到待检测车牌图像对应的车牌的四个顶点位置坐标；根据所述车牌的四个顶点位置，对所述待测车牌进行水平校正，得到校正后的车牌；对所述校正后的车牌输入到字符检测模型得到每个字符的具体位置；对所述待检测车牌图像中的单个字符进行语义分割，从而得到所述待检测车牌图像中的每个字符图像的二值掩码图像。然后对所述每个字符二值掩码图像进行识别，根据识别结果得到识别的车牌号，对待检测车牌图像采用了通过语义分割出的二值掩码单个字符的预处理后再进行图像识别，由于语义分割算法具备较强的鲁棒性，大大提升了车牌识别的准确率。
优选的，本发明的方法还包括：
步骤S7:根据所述车牌的四个顶点位置，对所述待检测车牌图像进行畸变校正和/或倾斜校正。
在本实施例中，由于实际采集到的车牌图像，从不同的拍照角度存在不同的畸变、倾斜等，因此，可通过对图像进行畸变校正和/或倾斜校正，从而提高图像边框的对齐程度。
具体的，在进行倾斜校正时，当发现拍摄的图片是倾斜的，可直接利用变换工具，对照片部分进行摆正处理。
需要说明的是，畸变是指光学系统对物体所成的像相对于物体本身而言的失真程度，是光学透镜的固有特性，原因是因为镜头的边缘部分和中心部分的放大倍率不一样导致。
具体的，所述的畸变校正包括：
根据所述车牌的四个顶点位置，获取所述待检测车牌图像的畸变信息，根据所述畸变信息对待检测车牌图像的四个顶点位置进行校正，具体的，根据几何关系，通过放射变换实现校正。
在具体实现中，在进行畸变校正时，可根据畸变图像特点标定坐标图,求取标定点像素的理想值和实际值,同时生成坐标映射表,再把坐标映射表用于畸变图像的校正程序后,即可得到无畸变图像。
在上述实现过程中，通过对所述待检测车牌图像进行畸变校正和/或倾斜校正，可以保证待检测车牌图像的边框对齐，减少多余的图像噪声，从而有利于提高车牌识别的准确性。
实施例二：
下面以具体实施例对本发明的方法进行介绍，如图2所示的一种基于图像语义分割的车牌字符分割与识别方法，包括：
1)输入车牌图像
在本实施例中，输入的车牌图像可直接通过摄像头获取，也可通过网络接收车牌图像。
2)车牌检测
在具体实施时，请参照图3所述，图3示出了一种车牌检测算法的结构示意图；
其中，该网络结构将输入的图像依次经卷积、池化和全连接层提取特征，之后进行车牌四个顶点位置的回归。
在具体实施时，该网络通过设计一个损失函数，进行车牌四个顶点位置的回归训练。
具体的，车牌顶点回归，采用L2损失函数，即计算网络预测输出和实际顶点之间的距离，采用欧式距离度量，如式(1-3)所示：
Figure DEST_PATH_IMAGE002
(1-3)
其中，
Figure DEST_PATH_IMAGE004
表示网络预测输出，
Figure DEST_PATH_IMAGE006
表示真实坐标，共有4个顶点，每个点包含两个坐标值，所以关键点输出为8元祖。
在所述车牌顶点样本库上，通过梯度下降法训练迭代优化最小化式(1-3)至得到最优解，生成车牌顶点回归模型。
3)校正车牌
在具体实施时，由于实际采集到的车牌图像，从不同的拍照角度存在不同的畸变、倾斜等，为了更好的实现识别，所以对其进行校正的预处理，通过四个顶点分析车牌畸变情况后，根据几何关系，通过放射变换实现校正。
4)车牌字符检测
在具体实施时，请参照图4所述，图4示出了一种车牌字符检测算法的结构示意图；
其中，该网络结构将输入的图像依次经特征提取层，之后进行车牌字符目标的分类，矩形边界框的回归。
在具体实施时，该网络通过设计两部分的损失函数进行训练，字符/非字符的分类，车牌每个字符边界矩形框回归。
具体的，车牌字符分类采用二元交叉熵损失函数，如式1-1所示：
Figure DEST_PATH_IMAGE008
(1-1)
其中,
Figure DEST_PATH_IMAGE010
表示真实分布，
Figure DEST_PATH_IMAGE012
表示预测分布。
具体的，车牌字符边界框损失回归，采用L2损失函数，即取网络预测输出和真实边框坐标值之间的欧式距离，如式1-2所示：
Figure DEST_PATH_IMAGE014
(1-2)
其中，
Figure DEST_PATH_IMAGE016
为网络预测框，
Figure DEST_PATH_IMAGE018
真实框坐标，矩形框y由左上角坐标及宽高表示，即
Figure DEST_PATH_IMAGE020
。
最后，总的优化损失函数可以描述为，如式(1-4)所示：
Figure DEST_PATH_IMAGE022
(1-4)
其中
Figure DEST_PATH_IMAGE024
表示每项任务权重，越高代表该项所对任务越重要，选择合理数值进行训练。在所述车牌字符图像样本库上，迭代训练优化最小化式(1-4)，生成车牌字符检测模型。
5)车牌字符语义分割
在具体实施时，首先利用车牌字符检测模型精确分割出每个字符区域，然后采用车牌字符分割模型预测出每个字符的掩码图像，从而实现精确的单个字符语义信息的提取。
具体的，请参照图5所示，如图5所示的一种车牌字符分割模型的结构示意图，语义分割网络结构由输入、输出和编解码器组成，其中输入为一张RGB通道的原图，输出为与输入大小相一致的分割结果，即一张二值掩码图，其中前景为白色，背景为黑色。
编码器由卷积层、池化层等操作组成的若干处理块，用于特征提取，降低数据维数，减少计算量同时加快运算速度。
在本实施例中，具体采用的骨干网络架构为MobileNet2。解码器通过上采样，并跳跃连接的方式与编码器的特征相结合，从而获取更丰富的特征，进行若干块的处理，最后得到与原图相同大小的输出。
在车牌字符分割模型训练中，在收集好的数据集上，采用二元交叉熵作为损失函数进行训练，即为：
Figure DEST_PATH_IMAGE026
(1-5)
式(1-5)中，
Figure DEST_PATH_IMAGE028
为每个像素的损失函数，
Figure DEST_PATH_IMAGE030
为预测分布，
Figure DEST_PATH_IMAGE032
为真实标签，整张图像的损失函数是所有像素的损失值的平均值。在所述车牌字符语义图像样本库上，训练迭代优化最小化式(1-5),生成车牌字符分割模型。
在(2)(4)(5)模型训练中，均采用Adam ( Adaptive Moment Estimation)梯度下降法进行迭代训练，使其损失函数最小化。参数更新方式如下，假设损失函数在t时刻的梯度为如(1-6)所示：
Figure DEST_PATH_IMAGE034
(1-6)
其中θ为待学习的模型参数,进一步求取梯度中指数平均值，如下(1-7)式：
Figure DEST_PATH_IMAGE036
(1-7)
其中，
Figure DEST_PATH_IMAGE038
和
Figure DEST_PATH_IMAGE040
表示梯度的一阶矩估计和二阶矩估计，
Figure DEST_PATH_IMAGE042
和
Figure DEST_PATH_IMAGE044
分别表示一阶矩和二阶矩的指数衰减率，取值范围为[0,1), 默认值为
Figure DEST_PATH_IMAGE046
=0.9，
Figure 689129DEST_PATH_IMAGE044
=0.999.由于，指数加权平均使得最新数据与之前历史数据相关，会造成初始滑动平均偏差较大。因此，对其进行偏差修正，如下式(1-8)所示：
Figure DEST_PATH_IMAGE048
(1-8)
不难看出，随着时间t的逐渐增大
Figure DEST_PATH_IMAGE050
趋近于0，从前到后影响逐渐减少到最后修正完成。
最后的参数更新公式(1-9)如下：
Figure DEST_PATH_IMAGE052
(1-9)
其中，η表示学习率，ε为较小常数，防止分母为0，默认值为1e−8。
2)字符识别
将通过语义分割出每个字符，之后将其结果依次输入到字符识别OCR文字识别预训练模型中进行识别，最后将识别结果输出到文本。
在上述实现过程中，由于语义分割算法具备较强的鲁棒性，通过语义分割出字符语义信息的预处理后，再对每个语义字符图像进行文字识别，有效提升了车牌识别的准确率。
3)文字输出
将文字识别后的结果进行组合，得到识别车牌号。
在上述实现过程中，首先通过摄像头获取车牌图像，然后对摄像头采集到的车牌图像，进行车牌检测与定位，并通过车牌四个顶点进行车牌的校正处理，以保证边框对齐，减少多余的图像噪声，同时更有利与提高字符分割与识别的精准度。之后，再经过车牌字符分割模型进行字符语义分割，生成二值掩码，获取每个字符语义图像。最后，通过将单个字符输入到预先训练好的文字识别训练模型中，可依次识别出单个车牌字符，提高了车牌识别的准确性。
实施例三：
请参照图6所示，图6示出了本发明的一种基于图像语义分割的车牌字符分割与识别系统，包括：
获取单元，用于获取待检测车牌图像；
车牌位置检测单元，用于将所述待检测车牌图像输入预先训练好的车牌顶点检测模型，得到待检测车牌图像对应的车牌的四个顶点位置；
车牌字符检测单元，用于根据所述车牌的四个顶点位置，计算得到车牌区域，并将所述车牌区域输入到预先训练好的车牌字符区域检测模型中，得到每个字符区域的矩形边界框；
分割单元，用于将所述每个字符区域的矩形边界框图像，依次输入到预先训练好的车牌字符分割模型中，得到所述待检测车牌图像中的每个字符的二值掩码图像；
识别单元，用于对所述每个字符掩码二值图像进行识别，根据识别结果得到识别的车牌号。
实施例四：
图7为本申请实施例提供的一种电子设备的结构示意图，在本申请中可以通过图7所示的示意图来描述用于实现本申请实施例的本发明一种基于图像语义分割的车牌字符分割与识别方法的电子设备100。
如图7所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104，这些组件通过总线系统和/或其它形式的连接机构(未示出)互连。应当注意，图7所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备可以具有图7示出的部分组件，也可以具有图7未示出的其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本申请实施例中(由处理器实现)的功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
本发明还提供一种计算机存储介质，其上存储有计算机程序，本发明的方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在该计算机存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机存储介质不包括电载波信号和电信信号。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (10)

1.一种基于图像语义分割的车牌字符分割与识别方法，其特征在于，包括以下步骤:
获取待检测车牌图像；
将所述待检测车牌图像输入预先训练好的车牌顶点检测模型，得到待检测车牌图像对应的车牌的四个顶点位置；
根据所述车牌的四个顶点位置，计算得到车牌区域；并将所述车牌区域输入到预先训练好的车牌字符区域检测模型中，得到每个字符区域的矩形边界框；
将所述每个字符区域的矩形边界框图像，依次输入到预先训练好的车牌字符分割模型中，得到所述待检测车牌图像中的每个字符的二值掩码图像；
对所述每个字符掩码二值图像进行识别，根据识别结果得到识别的车牌号。
2.根据权利要求1所述的基于图像语义分割的车牌字符分割与识别方法，其特征在于，还包括：
根据所述车牌的四个顶点位置，对所述待检测车牌图像进行畸变校正和/或倾斜校正。
3.根据权利要求1所述的基于图像语义分割的车牌字符分割与识别方法，其特征在于，所述预先训练好的车牌顶点检测模型通过以下步骤得到：
基于卷积池化神经网络构建车牌顶点检测模型，所述车牌顶点检测模型的训练损失为车牌四个顶点的回归损失;
获取车牌样本图像，并对每张车牌样本图像标注车牌四个顶点位置坐标，构建车牌顶点样本库；基于所述车牌顶点样本库训练所述车牌顶点检测模型，得到训练好的车牌顶点检测模型。
4.根据权利要求1所述的基于图像语义分割的车牌字符分割与识别方法，其特征在于，所述预先训练好的车牌字符检测模型通过以下步骤得到：
基于目标检测算法网络结构构建车牌字符检测模型，所述网络结构的损失函数包括车牌字符目标的分类损失、车牌每个字符矩形框的回归损失；
收集车牌样本图像，对每张车牌图像的每个字符区域进行人工标注类别和矩形边框信息，构建车牌字符图像样本库；并在所述车牌字符图像样本库上，对所述车牌字符检测模型进行训练，得到训练好的车牌字符检测模型。
5.根据权利要求1所述的基于图像语义分割的车牌字符分割与识别方法，其特征在于，所述预先训练好的车牌字符分割模型通过以下步骤得到：
基于卷积池化反卷积的编解码器结构的车牌字符分割模型构建车牌字符分割模型，所述的车牌字符分割模型的训练损失为车牌每个字符图像像素点的二元交叉熵；
收集车牌样本图像，对每张车牌图像的每个字符进行人工标注语义信息，构建车牌字符语义图像样本库；并在所述车牌字符语义图像样本库上，对所述车牌字符分割模型进行训练，得到训练好的车牌字符分割模型。
6.根据权利要求3所述的基于图像语义分割的车牌字符分割与识别方法，其特征在于，所述车牌样本图像包含的车牌类别包括但不限于蓝牌、绿牌、白牌、黄牌单层、黄牌双层中的一种或多种。
7.根据权利要求2所述的基于图像语义分割的车牌字符分割与识别方法，其特征在于，所述的畸变校正包括：
根据所述车牌的四个顶点位置，获取所述待检测车牌图像的畸变信息，根据所述畸变信息对待检测车牌图像的四个顶点位置进行校正。
8.一种基于图像语义分割的车牌字符分割与识别系统，其特征在于，包括：
获取单元，用于获取待检测车牌图像；
车牌位置检测单元，用于将所述待检测车牌图像输入预先训练好的车牌顶点检测模型，得到待检测车牌图像对应的车牌的四个顶点位置；
车牌字符检测单元，用于根据所述车牌的四个顶点位置，计算得到车牌区域，并将所述车牌区域输入到预先训练好的车牌字符区域检测模型中，得到每个字符区域的矩形边界框；
分割单元，用于将所述每个字符区域的矩形边界框图像，依次输入到预先训练好的车牌字符分割模型中，得到所述待检测车牌图像中的每个字符的二值掩码图像；
识别单元，用于对所述每个字符掩码二值图像进行识别，根据识别结果得到识别的车牌号。
9.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的基于图像语义分割的车牌字符分割与识别方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时，实现权利要求1-7任一项所述的基于图像语义分割的车牌字符分割与识别方法。
CN202211200460.XA 2022-09-29 2022-09-29 一种基于图像语义分割的车牌字符分割与识别方法及系统 Pending CN115273087A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211200460.XA CN115273087A (zh) 2022-09-29 2022-09-29 一种基于图像语义分割的车牌字符分割与识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211200460.XA CN115273087A (zh) 2022-09-29 2022-09-29 一种基于图像语义分割的车牌字符分割与识别方法及系统

Publications (1)

Publication Number Publication Date
CN115273087A true CN115273087A (zh) 2022-11-01

Family

ID=83757571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211200460.XA Pending CN115273087A (zh) 2022-09-29 2022-09-29 一种基于图像语义分割的车牌字符分割与识别方法及系统

Country Status (1)

Country Link
CN (1) CN115273087A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830213A (zh) * 2018-06-12 2018-11-16 北京理工大学 基于深度学习的车牌检测与识别方法和装置
CN109784326A (zh) * 2018-11-27 2019-05-21 上海眼控科技股份有限公司 一种基于深度学习的车辆底盘检测方法
CN110245583A (zh) * 2019-05-27 2019-09-17 上海眼控科技股份有限公司 一种车辆尾气检验报告的智能识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830213A (zh) * 2018-06-12 2018-11-16 北京理工大学 基于深度学习的车牌检测与识别方法和装置
CN109784326A (zh) * 2018-11-27 2019-05-21 上海眼控科技股份有限公司 一种基于深度学习的车辆底盘检测方法
CN110245583A (zh) * 2019-05-27 2019-09-17 上海眼控科技股份有限公司 一种车辆尾气检验报告的智能识别方法

Similar Documents

Publication Publication Date Title
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
Silva et al. A flexible approach for automatic license plate recognition in unconstrained scenarios
JP5830546B2 (ja) 対象物のモデル変換に基づくモデルパラメータの決定
CN111914698B (zh) 图像中人体的分割方法、分割系统、电子设备及存储介质
CN109165538B (zh) 基于深度神经网络的条形码检测方法及装置
CN113240626B (zh) 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
CN113033558B (zh) 一种用于自然场景的文本检测方法及装置、存储介质
CN111695373B (zh) 斑马线的定位方法、系统、介质及设备
CN115578615B (zh) 基于深度学习的夜间交通标志图像检测模型建立方法
CN111553349A (zh) 一种基于全卷积网络的场景文本定位与识别方法
CN113052170A (zh) 一种无约束场景下的小目标车牌识别方法
CN112560717A (zh) 一种基于深度学习的车道线检测方法
CN110969164A (zh) 基于深度学习端对端的低照度成像车牌识别方法及装置
CN112580383A (zh) 二维码识别方法、装置、电子设备及存储介质
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
CN112613392A (zh) 基于语义分割的车道线检测方法、装置、系统及存储介质
CN110516731B (zh) 一种基于深度学习的视觉里程计特征点检测方法及系统
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN112686872B (zh) 基于深度学习的木材计数方法
CN107704864B (zh) 基于图像对象性语义检测的显著目标检测方法
CN117197686A (zh) 一种基于卫星影像的高标准农田地块边界自动识别方法
Bala et al. Image simulation for automatic license plate recognition
CN113065559B (zh) 图像比对方法、装置、电子设备及存储介质
CN115273087A (zh) 一种基于图像语义分割的车牌字符分割与识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221101

RJ01 Rejection of invention patent application after publication