CN113326893A - 车牌识别模型的训练、识别方法、装置及电子设备 - Google Patents

车牌识别模型的训练、识别方法、装置及电子设备 Download PDF

Info

Publication number
CN113326893A
CN113326893A CN202110693683.3A CN202110693683A CN113326893A CN 113326893 A CN113326893 A CN 113326893A CN 202110693683 A CN202110693683 A CN 202110693683A CN 113326893 A CN113326893 A CN 113326893A
Authority
CN
China
Prior art keywords
license plate
image
recognition model
plate recognition
image quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110693683.3A
Other languages
English (en)
Inventor
薛莹
满志朋
赵诗宇
吴家新
葛鹤银
牛群遥
朱林
章勇
曹李军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN202110693683.3A priority Critical patent/CN113326893A/zh
Publication of CN113326893A publication Critical patent/CN113326893A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及模式识别技术领域，具体涉及车牌识别模型的训练、识别方法、装置及电子设备，所述训练方法包括获取样本图像集以及获取样本图像集中各个样本图像对应的标签，所述标签包括样本图像的图像质量以及目标车牌的字符，所述图像质量包括类别和等级；将样本图像输入车牌识别模型中，得到样本图像的预测结果，所述预测结果包括预测图像质量以及预测目标车牌；基于预测结果以及所述标签，更新车牌识别模型的参数，以确定目标车牌识别模型。在车牌识别模型中加入质量预测分支，对样本图像的图像质量进行预测，可以解决由于车牌本身质量不理想，而车牌识别模型输出车牌置信度高的情况下的识别准确率低的问题。

Description

车牌识别模型的训练、识别方法、装置及电子设备
技术领域
本发明涉及模式识别技术领域，具体涉及车牌识别模型的训练、识别方法、装置及电子设备。
背景技术
近年来随着深度学习理论的发展和完善，针对识别在各大安防厂商均引入了卷积神经网络的解决方案，也取得了比较好的效果。但是，在实际使用过程中，车牌识别分支的网络结果输出的置信度并不能客观有效地描述车牌本身的质量。这是由于车牌在识别过程中会对严重曝光、运动模糊、不完整有污损的车辆等图像质量不高的图像进行结果输出，从而大量引入错误的车牌属性，导致车牌识别的准确性偏低。
发明内容
有鉴于此，本发明实施例提供了一种车牌识别模型的训练、识别方法、装置及电子设备，以解决车牌识别准确性偏低的问题。
根据第一方面，本发明实施例提供了一种车牌识别模型的训练方法，包括：
获取样本图像集以及获取所述样本图像集中各个样本图像对应的标签，所述标签包括所述样本图像的图像质量以及目标车牌的字符，所述图像质量包括类别和等级；
将所述样本图像输入车牌识别模型中，得到所述样本图像的预测结果，所述预测结果包括预测图像质量以及预测目标车牌；
基于所述预测结果以及所述标签，更新所述车牌识别模型的参数，以确定目标车牌识别模型。
本发明实施例提供的车牌识别模型的训练方法，在车牌识别模型中加入质量预测分支，用于对样本图像的图像质量进行预测，将预测得到的图像质量作为确定车牌识别结果的依据，可以解决由于车牌本身质量不理想，而车牌识别模型输出车牌置信度高的情况下的识别准确率低的问题，所训练得到的目标车牌识别模型能够提高车牌识别的准确性。
结合第一方面，在第一方面第一实施方式中，所述获取样本图像集，包括：
获取原始图像以及不同类别下的图像增强参数；
基于所述图像增强参数，对所述原始图像进行图像增强，得到不同图像质量的样本图像。
本发明实施例提供的车牌识别模型的训练方法，通过对原始图像进行图像增强的处理，得到不同图像质量的样本图像，丰富了样本图像集中样本图像的图像类型，为车牌识别模型的训练提供了样本图像的支撑，进一步提高了训练得到的目标车牌识别模型的可靠性且在不同图像质量的类别下利用对应的图像增强参数对原始图像进行图像增强的处理，可以在简化处理过程的基础上，能够得到不同图像质量的样本图像，提高了形成样本图像的效率。
结合第一方面第一实施方式，在第一方面第二实施方式中，所述图像质量的类别包括污损，所述图像增强参数包括污损区域的尺寸，所述基于所述图像增强参数，对所述原始图像进行图像增强，得到不同图像质量的样本图像，包括：
获取污损种子参数，生成污损车牌模板；
基于所述污损区域的尺寸在所述污损车牌模板上截取相应的图像，得到污损图像；
将所述污损图像与所述原始图像进行叠加，得到所述样本图像。
本发明实施例提供的车牌识别模型的训练方法，利用污损种子参数生成污损车牌模板，利用该模板就可以生成不同污损程度的样本图像，简化了污损车牌的制备，提高了处理效率。
结合第一方面，在第一方面第三实施方式中，所述目标车牌的字符包括车牌字符以及补偿符，所述补偿符设置在所述车牌字符的预设位置，所述获取所述样本图像集中各个样本图像对应的标签，包括：
获取所述目标车牌的字符；
基于所述图像质量的类别和等级，得到所述样本图像的图像质量；
利用所述目标车牌的字符以及所述图像质量，确定所述样本图像对应的标签。
本发明实施例提供的车牌识别模型的训练方法，在目标车牌中设置补偿符以对不同长度分布不均的车牌处理成等长的车牌，通过在预设位置设置补偿符，可以保证处理得到的目标车牌与实际车牌相符，提高了样本图像的标签的可靠性。
根据第二方面，本发明实施例还提供了一种车牌识别方法，包括：
获取车牌图像；
将所述车牌图像输入目标车牌识别模型中，得到所述车牌图像的图像质量以及预测车牌，所述目标车牌识别模型是根据本发明第一方面，或第一方面任一项实施方式中所述的车牌识别模型的训练方法训练得到的；
基于所述图像质量以及所述预测车牌，确定目标车牌。
本发明实施例提供的车牌识别方法，在车牌识别过程中结合车牌的图像质量，将图像质量作为确定车牌识别结果的依据，可以解决由于车牌本身质量不理想，而车牌识别模型输出车牌置信度高的情况下的识别准确率低的问题，提高了车牌识别的准确性。
结合第二方面，在第二方面第一实施方式中，所述预测车牌包括预测补偿符以及预测车牌字符，所述基于所述图像质量以及所述预测车牌，确定目标车牌，包括：
判断所述图像质量是否符合预设条件；
当所述图像质量符合所述预设条件时，对所述预测车牌进行所述预测补偿符的处理，输出所述预测车牌字符，以确定所述目标车牌。
本发明实施例提供的车牌识别方法，在预测车牌中包括预测补偿符，可以解决车牌变长度且字符长度跨度较大的情况下车牌识别问题，在后处理过程中将该预测补偿符去除，仅输出预测车牌字符，可以保证所确定的目标车牌的准确性。
根据第三方面，本发明实施例还提供了一种车牌识别模型的训练装置，包括：
第一获取模块，用于获取样本图像集以及获取所述样本图像集中各个样本图像对应的标签，所述标签包括所述样本图像的图像质量以及目标车牌的字符，所述图像质量包括类别和等级；
预测模块，用于将所述样本图像输入车牌识别模型中，得到所述样本图像的预测结果，所述预测结果包括预测图像质量以及预测目标车牌；
更新模块，用于基于所述预测结果以及所述标签，更新所述车牌识别模型的参数，以确定目标车牌识别模型。
本发明实施例提供的车牌识别模型的训练装置，在车牌识别模型中加入质量预测分支，用于对样本图像的图像质量进行预测，将预测得到的图像质量作为确定车牌识别结果的依据，可以解决由于车牌本身质量不理想，而车牌识别模型输出车牌置信度高的情况下的识别准确率低的问题，所训练得到的目标车牌识别模型能够提高车牌识别的准确性。
根据第四方面，本发明实施例还提供了一种车牌识别装置，包括：
第二获取模块，用于获取车牌图像；
识别模块，用于将所述车牌图像输入目标车牌识别模型中，得到所述车牌图像的图像质量以及预测车牌，所述目标车牌识别模型是根据本发明第一方面，或第一方面任一项实施方式中所述的车牌识别模型的训练方法训练得到的；
处理模块，用于基于所述图像质量以及所述预测车牌，确定目标车牌。
本发明实施例提供的车牌识别装置，在车牌识别过程中结合车牌的图像质量，将图像质量作为确定车牌识别结果的依据，可以解决由于车牌本身质量不理想，而车牌识别模型输出车牌置信度高的情况下的识别准确率低的问题，提高了车牌识别的准确性。
根据第五方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的车牌识别模型的训练方法，或执行第二方面或者第二方面的任意一种实施方式中所述的车牌识别方法。
根据第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的车牌识别模型的训练方法，或执行第二方面或者第二方面的任意一种实施方式中所述的车牌识别方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的车牌识别模型的训练方法的流程图；
图2是根据本发明实施例的目标车牌识别模型的部分结构示意图；
图3是根据本发明实施例的车牌识别模型的训练方法的流程图；
图4是根据本发明实施例的污损车牌模板的示意图；
图5是根据本发明实施例的不同图像质量类别不同程度下对应车牌效果示意图；
图6是根据本发明实施例的不同长度的车牌补偿符与车牌模板的补偿方式示意图；
图7是根据本发明实施例的车牌识别方法的流程图；
图8是根据本发明实施例的车牌识别方法的流程图；
图9是根据本发明实施例的车牌识别模型的训练装置的结构框图；
图10是根据本发明实施例的车牌识别装置的结构框图；
图11是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例提供的目标车牌识别模型中设置有质量预测分支，用于对输入图像的图像质量进行预测，并将预测结果作为后续车牌识别结果的输出依据。例如，若输入图像的图像质量不佳，即使车牌识别结果的置信度较高，仍不输出相应的识别结果；若输入图像的图像质量较好，就依据置信度输出相应的识别结果。通过增加质量预测分支，解决由于车牌本身质量不理想而车牌识别模型输出车牌置信度高的情况下的识别准确率低的情况。
进一步地，在车牌识别模型的训练过程中，对样本图像制备标签时，利用补偿符对样本图像中的车牌进行补齐。例如，对于长度分布不均匀的车牌，可以总结车牌中车牌字符的分布规律，以在相应位置设置补偿符，以保证样本图像的车牌字符的长度一致。通过补偿符的方式对车牌图像进行处理，可以解决车牌边长度且字符长度跨度较大(例如，3至9)的情况下的车牌识别问题。
根据本发明实施例，提供了一种车牌识别模型的训练方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种车牌识别模型的训练方法，可用于电子设备，如电脑、手机、平板电脑等，图1是根据本发明实施例的车牌识别模型的训练方法的流程图，如图1所示，该流程包括如下步骤：
S11，获取样本图像集以及获取样本图像集中各个样本图像对应的标签。
其中，所述标签包括所述样本图像的图像质量以及目标车牌的字符，所述图像质量包括类别和等级。
在样本图像集中的样本图像可以是从实际场景下采集到的，也可以对采集到的图像进行数据增强处理后得到的，在此对样本图像的来源并不做任何限定，具体可以依据实际需求进行相应的设置。
样本图像对应的标签包括图像质量以及目标车牌，其中，图像质量可以是人为确定的，也可以是利用图像质量分类模型得到的。例如，当样本图像是通过数据增强的方式获得的，那么就可以人为设置数据增强的方式，以得到不同质量的样本图像，例如，同一类别下不同等级的样本图像；当样本图像是通过实际场景下采集到的，那么就可以将采集到的样本图像输入到图像质量分类模型中，得到对应的图像质量，例如，同一类别不同等级的样本图像。当然，上述的得到图像质量的方式仅仅是一些可选的方式，本发明的保护范围并不限于此，具体可以根据实际情况进行相应的设置。
所述的目标车牌的字符为样本图像中所包括的车牌字符，其可以是人为标定的，也可以通过其他方式处理的，在此对其并不做任何限定。可选地，目标车牌的字符还可以包括有补偿符，用于对车牌字符的长度进行补偿，其可以设置在车牌字符的最前方、中间位置或最后方的任意位置，具体可以根据实际需求进行相应的设置。
可选地，电子设备可以将获得样本图像集划分为训练集与测试集，其中，训练集用于对车牌识别模型的进行训练，而测试集用于对训练得到的目标车牌识别模型的准确性进行验证。关于训练集与测试集中样本图像的比例可以依据实际需求进行相应的设置，例如，可以设置为1:10。
关于该步骤具体将在下文中进行详细描述。
S12，将样本图像输入车牌识别模型中，得到样本图像的预测结果。
其中，所述预测结果包括预测图像质量以及预测目标车牌。
车牌识别模型包括两个预测分支，分别为质量预测分支与车牌识别分支。其中，关于上述两个分支的具体网络结构可以依据实际需求进行相应的设置。例如，可以基于densenet121网络进行设计。其中，由于该网络结构较大，可以对其网络结构进行删减，得到densenet69网络。
图2示出了车牌识别模型的部分网络结构，其中，在图2中虚线框框选出的分支为所述的质量预测分支。需要说明的是，图2仅仅示出了部分的网络结构，而并不是完整的网络结构。
电子设备将样本数据集中的样本图像输入至车牌识别模型中，通过车牌识别模型的处理，可以得到两个预测结果，分别为预测图像质量和预测目标车牌。
S13，基于预测结果以及标签，更新车牌识别模型的参数，以确定目标车牌识别模型。
电子设备可以将预测结果与标签中对应的参数进行损失函数的计算，并基于损失函数的计算结果对车牌识别模型的参数进行更新，最终确定出目标车牌识别模型。
关于具体损失函数的选择以及具体的训练过程，在此对其并不做任何限定，具体可以依据需求进行相应的设置。
本实施例提供的车牌识别模型的训练方法，在车牌识别模型中加入质量预测分支，用于对样本图像的图像质量进行预测，将预测得到的图像质量作为确定车牌识别结果的依据，可以解决由于车牌本身质量不理想，而车牌识别模型输出车牌置信度高的情况下的识别准确率低的问题，所训练得到的目标车牌识别模型能够提高车牌识别的准确性。
在本实施例中提供了一种车牌识别模型的训练方法，可用于电子设备，如电脑、手机、平板电脑等，图3是根据本发明实施例的车牌识别模型的训练方法的流程图，如图3所示，该流程包括如下步骤：
S21，获取样本图像集以及获取样本图像集中各个样本图像对应的标签。
其中，所述标签包括所述样本图像的图像质量以及目标车牌。
具体地，上述S21可以包括如下步骤：
S211，获取原始图像以及不同类别下的图像增强参数。
所述的原始图像可以为实际场景下采集到的图像，或者通过其他途径获得的图像，等等。
电子设备可以利用对抗网络对原始图像进行处理，得到不同图像质量的样本图像；电子设备也可以利用图像处理方式，对原始图像进行模糊、强光、污损等处理，得到不同图像质量的样本图像，以确定样本图像集。
图像质量的类别可以依据实际需求进行划分，在本实施例中以3种图像质量的类别为例进行描述。所述的图像质量的类别包括模糊、强光和污损。具体地，为了提高车牌识别效果的鲁棒性以及质量预测分支的可靠性，需要对原始图像进行模糊、污损、强光灯不同维度的数据增强，以解决在输出车牌得分很高但由于车牌本身质量不佳而导致的错误识别的问题。不同类别下的图像增强参数是依据实际需求设置的，例如，用户设置对应的图像增强参数。
其中，关于图像质量的类别如表1所示。
表1图像质量的类别及相应的等级
Figure BDA0003127589820000091
S212，基于图像增强参数，对原始图像进行图像增强，得到不同图像质量的样本图像。
如上文所述，将图像质量的类别分为3种，就需要分别针对各种图像质量的类别对原始图像进行图像增强处理，得到不同图像质量类别下不同等级的样本图像。
关于模糊车牌图像的形成，电子设备可以使用cv2.getRotationMatrix2D对原始图像做运动模糊的增强。例如，可以设定degree＝6，angle＝45作为中级图像质量标准；设定degree＝12，angle＝60作为低级图像质量标准。
关于强光车牌图像的形成，电子设备可以使用函数mageEnhance.Brightness().enhance(brightness)对原始图像做光线的增强。例如，可以设定brightness＝5作为中级图像质量标准，设定brightness＝13作为低级图像质量标准。
上述参数的设置仅仅是一种示例，并不限定本发明的保护范围。
进一步地，所述图像质量的类别包括污损，所述图像增强参数包括污损区域的尺寸。对于污损车牌图像的生成过程，可以包括如下步骤：
(1)获取污损种子参数，生成污损车牌模板。
所述的污损种子参数可以包括污损点之间的间隔、污损点的图像等等，电子设备基于这些污损种子参数生成污损车牌模板。其中，污损种子参数并不限于上文所述，可以包括其他参数，在此对其并不做任何限定。
图4示出了污损车牌模板的一个具体实例，在图4中，污损车牌模板中生成的污损点种子横向与纵向的间隔为30cmx30cm。
(2)基于污损区域的尺寸在污损车牌模板上截取相应的图像，得到污损图像。
电子设备可以随机选取污损车牌模板上的尺寸，将其作为污损区域的尺寸。例如，可以随机生成一个污损区域的尺寸，利用该尺寸在污损车牌模板上截取相应的图像，得到污损图像。
或者，电子设备也可以提供污损区域的尺寸的设置界面，在该界面上设置污损区域的尺寸，相应地，电子设备就可以获取到所设置的尺寸，并利用该尺寸在污损车牌模板上截取相应的图像，得到污损图像。
(3)将污损图像与原始图像进行叠加，得到样本图像。
电子设备将污损图像与原始图像进行叠加，在具体叠加时，可以先将污损图像处理成与原始图像相同的大小，再将污损图像的各个像素点的像素值与原始图像中各个像素点的像素值进行叠加，也可以是利用图像处理的方式将污损图像与原始图像进行叠加，具体可以依据实际需求进行相应的设置，在此对其并不做任何限定。
如图4所示，随机截取固定大小的污损区域，rezise生成与原始车牌大小，通过bitwise_not和bitwise_and将污损图像与原始图像进行叠加，生成带有污渍效果的样本图像。当然，在此过程中也可以通过人工审核过滤一些不理想的图片，完成整个污损样本图像的制作。例如，随机crop大小为50cmx50cm污损区域，保证图像中至少有一个污损点情况作为中级图像质量标准，随机crop大小为80cmx80cm污损区域，保证图像中至少有两个污损点情况作为低级图像质量标准，具体效果如图5所示。
利用污损种子参数生成污损车牌模板，利用该模板就可以生成不同污损程度的样本图像，简化了污损车牌的制备，提高了处理效率。
如上文所述，所述的图像质量的类别包括3种，分别为模糊、强光和污损。电子设备通过上述步骤的处理，可以得到分别对应于上述3种图像质量的类别的不同等级的样本图像，具体可以如图5所示。在图5中，从质量等级由高到底，其对应的质量等级标签分别为2、1以及0；对应于每种图像质量的类别，分别生成3种质量等级的图像。
当然，图5仅仅是一种示例，并不限定本发明的保护范围，具体依据实际需求进行图像质量的类别以及各类别下质量等级的划分。
在不同图像质量的类别下利用对应的图像增强参数对原始图像进行图像增强的处理，可以在简化处理过程的基础上，能够得到不同图像质量的样本图像，提高了形成样本图像的效率。
S213，获取目标车牌的字符。
所述目标车牌的字符包括车牌字符以及补偿符，所述补偿符设置在所述车牌字符的预设位置。
由于原始图像中车牌字符的长度不等，也可能分布不均匀。因此，在制作原始图像的车牌标签时，在车牌字符的预设位置设置补偿符。例如，提取车牌的区域检测box信息，提取车牌的号码信息，并根据号码的长度分别筛选出数据集中长度位3，4....8，9的车牌。选择这些车牌长度中最长的车牌的作为标准模板，分别对上述不同长度的车牌的标签进行均匀的补偿对齐。如图6所示，车牌标准模板是图中的黑色部分，具体规则为：XX 1234ABC，遵循2-4-3的结构，其中XX和ABC均为英文字符，1234主要是阿拉伯数字，统计发现不管是长度多少的车牌，其分布基本满足该分布规律，小于该模板的车牌也会以空白的形式分散开，这样可以通过一个补偿符(例如，#)来对齐车牌标签，是无论多长车牌都可以对齐到标准模块。
需要说明的是，所述的补偿符的标识并不限于上文所述的“#”，也可以为其他形式的表示，具体可以依据实际需求进行相应的设置，在此对其并不做任何限定。
例如，图6中长度为3的车牌N 51进行补偿对齐的规则，XX模板在最后一个以为添加补偿符，1234模板根据均匀分布规则在51的前面和后面分别补充一个补偿符，最后的ABC模板，补充3个补偿符，最后该车牌的标签被定义为N##51####，以次类推，可以完成所有的车牌补偿符的设置，以得到各个原始图像的目标车牌。
S214，基于图像质量的类别以及等级，得到样本图像的图像质量。
如上文所述，电子设备在制作样本图像集时，就可以得到样本图像的图像质量。具体地，电子设备在生成各个图像质量的类别的不同质量等级的样本图像时，就可以相应确定各个样本图像的图像质量。
S215，利用目标车牌的字符以及图像质量，确定样本图像对应的标签。
图像质量可以根据步骤2中模糊、污损、强光3个维度的强度来分别评定。每个维度评价的指标以0，1，2来表示由低到高3个不同程度的图像质量等级。其中，需要说明的是，3个维度的排列可以是固定的，也可以是不固定的。当3个维度的排列不固定时，可以在标签中携带有各个维度及其具体等级。例如，标签表示为(类别1-等级，类别2-等级，类别3-等级)。当3个维度的排列固定时，在下文中以模糊、污损、强光的顺序来表示标签的具体数值。我们固定一个维度，分别改变其他的维度等级来实现，这样一共有3*3*3＝27个组合，即有27个分类。对于等级为0的图像质量代表的车牌图像质量最差的情况，一般的，若三个维度中有一个为0，我们就评定该图像的等级为不合格；若3个维度全为2，标签为(2，2，2)，则评定为高质量车牌。其他情况为一般质量的车牌。将该标签添加到目标车牌的标签后面，比如生成一个中强光高污损不模糊的图像，3个维度的排列顺序为模糊、污损以及强光，相应地，标签为(2，0，1)，则最后的标签可以设定为N##51####_201，其中_为分隔符，无实际意义，仅用来区别车牌识别和质量评分的标签的分隔符。依此类推，完成所有的数据整合工作。
S22，将样本图像输入车牌识别模型中，得到样本图像的预测结果。
其中，所述预测结果包括预测图像质量以及预测目标车牌。
详细请参见图1所示实施例的S12，在此不再赘述。
S23，基于预测结果以及标签，更新车牌识别模型的参数，以确定目标车牌识别模型。
详细请参见图1所示实施例的S13，在此不再赘述。
本实施例提供的车牌识别模型的训练方法，通过对原始图像进行图像增强的处理，得到不同图像质量的样本图像，丰富了样本图像集中样本图像的图像类型，为车牌识别模型的训练提供了样本图像的支撑，进一步提高了训练得到的目标车牌识别模型的可靠性。在目标车牌中设置补偿符以对不同长度分布不均的车牌处理成等长的车牌，通过在预设位置设置补偿符，可以保证处理得到的目标车牌与实际车牌相符，提高了样本图像的标签的可靠性。
根据本发明实施例，提供了一种车牌识别方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种车牌识别方法，可用于电子设备，如前端图像采集设备、电脑、手机、平板电脑等。图7是根据本发明实施例的车牌识别方法的流程图，如图7所示，该流程包括如下步骤：
S31，获取车牌图像。
车牌图像可以前端图像采集设备实时采集到并进行后续的车牌识别的，也可以是前端图像采集设备采集之后发送给电子设备进行车牌识别的，在此对其并不做任何限定，具体可以依据实际应用场景进行相应的设置。
以电子设备从第三方获取到车牌图像为例，前端图像采集设备实时采集实际应用场景下的图像，并将采集到的图像发送给电子设备，电子设备对其进行车牌识别。
S32，将车牌图像输入目标车牌识别模型中，得到车牌图像的图像质量以及预测车牌。
其中，所述目标车牌识别模型是根据上述任一项实施方式中所述的车牌识别模型的训练方法训练得到的，关于车牌识别模型的具体训练过程请详见上文所述，在此并不赘述。
电子设备将车牌图像输入到目标车牌识别模型中，在目标车牌识别模型中包括两个处理分支，分别为质量预测分支与车牌识别分支，利用目标车牌识别模型的两个处理分支对车牌图像进行相应的处理，得到该车牌图像的图像质量以及预测车牌。
S33，基于图像质量以及预测车牌，确定目标车牌。
电子设备可以基于上述S32中得到图像质量对预测车牌进行过滤，若图像质量不佳，就可以直接忽略预测车牌；若图像质量较好，还可以结合各个预测车牌的置信度，确定目标车牌。
关于该步骤具体将在下文中进行详细描述。
本实施例提供的车牌识别方法，在车牌识别过程中结合车牌的图像质量，将图像质量作为确定车牌识别结果的依据，可以解决由于车牌本身质量不理想，而车牌识别模型输出车牌置信度高的情况下的识别准确率低的问题，提高了车牌识别的准确性。
在本实施例中提供了一种车牌识别方法，可用于电子设备，如电脑、手机、平板电脑等，图8是根据本发明实施例的车牌识别模型的训练方法的流程图，如图8所示，该流程包括如下步骤：
S41，获取车牌图像。
详细请参见图7所示实施例的S31，在此不再赘述。
S42，将车牌图像输入目标车牌识别模型中，得到车牌图像的图像质量以及预测车牌。
其中，所述目标车牌识别模型是根据上述任一项实施方式中所述的车牌识别模型的训练方法训练得到的。
详细请参见图7所示实施例的S32，在此不再赘述。
S43，基于图像质量以及所述预测车牌，确定目标车牌。
具体地，上述S43可以包括：
S431，判断图像质量是否符合预设条件。
预设条件可以是设置图像质量的阈值，例如，针对上文所述的3种图像质量的类别，设置图像等级的阈值。若图像等级为0，表示图像质量不符合预设条件；否则，认为图像质量符合预设条件。
当所述图像质量符合预设条件时，执行S432；否则，不输出。
S432，对预测车牌进行预测补偿符的处理，输出预测车牌字符，以确定目标车牌。
具体地，首先根据质量评估过滤掉车牌图像质量较差的情况，该情况下的车牌无论结果置信度输出如何都不输出车牌结果。具体如何评价质量较低的情况，一般地，若图像质量的3个维度中的标签有一个为0，则认为该情况的车牌质量不佳，不给予输出。倘若车牌质量较高，即可根据输出车牌识别的结果，遍历所有输出字符串，遇到补偿符“#”跳过不输出，直到结束，输出完整的车牌识别字符。
本实施例提供的车牌识别方法，在预测车牌中包括预测补偿符，可以解决车牌变长度且字符长度跨度较大的情况下车牌识别问题，在后处理过程中将该预测补偿符去除，仅输出预测车牌字符，可以保证所确定的目标车牌的准确性。
作为本实施例的一个具体应用实例，
在本实施例中还提供了一种车牌识别模型的训练装置，或车牌识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种车牌识别模型的训练装置，如图9所示，包括：
第一获取模块51，用于获取样本图像集以及获取所述样本图像集中各个样本图像对应的标签，所述标签包括所述样本图像的图像质量以及目标车牌的字符，所述图像质量包括类别和等级；
预测模块52，用于将所述样本图像输入车牌识别模型中，得到所述样本图像的预测结果，所述预测结果包括预测图像质量以及预测目标车牌；
更新模块53，用于基于所述预测结果以及所述标签，更新所述车牌识别模型的参数，以确定目标车牌识别模型。
本实施例提供的车牌识别模型的训练装置，在车牌识别模型中加入质量预测分支，用于对样本图像的图像质量进行预测，将预测得到的图像质量作为确定车牌识别结果的依据，可以解决由于车牌本身质量不理想，而车牌识别模型输出车牌置信度高的情况下的识别准确率低的问题，所训练得到的目标车牌识别模型能够提高车牌识别的准确性。
本实施例还提供了一种车牌识别装置，如图10所示，包括：
第二获取模块61，用于获取车牌图像；
识别模块62，用于将所述车牌图像输入目标车牌识别模型中，得到所述车牌图像的图像质量以及预测车牌，所述目标车牌识别模型是根据本发明第一方面，或第一方面任一项实施方式中所述的车牌识别模型的训练方法训练得到的；
处理模块63，用于基于所述图像质量以及所述预测车牌，确定目标车牌。
本实施例提供的车牌识别装置，在车牌识别过程中结合车牌的图像质量，将图像质量作为确定车牌识别结果的依据，可以解决由于车牌本身质量不理想，而车牌识别模型输出车牌置信度高的情况下的识别准确率低的问题，提高了车牌识别的准确性。
本实施例中的车牌识别模型的训练装置或车牌识别装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本发明实施例还提供一种移电子设备，具有上述图9所示的车牌识别模型的训练装置，或图10所示的车牌识别装置。
请参阅图11，图11是本发明可选实施例提供的一种电子设备的结构示意图，如图11所示，该电子设备可以包括：至少一个处理器71，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口73，存储器74，至少一个通信总线72。其中，通信总线72用于实现这些组件之间的连接通信。其中，通信接口73可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口73还可以包括标准的有线接口、无线接口。存储器74可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器74可选的还可以是至少一个位于远离前述处理器71的存储装置。其中处理器71可以结合图9或图10所描述的装置，存储器74中存储应用程序，且处理器71调用存储器74中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线72可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线72可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器74可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器74还可以包括上述种类的存储器的组合。
其中，处理器71可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器71还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器74还用于存储程序指令。处理器71可以调用程序指令，实现如本申请图1和3实施例中所示的车牌识别模型的训练方法，或实现如本申请图7和8实施例中所示的车牌识别方法。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的车牌识别模型的训练方法，或车牌识别方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种车牌识别模型的训练方法，其特征在于，包括：
获取样本图像集以及获取所述样本图像集中各个样本图像对应的标签，所述标签包括所述样本图像的图像质量以及目标车牌的字符，所述图像质量包括类别和等级；
将所述样本图像输入车牌识别模型中，得到所述样本图像的预测结果，所述预测结果包括预测图像质量以及预测目标车牌；
基于所述预测结果以及所述标签，更新所述车牌识别模型的参数，以确定目标车牌识别模型。
2.根据权利要求1所述的训练方法，其特征在于，所述获取样本图像集，包括：
获取原始图像以及不同类别下的图像增强参数；
基于所述图像增强参数，对所述原始图像进行图像增强，得到不同图像质量的样本图像。
3.根据权利要求2所述的训练方法，其特征在于，所述图像质量的类别包括污损，所述图像增强参数包括污损区域的尺寸，所述基于所述图像增强参数，对所述原始图像进行图像增强，得到不同图像质量的样本图像，包括：
获取污损种子参数，生成污损车牌模板；
基于所述污损区域的尺寸在所述污损车牌模板上截取相应的图像，得到污损图像；
将所述污损图像与所述原始图像进行叠加，得到所述样本图像。
4.根据权利要求1所述的训练方法，其特征在于，所述目标车牌的字符包括车牌字符以及补偿符，所述补偿符设置在所述车牌字符的预设位置，所述获取所述样本图像集中各个样本图像对应的标签，包括：
获取所述目标车牌的字符；
基于所述图像质量的类别和等级，得到所述样本图像的图像质量；
利用所述目标车牌的字符以及所述图像质量，确定所述样本图像对应的标签。
5.一种车牌识别方法，其特征在于，包括：
获取车牌图像；
将所述车牌图像输入目标车牌识别模型中，得到所述车牌图像的图像质量以及预测车牌，所述目标车牌识别模型是根据权利要求1-4中任一项所述的车牌识别模型的训练方法训练得到的；
基于所述图像质量以及所述预测车牌，确定目标车牌。
6.根据权利要求5所述的方法，其特征在于，所述预测车牌包括预测补偿符以及预测车牌字符，所述基于所述图像质量以及所述预测车牌，确定目标车牌，包括：
判断所述图像质量是否符合预设条件；
当所述图像质量符合所述预设条件时，对所述预测车牌进行所述预测补偿符的处理，输出所述预测车牌字符，以确定所述目标车牌。
7.一种车牌识别模型的训练装置，其特征在于，包括：
第一获取模块，用于获取样本图像集以及获取所述样本图像集中各个样本图像对应的标签，所述标签包括所述样本图像的图像质量以及目标车牌的字符，所述图像质量包括类别和等级；
预测模块，用于将所述样本图像输入车牌识别模型中，得到所述样本图像的预测结果，所述预测结果包括预测图像质量以及预测目标车牌；
更新模块，用于基于所述预测结果以及所述标签，更新所述车牌识别模型的参数，以确定目标车牌识别模型。
8.一种车牌识别装置，其特征在于，包括：
第二获取模块，用于获取车牌图像；
识别模块，用于将所述车牌图像输入目标车牌识别模型中，得到所述车牌图像的图像质量以及预测车牌，所述目标车牌识别模型是根据权利要求1-5中任一项所述的车牌识别模型的训练方法训练得到的；
处理模块，用于基于所述图像质量以及所述预测车牌，确定目标车牌。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-4中任一项所述的车牌识别模型的训练方法，或者，执行权利要求5或6所述的车牌识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-4中任一项所述的车牌识别模型的训练方法，或者，执行权利要求5或6所述的车牌识别方法。
CN202110693683.3A 2021-06-22 2021-06-22 车牌识别模型的训练、识别方法、装置及电子设备 Pending CN113326893A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110693683.3A CN113326893A (zh) 2021-06-22 2021-06-22 车牌识别模型的训练、识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110693683.3A CN113326893A (zh) 2021-06-22 2021-06-22 车牌识别模型的训练、识别方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113326893A true CN113326893A (zh) 2021-08-31

Family

ID=77424357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110693683.3A Pending CN113326893A (zh) 2021-06-22 2021-06-22 车牌识别模型的训练、识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113326893A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115273484A (zh) * 2022-07-08 2022-11-01 青岛聚好联科技有限公司 车牌号码的校正方法及服务器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130028481A1 (en) * 2011-07-28 2013-01-31 Xerox Corporation Systems and methods for improving image recognition
CN110807491A (zh) * 2019-11-05 2020-02-18 上海眼控科技股份有限公司 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN111639598A (zh) * 2020-05-29 2020-09-08 济南博观智能科技有限公司 车牌识别方法、车牌识别装置、车牌识别设备及存储介质
CN111767927A (zh) * 2020-06-03 2020-10-13 上海交通大学 一种基于全卷积网络的轻量级车牌识别方法及系统
CN112861845A (zh) * 2021-04-23 2021-05-28 北京欣博电子科技有限公司 车牌识别方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130028481A1 (en) * 2011-07-28 2013-01-31 Xerox Corporation Systems and methods for improving image recognition
CN110807491A (zh) * 2019-11-05 2020-02-18 上海眼控科技股份有限公司 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN111639598A (zh) * 2020-05-29 2020-09-08 济南博观智能科技有限公司 车牌识别方法、车牌识别装置、车牌识别设备及存储介质
CN111767927A (zh) * 2020-06-03 2020-10-13 上海交通大学 一种基于全卷积网络的轻量级车牌识别方法及系统
CN112861845A (zh) * 2021-04-23 2021-05-28 北京欣博电子科技有限公司 车牌识别方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115273484A (zh) * 2022-07-08 2022-11-01 青岛聚好联科技有限公司 车牌号码的校正方法及服务器

Similar Documents

Publication Publication Date Title
CN108229526B (zh) 网络训练、图像处理方法、装置、存储介质和电子设备
CN110705583B (zh) 细胞检测模型训练方法、装置、计算机设备及存储介质
KR102595704B1 (ko) 영상 검측 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN110675334A (zh) 一种图像增强方法及装置
CN108710893B (zh) 一种基于特征融合的数字图像相机源模型分类方法
US20240005468A1 (en) Image distortion evaluation method and apparatus, and computer device
CN109472193A (zh) 人脸检测方法及装置
CN111476863B (zh) 一种黑白漫画上色的方法、装置、电子设备及存储介质
CN111899243A (zh) 一种图像清晰度评价方法、设备和计算机可读存储介质
CN111951154B (zh) 包含背景和介质的图片的生成方法及装置
JP2021531571A (ja) 証明書画像抽出方法及び端末機器
US9396522B2 (en) Scalable massive parallelization of overlapping patch aggregation
CN108961209B (zh) 行人图像质量评价方法、电子设备及计算机可读介质
CN113505854A (zh) 一种人脸图像质量评价模型构建方法、装置、设备及介质
CN113592776A (zh) 图像处理方法及装置、电子设备、存储介质
CN112668640A (zh) 一种文本图像质量评估方法、装置、设备及介质
CN113326893A (zh) 车牌识别模型的训练、识别方法、装置及电子设备
CN111325671B (zh) 网络训练方法、装置、图像处理方法及电子设备
CN111783812A (zh) 违禁图像识别方法、装置和计算机可读存储介质
Kumar et al. A generic post-processing framework for image dehazing
CN111178398B (zh) 检测身份证图像信息篡改的方法、系统、存储介质及装置
DE102011010315A1 (de) Erkennung von Objekten
CN111340140A (zh) 图像数据集的获取方法、装置、电子设备及存储介质
CN115984786A (zh) 车辆损伤检测方法及装置、终端、存储介质
CN112434547B (zh) 一种用户身份稽核方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210831