CN113723422B

CN113723422B - 车牌信息确定方法、系统、设备及介质

Info

Publication number: CN113723422B
Application number: CN202111051798.9A
Authority: CN
Inventors: 李�杰
Original assignee: Chongqing Unisinsight Technology Co Ltd
Current assignee: Chongqing Unisinsight Technology Co Ltd
Priority date: 2021-09-08
Filing date: 2021-09-08
Publication date: 2023-10-17
Anticipated expiration: 2041-09-08
Also published as: CN113723422A

Abstract

本发明提供一种车牌信息确定方法、系统、设备及介质，该方法通过获取待识别车牌图像，并对其进行文本识别，以得到包括识别字符和字符置信度的文本识别结果，根据字符置信度确定行置信度，根据行置信度和字符置信度从文本识别结果中确定车牌信息，可以实现简单方便快捷的对车牌信息进行确定。

Description

车牌信息确定方法、系统、设备及介质

技术领域

本发明涉及图像识别技术领域，特别是涉及一种车牌信息确定方法、系统、设备及介质。

背景技术

车辆的车牌往往包括标识城市信息的城市字符和标识车牌号码的号码字符。城市字符往往为汉字，号码字符往往包括字母和/或数字。

对于车牌的识别往往是需要建立车牌识别神经网络模型，根据该模型实现车牌识别，但该方法需要手动选取特征，鲁棒性较差，部分车牌，如非机动车牌各个省市县之间的样式并不统一，模型训练过程中资源占用较多，车牌识别过程较为复杂，亟需一种更为简便易行的车牌识别方式。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种车牌信息确定方法、系统、设备及介质，用于解决对于现有车牌识别方式资源占用多、过程复杂的技术问题。

针对于上述问题，本发明提供了一种车牌信息确定方法，所述方法包括：

获取待识别车牌图像；

对所述待识别车牌图像进行文本识别，获取文本识别结果，所述文本识别结果包括识别字符和所述识别字符的字符置信度；

确定所述待识别车牌图像中各初始文本行的行置信度，所述行置信度根据属于同一初始文本行中各所述识别字符的字符置信度确定；

根据所述行置信度和字符置信度从所述文本识别结果中确定车牌信息。

可选的，所述根据所述行置信度和字符置信度从所述文本识别结果中确定车牌信息包括以下任意之一：

获取待选字符，所述待选字符包括目标文本行中的识别字符，所述目标文本行包括所述行置信度高于预设行置信度阈值的初始文本行，获取目标字符，并生成所述车牌信息，所述目标字符包括字符置信度高于预设字符置信度的所述待选字符；

或，

获取所述识别字符的分类信息及类别影响因子，并确定类别影响度，分别获取各所述初始文本行中所述类别影响度排名和行置信度排名，并确定目标文本行，获取目标字符，并生成所述车牌信息，所述目标字符包括字符置信度高于预设字符置信度的所述目标文本行中的识别字符。

可选的，所述行置信度的确定方式包括：

将所述初始文本行中各所述识别字符的字符置信度的平均值作为所述行置信度；

或，

获取所述初始文本行中各识别字符的字符置信度和字符数量，根据所述字符置信度和所述字符数量所对应的可信因子确定所述行置信度。

可选的，所述方法还包括：

获取所述车牌信息中汉字文本行的数量，所述汉字文本行为包括汉字的初始文本行；

获取预设地域汉字及所述预设地域汉字的预设字符，将所述车牌信息中的识别字符与所述预设地域汉字或所述预设字符进行比对，得到比对结果；

根据所述数量和所述比对结果生成从所述车牌信息中确定优选信息，并以所述优选信息更新所述车牌信息。

可选的，根据所述数量和所述比对结果从所述车牌信息中确定优选信息包括以下任意之一：

若所述数量为0，获取预设地域汉字，根据所述预设地域汉字和车牌信息生成优选信息；

若所述数量为1，将所述车牌信息作为所述优选信息；

若所述数量为1，获取预设地域汉字的若干个预设字符，若所述汉字文本行中包括至少一个所述预设字符，将所述汉字文本行中的汉字替换为所述预设地域汉字，将替换后的所述车牌信息作为所述优选信息；

若所述数量大于1，获取预设地域汉字的若干个预设字符，若存在一个所述汉字文本行中包括至少一个所述预设字符，将包括所述预设字符的所述汉字文本行中的汉字替换为所述预设地域汉字，并删除其余汉字文本行，将删除后的所述车牌信息作为所述优选信息；

若所述数量大于1，获取预设地域汉字的若干个预设字符，若存在至少两个所述汉字文本行中包括至少一个所述预设字符，将包括所述预设字符的行置信度最高的所述汉字文本行中的汉字替换为所述预设地域汉字，并删除其余汉字文本行，将删除后的所述车牌信息作为所述优选信息；

若所述数量大于1，获取预设地域汉字的若干个预设字符，若各所述汉字文本行中均不包括所述预设字符，删除除行置信度最高的所述汉字文本行外的其余汉字文本行，将删除后的所述车牌信息作为所述优选信息；

若所述数量大于1，获取预设地域汉字的若干个预设字符，若存在至少两个所述汉字文本行中包括至少一个所述预设字符，获取所述预设字符的预设优先级，将包括所述预设优先级最高的所述预设字符的所述汉字文本行中的汉字替换为所述预设地域汉字，并删除其余汉字文本行，将删除后的所述车牌信息作为所述优选信息。

可选的，所述对所述待识别车牌图像进行文本识别包括：

将所述待识别车牌图像调整至车牌文本检测预设输入尺寸；

将调整后的所述待识别车牌图像输入预设车牌文本行检测模型，得到若干个初始文本行图像；

将所述初始文本行图像输入预设车牌识别网络中，得到文本识别结果；

其中，所述预设车牌文本行检测模型的构建方式包括：

获取第一样本图像数据集，所述第一样本图像数据集包括第一样本图像及将所述第一样本图像中文本行标注信息；

将所述第一样本图像数据集输入预先构建的深度网络学习模型中，对所述深度网络学习模型进行训练，得到训练后的预设车牌文本行检测模型，所述深度网络学习模型的车牌文本检测度量损失函数包括Dice损失函数、交叉熵损失函数和L₁损失函数中至少之一。

可选的，所述车牌文本检测度量损失函数为Dice损失函数、交叉熵损失函数和L₁损失函数之和，所述车牌文本检测度量损失函数包括：

其中，l_det为车牌文本检测度量损失函数，λ₁为Dice损失函数系数，λ₂为交叉熵损失函数系数，λ₃为L₁损失函数系数，y为真实值，y^p为网络预测值。

本发明还提供了一种车牌信息确定系统，所述系统包括：

图像获取模块，用于获取待识别车牌图像；

识别模块，用于对所述待识别车牌图像进行文本识别，获取文本识别结果，所述文本识别结果包括识别字符和所述识别字符的字符置信度；

置信度确定模块，用于确定所述待识别车牌图像中各初始文本行的行置信度，所述行置信度根据属于同一初始文本行中各所述识别字符的字符置信度确定；

车牌信息确定模块，用于根据所述行置信度和字符置信度从所述文本识别结果中确定车牌信息。

本发明还提供了一种电子设备，包括处理器、存储器和通信总线；

所述通信总线用于将所述处理器和存储器连接；

所述处理器用于执行所述存储器中存储的计算机程序，以实现如上述实施例中任一项所述的方法。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使所述计算机执行如上述实施例中任一项所述的方法。

如上所述，本发明提供的一种车牌信息确定方法、系统、设备及介质，具有以下有益效果：

通过获取待识别车牌图像，并对其进行文本识别，以得到包括识别字符和字符置信度的文本识别结果，根据字符置信度确定行置信度，根据行置信度和字符置信度从文本识别结果中确定车牌信息，可以实现简单方便快捷的对车牌信息进行确定。

附图说明

图1为本发明实施例一提供的车牌信息确定方法的一种流程示意图。

图2为本发明实施例一提供的车牌信息确定方法的一种具体流程示意图。

图3为本发明实施例二提供的车牌信息确定系统的一种结构示意图；

图4为一实施例提供的终端的一种结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例一

请参阅图1，本发明实施例提供的车牌信息确定方法，包括：

S101：获取待识别车牌图像。

其中，待识别车牌图像的获取方式在此不做限定，可以由本领域技术人员所知晓的方式实现，如获取用户所上传的设备已有图片、临时拍摄待识别车牌的图像、监控设备的监控视频中包括车牌的图像帧等。

可选的，在获取待识别车牌图像之前，还可以通过对若干张原始图像进行筛选，选出合适的图像作为待识别车牌图像，筛选方式包括但不限于根据清晰度进行初步筛选和/或预先进行目标识别，找到包括疑似车牌的图像。

在一些实施例中，获取待识别车牌图像之前，该方法还包括：

获取原始图像，将原始图像输入图像类型检测模型，得到原始图像类型，若原始图像类型包括非机动车车牌或摩托车车牌，将原始图像作为待识别车牌图像；

其中，图像类型检测模型的构建方式包括：

获取第二样本图像数据集，第二样本图像数据集包括样本图像及样本图像的图像类型，图像类型包括机动车车牌图像、非机动车车牌和摩托车车牌；

将第二样本图像数据集输入预先构建的深度网络学习模型中，对深度网络学习模型进行训练，得到训练后的图像类型检测模型，深度网络学习模型的车牌类型分类度量损失函数包括：

l＝λ₀l_softmax；

其中，l为车牌类型分类度量损失函数，λ₀为softmax loss的权重。

需要说明的是，车牌类型分类度量损失函数还可以是本领域技术人员所知晓的其他函数。

可选的，图像类型检测模型的构建方式还包括：

将车牌检测数据按照随机采样N张样本图片组成一个batch(批次)输入到卷积神经网络，通过yolov3目标检测，在训练过程中可以采用小范围随机crop(变换)，如随机增加噪声、增加色彩、变换色调、调整对比度或随机进行模糊处理等对若干张样本图片进行处理，以增加样本图片的多样性，提升训练效果。网络训练完毕并获得初步不错的效果后固定卷积层和全连接层参数，不参与后面阶段的训练，卷积层和全连接层参数不再更新。

通过预先对原始图像进行分类，可以精确的找出非机动车车牌图像和摩托车车牌图像，再通过本申请的方法对这两类车牌进行识别，识别过程更加简单，适用性更佳。机动车车牌也可以采用本申请的方式进行识别。

S102：对待识别车牌图像进行文本识别，获取文本识别结果。

其中，文本识别结果包括识别字符和所述识别字符的字符置信度。

在一些实施例中，对待识别车牌图像进行文本识别包括：

将待识别车牌图像调整至车牌文本检测预设输入尺寸；

将调整后的待识别车牌图像输入预设车牌文本行检测模型，得到若干个初始文本行图像；

将初始文本行图像输入预设车牌识别网络中，得到文本识别结果；

其中，预设车牌文本行检测模型的构建方式包括：

获取第一样本图像数据集，第一样本图像数据集包括第一样本图像及将第一样本图像中文本行标注信息；

将第一样本图像数据集输入预先构建的深度网络学习模型中，对深度网络学习模型进行训练，得到训练后的预设车牌文本行检测模型，深度网络学习模型的车牌文本检测度量损失函数包括Dice损失函数、交叉熵损失函数和L₁损失函数中至少之一。

可选的，车牌文本检测度量损失函数为Dice损失函数、交叉熵损失函数和L₁损失函数之和，车牌文本检测度量损失函数包括：

可选的，真实值可以理解为第一样本图像中真实文本行，网络预测值可以理解为将该第一样本图像输入到预设车牌文本行检测模型后得到的输出文本行。通过真实值判断网络预测值的预测准确度，当预测准确度达到预设准确度后，完成深度网络学习模型的损失函数的拟合。

可选的，可以采用小范围随机crop(变换)，如随机增加噪声、增加色彩、变换色调、调整对比度或随机进行模糊处理等对若干张第一样本图片进行处理，以增加第一样本图片的多样性，提升训练效果。网络训练完毕并获得初步不错的效果后固定卷积层和全连接层参数，不参与后面阶段的训练，卷积层和全连接层参数不再更新。

可选的，预设车牌识别网络，可以根据输入的文字行图像识别各行中的汉字、字母、数字。识别字符包括汉字、字母、数字等。字符置信度可以通过预设车牌识别网络自身所输出的置信度数值得到，该置信度可以根据字符所在的文本行图片的模糊情况等信息确定。

S103：确定待识别车牌图像中各初始文本行的行置信度。

其中，行置信度根据属于同一初始文本行中各识别字符的字符置信度确定。

在一些实施例中，行置信度的确定方式包括：

将初始文本行中各识别字符的字符置信度的平均值作为行置信度；

或，

获取初始文本行中各识别字符的字符置信度和字符数量，根据字符置信度和字符数量所对应的可信因子确定行置信度。

由于通常来说车牌中标识地域信息的汉字或表示车牌号信息的字母和数字的字符数量是有限的，当超出一定字符数量或低于一定字符数量时，该文本行很可能就不是表征地域或车牌号的文本行，故通过结合字符数量来确定行置信度，可以进一步的提升目标文本行的确定准确性。

由于文本行中可能存在个别特别模糊或其他原因导致不能被准确识别的字符，此时通过求解行置信度，以便筛除掉不可信的文本行，减少后续车牌信息确定的影响因素，提升车牌信息的确定效率。

S104：根据行置信度和字符置信度从文本识别结果中确定车牌信息。

在一些实施例中，根据行置信度和字符置信度从文本识别结果中确定车牌信息包括：

获取待选字符，待选字符包括目标文本行中的识别字符，目标文本行包括行置信度高于预设行置信度阈值的初始文本行；

获取目标字符，并生成车牌信息，目标字符包括字符置信度高于预设字符置信度的待选字符。

通过先对若干个初始文本行根据行置信度进行筛选保留行置信度较高的初始文本行，再在初始文本行中筛选保留字符置信度较高的待选字符作为目标字符，将目标字符按照字符在待识别车牌图像中的排布顺序重新组合，生成车牌信息。

现有的车牌识别特别是非机动车牌识别的方案中往往都是将车牌字符的每一位进行切割后得到单字符图片，再对单字符图片进行识别，得到单个字符，或者通单个整行识别网络对车牌图像上的整行字符进行识别，车牌识别易出现误检以及模糊字符。但通过上述方式可以过滤掉误检测到的初始文本行(不清晰的文本行等)以及模糊字符，有利于提升整体的车牌识别率，且车牌识别不再依赖于训练好的模型，更加简单、方便、快捷。

在一些实施例中，根据行置信度和字符置信度从文本识别结果中确定车牌信息还包括：

获取识别字符的分类信息及类别影响因子，该分类信息可以通过将识别字符分别与预设可能车牌字符库进行比对，若预设可能车牌字符库中存在与识别字符相似度大于预设字符相似度的可能车牌字符，以该可能车牌字符所对应的分类信息作为该识别字符的分类信息，获取该分类信息所对应的预设的类别影响因子；

根据类别影响因子确定类别影响度，类别影响度可以是各初始文本行中各识别字符的类别影响因子的平均值；

分别获取各初始文本行中类别影响度排名和行置信度排名，并确定目标文本行，如若某一文本行的类别影响度排名和行置信度排名均高于预设排名，则将该初始文本行作为目标文本行；

获取目标字符，并生成所述车牌信息，所述目标字符包括字符置信度高于预设字符置信度的所述目标文本行中的识别字符。

字符类型的确定方式可以采用本领域技术人员所知晓的方式实现。例如字符类型包括汉字、字母、数字等。字符类型对应的影响因子可以由本领域技术人员预先设定。此时，行置信度的确定方式为通过字符置信度乘以该字符对应字符类型的影响因子得到的若干个调整置信度，求得若干个调整置信度的平均值作为行置信度。

在一些实施例中，该方法还包括：

获取车牌信息中汉字文本行的数量，汉字文本行为包括汉字的初始文本行；

获取预设地域汉字及预设地域汉字的预设字符，将车牌信息中的识别字符与预设地域汉字或预设字符进行比对，得到比对结果；

根据数量和比对结果从车牌信息中确定优选信息，并以所述优选信息更新所述车牌信息。

其中，将车牌信息中的识别字符与预设字符进行比对包括将识别字符与预设字符进行比对，得到字符相似度，将字符相似度预设相似度进行比较得到比对结果。字符相似度高于预设相似度，则比对成功。

可选的，以优选信息更新车牌信息时，还可以获取预设车牌信息格式，根据该预设车牌信息格式将优选信息填写完成，并得到新的车牌信息，以该新的车牌信息更新之前所得到的车牌信息。

其中，将车牌信息中的识别字符与预设地域汉字进行比对包括将识别字符与预设地域汉字的第一个字符进行比对，得到第一字符相似度，将第一字符相似度预设相似度进行比较，若第一字符相似度高于预设相似度，则将识别字符的后一个字符与预设地域汉字的第二个字符进行比对，得到第二字符相似度，将二字符相似度预设相似度进行比较，若两者的相似度较高，则依次进行后续相似度比较，若存在多个识别字符与预设地域汉字的各个字符相似度均高于预设相似度，且各识别字符在待识别车牌图像中为连续字符，则认为比对成功，否则，可以根据本领域技术人员的预设规则来确定比对结果，如比对成功的识别字符数量超过一定数量则认为比对成功，否则比对失败。

由于非机动车等车牌相对都比较小，故一般一个文本行要么只有文字，要么仅有数字和/或字母，此时，汉字文本行可以理解为整行文本行中仅包括汉字的初始文本行。但有时可能非机动车牌或摩托车牌的车牌中，城市汉字与数字(有时有字母)是在同一个文本行中，此时汉字文本行为包括汉字的初始文本行。

可选的，可以通过控制预设相似度的值来控制识别字符的替换准确度。

通过上述方法可以将车牌中的城市汉字完成补足或者对识别中缺少的城市汉字进行更正补充，能够进一步的提升车牌识别率和识别准确率。

在一些实施例中，根据数量和比对结果从车牌信息中确定优选信息包括以下任意之一：

若数量为0，获取预设地域汉字，根据预设地域汉字和车牌信息生成优选信息；

若数量为1，将车牌信息作为优选信息；

若数量为1，获取预设地域汉字的若干个预设字符，若汉字文本行中包括至少一个预设字符，将汉字文本行中的汉字替换为预设地域汉字，将替换后的车牌信息作为优选信息；

若数量大于1，获取预设地域汉字的若干个预设字符，若存在一个汉字文本行中包括至少一个预设字符，将包括预设字符的汉字文本行中的汉字替换为预设地域汉字，并删除其余汉字文本行，将删除后的车牌信息作为优选信息；

若数量大于1，获取预设地域汉字的若干个预设字符，若存在至少两个汉字文本行中包括至少一个预设字符，将包括预设字符的行置信度最高的汉字文本行中的汉字替换为预设地域汉字，并删除其余汉字文本行，将删除后的车牌信息作为优选信息；

若数量大于1，获取预设地域汉字的若干个预设字符，若各汉字文本行中均不包括预设字符，删除除行置信度最高的汉字文本行外的其余汉字文本行，将删除后的车牌信息作为优选信息；

若数量大于1，获取预设地域汉字的若干个预设字符，若存在至少两个汉字文本行中包括至少一个预设字符，获取预设字符的预设优先级，将包括预设优先级最高的预设字符的汉字文本行中的汉字替换为预设地域汉字，并删除其余汉字文本行，将删除后的车牌信息作为优选信息。

需要说明的是，预设地域汉字为表征城市、省份、区、县、自治区等行政区划或单位的一个汉字或一个词语，如渝、湘、武汉、涪陵等。

预设字符可以是将预设地域汉字拆解的单个汉字如将“武汉”拆解为“武”、“汉”，预设字符还可以在上述基础上进一步包括单个汉字的近似字，仍旧以“武汉”为例，其近似字为“又”，此时预设字符包括“武”、“汉”、“又”，本领域技术人员可以根据需要获取预设地域汉字的全部预设字符(单个汉字+近似字)，或为有更准确的识别效果，仅获取部分预设字符(单个汉字)。需要说明的是，近似字可以是某一个字的一部分如“汉”“又”，也可以是字形相近的字，如以“涪陵”为例，“陵”“陪”、“凌”等。

可选的，预设地域汉字可以通过获取车牌图像的采集位置信息从预设地域汉字库中确定一个表征一个城市或区县等行政区划信息的汉字或词语作为预设地域汉字。如车牌图像的采集位置为重庆市渝中区某某街道，于是城市汉字库中包括“渝中”这一城市汉字，此时预设地域汉字可以采用“渝中”，若没有在待识别车牌图像中识别到汉字，也即数量为0，则可以将“渝中”增加到车牌信息中，以完善该车牌信息，提升车牌信息确定方法的可信度。

如果存在一行汉字文本行，理论上该汉字文本行标识的大概率是车辆所在位置的相关信息，故可以直接将该车牌信息作为优选信息。但有时由于识别过程可能出现差错或者待识别车牌采集过程中出现模糊、遮挡等因素，导致城市汉字并没有采集全，比如“武汉”仅采集到“武”或“汉”。为了避免上述情况导致车牌信息出现问题，可以预先获取预设地域汉字的预设字符，如预设地域汉字为“武汉”，此时预设字符为“武”、“汉”。将汉字文本行所采集到的汉字，此处以“汉”为例，分别与预设字符为“武”、“汉”，“汉”比对成功，则可以以“武汉”替换“汉”，并将替换后的车牌信息作为优选信息。这样可以进一步提升车牌信息的完整度。可选的，若待识别车牌上采集到的汉字为“又”，可以得到“又”与“汉”的相似度较高，则可以认为比对成功，以“武汉”替换“又”，并将替换后的车牌信息作为优选信息。也即，本领域技术人员可以通过调整比对的要求尺寸，以实现更加宽松的替换条件。可选的，还可以在根据预设地域汉字生成预设字符时，不仅生成“武”、“汉”，还生成“又”，以进一步提升替换效率。可选的，若汉字文本行的汉字不包括预设字符，则仍然使用车牌信息作为优选信息。可选的，此时还可以提示该结果可信度较低。需要说明的是，后续汉字文本行与预设字符的比对方式与本实施例中类似，在此不再赘述。

若汉字文本行包括多个汉字，则可以将每一个汉字分别与各预设字符进行比对。可选的，若汉字文本行中包括预设地域汉字中的各个直接字符(如“武汉”中的“武”“汉”)，或汉字文本行中包括预设地域汉字中的部分直接字符(如“武汉”中的“武”)和部分间接字符(如“武汉”中的“又”)，此时可以再比较一下比对得到的字符中在汉字文本行中的排序与预设地域汉字中的排序，若排序一致，则说明优选信息的可信度较高，可以在输出优选信息的同时显示可信度较高标识。

若果存在至少两个汉字文本行，也即数量大于1，此时若其中任意一个汉字文本行包括预设字符中的至少一个，则可以将包括预设字符的汉字文本行中的汉字替换为预设地域汉字，这样对于既包括汉字又包括字母和/或数字的文本行，可以不影响原有的字母和/或数字。若至少两个汉字文本行包括预设字符中的至少一个，可以根据各汉字文本行的行置信度来选择需替换的文本行。可选的，若预设地域汉字的字数多于1个，此时可以分别确定各汉字文本行中所包括的预设字符的数量，将包括预设字符的数量最接近预设地域汉字的字符数量的汉字文本行中的汉字替换为预设地域汉字。这样可以避免某一汉字文本行可能是车辆售出车牌的广告词，另一行是车牌中的城市汉字，但广告所在行被误识别为需要进行替换的文本行时导致后续优选信息出现异常的情况发生。可选的，还可以判断汉字文本行中的预设字符的连续性，若连续，则将该行汉字文本行中的汉字替换为预设地域汉字。删除其他汉字文本行。

可选的，若各汉字文本行所包括预设字符的数量相同，且各文本行所包括的预设字符不同，则可以根据预设字符的预设优先级，将包括预设优先级更高的一个汉字文本行中的汉字替换为预设地域汉字，删除其他汉字文本行，将完成替换和删除的车牌信息作为优选信息。

以预设地域汉字为“武汉”为例，预设字符为“武”“汉”“又”，其中“武”和“汉”的预设优先级相同且高于“又”。当前汉字文本行A中包括“又”，汉字文本行B包括“武”，汉字文本行C包括“汉”，此时先排除汉字文本行A，保留汉字文本行B和汉字文本行C，将两者中行置信度更高的一个汉字文本行保留，删除其他汉字文本行，假设汉字文本行B的行置信度更高，则将汉字文本行中的汉字替换为预设地域汉字。

在一些实施例中，对于得到的优选信息，还可通过预设的车牌规则进行校验，以进一步提升优选信息的可信度。

本实施例中的车牌信息确定方法，通过获取待识别车牌图像，并对其进行文本识别，以得到包括识别字符和字符置信度的文本识别结果，根据字符置信度确定行置信度，根据行置信度和字符置信度从文本识别结果中确定车牌信息，可以实现简单方便快捷的对车牌信息进行确定。

由于省市之间非机动车牌样式差异可能较大，不同省市车牌特别是非机动车车牌样式并不相同，如字符、字体、字号、颜色、字符位置等均可能存在差异。为实现对非机动车车牌进行识别，下面通过一个具体的示例，进一步的对本实施例中的车牌信息确定方法进行示例性说明。该方法通过非机动车车牌检测检测到车牌区域的原始图像，对原始图像中的车牌进行车牌类别分类得到摩托车、非机动车和背景误检图像，对摩托车和非机动车车牌进行文本检测，得到车牌字符文本行，再将车牌文本行送入到车牌识别模型中得到车牌号，通过行置信度过滤和单字符置信度过滤策略来过滤车牌文本行误检和模糊车牌字符，再将默认配置的城市汉字与网络输出的城市汉字进行模糊匹配来矫正城市汉字来提高车牌识别率。

参见图2，该具体的车牌信息确定方法包括：

S201：预先构建预设车牌类型分类模型、预设车牌文本行检测模型和预设车牌识别网络。

在一些实施例中，预设车牌类型分类模型的构建方式包括：

获取类型样本图像数据集，该类型样本图像数据集中包括若干张类型样本图像及其车牌类型，其中车牌类型包括但不限于摩托车车牌、非机动车车牌、背景误检图等；

采用yolov3目标检测，通过包括但不限于softmax等损失函数通过类型样本图像对训练神经卷积网络进行训练，当训练结果的准确度达到初步预设准确度时，固定卷积层和全连接层参数，不参与后续阶段的训练，也即卷积层和全连接层参数不再更新。当训练结果的准确度达到最终预设准确度时，则完成模型训练。

可选的，在训练过程中可以采用小范围随机变换，以丰富类型样本图像，提升预设车牌类型分类模型的泛化能力。随机变换的方式包括但不限于随机加噪、色彩增强、色调变换、对比度变化、随机模糊等方式，以对图像数据进行增强，通过对至少一部分类型样本图像进行随机变换，以增加类型样本图像在不同维度下的图像数量。

在一些实施例中，预设车牌文本行检测模型的构建方式包括：

获取第一样本图像数据集，该第一样本图像数据集中包括若干张第一样本图像及其文本行标注信息；

通过第一样本图像数据集对神经卷积网络进行训练，此时损失函数可以为Dice损失函数、交叉熵损失函数和L₁损失函数之和。当训练结果的准确度达到初步预设准确度时，固定卷积层，不参与后续阶段的训练，也即卷积层不再更新。当训练结果的准确度达到最终预设准确度时，则完成模型训练。

可选的，在训练过程中可以采用小范围随机变换，以丰富第一样本图像，提升预设车牌文本行检测模型的泛化能力。随机变换的方式包括但不限于随机加噪、色彩增强、色调变换、对比度变化、随机模糊等方式，以对图像数据进行增强，通过对至少一部分第一样本图像进行随机变换，以增加第一样本图像在不同维度下的图像数量。

在一些实施例中，预设车牌识别网络的构建方式包括：

获取文字样本图像数据集，该文字样本图像数据集中包括若干张文字样本图像及其识别字符；

通过文字样本图像数据集对神经卷积网络进行训练，此时损失函数可以为CTC损失函数。当训练结果的准确度达到初步预设准确度时，固定卷积层，不参与后续阶段的训练，也即卷积层不再更新。当训练结果的准确度达到最终预设准确度时，则完成模型训练。

可选的，在训练过程中可以采用小范围随机变换，以丰富文字样本图像，提升预设车牌识别网络的泛化能力。随机变换的方式包括但不限于随机加噪、色彩增强、色调变换、对比度变化、随机模糊等方式，以对图像数据进行增强，通过对至少一部分文字样本图像进行随机变换，以增加文字样本图像在不同维度下的图像数量。

S202：获取原始图像，并判断车牌类型。

可以通过预设车牌类型分类模型进行类型识别，可以得到原始图像中的车牌类型。

在将原始图像输入到预设车牌类型分类模型进行类型识别之前，还包括将该原始图像调整(放大或缩小)到车牌类型分类固定输入尺寸。

S203：若车牌类型为非机动车牌或摩托车车牌时，将原始图像作为待识别车牌图像。

若车牌类型为背景误检图，则结束流程。

S204：对待识别车牌图像进行文本行检测，得到文本行检测结果。

可以通过先将待识别车牌图像进行等比例外扩处理，以将其调整至文本行检测固定输入尺寸，方便后续通过预设车牌文本行检测模型以得到文本行检测结果。

此时文本行检测结果也即待识别车牌图像中每一行文本的图像。

S205：对待识别车牌图像进行文本识别，得到文本识别结果。

将上述得到的每一行文本的图像按照等比例缩放及补黑边的方式，将每一行文本行图像缩放到车牌识别网络固定输入尺寸，以便可以通过预设车牌识别网络对车牌字符进行识别。

此时该文本识别结果包括识别到的各识别字符和该识别字符的字符置信度。

S206：确定待识别车牌图像中各初始文本行的行置信度。

行置信度可以由每一行中各个识别字符的字符置信度来确定，如可以通过求和平均法得到行置信度。

S207：根据行置信度对初始文本行进行筛选，得到目标文本行。

若行置信度低于预设行置信度，则舍弃该初始文本行，否则则保留该初始文本行，作为目标文本行。

S208：根据字符置信度对目标文本行中的识别字符进行筛选，得到目标字符。

其中，可以通过判断目标文本行中每一个字符的字符置信度阈预设字符置信度进行对比，若低于预设字符置信度则舍弃该识别字符，否则则将该识别字符作为目标字符。

S209：构建预设地域汉字库，将预设地域汉字库中的预设地域汉字与目标字符中的目标城市汉字进行模糊匹配，若模糊匹配成功则采用预设地域汉字作为该待识别车牌的地域汉字信息。

S210：根据地域汉字信息，以及识别字符中字母字符和数字字符拼接输出待识别车牌的车牌信息。

待识别车牌的车牌信息包括地域汉字信息和字母数字信息。

可选的，将预设地域汉字库中的预设地域汉字与目标字符中的目标城市汉字进行模糊匹配的方式包括：

根据比对结果确定待识别车牌的车牌信息的地域汉字信息。

可选的，模糊匹配的方式(根据比对结果确定待识别车牌的车牌信息的地域汉字信息)包括以下任意之一：

(1)根据非机动车所在地配置预设地域汉字。

若数量为0(也即识别字符中不存在汉字或不存在表征地域的文字)，获取预设地域汉字，并将预设地域汉字作为地域汉字信息。

其中预设地域汉字可以由拍摄待识被图像的地理位置确定。此时可以将预设地域汉字与车牌信息作为优选信息，将预设地域汉字和车牌信息进行拼接，得到新的车牌信息，并对之前得到车牌信息加以更新，提升车牌信息的可信度。

(2)选取识别结果均为汉字的文本行为城市汉字。

可选的，若数量为1，将车牌信息作为优选信息。此时只有一个文本行存在汉字，则可以直接将该汉字作为地域汉字信息，也即，此时直接以车牌信息作为优选信息。

(3)判断预设地域汉字中任意一个预设字符是否出现在汉字文本行中，若存在，则汉字文本行由预设地域汉字代替，若不存在，则将车牌信息作为优选信息。

可选的，若数量为1，获取预设地域汉字的若干个预设字符，若汉字文本行中包括至少一个预设字符，将汉字文本行中的汉字替换为预设地域汉字，将替换后的车牌信息作为优选信息。此时只有一个文本行存在汉字，为进一步保证优选信息的可信度，可以将该文本行中的汉字与若干个预设地域汉字进行对比，若存在与其中一个预设地域汉字相匹配，则可以以预设地域汉字替换该文本行中的文字，进一步提升优选信息的可信度。

可选的，若数量为1，获取预设地域汉字的预设字符，若汉字文本行中不包括预设字符，将车牌信息作为优选信息。

(4)若一个待识别车牌识别出多个文本汉字行，若其中一个文本汉字行包括预设地域汉字中任意一个预设字符，其他文本汉字行直接舍弃，若均不是预设地域汉字，则只保留行置信度最高的文本汉字行，并将该文本汉字行中的汉字字符作为地域信息。

现有非机动车车牌识别中要么将车牌字符的每一位切割后再对每一位字符进行识别，要么用单个整排识别网络对车牌整排字符进行识别，本实施例提供的方法针对车牌识别种存在的误检以及大字中间的模糊小字提出了一种文本行过滤与单字符过滤法，可以过滤文本行误检以及模糊字符(去除行置信度交底的文本行及字符置信度较低的字符)，有利于提高整体的车牌识别率。

我国非机动车车牌基本上都是由城市与字符组成，城市由省、市、区、县等组成，字符由数字及字母组成。现有非机动车车牌识别中，基本上都是直接输出城市汉字。非机动车具有区域性，一个地区非机动车车牌绝大部分是本地区车牌，本发明通过配置默认城市汉字，对车牌识别中的城市汉字与默认城市汉字提出了一种模糊匹配纠正方法，一定程度上可以提升车牌识别率。

实施例二

请参阅图3，本实施例提供了一种车牌信息确定系统300，该系统包括：

图像获取模块301，用于获取待识别车牌图像；

识别模块302，用于对待识别车牌图像进行文本识别，获取文本识别结果，文本识别结果包括识别字符和识别字符的字符置信度；

置信度确定模块303，用于确定待识别车牌图像中各初始文本行的行置信度，行置信度根据属于同一初始文本行中各识别字符的字符置信度确定；

车牌信息确定模块304，用于根据行置信度和字符置信度从文本识别结果中确定车牌信息。

在本实施例中，该系统实质上是设置了多个模块用以执行上述任一实施例中的方法，具体功能和技术效果参照上述实施例一即可，此处不再赘述。

参见图4，本发明实施例还提供了一种电子设备1300，包括处理器1301、存储器1302和通信总线1303；

通信总线1303用于将处理器1301和存储器连接1302；

处理器1301用于执行存储器1302中存储的计算机程序，以实现如上述实施例一中的一个或多个所述的方法。

本发明实施例还提供了一种计算机可读存储介质，其特征在于，其上存储有计算机程序，

计算机程序用于使计算机执行如上述实施例一中的任一项所述的方法。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的实施例一所包含步骤的指令(instructions)。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种车牌信息确定方法，其特征在于，所述方法包括：

获取待识别车牌图像；

根据所述行置信度和字符置信度从所述文本识别结果中确定车牌信息；

根据所述数量和所述比对结果从所述车牌信息中确定优选信息，并以所述优选信息更新所述车牌信息；

其中，根据所述数量和所述比对结果从所述车牌信息中确定优选信息包括以下任意之一：

若所述数量为1，将所述车牌信息作为所述优选信息；

若所述数量大于1，获取预设地域汉字的预设字符，若各所述汉字文本行中均不包括所述预设字符，删除行置信度最高的所述汉字文本行外的其余汉字文本行，将删除后的所述车牌信息作为所述优选信息；

若所述数量大于1，获取预设地域汉字的预设字符，若存在至少两个所述汉字文本行中包括至少一个所述预设字符，获取所述预设字符的预设优先级，将包括所述预设优先级最高的所述预设字符的所述汉字文本行中的汉字替换为所述预设地域汉字，并删除其余汉字文本行，将删除后的所述车牌信息作为所述优选信息。

2.如权利要求1所述的车牌信息确定方法，其特征在于，所述根据所述行置信度和字符置信度从所述文本识别结果中确定车牌信息包括以下任意之一：

或，

3.如权利要求1所述的车牌信息确定方法，其特征在于，所述行置信度的确定方式包括：

或，

4.如权利要求1-3任一项所述的车牌信息确定方法，其特征在于，对所述待识别车牌图像进行文本识别包括：

将所述待识别车牌图像调整至车牌文本检测预设输入尺寸；

其中，所述预设车牌文本行检测模型的构建方式包括：

5.如权利要求4所述的车牌信息确定方法，其特征在于，所述车牌文本检测度量损失函数为Dice损失函数、交叉熵损失函数和L₁损失函数之和，所述车牌文本检测度量损失函数包括：

6.一种车牌信息确定系统，其特征在于，所述系统包括：

图像获取模块，用于获取待识别车牌图像；

车牌信息确定模块，用于根据所述行置信度和字符置信度从所述文本识别结果中确定车牌信息，以及用于获取所述车牌信息中汉字文本行的数量，所述汉字文本行为包括汉字的初始文本行；获取预设地域汉字及所述预设地域汉字的预设字符，将所述车牌信息中的识别字符与所述预设地域汉字或所述预设字符进行比对，得到比对结果；根据所述数量和所述比对结果从所述车牌信息中确定优选信息，并以所述优选信息更新所述车牌信息；其中，根据所述数量和所述比对结果从所述车牌信息中确定优选信息包括以下任意之一，

若所述数量为1，将所述车牌信息作为所述优选信息；

7.一种电子设备，其特征在于，包括处理器、存储器和通信总线；

所述通信总线用于将所述处理器和存储器连接；

所述处理器用于执行所述存储器中存储的计算机程序，以实现如权利要求1-5中任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，

所述计算机程序用于使所述计算机执行如权利要求1-5中任一项所述的方法。