CN116311206A - 基于多模型引导的车牌字符分类方法以及系统 - Google Patents

Abstract

本发明公开一种基于多模型引导的车牌字符分类方法以及系统。方法包括：将第一车牌字符数据组输入至第一分类模型进行学习，获得每个类别的第一分类概率，将第一车牌字符数据组输入至初始车牌字符分类模型进行学习，获得每个类别的第一车牌字符分类概率；将第二车牌字符数据组输入至第二分类模型进行学习，获得每个类别的第二分类概率，将第二车牌字符数据组输入至初始车牌字符分类模型进行学习，获得每个类别的第二车牌字符分类概率；根据第一分类概率与第一车牌字符分类概率计算第一散度值，根据第二分类概率与第二车牌字符分类概率计算第二散度值；根据第一散度值与第二散度值构建整体损失函数进行训练，获得车牌字符分类模型。

Description

基于多模型引导的车牌字符分类方法以及系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于多模型引导的车牌字符分类方法以及系统。

背景技术

车牌识别技术在城市交通管理、车辆识别、停车场收费管理、违章处理等多种场景中具有重要的作用，车牌识别技术目前具有多种实现算法。传统方法基于视频图像进行车牌字符的二维目标检测。传统方法利用的数据量较少，且不同字符类型的数据量差异较大，一些数据采集困难，导致在进行车牌字符的分类时，呈现出长尾分布的数据分布特征。也可以理解为，少部分字符类别占据多数字符数据数量，多部分字符类别占据少数字符数据数量，使得整体的数据分布呈现为长尾分布，进而当采用传统方法进行车牌字符分类时导致分布在尾部的大多数类别的特征学习的不够充分，容易出现分类错误的问题。

发明内容

本发明的目的是解决传统方法对长尾分布数据进行特征学习不够充分导致的分类错误的技术问题。为实现上述目的，本发明提供一种基于多模型引导的车牌字符分类方法以及系统。

本发明提供一种基于多模型引导的车牌字符分类方法，包括：

构建第一车牌字符数据组与第二车牌字符数据组，所述第一车牌字符数据组中字符类别对应的数量大于所述第二车牌字符数据组中字符类别对应的数量；

将所述第一车牌字符数据组输入至第一分类模型进行学习，获得每个类别的第一分类概率，并将所述第一车牌字符数据组输入至初始车牌字符分类模型进行学习，获得每个类别的第一车牌字符分类概率；

将所述第二车牌字符数据组输入至第二分类模型进行学习，获得每个类别的第二分类概率，并将所述第二车牌字符数据组输入至所述初始车牌字符分类模型进行学习，获得每个类别的第二车牌字符分类概率；其中，所述第一分类模型中特征提取网络的卷积模块个数小于所述第二分类模型中特征提取网络的卷积模块个数；

根据所述第一分类概率与所述第一车牌字符分类概率计算第一散度值，根据所述第二分类概率与所述第二车牌字符分类概率计算第二散度值；

根据所述第一散度值与所述第二散度值构建整体损失函数，对所述初始车牌字符分类模型进行训练，获得车牌字符分类模型；

根据所述车牌字符分类模型对车牌字符图像进行分类，获得分类结果。

在一个实施例中，所述方法还包括：

构建第三车牌字符数据组，所述第二车牌字符数据组中字符类别对应的数量大于所述第三车牌字符数据组中字符类别对应的数量；

将所述第三车牌字符数据组输入至第三分类模型进行学习，获得每个类别的第三分类概率，并将所述第三车牌字符数据组输入至所述初始车牌字符分类模型进行学习，获得每个类别的第三车牌字符分类概率；

根据所述第三分类概率与所述第三车牌字符分类概率，计算第三散度值；

根据所述第一散度值、所述第二散度值以及所述第三散度值构建所述整体损失函数，对所述初始车牌字符分类模型进行训练，获得车牌字符分类模型；

其中，所述第二分类模型中卷积模块个数小于所述第三分类模型中卷积模块个数，所述初始车牌字符分类模型的特征提取网络与所述第二分类模型的特征提取网络相同。

在一个实施例中，所述根据所述第一散度值、所述第二散度值以及所述第三散度值构建整体损失函数，对所述初始车牌字符分类模型进行训练，获得车牌字符分类模型之前，所述方法还包括：

构建第一验证数据组、第二验证数据组以及第三验证数据组，所述第一验证数据组中字符类别对应的数量大于所述第二验证数据组中字符类别对应的数量，所述第二验证数据组中字符类别对应的数量大于所述第三验证数据组中字符类别对应的数量；

根据所述第一验证数据组对所述初始车牌字符分类模型进行验证，获得第一初始分类准确率，并根据所述第一验证数据组对所述第一分类模型进行验证，获得第一分类准确率；

若所述第一分类准确率大于两倍的所述第一初始分类准确率时，则所述第一分类模型的第一权重系数为1，若所述第一分类准确率小于两倍的所述第一初始分类准确率时，则所述第一权重系数为0.7至0.9；

根据所述第一散度值、所述第一权重系数、所述第二散度值以及所述第三散度值，构建所述整体损失函数。

在一个实施例中，所述方法还包括：

根据所述第二验证数据组对所述初始车牌字符分类模型进行验证，获得第二初始分类准确率，并根据所述第二验证数据组对所述第二分类模型进行验证，获得第二分类准确率；

若所述第二分类准确率大于两倍的所述第二初始分类准确率时，则所述第二分类模型的第二权重系数为1，若所述第二分类准确率小于两倍的所述第二初始分类准确率时，则所述第二权重系数为0.7至0.9；

根据所述第一散度值、所述第一权重系数、所述第二散度值、所述第二权重系数以及所述第三散度值，构建所述整体损失函数。

在一个实施例中，所述方法还包括：

根据所述第三验证数据组对所述初始车牌字符分类模型进行验证，获得第三初始分类准确率，并根据所述第三验证数据组对所述第三分类模型进行验证，获得第三分类准确率；

若所述第三分类准确率大于两倍的所述第三初始分类准确率时，则所述第三分类模型的第三权重系数为1，若所述第三分类准确率小于两倍的所述第三初始分类准确率时，则所述第三权重系数为0.7至0.9；

根据所述第一散度值、所述第一权重系数、所述第二散度值、所述第二权重系数、所述第三散度值以及所述第三权重系数，构建所述整体损失函数。

本发明提供一种基于多模型引导的车牌字符分类系统，包括：

数据构建模块，用于构建第一车牌字符数据组与第二车牌字符数据组，所述第一车牌字符数据组中字符类别对应的数量大于所述第二车牌字符数据组中字符类别对应的数量；

第一车牌字符数据组训练模块，用于将所述第一车牌字符数据组输入至第一分类模型进行学习，获得每个类别的第一分类概率，并将所述第一车牌字符数据组输入至初始车牌字符分类模型进行学习，获得每个类别的第一车牌字符分类概率；

第二车牌字符数据组训练模块，用于将所述第二车牌字符数据组输入至第二分类模型进行学习，获得每个类别的第二分类概率，并将所述第二车牌字符数据组输入至所述初始车牌字符分类模型进行学习，获得每个类别的第二车牌字符分类概率；其中，所述第一分类模型中特征提取网络的卷积模块个数小于所述第二分类模型中特征提取网络的卷积模块个数；

散度计算模块，用于根据所述第一分类概率与所述第一车牌字符分类概率计算第一散度值，根据所述第二分类概率与所述第二车牌字符分类概率计算第二散度值；

分类模型生成模块，用于根据所述第一散度值与所述第二散度值构建整体损失函数，对所述初始车牌字符分类模型进行训练，获得车牌字符分类模型；

分类模块，用于根据所述车牌字符分类模型对车牌字符图像进行分类，获得分类结果。

在一个实施例中，所述系统还包括：

所述数据构建模块，用于构建第三车牌字符数据组，所述第二车牌字符数据组中字符类别对应的数量大于所述第三车牌字符数据组中字符类别对应的数量；

第三车牌字符数据组训练模块，用于将所述第三车牌字符数据组输入至第三分类模型进行学习，获得每个类别的第三分类概率，并将所述第三车牌字符数据组输入至所述初始车牌字符分类模型进行学习，获得每个类别的第三车牌字符分类概率；

所述散度计算模块，用于根据所述第三分类概率与所述第三车牌字符分类概率，计算第三散度值；

所述分类模型生成模块，用于根据所述第一散度值、所述第二散度值以及所述第三散度值构建所述整体损失函数，对所述初始车牌字符分类模型进行训练，获得车牌字符分类模型；

其中，所述第二分类模型中卷积模块个数小于所述第三分类模型中卷积模块个数，所述初始车牌字符分类模型的特征提取网络与所述第二分类模型的特征提取网络相同。

在一个实施例中，所述系统还包括：

验证数据构建模块，用于构建第一验证数据组、第二验证数据组以及第三验证数据组，所述第一验证数据组中字符类别对应的数量大于所述第二验证数据组中字符类别对应的数量，所述第二验证数据组中字符类别对应的数量大于所述第三验证数据组中字符类别对应的数量；

第一验证模块，用于根据所述第一验证数据组对所述初始车牌字符分类模型进行验证，获得第一初始分类准确率，并根据所述第一验证数据组对所述第一分类模型进行验证，获得第一分类准确率；

第一权重系数获取模块，用于若所述第一分类准确率大于两倍的所述第一初始分类准确率时，则所述第一分类模型的第一权重系数为1，若所述第一分类准确率小于两倍的所述第一初始分类准确率时，则所述第一权重系数为0.7至0.9；

所述分类模型生成模块，用于根据所述第一散度值、所述第一权重系数、所述第二散度值以及所述第三散度值，构建所述整体损失函数。

在一个实施例中，所述系统还包括：

第二验证模块，用于根据所述第二验证数据组对所述初始车牌字符分类模型进行验证，获得第二初始分类准确率，并根据所述第二验证数据组对所述第二分类模型进行验证，获得第二分类准确率；

第二权重系数获取模块，用于若所述第二分类准确率大于两倍的所述第二初始分类准确率时，则所述第二分类模型的第二权重系数为1，若所述第二分类准确率小于两倍的所述第二初始分类准确率时，则所述第二权重系数为0.7至0.9；

所述分类模型生成模块，用于根据所述第一散度值、所述第一权重系数、所述第二散度值、所述第二权重系数以及所述第三散度值，构建所述整体损失函数。

在一个实施例中，所述系统还包括：

第三验证模块，用于根据所述第三验证数据组对所述初始车牌字符分类模型进行验证，获得第三初始分类准确率，并根据所述第三验证数据组对所述第三分类模型进行验证，获得第三分类准确率；

第三权重系数获取模块，用于若所述第三分类准确率大于两倍的所述第三初始分类准确率时，则所述第三分类模型的第三权重系数为1，若所述第三分类准确率小于两倍的所述第三初始分类准确率时，则所述第三权重系数为0.7至0.9；

所述分类模型生成模块，用于根据所述第一散度值、所述第一权重系数、所述第二散度值、所述第二权重系数、所述第三散度值以及所述第三权重系数，构建所述整体损失函数。

上述基于多模型引导的车牌字符分类方法以及系统中，根据每个车牌字符类别的数量的多少分别构建形成了第一车牌字符数据组与第二车牌字符数据组，利用第一车牌字符数据组与第二车牌字符数据组分别训练不同的第一分类模型与第二分类模型。将第一分类模型与第二分类模型学习的不同车牌字符类别的第一车牌字符数据组与第二车牌字符数据组的特征传递给初始车牌字符分类模型。通过第一分类模型与第二分类模型进行引导式的学习，使得初始车牌字符分类模型逐渐获得了第一分类模型与第二分类模型的能力，并通过第一散度值与第二散度值构建的整体损失函数调控训练过程中的模型参数，解决了传统方法采用单一模型在长尾分布的数据中学习不充分导致的容易出现分类错误的问题，提高了车牌字符分类模型的分类准确率。

附图说明

图1是本发明提供的基于多模型引导的车牌字符分类方法的步骤流程示意图。

图2是本发明提供的基于多模型引导的车牌字符分类系统的结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

请参见图1，本发明提供一种基于多模型引导的车牌字符分类方法，包括：

S10，构建第一车牌字符数据组与第二车牌字符数据组，第一车牌字符数据组中字符类别对应的数量大于第二车牌字符数据组中字符类别对应的数量；

S20，将第一车牌字符数据组输入至第一分类模型进行学习，获得每个类别的第一分类概率，并将第一车牌字符数据组输入至初始车牌字符分类模型进行学习，获得每个类别的第一车牌字符分类概率；

S30，将第二车牌字符数据组输入至第二分类模型进行学习，获得每个类别的第二分类概率，并将第二车牌字符数据组输入至初始车牌字符分类模型进行学习，获得每个类别的第二车牌字符分类概率；其中，第一分类模型中特征提取网络的卷积模块个数小于第二分类模型中特征提取网络的卷积模块个数；

S40，根据第一分类概率与第一车牌字符分类概率计算第一散度值，根据第二分类概率与第二车牌字符分类概率计算第二散度值；

S50，根据第一散度值与第二散度值构建整体损失函数，对初始车牌字符分类模型进行训练，获得车牌字符分类模型；

S60，根据车牌字符分类模型对车牌字符图像进行分类，获得分类结果。

本实施例中，在S10中，第一车牌字符数据组与第二车牌字符数据组根据每个车牌字符类别的数目的多少进行区分。车牌字符类别包括86类车牌字符类别。将数量多的字符类别划分为一个组别，形成第一车牌字符数据组。在一个实施例中，第一车牌字符数据组包括字符类别阿拉伯数字0至9、英文字母A等。将数量少的字符类别划分为一个组别，形成第二车牌字符数据组。在一个实施例中，第二车牌字符数据组包括英文字母B至Z、汉字京、沪等。第一车牌字符数据组中每个字符类别对应的数量大于第二车牌字符数据组中每个字符类别对应的数量。通过构建第一车牌字符数据组与第二车牌字符数据组，将数据进行了分组划分。

在S20与S30中，第一车牌字符数据组中各个字符类别的数据量多，且多为阿拉伯数字，数据进行学习时相对于第二车牌字符数据组中的数据简单，采用轻量级的第一分类模型实现分类。第二车牌字符数据组中各个字符类别的数据量小于第一车牌字符数据组中各个字符类别的数据量，采用相对于第一分类模型复杂的第二分类模型进行学习。第一分类模型与第二分类模型均包括特征提取网络与分类器两部分。第一分类模型中特征提取网络的卷积模块个数小于第二分类模型中特征提取网络的卷积模块个数，表明第二分类模型比第一分类模型复杂，能够提取到更多的特征。针对不同的数据组，采用不同结构的分类模型进行学习。在一个实施例中，第一分类模型的特征提取网络采用基于残差结构的ResNet-18网络进行特征提取，通过堆叠多个卷积层-归一化层-非线性激活函数层来进行参数学习。第二分类模型的特征提取网络采用ResNet-34网络进行特征提取。在一个实施例中，分类器可以采用Softmax多类别分类器进行特征提取后的分类，获得概率值最大的类别。

初始车牌字符分类模型包括特征提取网络与分类器两部分。第一分类概率、第一车牌字符分类概率、第二分类概率以及第二车牌字符分类概率为各个模型的分类器之前的结果，每个类别具有一个预测概率，随后通过模型的分类器输出概率值最大的类别。

第一车牌字符数据组输入至第一分类模型进行学习后获得每个类别的第一分类概率，第一车牌字符数据组输入至初始车牌字符分类模型进行学习后获得每个类别的第一车牌字符分类概率，体现了第一分类模型与初始车牌字符分类模型分别对第一车牌字符数据组的预测概率分布结果。通过第一分类概率与第一车牌字符分类概率计算每个类别对应的第一散度值，实现对第一分类模型与初始车牌字符分类模型的训练监督。

同理，第二车牌字符数据组输入至第二分类模型进行学习后获得每个类别的第二分类概率，第二车牌字符数据组输入至初始车牌字符分类模型进行学习后获得每个类别的第二车牌字符分类概率，体现了第二分类模型与初始车牌字符分类模型分别对第二车牌字符数据组的预测概率分布结果。通过第二分类概率与第二车牌字符分类概率计算每个类别对应的第二散度值，实现对第二分类模型与初始车牌字符分类模型的训练监督。

将第一分类模型预测的每个类别的第一分类概率与第二分类模型预测的每个类别的第二分类概率作为初始车牌字符分类模型的补充学习参考。通过本实施例中方法将第一分类模型与第二分类模型学习到的能力，传递给初始车牌字符分类模型。根据第一车牌字符数据组与第二车牌字符数据组的不同数量情况进行不同复杂程度的分类模型的训练学习，降低模型的参数量的计算复杂度，从而实现了不同大小的网络结构之间的学习能力的传递，学习到了更多的数据类别之间以及数据相同类别之内的更多的特征表示，学习训练获得计算量低且学习能力强的车牌字符分类模型，进而用于对车牌字符图像进行分类，获得分类结果。

在S40中，在一个实施例中，计算第一散度值与第二散度值时，可以采用KL散度进行计算。KL散度，即相对熵，用于衡量两个概率分布之间的差异，当两个概率分布之间的差异越小时，KL散度值越小，损失函数值越小，即表示初始车牌字符分类模型学习到了第一分类模型与第二分类模型的能力，KL散度值表示为：

其中，n为样本数量，

表示初始车牌字符分类模型对应的第一车牌字符分类概率或者第二车牌字符分类概率，/>

表示第一分类模型或者第二分类模型分别对应的第一分类概率或者第二分类概率。从而，根据第一分类概率与第一车牌字符分类概率计算第一散度值，根据第二分类概率与第二车牌字符分类概率计算第二散度值。

在S50中，根据第一散度值与第二散度值构建整体损失函数，对初始车牌字符分类模型进行训练，实现模型参数的调整，使得初始车牌字符分类模型逐渐学习到第一分类模型与第二分类模型的能力。

在S60中，车牌字符图像可以理解为需要进行检测的字符图像，通过训练完成获得的车牌字符分类模型，对车牌字符图像进行分类，能够获得对应的分类结果。

本发明提供的基于多模型引导的车牌字符分类方法，根据每个车牌字符类别的数量的多少分别构建形成了第一车牌字符数据组与第二车牌字符数据组，利用第一车牌字符数据组与第二车牌字符数据组分别训练不同的第一分类模型与第二分类模型。将第一分类模型与第二分类模型学习的不同车牌字符类别的第一车牌字符数据组与第二车牌字符数据组的特征传递给初始车牌字符分类模型。通过第一分类模型与第二分类模型进行引导式的学习，使得初始车牌字符分类模型逐渐获得了第一分类模型与第二分类模型的能力，并通过第一散度值与第二散度值构建的整体损失函数调控训练过程中的模型参数，解决了传统方法采用单一模型在长尾分布的数据中学习不充分导致的容易出现分类错误的问题，提高了车牌字符分类模型的分类准确率。

在S10中，第一车牌字符数据组与第二车牌字符数据组来源于不同类别形成的车牌字符数据集。车牌字符数据集为真实的道路交通场景监控捕捉的机动车与非机动车的车牌字符图像，涵盖不同视角、不同背景、不同光照强度下的车牌字符图像，具体包括小汽车、新能源汽车、公交车、摩托车、电动车、大货车等不同类型的车牌等。

车牌字符数据集从监控视频中收集包含车辆车牌的图像帧，通过车牌字符目标检测算法进行车牌检测，得到每个车牌字符的位置信息，并根据位置信息从图像帧中截取保存为单个的车牌字符图像，或采用人工方式截取每个车牌字符的图像。对得到的每个车牌字符图像进行分类。在一个实施例中，共有86种车牌字符类别包括10个阿拉伯数字(0至9)、24个大写字母(A至Z，除I和O)以及52个汉字。在86种车牌字符类别中，不同字符类型的数据量差异较大，阿拉伯数字的占比较多，数字6和数字8较多，大写字母次之，汉字最少，如“藏”、“临”、“警”、“使”、“学”等车牌字符数据在实际生活中较少，数据采集困难。

在一个实施例中，基于多模型引导的车牌字符分类方法，还包括：

在S10中，构建第三车牌字符数据组，第二车牌字符数据组中字符类别对应的数量大于第三车牌字符数据组中字符类别对应的数量；

S310，将第三车牌字符数据组输入至第三分类模型进行学习，获得每个类别的第三分类概率，并将第三车牌字符数据组输入至初始车牌字符分类模型进行学习，获得每个类别的第三车牌字符分类概率；

在S40中，根据第三分类概率与第三车牌字符分类概率，计算第三散度值；

在S50中，根据第一散度值、第二散度值以及第三散度值构建整体损失函数，对初始车牌字符分类模型进行训练，获得车牌字符分类模型；

其中，第二分类模型中特征提取网络的卷积模块个数小于第三分类模型中特征提取网络的卷积模块个数，初始车牌字符分类模型的特征提取网络与第二分类模型的特征提取网络相同。

本实施例中，将数量少的字符类别进一步划分为一个组别，形成第三车牌字符数据组，第二车牌字符数据组中字符类别对应的数量大于第三车牌字符数据组中字符类别对应的数量。第三车牌字符数据组中字符类别包括新、藏、警、学、使等汉字类别。在S10中，构建了第一车牌字符数据组、第二车牌字符数据组以及第三车牌字符数据组，形成了大中小三个不同类别数据量的数据组，并分别对应第一分类模型、第二分类模型以及第三分类模型，实现小中大三个不同类型的网络结构。

对于第三车牌字符数据组，每个类别的数据量少，采集困难且多为汉字车牌字符类别，学习困难，进而通过第三分类模型采用较大的网络结构进行少数数据的学习，能够更好地学习到第三车牌字符数据组中各个类别的特征，以保证提取到更加丰富和有效的特征。第三分类模型包括特征提取网络和分类器两部分，第三分类模型中特征提取网络中网络结构与第一分类模型、第二分类模型中网络结构不同。在一个实施例中，第三分类模型的特征提取网络可以采用基于ResNet-50的主干网络，分类器可以采用soft Max分类器。

第三车牌字符数据组输入至第三分类模型进行学习后获得每个类别的第三分类概率，第三车牌字符数据组输入至初始车牌字符分类模型进行学习后获得每个类别的第三车牌字符分类概率，体现了第三分类模型与初始车牌字符分类模型分别对第三车牌字符数据组的预测概率分布结果。通过第三分类概率与第三车牌字符分类概率计算每个类别对应的第三散度值，实现对第三分类模型与初始车牌字符分类模型的训练监督。

将第三分类模型预测的每个类别的第三分类概率作为初始车牌字符分类模型的补充学习参考。通过本实施例中方法将第三分类模型学习到的能力，传递给初始车牌字符分类模型。根据第一车牌字符数据组、第二车牌字符数据组以及第三车牌字符数据组的不同数量情况进行不同复杂程度的分类模型的训练学习，降低模型的参数量的计算复杂度，从而实现了不同大小的网络结构之间的学习能力的传递，学习到了更多的数据类别之间以及数据相同类别之内的更多的特征表示，学习训练获得计算量低且学习能力强的车牌字符分类模型，进而用于对车牌字符图像进行分类，获得分类结果。

根据第一散度值、第二散度值以及第三散度值构建整体损失函数，对初始车牌字符分类模型进行训练，实现模型参数的调整，使得初始车牌字符分类模型逐渐学习到第一分类模型、第二分类模型以及第三分类模型的能力。通过将第一分类模型、第二分类模型以及第三分类模型学习到的针对不同车牌字符类别的特征传递给同一个初始车牌字符分类模型进行引导式学习，逐渐使得初始车牌字符分类模型学习到第一分类模型、第二分类模型以及第三分类模型的能力，且超过了第一分类模型、第二分类模型以及第三分类模型的学习能力，从而整体上提高了对于车牌字符分类的准确率。

在一个实施例中，S510，根据第一散度值、第二散度值以及第三散度值构建整体损失函数，对初始车牌字符分类模型进行训练，获得车牌字符分类模型之前，基于多模型引导的车牌字符分类方法还包括：

S501，构建第一验证数据组、第二验证数据组以及第三验证数据组，第一验证数据组中字符类别对应的数量大于第二验证数据组中字符类别对应的数量，第二验证数据组中字符类别对应的数量大于第三验证数据组中字符类别对应的数量；

S502，根据第一验证数据组对初始车牌字符分类模型进行验证，获得第一初始分类准确率，并根据第一验证数据组对第一分类模型进行验证，获得第一分类准确率；

S503，若第一分类准确率大于两倍的第一初始分类准确率时，则第一分类模型的第一权重系数为1，若第一分类准确率小于两倍的第一初始分类准确率时，则第一权重系数为0.7至0.9；

在S50中，根据第一散度值、第一权重系数、第二散度值以及第三散度值，构建整体损失函数。

本实施例中，构建第一验证数据组、第二验证数据组以及第三验证数据组，分别对第一分类模型、第二分类模型以及第三分类模型进行权重参数的约束。通过第一验证数据组对第一分类模型的权重进行参数约束。在一个实施例中，在对初始车牌字符分类模型的训练过程中，一个训练周期指的是所有训练数据均被采样一次所完成的训练过程。训练周期可设置为120或180个训练周期，每隔十个训练周期，对学生模型的训练效果进行验证。

将第一验证数据组输入至初始车牌字符分类模型进行验证，输出预测数据，并与第一验证数据组计算获得第一初始分类准确率。同理，将第一验证数据组输入至第一分类模型进行验证，输出预测数据，并与第一验证数据组计算获得第一分类准确率。从而，计算获得针对同一验证数据组的两个模型的各自的准确率。

根据第一分类准确率与第一初始分类准确率进行大小判断，对第一权重系数进行赋值，获得针对第一分类模型的权重系数。若第一权重系数为1，表示初始车牌字符分类模型可以完全相信第一分类模型的引导。若第一权重系数为0.7至0.9，表示初始车牌字符分类模型可以部分相信第一分类模型的引导，初始车牌字符分类模型也能够实现更好的分类能力。

在一个实施例中，基于多模型引导的车牌字符分类方法还包括：

S504，根据第二验证数据组对初始车牌字符分类模型进行验证，获得第二初始分类准确率，并根据第二验证数据组对第二分类模型进行验证，获得第二分类准确率；

S505，若第二分类准确率大于两倍的第二初始分类准确率时，则第二分类模型的第二权重系数为1，若第二分类准确率小于两倍的第二初始分类准确率时，则第二权重系数为0.7至0.9；

在S50中，根据第一散度值、第一权重系数、第二散度值、第二权重系数以及第三散度值，构建整体损失函数。

本实施例中，将第二验证数据组输入至初始车牌字符分类模型进行验证，输出预测数据，并与第二验证数据组计算获得第二初始分类准确率。同理，将第二验证数据组输入至第二分类模型进行验证，输出预测数据，并与第二验证数据组计算获得第二分类准确率。从而，计算获得针对同一验证数据组的两个模型的各自的准确率。

根据第二分类准确率与第二初始分类准确率进行大小判断，对第二权重系数进行赋值，获得针对第二分类模型的权重系数。若第二权重系数为1，表示初始车牌字符分类模型可以完全相信第二分类模型的引导。若第二权重系数为0.7至0.9，表示初始车牌字符分类模型可以部分相信第二分类模型的引导，初始车牌字符分类模型也能够实现更好的分类能力。

在一个实施例中，基于多模型引导的车牌字符分类方法还包括：

S506，根据第三验证数据组对初始车牌字符分类模型进行验证，获得第三初始分类准确率，并根据第三验证数据组对第三分类模型进行验证，获得第三分类准确率；

S507，若第三分类准确率大于两倍的第三初始分类准确率时，则第三分类模型的第三权重系数为1，若第三分类准确率小于两倍的第三初始分类准确率时，则第三权重系数为0.7至0.9；

在S50中，根据第一散度值、第一权重系数、第二散度值、第二权重系数、第三散度值以及第三权重系数，构建整体损失函数。

本实施例中，将第三验证数据组输入至初始车牌字符分类模型进行验证，输出预测数据，并与第三验证数据组计算获得第三初始分类准确率。同理，将第三验证数据组输入至第三分类模型进行验证，输出预测数据，并与第三验证数据组计算获得第三分类准确率。从而，计算获得针对同一验证数据组的两个模型的各自的准确率。

根据第三分类准确率与第三初始分类准确率进行大小判断，对第三权重系数进行赋值，获得针对第三分类模型的权重系数。若第三权重系数为1，表示初始车牌字符分类模型可以完全相信第三分类模型的引导。若第三权重系数为0.7至0.9，表示初始车牌字符分类模型可以部分相信第三分类模型的引导，初始车牌字符分类模型也能够实现更好的分类能力。

根据第一散度值、第一权重系数、第二散度值、第二权重系数、第三散度值以及第三权重系数，构建整体损失函数L＝∈₁L₁+∈₂L₂+∈₃L₃，∈₁、∈₂、∈₃分别表示第一权重系数、第二权重系数、第三权重系数，L₁、L₂、L₃分别表示第一散度值、第二散度值以及第三散度值。根据第一散度值、第一权重系数、第二散度值、第二权重系数、第三散度值以及第三权重系数，构建的整体损失函数，对初始车牌字符分类模型进行训练，实现模型参数的调整，使得初始车牌字符分类模型逐渐学习到第一分类模型、第二分类模型以及第三分类模型的能力。

请参见图2，本发明提供一种基于多模型引导的车牌字符分类系100。基于多模型引导的车牌字符分类系100包括数据构建模块10、第一车牌字符数据组训练模块20、第二车牌字符数据组训练模块30、散度计算模块40、分类模型生成模块50以及分类模块60。数据构建模块10用于构建第一车牌字符数据组与第二车牌字符数据组，第一车牌字符数据组中字符类别对应的数量大于第二车牌字符数据组中字符类别对应的数量。第一车牌字符数据组训练模块20用于将第一车牌字符数据组输入至第一分类模型进行学习，获得每个类别的第一分类概率，并将第一车牌字符数据组输入至初始车牌字符分类模型进行学习，获得每个类别的第一车牌字符分类概率。第二车牌字符数据组训练模块30用于将第二车牌字符数据组输入至第二分类模型进行学习，获得每个类别的第二分类概率，并将第二车牌字符数据组输入至初始车牌字符分类模型进行学习，获得每个类别的第二车牌字符分类概率；其中，第一分类模型中特征提取网络的卷积模块个数小于第二分类模型中特征提取网络的卷积模块个数。

散度计算模块40用于根据第一分类概率与第一车牌字符分类概率计算第一散度值，根据第二分类概率与第二车牌字符分类概率计算第二散度值。分类模型生成模块50用于根据第一散度值与第二散度值构建整体损失函数，对初始车牌字符分类模型进行训练，获得车牌字符分类模型。分类模块60用于根据车牌字符分类模型对车牌字符图像进行分类，获得分类结果。

本实施例中，数据构建模块10的相关描述可参考上述实施例中S10的相关描述。第一车牌字符数据组训练模块20的相关描述可参考上述实施例中S20的相关描述。第二车牌字符数据组训练模块30的相关描述可参考上述实施例中S30的相关描述。散度计算模块40的相关描述可参考上述实施例中S40的相关描述。分类模型生成模块50的相关描述可参考上述实施例中S50的相关描述。分类模块60的相关描述可参考上述实施例中S60的相关描述。

在一个实施例中，基于多模型引导的车牌字符分类系100还包括数据构建模块、第三车牌字符数据组训练模块、散度计算模块以及分类模型生成模块。数据构建模块用于构建第三车牌字符数据组，第二车牌字符数据组中字符类别对应的数量大于第三车牌字符数据组中字符类别对应的数量。第三车牌字符数据组训练模块用于将第三车牌字符数据组输入至第三分类模型进行学习，获得每个类别的第三分类概率，并将第三车牌字符数据组输入至初始车牌字符分类模型进行学习，获得每个类别的第三车牌字符分类概率。

散度计算模块用于根据第三分类概率与第三车牌字符分类概率，计算第三散度值。分类模型生成模块用于根据第一散度值、第二散度值以及第三散度值构建整体损失函数，对初始车牌字符分类模型进行训练，获得车牌字符分类模型。其中，第二分类模型中卷积模块个数小于第三分类模型中卷积模块个数，初始车牌字符分类模型的特征提取网络与第二分类模型的特征提取网络相同。

本实施例中，数据构建模块的相关描述可参考上述实施例中在S10中的相关描述。第三车牌字符数据组训练模块的相关描述可参考上述实施例中S310中的相关描述。散度计算模块的相关描述可参考上述实施例中在S40中的相关描述。分类模型生成模块的相关描述可参考上述实施例中在S50中的相关描述。

在一个实施例中，基于多模型引导的车牌字符分类系100还包括验证数据构建模块、第一验证模块、第一权重系数获取模块以及分类模型生成模块。验证数据构建模块用于构建第一验证数据组、第二验证数据组以及第三验证数据组，第一验证数据组中字符类别对应的数量大于第二验证数据组中字符类别对应的数量，第二验证数据组中字符类别对应的数量大于第三验证数据组中字符类别对应的数量。第一验证模块用于根据第一验证数据组对初始车牌字符分类模型进行验证，获得第一初始分类准确率，并根据第一验证数据组对第一分类模型进行验证，获得第一分类准确率。

第一权重系数获取模块用于若第一分类准确率大于两倍的第一初始分类准确率时，则第一分类模型的第一权重系数为1，若第一分类准确率小于两倍的第一初始分类准确率时，则第一权重系数为0.7至0.9。分类模型生成模块用于根据第一散度值、第一权重系数、第二散度值以及第三散度值，构建整体损失函数。

本实施例中，验证数据构建模块的相关描述可参考上述实施例中S501的相关描述。第一验证模块的相关描述可参考上述实施例中S502的相关描述。第一权重系数获取模块的相关描述可参考上述实施例中S503的相关描述。分类模型生成模块的相关描述可参考上述实施例中在S50中的相关描述。

在一个实施例中，基于多模型引导的车牌字符分类系100还包括第二验证模块、第二权重系数获取模块以及分类模型生成模块。第二验证模块用于根据第二验证数据组对初始车牌字符分类模型进行验证，获得第二初始分类准确率，并根据第二验证数据组对第二分类模型进行验证，获得第二分类准确率。

第二权重系数获取模块用于若第二分类准确率大于两倍的第二初始分类准确率时，则第二分类模型的第二权重系数为1，若第二分类准确率小于两倍的第二初始分类准确率时，则第二权重系数为0.7至0.9。分类模型生成模块用于根据第一散度值、第一权重系数、第二散度值、第二权重系数以及第三散度值，构建整体损失函数。

本实例中，第二验证模块的相关描述可参考上述实施例中S504的相关描述。第二权重系数获取模块的相关描述可参考上述实施例中S505的相关描述。分类模型生成模块的相关描述可参考上述实施例中在S50中的相关描述。

在一个实施例中，基于多模型引导的车牌字符分类系100还包括第三验证模块、第三权重系数获取模块以及分类模型生成模块。第三验证模块用于根据第三验证数据组对初始车牌字符分类模型进行验证，获得第三初始分类准确率，并根据第三验证数据组对第三分类模型进行验证，获得第三分类准确率。第三权重系数获取模块用于若第三分类准确率大于两倍的第三初始分类准确率时，则第三分类模型的第三权重系数为1，若第三分类准确率小于两倍的第三初始分类准确率时，则第三权重系数为0.7至0.9。分类模型生成模块用于根据第一散度值、第一权重系数、第二散度值、第二权重系数、第三散度值以及第三权重系数，构建整体损失函数。

本实施例中，第三验证模块的相关描述可参考上述实施例中S506的相关描述。第三权重系数获取模块的相关描述可参考上述实施例中S507的相关描述。分类模型生成模块的相关描述可参考上述实施例中在S50中的相关描述。

上述各个实施例中，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于的特定顺序或层次。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，模块和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，模块和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或模块都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多模型引导的车牌字符分类方法，其特征在于，包括：

构建第一车牌字符数据组与第二车牌字符数据组，所述第一车牌字符数据组中字符类别对应的数量大于所述第二车牌字符数据组中字符类别对应的数量；

将所述第一车牌字符数据组输入至第一分类模型进行学习，获得每个类别的第一分类概率，并将所述第一车牌字符数据组输入至初始车牌字符分类模型进行学习，获得每个类别的第一车牌字符分类概率；

将所述第二车牌字符数据组输入至第二分类模型进行学习，获得每个类别的第二分类概率，并将所述第二车牌字符数据组输入至所述初始车牌字符分类模型进行学习，获得每个类别的第二车牌字符分类概率；其中，所述第一分类模型中特征提取网络的卷积模块个数小于所述第二分类模型中特征提取网络的卷积模块个数；

根据所述第一分类概率与所述第一车牌字符分类概率计算第一散度值，根据所述第二分类概率与所述第二车牌字符分类概率计算第二散度值；

根据所述第一散度值与所述第二散度值构建整体损失函数，对所述初始车牌字符分类模型进行训练，获得车牌字符分类模型；

根据所述车牌字符分类模型对车牌字符图像进行分类，获得分类结果。

2.根据权利要求1所述的基于多模型引导的车牌字符分类方法，其特征在于，所述方法还包括：

构建第三车牌字符数据组，所述第二车牌字符数据组中字符类别对应的数量大于所述第三车牌字符数据组中字符类别对应的数量；

将所述第三车牌字符数据组输入至第三分类模型进行学习，获得每个类别的第三分类概率，并将所述第三车牌字符数据组输入至所述初始车牌字符分类模型进行学习，获得每个类别的第三车牌字符分类概率；

根据所述第三分类概率与所述第三车牌字符分类概率，计算第三散度值；

根据所述第一散度值、所述第二散度值以及所述第三散度值构建所述整体损失函数，对所述初始车牌字符分类模型进行训练，获得车牌字符分类模型；

其中，所述第二分类模型中卷积模块个数小于所述第三分类模型中卷积模块个数，所述初始车牌字符分类模型的特征提取网络与所述第二分类模型的特征提取网络相同。

3.根据权利要求1所述的基于多模型引导的车牌字符分类方法，其特征在于，所述根据所述第一散度值、所述第二散度值以及所述第三散度值构建整体损失函数，对所述初始车牌字符分类模型进行训练，获得车牌字符分类模型之前，所述方法还包括：

构建第一验证数据组、第二验证数据组以及第三验证数据组，所述第一验证数据组中字符类别对应的数量大于所述第二验证数据组中字符类别对应的数量，所述第二验证数据组中字符类别对应的数量大于所述第三验证数据组中字符类别对应的数量；

根据所述第一验证数据组对所述初始车牌字符分类模型进行验证，获得第一初始分类准确率，并根据所述第一验证数据组对所述第一分类模型进行验证，获得第一分类准确率；

若所述第一分类准确率大于两倍的所述第一初始分类准确率时，则所述第一分类模型的第一权重系数为1，若所述第一分类准确率小于两倍的所述第一初始分类准确率时，则所述第一权重系数为0.7至0.9；

根据所述第一散度值、所述第一权重系数、所述第二散度值以及所述第三散度值，构建所述整体损失函数。

4.根据权利要求3所述的基于多模型引导的车牌字符分类方法，其特征在于，所述方法还包括：

根据所述第二验证数据组对所述初始车牌字符分类模型进行验证，获得第二初始分类准确率，并根据所述第二验证数据组对所述第二分类模型进行验证，获得第二分类准确率；

若所述第二分类准确率大于两倍的所述第二初始分类准确率时，则所述第二分类模型的第二权重系数为1，若所述第二分类准确率小于两倍的所述第二初始分类准确率时，则所述第二权重系数为0.7至0.9；

根据所述第一散度值、所述第一权重系数、所述第二散度值、所述第二权重系数以及所述第三散度值，构建所述整体损失函数。

5.根据权利要求4所述的基于多模型引导的车牌字符分类方法，其特征在于，所述方法还包括：

根据所述第三验证数据组对所述初始车牌字符分类模型进行验证，获得第三初始分类准确率，并根据所述第三验证数据组对所述第三分类模型进行验证，获得第三分类准确率；

若所述第三分类准确率大于两倍的所述第三初始分类准确率时，则所述第三分类模型的第三权重系数为1，若所述第三分类准确率小于两倍的所述第三初始分类准确率时，则所述第三权重系数为0.7至0.9；

根据所述第一散度值、所述第一权重系数、所述第二散度值、所述第二权重系数、所述第三散度值以及所述第三权重系数，构建所述整体损失函数。

6.一种基于多模型引导的车牌字符分类系统，其特征在于，包括：

数据构建模块，用于构建第一车牌字符数据组与第二车牌字符数据组，所述第一车牌字符数据组中字符类别对应的数量大于所述第二车牌字符数据组中字符类别对应的数量；

第一车牌字符数据组训练模块，用于将所述第一车牌字符数据组输入至第一分类模型进行学习，获得每个类别的第一分类概率，并将所述第一车牌字符数据组输入至初始车牌字符分类模型进行学习，获得每个类别的第一车牌字符分类概率；

第二车牌字符数据组训练模块，用于将所述第二车牌字符数据组输入至第二分类模型进行学习，获得每个类别的第二分类概率，并将所述第二车牌字符数据组输入至所述初始车牌字符分类模型进行学习，获得每个类别的第二车牌字符分类概率；其中，所述第一分类模型中特征提取网络的卷积模块个数小于所述第二分类模型中特征提取网络的卷积模块个数；

散度计算模块，用于根据所述第一分类概率与所述第一车牌字符分类概率计算第一散度值，根据所述第二分类概率与所述第二车牌字符分类概率计算第二散度值；

分类模型生成模块，用于根据所述第一散度值与所述第二散度值构建整体损失函数，对所述初始车牌字符分类模型进行训练，获得车牌字符分类模型；

分类模块，用于根据所述车牌字符分类模型对车牌字符图像进行分类，获得分类结果。

7.根据权利要求6所述的基于多模型引导的车牌字符分类系统，其特征在于，所述系统还包括：

所述数据构建模块，用于构建第三车牌字符数据组，所述第二车牌字符数据组中字符类别对应的数量大于所述第三车牌字符数据组中字符类别对应的数量；

第三车牌字符数据组训练模块，用于将所述第三车牌字符数据组输入至第三分类模型进行学习，获得每个类别的第三分类概率，并将所述第三车牌字符数据组输入至所述初始车牌字符分类模型进行学习，获得每个类别的第三车牌字符分类概率；

所述散度计算模块，用于根据所述第三分类概率与所述第三车牌字符分类概率，计算第三散度值；

所述分类模型生成模块，用于根据所述第一散度值、所述第二散度值以及所述第三散度值构建所述整体损失函数，对所述初始车牌字符分类模型进行训练，获得车牌字符分类模型；

其中，所述第二分类模型中卷积模块个数小于所述第三分类模型中卷积模块个数，所述初始车牌字符分类模型的特征提取网络与所述第二分类模型的特征提取网络相同。

8.根据权利要求6所述的基于多模型引导的车牌字符分类系统，其特征在于，所述系统还包括：

验证数据构建模块，用于构建第一验证数据组、第二验证数据组以及第三验证数据组，所述第一验证数据组中字符类别对应的数量大于所述第二验证数据组中字符类别对应的数量，所述第二验证数据组中字符类别对应的数量大于所述第三验证数据组中字符类别对应的数量；

第一验证模块，用于根据所述第一验证数据组对所述初始车牌字符分类模型进行验证，获得第一初始分类准确率，并根据所述第一验证数据组对所述第一分类模型进行验证，获得第一分类准确率；

第一权重系数获取模块，用于若所述第一分类准确率大于两倍的所述第一初始分类准确率时，则所述第一分类模型的第一权重系数为1，若所述第一分类准确率小于两倍的所述第一初始分类准确率时，则所述第一权重系数为0.7至0.9；

所述分类模型生成模块，用于根据所述第一散度值、所述第一权重系数、所述第二散度值以及所述第三散度值，构建所述整体损失函数。

9.根据权利要求8所述的基于多模型引导的车牌字符分类系统，其特征在于，所述系统还包括：

第二验证模块，用于根据所述第二验证数据组对所述初始车牌字符分类模型进行验证，获得第二初始分类准确率，并根据所述第二验证数据组对所述第二分类模型进行验证，获得第二分类准确率；

第二权重系数获取模块，用于若所述第二分类准确率大于两倍的所述第二初始分类准确率时，则所述第二分类模型的第二权重系数为1，若所述第二分类准确率小于两倍的所述第二初始分类准确率时，则所述第二权重系数为0.7至0.9；

所述分类模型生成模块，用于根据所述第一散度值、所述第一权重系数、所述第二散度值、所述第二权重系数以及所述第三散度值，构建所述整体损失函数。

10.根据权利要求9所述的基于多模型引导的车牌字符分类系统，其特征在于，所述系统还包括：

第三验证模块，用于根据所述第三验证数据组对所述初始车牌字符分类模型进行验证，获得第三初始分类准确率，并根据所述第三验证数据组对所述第三分类模型进行验证，获得第三分类准确率；

第三权重系数获取模块，用于若所述第三分类准确率大于两倍的所述第三初始分类准确率时，则所述第三分类模型的第三权重系数为1，若所述第三分类准确率小于两倍的所述第三初始分类准确率时，则所述第三权重系数为0.7至0.9；

所述分类模型生成模块，用于根据所述第一散度值、所述第一权重系数、所述第二散度值、所述第二权重系数、所述第三散度值以及所述第三权重系数，构建所述整体损失函数。

Images