CN112446383B - 车牌识别方法及装置、存储介质、终端 - Google Patents

Abstract

一种车牌识别方法及装置、存储介质、终端，所述车牌识别方法，包括：获取待识别车牌图像；将所述待识别车牌图像输入字符分割网络进行字符分割，得到若干字符图像，每一字符图像均具有对应的字符标签，所述字符分割网络是预先训练得到的；将所述若干字符图像输入车牌识别网络，根据各字符图像的字符标签选择权重参数，并采用所选择的权重参数对字符图像进行识别，其中，所述车牌识别网络是预先训练得到的，包括多组权重参数，每组权重参数分别与字符标签一一对应；根据每一字符图像的识别结果，得到所述车牌图像对应的车牌号。上述方案，能够提高车牌识别结果的准确度。

Description

车牌识别方法及装置、存储介质、终端

技术领域

本发明实施例涉及车牌识别领域，尤其涉及一种车牌识别方法及装置、存储介质、终端。

背景技术

图像处理技术和深度学习的快速发展，车牌识别技术在停车系统以及电子警察系统得到快速普及应用。这些系统往往要求低延时、高准确性，从而对模型算法提出了很高的标准。主流的深度学习解决方案通过卷积神经网络提取特征图、通过循环神经网络以顺序识别出车牌各文本位置上的文本信息、最后使用CTC损失函数，根据所述特征矩阵中各元素对相应文本位置的注意力权重，进行文本识别。

然而，我国车牌通常包含有汉字、数字和字母，鉴于车牌中所包含的内容的多样性，导致车牌识别结果的准确率较低。

发明内容

本发明实施例解决的技术问题是车牌识别结果的准确率较低。

为解决上述技术问题，本发明实施例提供一种车牌识别方法，包括：获取待识别车牌图像；将所述待识别车牌图像输入字符分割网络进行字符分割，得到若干字符图像，每一字符图像均具有对应的字符标签，所述字符分割网络是预先训练得到的；将所述若干字符图像输入车牌识别网络，根据各字符图像的字符标签选择权重参数，并采用所选择的权重参数对字符图像进行识别，其中，所述车牌识别网络是预先训练得到的，包括多组权重参数，每组权重参数分别与字符标签一一对应；根据每一字符图像的识别结果，得到所述车牌图像对应的车牌号。

可选的，所述将所述待识别车牌图像输入至字符分割网络进行字符分割，得到若干字符图像，包括：对所述待识别车牌图像进行下采样，得到第一特征图；对所述第一特征图进行上采样，得到第二特征图，其中，至少在其中一次上采样时增加注意力机制，所述第二特征图与所述第一特征图的尺度相同；根据所述第二特征图，预测每一字符的位置以及字符的字符标签；根据预测的每一字符的位置，对所述待识别车牌图像进行字符分割，得到所述若干字符图像。

可选的，所述对所述第一特征图进行上采样，得到第二特征图，包括：分别采用多个串联的上采样模块对所述第一特征图进行多次上采样，得到所述第二特征图，多个上采样模块用于接收所述第一特征图或者上一级上采样模块输出的上采样特征图，对最后一个上采样模块输出的上采样特征图进行通道变换处理，得到所述第二特征图，所述第二特征图的通道数目与所述字符标签的总类别数目相关；其中，至少一个上采样模块包括注意力机制模块，所述注意力机制模块，用于对输入的特征图的通道进行加权处理，将加权处理之后的特征图作为上采样特征图。

可选的，所述注意力机制模块，用于对所述输入的特征图分别进行全局平均池化处理和最大池化处理，得到全局平均池化处理后的特征图以及最大池化处理后的特征图；分别将所述全局平均池化处理后的特征图以及所述最大池化处理后的特征图进行卷积，得到两个卷积处理后的特征图；根据所述两个卷积处理后的特征图，采用Sigmoid激活函数确定各通道权重，采用所述各通道权重对所述输入的特征图进行加权处理，得到所述上采样特征图。

可选的，所述上采样模块包括：插值单元，用于对输入的特征图进行插值处理，得到插值处理后的特征图，其中，所述输入的特征图为所述第一特征图或者上一级上采样模块输出的上采样特征图；多个串联的第二残差网络，用于接收待上采样的特征图或者上一级第二残差网络输出的处理后的特征图，所述待上采样的特征图为所述插值单元输出的插值处理后的特征图，每个第二残差网络包括：一个或多个卷积层，以及一个或多个分组卷积层。还包括：对于每次上采样时，将所述多个串联的第二残差网络输出的特征图与相同尺度的下采样特征图进行融合，将融合后的特征图作为所述注意力机制模块的输入。

可选的，所述插值单元，用于采用双线性插值方法对所述输入的特征图进行插值处理。

可选的，每个第二残差网络中除第一个卷积层之外的其他卷积层均具有BN层且采用的激活函数为Relu激活函数。

可选的，所述字符分割网络包括多个串联的下采样模块，所述下采样模块用于对所述待识别车牌图像进行下采样，得到第一特征图，每个下采样模块包括多个串联的第一残差网络，其中：多个串联的第一残差网络，用于接收待下采样的特征图或者上一级第一残差网络输出的处理后的特征图，所述待下采样的特征图为所述待识别车牌图像或者上一级下采样模块输出的下采样特征图，每个残差网络包括一个或多个卷积层，以及一个或多个分组卷积层。

可选的，每个第一残差网络中除第一个卷积层之外的其他卷积层均具有BN层且采用的激活函数为Relu激活函数。

可选的，所述车牌识别方法还包括：在获取到待识别车牌图像之后，对所述待识别车牌图像进行矫正。

可选的，所述对所述待识别车牌图像进行矫正，包括：采用空间变换矩阵对所述待识别车牌图像进行矫正。

可选的，所述对所述待识别车牌图像进行去噪，包括：对所述待识别车牌图像进行图像特征增强，得到图像特征增强后的图像；基于所述图像增强后的图像进行非线性处理，得到非线性处理之后的特征图；对所述非线性处理之后的特征图进行卷积操作，得到权重矩阵；采用所述权重矩阵对所述待识别车牌图像进行加权，得到噪声特征图；根据所述噪声特征图与所述待识别车牌图像，得到去噪处理后的特征图，将所述去噪处理后的特征图作为所述待识别车牌图像。

可选的，所述基于所述图像增强后的图像进行非线性处理，得到非线性处理之后的特征图，包括：将所述待识别车牌图像与所述图像特征增强后的图像进行图像融合，得到融合后的图像；对所述融合后的图像进行非线性处理，得到非线性处理之后的特征图。

可选的，采用Tanh激活函数对所述融合后的图像进行非线性处理。

可选的，所述对所述待识别车牌图像进行图像特征增强，包括：将所述待识别车牌图像经一个卷经层进行卷积，并经过一个BN层处理，得到所述图像特征增强后的图像。

本发明实施例还提供一种车牌识别装置，包括：获取单元，用于获取待识别车牌图像；字符分割单元，用于将所述待识别车牌图像输入字符分割网络进行字符分割，得到若干字符图像，每一字符图像均具有对应的字符标签，所述字符分割网络是预先训练得到的；车牌识别单元，用于将所述若干字符图像输入车牌识别网络，根据各字符图像的字符标签选择权重参数，并采用所选择的权重参数对字符图像进行识别，根据每一字符图像的识别结果，得到所述车牌图像对应的车牌号，其中，所述车牌识别网络是预先训练得到的，包括多组权重参数，每组权重参数分别与字符标签一一对应。

本发明实施例还提供一种存储介质，所述存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述任一种车牌识别方法的步骤。

本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述任一种车牌识别方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

在对待识别车牌图像进行字符分割，得到若干字符图像，根据每一字符图像对应的字符标签，从预先训练的车牌识别网络中选择与字符标签对应的权重参数，不同类型的字符标签分别对应有预训练的权重参数，采用与字符标签对应的权重参数来对字符图像进行识别，故可以提高车牌识别结果的准确度。

进一步，在对第一特征图进行上采样得到第二特征图时，至少一个上采样模块包括注意力机制模块，所述注意力机制模块，用于对输入的特征图的通道进行加权处理，将加权处理之后的特征图作为上采样特征图。使字符分割模型更关注有意义、重要的通道以提升字符分割准确率，从而可以提高字符位置定位的准确性，有效地降低漏检字符的情况，提高字符分割网络的可靠性。

进一步，通过对待识别车牌图像进行矫正，可以实现对待识别车牌图像中具有一定倾斜角度下的车牌进行快速识别，大大降低了摄像机摆放角度的限制，提高对待识别车牌图像中的车牌的倾斜角度的容忍度以及识别范围，并可以提高车牌识别结果的准确度和提高整体识别模型的鲁棒性。

进一步，通过对待识别车牌图像进行去噪，可以有效的去除夜晚、雨雪天气或其他高噪声的情况下噪声影响，提高车牌识别的准确率以及使得整个车牌识别模型具有更好的鲁棒性。

进一步，在对待识别车牌图像进行去噪时，将待识别车牌图像与图像特征增强后的图像进行图像融合，得到融合后的图像，基于融合后的图像进行非线性处理，得到非线性处理之后的特征图。通过待识别车牌图像与图像特征增强后的图像进行图像融合，可以较好的保留待识别车牌图像中的信息，增强融合图像中噪声特征，以提高去噪效果。此外，通过对融合后的图像进行非线性归一化可以增强变换能力，有助于较好的提取出噪声特征。

附图说明

图1是本发明实施例中的一种车牌识别方法的流程图；

图2是本发明实施例中的一种字符分割的流程图；

图3是本发明实施例中的一种字符分割网络的结构示意图；

图4是本发明实施例中的一种下采样模块的结构示意图；

图5是本发明实施例中的一种上采样模块的结构示意图；

图6是本发明实施例中的一种图像去噪的流程图；

图7是本发明实施例中的一种车牌识别装置的结构示意图。

具体实施方式

如上所述，现有技术中，对车牌的识别结果的准确率较低。

为了解决上述问题，在本发明实施例中，在对待识别车牌图像进行字符分割，得到若干字符图像，根据每一字符图像对应的字符标签，从预先训练的车牌识别网络中选择与字符标签对应的权重参数，基于选择的权重参数对该字符图像进行识别。由于不同类型的字符标签分别对应有预训练的权重参数，采用与字符标签对应的权重参数来对字符图像进行识别，故可以提高车牌识别结果的准确度。

为使本发明实施例的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

本发明实施例提供一种车牌识别方法，参照图1，给出了本发明实施例中的一种车牌识别方法的流程图，车牌识别方法具体可以包括如下步骤：

步骤S11，获取待识别车牌图像。

步骤S12，将所述待识别车牌图像输入字符分割网络进行字符分割，得到若干字符图像，每一字符图像均具有对应的字符标签，所述字符分割网络是预先训练得到的。

参照图2，给出了本发明实施例中的一种字符分割的流程图。在具体实施中，将所述待识别车牌图像输入字符分割网络进行字符分割可以包括如下步骤S121至步骤S124：

步骤S121，对所述待识别车牌图像进行下采样，得到第一特征图。

参照图3，给出了本发明实施例中的一种字符分割网络的结构示意图。在具体实施中，结合图2及图3，所述字符分割网络30可以包括多个下采样模块31，多个下采样模块31串联。通过多个下采样模块31对所述待识别车牌图像进行下采样，得到第一特征图。

其中，第一级下采样模块31的输入为待识别车牌图像。自第二级下采样模块31开始，其输入为上一级下采样模块31的输出。最后一级下采样模块31输出第一特征图。

需要说明的是，图3中示意的字符分割网络30包括四个下采样模块31。在实际应用中，下采样模块31的数目以及每一下采样模块的下采样倍数可以根据实际字符分割网络30的轻量化以及下采样倍数等需求进行设定，此处不做限定。

参照图4，给出了本发明实施例中的一种下采样模块的结构示意图。在一个实施例中，每个下采样模块31可以包括多个串联的第一残差网络311。多个串联的第一残差网络311用于接收待下采样的特征图或者上一级第一残差网络311输出的处理后的特征图，所述待下采样的特征图为所述待识别车牌图像或者上一级下采样模块31输出的下采样特征图。

具体而言，针对第一级下采样模块31，第一级第一残差网络311的输入为待识别车牌图像。自第二级下采样模块31起，下采样模块31中的第一个第一残差网络311的输入为上一级下采样模块31的输出。针对每个下采样模块31，自第二级第一残差网络311起，其输入为上一级第一残差网络311的输出。针对最后一级下采样模块31中的最后一级第一残差网络311的输出为第一特征图。

在具体实施中，第一残差网络311可以基于卷积神经网络构建。每一第一残差网络311包括一个或多个卷积层，以及一个或多个分组卷积层。在对待识别车牌图像进行下采样时，采用多个第一残差网络311可以避免梯度的消失，以确保下采样后得到的下采样图像中的图像特征的细粒度。

在一个非限制性实施例中，每个第一残差网络311包括两个卷积核为1×1的卷积层，一个卷积核为3×3的分组卷积层。可以先执行卷积核为1×1的卷积层，将卷积核为1×1的卷积层的输出作为卷积核为3×3的分组卷积层的输入。卷积核为3×3的分组卷积层的输出作为另一个卷积核为1×1的卷积层的输入。另一个卷积核为1×1的卷积层的输出可以作为下一级第一残差网络311的输入，或者，作为下一级下采样模块31的输入，或者当另一个卷积核为1×1的卷积层所属的下采样模块31为最后一级下采样模块31时，另一个卷积核为1×1的卷积层的输出即为第一特征图。

在具体实施中，每个第一残差网络311中除第一个卷积层之外的其他卷积层均具有批量标准化(Batch Normalization，BN)层且采用的激活函数为Relu激活函数。

在具体实施中，当下采样模块31实现两倍下采样时，在下采样模块31中的数个第一残差网络311中，有一卷积的步长为2，其余所有卷积的步长为1。其中，步长为2的卷积可以设置于卷积核为1×1的卷积层，也可以设置于卷积核为3×3的分组卷积层。

相应地，当下采样模块31实现四倍下采样时，在下采样模块31中的数个第一残差网络311中，将一卷积的步长设置为4，其余所有卷积的步长均设置为1，其中，步长为2的卷积可以设置于卷积核为1×1的卷积层，也可以设置于卷积核为3×3的分组卷积层。或者，将两个卷积的步长分别设置为2，其余所有卷积的步长均设置为1，其中，步长为2的卷积可以设置于卷积核为1×1的卷积层，也可以设置于卷积核为3×3的分组卷积层。

需要说明的是，针对每个下采样模块31，当其中的第一残差网络311中的卷积步长大于1时，则需要对输入第一残差网络311的特征图进行相同步长的卷积操作，并将卷积结果与该第一残差网络311中最后一次卷积的输出相加，作为该第一残差网络311的输出。

需要说明的是，根据下采样模块31实现的下采样倍数不同，卷积的步长相应地不同，具体根据需求进行设定即可，此处不再赘述。

步骤S122，对所述第一特征图进行上采样，得到第二特征图。

在具体实施中，在第一特征图进行上采样，得到第二特征图时，至少在其中一次上采样时增加注意力机制，所述第二特征图与所述第一特征图的尺度相同。例如，至少在最后一次上采样时增加注意力机制。

在具体实施中，参照图3，字符分割网络30可以包括多个串联的上采样模块32。可以分别采用多个串联的上采样模块32对所述第一特征图进行多次上采样，得到所述第二特征图，多个上采样模块32用于接收所述第一特征图或者上一级上采样模块32输出的上采样特征图，对最后一级上采样模块32输出的上采样特征图进行通道变换处理，得到所述第二特征图，所述第二特征图的通道数目与所述字符标签的总类别数目相关。

在具体实施中，可以对最后一级上采样模块32输出的上采样特征图进行卷积，以实现通道变换处理，将通道的数目变换成3，通道数目为3的第二特征图。其中，输入的待识别车牌图像的通道数目为3。

参照图5，给出了本发明实施例中的一种上采样模块的结构示意图。在具体实施中，至少一个上采样模块32包括注意力机制模块323。所述注意力机制模块323用于对输入的特征图的通道进行加权处理，将加权处理之后的特征图作为上采样特征图。通过注意力机制模块323处理可以提高字符位置定位的准确性，有效地降低漏检字符的概率，提高字符分割网络的可靠性。

在具体实施中，所述注意力机制模块323用于对所述输入的特征图进行全局平均池化处理，得到全局平均池化处理后的特征图。对所述输入的特征图进行最大池化处理，得到最大池化处理后的特征图。注意力机制模块323分别将所述全局平均池化处理后的特征图以及所述最大池化处理后的特征图进行卷积，得到两个卷积处理后的特征图。根据所述两个卷积处理后的特征图，采用Sigmoid激活函数可以确定各通道权重，采用所述各通道权重对所述输入的特征图进行加权处理，得到所述上采样特征图。

在一个非限制性实施例中，每个上采样模块32均包括注意力机制模块323。

在本发明实施例中，可以采用插值方式进行上采样。

具体而言，每个上采样模块32可以包括插值单元321以及多个串联的第二残差网络322。其中：

插值单元321，用于对输入的特征图进行插值处理，得到插值处理后的特征图，其中，所述输入的特征图为所述第一特征图或者上一级上采样模块32输出的上采样特征图。

在一个非限制性实施例中，插值单元321采用双线性插值方法对所述输入的特征图进行插值处理。

多个串联的第二残差网络322，用于接收待上采样的特征图或者上一级第二残差网络322输出的处理后的特征图，所述待上采样的特征图为所述插值单元321输出的插值处理后的特征图。

在具体实施中，第二残差网络322可以基于卷积神经网络构建。每个第二残差网络322可以包括：一个或多个卷积层，以及一个或多个分组卷积层。当上采样模块32的数目与下采样模块31的数目相同时，每一上采样模块32的上采样倍数和对应的下采样模块31的下采样倍数相同。

在一个非限制性实施例中，每个第二残差网络322包括两个卷积核为1×1的卷积层，一个卷积核为3×3的分组卷积层。可以先执行卷积核为1×1的卷积层，将一个卷积核为1×1的卷积层的输出作为卷积核为3×3的分组卷积层的输入，卷积核为3×3的分组卷积层的输出作为另一个卷积核为1×1的卷积层的输入。

当所述的上采样模块包括注意力机制模块323时，另一个卷积核为1×1的卷积层的输出可以作为注意力机制模块323的输入。

当第二残差网络322所属的上采样模块不包括注意力机制模块323时，另一个卷积核为1×1的卷积层的输出作为下一级第二残差网络322的输入。

若第二残差网络322为最后一级第二残差网络322，当上采样模块32为最后一级上采样模块32且不包含注意力机制模块323时，可以基于另一个卷积核为1×1的卷积层的输出得到第二特征图。

在具体实施中，第二残差网络322中每个卷积的步长均为1。

对于输入至第二残差网络322内的特征图，先经过卷积核为1×1的卷积层进行卷积，可以对每个像素的特征进行增强。在第二残差网络322中配置分组卷积层在确保卷积效果以减少卷积参数量，使网络更轻量化，加快了网络推理速度。

由于在下采样的过程中通常伴随着信息的丢失，且丢失的信息是不可逆的，并不会随着上采样而复原，导致上采样得到的特征图中信息的粒度较大。为了提高所得到的第二特征图中的细粒度特征，在本发明实施例中，对于每次上采样时，将所述多个串联的第二残差网络输出的特征图与相同尺度的下采样特征图进行融合，将融合后的特征图作为所述注意力机制模块的输入。

在具体实施中，每一第二残差网络322中除第一个卷积层之外的其他卷积层均具有BN层且采用的激活函数为Relu激活函数，以增强第二残差网络322的特征图中的特征，提高第二残差网络322的处理效果。

步骤S123，根据所述第二特征图，预测每一字符的位置以及字符的字符标签。

在具体实施中，可以根据第二特征图对每个像素的类别进行预测。根据每一像素的类别预测结果结合像素的特征值，确定每一字符的位置以及每一字符的字符标签。其中，像素的类别与字符标签对应。字符标签可以包括三种类别：分别为汉字对应的标签、数字对应的标签以及字母对应的标签。相应地，像素的类别为汉字类别、数字类别或者字母类别。

步骤S124，根据预测的每一字符的位置，对所述待识别车牌图像进行字符分割，得到所述若干字符图像。

在具体实施中，根据预测的每一字符的位置，可以对每一字符所在的区域进行标矩阵框。根据矩阵框的标示结果，抠出每一字符对应的图像，得到对应的若干字符图像。

步骤S13，将所述若干字符图像输入车牌识别网络，根据各字符图像的字符标签选择权重参数，并采用所选择的权重参数对字符图像进行识别。

在具体实施中，所述车牌识别网络是预先训练得到的，车牌识别网络可以包括多组权重参数，每组权重参数分别与字符标签一一对应。

在车牌识别网络训练时，针对车牌识别场景，字符标签的类别可以包括三类，分别为汉字、数字和字母。分别采用不同类别的字符标签的训练样本进行车牌识别网络的训练，得到各字符标签对应的权重参数。例如，采用字符标签为汉字的训练样本进行车牌识别网络的训练，得到字符标签为汉字时对应的权重参数。又如，采用字符标签为数字的训练样本进行车牌识别模型的训练，得到字符标签为数字时对应的权重参数。再如，采用字符标签为字母的训练样本进行车牌识别模型的训练，得到字符标签为字母时对应的权重参数。

步骤S14，根据每一字符图像的识别结果，得到所述车牌图像对应的车牌号。

在具体实施中，得到每一字符对应的识别结果时，可以按照各个字符在待识别车牌图像上的位置，将所有字符的识别结果进行整合，得到所述车牌图像对应的车牌号。其中，字符在待识别车牌图像上的位置相关的信息可以在对待识别车牌图像进行字符分割时得到。

由上可知，在对待识别车牌图像进行字符分割，得到若干字符图像，根据每一字符图像对应的字符标签，从预先训练的车牌识别网络中选择与字符标签对应的权重参数，基于选择的权重参数对该字符图像进行识别。由于不同类型的字符标签分别对应有预训练的权重参数，采用与字符标签对应的权重参数来对字符图像进行识别，故可以提高车牌识别结果的准确度。

此外，字符分割网络、车牌识别网络均可以采用有限层的卷积层或者分组卷积层等轻量化网络结构，可以使得字符分割网络、车牌识别网络轻量化，以具有较好的实时性，实现端到端的车牌识别。

在具体实施中，为了进一步提高图像识别效果，在获取到待识别车牌图像之后，对所述待识别车牌图像进行矫正。

在本发明实施例中，可以采用空间变换矩阵对所述待识别车牌图像进行矫正。

其中，空间变换矩阵可以采用空间变换网络(Spatial Transformer Network，STN)进行预先训练得到。

在本发明一实施例中，STN网络可以由两个卷积核为3x3卷积层，1个全连接层组成，以实现STN网络的轻量化。

在具体实施中，由于受天气环境影响，比如大雨、大雾、沙尘暴等，图像受到不同类型的噪声干扰，造成车牌难以识别，导致车牌字符识别的准确率较低。

为了进一步提高车牌识别准确度，在本发明实施例中，采用所述空间变换矩阵对所述待识别车牌图像进行矫正。在一些实施例中，当对待识别车牌图像进行矫正时，则将矫正后的图像作为待识别车牌图像，进行图像去噪。

参照图6，给出了本发明实施例中的一种图像去噪的流程图。图像去噪方法可以包括如下步骤S61至步骤S65：

步骤S61，对所述待识别车牌图像进行图像特征增强，得到图像特征增强后的图像。

在本发明实施例中，可以基于卷积神经网络实现对图像的去噪。具体而言，可以将所述待识别车牌图像经一个卷经层进行卷积，并经过一个BN层处理，得到所述图像特征增强后的图像。也即用于图像去噪的去噪模块可以基于卷积神经网络得到。例如，去噪模块可以采用卷积核为3×3的卷积层以及BN层，以实现去噪模块的轻量化。待识别车牌图像经卷积核为3×3的卷积层以及BN层之后，可以得到图像特征增强后的图像。

步骤S62，基于所述图像增强后的图像进行非线性处理，得到非线性处理之后的特征图。

为了提高去噪效果，在本发明实施例中，将所述待识别车牌图像与所述图像特征增强后的图像进行图像融合，得到融合后的图像。对所述融合后的图像进行非线性处理，得到非线性处理之后的特征图。通过将待识别车牌图像与所述图像特征增强后的图像进行图像融合，基于融合后的图像进行后续胡处理，以提高去噪模块的噪声表示能力，提高噪声特征提取效果。

在具体实施中，采用Tanh激活函数对所述融合后的图像进行非线性处理。可以提高非线性处理效率的同时，兼顾去噪模块的轻量化。

步骤S63，对所述非线性处理之后的特征图进行卷积操作，得到权重矩阵。

在具体实施中，去噪模块可以将非线性处理之后的特征图进行卷积将获取的特征压缩为权重矩阵(也可称为向量)，其中卷积的卷积核为1×1。

步骤S64，采用所述权重矩阵对所述待识别车牌图像进行加权，得到噪声特征图。

将得到的权重矩阵与待识别车牌图像进行加权，也即将权重矩阵与待识别车牌图像相乘，得到噪声特征图。

步骤S65，根据所述噪声特征图与所述待识别车牌图像，得到去噪处理后的特征图，将所述去噪处理后的特征图作为所述待识别车牌图像。

在本发明实施例中，可以将噪声特征图与所述待识别车牌图像相减，得到去噪处理后的特征图。

为了便于本领域技术人员更好的理解和实现本发明实施例，下面分别对上述实施例中的车牌识别方法中所采用的车牌矫正网络、字符分割网络以及车牌识别网络的训练过程进行说明。

首先获取车牌区域样本，通过每个车牌区域样本图片中车牌的四个角点的坐标信息使用透视变换方法进行矫正，获得的车牌图片作为车牌区域样本标签。

构建车牌矫正网络STN，STN网络由两个3x3卷积层，1个全连接层组成，通过训练学习得到空间变换矩阵，空间变换矩阵在车牌识别时对待识别车牌图像进行矫正。

具体而言，使用车牌区域样本和车牌样本标签训练车牌矫正网络，使用矫正后车牌样本与加噪的车牌样本训练去噪模块。其中，去噪模块的训练过程中去噪处理可以参考步骤S61至步骤S65中的描述。与实际车牌识别方法中使用的去噪方法不同的是，在去噪的训练过中，在步骤S65之后检验去噪处理后的特征图的效果，若是去噪处理后的特征图的效果不满时设定条件，在继续迭代训练，直至满足设定条件，完成去噪模块的训练。

在字符分割网络的训练过程中，每个车牌样本具有一个车牌字符标签图片。车牌字符标签图片将字母、字符、汉字分为三类。分别采用字符类型为字母、字符、汉字的车牌样本图片进行字符分割网络的训练。分割网络模型可以包括若干下采样模块和若干上采样模块。每个下采样模块包括数个残差网络，由两个卷积核为1x1的卷积层，一个卷积核为3x3的分组卷积层组成，并在每个卷积层加入BN层、Relu激活函数。每个上采样模块也有数个残差网络，在数个残差网络之前设置有插值模块。在数个残差网络之后设置有注意力机制模块。注意力机制模块可以使字符分割模型更关注有意义、重要的通道以提升字符分割准确率。其中，字符分割网络的训练过程可以参考上述实施例中步骤S121至步骤S124中的描述。与实际车牌识别过程不同的是，在字符分割模型的训练过程中，需要将得到所述若干字符图像与车牌字符标签图片进行比较，判断字符分割模型的输出结果是否满足要求，若是不满足则继续训练，直至得到的字符图像满足要求，得到字符分割模型。

在车牌识别网络的训练过程中，构建的车牌识别网络可以由分组卷积残差网络构成。分组卷积残差网络模块包括两个1x1卷积层以及一个3x3分组卷积层，并在每个卷积层加入BN层、Relu激活函数。分组卷积使网络更轻量化，加快了网络推理速度。使用字符样本图片和字符标签训练车牌识别网络，得到三组权重参数。采用汉字样本图片与汉字标签训练车牌识别网络，得到汉字对应的权重参数。采用字母样本图片与汉字标签训练车牌识别网络，得到数字对应的权重参数。采用数字样本图片与汉字标签训练车牌识别网络，得到数字对应的权重参数。以使得在实际应用中，可以根据输入为汉字、字符、字母的不同，选择对应的权重参数，增强各种字符的识别准确率。

本发明实施例还提供一种车牌识别装置，参照图7，给出了本发明实施例中的一种车牌识别装置70的结构示意图，车牌识别装置70可以包括：

获取单元71，用于获取待识别车牌图像；

字符分割单元72，用于将所述待识别车牌图像输入字符分割网络进行字符分割，得到若干字符图像，每一字符图像均具有对应的字符标签，所述字符分割网络是预先训练得到的；

车牌识别单元73，用于将所述若干字符图像输入车牌识别网络，根据各字符图像的字符标签选择权重参数，并采用所选择的权重参数对字符图像进行识别，根据每一字符图像的识别结果，得到所述车牌图像对应的车牌号，其中，所述车牌识别网络是预先训练得到的，包括多组权重参数，每组权重参数分别与字符标签一一对应。

在具体实施中，车牌识别装置70的具体工作流程及原理可以参考本发明上述任一实施例中提供的车牌识别方法的描述，此处不再赘述。

本发明实施例还提供一种存储介质，所述存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行本发明上述任一实施例中提供的车牌识别方法的步骤。

本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行本发明上述任一实施例中提供的车牌识别方法的步骤

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于任一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (16)

1.一种车牌识别方法，其特征在于，包括：

获取待识别车牌图像；

将所述待识别车牌图像输入字符分割网络进行字符分割，得到若干字符图像，每一字符图像均具有对应的字符标签，所述字符分割网络是预先训练得到的；

将所述若干字符图像输入车牌识别网络，根据各字符图像的字符标签选择权重参数，并采用所选择的权重参数对字符图像进行识别，其中，所述车牌识别网络是预先训练得到的，包括多组权重参数，每组权重参数分别与字符标签一一对应；

根据每一字符图像的识别结果，得到所述车牌图像对应的车牌号；

其中：所述将所述待识别车牌图像输入至字符分割网络进行字符分割，得到若干字符图像，包括：

对所述待识别车牌图像进行下采样，得到第一特征图；

对所述第一特征图进行上采样，得到第二特征图，其中，至少在其中一次上采样时增加注意力机制，所述第二特征图与所述第一特征图的尺度相同；

根据所述第二特征图，预测每一字符的位置以及字符的字符标签；

根据预测的每一字符的位置，对所述待识别车牌图像进行字符分割，得到所述若干字符图像；

所述对所述第一特征图进行上采样，得到第二特征图，包括：

分别采用多个串联的上采样模块对所述第一特征图进行多次上采样，得到所述第二特征图，多个上采样模块用于接收所述第一特征图或者上一级上采样模块输出的上采样特征图，对最后一个上采样模块输出的上采样特征图进行通道变换处理，得到所述第二特征图，所述第二特征图的通道数目与所述字符标签的总类别数目相关；

其中，至少一个上采样模块包括注意力机制模块，所述注意力机制模块，用于对输入的特征图的通道进行加权处理，将加权处理之后的特征图作为上采样特征图；

所述注意力机制模块，用于对所述输入的特征图分别进行全局平均池化处理和最大池化处理，得到全局平均池化处理后的特征图以及最大池化处理后的特征图；

分别将所述全局平均池化处理后的特征图以及所述最大池化处理后的特征图进行卷积，得到两个卷积处理后的特征图；

根据所述两个卷积处理后的特征图，采用Sigmoid激活函数确定各通道权重，采用所述各通道权重对所述输入的特征图进行加权处理，得到所述上采样特征图；

所述上采样模块包括：

插值单元，用于对输入的特征图进行插值处理，得到插值处理后的特征图，其中，所述输入的特征图为所述第一特征图或者上一级上采样模块输出的上采样特征图；

多个串联的第二残差网络，用于接收待上采样的特征图或者上一级第二残差网络输出的处理后的特征图，所述待上采样的特征图为所述插值单元输出的插值处理后的特征图，每个第二残差网络包括：一个或多个卷积层，以及一个或多个分组卷积层。

2.如权利要求1所述的车牌识别方法，其特征在于，还包括：对于每次上采样时，将所述多个串联的第二残差网络输出的特征图与相同尺度的下采样特征图进行融合，将融合后的特征图作为所述注意力机制模块的输入。

3.如权利要求1所述的车牌识别方法，其特征在于，所述插值单元，用于采用双线性插值方法对所述输入的特征图进行插值处理。

4.如权利要求1所述的车牌识别方法，其特征在于，每个第二残差网络中除第一个卷积层之外的其他卷积层均具有BN层且采用的激活函数为Relu激活函数。

5.如权利要求1所述的车牌识别方法，其特征在于，所述字符分割网络包括多个串联的下采样模块，所述下采样模块用于对所述待识别车牌图像进行下采样，得到第一特征图，每个下采样模块包括多个串联的第一残差网络，其中：

多个串联的第一残差网络，用于接收待下采样的特征图或者上一级第一残差网络输出的处理后的特征图，所述待下采样的特征图为所述待识别车牌图像或者上一级下采样模块输出的下采样特征图，每个残差网络包括一个或多个卷积层，以及一个或多个分组卷积层。

6.如权利要求5所述的车牌识别方法，其特征在于，每个第一残差网络中除第一个卷积层之外的其他卷积层均具有BN层且采用的激活函数为Relu激活函数。

7.如权利要求1至6任一项所述的车牌识别方法，其特征在于，还包括：

在获取到待识别车牌图像之后，对所述待识别车牌图像进行矫正。

8.如权利要求7所述的车牌识别方法，其特征在于，所述对所述待识别车牌图像进行矫正，包括：

采用空间变换矩阵对所述待识别车牌图像进行矫正。

9.如权利要求1至6任一项所述的车牌识别方法，其特征在于，还包括：

在获取到待识别车牌图像之后，对所述待识别车牌图像进行去噪。

10.如权利要求9所述的车牌识别方法，其特征在于，所述对所述待识别车牌图像进行去噪，包括：

对所述待识别车牌图像进行图像特征增强，得到图像特征增强后的图像；基于所述图像特征增强后的图像进行非线性处理，得到非线性处理之后的特征图；

对所述非线性处理之后的特征图进行卷积操作，得到权重矩阵；

采用所述权重矩阵对所述待识别车牌图像进行加权，得到噪声特征图；

根据所述噪声特征图与所述待识别车牌图像，得到去噪处理后的特征图，将所述去噪处理后的特征图作为所述待识别车牌图像。

11.如权利要求10所述的车牌识别方法，其特征在于，所述基于所述图像特征增强后的图像进行非线性处理，得到非线性处理之后的特征图，包括：

将所述待识别车牌图像与所述图像特征增强后的图像进行图像融合，得到融合后的图像；

对所述融合后的图像进行非线性处理，得到非线性处理之后的特征图。

12.如权利要求11所述的车牌识别方法，其特征在于，采用Tanh激活函数对所述融合后的图像进行非线性处理。

13.如权利要求10所述的车牌识别方法，其特征在于，所述对所述待识别车牌图像进行图像特征增强，包括：

将所述待识别车牌图像经一个卷经层进行卷积，并经过一个BN层处理，得到所述图像特征增强后的图像。

14.一种车牌识别装置，其特征在于，包括：

获取单元，用于获取待识别车牌图像；

字符分割单元，用于将所述待识别车牌图像输入字符分割网络进行字符分割，得到若干字符图像，每一字符图像均具有对应的字符标签，所述字符分割网络是预先训练得到的；

车牌识别单元，用于将所述若干字符图像输入车牌识别网络，根据各字符图像的字符标签选择权重参数，并采用所选择的权重参数对字符图像进行识别，根据每一字符图像的识别结果，得到所述车牌图像对应的车牌号，其中，所述车牌识别网络是预先训练得到的，包括多组权重参数，每组权重参数分别与字符标签一一对应；

所述字符分割单元，用于对所述待识别车牌图像进行下采样，得到第一特征图；对所述第一特征图进行上采样，得到第二特征图，其中，至少在其中一次上采样时增加注意力机制，所述第二特征图与所述第一特征图的尺度相同；根据所述第二特征图，预测每一字符的位置以及字符的字符标签；根据预测的每一字符的位置，对所述待识别车牌图像进行字符分割，得到所述若干字符图像；所述对所述第一特征图进行上采样，得到第二特征图，包括：分别采用多个串联的上采样模块对所述第一特征图进行多次上采样，得到所述第二特征图，多个上采样模块用于接收所述第一特征图或者上一级上采样模块输出的上采样特征图，对最后一个上采样模块输出的上采样特征图进行通道变换处理，得到所述第二特征图，所述第二特征图的通道数目与所述字符标签的总类别数目相关；其中，至少一个上采样模块包括注意力机制模块，所述注意力机制模块，用于对输入的特征图的通道进行加权处理，将加权处理之后的特征图作为上采样特征图；所述注意力机制模块，用于对所述输入的特征图分别进行全局平均池化处理和最大池化处理，得到全局平均池化处理后的特征图以及最大池化处理后的特征图；分别将所述全局平均池化处理后的特征图以及所述最大池化处理后的特征图进行卷积，得到两个卷积处理后的特征图；根据所述两个卷积处理后的特征图，采用Sigmoid激活函数确定各通道权重，采用所述各通道权重对所述输入的特征图进行加权处理，得到所述上采样特征图；所述上采样模块包括：插值单元，用于对输入的特征图进行插值处理，得到插值处理后的特征图，其中，所述输入的特征图为所述第一特征图或者上一级上采样模块输出的上采样特征图；多个串联的第二残差网络，用于接收待上采样的特征图或者上一级第二残差网络输出的处理后的特征图，所述待上采样的特征图为所述插值单元输出的插值处理后的特征图，每个第二残差网络包括：一个或多个卷积层，以及一个或多个分组卷积层。

15.一种存储介质，所述存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至13任一项所述的车牌识别方法的步骤。

16.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至13中任一项所述的车牌识别方法的步骤。

Images