CN111191663B - 车牌号码识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种车牌号码识别方法、装置、电子设备及存储介质，所述方法包括：将待识别图像输入到预设的特征编码空间进行矫正及编码，得到具有多个通道的特征图像，所述待识别图像包括车牌信息，所述特征图像包括与所述多个通道对应的多个特征区域，所述通道具有时序属性；将所述特征图像按所述时序属性输入到预设的特征解码空间，并通过注意力机制将所述通道对应的特征区域按所述时序属性进行解码；按所述时序属性输出解码结果，得到所述待识别图像的识别结果。可以避免多个步骤的错误累加，提高车牌号码识别的鲁棒性；而且整个识别过程只经过编码空间与解码空间，可以实现端对端的车牌号码识别。

Description

车牌号码识别方法、装置、电子设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种人车牌号码识别方法、装置、电子设备及存储介质。

背景技术

图像识别是当前交通、小区或停车场管理常用的技术之一，例如：使用基于图像识别的车牌号码识别，识别到车辆的车牌号码。目前传统车牌号码识别一般被分为多个独立的步骤，比如：1.图像归一化：把车牌图片通过计算机视觉方法(如单应性矩阵homography等)编程“正式图”。2.图像预处理：在这里对于图像的遮挡，污垢，光照等情况进行处理(如二值分布binarized等)3.字符分割：通过计算机视觉方法进行字符分割(如边缘检测edgedetection等)4.字符识别：对分割好的字符进行识别(如随机森林random forest，支持向量机svm，逻辑回归logistic regression等机器学习或深度学习方法)。这样导致了每个步骤中出现的错误可能会累加，从而造成最终识别效果不佳，也不容易定位问题出现在哪一步。而且传统车牌识别对于输入图片的要求相对来说比较高，有严格的角度以及清晰度要求。传统车牌识别的种种限制导致在安装摄像头，监控场景有着严格要求，并且识别率容易受到天气，光照等影响。因此，传统车牌识别容易受到多种因素的影响导致识别效果不佳，存在鲁棒性差的问题。

发明内容

本发明实施例提供一种车牌号码识别方法，能够提高车牌号码识别的鲁棒性。

第一方面，本发明实施例提供一种车牌号码识别方法，包括：

将待识别图像输入到预设的特征编码空间进行矫正及编码，得到具有多个通道的特征图像，所述待识别图像包括车牌信息，所述特征图像包括与所述多个通道对应的多个特征区域，所述通道具有时序属性；

将所述特征图像按所述时序属性输入到预设的特征解码空间，在所述特征解码空间中通过注意力机制将所述特征图像中的特征区域按所述时序属性依次进行解码；

按所述时序属性输出解码结果，得到所述待识别图像的识别结果。

可选的，所述预设的特征编码空间包括预先训练好的空间变换网络以及预先训练好的编码网络，所述将待识别图像输入到预设的特征编码空间进行矫正及编码，编码得到具有多个通道的特征图像，包括：

在所述预先训练好的空间变换网络中对所述待识别图像进行矫正预测，并根据预测结果矫正所述待识别图像，得到矫正后图像；

将所述矫正后图像输入到所述预先训练好的编码网络，通过所述编码网络中的多个卷积核对所述矫正后图像进行卷积计算，得到具有多个通道的特征图像，其中，所述通道的数量与所述卷积核的数量相同，所述通道的时序属性与所述卷积核计算的先后顺序相关联。

可选的，所述预设的特征解码空间包括预先训练好的注意力机制以及预先训练好的长短时记忆网络，所述将所述特征图像按所述时序属性输入到预设的特征解码空间，并通过注意力机制将所述通道对应的特征区域按所述时序属性进行解码，包括：

在将所述特征图像按所述时序属性输入到特征解码空间时，向所述预先训练好的注意力机制上报各个通道的时序属性；

通过所述预先训练好的注意力机制将所述通道对应的特征区域按所述时序属性进行排序，并按所述排序通知所述预先训练好的长短时记忆网络依次解码对应于所述排序的特征区域。

可选的，所述按所述排序通知所述预设训练好的长短时记忆网络依次解码对应于所述排序的特征区域，包括：

通过所述预先训练好的注意力机制按所述排序输出第一注意参数，通过所述第一注意参数通知所述预先训练好的长短时记忆网络对第一特征区域进行解码；

在对所述第一特征区域进行解码时，所述预先训练好的注意力机制按所述排序输出第二注意参数，所述第二注意参数包括第二特征区域的位置；

在对所述第一特征区域解码完成后，所述所述预先训练好的长短时记忆网络对所述第二特征区域进行解码；

直到依次完成所有特征区域的解码。

可选的，所述在对第一特征区域解码完成后，所述所述预先训练好的长短时记忆网络对第二特征区域进行解码，包括：

在对所述第一特征区域完成解码后，将所述第一特征区域的解码特征与第二特征区域作为输入，输入到所述预先训练好的长短时记忆网络中进行解码。

可选的，在所述将待识别图像输入到预设的特征编码空间进行矫正及编码，得到具有多个通道的特征图像之后，所述方法还包括：

将所述特征图像进行上采样，以使所述特征图像的尺寸与所述待识别图像的尺寸相同；

根据所述特征图像的通道，对上采样后的特征图像进行像素点预测，预测所述上采样后的特征图像中每个像素点所属的特征区域；

根据所述通道的时序属性，对所述上采样后的特征图像中每个像素点所属的特征区域进行标注，以使所述上采样后的特征图像中每个像素点所属的特征区域具有时序属性，得到标注特征图像；

所述将所述特征图像按所述时序属性输入到预设的特征解码空间，并通过注意力机制将所述通道对应的特征区域按所述时序属性进行解码，包括：

将所述标注特征图像按所述时序属性输入到预设的特征解码空间，并通过注意力机制将所述特征区域按所述时序属性在所述特征解码空间中进行解码。

第二方面，本发明实施例提供一种车牌号码识别装置，包括：

编码模块，用于将待识别图像输入到预设的特征编码空间进行矫正及编码，得到具有多个通道的特征图像，所述待识别图像包括车牌信息，所述特征图像包括与所述多个通道对应的多个特征区域，所述通道具有时序属性；

解码模块，用于将所述特征图像按所述时序属性输入到预设的特征解码空间，在所述特征解码空间中通过注意力机制将所述特征图像中的特征区域按所述时序属性依次进行解码；

输出模块，用于按所述时序属性输出解码结果，得到所述待识别图像的识别结果。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的车牌号码识别方法中的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的车牌号码识别方法中的步骤。

本发明实施例中，将待识别图像输入到预设的特征编码空间进行矫正及编码，得到具有多个通道的特征图像，所述待识别图像包括车牌信息，所述特征图像包括与所述多个通道对应的多个特征区域，所述通道具有时序属性；将所述特征图像按所述时序属性输入到预设的特征解码空间，并通过注意力机制将所述通道对应的特征区域按所述时序属性进行解码；按所述时序属性输出解码结果，得到所述待识别图像的识别结果。在特征编码空间内对车牌号码的待识别图像进行矫正及特征编码，在特征解码空间中按时序进行对特征区域进行解码，避免了多个步骤的错误累加，提高了车牌号码识别的鲁棒性；而且整个识别过程只经过编码空间与解码空间，可以实现端对端的车牌号码识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种车牌号码识别方法的流程图；

图2是本发明实施例提供的另一种车牌号码识别方法的流程图；

图3是本发明实施例提供的另一种车牌号码识别方法的流程图；

图4是本发明实施例提供的一种车牌号码识别装置的结构示意图；

图5是本发明实施例提供的另一种车牌号码识别装置的结构示意图；

图6是本发明实施例提供的另一种车牌号码识别装置的结构示意图；

图7是本发明实施例提供的另一种车牌号码识别装置的结构示意图；

图8是本发明实施例提供的另一种车牌号码识别装置的结构示意图；

图9是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1是本发明实施例提供的一种车牌号码识别方法的流程图，如图1所示，包括以下步骤：

101、将待识别图像输入到预设的特征编码空间进行矫正及编码，得到具有多个通道的特征图像。

其中，上述的待识别图像包括车牌信息，上述的特征图像包括与多个通道对应的多个特征区域，上述的通道具有时序属性。

上述的待识别图像可以是通过用户上传的车辆车牌的静态图像或动态视频的图像帧，也可以是通过部署在交通道路上、小区出入口、停车场出入口的摄像头获取到的车辆车牌的静态图像或动态视频的图像帧。

上述的待识别图像中的车牌信息可以是一个或者多个，即一张待识别图像中有一个或多个待识别的车牌号码。

上述的特征编码空间可以是全卷积网络空间，上述的全卷积网络空间可以通过卷积计算，预测待识别图像的矫正参数，根据预测得到的矫正参数对待识别图像进行矫正。上述的全卷积网络空间可以通过卷积计算，预测车牌信息中各个字符所对应的特征区域。

上述的矫正可以理解为将待识别图像进行空间变换和对齐，可以包括对待识别图像的平移、缩放、旋转等。

上述的特征区域通过全卷积网络中的通道进行确定，上述的通道为卷积计算后输出得到的通道。具体来说，是通过通道的通道值进行确定。在全卷积网络中，通过卷积核对待识别图像进行卷积计算，提取出对应的特征，一个卷积核对应得到一个通道。比如，待识别车牌的参数(3，W，H)，其中，W，H车牌的高宽，3为待识别车牌的RGB三色通道，在通过一个卷积核分别对RGB三通道进行卷积计算后，输出时得到的是RGB三通道对应通道值加和之后的通道，比如，通过一个卷积核分别对RGB三通道进行卷积计算后，分别得到(R1，R2，R3，……，Rn),(G1，G2，G3，……，Gn),(B1，B2，B3，……，Bn)，则加和之后的通道为(R1+G1+B1，R2+G2+B2，R3+G3+B3，……，Rn+Gn+Bn)，所以可以认为一个卷积核对应得到一个通道。根据同一特征点上的不同的通道值，确定不同的特征区域，比如，在同一特征点上，通道值最大表示该特征点属于该通道对应的特征区域。以车牌为例进一步说明，普通汽车车牌由7个字符组成，在卷积过程中，需要将这7个字符进行分割，每个字符成为一个特征区域，也对应一个通道，也可以称为字符区域，在对车牌图像做完卷积后，每个字符区域会对应被一个通道中所表征。不同的通道表征不同的字符区域，一个特征点所属字符区域为该特征处通道值最大的通道所对应的字符区域。

因此，可以通过遍历各个特征点的最大通道值，确定各个特征点所对应的特征区域。由于车牌号码是由多个字符进行组合的，在特征编码空间进行特征编码后，输出的特征图像需要对应有多个字符所在的特征区域，故特征编码空间的输出为对应于字符数量的多个通道的特征图像。上述的多个通道具有时序属性，该时序属性为编码过程中，卷积核的卷积计算顺序决定，比如，第一个卷积核进行卷积计算后，得到第一个通道，第二个卷积核进行计算后，得到第二个通道，可以看出由于卷积核的计算顺序，使得通道具有时序属性。

应该理解，在特征编码空间中，对待识别图像进行特征编码是一个对待识别图像的特征提取过程；对待识别图像的矫正是一个预测矫正，矫正的效果与训练数据的完善程度成正相关，在对车牌号码识别前，无需复杂的图像预处理步骤，直接输入待识别图像即可。

102、将特征图像按所述时序属性输入到预设的特征解码空间，在特征解码空间中通过注意力机制将特征图像中的特征区域按时序属性依次进行解码。

在该步骤中，特征图像为步骤101中经过特征编码空间编码得到的特征图像，该特征图像包括与车牌字符数量对应的通道，每个通道对应不同的特征区域，也可以理解为每个通道对应不同的字符区域。可以理解的是，将特征图像按时序属性输入到预设的特征解码空间指的是将特征图像对应的多个通道按时序属性输入到特征解码空间。

特征解码空间依次对各个通道对应的特征区域进行解码，以解码得到对应特征区域所表征的字符。

上述的各个通道的时序属性由注意力机制进行维护，在特征图像输入到特征解码空间后，由于输入时，特征图像的通道具有时序属性，该注意力机制会将特征图像的通道时序进行排序，并输出排序对应的注意力参数，使得各个通道按时序属性进行解码。

上述的特征解码空间可以是基于时序的神经网络，比如循环神经网络(英文：Recurrent Neural Network，简称：CNN)、长短时记忆网络(英文：Long-Short Term MemoryCells，简称：LSTM)。上述的基于时序的神经网络可以根据前一个字符与后一个字符的联系进行预测，比如，根据相关车牌号码的规范，在汽车车牌“浙J·L9098”中，在前一个字符为汉字“浙”时，后一个字符为字母的概率为100％，即前一个字符为汉字类别的情况下，在对后一个字符进行解码时，可以不用考虑后一个字符为汉字或数字类别，只在24字母的类别中进行解码。相当于后面的字符依赖于前面的字符进行解码。

需要说明的是，在进行解码时，解码得到的字符与车牌号码的结构组成相关，以国内常用的民用车牌为例，车牌包括三个部分，第一部分为省、自治区、直辖市简称，第二部分为发牌机构代号，第三部分为序号。在汽车车牌“浙J·L9098”中，第一部分为“浙”，第二部分为“J”，第三部分为“L9098”。根据国内的行政划分，第一部分为省、自治区、直辖市简称字符，有31个对应的汉字字符，第二个字符是发牌机构代号字符，使用大写字母对应的字符进行表示，有24个对应的大写字母字符(由于大写字母中I、O易与数字1、0混淆，所以在车牌号码编制中不纳入字母字符，所以为24个)，数字为0－9共10个字符，所以总共为65个字符可供解码。在传统解码中，由于没有基于时序进行解码，不考虑前一个解码结果，使得车牌上每个字符都要从这65个字符中进行解码。而基于时序进行解码，则第一个字符解码只需要在31个汉字字符中进行解码，第二个字符只需要在24个字母字符中进行解码，剩余的字符依次只需要在字母字符和数字字符共34个字符中进行解码即可。

当然，上述只是以一种常用的民用车牌为例，不应视为是对本发明的限制，还可以有其他不同的用途的车牌具有不同的车牌号码结构，比如警车车牌、教练车牌、出入境车牌、使馆车牌、军车车牌、武警车牌、民航车牌、挂车车牌、农用车牌、个性车牌等具有不同的车牌号码结构。

上述的注意力机制可以是通道注意力模块(英文：Attention RefinmentModule，简称：ARM)。上述的通道注意力模块可以为各通道对应的特征区域分配对应的注意力参数，上述的注意力参数为对应特征区域所在通道中的位置。比如，“浙”字符所对应的特征区域所在通道上的各个特征点的通道值均大于其他通道的值，此时，将“浙”字符所对应的特征区域的位置作为注意力参数，在开始解码时，根据该注意力参数通知特征解码空间对该位置进行解码。

上述的注意力机制也可以是直接针对特征区域在特征图像的二维空间位置的注意力机制，根据特征图像的高宽，计算得到各个字符对应的特征区域在特征图像中的二维空间位置，注意力机制为各个字符对应的特征区域的二维空间位置按从上到下，从左到右的顺序分配对应的注意力参数。在开始解码时，根据该注意力参数通知特征解码空间依次对特征区域进行解码。

103、按时序属性输出解码结果，得到待识别图像的识别结果。

上述的解码结果为待识别图像中的车牌信息对应的字符，由于在特征解码空间中，是按时序属性进行解码，因此，所得到的解码字符也是具有时序属性的，将得到的解码字符按时序属性进行输出，满足对车牌号码的字符排序。

本发明实施例中，将待识别图像输入到预设的特征编码空间进行矫正及编码，得到具有多个通道的特征图像，所述待识别图像包括车牌信息，所述特征图像包括与所述多个通道对应的多个特征区域，所述通道具有时序属性；将所述特征图像按所述时序属性输入到预设的特征解码空间，并通过注意力机制将所述通道对应的特征区域按所述时序属性进行解码；按所述时序属性输出解码结果，得到所述待识别图像的识别结果。在特征编码空间内对车牌号码的待识别图像进行矫正及特征编码，在特征解码空间中按时序进行对特征区域进行解码，避免了多个步骤的错误累加，提高了车牌号码识别的鲁棒性；而且整个识别过程只经过编码空间与解码空间，可以实现端对端的车牌号码识别。

需要说明的是，本发明实施例提供的车牌号码识别方法可以应用于需要对车牌号码进行识别的手机、监控器、计算机、服务器等设备。

可选的，请参见图2，图2是本发明实施例提供的另一种车牌号码识别方法的流程图，与图1实施例的区别在于：预设的特征编码空间包括预先训练好的空间变换网络以及预先训练好的编码网络，预设的特征解码空间包括预先训练好的注意力机制以及预先训练好的长短时记忆网络，如图2所示，包括以下步骤：

201、在预先训练好的空间变换网络中对所述待识别图像进行矫正预测，并根据预测结果矫正所述待识别图像，得到矫正后图像。

在该步骤中，上述的预先训练好的空间变换网络可以是STN(Spatial TransformNetwork)空间变换网络。上述的空间变换网络与编码网络可以组成全卷积神经网络，使得特征编码空间为一个全卷积神经网络。

上述的空间变换网络可以是设置在编码网络之前，这样，可以将待识别图像经过空间变换网络变换成符合编码网络的图像要求，可以理解为将任意输入图像变换为编码网络的期望输入图像。

在空间变换网络中，通过计算空间变换的参数，该参数根据待识别图像变换的形式不同而不同，比如，实现2D仿射变换时，该参数就是一个6维(2x3)向量的输出。在计算得到空间变换的参数后，根据该参数生成对应的空间变换函数，根据该变换函数，将待识别图像变换为编码网络所期望的图像。

具体的，在STN空间变换网络中，通过三个部分对待识别图像进行处理，分别为Localisation net(定位网络),Grid generator(网格生成)和Sample(采样输出)三个部分。其中，Localisation net决定输入所需变换的参数θ,Grid generator通过θ和定义的变换方式寻找输出与输入特征的映射T(θ),Sample结合位置映射和变换参数对输入特征进行选择并结合双线性插值采样进行输出，以使待识别图像变换为编码网络所期望的图像。由于在Localisation net中，需要经过若干卷积或全链接操作后连接一个回归层以回归输出变换参数θ，该参数θ是一个回归预测的参数，所以STN空间变换网络是一个可以进行训练的空间变换网络，因此，STN空间变换网络能够通过训练自适应的学到对于不同数据的空间变换方式。而且，STN空间变换网络不仅可以对输入进行空间变换,同样可以作为网络模块插入到编码网络的任意层中实现对不同特征图像的空间变换，最终使得编码网络可以学习对平移、尺度变换、旋转和更多常见的扭曲的不变性，提高编码网络的特征编码鲁棒性。

202、将矫正后图像输入到预先训练好的编码网络，通过编码网络中的多个卷积核对矫正后图像进行卷积计算，得到具有多个通道的特征图像。

其中，上述的通道的数量与卷积核的数量相同，上述的通道的时序属性与卷积核计算的先后顺序相关联。

上述的矫正后的图像为特征编码空间中空间变换网络进行矫正后的待识别图像。

上述的预先训练好的编码网络可以是卷积神经网络，用于提取车牌信息中各个字符所在的特征区域。

在一种可能的实施例中，上述的编码网络具有多层计算层，每两个计算层间可以设置空间转换网络，以将上一计算层计算得到的通道进行空间转换，从而满足下一计算层的输入期望，即对每层计算层的输入都进行矫正，降低错误累加的程度，从而提高识别准确度。

上述的编码网络为根据字符图像作为数据集进行训练得到的编码网络。上述的数据集可以根据31个汉字字符、24个字母字符、10个数字字符，总共65个字符组成，每个字符对应多个不同情况下的图像。通过数据集对编码网络进行训练，可以使该编码网络学习到对字符所属特征区域进行编码，从而编码得到字符所在的特征区域。具体来说，是训练得到编码网络中的卷积核所对应的权重参数，以使编码网络在对待识别图像进行卷积计算时，通过对应的卷积核，卷积计算得到对应的通道，该通道对应于字符所属的特征区域。

可选的，在一种可能的实施例中，编码网络可以是全卷积神经网络，全卷积网络可以接受任意尺寸的输入图像，即不用对待识别图像的尺寸进行处理，全卷积网络采用反卷积计算层对最后一个卷积层的特征图像进行上采样，使该特征图像的尺寸与输入图像的尺寸相同，从而可以对每个像素都产生一个预测，同时保留了原始输入图像中的空间信息。因此，编码网络为全卷积神经网络时，输出的特征图像为与待识别图像具有相同空间信息的特征图像，即提取到的各个特征区域的位置信息可以在待识别图像的空间信息中以像素点分布位置进行表征，可以在上采样后的特征图像上对像素点进行遍历分类。当然，上述的遍历分类是基于特征图像的通道来进行分类的，各个像素点所属分类对应于通道值最高的通道，进而对应于该通道值最高的通道所对应的特征区域。

另外，在对最后一个卷积层的特征图像进行上采样时，可以将各通道对应的特征区域进行标注，以使上采样后的特征图像上各个像素点都对应有通道的标注，相当于对上采样后的特征图像中的特征区域进行标注，使得特征区域具有时序属性。在该情况下，可以不保留对应的通道，上述的注意力机制将会针对上采样后的特征图像中的特征区域及对应的标注进行提示，以使特征区域按所述时序属性在所述特征解码空间中进行解码。

203、在将特征图像按时序属性输入到特征解码空间时，向预先训练好的注意力机制上报各个通道的时序属性。

204、通过预先训练好的注意力机制将通道对应的特征区域按时序属性进行排序，并按排序通知预先训练好的长短时记忆网络依次解码对应于排序的特征区域。

上述步骤203、204中，注意力机制根据通道的时序属性，得到通道序列a，注意力机制计算出当前时刻t每个通道a_i的权重a_t,i，可以通过公式进行计算：

e_ti＝f_aat(a_i,h_t-1)

其中，式中的f_aat为注意力感知函数，a_i为当前输入向量，h_t-1为上个时刻的解码状态，L为通道数量。

根据输入通道的时序和对应的权重输出一个通道，可以通过

输出一个通道，将该通道输入到长短时记忆网络进行解码。

上述的长短时记忆网络在解码当前通道对应的特征区域时，会根据注意力机制的输出来获取下一个待解码的特征区域所在位置。

具体的，通过预先训练好的注意力机制按排序输出第一注意参数，通过所述第一注意参数通知所述预先训练好的长短时记忆网络对第一特征区域进行解码。在对第一特征区域进行解码时，预先训练好的注意力机制按所述排序输出第二注意参数，第二注意参数包括第二特征区域的位置；在对第一特征区域解码完成后，通过第二注意参数通知预先训练好的长短时记忆网络去注意第二特征区域所在的位置，从而使该预先训练好的长短时记忆网络对该第二特征区域进行解码；进一步的，在对第一特征区域完成解码后，根据第二注意参数，将第一特征区域的解码特征与第二特征区域作为输入，输入到预先训练好的长短时记忆网络中进行解码；循环解码直到依次完成所有特征区域的解码。

需要说明的是，由于空间变换网络以及编码网络部署在特征编码空间，注意力机制以及长短时记忆网络部署在特征解码空间，可以实现端对端的训练，即可以通过一个数据集对特征编码空间以及特征解码空间进行训练。因此，在待识别图像输入到特征解码空间前，可以不用再进行图像的预处理。

205、按时序属性输出解码结果，得到待识别图像的识别结果。

上述的解码结果为待识别图像中的车牌信息对应的字符，由于在特征解码空间中，是按时序属性进行解码，因此，所得到的解码字符也是具有时序属性的，将得到的解码字符按时序属性进行输出，满足对车牌号码的字符排序。

在本发明实施例中，通过特征编码空间中的空间变换网络对车牌号码的待识别图像进行矫正后，通过编码网络对矫正待识别图像进行特征编码，在特征解码空间中按时序进行对特征区域进行解码，是一个端对端的解码形式，避免了图像预处理中多个步骤的错误累加，提高了车牌号码识别的鲁棒性；而且整个训练过程和识别过程只经过编码空间与解码空间，可以实现端对端的车牌号码识别。

如图3所示，图3是本发明实施例提供的另一种车牌号码识别方法的流程图，由编码器(Encoder)以及解码器(decoder)组成，其中编码器中部署了STN层对待识别图像进行矫正以及卷积神经网络进行特征提取，解码器为长短时记忆网络和注意力机制结合的架构。如图3所示，待识别的车牌图像信息为“浙J·L9098”，输入包括图像参数为色彩通道(3，RGB)、宽(W)、高(H)，在经过编码空间进行特征编码后，得到特征图像，在通道的时序属性中，特征图像中的通道对应特征区域分别为汉字字符对应的第一特征区域，字母字符对应的第二特征区域，字母/数字对应的第三特征区域至第七特征区域，特征图像输入到解码空间时，由注意力机制对各个通道对应的特征区域按时序属性进行排序，并对各个通道对应的特征区域进行提示，在h0时，注意力机制输出第一个注意力参数，第一个注意力参数由开始指令<start>+第一特征区域所在位置组成，在h1时，输入第一特征区域到解码器中的长短时记忆网络，在进行解码时，解码器中的长短时记忆网络会在31个汉字中解码出第一特征区域属于哪个汉字，解码结果为“浙”，此时，会将当前的解码状态进行保存，注意力机制输出第二个注意力参数，第二个注意力参数由上一解码状态+第二特征区域所在位置组成，在h2时，输入第一特征区域的解码状态与第二特征区域到解码器中的长短时记忆网络，在进行解码时，由于存在上一解码状态为汉字解码状态，在普通汽车车牌规则中，汉字后跟字母的概率为100％，解码器中的长短时记忆网络会在24个字母中解码出第二特征区域属于哪个字母，解码结果为“J”，此时，会将当前的解码状态进行保存，注意力机制输出第三个注意力参数，第三个注意力参数由上一解码状态+第三特征区域所在位置组成，在h3时，输入第二特征区域的解码状态以及第三特征区域到解码器中的长短时记忆网络，在进行解码时，由于存在上一解码状态为字母状态，在普通汽车车牌规则中，字母后跟汉字的概率为0％，解码器中的长短时记忆网络会在24个字母以及10个数字中解码出第三特征区域属于哪个字母或数字，解码结果为“L”，此时，会将当前的解码状态进行保存，注意力机制输出第四个注意力参数，直到长短时记忆网络输出<end>结束识别，则认为已经识别完毕，输出解码结果。

在本发明实施例中，由于编码器中部署了STN层对待识别图像进行矫正以及卷积神经网络进行特征提取，解码器为长短时记忆网络和注意力机制结合的架构，使得编码器+解码器具有深度神经网络的特征，可以使用深度学习的方法用数据驱动整个编码器+解码器模型的训练，训练的数据越完善，能够识别的场景就越多，提高了模型的鲁棒性。另外，由于编码器+解码器是一个端到端的模型，可以不用对图像进行预处理，提高了车牌号码的识别的速度，由于不存在预处理过程中的多个步骤，不会造成错误累加，提高了车牌号码的识别准确率。

需要说明的是，本发明实施例提供的车牌号码识别方法可以应用于需要进行车牌号码识别的手机、监控器、计算机、服务器等设备。

请参见图4，图4是本发明实施例提供的一种车牌号码识别装置的结构示意图，如图4所示，包括：

编码模块401，用于将待识别图像输入到预设的特征编码空间进行矫正及编码，得到具有多个通道的特征图像，所述待识别图像包括车牌信息，所述特征图像包括与所述多个通道对应的多个特征区域，所述通道具有时序属性；

解码模块402，用于将所述特征图像按所述时序属性输入到预设的特征解码空间，在所述特征解码空间中通过注意力机制将所述特征图像中的特征区域按所述时序属性依次进行解码；

输出模块403，用于按所述时序属性输出解码结果，得到所述待识别图像的识别结果。

可选的，如图5所示，所述预设的特征编码空间包括预先训练好的空间变换网络以及预先训练好的编码网络，所述编码模块401，包括：

矫正单元4011，用于在所述预先训练好的空间变换网络中对所述待识别图像进行矫正预测，并根据预测结果矫正所述待识别图像，得到矫正后图像；

编码单元4012，用于将所述矫正后图像输入到所述预先训练好的编码网络，通过所述编码网络中的多个卷积核对所述矫正后图像进行卷积计算，得到具有多个通道的特征图像，其中，所述通道的数量与所述卷积核的数量相同，所述通道的时序属性与所述卷积核计算的先后顺序相关联。

可选的，如图6所示，所述预设的特征解码空间包括预先训练好的注意力机制以及预先训练好的长短时记忆网络，所述解码模块402，包括：

注意力单元4021，用于在将所述特征图像按所述时序属性输入到特征解码空间时，向所述预先训练好的注意力机制上报各个通道的时序属性；

解码单元4022，用于通过所述预先训练好的注意力机制将所述通道对应的特征区域按所述时序属性进行排序，并按所述排序通知所述预先训练好的长短时记忆网络依次解码对应于所述排序的特征区域。

可选的，如图7所示，所述解码单元4022，包括：

第一解码子单元40221，用于通过所述预先训练好的注意力机制按所述排序输出第一注意参数，通过所述第一注意参数通知所述预先训练好的长短时记忆网络对第一特征区域进行解码；

输出子单元40222，用于在对所述第一特征区域进行解码时，所述预先训练好的注意力机制按所述排序输出第二注意参数，所述第二注意参数包括第二特征区域的位置；

第二解码子单元40223，用于在对所述第一特征区域解码完成后，通过所述第二注意参数通知所述预先训练好的长短时记忆网络对所述第二特征区域进行解码；

循环子单元40224，用于循环解码直到依次完成所有特征区域的解码。

可选的，如图7所示，所述第二解码子单元40223，还用于在对所述第一特征区域完成解码后，根据所述第二注意参数，将所述第一特征区域的解码特征与第二特征区域作为输入，输入到所述预先训练好的长短时记忆网络中进行解码。

可选的，如图8所示，所述装置还包括：

上采样模块404，用于将所述特征图像进行上采样，以使所述特征图像的尺寸与所述待识别图像的尺寸相同；

预测模块405，用于根据所述特征图像的通道，对上采样后的特征图像进行像素点预测，预测所述上采样后的特征图像中每个像素点所属的特征区域；

标注模块406，用于根据所述通道的时序属性，对所述上采样后的特征图像中每个像素点所属的特征区域进行标注，以使所述上采样后的特征图像中每个像素点所属的特征区域具有时序属性，得到标注特征图像；

所述解码模块402还用于将所述标注特征图像按所述时序属性输入到预设的特征解码空间，并通过注意力机制将所述特征区域按所述时序属性在所述特征解码空间中进行解码。

需要说明的是，本发明实施例提供的车牌号码识别装置可以应用于需要进行进行车牌号码识别的手机、监控器、计算机、服务器等设备。

本发明实施例提供的车牌号码识别装置能够实现上述方法实施例中车牌号码识别方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。

参见图9，图9是本发明实施例提供的一种电子设备的结构示意图，如图9所示，包括：存储器902、处理器901及存储在所述存储器902上并可在所述处理器901上运行的计算机程序，其中：

处理器901用于调用存储器902存储的计算机程序，执行如下步骤：

将待识别图像输入到预设的特征编码空间进行矫正及编码，得到具有多个通道的特征图像，所述待识别图像包括车牌信息，所述特征图像包括与所述多个通道对应的多个特征区域，所述通道具有时序属性；

将所述特征图像按所述时序属性输入到预设的特征解码空间，在所述特征解码空间中通过注意力机制将所述特征图像中的特征区域按所述时序属性依次进行解码；

按所述时序属性输出解码结果，得到所述待识别图像的识别结果。

可选的，所述预设的特征编码空间包括预先训练好的空间变换网络以及预先训练好的编码网络，所述处理器901执行的所述将待识别图像输入到预设的特征编码空间进行矫正及编码，编码得到具有多个通道的特征图像，包括：

在所述预先训练好的空间变换网络中对所述待识别图像进行矫正预测，并根据预测结果矫正所述待识别图像，得到矫正后图像；

将所述矫正后图像输入到所述预先训练好的编码网络，通过所述编码网络中的多个卷积核对所述矫正后图像进行卷积计算，得到具有多个通道的特征图像，其中，所述通道的数量与所述卷积核的数量相同，所述通道的时序属性与所述卷积核计算的先后顺序相关联。

可选的，所述预设的特征解码空间包括预先训练好的注意力机制以及预先训练好的长短时记忆网络，所述处理器901执行的所述将所述特征图像按所述时序属性输入到预设的特征解码空间，并通过注意力机制将所述通道对应的特征区域按所述时序属性进行解码，包括：

在将所述特征图像按所述时序属性输入到特征解码空间时，向所述预先训练好的注意力机制上报各个通道的时序属性；

通过所述预先训练好的注意力机制将所述通道对应的特征区域按所述时序属性进行排序，并按所述排序通知所述预先训练好的长短时记忆网络依次解码对应于所述排序的特征区域。

可选的，所述处理器901执行的所述按所述排序通知所述预设训练好的长短时记忆网络依次解码对应于所述排序的特征区域，包括：

通过所述预先训练好的注意力机制按所述排序输出第一注意参数，通过所述第一注意参数通知所述预先训练好的长短时记忆网络对第一特征区域进行解码；

在对所述第一特征区域进行解码时，所述预先训练好的注意力机制按所述排序输出第二注意参数，所述第二注意参数包括第二特征区域的位置；

在对所述第一特征区域解码完成后，通过所述第二注意参数通知所述预先训练好的长短时记忆网络对所述第二特征区域进行解码；

循环解码直到依次完成所有特征区域的解码。

可选的，所述处理器901执行的所述在对第一特征区域解码完成后，所述通过所述第二注意参数通知所述预先训练好的长短时记忆网络对第二特征区域进行解码，包括：

在对所述第一特征区域完成解码后，根据所述第二注意参数，将所述第一特征区域的解码特征与第二特征区域作为输入，输入到所述预先训练好的长短时记忆网络中进行解码。

可选的，在所述将待识别图像输入到预设的特征编码空间进行矫正及编码，得到具有多个通道的特征图像之后，所述处理器901还执行以下步骤：

将所述特征图像进行上采样，以使所述特征图像的尺寸与所述待识别图像的尺寸相同；

根据所述特征图像的通道，对上采样后的特征图像进行像素点预测，预测所述上采样后的特征图像中每个像素点所属的特征区域；

根据所述通道的时序属性，对所述上采样后的特征图像中每个像素点所属的特征区域进行标注，以使所述上采样后的特征图像中每个像素点所属的特征区域具有时序属性，得到标注特征图像；

所述处理器901执行的所述将所述特征图像按所述时序属性输入到预设的特征解码空间，并通过注意力机制将所述通道对应的特征区域按所述时序属性进行解码，包括：

将所述标注特征图像按所述时序属性输入到预设的特征解码空间，并通过注意力机制将所述特征区域按所述时序属性在所述特征解码空间中进行解码。

需要说明的是，上述电子设备可以是可以应用于需要进行车牌号码识别的手机、监控器、计算机、服务器等设备。

本发明实施例提供的电子设备能够实现上述方法实施例中车牌号码识别方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的车牌号码识别方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (9)

1.一种车牌号码识别方法，其特征在于，包括以下步骤：

将待识别图像输入到预设的特征编码空间进行矫正及编码，得到具有多个通道的特征图像，所述待识别图像包括车牌信息，所述特征图像包括与所述多个通道对应的多个特征区域，所述通道具有时序属性，所述待识别图像为RGB图像；

将所述特征图像进行上采样，以使所述特征图像的尺寸与所述待识别图像的尺寸相同；

根据所述特征图像的通道，对上采样后的特征图像进行像素点预测，预测所述上采样后的特征图像中每个像素点所属的特征区域；

根据所述通道的时序属性，对所述上采样后的特征图像中每个像素点所属的特征区域进行标注，以使所述上采样后的特征图像中每个像素点所属的特征区域具有时序属性，得到标注特征图像；

将所述标注特征图像按所述时序属性输入到预设的特征解码空间，在所述特征解码空间中通过注意力机制将所述标注特征图像中的特征区域按所述时序属性依次进行解码；

按所述时序属性输出解码结果，得到所述待识别图像的识别结果。

2.如权利要求1所述的方法，其特征在于，所述预设的特征编码空间包括预先训练好的空间变换网络以及预先训练好的编码网络，所述将待识别图像输入到预设的特征编码空间进行矫正及编码，编码得到具有多个通道的特征图像，包括：

在所述预先训练好的空间变换网络中对所述待识别图像进行矫正预测，并根据预测结果矫正所述待识别图像，得到矫正后图像；

通过所述编码网络中的多个卷积核对所述矫正后图像进行卷积计算，得到具有多个通道的特征图像，其中，所述通道的数量与所述卷积核的数量相同，所述通道的时序属性与所述卷积核计算的先后顺序相关联。

3.如权利要求1所述的方法，其特征在于，所述预设的特征解码空间包括预先训练好的注意力机制以及预先训练好的长短时记忆网络，所述将所述特征图像按所述时序属性输入到预设的特征解码空间，并通过注意力机制将所述通道对应的特征区域按所述时序属性进行解码，包括：

在将所述特征图像按所述时序属性输入到特征解码空间时，向所述预先训练好的注意力机制上报各个通道的时序属性；

通过所述预先训练好的注意力机制将所述通道对应的特征区域按所述时序属性进行排序，并按所述排序通知所述预先训练好的长短时记忆网络依次解码对应于所述排序的特征区域。

4.如权利要求3所述的方法，其特征在于，所述按所述排序通知所述预设训练好的长短时记忆网络依次解码对应于所述排序的特征区域，包括：

通过所述预先训练好的注意力机制按所述排序输出第一注意参数，通过所述第一注意参数通知所述预先训练好的长短时记忆网络对第一特征区域进行解码；

在对所述第一特征区域进行解码时，所述预先训练好的注意力机制按所述排序输出第二注意参数，所述第二注意参数包括第二特征区域的位置；

在对所述第一特征区域解码完成后，通过所述第二注意参数通知所述预先训练好的长短时记忆网络对所述第二特征区域进行解码；

循环解码直到依次完成所有特征区域的解码。

5.如权利要求4所述的方法，其特征在于，所述在对第一特征区域解码完成后，所述通过所述第二注意参数通知所述预先训练好的长短时记忆网络对第二特征区域进行解码，包括：

在对所述第一特征区域完成解码后，根据所述第二注意参数，将所述第一特征区域的解码特征与第二特征区域作为输入，输入到所述预先训练好的长短时记忆网络中进行解码。

6.一种车牌号码识别装置，其特征在于，所述装置包括：

编码模块，用于将待识别图像输入到预设的特征编码空间进行矫正及编码，得到具有多个通道的特征图像，所述待识别图像包括车牌信息，所述特征图像包括与所述多个通道对应的多个特征区域，所述通道具有时序属性，所述待识别图像为RGB图像；将所述特征图像进行上采样，以使所述特征图像的尺寸与所述待识别图像的尺寸相同；根据所述特征图像的通道，对上采样后的特征图像进行像素点预测，预测所述上采样后的特征图像中每个像素点所属的特征区域；根据所述通道的时序属性，对所述上采样后的特征图像中每个像素点所属的特征区域进行标注，以使所述上采样后的特征图像中每个像素点所属的特征区域具有时序属性，得到标注特征图像；

解码模块，用于将所述标注特征图像按所述时序属性输入到预设的特征解码空间，在所述特征解码空间中通过注意力机制将所述标注特征图像中的特征区域按所述时序属性依次进行解码；

输出模块，用于按所述时序属性输出解码结果，得到所述待识别图像的识别结果。

7.如权利要求6所述的装置，其特征在于，所述预设的特征编码空间包括预先训练好的空间变换网络以及预先训练好的编码网络，所述编码模块，包括：

矫正单元，用于在所述预先训练好的空间变换网络中对所述待识别图像进行矫正预测，并根据预测结果矫正所述待识别图像，得到矫正后图像；

编码单元，用于将所述矫正后图像输入到所述预先训练好的编码网络，通过所述编码网络中的多个卷积核对所述矫正后图像进行卷积计算，得到具有多个通道的特征图像，其中，所述通道的数量与所述卷积核的数量相同，所述通道的时序属性与所述卷积核计算的先后顺序相关联。

8.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的车牌号码识别方法中的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的车牌号码识别方法中的步骤。

Images