CN113642586A - 一种车牌类型的识别方法及装置 - Google Patents

Abstract

本申请实施例公开了一种车牌类型的识别方法及装置，用于提高车牌类型识别的准确率。本申请实施例方法包括：获取车辆车牌图像；将车辆车牌图像输入训练完成的车牌类型识别网络，车牌类型识别网络包括输入层、特征提取层和输出层，输入层包括卷积层、批标准化层、激活层和池化层，特征提取层包括多个预设模块和池化层，预设模块包括Fire结构、批标准化层和激活层；根据车牌类型识别网络获取车牌类型识别结果，识别结果包括车牌颜色信息、车牌层数信息和车牌字符正反色信息；获取车辆车牌图像的车牌字符信息；根据车牌颜色信息、车牌层数信息、车牌字符正反色信息和车牌字符信息确定车牌类型。

Description

一种车牌类型的识别方法及装置

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种车牌类型的识别方法及装置。

背景技术

随着经济不断发展，城市的汽车保有量不断增加。由于车辆的增加，带来了众多问题，其中车辆管理问题成为了一大难点。目前，车辆管理主要通过识别车辆的车牌，并且记录下车牌，以此进行车辆管理的前提。

由于不同地区的车牌样式存在差异，尤其是港珠澳区域，车辆数量众多，并且车牌的样式繁多，例如：车牌底层颜色有多种(包括蓝、黄、绿、黑、白或红等)、车牌层数分单层双层以及车牌字符颜色分白色(正色)与黑色(反色)，如何快速准确的识别并分类车牌类型是目前车辆管理的一大挑战。

在车辆收费点中，需要识别出车牌类型后，才能进行费用计算，但是，由于不同区域的车牌样式存在的过多差异，导致检测设备在获取到车辆车牌图像后，识别该车辆车牌图像对应的车牌类型的准确率降低。

发明内容

本申请实施例第一方面提供了一种车牌类型的识别方法，其特征在于，包括：

获取车辆车牌图像；

将所述车辆车牌图像输入训练完成的车牌类型识别网络，所述车牌类型识别网络为预先经过训练的基于SqueezeNet的卷积神经网络模型，所述车牌类型识别网络包括输入层、特征提取层和输出层，所述输入层包括卷积层、批标准化层、激活层和池化层，所述特征提取层包括多个预设模块和池化层，所述预设模块包括Fire结构、批标准化层和激活层，所述输出层用于输出所述车辆车牌图像的识别结果；

根据所述车牌类型识别网络获取车牌类型识别结果，识别结果包括车牌颜色信息、车牌层数信息和车牌字符正反色信息；

获取所述车辆车牌图像的车牌字符信息；

根据所述车牌颜色信息、所述车牌层数信息、所述车牌字符正反色信息和所述车牌字符信息确定车牌类型。

可选的，所述输入层包括依次顺接的第一卷积层、批标准化层、第一激活层以及第一池化层。

可选的，所述特征提取层包括8个所述预设模块和3个所述池化层，其中，第一预设模块、第二预设模块、第二池化层、第三预设模块、第四预设模块、第三池化层、第五预设模块、第六预设模块、第七预设模块、第八预设模块和第四池化层依次连接，所述预设模块包括依次连接的Fire结构、批标准化层和激活层。

可选的，所述输出层包括第二卷积层、第二激活层、3个卷积层和3个Softmax层，所述第二卷积层与所述第二激活层连接，所述第二激活层分别连接第三卷积层、第四卷积层层和第五卷积层，所述第三卷积层连接第一Softmax层，所述第四卷积层连接第二Softmax层，所述第五卷积层连接第三Softmax层。

可选的，在所述将所述车辆车牌图像输入训练完成的车牌类型识别网络之前，所述识别方法还包括：

将训练样本集中的车牌训练样本输入车牌类型识别网络，所述车牌训练样本为标注过所述车牌颜色信息、所述车牌层数信息和所述车牌字符正反色信息的图像；

根据所述车牌类型识别网络输出车牌训练样本的损失值；

根据所述损失值对所述车牌类型识别网络的模型参数进行调整，直至所述损失值达到收敛，以完成所述车牌类型识别网络的训练。

可选的，所述根据所述车牌颜色信息、所述车牌层数信息和所述车牌字符正反色信息和所述车牌字符信息确定车牌类型，包括：

判断所述车辆车牌识别结果是否白底与字符反色；

若否，根据车辆车牌识别结果、车牌类型识别网络的结果与对应车牌类型的车牌规则确定车牌类型。

可选的，在所述判断所述车辆车牌识别结果是否白底与字符反色之后，所述识别方法还包括：

若是，进行车牌模板套用操作，生成车牌类型。

可选的，所述获取车辆车牌图像，包括：

获取车辆原始图像；

对所述车辆原始图像进行目标识别，得到所述车辆原始图像中车辆车牌图像的坐标数据；

根据所述坐标数据对所述车辆原始图像进行裁剪，得到车辆车牌图像。

可选的，所述根据所述车牌颜色信息、所述车牌层数信息和所述车牌字符正反色信息和所述车牌字符信息确定车牌类型之后，所述识别方法还包括：

当无法确定所述车牌类型时，则再次启动车牌类型识别以及车牌字符信息的识别。

本申请实施例第二方面提供了一种车牌类型的识别装置，其特征在于，包括：

第一获取单元，用于获取车辆车牌图像；

第一输入单元，用于将所述车辆车牌图像输入训练完成的车牌类型识别网络，所述车牌类型识别网络为预先经过训练的基于SqueezeNet的卷积神经网络模型，所述车牌类型识别网络包括输入层、特征提取层和输出层，所述输入层包括卷积层、批标准化层、激活层和池化层，所述特征提取层包括多个预设模块和池化层，所述预设模块包括Fire结构、批标准化层和激活层，所述输出层用于输出所述车辆车牌图像的识别结果；

第二获取单元，用于根据车牌类型识别网络获取车牌类型识别结果，识别结果包括车牌颜色信息、车牌层数信息和车牌字符正反色信息；

第三获取单元，用于获取所述车辆车牌图像的车牌字符信息；

确定单元，用于根据所述车牌颜色信息、所述车牌层数信息和所述车牌字符正反色信息和所述车牌字符信息确定车牌类型。

可选的，所述输入层包括依次顺接的第一卷积层、批标准化层、第一激活层以及第一池化层。

可选的，所述特征提取层包括8个所述预设模块和3个所述池化层，其中，第一预设模块、第二预设模块、第二池化层、第三预设模块、第四预设模块、第三池化层、第五预设模块、第六预设模块、第七预设模块、第八预设模块和第四池化层依次连接，所述预设模块包括依次连接的Fire结构、批标准化层和激活层。

可选的，所述输出层包括第二卷积层、第二激活层、3个卷积层和3个Softmax层，所述第二卷积层与所述第二激活层连接，所述第二激活层分别连接第三卷积层、第四卷积层层和第五卷积层，所述第三卷积层连接第一Softmax层，所述第四卷积层连接第二Softmax层，所述第五卷积层连接第三Softmax层。

可选的，所述识别装置还包括：

第二输入单元，用于将训练样本集中的车牌训练样本输入车牌类型识别网络，所述车牌训练样本为标注过所述车牌颜色信息、所述车牌层数信息和所述车牌字符正反色信息的图像；

输出单元，用于根据所述车牌类型识别网络输出车牌训练样本的损失值；

调整单元，用于根据所述损失值对所述车牌类型识别网络的模型参数进行调整，直至所述损失值达到收敛，以完成所述车牌类型识别网络的训练。

可选的，所述确定单元，包括：

判断模块，用于判断所述车辆车牌识别结果是否白底与字符反色；

确定模块，用于当所述判断模块确定所述车辆车牌识别结果不为白底与字符反色时，根据车辆车牌识别结果、车牌类型识别网络的结果与对应车牌类型的车牌规则确定车牌类型。

可选的，所述识别装置还包括：

生成模块，用于当所述判断模块确定所述车辆车牌识别结果为白底与字符反色时，进行车牌模板套用操作，生成车牌类型。

可选的，所述第一获取单元，包括：

获取模块，用于获取车辆原始图像；

识别模块，用于对所述车辆原始图像进行目标识别，得到所述车辆原始图像中车辆车牌图像的坐标数据；

裁剪模块，用于根据所述坐标数据对所述车辆原始图像进行裁剪，得到车辆车牌图像。

可选的，所述识别装置还包括：

二次识别单元，用于当无法确定所述车牌类型时，则再次启动车牌类型识别以及车牌字符信息的识别。

本申请实施例第三方面提供了一种车牌类型的识别装置，其特征在于，包括：

处理器、存储器、输入输出单元、总线；

处理器与存储器、输入输出单元以及总线相连；

处理器具体执行如下操作：

获取车辆车牌图像；

将所述车辆车牌图像输入训练完成的车牌类型识别网络，所述车牌类型识别网络为预先经过训练的基于SqueezeNet的卷积神经网络模型，所述车牌类型识别网络包括输入层、特征提取层和输出层，所述输入层包括卷积层、批标准化层、激活层和池化层，所述特征提取层包括多个预设模块和池化层，所述预设模块包括Fire结构、批标准化层和激活层，所述输出层用于输出所述车辆车牌图像的识别结果；

根据车牌类型识别网络获取车牌类型识别结果，识别结果包括车牌颜色信息、车牌层数信息和车牌字符正反色信息；

获取所述车辆车牌图像的车牌字符信息；

根据所述车牌颜色信息、所述车牌层数信息和所述车牌字符正反色信息和所述车牌字符信息确定车牌类型。

可选的，处理器还用于执行第一方面中的任意可选方案的操作。

一种计算机可读存储介质，计算机可读存储介质上保存有程序，程序在计算机上执行时执行如前述第一方面以及第一方面的任意可选的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

首先获取车辆车牌图像，并将车辆车牌图像输入训练完成的车牌类型识别网络，车牌类型识别网络为预先经过训练的基于SqueezeNet的卷积神经网络模型，车牌类型识别网络包括输入层、特征提取层和输出层，输入层包括卷积层、批标准化层、激活层和池化层，特征提取层包括多个预设模块和池化层，预设模块包括Fire结构、批标准化层和激活层，输出层用于输出车辆车牌图像的识别结果。根据车牌类型识别网络获取车牌类型识别结果，识别结果包括车牌颜色信息、车牌层数信息和车牌字符正反色信息，再获取所述车辆车牌图像的车牌字符信息，并根据车牌颜色信息、车牌层数信息和车牌字符正反色信息和所述车牌字符信息确定车牌类型。首先通过车牌类型识别网络获取车辆车牌图像的车牌颜色信息、车牌层数信息和车牌字符正反色信息，再获取车牌字符信息，最后通过车牌颜色信息、车牌层数信息、车牌字符正反色信息以及车牌字符信息确定车牌类型的。通过训练完成的车牌类型识别网络得到车辆车牌图像的多个特征信息，再识别车辆车牌图像的车牌字符信息，通过上述信息对车牌类型进行区分，提高车牌类型识别的准确率。

附图说明

图1为本申请实施例中车牌类型的识别方法的一个实施例流程示意图；

图2为本申请实施例中车牌类型识别网络的一个实施例结构示意图；

图3为本申请实施例中Fire结构的一个实施例结构示意图；

图4-1和图4-2为本申请实施例中车牌类型的识别方法的另一个实施例流程示意图；

图5为本申请实施例中车牌类型的识别装置的一个实施例流程示意图；

图6为本申请实施例中车牌类型的识别装置的另一个实施例流程示意图；

图7为本申请实施例中车牌类型的识别装置的另一个实施例流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的阐述，显然阐述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护范围。

本申请实施例公开了一种车牌类型的识别方法及装置，用于提高车牌类型识别的准确率。

在本实施例中，车牌类型的识别方法可在系统实现，可以在服务器实现，也可以在终端实现，具体不做明确限定。为方便描述，本申请实施例使用终端为执行主体举例描述。

请参阅图1，本申请实施例提供了一种车牌类型的识别方法，包括：

101、终端获取车辆车牌图像；

终端获取车辆车牌图像，具体的，车辆车牌图像为车辆车牌RGB图像，该图像为经过了车牌检测和根据车牌四个角点回归以及矫正后的仅包含车牌的图像。可以是通过摄像头拍摄车辆经过某一路段时拍摄，也可以是拍摄车辆行驶视频后，从视频中截取图像。车辆车牌图像记录有车辆的车牌特征，本实施例中，在获取到车辆的图像后，运用车牌检测和车牌回归技术，仅从该图像中截取车牌区域作为车辆车牌图像。

102、终端将所述车辆车牌图像输入训练完成的车牌类型识别网络，所述车牌类型识别网络为预先经过训练的基于SqueezeNet的卷积神经网络模型，所述车牌类型识别网络包括输入层、特征提取层和输出层，所述输入层包括卷积层、批标准化层、激活层和池化层，所述特征提取层包括多个预设模块和池化层，所述预设模块包括Fire结构、批标准化层和激活层，所述输出层用于输出所述车辆车牌图像的识别结果；

参见图2，本实施例中车牌类型识别网络的结构包括：车牌类型识别网络的输入为车辆车牌图像，首先，经过输入层，输入层具体包括第一卷积层(Conv1)、批标准化层(BN)、第一激活层(RELU)以及第一池化层(Pooling1)；接着，进入特征提取层，特征提取层包括串联的8个预设模块和3个池化层(Pooling2、Pooling3和Pooling4)，具体连接方式如下：第一预设模块、第二预设模块、第二池化层、第三预设模块、第四预设模块、第三池化层、第五预设模块、第六预设模块、第七预设模块、第八预设模块和第四池化层依次连接。其中，每一个预设模块包括依次连接的Fire结构、批标准化层和激活层；最后经过输出层，输出层包括第二卷积层(Conv2)、第二激活层(RELU)、 3个卷积层(Conv2_1、Conv2_2和Conv2_3)和3个Softmax层，具体连接方式如下：第二卷积层与第二激活层连接，第二激活层分别连接第三卷积层、第四卷积层层和第五卷积层，第三卷积层连接第一Softmax层，第四卷积层连接第二Softmax层，第五卷积层连接第三Softmax层。三个Softmax层用于输出该车辆车牌图像的车牌特征信息，车牌特征信息用于筛选车牌类型模板以及确定车牌类型。

请参考图3，上述Fire结构为SqueezeNet的基本单元，能够高效的提取特征，同时减少计算量。Fire结构的基本结构如图3所示，主要包含两层卷积操作：一是采用1x1卷积核的Squeeze层；二是混合使用1x1和3x3卷积核的expand层。

103、终端根据所述识别模型获取车牌类型识别结果，所述识别结果包括车牌颜色信息、车牌层数信息和车牌字符正反色信息；

终端根据识别模型获取车牌类型识别结果，即为车牌特征信息，本实施例中，主要包括车牌颜色信息、车牌层数信息和车牌字符正反色信息三种车牌特征信息。可选的，识别模型的第一Softmax层的输出的车牌特征信息是单层或双层，不同地区以及部门的车牌的字符层数不同，有的车牌只有一行字符，即为单层，有的字符分两行，即为双层；识别模型的第二Softmax层的输出是车牌的颜色，车牌的颜色主要包括蓝、黄、绿、黑、白或红等6种；识别模型的第三Softmax层的输出是车牌字符是正色还是反色，车牌字符有白色和黑色的区别，白色即为正色，黑色即为反色。

例如：输入识别模型的车辆车牌图像为内地蓝牌的车牌图像，那么三个Softmax层输出分别为：单层、蓝色和正色。如果输入识别模型的车辆车牌图像为香港双层车牌的车牌图像，那么三个Softmax层输出分别为：双层、白色和反色。

可选的，车牌层信息的Softmax层输出规定为：单层输出0，双层输出1。车牌颜色信息的Softmax层输出规定为：蓝色输出0，黄色输出1，绿色输出 2，黑色输出3，白色输出4和红色输出5。车牌正反色信息的Softmax层输出规定为：正色输出0，反色输出1。则蓝牌的车牌类型样本标注为000，双层香港车牌的车牌类型样本标注为141，单层黄牌的车牌类型样本标注为011 等。

可选的，本实施例中的车辆车牌图像包括但不限于：蓝牌、黄牌、新能源牌、粤港澳牌、警牌、武警牌、领事馆牌、大使馆牌、军牌。

104、终端获取所述车辆车牌图像的车牌字符信息；

终端获取车辆车牌图像的车牌字符信息，具体实现确定车辆车牌图像的字符区域，本步骤对待辆车牌图像中包含车牌的区域进行定位，生成车牌字符区域的过程可以具体包括：对所述待识别图像中包含车牌的区域进行水平校正以及垂直校正；对校正后的辆车牌图像进行包含车牌字符区域的边界定位，确定所述车牌字符区域。需要指出的是，在获取到整个车牌的区域后，通过对包含车牌的区域进行水平矫正、垂直矫正以及对字符的上下、左右边界进行定位，找到车牌字符区域的精确位置，即车牌字符区域。再识别车牌字符区域中的字符图形来确定车牌字符信息。

105、根据所述车牌颜色信息、所述车牌层数信息、所述车牌字符正反色信息和所述车牌字符信息确定车牌类型。

终端根据所述车牌颜色信息、所述车牌层数信息、所述车牌字符正反色信息和所述车牌字符信息确定车牌类型。具体的，本实施例需要使用端对端模型进行车辆车牌图像中的字符进行识别，以确定车牌字符信息，车牌字符信息包括字符的数量、排列以及字形等，最终确定车牌类型。

首先获取车辆车牌图像，并将车辆车牌图像输入训练完成的车牌类型识别网络，车牌类型识别网络为预先经过训练的基于SqueezeNet的卷积神经网络模型，车牌类型识别网络包括输入层、特征提取层和输出层，输入层包括卷积层、批标准化层、激活层和池化层，特征提取层包括多个预设模块和池化层，预设模块包括Fire结构、批标准化层和激活层，输出层用于输出车辆车牌图像的识别结果。根据车牌类型识别网络获取车牌类型识别结果，识别结果包括车牌颜色信息、车牌层数信息和车牌字符正反色信息，再获取所述车辆车牌图像的车牌字符信息，并根据车牌颜色信息、车牌层数信息和车牌字符正反色信息和所述车牌字符信息确定车牌类型。首先通过车牌类型识别网络获取车辆车牌图像的车牌颜色信息、车牌层数信息和车牌字符正反色信息，再获取车牌字符信息，最后通过车牌颜色信息、车牌层数信息、车牌字符正反色信息以及车牌字符信息确定车牌类型的。通过训练完成的车牌类型识别网络得到车辆车牌图像的多个特征信息，再识别车辆车牌图像的车牌字符信息，通过上述信息对车牌类型进行区分，提高车牌类型识别的准确率。

请参阅图4-1和图4-2，本申请实施例提供了另一种车牌类型的识别方法，包括：

401、终端将训练样本集中的车牌训练样本输入车牌类型识别网络，所述车牌训练样本为标注过所述车牌颜色信息、所述车牌层数信息和所述车牌字符正反色信息的图像；

终端将车牌训练样本集中的车牌训练样本输入车牌类型识别网络，车牌类型识别网络在使用前需要进行模型训练，需要通过大量的车牌训练样本进行训练，车牌训练样本为标注过车牌颜色信息、车牌层数信息和车牌字符正反色信息的图像。

402、根据所述车牌类型识别网络输出车牌训练样本的损失值；

终端根据车牌类型识别网络输出车牌训练样本的损失值，当损失值达到预设范围内时，可以确定对当前的车牌训练样本进行的训练已经结束。

403、终端根据所述损失值对所述车牌类型识别网络的模型参数进行调整，直至所述损失值达到收敛，以完成所述车牌类型识别网络的训练；

终端根据损失值对所述车牌类型识别网络的模型参数进行调整，每一次输出损失值时，都需要根据损失值的大小对车牌类型识别网络进行模型参数的调整，在训练了大量的车牌训练样本之后，模型参数不断更新。当多次损失值达到了收敛之后，即可确定该车牌类型识别网络完成训练。

404、终端获取车辆原始图像；

终端获取车辆原始图像，可以是通过摄像头拍摄车辆经过某一路段时拍摄，也可以是拍摄车辆行驶视频后，从视频中截取图像。车辆原始图像包含了除车牌区域的其他特征，需要进行裁剪。

405、终端对所述车辆原始图像进行目标识别，得到所述车辆原始图像中车辆车牌图像的坐标数据；

终端对车辆原始图像进行目标识别，得到车辆原始图像中车辆车牌图像的坐标数据，该坐标数据用于指示车辆车牌图像的位置区域。

406、终端根据所述坐标数据对所述车辆原始图像进行裁剪，得到车辆车牌图像；

在确定车辆车牌图像的位置区域之后，终端根据坐标数据对车辆原始图像进行裁剪，得到车辆车牌图像。

407、终端将所述车辆车牌图像输入训练完成的车牌类型识别网络，所述车牌类型识别网络为预先经过训练的基于SqueezeNet的卷积神经网络模型，所述车牌类型识别网络包括输入层、特征提取层和输出层，所述输入层包括卷积层、批标准化层、激活层和池化层，所述特征提取层包括多个预设模块和池化层，所述预设模块包括Fire结构、批标准化层和激活层，所述输出层用于输出所述车辆车牌图像的识别结果；

408、终端根据所述车牌类型识别网络获取车牌类型识别结果，识别结果包括车牌颜色信息、车牌层数信息和车牌字符正反色信息；

409、终端获取所述车辆车牌图像的车牌字符信息；

本实施例中的步骤407至409与前述实施例中步骤102至104类似，此处不再赘述。

410、终端判断所述车辆车牌识别结果是否白底与字符反色；

终端判断车辆车牌识别结果是否白底与字符反色，是由于白底与字符反色这两个特征对应的车牌类型特殊。例如：单层内地军牌、内地武警牌、大陆警牌、双层内地军牌和双层内地武警牌这类特殊车牌中，特征都为白底与字符反色，在车牌类型识别网络输出特征之后，无法直接通过车牌字符信息确定车牌类型，这时需要通过其他操作确定车牌类型。

411、当终端确定所述车辆车牌识别结果不为白底与字符反色时，根据车辆车牌识别结果、车牌类型识别网络的结果与对应车牌类型的车牌规则确定车牌类型；

当终端确定所述车辆车牌识别结果不为白底与字符反色时，根据车辆车牌识别结果、车牌类型识别网络的结果与对应车牌类型的车牌规则确定车牌类型。即当确定不存在特殊车牌时，则可以通过车牌字符信息确定车牌类型。

终端对字符块中的字符进行识别，生成车牌类型，具体的，可以是识别字符块中字符的数量，也可以是识别字符块中最左边的字符的字形，或者二者结合，此处不作限定。

车牌的规则如下：

蓝牌：7个字符、单层、字符正色、蓝底和首字符是汉字。

单层黄牌：7个字符、单层、字符反色、黄底和首字符是汉字。

新能源车牌：8个字符、单层、字符反色、绿底和首字符是汉字。

民航车牌：7个字符、单层、绿底、字符正色、首字符是“民”和次字符是“航”。

领事馆牌：7个字符、单层、黑底、字符正色、首字符是省份和第7个字符是“领”。

大使馆牌：7个字符、单层、字符正色、黑底和首字符是“使”。

内地港澳车牌：7个字符、单层、黑底、字符正色、首字符是“粤”和第 7个字符是“港/澳”。

单层澳门车牌：6个字符、单层、黑底、字符正色、前2个字符是英文和后面4个是数字。

双层澳门车牌：双层、黑底、字符正色、上层是2个英文字符和下层是4 个数字。

双层澳门临时车牌：双层、红底、字符正色、上层是2个英文字符“EX”。

双层黄牌：双层、黄底、字符反色、上层是1个汉字和1个英文字符。单层澳门临时车牌：单层、红底、字符正色和前2个字符是英文“EX”。

其中，车牌颜色信息、车牌层数信息和车牌字符正反色信息为识别到的信息，当车辆车牌图像输入识别模型之后，可以获得车牌颜色信息、车牌层信息和车牌正反色信息。当识别模型输出单层、黑底和字符正色时，可确定领事馆牌、大使馆牌、内地港澳车牌以及单层澳门车牌符合，即确定这四个车牌类型作为确定车牌类型的基础。

例如：通过识别模型输出的特征，确定领事馆牌、大使馆牌、内地港澳车牌以及单层澳门车牌符合单层、黑底和字符正色时，接下来确定车辆车牌图像的字符，若是仅有6个字符，则仅有单层澳门车牌符合；若是首字符是“粤”和第7个字符是“港/澳”，则仅有内地港澳车牌符合；若是首字符是“使”，则仅有大使馆牌符合；若是首字符是省份和第7个字符是“领”，则仅有领事馆牌符合。

412、当终端确定所述车辆车牌识别结果为白底与字符反色时，进行车牌模板套用操作，生成车牌类型；

当终端确定车辆车牌识别结果为白底与字符反色时，进行车牌模板套用操作，生成车牌类型。例如：单层内地军牌、内地武警牌、内地警牌、双层内地军牌和双层内地武警牌都为白底与字符反色，在车牌类型识别网络输出特征之后，无法直接通过车牌字符信息确定车牌类型，这时需要通过车牌模板套用操作确定车牌类型。如果套模板失败，确定该车牌类型为香港车牌。

413、当无法确定所述车牌类型时，则再次启动车牌类型识别以及车牌字符信息的识别。

当无法确定所述车牌类型时，则再次启动车牌类型识别以及车牌字符信息的识别。当有可能会产生判断失误，需要触发二次车牌识别。

例如：如果判断车牌类型为绿色、单层和字符反色，且首字符是汉字，但是识别的结果仅有7个字符，那么很可能是新能源车牌识别少位了。这种情况就需要触发车牌二次识别。

首先获取车辆车牌图像，并将车辆车牌图像输入训练完成的车牌类型识别网络，车牌类型识别网络为预先经过训练的基于SqueezeNet的卷积神经网络模型，车牌类型识别网络包括输入层、特征提取层和输出层，输入层包括卷积层、批标准化层、激活层和池化层，特征提取层包括多个预设模块和池化层，预设模块包括Fire结构、批标准化层和激活层，输出层用于输出车辆车牌图像的识别结果。根据车牌类型识别网络获取车牌类型识别结果，识别结果包括车牌颜色信息、车牌层数信息和车牌字符正反色信息，再获取所述车辆车牌图像的车牌字符信息，并根据车牌颜色信息、车牌层数信息和车牌字符正反色信息和所述车牌字符信息确定车牌类型。首先通过车牌类型识别网络获取车辆车牌图像的车牌颜色信息、车牌层数信息和车牌字符正反色信息，再获取车牌字符信息，最后通过车牌颜色信息、车牌层数信息、车牌字符正反色信息以及车牌字符信息确定车牌类型的。通过训练完成的车牌类型识别网络得到车辆车牌图像的多个特征信息，再识别车辆车牌图像的车牌字符信息，通过上述信息对车牌类型进行区分，提高车牌类型识别的准确率。

其次，对于误检时会产生二次识别，保证了整个识别流程的容错性，具有更高的使用价值。

请参阅图5，本申请实施例提供了一种车牌类型的识别装置，包括：

第一获取单元501，用于获取车辆车牌图像；

第一输入单元502，用于将所述车辆车牌图像输入训练完成的车牌类型识别网络，所述车牌类型识别网络为预先经过训练的基于SqueezeNet的卷积神经网络模型，所述车牌类型识别网络包括输入层、特征提取层和输出层，所述输入层包括卷积层、批标准化层、激活层和池化层，所述特征提取层包括多个预设模块和池化层，所述预设模块包括Fire结构、批标准化层和激活层，所述输出层用于输出所述车辆车牌图像的识别结果；

第二获取单元503，用于根据车牌类型识别网络获取车牌类型识别结果，识别结果包括车牌颜色信息、车牌层数信息和车牌字符正反色信息；

第三获取单元504，用于获取所述车辆车牌图像的车牌字符信息；

确定单元505，用于根据所述车牌颜色信息、所述车牌层数信息和所述车牌字符正反色信息和所述车牌字符信息确定车牌类型。

请参阅图6，本申请实施例提供了一种车牌类型的识别装置，包括：

第二输入单元601，用于将训练样本集中的车牌训练样本输入车牌类型识别网络，所述车牌训练样本为标注过所述车牌颜色信息、所述车牌层数信息和所述车牌字符正反色信息的图像；

输出单元602，用于根据所述车牌类型识别网络输出车牌训练样本的损失值；

调整单元603，用于根据所述损失值对所述车牌类型识别网络的模型参数进行调整，直至所述损失值达到收敛，以完成所述车牌类型识别网络的训练；

第一获取单元604，用于获取车辆车牌图像；

可选的，所述第一获取单元604，包括：

获取模块6041，用于获取车辆原始图像；

识别模块6042，用于对所述车辆原始图像进行目标识别，得到所述车辆原始图像中车辆车牌图像的坐标数据；

裁剪模块6043，用于根据所述坐标数据对所述车辆原始图像进行裁剪，得到车辆车牌图像。

第一输入单元605，用于将所述车辆车牌图像输入训练完成的车牌类型识别网络，所述车牌类型识别网络为预先经过训练的基于SqueezeNet的卷积神经网络模型，所述车牌类型识别网络包括输入层、特征提取层和输出层，所述输入层包括卷积层、批标准化层、激活层和池化层，所述特征提取层包括多个预设模块和池化层，所述预设模块包括Fire结构、批标准化层和激活层，所述输出层用于输出所述车辆车牌图像的识别结果；

第二获取单元606，用于根据车牌类型识别网络获取车牌类型识别结果，识别结果包括车牌颜色信息、车牌层数信息和车牌字符正反色信息；

第三获取单元607，用于获取所述车辆车牌图像的车牌字符信息；

确定单元608，用于根据所述车牌颜色信息、所述车牌层数信息和所述车牌字符正反色信息和所述车牌字符信息确定车牌类型。

可选的，所述确定单元608，包括：

判断模块6081，用于判断所述车辆车牌识别结果是否白底与字符反色；

确定模块6082，用于当所述判断模块6081确定所述车辆车牌识别结果不为白底与字符反色时，根据车辆车牌识别结果、车牌类型识别网络的结果与对应车牌类型的车牌规则确定车牌类型；

可选的，所述识别装置还包括：

生成模块6083，用于当所述判断模块6081确定所述车辆车牌识别结果为白底与字符反色时，进行车牌模板套用操作，生成车牌类型。

可选的，所述识别装置还包括：

二次识别单元609，用于当无法确定所述车牌类型时，则再次启动车牌类型识别以及车牌字符信息的识别。

请参阅图7，本申请实施例提供了另一种车牌类型的识别装置，包括：

处理器701、存储器702、输入输出单元703、总线704；

处理器701与存储器702、输入输出单元703以及总线704相连；

处理器701具体执行如下操作：

获取车辆车牌图像；

将所述车辆车牌图像输入训练完成的车牌类型识别网络，所述车牌类型识别网络为预先经过训练的基于SqueezeNet的卷积神经网络模型，所述车牌类型识别网络包括输入层、特征提取层和输出层，所述输入层包括卷积层、批标准化层、激活层和池化层，所述特征提取层包括多个预设模块和池化层，所述预设模块包括Fire结构、批标准化层和激活层，所述输出层用于输出所述车辆车牌图像的识别结果；

根据车牌类型识别网络获取车牌类型识别结果，识别结果包括车牌颜色信息、车牌层数信息和车牌字符正反色信息；

获取所述车辆车牌图像的车牌字符信息；

根据所述车牌颜色信息、所述车牌层数信息和所述车牌字符正反色信息和所述车牌字符信息确定车牌类型。

本实施例中，处理器701的功能与前述图1和图4所示实施例中的步骤对应，此处不做赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种车牌类型的识别方法，其特征在于，包括：

获取车辆车牌图像；

将所述车辆车牌图像输入训练完成的车牌类型识别网络，所述车牌类型识别网络为预先经过训练的基于SqueezeNet的卷积神经网络模型，所述车牌类型识别网络包括输入层、特征提取层和输出层，所述输入层包括卷积层、批标准化层、激活层和池化层，所述特征提取层包括多个预设模块和池化层，所述预设模块包括Fire结构、批标准化层和激活层，所述输出层用于输出所述车辆车牌图像的识别结果；

根据所述车牌类型识别网络获取车牌类型识别结果，识别结果包括车牌颜色信息、车牌层数信息和车牌字符正反色信息；

获取所述车辆车牌图像的车牌字符信息；

根据所述车牌颜色信息、所述车牌层数信息、所述车牌字符正反色信息和所述车牌字符信息确定车牌类型。

2.根据权利要求1所述的识别方法，其特征在于，所述输入层包括依次顺接的第一卷积层、批标准化层、第一激活层以及第一池化层。

3.根据权利要求1所述的识别方法，其特征在于，所述特征提取层包括8个所述预设模块和3个所述池化层，其中，第一预设模块、第二预设模块、第二池化层、第三预设模块、第四预设模块、第三池化层、第五预设模块、第六预设模块、第七预设模块、第八预设模块和第四池化层依次连接，所述预设模块包括依次连接的Fire结构、批标准化层和激活层。

4.根据权利要求1所述的识别方法，其特征在于，所述输出层包括第二卷积层、第二激活层、3个卷积层和3个Softmax层，所述第二卷积层与所述第二激活层连接，所述第二激活层分别连接第三卷积层、第四卷积层层和第五卷积层，所述第三卷积层连接第一Softmax层，所述第四卷积层连接第二Softmax层，所述第五卷积层连接第三Softmax层。

5.根据权利要求1至4中任一项所述的识别方法，其特征在于，在所述将所述车辆车牌图像输入训练完成的车牌类型识别网络之前，所述识别方法还包括：

将训练样本集中的车牌训练样本输入车牌类型识别网络，所述车牌训练样本为标注过所述车牌颜色信息、所述车牌层数信息和所述车牌字符正反色信息的图像；

根据所述车牌类型识别网络输出车牌训练样本的损失值；

根据所述损失值对所述车牌类型识别网络的模型参数进行调整，直至所述损失值达到收敛，以完成所述车牌类型识别网络的训练。

6.根据权利要求1至4中任一项所述的识别方法，其特征在于，所述根据所述车牌颜色信息、所述车牌层数信息和所述车牌字符正反色信息和所述车牌字符信息确定车牌类型，包括：

判断所述车辆车牌识别结果是否白底与字符反色；

若否，根据车辆车牌识别结果、车牌类型识别网络的结果与对应车牌类型的车牌规则确定车牌类型。

7.根据权利要求6中所述的识别方法，其特征在于，在所述判断所述车辆车牌识别结果是否白底与字符反色之后，所述识别方法还包括：

若是，进行车牌模板套用操作，生成车牌类型。

8.根据权利要求1至4中任一项所述的识别方法，其特征在于，所述获取车辆车牌图像，包括：

获取车辆原始图像；

对所述车辆原始图像进行目标识别，得到所述车辆原始图像中车辆车牌图像的坐标数据；

根据所述坐标数据对所述车辆原始图像进行裁剪，得到车辆车牌图像。

9.根据权利要求1至4中任一项所述的识别方法，其特征在于，所述根据所述车牌颜色信息、所述车牌层数信息和所述车牌字符正反色信息和所述车牌字符信息确定车牌类型之后，所述识别方法还包括：

当无法确定所述车牌类型时，则再次启动车牌类型识别以及车牌字符信息的识别。

10.一种车牌类型的识别装置，其特征在于，包括：

第一获取单元，用于获取车辆车牌图像；

第一输入单元，用于将所述车辆车牌图像输入训练完成的车牌类型识别网络，所述车牌类型识别网络为预先经过训练的基于SqueezeNet的卷积神经网络模型，所述车牌类型识别网络包括输入层、特征提取层和输出层，所述输入层包括卷积层、批标准化层、激活层和池化层，所述特征提取层包括多个预设模块和池化层，所述预设模块包括Fire结构、批标准化层和激活层，所述输出层用于输出所述车辆车牌图像的识别结果；

第二获取单元，用于根据车牌类型识别网络获取车牌类型识别结果，识别结果包括车牌颜色信息、车牌层数信息和车牌字符正反色信息；

第三获取单元，用于获取所述车辆车牌图像的车牌字符信息；

确定单元，用于根据所述车牌颜色信息、所述车牌层数信息和所述车牌字符正反色信息和所述车牌字符信息确定车牌类型。

Images