CN106845487B - 一种端到端的车牌识别方法 - Google Patents

Abstract

本发明公开了一种端到端的车牌识别方法，首先根据车牌定位的结果，切割车牌区域作为输入，然后采用一种设计的三层全卷积神经网络预测车牌字符热力图，根据热力图得到候选字符区域，其次采用一种设计的七层深度卷积神经网络模型来对候选字符区域进行分类与位置校正，得到字符序列及其位置序列，最后采用一种基于模板的最优路径算法，挑选出符合中国大陆车牌规范的字符序列，即为识别结果。整个网络采用多任务联合训练的方式，输入为车牌彩色图像，输出即为车牌号码，该方法避免了传统车牌识别方法，需要对车牌进行精确切分的弊端，能有效地提高复杂场景下的车牌识别率。

Description

一种端到端的车牌识别方法

技术领域

本发明涉及车牌识别技术领域，具体为一种端到端的车牌识别方法。

背景技术

随着计算机技术和信息处理技术的发展，计算机的信息处理能力不断提高，计算机视觉技术在基于多媒体和模式识别与人工智能技术的智能交通及电子警察系统在世界范围内得到了广泛的应用。这些应用中，有96％的自动化系统使用了车牌自动识别技术，75％以上的系统是以车牌识别为核心的应用。

传统的车牌识别方法，通常包括车牌检测、车牌校正、车牌切分和字符识别等流程，对于车牌像素大于120个像素，且车牌无污损、车牌偏角小于30度情、车牌无逆光情况下，车牌识别率大于95％，但对于小车牌(小于100个像素)且车牌逆光或污损或偏角过大时，车牌识别率往往急剧下降，主要原因在于传统的基于联通域、水平投影或垂直投影等车牌切分方法，无法有效地处理这种脏污或大偏角车牌，因为这种情况下，车牌字符和背景往往相互融合，想要精确地进行切分非常困难，而切分的精度往往影响字符识别的精度。

由于深度学习技术的飞速发展，深度学习在众多领域均取得突破，如目标分类、目标检测、语义分割等，由于深度学习是从海量数据中自动学习到有用的特征，而不需要过多的先验知识，经过精心设计的网络结构，往往能做到端到端的处理，即输入网络的为摄相机捕获的原始数据，输出即为需要的结果。基于此，本发明将深度学习引入到车牌识别中来，并非简单地用深度学习训练字符识别模型，从而取代传统的SVM方法，而是取代整个车牌校正、车牌切分和字符识别三个模块，即本发明车牌识别的流程精简为：车牌检测、深度车牌识别两个模块，从而避免了传统方法需要对车牌进行精确切分的弊端，经过试验证明，该方法对于小车牌、脏污车牌、逆光车牌以及大偏角车牌具有非常好的效果。

发明内容

本发明的目的在于提供一种端到端的车牌识别方法，设计了一种3层全卷积神经网络来快速预测字符的热力图，从而得到候选字符区域，该网络具体结构的设计与训练方法如下所示：

1)网络结构：第一层：3x3卷积，stride＝1，pad＝1，滤波器个数128，激活函数AFM，接2x2的池化，stride＝2，pad＝0；第二层：3x3卷积，stride＝1，pad＝1，滤波器个数256，激活函数AFM；第三层：3x3卷积核，stride＝1，pad＝1，滤波器个数512，激活函数AFM；用第三层的特征图编码热力图，该网络结构有两个优势，一是热力图从高分辨率的特征图映射而来，得到的候选字符区域较精确，二是激活函数AFM，通过计算两组特征图的均值，减少字符噪声带来的干扰，并克服了传统激活函数RELU梯度饱和的问题；

2)训练方法：将网络输出的特征图拉升为一维向量，计算其与热力图的欧氏距离作为损失函数，通过批量随机梯度下降算法训练网络。

优选的，还可以设计一种7层深度卷积神经网络模型来对候选字符区域进行分类与位置校正，该网络结构的设计与训练方法如下所示：

1)网络结构：该网络包括3个卷积层与4个全连接层，前3个卷积层与权利要求1中的网络结构相同，并与之共享参数来减少计算量，卷积层后接2个256维的全连接层，作为字符区域分类与位置校正的特征，车牌字符共70种，特征后接71维，包括非字符的全连接层，用来识别字符，特征后接284维，即71X4，每个位置4个坐标的全连接层，用来预测字符位置；

2)训练方法：本网络的训练采用三任务同时学习的方式，第一任务，采用Softmax方法对候选字符区域进行分类，权重系数设为1；第二任务，采用双端平滑L1距离方法对候选字符区域进行位置校正，权重系数设为10；第三任务，采用重叠率loss，即直接计算预测矩形框与真实矩形框的重叠率作为损失值，也用于候选字符区域进行位置校正，权利系数设为10，该训练方式有两个优势，一是多任务的训练方式，能有效地提高候选区域的识别精度，二是对位置采用双端平滑L1和重叠率双重loss，能有效地保证小字符的位置回归精度。

优选的，提出了一种基于模板的最优路径算法，该算法基于权利要求2中的分类与定位结果，结合模板信息，自动选择最优车牌字符序列，其具体算法步骤如下：

S1：将所有候选字符基于识别置信度和位置用K均值聚类算法进行聚类，k取7，因为普通车牌均为7个字符，对每一类取置信度最高的字符作为最优字符，对周围重叠率大于某个阈值，经验值取0.5的字符位置，按置信度加权计算位置坐标的平均值，以进一步校正最优字符的位置；

S2：依次假设最优字符为车牌的第i个字符，根据车牌的模板信息，以最优字符为中心分别向左和向右计算出剩余车牌字符的位置，并与所有候选字符的位置进行匹配，若有多个候选字符匹配，则取置信度高的作为匹配结果，对所有的识别结果按整体平均置信度排序，取最大的作为最终识别结果。

与现有技术相比，本发明的有益效果是：本方法能有效地处理小车牌、脏污车牌、逆光车牌以及大偏角车牌，能够适应停车场、标准卡口、电警、治安摄相机等各种环境下车牌的识别，整个网络采用多任务联合训练的方式，输入为车牌彩色图像，输出即为车牌号码，该方法避免了传统车牌识别方法，需要对车牌进行精确切分的弊端，能有效地提高复杂场景下的车牌识别率。

附图说明

图1为本发明流程图；

图2为本发明热力图预测全卷积网络(三层)结构图；

图3为本发明字符序列及位置序列预测卷积神经网络(七层)结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

一种端到端的车牌识别方法，设计了一种3层全卷积神经网络来快速预测字符的热力图，从而得到候选字符区域，该网络具体结构的设计与训练方法如下所示：

1)网络结构：第一层：3x3卷积，stride＝1，pad＝1，滤波器个数128，激活函数AFM，接2x2的池化，stride＝2，pad＝0；第二层：3x3卷积，stride＝1，pad＝1，滤波器个数256，激活函数AFM；第三层：3x3卷积核，stride＝1，pad＝1，滤波器个数512，激活函数AFM；用第三层的特征图编码热力图，该网络结构有两个优势，一是热力图从高分辨率的特征图映射而来，得到的候选字符区域较精确，二是激活函数AFM，通过计算两组特征图的均值，减少字符噪声带来的干扰，并克服了传统激活函数RELU梯度饱和的问题；

2)训练方法：将网络输出的特征图拉升为一维向量，计算其与热力图的欧氏距离作为损失函数，通过批量随机梯度下降算法训练网络。

还可以设计一种7层深度卷积神经网络模型来对候选字符区域进行分类与位置校正，该网络结构的设计与训练方法如下所示：

1)网络结构：该网络包括3个卷积层与4个全连接层，前3个卷积层与权利要求1中的网络结构相同，并与之共享参数来减少计算量，卷积层后接2个256维的全连接层，作为字符区域分类与位置校正的特征，车牌字符共70种，特征后接71维，包括非字符，的全连接层，用来识别字符，特征后接284维，即71X4，每个位置4个坐标，的全连接层，用来预测字符位置；

2)训练方法：本网络的训练采用三任务同时学习的方式，第一任务，采用Softmax方法对候选字符区域进行分类，权重系数设为1；第二任务，采用双端平滑L1距离方法对候选字符区域进行位置校正，权重系数设为10；第三任务，采用重叠率loss，即直接计算预测矩形框与真实矩形框的重叠率作为损失值，也用于候选字符区域进行位置校正，权利系数设为10，该训练方式有两个优势，一是多任务的训练方式，能有效地提高候选区域的识别精度，二是对位置采用双端平滑L1和重叠率双重loss，能有效地保证小字符的位置回归精度。

提出了一种基于模板的最优路径算法，该算法基于权利要求2中的分类与定位结果，结合模板信息，自动选择最优车牌字符序列，其具体算法步骤如下：

S1：将所有候选字符基于识别置信度和位置用K均值聚类算法进行聚类，k取7，因为普通车牌均为7个字符，对每一类取置信度最高的字符作为最优字符，对周围重叠率大于某个阈值，经验值取0.5的字符位置，按置信度加权计算位置坐标的平均值，以进一步校正最优字符的位置；

S2：依次假设最优字符为车牌的第i个字符，根据车牌的模板信息，以最优字符为中心分别向左和向右计算出剩余车牌字符的位置，并与所有候选字符的位置进行匹配，若有多个候选字符匹配，则取置信度高的作为匹配结果。对所有的识别结果按整体平均置信度排序，取最大的作为最终识别结果。

本方法能有效地处理小车牌、脏污车牌、逆光车牌以及大偏角车牌，能够适应停车场、标准卡口、电警、治安摄相机等各种环境下车牌的识别，整个网络采用多任务联合训练的方式，输入为车牌彩色图像，输出即为车牌号码，该方法避免了传统车牌识别方法，需要对车牌进行精确切分的弊端，能有效地提高复杂场景下的车牌识别率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种端到端的车牌识别方法，其特征在于：设计了一种3层全卷积神经网络来快速预测字符的热力图，从而得到候选字符区域，该网络具体结构的设计与训练方法如下所示：

1)网络结构：第一层：3x3卷积，stride＝1，pad＝1，滤波器个数128，激活函数AFM，接2x2的池化，stride＝2，pad＝0；第二层：3x3卷积，stride＝1，pad＝1，滤波器个数256，激活函数AFM；第三层：3x3卷积，stride＝1，pad＝1，滤波器个数512，激活函数AFM；用第三层的特征图编码热力图，该网络结构有两个优势，一是热力图从高分辨率的特征图映射而来，得到的候选字符区域较精确，二是激活函数AFM，通过计算两组特征图的均值，减少字符噪声带来的干扰，并克服了传统激活函数RELU梯度饱和的问题；

2)训练方法：将网络输出的特征图拉升为一维向量，计算其与热力图的欧氏距离作为损失函数，通过批量随机梯度下降算法训练网络；

所述端到端的车牌识别方法还包括：

设计一种7层深度卷积神经网络模型来对候选字符区域进行分类与位置校正，其网络结构的设计与训练方法如下所示：

1)网络结构：该网络包括3个卷积层与4个全连接层，前3个卷积层与所述3层全卷积神经网络中的网络结构相同，并与之共享参数来减少计算量，卷积层后接2个256维的全连接层，作为字符区域分类与位置校正的特征，车牌字符共70种，特征后接71维，包括非字符的全连接层，用来识别字符，特征后接284维，即71X4，每个位置4个坐标的全连接层，用来预测字符位置；

2)训练方法：本网络的训练采用三任务同时学习的方式，第一任务，采用Softmax方法对候选字符区域进行分类，权重系数设为1；第二任务，采用双端平滑L1距离方法对候选字符区域进行位置校正，权重系数设为10；第三任务，采用重叠率loss，即直接计算预测矩形框与真实矩形框的重叠率作为损失值，用于对候选字符区域进行位置校正，权重系数设为10，该训练方式有两个优势，一是多任务的训练方式，能有效地提高候选区域的识别精度，二是对位置采用双端平滑L1和重叠率双重loss，能有效地保证小字符的位置回归精度；

还提出了一种基于模板的最优路径算法，该算法基于分类与位置校正结果，结合模板信息，自动选择最优车牌字符序列，其具体算法步骤如下：

S1：将所有候选字符基于识别置信度和位置用K均值聚类算法进行聚类，K取7，因为普通车牌均为7个字符，对每一类取置信度最高的字符作为最优字符，对周围重叠率大于阈值0.5的字符位置，按置信度加权计算位置坐标的平均值，以进一步校正最优字符的位置；

S2：依次假设最优字符为车牌的第i个字符，根据车牌的模板信息，以最优字符为中心分别向左和向右计算出剩余车牌字符的位置，并与所有候选字符的位置进行匹配，若有多个候选字符匹配，则取置信度高的作为匹配结果，对所有的识别结果按整体平均置信度排序，取最大的作为最终识别结果。

Images