CN111563515A - 一种基于改进的Faster-RCNN的车牌识别方法 - Google Patents

Abstract

本发明公开了一种基于改进的Faster‑RCNN的车牌识别方法，涉及车牌识别技术领域；它的方法如下：步骤一：选取特征提取网络；步骤二：用候选框生成网络检测车牌位置；步骤三：车牌检测网络；步骤四：字符识别网络；本发明对车牌图像像素没有过高的要求，并且不需要对字符进行分割，也不需要对车牌图像做车牌矫正以及其它一些繁琐的图像预处理工作；端到端车牌识别算法对输入进网络的车牌图像直接进行字符识别，系统简洁且有着较高的正确识别率。

Description

一种基于改进的Faster-RCNN的车牌识别方法

技术领域

本发明属于车牌识别技术领域，具体涉及一种基于改进的Faster-RCNN的车牌识别方法。

背景技术

在车牌定位中一般利用Sobel 算子检测车牌的边缘。Yujie Liu等人提出了一种颜色边缘特征，该方法对RGB三通道分别进行Sobel运算，利用三通道的边缘特征图通过自定义规则选取边缘点，这种方法可以很好的适应车牌边缘有噪音的情况。数字图像的RGB颜色模型是最常见的图像存储方式，直接利用RGB模型进行车牌定位比较困难，一般会将 RGB模型转换为HSV模型（色度 Hue、饱和度Saturation和纯度Value）进行车牌定位。

车牌定位完成后，需要提取每个字符区域进行字符识别，传统的车牌识别需要进行字符分割，字符分割常用的算法有投影法、模板匹配法和聚类法等。Xin Lei等人用LSTM（Long Short Memory Network）网络，结合CTC（Connectionist TemporalClassification）损失函数用来解决文字识别问题。目前深度学习技术在目标检测领域内发展迅猛，新的网络不断出现，例如2015年的ResNet(Residual Neural Network)网络，深度学习技术应用于车牌识别已有丰富的理论支撑和经验参考。

基于以上难点，需要一种基于改进的Faster-RCNN对车牌识别进行研究，提出了一种端到端的车牌识别算法，以避免分步识别带来的误差放大的问题。

发明内容

为解决现有的问题；本发明的目的在于提供一种基于改进的Faster-RCNN的车牌识别方法。

本发明的一种基于改进的Faster-RCNN的车牌识别方法，它的方法如下：

步骤一：选取特征提取网络：

选择深度残差网络作为提取车牌字符特征的基础网络；

步骤二：用候选框生成网络检测车牌位置：

采用候选框提取网络用于为图像中的目标物体生成候选框，对应卷积特征图上的每个位置，通过RPN网络可以得到k个预先生成的不同尺度、不同长宽比的锚框，车牌分类层输出２k个得分，对应于每个位置上的每个锚框是车牌的概率或者不是车牌的概率，锚框回归层输出４k个数值，分别对应于每个锚框对应的离其最近的标定框的偏置系数，给定一个中心为（X_a，Y_a），长和宽分别为W_a和H_a的锚框，回归层输出的４个数值为（t_x，t_y，t_w，t_h），其中，t_x，t_y为尺度变换因子；t_w，t_h为锚框中心点偏移的对数值；

步骤三：车牌检测网络：

车牌检测网络的目标在于判断候选ROI是否是车牌，以及精修候选的坐标，前面得到的卷积特征图经过最后一个残差Block，得到最终用于车牌检测的特征图，上述得到的feature map经过一个全局的平均池化，此时每一个ROI区域的feature对应展开成一个向量，然后分别经过两个全连接层，分别对应于车牌分类和框回归；

步骤四：字符识别网络：

字符识别网络的目标是基于提取的ROI区域的特征，识别出ROI区域的字符；为了避免车牌分割，实现端到端的识别，且保证识别出来的车牌字符不是乱序的，采用LSTM+CTC的网络来解决。

与现有技术相比，本发明的有益效果为：

一、对车牌图像像素没有过高的要求，并且不需要对字符进行分割，也不需要对车牌图像做车牌矫正以及其它一些繁琐的图像预处理工作；

二、端到端车牌识别算法对输入进网络的车牌图像直接进行字符识别，系统简洁且有着较高的正确识别率。

具体实施方式

本具体实施方式采用以下技术方案：它的方法为：

步骤一：选取特征提取网络：

特征提取的基础网络采用ResNet网络，ResNet 已经取代大多数VGG网络作为提取特征的基础框架。ResNet对比VGG的优势在于它是一个更深层、大型的网络，因此有更大的容量去学习所需要的信息。这些结论在图片分类任务中可行，在目标探测的问题中也应该同样有效；因此选择深度残差网络作为提取车牌字符特征的基础网络；

步骤二：用候选框生成网络检测车牌位置：

Ren等人为目标检测算法设计了一种候选框提取网络（Region ProposalNetwork，RPN），用于为图像中的目标物体生成候选框。对应卷积特征图上的每个位置，通过RPN网络可以得到k个预先生成的不同尺度、不同长宽比的锚框。车牌分类层（plateclassification layer）输出２k个得分，对应于每个位置上的每个锚框是车牌的概率或者不是车牌的概率。锚框回归层（boundingboxregressionlayer）输出４k个数值，分别对应于每个锚框对应的离其最近的标定框（ground－truth）的偏置系数。给定一个中心为（X_a，Y_a），长和宽分别为W_a和H_a的锚框，回归层输出的４个数值为（t_x，t_y，t_w，t_h），其中，t_x，t_y为尺度变换因子；t_w，t_h为锚框中心点偏移的对数值。

步骤三：车牌检测网络：

车牌检测网络的目标在于判断候选ROI（Region of Interests）是否是车牌，以及精修候选的坐标。前面得到的卷积特征图经过最后一个残差Block，得到最终用于车牌检测的特征图。上述得到的feature map经过一个全局的平均池化，此时每一个ROI区域的feature对应展开成一个向量，然后分别经过两个全连接层，分别对应于车牌分类和框回归。

步骤四：字符识别网络：

字符识别网络的目标是基于提取的ROI区域的特征，识别出ROI区域的字符。为了避免车牌分割，实现端到端的识别，且保证识别出来的车牌字符不是乱序的，采用LSTM+CTC的网络来解决。

本实施例主要研究以下几点：

一、研究车牌定位算法：

通过研究分析我国车牌的特点，通过经典的Faster R-CNN网络进行车牌定位，以适应复杂多变的实际场景。使用卷积神经网络来提取图像特征，其优点在于自然场景中的车牌模糊、车牌倾斜、图像背景复杂、图像质量不高等情况相比传统车牌定位算法具有较好的鲁棒性。Faster R-CNN是Ross Girshick在2015年对RCNN和Fast R-CNN进一步改进得到的经典目标检测网络。在检测速度和精度上都有了较大提升，Faster R-CNN检测速度为17fps，Ross Girshick在Faster R-CNN设计了一种候选区域生成网络 RPN（Region ProposalNetwork），该网络与Fast R-CNN共享特征提取网络，这种设计方式使得特征提取、候选区域生成、目标分类、位置精修这目标检测的四大基本步骤整合到了一个深度网络结构中，形成了一个完整的可训练的网络系统。

二、研究车牌字符识别算法：

车牌定位完成后，需要提取每个字符区域进行字符识别，由于我国车牌字符的复杂性和多样性，传统的图像分割识别算法很难达到较好的效果。本文针对车牌中文字符、英文字母和数字，首先基于Faster R-CNN的目标检测神经网络将含字符的车牌检测出来，然后为了避免车牌分割带来的挑战，把车牌字符识别问题看作一个序列标注问题。再用LSTM网络，结合CTC损失函数用来解决这个序列标注问题。

三、与传统车牌识别作对比：

针对车牌识别，以前的研究工作都是先进行字符分割，然后利用光学字符识别法进行逐字符的车牌识别。字符分割是字符识别的基础，因而如何实现对车牌字符的精准分割直接影响到最终车牌识别的准确率。然而，字符分割本身就是一个充满挑战的任务，非常容易受到图像中不均衡光照、阴影、噪声等因素的干扰。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (1)

1.一种基于改进的Faster-RCNN的车牌识别方法，其特征在于：它的方法如下：

步骤一：选取特征提取网络：

选择深度残差网络作为提取车牌字符特征的基础网络；

步骤二：用候选框生成网络检测车牌位置：

采用候选框提取网络用于为图像中的目标物体生成候选框，对应卷积特征图上的每个位置，通过RPN网络可以得到k个预先生成的不同尺度、不同长宽比的锚框，车牌分类层输出２k个得分，对应于每个位置上的每个锚框是车牌的概率或者不是车牌的概率，锚框回归层输出４k个数值，分别对应于每个锚框对应的离其最近的标定框的偏置系数，给定一个中心为（X_a，Y_a），长和宽分别为W_a和H_a的锚框，回归层输出的４个数值为（t_x，t_y，t_w，t_h），其中，t_x，t_y为尺度变换因子；t_w，t_h为锚框中心点偏移的对数值；

步骤三：车牌检测网络：

车牌检测网络的目标在于判断候选ROI是否是车牌，以及精修候选的坐标，前面得到的卷积特征图经过最后一个残差Block，得到最终用于车牌检测的特征图，上述得到的feature map经过一个全局的平均池化，此时每一个ROI区域的feature对应展开成一个向量，然后分别经过两个全连接层，分别对应于车牌分类和框回归；

步骤四：字符识别网络：

字符识别网络的目标是基于提取的ROI区域的特征，识别出ROI区域的字符；为了避免车牌分割，实现端到端的识别，且保证识别出来的车牌字符不是乱序的，采用LSTM+CTC的网络来解决。