CN110969160B - 一种基于深度学习的车牌图像校正、识别方法及系统 - Google Patents

Abstract

本发明提供了一种基于深度学习的车牌图像校正、识别方法及系统。车牌图像校正方法中LPD‑Net(License Plate Detection Network，车牌检测网络)基于CenterNet与STN(Spatial Transformer Networks，空间变换网络)的思想设计而成。车牌图像识别方法步骤为，首先构建卡口图像车牌专用数据集，再对图像预处理，然后检测车辆所在位置，接着对车辆区域进行检测并校正车牌区域，最后检测车牌字符内容。所述系统包括车牌图像专用数据集构建模块、车牌图像预处理模块、车辆检测模块、车牌检测及校正模块和车牌文字识别模块。本系统可以获得不同场景下的车牌特征信息，且可以通过构建缅甸车牌数据集或卡口车牌数据集，提高缅甸车牌或卡口车牌识别的准确率。

Description

一种基于深度学习的车牌图像校正、识别方法及系统

技术领域

本发明涉及图像识别技术领域，尤其涉及一种车牌图像校正、识别方法及系统。

背景技术

车牌识别系统(Vehicle License Plate Recognition，VLPR)是指能够检测到受监控路面的车辆并自动提取车辆牌照信息(含汉字字符、英文字母、阿拉伯数字及号牌颜色)进行处理的技术。车牌识别是现代智能交通系统中的重要组成部分之一，应用十分广泛。它以数字图像处理、模式识别、计算机视觉等技术为基础，对监控相机所拍摄的车辆图像或者视频序列进行分析，得到每一辆汽车唯一的车牌号码，从而完成识别过程。基于车牌识别，并通过一些后续处理手段可以实现停车场收费管理、交通流量控制指标测量、车辆定位、汽车防盗、高速公路超速自动化监管、闯红灯电子警察、公路收费站等等功能。对于维护交通安全和城市治安，防止交通堵塞，实现交通自动化管理有着现实的意义。

申请日为2018年05月31日，公布日为2018年11月30日，公布号为CN108921151A的中国发明专利申请“一种基于深度学习的普通摄像头全车牌识别系统”。公开了一种基于深度学习的普通摄像头全车牌识别系统。

申请日为2019年02月26日，公布日为2019年06月14日，公布号为CN109886268A的中国发明专利申请“一种基于深度学习的车牌识别系统”。公开了一种基于深度学习的车牌识别系统，其特征在于，所述系统包括初步获取模块、图像检测模块、图像处理模块和字符识别模块。

上述现有技术未针对卡口车辆图像优化，由于卡口车辆车牌区域在图像中占比过小，直接定位车牌区域的结果不准确。

发明内容

技术问题：对于卡口车辆图像，由于车牌区域在图像中占比过小，因此直接定位车牌区域方法的结果不准确，本方案采用先定位车辆区域，之后在车辆区域内定位并校正车牌区域的方法解决该问题；目前所存在的车牌识别方法并未针对缅甸车牌进行优化，对缅甸车牌识别效果不佳，本方案对缅甸车牌的命名规则及其车牌特征进行优化，提高缅甸车牌的识别率和效率。

技术方案：

本发明为一种基于深度学习的车牌图像校正、识别方法及系统，包括以下技术方案：

利用LPD-Net校正车牌图像，步骤为，首先基于关键点获取车牌特征热力图，然后使用回归得到的仿射变换参数校正车牌四个角点为正面角度，得到校正后的车牌图像。

进一步的，所述步骤包括以下子步骤：

S1：使用卷积神经网络提取输入图像的关键点热力图

关键点偏置图

与仿射参数图

式中，W为输入图像宽度，H为输入图像高度，R为下采样步长，C为类别数量。热力图为三维特征图，维度为

图中每点的值为热力值，用

表示，即每点(x,y,c)处的置信度信息。若某像素点热力值大于该点处八邻域所有点热力值，则该点为热力点。我们取C＝1，表示车牌类别，对热力图中车牌类别筛选100个热力点。为避免下采样步长R引起的离散误差，使用关键点偏置图预测关键点的偏置值。偏置图为三维特征图，维度为

图中每点的值为偏置值，用

表示(此处，c取值为1-2)，2表示通道数为2，分别代表水平与垂直方向的偏置值。仿射参数图为三维特征图，维度为

图中每点的值为仿射参数值，用

表示(此处，c取值为1-6)，6表示通道数为6，代表6个仿射变换参数v₁、v₂、v₃、v₄、v₅和v₆。

S2：基于仿射变换参数，对热力点的四个角点位置进行校正，校正公式如下：

式中，v₁和v₄采用max函数，q_i表示以热力点为中心的单位正方形对应顶点的向量，其中q₁＝[-0.5,-0.5]^T，q₂＝[0.5,-0.5]^T，q₃＝[0.5,0.5]^T，q₄＝[-0.5,0.5]^T。

进一步的，所述LPD-Net中损失函数设计如下：

1)关键点预测损失：

式中，α和β代表focal loss的超参数，N是图片中关键点的个数，Y_xyc代表真实值热力图中(x,y,c)处的置信度；

2)关键点偏置损失：

式中，N是图像中关键点的个数，k代表图像中的真实关键点，R为下采样步长，

代表真实关键点在偏置图中对应位置

处的偏置值。

3)仿射损失：

车牌四个角点的真实坐标值归一化公式：

其中γ是一个比例常数，R代表下采样步长、p代表角点真实坐标向量、x和y代表关键点所在位置；

计算单位正方形每个角点的校正值T_xy(q)和车牌角点归一化真实值A_xy(p)的差，然后求和，即为仿射损失：

4)整体损失：

loss＝L_keypoint+λ_offsetL_offset+λ_affineⅡ_objL_affine

式中，我们设置λ_offset＝1，λ_affine＝0.5。如果点(x,y,c)处为热力点则Ⅱ_obj为1，否则为0。

一种所述的一种车牌校正方法的车牌识别方法，其特征在于，包括以下步骤：

S1：构建车牌图像专用数据集；

S2：对专用数据集归一化预处理，从专用数据集中提取图像样本，将提取的图像样本减去数据集样本内所有图像像素的均值；

S3：检测车辆在图像中位置，采用目标检测网络实现车辆检测；

S4：检测车牌并校正；

S5：识别车牌文字。

进一步的，所述S1中数据集包含高亮度图像、低亮度图像和夜晚亮度图像。

进一步的，所述S3采用目标检测网络CenterNet实现车辆检测。

进一步的，所述S5采用CRNN网络和ACE损失函数识别车牌文字。

一种车牌检测校正模块，其特征在于，利用权利要求1所述的一种车牌检测校正方法实现车牌图像的校正。

一种所述方法的车牌检测识别系统，其特征在于，包括以下模块：

车牌图像专用数据集构建模块，用于构建车牌检测和车牌文字识别卡口图像专用数据集，待车牌图像预处理模块提取样本使用；

车牌图像预处理模块，从车牌图像专用数据集构建模块的卡口图像专用数据集中提取样本，用于对获取到的卡口图像进行预处理，将得到的预处理卡口图像送入车辆检测模块中；

车辆检测模块，接收车牌图像预处理模块的预处理卡口图像，对预处理卡口图像检测车辆所在位置，截取车辆区域图像并送入车牌检测及校正模块中；

车牌检测及校正模块，接收车辆检测模块中截取的车辆区域图像，用于对车辆区域图像进行检测并校正车牌区域，得到校正后的图像送入车牌文字识别模块；

车牌文字识别模块，接收车牌检测及校正模块中校正后的图像用于对车牌区域图像针对性地识别车牌字符内容。

有益效果：

本发明与现有技术相比，具有以下优点：

(1)本发明设计了基于关键点的目标检测算法，提升目标检测的mAP值，并与STN网络相融合，获得不同角度下车牌的正向角度图像，有利于提升车牌文字识别的识别率。特别对于卡口车辆图像，由于车牌区域在图像中占比过小，因此直接定位车牌区域方法的结果不准确。本方案通过先构建卡口车辆车牌图像的数据集，再定位图片中车辆区域，之后在车辆区域内定位并校正车牌区域的方法解决该问题，提高了识别率。

(2)本技术方案可以依据缅甸车牌命名规则，筛选识别文字长度为9的作为正确输出，并依据文字包围盒中心点位置信息，选择纵坐标小于0.3的文字为上部分文字，选择纵坐标大于0.3的文字为下部分文字。按照横坐标由左至右进行排序，得到车牌上部分省份文字信息与下部分号码信息。利用缅甸省份为确定文字串这一先验知识(如MDY,YGN,SHN…)，对上部分车牌预测结果进行匹配修正，完成车牌识别，提升了缅甸车牌文字识别的识别率。

附图说明

图1为系统结构示意图；

图2为数据流程图；

图3为LPD-Net的网络结构图。

具体实施方式

下面结合具体实施例对本发明进一步进行描述。

实施例1

步骤1，构建车牌图像专用数据集。

从车牌图像库中筛选图像，人工标定车牌检测数据集和车牌文字识别数据集。

筛选规则，须保证车牌检测数据集与车牌文字识别数据集全面且均衡：

车牌检测数据集中需包含高亮度图像、低亮度图像和夜晚亮度图像各2W张。

步骤2，图像预处理模块。

从图像专用数据集中提取图像样本，再将提取的图像样本减去数据集样本内所有图像像素均值，实现归一化。

步骤3，车辆检测模块。

采用先进的目标检测网络CenterNet实现车辆检测。首先输入预处理得到的图像，采用在COCO数据集上已训练完成的CenterNet模型作为黑盒，获取模型输出，选取COCO数据集中与车辆相关的类别(如Car，Bus，Truck…)认为是车辆目标。

步骤4，车牌检测及校正模块。

LPD-Net(License Plate Detection Network，车牌检测网络)基于CenterNet与STN(Spatial Transformer Networks，空间变换网络)的思想设计而成。LPD-Net基于关键点获取车牌特征热力图，然后使用回归得到的仿射变换参数校正车牌四个角点为正面角度。

基于关键点检测车牌角点信息步骤如下：

S1：使用卷积神经网络提取输入图像的关键点热力图

关键点偏置图

与仿射参数图

式中，W为输入图像宽度，H为输入图像高度，R为下采样步长，C为类别数量。热力图为三维特征图，维度为

图中每点的值为热力值，用

表示，即每点(x,y,c)处的置信度信息。若某像素点热力值大于该点处八邻域所有点热力值，则该点为热力点。我们取C＝1，表示车牌类别，对热力图中车牌类别筛选100个热力点。为避免下采样步长R引起的离散误差，使用关键点偏置图预测关键点的偏置值。偏置图为三维特征图，维度为

图中每点的值为偏置值，用

表示(此处，c取值为1-2)，2表示通道数为2，分别代表水平与垂直方向的偏置值。仿射参数图为三维特征图，维度为

图中每点的值为仿射参数值，用

表示(此处，c取值为1-6)，6表示通道数为6，代表6个仿射变换参数v₁、v₂、v₃、v₄、v₅和v₆。

S2：基于仿射变换参数，对热力点的四个角点位置进行校正，校正公式如下：

式中，v₁和v₄采用max函数，q_i表示以热力点为中心的单位正方形对应顶点的向量，其中q₁＝[-0.5,-0.5]^T，q₂＝[0.5,-0.5]^T，q₃＝[0.5,0.5]^T，q₄＝[-0.5,0.5]^T。

损失函数设计：

1)关键点预测损失：

式中，α和β代表focal loss的超参数，N是图片中关键点的个数，Y_xyc代表真实值热力图中(x,y,c)处的置信度；

2)关键点偏置损失：

式中，N是图像中关键点的个数，k代表图像中的真实关键点，R为下采样步长，

代表真实关键点在偏置图中对应位置

处的偏置值。

3)仿射损失：

车牌四个角点的真实坐标值归一化公式：

其中γ是一个比例常数，R代表下采样步长、p代表角点真实坐标向量、x和y代表关键点所在位置；

计算单位正方形每个角点的校正值T_xy(q)和车牌角点归一化真实值A_xy(p)的差，然后求和，即为仿射损失：

4)整体损失：

loss＝L_keypoint+λ_offsetL_offset+λ_affineⅡ_objL_affine

式中，我们设置λ_offset＝1，λ_affine＝0.5。如果点(x,y,c)处为热力点则Ⅱ_obj为1，否则为0。

步骤5，车牌文字识别模块。

输入车牌检测步骤中所得到的校正车牌区域，使用先进的CRNN网络及ACE损失函数识别车牌文字。

实施例2

步骤1，构建缅甸卡口图像专用数据集。

从卡口图像库中筛选包含缅甸车牌的图像，人工标定车牌检测数据集和车牌文字识别数据集。

筛选规则，须保证车牌检测数据集与车牌文字识别数据集全面且均衡：

S1：车牌检测数据集中需包含红色车牌高亮度图像、红色车牌低亮度图像、红色车牌夜晚亮度图像、黑色车牌高亮度图像、黑色车牌低亮度图像和黑色车牌夜晚亮度图像各1W张。

S2：由于缅甸车牌命名规则的特殊性(缅甸车牌由上下两部分组成：上部分由三个字母组成，代表车辆省份；下部分由数字、字母、数字、数字、数字、数字、数字七位组成)，因此以车牌下部分第二个字母作区分，使得车牌文字识别数据集中包含字母A-Z各2000张。

步骤2，图像预处理模块。

从缅甸卡口图像专用数据集中提取图像样本，再将提取的图像样本减去数据集样本内所有图像像素均值，实现归一化。

步骤3，车辆检测模块。

采用先进的目标检测网络CenterNet实现车辆检测。我们首先输入预处理得到的图像，采用在COCO数据集上已训练完成的CenterNet模型作为黑盒，获取模型输出，选取COCO数据集中与车辆相关的类别(如Car，Bus，Truck…)认为是车辆目标。

步骤4，车牌检测及校正模块。

LPD-Net(License Plate Detection Network，车牌检测网络)基于CenterNet与STN(Spatial Transformer Networks，空间变换网络)的思想设计而成。LPD-Net基于关键点获取车牌特征热力图，然后使用回归得到的仿射变换参数校正车牌四个角点为正面角度。

基于关键点检测车牌角点信息步骤如下：

S1：使用卷积神经网络提取输入图像的关键点热力图

关键点偏置图

与仿射参数图

式中，W为输入图像宽度，H为输入图像高度，R为下采样步长，C为类别数量。热力图为三维特征图，维度为

图中每点的值为热力值，用

表示，即每点(x,y,c)处的置信度信息。若某像素点热力值大于该点处八邻域所有点热力值，则该点为热力点。我们取C＝1，表示车牌类别，对热力图中车牌类别筛选100个热力点。为避免下采样步长R引起的离散误差，使用关键点偏置图预测关键点的偏置值。偏置图为三维特征图，维度为

图中每点的值为偏置值，用

表示(此处，c取值为1-2)，2表示通道数为2，分别代表水平与垂直方向的偏置值。仿射参数图为三维特征图，维度为

图中每点的值为仿射参数值，用

表示(此处，c取值为1-6)，6表示通道数为6，代表6个仿射变换参数v₁、v₂、v₃、v₄、v₅和v₆。

S2：基于仿射变换参数，对热力点的四个角点位置进行校正，校正公式如下：

式中，v₁和v₄采用max函数，q_i表示以热力点为中心的单位正方形对应顶点的向量，其中q₁＝[-0.5,-0.5]^T，q₂＝[0.5,-0.5]^T，q₃＝[0.5,0.5]^T，q₄＝[-0.5,0.5]^T。

损失函数设计：

1)关键点预测损失：

式中，α和β代表focal loss的超参数，N是图片中关键点的个数，Y_xyc代表真实值热力图中(x,y,c)处的置信度；

2)关键点偏置损失：

式中，N是图像中关键点的个数，k代表图像中的真实关键点，R为下采样步长，

代表真实关键点在偏置图中对应位置

处的偏置值。

3)仿射损失：

车牌四个角点的真实坐标值归一化公式：

其中γ是一个比例常数，R代表下采样步长、p代表角点真实坐标向量、x和y代表关键点所在位置；

计算单位正方形每个角点的校正值T_xy(q)和车牌角点归一化真实值A_xy(p)的差，然后求和，即为仿射损失：

4)整体损失：

loss＝L_keypoint+λ_offsetL_offset+λ_affineⅡ_objL_affine

式中，我们设置λ_offset＝1，λ_affine＝0.5。如果点(x,y,c)处为热力点则Ⅱ_obj为1，否则为0。

步骤5，车牌文字识别模块。

输入车牌检测步骤中所得到的校正车牌区域，使用先进的CRNN网络及ACE损失函数识别车牌文字，加速网络训练过程，提升文字识别精确率。

依据缅甸车牌命名规则，筛选识别文字长度为9的作为正确输出，并依据文字包围盒中心点位置信息，选择纵坐标小于0.3的文字为上部分文字，选择纵坐标大于0.3的文字为下部分文字。按照横坐标由左至右进行排序，得到车牌上部分省份文字信息与下部分号码信息。利用缅甸省份为确定文字串这一先验知识(如MDY,YGN,SHN…)，对上部分车牌预测结果进行匹配修正，完成车牌识别。

Claims (7)

1.一种基于深度学习的车牌图像校正方法，其特征在于：利用LPD-Net校正车牌图像，步骤为，首先基于关键点获取车牌特征热力图，然后使用回归得到的仿射变换参数校正车牌图像四个角点为正面角度，获得校正后的车牌图像；

所述步骤包括以下子步骤：

S1：使用卷积神经网络提取输入图像的关键点热力图

关键点偏置图

与仿射参数图

式中，W为输入图像宽度，H为输入图像高度，R为下采样步长，C为类别数量；热力图为三维特征图，维度为

图中每点的值为热力值，用

表示，即每点(x,y,c)处的置信度信息；若某像素点热力值大于该点处八邻域所有点热力值，则该点为热力点；我们取C＝1，表示车牌类别，对热力图中车牌类别筛选100个热力点；为避免下采样步长R引起的离散误差，使用关键点偏置图预测关键点的偏置值；偏置图为三维特征图，维度为

图中每点的值为偏置值，用

表示(此处，c取值为1-2)，2表示通道数为2，分别代表水平与垂直方向的偏置值；仿射参数图为三维特征图，维度为

图中每点的值为仿射参数值，用

表示(此处，c取值为1-6)，6表示通道数为6，代表6个仿射变换参数v₁、v₂、v₃、v₄、v₅和v₆；

S2：基于仿射变换参数，对热力点的四个角点位置进行校正，校正公式如下：

式中，v₁和v₄采用max函数，q_i表示以热力点为中心的单位正方形对应顶点的向量，其中q₁＝[-0.5,-0.5]^T，q₂＝[0.5,-0.5]^T，q₃＝[0.5,0.5]^T，q₄＝[-0.5,0.5]^T；

所述LPD-Net中损失函数设计如下：

1)关键点预测损失：

式中，α和β代表focal loss的超参数，N是图片中关键点的个数，Y_xyc代表真实值热力图中(x,y,c)处的置信度；

2)关键点偏置损失：

式中，N是图像中关键点的个数，k代表图像中的真实关键点，R为下采样步长，

代表真实关键点在偏置图中对应位置

处的偏置值；

3)仿射损失：

车牌四个角点的真实坐标值归一化公式：

其中γ是一个比例常数，R代表下采样步长、p代表角点真实坐标向量、x和y代表关键点所在位置；

计算单位正方形每个角点的校正值T_xy(q)和车牌角点归一化真实值A_xy(p)的差，然后求和，即为仿射损失：

4)整体损失：

loss＝L_keypoint+λ_offsetL_offset+λ_affineⅡ_objL_affine

式中，我们设置λ_offset＝1，λ_affine＝0.5；如果点(x,y,c)处为热力点则Ⅱ_obj为1，否则为0。

2.一种包含权利要求1所述的一种基于深度学习的车牌图像校正方法的车牌图像识别方法，其特征在于，包括以下步骤：

S1：构建车牌图像专用数据集；

S2：对专用数据集归一化预处理，从专用数据集中提取图像样本，将提取的图像样本减去数据集样本内所有图像像素的均值；

S3：检测车辆在图像中位置，采用目标检测网络实现车辆检测；

S4：检测车牌并校正；

S5：识别车牌文字。

3.根据权利要求2所述的一种车牌图像识别方法，其特征在于，所述S1中数据集包含高亮度图像、低亮度图像和夜晚亮度图像。

4.根据权利要求2所述的一种车牌图像识别方法，其特征在于，所述S3采用目标检测网络CenterNet实现车辆检测。

5.根据权利要求2所述的一种车牌图像识别方法，其特征在于，所述S5采用CRNN网络和ACE损失函数识别车牌文字。

6.一种车牌图像校正模块，其特征在于，利用权利要求1所述的一种车牌图像检测校正方法实现车牌图像的校正。

7.一种实现权利要求2所述方法的车牌图像识别系统，其特征在于，包括以下模块：

车牌图像专用数据集构建模块，用于构建车牌检测和车牌文字识别卡口图像专用数据集，待车牌图像预处理模块提取样本使用；

车牌图像预处理模块，从车牌图像专用数据集构建模块的卡口图像专用数据集中提取样本，用于对获取到的卡口图像进行预处理，将得到的预处理卡口图像送入车辆检测模块中；

车辆检测模块，接收车牌图像预处理模块的预处理卡口图像，对预处理卡口图像检测车辆所在位置，截取车辆区域图像并送入车牌检测及校正模块中；

车牌检测及校正模块，接收车辆检测模块中截取的车辆区域图像，用于对车辆区域图像进行检测并校正车牌区域，得到校正后的图像送入车牌文字识别模块；

车牌文字识别模块，接收车牌检测及校正模块中校正后的图像用于对车牌区域图像针对性地识别车牌字符内容。

Images