CN110059683A - 一种基于端到端神经网络的大角度车牌倾斜矫正方法 - Google Patents

Abstract

本发明属于车牌智能识别领域，为基于端到端神经网络的大角度车牌倾斜矫正方法，包括以下步骤：利用车牌检测技术得到大致的车牌区域，并对车牌区域进行扩展，得到扩展后的车牌区域，作为输入区域；利用全卷积深度神经网络，对输入区域提取高维特征，获得特征图；解析特征图，得到候选车牌区域四个顶点的绝对坐标；根据候选车牌区域四个顶点的绝对坐标对车牌倾斜矫正。本发明利用全卷积深度神经网络提取高维特征，确定车牌候选区域，回归车牌的仿射变换系数，分别利用仿射变换原理逆向计算四个顶点位置，最后通过仿射变换得到校正后的车牌图像；整个矫正过程不依赖其他硬件设备或算法，具有较高的鲁棒性。

Description

一种基于端到端神经网络的大角度车牌倾斜矫正方法

技术领域

本发明涉及车牌智能识别技术，具体为一种车牌倾斜矫正方法。

背景技术

随着平安城市建设的不断进步以及各行各业监控系统的不断完善，每秒都有海量的视频图像数据被采集，车辆智能分析是视频智能分析最重要应用方向之一。车牌是每辆车唯一的标示，因此精准的自动车牌识别算法显得至关重要。

车牌识别算法一般分为车牌检测、车牌矫正、车牌分割、字符识别四大模块。每个模块间相互关联、相互影响。车牌矫正作为重要模块之一，直接决定了后续车牌分割的成功率。在车牌识别过程中，经常会遇到大角度车牌；大角度车牌一般指水平倾斜角度大于30度而小于60度的车牌，大角度车牌矫正方法是困扰业内很长时间的难点问题。传统的车牌倾斜矫正方法，例如直线拟合、水平投影、radon变换等通常最多只能解决30度以内的车牌倾斜，并且很依赖车牌准确定位与车牌二值化算法。近些年随着深度学习的发展，也出现了不少基于深度学习的车牌矫正方法，最典型的是借鉴人脸特征点定位思想定位车牌四个顶点，最后利用透视变换进行车牌复原；这种深度学习的矫正方法对图像质量要求高，没有充分利用车牌先验知识，对于高噪声或者模糊样本等复杂场景处理能力弱。也有些人通过硬件与算法相结合解决车牌倾斜矫正问题，这种方法成本高，不易部署。

可见，传统的车牌矫正方法逻辑复杂，场景依赖性强，对车牌准确定位和二值化等其它算法的依赖性强，通常处理不了大于30度的倾斜车牌。而基于深度学习回归的四点定位方法鲁棒性差，对复杂场景兼容性不强。业内没有一种有效、场景鲁棒性高、逻辑简单的端到端大角度车牌矫正算法。

发明内容

为解决现有技术所存在的技术问题，本发明提供一种基于端到端神经网络的大角度车牌倾斜矫正方法，不依赖其他硬件设备或算法，具有较高的鲁棒性。

本发明采用以下技术方案来实现：一种基于端到端神经网络的大角度车牌倾斜矫正方法，包括以下步骤：

步骤1、利用车牌检测技术得到大致的车牌区域，并对车牌区域进行扩展，得到扩展后的车牌区域，作为输入区域；

步骤2、利用全卷积深度神经网络，对输入区域提取高维特征，获得特征图；

步骤3、解析特征图，得到候选车牌区域四个顶点的绝对坐标；

步骤4、根据候选车牌区域四个顶点的绝对坐标对车牌倾斜矫正。

在优选的实施例中，在全卷积深度神经网络的最后设有两个平行的卷积层，一个卷积层后面连接Softmax函数，用于得到车牌/非车牌概率；另一个卷积层后面连接线性激活函数，用于得到仿射变换的参数；

所述步骤2对输入区域的高维特征进行提取，将Softmax函数得到的车牌/非车牌概率识别结果与线性激活函数的处理结果拼接，得到所提取的特征图。

在优选的实施例中，假设扩展后车牌区域所在的全图的高度为H，宽度为W，全卷积深度神经网络的卷积步长为N_s，则所提取的特征图的维度为M*N*8，其中：

M＝H/N_s，N＝W/N_s

假设特征图上的每个像素点表示为(m,n)，每个特征点都对应一个维度为8的特征向量V＝[v1,v2,v3,v4,v5,v6,v7,v8]；其中v1表示车牌区域的概率，v2表示非车牌区域的概率，v1和v2由Softmax函数求取；v3～v8表示仿射变换的6个参数，通过线性激活函数求取。

本发明与现有技术相比，具有如下优点和有益效果：将输入的车牌检测区域按照长宽比例扩展作为输入图像，利用全卷积深度神经网络提取高维特征，确定车牌候选区域，回归车牌的仿射变换系数，预置车牌四个顶点，分别利用仿射变换原理逆向计算四个顶点位置。最后通过仿射变换得到校正后的车牌图像；整个矫正过程不依赖其他硬件设备或算法，具有较高的鲁棒性。

附图说明

图1是本发明的矫正流程图；

图2是全卷积深度神经网络的结构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本发明基于端到端神经网络的大角度车牌倾斜矫正方法，包括以下步骤：

步骤1、生成输入区域

利用车牌检测技术得到大致的车牌区域，并对车牌区域进行扩展，得到扩展后的车牌区域，作为输入区域。假设输入的原始车牌区域为(x,y,w,h)，其中(x,y)表示车牌区域左顶点在全图的坐标，w、h分别表示车牌区域的宽和高；扩展后的车牌区域为(x_t,y_t,w_t,h_t)，横向扩展系数为a_w，纵向扩展系数为a_h，通常a_w＝0.3，a_h＝0.2，则：

w_t＝(1+2*a_w)*w

h_t＝(1+2*a_h)*h

x_t＝(x+(w–w_t)/2)

y_t＝(y+(h–y_t)/2)

最终，得到扩展后车牌在全图的区域，作为输入区域。

步骤2、利用全卷积深度神经网络，对输入区域提取高维特征

(1)设计神经网络结构

采用全卷积深度神经网络作为高维特征提取网络，如图2所示，高维特征提取网络包括27个卷积层，27个卷积层具有四种大小的卷积核，分别为3*3、1*3、3*1、1*1。卷积层后面设有ReLU激活层。全卷积深度神经网络总共有4个最大池化层(Max Pooling)，池化核的大小为2*2，卷积步长stride为2。在特征提取网络的最后设有两个平行的卷积层，一个卷积层后面连接Softmax函数，用于得到车牌/非车牌概率；另一个卷积层后面连接线性激活函数，用于得到仿射变换的6个参数。

(2)训练神经网络模型

训练时，输入样本为按照比例将长宽各扩大一倍的车牌区域(即步骤1所生成的输入区域)，标签为精确标定的车牌四个顶点的精确位置。

训练过程中进行在线数据扩展，通过角度变换、长宽比变换、尺寸变换、随机区域截取、颜色分布及对比度变换等数据扩展手段，得到变换后的样本与坐标，输入深度神经网络。变换后的样本统一变换尺度到208*208大小，标签为车牌在扩展后样本中的四个顶点精确位置相对坐标。

训练的损失函数如下式：

包括两个部分，其中loss_loc表示每个顶点与标签的L₂损失函数，loss_cls表示softmax分类损失函数。公式中flag_p表示是否是车牌区域的标签，值为0或1。实际训练过程中当候选区域与标定区域的重叠大于0.45的时候作为正样本，flag_p＝1；反之作为负样本，flag_p＝0。

(3)特征提取

利用训练好的深度神经网络，对输入区域的高维特征进行提取，将Softmax函数得到的车牌/非车牌概率识别结果与线性激活函数的处理结果拼接，得到所提取的特征图。

假设扩展后车牌区域所在的全图的高度为H，宽度为W，卷积步长stride为N_s，则所提取的特征图的维度为M*N*8，其中：

M＝H/N_s，N＝W/N_s

假设特征图上的每个像素点表示为(m,n)，每个特征点都对应一个维度为8的特征向量V＝[v1,v2,v3,v4,v5,v6,v7,v8]。其中v1表示车牌区域的概率，v2表示非车牌区域的概率，v1和v2的求取是一个分类问题，由Softmax函数求取；v3～v8表示仿射变换的6个参数，是一个回归问题，通过线性激活函数求取。

步骤3、解析特征图，得到候选车牌区域四个顶点的绝对坐标。

(1)求仿射变换矩阵

设仿射变换矩阵为M_Affine，则：

这里将v3与v6的最小值限制为0，避免出现车牌左右或者上下翻转的情况。矩阵M_Affine为相对于假设点的仿射变换矩阵，在本实施例中通过深度神经网络求得。

(2)求车牌顶点坐标

假设p_i＝[x_i,y_i]^T，i＝1,…,4，表示车牌四个顶点的相对坐标，依次从左上顶点顺时针分布。仿射变换车牌四个顶点在特征图映射原图区域的相对坐标为q_i，i＝1,2,3,4，本实施例中q₁＝[-0.5,-0.5]，q₂＝[0.5,-0.5]，q₃＝[0.5,0.5]，q₄＝[-0.5,0.5]。将相对坐标与仿射变换矩阵点乘，可以得到车牌四个顶点的相对坐标p_i：

p_i＝[q_i,1]*M_Affine ^T

得到相对坐标后，根据步骤2中深度神经网络的步长stride，将每一个相对坐标p_i恢复成绝对坐标T_mn(p)，如下式：

这里α表示相对坐标恢复到绝对坐标(原始坐标)的尺度，是从训练数据中根据不同大小车牌统计出的车牌宽度实际平均值。α作为车牌尺寸基准值，使得回归仿射变换系数更接近零，降低了回归任务的难度。

步骤4、车牌倾斜矫正

利用步骤3中输出的候选车牌区域四个顶点的绝对坐标，将左右顶点的横坐标相减得到校正后的车牌宽度w_adjust，利用车牌长宽比的先验知识求得校正后的车牌高度h_adjust，以(0,0)作为左上顶点，求得仿射变换矩阵M_adjust。最后进行仿射变换得到最终矫正后的车牌图像。矩阵M_adjust是根据仿射变换原理，用于计算结果的仿射矩阵，求得的是一个固定尺寸大小的矫正后的车牌图片。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于端到端神经网络的大角度车牌倾斜矫正方法，其特征在于，包括以下步骤：

步骤1、利用车牌检测技术得到大致的车牌区域，并对车牌区域进行扩展，得到扩展后的车牌区域，作为输入区域；

步骤2、利用全卷积深度神经网络，对输入区域提取高维特征，获得特征图；

步骤3、解析特征图，得到候选车牌区域四个顶点的绝对坐标；

步骤4、根据候选车牌区域四个顶点的绝对坐标对车牌倾斜矫正。

2.根据权利要求1所述的大角度车牌倾斜矫正方法，其特征在于，在全卷积深度神经网络的最后设有两个平行的卷积层，一个卷积层后面连接Softmax函数，用于得到车牌/非车牌概率；另一个卷积层后面连接线性激活函数，用于得到仿射变换的参数；

所述步骤2对输入区域的高维特征进行提取，将Softmax函数得到的车牌/非车牌概率识别结果与线性激活函数的处理结果拼接，得到所提取的特征图。

3.根据权利要求2所述的大角度车牌倾斜矫正方法，其特征在于，假设扩展后车牌区域所在的全图的高度为H，宽度为W，全卷积深度神经网络的卷积步长为N_s，则所提取的特征图的维度为M*N*8，其中：

M＝H/N_s，N＝W/N_s

假设特征图上的每个像素点表示为(m,n)，每个特征点都对应一个维度为8的特征向量V＝[v1,v2,v3,v4,v5,v6,v7,v8]；其中v1表示车牌区域的概率，v2表示非车牌区域的概率，v1和v2由Softmax函数求取；v3～v8表示仿射变换的6个参数，通过线性激活函数求取。

4.根据权利要求3所述的大角度车牌倾斜矫正方法，其特征在于，步骤3包括：

(1)求仿射变换矩阵M_Affine：

其中将v3与v6的最小值限制为0；

(2)求车牌顶点坐标

假设p_i＝[x_i,y_i]^T，i＝1,…,4，表示车牌四个顶点的相对坐标，依次从左上顶点顺时针分布；仿射变换车牌四个顶点在特征图映射原图区域的相对坐标为q_i，i＝1,2,3,4；将相对坐标与仿射变换矩阵点乘，得到车牌四个顶点的相对坐标p_i：

p_i＝[q_i,1]*M_Affine ^T

根据全卷积深度神经网络的步长，将每一个相对坐标p_i恢复成绝对坐标T_mn(p)：

α表示相对坐标恢复到绝对坐标的尺度，是从训练数据中根据不同大小车牌统计出的车牌宽度实际平均值。

5.根据权利要求4所述的大角度车牌倾斜矫正方法，其特征在于，在相对坐标q_i中，q₁＝[-0.5,-0.5]，q₂＝[0.5,-0.5]，q₃＝[0.5,0.5]，q₄＝[-0.5,0.5]。

6.根据权利要求1所述的大角度车牌倾斜矫正方法，其特征在于，步骤4为：利用候选车牌区域四个顶点的绝对坐标，将左右顶点的横坐标相减得到校正后的车牌宽度，利用车牌长宽比的先验知识求得校正后的车牌高度，以(0,0)作为左上顶点，求得仿射变换矩阵M_adjust，最后进行仿射变换得到最终矫正后的车牌图像。

7.根据权利要求1所述的大角度车牌倾斜矫正方法，其特征在于，步骤1中假设输入的原始车牌区域为(x,y,w,h)，其中(x,y)表示车牌区域左顶点在全图的坐标，w、h分别表示车牌区域的宽和高；扩展后的车牌区域为(x_t,y_t,w_t,h_t)，横向扩展系数为a_w，纵向扩展系数为a_h，则：

w_t＝(1+2*a_w)*w；

h_t＝(1+2*a_h)*h；

x_t＝(x+(w–w_t)/2)；

y_t＝(y+(h–y_t)/2)。

8.根据权利要求7所述的大角度车牌倾斜矫正方法，其特征在于，横向扩展系数a_w＝0.3，纵向扩展系数a_h＝0.2。