CN110033002B - 基于多任务级联卷积神经网络的车牌检测方法 - Google Patents

Abstract

本发明涉及一种基于多任务级联卷积神经网络的车牌检测方法。针对传统的车牌检测方法可扩展性差，泛化能力差，车牌检测效果不佳造成的车牌识别率下降等问题提出了一种多任务级联卷积神经网络的车牌检测方法。为了获得复杂图像中车牌精确定位，该方法通过搭建一种新的多任务级联卷积神经网络模型再CCPD车辆数据上进行大规模训练，其中本发明的网络模型的卷积层采用和BN层相结合的方法来提高对车牌的特征提取能力，加快模型训练速度，使用Relu激活函数增加模型的非线性能力，采用多任务损失函数来提高网络对车牌的分类和回归框准确性，并且回归反馈出车牌的四个关键点信息。最后将训练好的模型应用于车牌检测中。该方法简单灵活，具有较强的实际应用性。

Description

基于多任务级联卷积神经网络的车牌检测方法

技术领域

本发明涉及涉及模式识别与计算机视觉领域，具体涉及一种基于多任务级联卷积神经网络的车牌检测方法。

背景技术

随着公共交通系统的快速发展，智能技术再许多应用中发挥着越来越重要的作用。其中，最为突出的要数视频监控、模式识别、图像处理和自动检测技术，这些技术也越来越受到人们的关注。在我们生活周围，汽车随处可见，已经大众普遍化，成为人们最重要的出行工具。众所周知，每辆汽车都配有唯一的“身份”证件，也就是所谓的车辆的车牌信息。在高效的进行车牌管理中，自动收集并自动识别大量车牌信息是极其关键的环节。因此建立车牌信息的识别和处理系统，已经成为现代社会迫不及待的需求。

传统的车牌检测方法主要有基于边缘的检测方法、基于颜色的检测方法、基于纹理的检测方法、基于字符的检测方法，其中基于边缘的检测方法对复杂场景下的类似边缘较为敏感，检测车牌率低；基于颜色的检测方法会受到光照强度方面的影响；基于纹理的检测方法由于时间复杂度较高，无法满足车牌检测的实时性；基于字符的方法由于复杂场景可能存在其他字符而检测有误。此外上述的方法很难满足大数据量的车牌检测需求，因此所取得的检测效果不令人满意，有待进一步提高。

发明内容

有鉴于此，本发明的目的在于提供一种基于多任务级联卷积神经网络的车牌检测方法，解决针对基于复杂场景下全球眼视频监控道路中车牌检测定位的问题。

为实现上述目的，本发明采用如下技术方案：

一种基于多任务级联卷积神经网络的车牌检测方法，包括以下步骤：

步骤S1：采集车辆图像和车牌图像数据，并预处理；

步骤S2：构建多任务级联卷积神经网络模型；

步骤S3：使用预处理的车辆图像数据对多任务级联卷积神经网络前两级网络进行预训练，使用预处理的车牌图像数据对多任务级联卷积神经网络后一级玩过进行预训练，得到训练好的完整的多任务卷积神经网络模型；

步骤S4：对待检测原始图像数据进行resize到不同尺度，构造待检测图像金字塔；

步骤S5：将待检测图像金字塔输入到训练好的多任务级联卷积神经网络模型进行车牌检测。

进一步的，所述车辆图像和车牌图像数据采集基于CCPD车辆数据库。

进一步的，所述步骤S2具体为：构建由三个网络构成多任务级联卷积神经网络模型，包括第一卷积神经网络P-net、第二卷积神经网络R-net、第三卷积神经网络O-net。

进一步的，所述的第一卷积神经网络P-net，包括：四个卷积层、一个次采样层、一个softmax回归层，其中构成顺序为：卷积层conv1-次采样层mp1-卷积层conv2-卷积层conv3-卷积层conv4-回归层softmax；其中卷积层采用结合 BN层的卷积层来优化网络收敛速度，激励函数使用的Relu激励函数来增加非线性，并对噪声信号和信息信号进行了有效的分离，损失函数采用多任务损失函数结合，由两部分组成，其中车牌分类损失函数采用交叉熵损失函数，车牌预测框回归损失函数采用平方损失函数；

所述第二卷积神经网络R-net，包括：三个卷积层、二个次采样层、二个全连接层、一个softmax回归层。其中构成顺序为：卷积层conv1-次采样层poo1- 卷积层conv2-次采样层pool2-卷积层conv3-全连接层conv4-全连接层conv5- 回归层softmax；其中卷积层采用结合BN层的卷积层来优化网络收敛速度，激励函数使用的Relu激励函数来增加非线性，并对噪声信号和信息信号进行了有效的分离，损失函数采用多任务损失函数结合，由两部分组成，其中车牌分类损失函数采用交叉熵损失函数，车牌预测框回归损失函数采用平方损失函数；

所述第三卷积神经网络O-net，包括：四个卷积层、三个次采样层、二个全连接层、一个softmax回归层；其中构成顺序为：卷积层conv1-次采样层poo1- 卷积层conv2-次采样层pool2-卷积层conv3-次采样层pool3-卷积层conv4-全连接层conv5-全连接层conv6-回归层softmax。其中卷积层采用结合BN层的卷积层来优化网络收敛速度，激励函数使用的Relu激励函数来增加非线性，并对噪声信号和信息信号进行了有效的分离，损失函数采用多任务损失函数结合，由三部分组成，其中车牌分类损失函数采用交叉熵损失函数，车牌预测框回归损失函数采用平方损失函数，车牌关键点回归损失函数采用平方损失函数。

进一步的，所述多任务损失函数具体为：

车牌分类损失函数公式为:

其中车牌分类损失函数

为交叉熵损失函数，p_i为是车牌的概率，

为非车牌的背景标签；

车牌预测框回归损失函数公式为:

其中车牌预测框回归损失函数

是计算网络预测的回归框坐标和实际真实回归框坐标的欧式距离，

为通过卷积神经网络预测得到的回归框坐标，y为实际真实的回归框坐标。y值代表(x,y,w,h)，其中x,y为框左上角的坐标值

车牌关键点定位损失函数为:

其中关键点定位损失函数

是计算网络预测的角点坐标和实际真实角点坐标的欧式距离，

为通过卷积神经网络预测得到的角点坐标，y为实际真实的角点坐标，由于车牌角点坐标一共4个点，每个点2个坐标，故y属于八元组；

多任务损失函数由以上三部分构成，整个损失函数公式为:

其中α_i为任务的重要程度，

为{0，1}的指示器(idicator)。其中多任务第一神经网络P-net的α_j值分别为α_det＝1,α_box＝0.5,α_landmark＝0.3，第二多任务卷积神经网络R-net的α_j值分别为α_det＝1,α_box＝0.5,αlandmark＝0.5,，第三多任务卷积神经网络O-net的α_j值分别为α_det＝1,α_box＝0.5,α_landmark＝1。

进一步的，所述步骤S3具体为：

步骤S31：对多任务级联卷积神经网络模型进行前向训练，包括采用自下而上的无监督学习方式进行前向训练；通过卷积层操作，对预处理过得车辆和车牌数据进行特征提取，其公式为:

所述K⁽ⁱ⁺¹⁾为第i层与第i+1层神经元之间的卷积核；所述

为卷积运算符， b⁽ⁱ⁾为第i层与第i+1层神经元之间的偏置值；所述f(-)为ReLu激活函数，公式为：f(x)＝max(0,x),所述x为该函数的自变量；

步骤S32：通过BN层将前卷积层输出的I⁽ⁱ⁾进行标准化处理，公式为:

其中m为单个mini-batch包含样本个数，ε是为了防止分母取值为零，可以取10^-6，μB为对前卷积层的输入进行均值运算，

为对前卷积层的输入进行方差运算，

是通过进行标准化运算，γ，δ是可学习参数，作用是为了让

的方差和均值为任意值；

步骤S33：次采样层操作，采用最大池化层的方式来进行下采样操作，公式为：

其中f_i为该层输入划分区域的像素值，A_k为次采样层I⁽ⁱ⁾的输入划分为区域其中k∈(1，n)；

步骤S34：采用自顶向下的有监督学习方式进行反向调优，通过调优之后，使得卷积神经网络模型中的每一层隐层的网络权重值都能够达到最优值；卷积层的梯度计算，公式为:

其中L为代价函数(即损失函数)，δ表示经过一次上采样后得到的特征图，

项为

在卷积时与

相乘后得到的一块区域，u,v表示特征图中的像坐标，并通过以上梯度计算来更新各卷积层权值。

进一步的，所述步骤S5具体为：

步骤S51：将待检测图像金字塔输入到多任务级联卷积神经网络模型P-net 网络中，获取候选车牌窗口和边界框回归向量，用边界框回归向量校准候选车牌窗口，之后采用非极大值抑制合并候选车牌窗口，排除非感兴趣的背景图像；

步骤S52：将多任务级联卷积神经网络模型P-net网络输出的候选车牌窗口输入到训练好的多任务级联卷积神经网络模型R-net网络；对候选车牌图像进行精确的提取，过滤错误候选车牌窗口，用边界框回归校准候选车牌窗口，之后再采用非极大值抑制合并候选车牌窗口，排除不存在车牌区域的图像；

步骤S53：将多任务级联卷积神经网络模型R-net网络输出的候选车牌窗口输入到训练好的多任务级联卷积神经网络模型O-net网络，对候选车牌图像进行进一步精准提取，并标记出车牌图像中的四个关键点信息。

本发明与现有技术相比具有以下有益效果：

本发明卷积层采用和BN层相结合的方法来提高对车牌的特征提取能力，加快模型训练速度，使用Relu激活函数增加模型的非线性能力，采用多任务损失函数来提高网络对车牌的分类和回归框准确性，并且回归反馈出车牌的四个关键点信息。

附图说明

图1为本发明的方法流程图；

图2为本发明一实施例中多任务卷积神经网络P-net的结构图；

图3为本发明一实施例中多任务卷积神经网络R-net的结构图；

图4为本发明一实施例中多任务卷积神经网络O-net的结构图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于多任务级联卷积神经网络的车牌检测方法，包括以下步骤：

步骤S1：基于CCPD车辆数据库，采集车辆图像和车牌图像数据，并预处理；

步骤S2：构建由三个网络构成多任务级联卷积神经网络模型，包括第一卷积神经网络P-net、第二卷积神经网络R-net、第三卷积神经网络O-net。

所述的第一卷积神经网络P-net，包括：四个卷积层、一个次采样层、一个 softmax回归层，其中构成顺序为：卷积层conv1-次采样层mp1-卷积层conv2- 卷积层conv3-卷积层conv4-回归层softmax；其中卷积层采用结合BN层的卷积层来优化网络收敛速度，激励函数使用的Relu激励函数来增加非线性，并对噪声信号和信息信号进行了有效的分离，损失函数采用多任务损失函数结合，由两部分组成，其中车牌分类损失函数采用交叉熵损失函数，车牌预测框回归损失函数采用平方损失函数；

所述第二卷积神经网络R-net，包括：三个卷积层、二个次采样层、二个全连接层、一个softmax回归层。其中构成顺序为：卷积层conv1-次采样层poo1- 卷积层conv2-次采样层pool2-卷积层conv3-全连接层conv4-全连接层conv5- 回归层softmax；其中卷积层采用结合BN层的卷积层来优化网络收敛速度，激励函数使用的Relu激励函数来增加非线性，并对噪声信号和信息信号进行了有效的分离，损失函数采用多任务损失函数结合，由两部分组成，其中车牌分类损失函数采用交叉熵损失函数，车牌预测框回归损失函数采用平方损失函数；

所述第三卷积神经网络O-net，包括：四个卷积层、三个次采样层、二个全连接层、一个softmax回归层；其中构成顺序为：卷积层conv1-次采样层poo1- 卷积层conv2-次采样层pool2-卷积层conv3-次采样层pool3-卷积层conv4-全连接层conv5-全连接层conv6-回归层softmax。其中卷积层采用结合BN层的卷积层来优化网络收敛速度，激励函数使用的Relu激励函数来增加非线性，并对噪声信号和信息信号进行了有效的分离，损失函数采用多任务损失函数结合，由三部分组成，其中车牌分类损失函数采用交叉熵损失函数，车牌预测框回归损失函数采用平方损失函数，车牌关键点回归损失函数采用平方损失函数。

本实施例中，所述多任务损失函数具体为：

车牌分类损失函数公式为:

其中车牌分类损失函数

为交叉熵损失函数，pi为是车牌的概率，

为非车牌的背景标签；

车牌预测框回归损失函数公式为:

其中车牌预测框回归损失函数

是计算网络预测的回归框坐标和实际真实回归框坐标的欧式距离，

为通过卷积神经网络预测得到的回归框坐标，y为实际真实的回归框坐标。y值代表(x,y,w,h)，其中x,y为框左上角的坐标值

车牌关键点定位损失函数为:

其中关键点定位损失函数

是计算网络预测的角点坐标和实际真实角点坐标的欧式距离，

为通过卷积神经网络预测得到的角点坐标，y为实际真实的角点坐标，由于车牌角点坐标一共4个点，每个点2个坐标，故y属于八元组；

多任务损失函数由以上三部分构成，整个损失函数公式为:

其中α_i为任务的重要程度，

为{0，1}的指示器(idicator)。其中多任务第一神经网络P-net的α_j值分别为α_det＝1,α_box＝0.5,α_landmark＝0.3，第二多任务卷积神经网络R-net的α_j值分别为α_det＝1,α_box＝0.5,α_landmark＝0.5,，第三多任务卷积神经网络O-net的α_j值分别为α_det＝1,α_box＝0.5,α_landmark＝1。

步骤S3：使用预处理的车辆图像数据对多任务级联卷积神经网络前两级网络进行预训练，使用预处理的车牌图像数据对多任务级联卷积神经网络后一级玩过进行预训练，得到训练好的完整的多任务卷积神经网络模型；

步骤S31：对多任务级联卷积神经网络模型进行前向训练，包括采用自下而上的无监督学习方式进行前向训练；通过卷积层操作，对预处理过得车辆和车牌数据进行特征提取，其公式为:

所述K⁽ⁱ⁺¹⁾为第i层与第i+1层神经元之间的卷积核；所述

为卷积运算符， b⁽ⁱ⁾为第i层与第i+1层神经元之间的偏置值；所述f(-)为ReLu激活函数，公式为：f(x)＝max(0,x),所述x为该函数的自变量；

步骤S32：通过BN层将前卷积层输出的I⁽ⁱ⁾进行标准化处理，公式为:

其中m为单个mini-batch包含样本个数，ε是为了防止分母取值为零，可以取10^-6，μ_B为对前卷积层的输入进行均值运算，

为对前卷积层的输入进行方差运算，

是通过进行标准化运算，γ，δ是可学习参数，作用是为了让

的方差和均值为任意值；

步骤S33：次采样层操作，采用最大池化层的方式来进行下采样操作，公式为：

其中f_i为该层输入划分区域的像素值，A_k为次采样层I⁽ⁱ⁾的输入划分为区域其中k∈(1，n)；

步骤S34：采用自顶向下的有监督学习方式进行反向调优，通过调优之后，使得卷积神经网络模型中的每一层隐层的网络权重值都能够达到最优值；卷积层的梯度计算，公式为:

其中L为代价函数(即损失函数)，δ表示经过一次上采样后得到的特征图，

项为

在卷积时与

相乘后得到的一块区域，u,v表示特征图中的像坐标，并通过以上梯度计算来更新各卷积层权值。

步骤S4：对待检测原始图像数据进行resize到不同尺度，构造待检测图像金字塔；

步骤S5：将待检测图像金字塔输入到训练好的多任务级联卷积神经网络模型进行车牌检测。

步骤S51：将待检测图像金字塔输入到多任务级联卷积神经网络模型P-net 网络中，获取候选车牌窗口和边界框回归向量，用边界框回归向量校准候选车牌窗口，之后采用非极大值抑制合并候选车牌窗口，排除非感兴趣的背景图像；

步骤S52：将多任务级联卷积神经网络模型P-net网络输出的候选车牌窗口输入到训练好的多任务级联卷积神经网络模型R-net网络；对候选车牌图像进行精确的提取，过滤错误候选车牌窗口，用边界框回归校准候选车牌窗口，之后再采用非极大值抑制合并候选车牌窗口，排除不存在车牌区域的图像；

步骤S53：将多任务级联卷积神经网络模型R-net网络输出的候选车牌窗口输入到训练好的多任务级联卷积神经网络模型O-net网络，对候选车牌图像进行进一步精准提取，并标记出车牌图像中的四个关键点信息。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (3)

1.一种基于多任务级联卷积神经网络的车牌检测方法，其特征在于，包括以下步骤：

步骤S1：采集车辆图像和车牌图像数据，并预处理；

步骤S2：构建多任务级联卷积神经网络模型；

步骤S3：使用预处理的车辆图像数据对多任务级联卷积神经网络前两级网络进行预训练，使用预处理的车牌图像数据对多任务级联卷积神经网络后一级网络进行预训练，得到训练好的完整的多任务卷积神经网络模型；

步骤S4：对待检测原始图像数据进行resize到不同尺度，构造待检测图像金字塔；

步骤S5：将待检测图像金字塔输入到训练好的多任务级联卷积神经网络模型进行车牌检测；

所述步骤S2具体为：构建由三个网络构成多任务级联卷积神经网络模型，包括第一卷积神经网络P-net、第二卷积神经网络R-net、第三卷积神经网络O-net；

步所述的第一卷积神经网络P-net，包括：四个卷积层、一个次采样层、一个softmax回归层，其中构成顺序为：卷积层conv1-次采样层mp1-卷积层conv2-卷积层conv3-卷积层conv4-回归层softmax；

所述第二卷积神经网络R-net，包括：三个卷积层、二个次采样层、二个全连接层、一个softmax回归层；其中构成顺序为：卷积层conv1-次采样层poo1-卷积层conv2-次采样层pool2-卷积层conv3-全连接层conv4-全连接层conv5-回归层softmax；

所述第三卷积神经网络O-net，包括：四个卷积层、三个次采样层、二个全连接层、一个softmax回归层；其中构成顺序为：卷积层conv1-次采样层poo1-卷积层conv2-次采样层pool2-卷积层conv3-次采样层pool3-卷积层conv4-全连接层conv5-全连接层conv6-回归层softmax；

其中卷积层采用结合BN层的卷积层，激励函数使用的Relu激励函数，并对噪声信号和信息信号进行分离，损失函数采用多任务损失函数结合，由三部分组成，其中车牌分类损失函数采用交叉熵损失函数，车牌预测框回归损失函数采用平方损失函数，车牌关键点回归损失函数采用平方损失函数

所述多任务损失函数具体为：

车牌分类损失函数公式为:

其中车牌分类损失函数

为交叉熵损失函数，p_i为是车牌的概率，

为非车牌的背景标签；

车牌预测框回归损失函数公式为:

其中车牌预测框回归损失函数

是计算网络预测的回归框坐标和实际真实回归框坐标的欧式距离，

为通过卷积神经网络预测得到的回归框坐标，

为实际真实的回归框坐标；

值代表(x,y,w,h)，其中x,y为框左上角的坐标值；

车牌关键点定位损失函数为:

其中关键点定位损失函数

是计算网络预测的角点坐标和实际真实角点坐标的欧式距离，

为通过卷积神经网络预测得到的角点坐标，

为实际真实的角点坐标，由于车牌角点坐标一共4个点，每个点2个坐标，故

属于八元组；

多任务损失函数由以上三部分构成，整个损失函数公式为:

其中α_i为任务的重要程度，β_i ^j为{0，1}的指示器；其中多任务第一神经网络P-net的α_j值分别为α_det＝1,α_box＝0.5,α_landmark＝0.3，第二多任务卷积神经网络R-net的α_j值分别为α_det＝1,α_box＝0.5,α_landmark＝0.5,第三多任务卷积神经网络O-net的α_j值分别为α_det＝1,α_box＝0.5,α_landmark＝1；

所述步骤S5具体为：

步骤S51：将待检测图像金字塔输入到多任务级联卷积神经网络模型P-net网络中，获取候选车牌窗口和边界框回归向量，用边界框回归向量校准候选车牌窗口，之后采用非极大值抑制合并候选车牌窗口，排除非感兴趣的背景图像；

步骤S52：将多任务级联卷积神经网络模型P-net网络输出的候选车牌窗口输入到训练好的多任务级联卷积神经网络模型R-net网络；对候选车牌图像进行精确的提取，过滤错误候选车牌窗口，用边界框回归校准候选车牌窗口，之后再采用非极大值抑制合并候选车牌窗口，排除不存在车牌区域的图像；

步骤S53：将多任务级联卷积神经网络模型R-net网络输出的候选车牌窗口输入到训练好的多任务级联卷积神经网络模型O-net网络，对候选车牌图像进行进一步精准提取，并标记出车牌图像中的四个关键点信息。

2.根据权利要求1所述的基于多任务级联卷积神经网络的车牌检测方法，其特征在于：所述车辆图像和车牌图像数据采集基于CCPD车辆数据库。

3.根据权利要求1所述的基于多任务级联卷积神经网络的车牌检测方法，其特征在于：所述步骤S3具体为：

步骤S31：对多任务级联卷积神经网络模型进行前向训练，包括采用自下而上的无监督学习方式进行前向训练；通过卷积层操作，对预处理过得车辆和车牌数据进行特征提取，其公式为:

所述K⁽ⁱ⁺¹⁾为第i层与第i+1层神经元之间的卷积核；所述

为卷积运算符，b⁽ⁱ⁾为第i层与第i+1层神经元之间的偏置值；所述f(-)为ReLu激活函数，公式为：f(x)＝max(0,x),所述x为该函数的自变量；

步骤S32：通过BN层将前卷积层输出的I⁽ⁱ⁾进行标准化处理，公式为:

其中m为单个mini-batch包含样本个数，ε是为了防止分母取值为零，取10^-6，μ_B为对前卷积层的输入进行均值运算，

为对前卷积层的输入进行方差运算，

为通过进行标准化运算，γ，δ是可学习参数，作用是为了让

的方差和均值为任意值；

步骤S33：次采样层操作，采用最大池化层的方式来进行下采样操作，公式为：

其中f_i为输入划分区域的像素值，A_k为次采样层I⁽ⁱ⁾的输入划分为区域其中k∈(1，n)；

步骤S34：采用自顶向下的有监督学习方式进行反向调优，通过调优之后，使得卷积神经网络模型中的每一层隐层的网络权重值都能够达到最优值；卷积层的梯度计算，公式为:

其中L为代价函数，

表示经过一次上采样后得到的特征图，

项为

在卷积时与

相乘后得到的一块区域，u,v表示特征图中的像坐标，并通过以上梯度计算来更新各卷积层权值。

Images