CN111062381A - 一种基于深度学习的车牌位置检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的车牌位置检测方法，属于车牌识别技术领域，包括：获取待识别的车牌图像；将车牌图像输入至预先训练好的深度神经网络模型中进行前向运算，得到mask特征矩阵和feature特征矩阵；根据mask特征矩阵，获取车牌位置候选区域的掩码图像；根据feature特征矩阵，获取车牌位置候选区域的像素特征；根据车牌位置候选区域的掩码图像和车牌位置候选区域的像素特征，得到车牌图像中车牌位置矩形。本发明通过逐像素语义分割和聚类机制，使得车牌位置的检测结果更加准确，检出率更高。

Description

一种基于深度学习的车牌位置检测方法

技术领域

本发明涉及车牌识别技术领域，特别涉及一种基于深度学习的车牌位置检测方法。

背景技术

车牌识别是智能交通的核心技术，包含了三个部分：车牌位置检测、车牌字符分割和车牌字符识别。其中，车牌位置检测是整个技术最重要的一部分，能否获取高质量的车牌位置，直接影响后续的车牌字符分割，进而影响整体的识别性能。

车牌位置检测是指在一幅图像中，快速找出车牌所在的位置区域。一般通过粗定位和精定位相结合的方法来实现。车牌位置检测保留下来的候选车牌位置区域的数量和质量，是衡量车牌位置检测算法优劣的最重要依据。

目前，车牌位置检测主要有以下几类技术：

(1)基于颜色检测的方法：如“基于彩色二值化图像的车牌定位方法”(中国专利公开号为：CN 103400121 A，公开日期为2013年11月20日)。该类技术在理想光线和图像清晰的情况下，可以达到不错的效果。但是现实环境和光线的复杂多变，不同设备获取图像的清晰也不一样，因此，该类技术在很多情况下存在误检和漏检。

(2)基于机器学习的方法：如“一种基于粗定位与精定位融合的车牌识别方法和系统”(中国专利公开号为：CN 103870803 A，公开日期为2014年06月18日)。该类技术对于复杂的光线和环境具有一定的鲁棒性，但是算法的检测速度很慢，而且会存在较多的误检和部分漏检。

(3)基于边缘特征的方法：如“一种基于差分边缘图像的车牌定位方法”(中国专利公开号：CN 103985135 A，公开日期为2014年08月13日)，“一种在强光条件下车牌精确定位的方法”(中国专利公开号：CN 102693423 A，公开日期为2012年09月26日)。该类技术先获取图像的垂直边缘特征，然后通过形态学运算或者行扫描连线获得连通区域，最后通过连通区域分析获取最终的候选区域。该类技术的优点是算法简单，速度很快，漏检少，对复杂环境抵抗能力强。但同样存在一系列缺点：由于形态学结构元素和行相邻点连接的距离阈值多采用固定值，对于不同尺寸的车牌适应能力较差，进而导致较多误检。有些算法采用尺度变换后多次检测的方法，虽然达到了适应不同尺寸车牌图像的效果，但循环重复的运行过程大大降低了算法速度，严重影响最终性能。

(4)基于深度学习的方法：近年来，深度学习技术凭借着可以模拟人类大脑神经网络，能够进行精确的非线性预测，各个领域都得到了广泛的关注和应用。随之出现了一批经典的目标位置检测网络框架，如faster rcnn，ssd，yolo等，这些经典网络框架通过迁移学习，可以很好地检测车牌位置，但该类技术的缺点是模型消耗内存和运算量很大，基于anchor box的模型训练参数很复杂，不易收敛，这些缺点严重的限制了深度学习算法在车牌位置检测领域的应用。

发明内容

本发明的目的在于克服现有技术存在的不足或缺陷，以提高车牌位置检测结果的准确性。

为实现以上目的，本发明采用一种基于深度学习的车牌位置检测方法，包括如下步骤：

获取待识别的车牌图像；

将车牌图像输入至预先训练好的深度神经网络模型中进行前向运算，得到mask特征矩阵和feature特征矩阵；

根据mask特征矩阵，获取车牌位置候选区域的掩码图像；

根据feature特征矩阵，获取车牌位置候选区域的像素特征；

根据车牌位置候选区域的掩码图像和车牌位置候选区域的像素特征，得到车牌图像中车牌位置矩形。

进一步地，所述深度神经网络模型包括基干网络和预测网络，所述基干网络为0.5mobilenet的截断网络，所述预测网络包括mask分支网络和feature分支网络，所述基干网络的输入为所述车牌图像，基干网络的输出结果为所述车牌图像的高级特征层，基干网络的输出分别接mask分支网络和feature分支网络的输入。

进一步地，所述mask分支网络包括3个上采样块和第一卷积层，3个上采样块依次连接后与第一卷积层输入连接，第一卷积层的输出结果为所述mask特征矩阵；

所述feature分支网络包括3个上采样块和第二卷积层，3个上采样块依次连接后与第二卷积层输入连接，第二卷积层的输出结果为所述feature特征矩阵。

进一步地，所述上采样块包括依次连接的上采样层、第三卷积层、批量化归一层和激活函数层，上采样层采用反卷积操作。

进一步地，所述深度神经网络模型的训练步骤包括：

获取已标注的样本图像训练集，在每个样本图像中，车牌区域标注为1，非车牌区域标注为0；

构建所述深度神经网络模型的目标损失函数，该目标损失函数包括所述mask分支网络的目标损失函数和所述feature分支网络的目标损失函数；

加载预训练的所述基干网络的参数，然后将已标注的样本图像训练集输入至所述深度神经网络模型中进行训练，得到所述预训练后的深度神经网络模型。

进一步地，所述mask分支网络的目标损失函数采用经典的交叉熵损失函数，所述feature分支网络的目标损失函数采用具有聚类性质的高区分度损失函数，其中具有聚类性质的高区分度损失函数为：

其中，L_feature表示所述feature分支网络的目标损失函数，C是所述样本图像中标注的车牌区域数目，n_c表示第c个车牌区域内的像素数目，u_c表示第c个车牌区域的所有像素的特征向量的中心，u_c1表示第c1个车牌区域的所有像素的特征向量的中心，u_c2表示第c2个车牌区域的所有像素的特征向量的中心，x_i表示第i个像素的特征向量，||.||表示L2距离，[x]₊＝max(0,x)，δ_s和δ_d表示偏移量。

进一步地，所述将车牌图像输入至预先训练好的深度神经网络模型中进行前向运算，得到mask特征矩阵和feature特征矩阵，包括：

将所述车牌图像输入至所述预先训练好的深度神经网络模型中，利用所述基干网络提取所述车牌图像的高级特征层，并分别输入至所述mask分支网络和所述feature分支网络；

利用所述mask分支网络对高级特征层进行处理，得到所述mask特征矩阵；

利用所述feature分支网络对高级特征层进行处理，得到所述feature特征矩阵。

进一步地，所述根据mask特征矩阵，获取车牌位置候选区域的掩码图像，包括：

基于所述mask特征矩阵，利用如下公式获取所述车牌图像中车牌位置候选区域的掩码图像：

其中，bin(i，j)表示(i，j)位置处像素的掩码，m(i，j)表示所述mask分支网络的输出特征矩阵上(i，j)位置处预测值，T_obj表示掩码判断阈值。

进一步地，所述根据feature特征矩阵，获取车牌位置候选区域的像素特征，包括：

以所述车牌位置候选区域的掩码图像为参考，在所述feature特征矩阵上提取所有车牌位置候选区域的像素特征。

进一步地，所述根据车牌位置候选区域的掩码图像和车牌位置候选区域的像素特征，得到车牌图像中车牌位置矩形，包括：

对在所述掩码图像上属于同一车牌区域的像素点进行聚类，获得属于同一车牌区域的像素集合；

根据属于同一车牌区域的像素集合，获取其最小外接矩形作为车牌位置矩形。

与现有技术相比，本发明存在以下技术效果：本发明采用深度学习技术对车牌字符进行分割，预测车牌位置区域，利用训练好的深度神经网络模型对车牌图像进行处理，得到mask特征矩阵和feature特征矩阵。从mask特征矩阵中获取车牌位置候选区域的掩码图像和从feature特征矩阵获取车牌位置候选区域的像素特征，对车牌位置候选区域的像素特征进行聚类处理，得到在掩码图像上属于同一车牌位置区域的像素点集合，获取其最小外接矩形，即为车牌位置矩形。本方案通过逐像素语义分割和聚类机制，使得车牌位置的检测结果更加准确，检出率更高。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是一种基于深度学习的车牌位置检测方法的流程示意图；

图2是本发明方案的整体流程示意图；

图3是深度神经网络模型结构图；

图4是mask分支网络结构图；

图5是feature分支网络结构图；

图6是上采样块upsample block结构图；

图7是样本图像标注示意图，其中图(a)表示车牌原始图像，图(b)表示车牌标注图像。

附图中：

每个模块图形旁边的字母数字，表示当前特征层的特征图尺寸，即：特征图高度×特征图宽度×特征图通道数。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1所示，本实施例公开了一种基于深度学习的车牌位置检测方法，包括如下步骤S1至S5：

S1、获取待识别的车牌图像；

S2、将车牌图像输入至预先训练好的深度神经网络模型中进行前向运算，得到mask特征矩阵和feature特征矩阵；

S3、根据mask特征矩阵，获取车牌位置候选区域的掩码图像；

S4、根据feature特征矩阵，获取车牌位置候选区域的像素特征；

S5、根据车牌位置候选区域的掩码图像和车牌位置候选区域的像素特征，得到车牌图像中车牌位置矩形。

其中，mask特征矩阵为1通道、尺寸为300*300的特征矩阵，feature特征矩阵为N通道、尺寸为300*300的特征矩阵，其中N表示每个像素点的特征向量维度。通过对车牌位置候选区域的像素特征进行聚类处理，得到在掩码图像上属于同一车牌区域的像素点集合，获取其最小外接矩形，即为车牌位置矩形。通过逐像素语义分割和聚类机制，使得车牌位置的检测结果更加准确，检出率更高。

在上述对待识别的车牌图像进行车牌位置检测之前，还需对深度神经网络模型进行构建及训练，然后利用训练好的深度神经网络模型进行车牌位置检测，如图2所示：

(1)设计深度神经网络模型：

由于本实施例中深度神经网络模型的作用是，提取输入图像的高级特征层，并根据获取的高级特征层判断车牌图像上每个像素点位置是否属于某一个车牌区域。综合考虑车牌位置检测任务的特殊性和深度神经网络模型的计算复杂性，本实施例采用0.5mobilenet深度神经网络模型作为基干网络，预测网络有两个分支网络，即mask分支网络和feature分支网络，mask分支网络判断图像每个像素点是否属于车牌区域，feature分支网络判断图像像素点是否属于某一个车牌区域，设计后的深度神经网络模型如图3所示，其中，粗黑框区域表示的是使用训练模型进行车牌检测时的后续处理模块。

本实施例采用的深度神经网络是卷积神经网络(Convolutional NeuralNetworks，CNN)，凭借着局部稀疏连接和权值共享，卷积神经网络是图像处理领域应用最普遍的深度神经网络。具体的设计说明如下：

1-1)设计深度神经网络模型的输入图像，本申请所采用的输入图像是尺寸为300*300的RGB图像；

1-2)设计基干网络，基干网络主要用来提取输入图像的高级特征层，是整个深度神经网络模型中运算操作最密集的部分，直接决定了深度神经网络模型的预测速度。本申请的基干网络采用的是0.5mobilenet的截断网络，截断网络的输出特征层尺寸是7*7，mobilenet网络结构(MobileNets:Efficient Convolutional Neural Networks forMobile Vision Applications)因采用了深度分离卷积操作Depthwise Convolution，运算十分高效，其减少了模型的内存消耗，极大地降低了系统的运算量；

1-3)设计mask分支网络，如图4所示，mask分支包括3个上采样块upsample block，模块图形名字中括号内的数值表示上采样率，1个卷积核尺寸是1x1，跨度是1的第一卷积层，该第一卷积层的输出特征矩阵是1通道、尺寸为300*300的特征矩阵；

1-4)设计feature分支网络，如图5所示，feature分支包括3个上采样块upsampleblock，模块图形名字中括号内的数值表示上采样率，1个卷积核尺寸是1x1，跨度是1的第二卷积层，该第二卷积层的输出特征矩阵是N通道、尺寸为300*300的特征矩阵，其中N表示每个像素点的特征向量维度；

1-5)设计upsample block，如图6所示，每一个upsample block包括一个上采样层upsample，模块图形名字中括号内的数值表示上采样率。本实施例中，upsample采用的是常用的反卷积操作deconvolution，1个卷积核尺寸是3x3，跨度是1的卷积层conv，一个批量归一化层batchnorm，一个激活函数层relu。

(2)训练深度神经网络模型：

主要是通过大量的标注好的训练样本数据，优化深度神经网络模型参数，使得深度神经网络模型检测性能最优，具体的步骤如下：

2-1)获取样本图像训练集，样本图像训练集中的样本图像主要是收集各种场景，各种光线、各种角度下的车牌图像，并进行标注，车牌区域标注为1，非车牌区域标注为0，如图7所示；

2-2)设计深度神经网络模型的目标损失函数，其中mask分支网络的目标损失函数采用的是经典的交叉熵损失函数，feature分支网络的目标损失函数采用的是如下公式所定义的具有聚类性质的高区分度损失函数：

其中，L_feature表示所述feature分支网络的目标损失函数，C是所述样本图像中标注的车牌区域数目，n_c表示第c个车牌区域内的像素数目，u_c表示第c个车牌区域的所有像素的特征向量的中心，u_c1表示第c1个车牌区域的所有像素的特征向量的中心，u_c2表示第c2个车牌区域的所有像素的特征向量的中心，x_i表示第i个像素的特征向量，||.||表示L2距离，[x]₊＝max(0,x)，δ_s和δ_d表示偏移量。

2-3)训练深度神经网络模型，首先加载预训练的0.5mobilenet模型参数，然后把整理好的样本图像训练集合送入定义好的深度神经网络模型，学习相关的模型参数。

需要说明的是，本实施例中采用nchor-free机制，降低了模型训练的难度，同时使得训练模型的收敛速度更快。

(3)利用预先训练好的深度神经网络模型对待识别的车牌图像进行处理，检测出车牌位置：

训练完深度神经网络模型后，在实际环境中进行模型使用，对于任意给出的一幅车牌图像，经过深度神经网络模型前向运算后，输出mask分支和feature分支，基于这两个分支综合判断图像中的车牌位置，如图3中的粗黑框区域所示，具体判断方法如下：

3-1)获取高级特征层，将所述车牌图像输入至所述预先训练好的深度神经网络模型中，利用所述基干网络提取所述车牌图像的高级特征层，并分别输入至所述mask分支网络和所述feature分支网络；

3-2)将mask分支网络的输出作为mask特征矩阵；

3-3)将feature分支网络的输出作为feature特征矩阵；

3-4)获取车牌位置候选区域掩码，主要是在mask分支网络输出的mask特征矩阵上，按照如下公式获取车牌图像中车牌位置区域的掩码图像：

其中，bin(i，j)表示(i，j)位置处像素的掩码，m(i，j)表示所述mask分支网络的输出特征矩阵上(i，j)位置处预测值，T_obj表示掩码判断阈值。

3-5)提取车牌位置候选区域的像素特征，主要是在feature分支网络输出的feature特征矩阵上，以车牌位置候选区域掩码为参考，提取所有车牌区域像素的特征向量；

3-6)车牌位置区域识别，主要是判断掩码图像上，哪些像素点是属于同一个车牌区域，主要基于mean shift聚类方法，对所有车牌区域像素的特征向量进行聚类处理，获得属于同一车牌区域的像素集合；

3-7)获取车牌位置矩形，主要是在属于一个车牌区域的像素集合的基础上，获取最小外接矩形，即作为车牌位置矩形。

需要说明的是，在车牌位置检测过程中，采用基于逐像素语义分割和聚类机制，车牌位置检测的更加准确，检出率更高。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的车牌位置检测方法，其特征在于，包括：

获取待识别的车牌图像；

将车牌图像输入至预先训练好的深度神经网络模型中进行前向运算，得到mask特征矩阵和feature特征矩阵；

根据mask特征矩阵，获取车牌位置候选区域的掩码图像；

根据feature特征矩阵，获取车牌位置候选区域的像素特征；

根据车牌位置候选区域的掩码图像和车牌位置候选区域的像素特征，得到车牌图像中车牌位置矩形。

2.如权利要求1所述的基于深度学习的车牌位置检测方法，其特征在于，所述深度神经网络模型包括基干网络和预测网络，所述基干网络为0.5mobilenet的截断网络，所述预测网络包括mask分支网络和feature分支网络，所述基干网络的输入为所述车牌图像，基干网络的输出结果为所述车牌图像的高级特征层，基干网络的输出分别接mask分支网络和feature分支网络的输入。

3.如权利要求2所述的基于深度学习的车牌位置检测方法，其特征在于，所述mask分支网络包括3个上采样块和第一卷积层，3个上采样块依次连接后与第一卷积层输入连接，第一卷积层的输出结果为所述mask特征矩阵；

所述feature分支网络包括3个上采样块和第二卷积层，3个上采样块依次连接后与第二卷积层输入连接，第二卷积层的输出结果为所述feature特征矩阵。

4.如权利要求3所述的基于深度学习的车牌位置检测方法，其特征在于，所述上采样块包括依次连接的上采样层、第三卷积层、批量化归一层和激活函数层，上采样层采用反卷积操作。

5.如权利要求2所述的基于深度学习的车牌位置检测方法，其特征在于，所述深度神经网络模型的训练步骤包括：

获取已标注的样本图像训练集，在每个样本图像中，车牌区域标注为1，非车牌区域标注为0；

构建所述深度神经网络模型的目标损失函数，该目标损失函数包括所述mask分支网络的目标损失函数和所述feature分支网络的目标损失函数；

加载预训练的所述基干网络的参数，然后将已标注的样本图像训练集输入至所述深度神经网络模型中进行训练，得到所述预训练后的深度神经网络模型。

6.如权利要求5所述的基于深度学习的车牌位置检测方法，其特征在于，所述mask分支网络的目标损失函数采用经典的交叉熵损失函数，所述feature分支网络的目标损失函数采用具有聚类性质的高区分度损失函数，其中具有聚类性质的高区分度损失函数为：

其中，L_feature表示所述feature分支网络的目标损失函数，C是所述样本图像中标注的车牌区域数目，n_c表示第c个车牌区域内的像素数目，u_c表示第c个车牌区域的所有像素的特征向量的中心，u_c1表示第c1个车牌区域的所有像素的特征向量的中心，u_c2表示第c2个车牌区域的所有像素的特征向量的中心，x_i表示第i个像素的特征向量，||.||表示L2距离，[x]₊＝max(0,x)，δ_s和δ_d表示偏移量。

7.如权利要求2所述的基于深度学习的车牌位置检测方法，其特征在于，所述将车牌图像输入至预先训练好的深度神经网络模型中进行前向运算，得到mask特征矩阵和feature特征矩阵，包括：

将所述车牌图像输入至所述预先训练好的深度神经网络模型中，利用所述基干网络提取所述车牌图像的高级特征层，并分别输入至所述mask分支网络和所述feature分支网络；

利用所述mask分支网络对高级特征层进行处理，得到所述mask特征矩阵；

利用所述feature分支网络对高级特征层进行处理，得到所述feature特征矩阵。

8.如权利要求1所述的基于深度学习的车牌位置检测方法，其特征在于，所述根据mask特征矩阵，获取车牌位置候选区域的掩码图像，包括：

基于所述mask特征矩阵，利用如下公式获取所述车牌图像中车牌位置候选区域的掩码图像：

其中，bin(i，j)表示(i，j)位置处像素的掩码，m(i，j)表示所述mask分支网络的输出特征矩阵上(i，j)位置处预测值，T_obj表示掩码判断阈值。

9.如权利要求1所述的基于深度学习的车牌位置检测方法，其特征在于，所述根据feature特征矩阵，获取车牌位置候选区域的像素特征，包括：

以所述车牌位置候选区域的掩码图像为参考，在所述feature特征矩阵上提取所有车牌位置候选区域的像素特征。

10.如权利要求1所述的基于深度学习的车牌位置检测方法，其特征在于，所述根据车牌位置候选区域的掩码图像和车牌位置候选区域的像素特征，得到车牌图像中车牌位置矩形，包括：

对在所述掩码图像上属于同一车牌区域的像素点进行聚类，获得属于同一车牌区域的像素集合；

根据属于同一车牌区域的像素集合，获取其最小外接矩形作为车牌位置矩形。

Images