CN111401361B - 一种端到端的轻量级深度车牌识别方法 - Google Patents

Abstract

本发明公开了一种端到端的轻量级深度车牌识别方法，属于图像处理及深度学习领域。该方法包括：采集包含车牌的图像，构建车牌数据集；构建车牌检测网络；获取车牌区域图像；构建车牌识别网络；将车牌检测网络和车牌识别网络视为整体，对该整体网络进行端到端训练；利用训练后的网络识别待检测车牌图像中的车牌。本发明提出对模型进行端到端的训练，并通过轻量级卷积神经网络减少车牌识别过程的计算量和时间，具有对待识别图像拍摄角度要求低、车牌定位准确、车牌字符识别准确率高、识别速度快等优点。

Description

一种端到端的轻量级深度车牌识别方法

技术领域

本发明属于图像处理技术与深度学习领域，具体涉及目标识别领域，特别涉及一种端到端的轻量级深度车牌识别方法。

背景技术

随着科技的快速进步，车辆作为交通工具已经得到了普及。但是也为车辆的管理带来了挑战，在诸多停车场所和社会安防系统中，都需要进行车牌识别。同时，随着计算机视觉领域的发展，车辆识别带来的人力需求正逐渐被机器取代。

一般车牌识别过程包括车牌定位、车牌矫正、字符分割、字符识别四个步骤。这些步骤通常通过多个深度学习模型实现，例如，车牌定位过程一般通过特征提取模型进行车牌检测；车牌内容识别过程通常根据特征图进行字符分割及字符识别。

在上述车牌识别过程中，由于多个深度学习模型是单独存在的，且深度学习模型通常具有较大的参数量和计算量，在通过多个深度学习模型进行运算时，会出现大量的计算。本发明提出对模型进行端到端的训练，并通过轻量级卷积神经网络减少车牌识别过程的计算量和时间。

发明内容

本发明的目的在于提供一种提高车牌检测效率和检测精度的车牌识别方法。

实现本发明目的的技术解决方案为：一种端到端的轻量级深度车牌识别方法，所述方法包括以下步骤：

步骤1，采集包含车牌的图像，构建车牌数据集；

步骤2，构建车牌检测网络；

步骤3，获取车牌区域图像；

步骤4，构建车牌识别网络；

步骤5，将车牌检测网络和车牌识别网络视为整体，对该整体网络进行端到端训练；

步骤6，利用训练后的网络识别待检测车牌图像中的车牌。

进一步地，步骤2所述构建车牌检测网络，具体包括：

步骤2-1，构建第一特征提取模块，利用该模块提取车牌数据的特征，生成n个不同尺寸的特征图；

步骤2-2，构建第一特征融合模块，利用该模块实现统一步骤2-1所有特征图的尺寸，对统一尺寸后的所有特征图进行求和，并利用全局上下文增强模块进行全局信息增强，获得第一复合特征图；

步骤2-3，构建第一解码模块，利用该模块对所述第一复合特征图进行解码，解码后输出的特征图通道数为车牌检测所需的信息长度；其中所述所需的信息包括：车牌角点的坐标与置信度。

进一步地，步骤3所述获取车牌区域图像，具体包括：

步骤3-1，将车牌数据集中图像的尺寸统一放缩至M×M；

步骤3-2，进一步将图像尺寸放缩至N×N，N×N为车牌检测网络的输入尺寸，其中，N＜M；

步骤3-3，将车牌检测网络输出的角点坐标投影至步骤3-1中尺寸为M×M的图像中，取出相应的车牌区域图像；

步骤3-4，对所述车牌区域图像进行几何透视矫正。

进一步地，步骤4所述构建车牌识别网络，具体包括：

步骤4-1，构建第二特征提取模块，利用该模块提取步骤3获得的车牌区域图像的特征，生成n个不同尺寸的特征图；

步骤4-2，构建第二特征融合模块，利用该模块实现统一步骤4-1所有特征图的尺寸，在通道维度对统一尺寸后的特征图进行拼接，并利用全局上下文嵌入模块进行特征增强，获得第二复合特征图；

步骤4-3，构建第二解码模块，利用该模块对所述第二复合特征图进行解码，获得车牌字符序列。

进一步地，步骤2-1所述构建第一特征提取模块，具体为：利用基于深度可分离卷积的轻量化模块作为特征提取的基础模块，结合下采样模块，构建第一特征提取模块；

步骤2-3所述构建第一解码模块，具体为：利用基于深度可分离卷积构建的残差模块，以及后卷积模块，构建解码模块；

步骤4-2所述构建第二特征提取模块，具体为：利用基于深度可分离卷积的轻量化模块作为特征提取的基础模块，结合并行下采样模块，构建第二特征提取模块；

步骤4-3对所述第二复合特征图进行解码，具体包括：依次利用分解卷积模块、平均池化层以及对特征图第二维度取平均对第二复合特征图进行处理。

进一步地，所述并行下采样模块包括：

两路分支，一路依次使用步长为1的1×1卷积和步长为2的3×3卷积，另一路采用步长为2的2×2最大池化层，两路的输出特征在通道维度进行拼接后作为一个1×1卷积单元的输入；

或两路分支，一路依次使用步长为1的1×1卷积和步长为(2,1)的3×3卷积，另一路采用步长为(2,1)的3×3最大池化层，两路的输出特征在通道维度进行拼接后作为一个1×1卷积单元的输入；

或两路分支，一路依次使用步长为1的1×1卷积和步长为(2,1)的5×1卷积，另一路采用步长为(2,1)的3×3平均池化层，两路输出特征在通道维度进行拼接后作为一个1×1卷积单元的输入；

或两路分支，一路依次使用步长为1的1×1卷积和步长为(4,1)的7×1卷积，另一路采用步长为(4,1)的5×3平均池化层，两路输出特征在通道维度进行拼接后作为一个1×1卷积单元的输入。

进一步地，步骤5所述将车牌检测网络和车牌识别网络视为整体，对该整体网络进行端到端训练，具体包括：

步骤5-1，从步骤3-2获得的图像中提取若干图像输入至车牌检测网络，获得检测预测张量T1，T1尺寸为

通道数为L1，视为L1个

的栅格图，L1为每个车牌检测所需的信息长度；

步骤5-2，对检测预测张量T1进行后置处理获得检测结果张量R1，尺寸为C×L1；其中，C表示检测到的车牌数量；

步骤5-3，将步骤3-4中经过透视矫正后的车牌区域图像尺寸缩放至车牌识别网络所需的输入尺寸a×b，之后将缩放后的车牌区域图像输入至车牌识别网络，获得识别预测张量T2；

步骤5-4，构建车牌检测与识别网络的损失函数L_total；

步骤5-5，将T1、T2作为输入，根据损失函数计算当前损失值，根据当前损失值对车牌检测与识别网络进行优化；

步骤5-6，从步骤3-2获得的图像中提取若干图像，重复步骤5-1至步骤5-5，直至达到预设终止条件，结束训练。

进一步地，步骤5-2所述对检测预测张量T1进行后置处理检测结果张量R1，具体过程包括：

步骤5-2-1，对检测预测张量T1每个位置预测的四个角点置信度取平均，获得对象得分栅格图g1；

步骤5-2-2，将g1中的得分进行降序排序，并提取前k项得分；

步骤5-2-3，将前k项得分中小于预设阈值H的得分去除；

步骤5-2-4，对剩余得分项进行非极大值抑制，最终保留下来的项即为检测结果张量R1。

进一步地，步骤5-4所述构建车牌检测与识别网络的损失函数L_total，具体包括：

步骤5-4-1，构建检测网络的损失函数：

(1)划分正负样本区域；

构建一个尺寸与检测预测张量T1尺寸相同的栅格图g，将标注的车牌区域角点位置信息投影至栅格图g中，之后按照FoveaBox的方法，将车牌区域按尺寸大小划分成三部分：正样本区域、忽略区域以及负样本区域；具体地，求取车牌区域的中心，将中心到四个角点的距离乘以收缩因子σ₁，获得新的四个角点构成的四边形区域sp，将sp内部作为正样本区域；重新将中心到四个角点的距离乘以收缩因子σ₂，获得新的四个角点构成的四边形区域sn，将sn外部作为负样本区域；sp与sn之间作为忽略区域；其中，0＜σ₁＜σ₂≤1；这三类样本区域对应到T1中得到三类区域的数据；

(2)计算正、负样本区域的整体置信度损失L_conf，所用公式为：

式中，N_pos，N_neg分别代表栅格图g中正、负样本的个数，L_Fl为每个样本的置信度损失，公式如下：

式中，c为预测的对象整体置信度，由一个车牌对象的所有角点置信度得分取平均得到；c_gt为相应的真实置信度；sample代表一个栅格属于正样本还是负样本，1代表正样本，0代表负样本；

(3)计算正样本区域数据中所包含的预测角点坐标的损失L_cor，所用公式为：

式中，L_CG为复合高斯损失，公式如下：

式中，第一项代表角点预测损失，Gscore为对象置信度；第二项代表边界框距离损失，含义与DIoU损失中的对应项相同，b代表预测的角点位置构成的外接矩形边界框，b_gt代表标注的角点位置构成的外接矩形边界框，ρ(b,b_gt)代表两个边界框b、b_gt中心点之间的距离，c代表b、b_gt所确定的外接矩形的对角线长度；第三项代表四边形形状损失，最后一项代表四个角点置信度的离散度损失，其中：

式中，(w₁,h₁,w₂,h₂)代表检测出的四个角点中位于左上和右下的两个角点、右上和左下的两个角点分别组成的两个边界框对应的宽与高，(w₁ ^gt,h₁ ^gt,w₂ ^gt,h₂ ^gt)代表标注信息中对应的四个角点中位于左上和右下的两个角点、右上和左下的两个角点分别组成的两个边界框对应的宽与高，Gs_i表示预测的四个角点中第i个角点的置信度得分，Gs_i ^gt表示标注的第i个角点的真实置信度得分；

(4)构建检测网络的损失函数L_det，所用公式为：

L_det＝L_conf+L_cor

步骤5-4-2，构建识别网络的损失函数L_ctc：

L_ctc＝-∑_(x,z)∈S lnp(z|x)

式中，x为车牌的标注信息中车牌号码对应字典d的编码序列，z为对应字典d的输出序列，p(z|x)代表在x条件下生成z的概率，S表示训练集中的数据；字典d由所有车牌字符类别构成；

步骤5-4-3，根据检测网络的损失函数和识别网络的损失函数构建车牌检测与识别网络的损失函数L_total为：

L_total＝L_det+λL_ctc

式中，λ为权重因子，取值范围为(0,1)。

进一步地，步骤6所述利用训练后的网络识别待检测车牌图像中的车牌，具体过程包括：

步骤6-1，对待检测车牌图像执行步骤5-1至步骤5-3的过程，获得检测结果张量R1和识别预测张量T2；

步骤6-2，按照CTC的实现规则，对T2进行Softmax操作将其变换为概率形式；

步骤6-3，利用贪心搜索获取每个预测位取概率最大的字符，获得车牌的字符序列S；

步骤6-4，去除所述字符序列S的空白位和重复位，获得最终的车牌识别结果R2。

本发明与现有技术相比，其显著优点为：1)利用深度可分离卷积与跨越式连接构建轻量级深度学习模型进行车牌检测和车牌字符识别，解决了深度学习模型的大计算量和低效率问题，使整个车牌识别过程的速度获得了大幅提升；2)车牌检测过程针对图像采集时摄像头带来的透视效果与畸变，摒弃了传统的矩形检测方法(预测车牌的边界框)，通过密集检测的方法对车牌的四个角点位置进行预测，实现了对待识别图像中任意四边形车牌的位置预测和矫正，减少了车牌区域所含的冗余背景信息；3)针对四边形角点检测问题提出了多约束高斯距离损失函数，对角点的置信度、距离、形状、离散度四个方面进行复合指标的约束，有效提高了车牌检测精度；4)字符识别过程利用全卷积神经网络和CTC损失函数，无需传统的字符分割步骤，直接利用车牌图像进行字符序列的识别，达到了对不定长字符的识别效果；5)在模型训练过程中，通过直接将检测后的车牌图像用于字符识别，并将检测模型的损失函数与字符识别模型的损失函数加权后相结合，达到了端到端的模型训练效果，保证了车牌识别结果的准确率；6)整个端到端的轻量级深度车牌识别方法具有对待识别图像拍摄角度要求低、车牌定位准确、车牌字符识别准确率高、识别速度快等优点。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为一个实施例中端到端的轻量级深度车牌识别方法的流程图。

图2为一个实施例中ShuffleNetv2的基础模块示意图，其中图(a)为普通模块，图(b)为下采样模块。

图3为一个实施例中构建网络过程中使用到的网络模块示意图，其中图(a)为下采样stem模块，图(b)为基于深度可分离卷积的残差模块。

图4为一个实施例中检测网络各部分结构示意图，其中图(a)至图(e)分别为第一特征提取网络、第二特征提取网络、第三特征提取网络、特征融合网络、解码网络的结构图。

图5为一个实施例中检测网络整体示意图。

图6为一个实施例中并行下采样模块的结构图，其中图(a)至图(d)分别为4种不同类型的并行下采样模块。

图7为一个实施例中识别网络各部分结构示意图，其中图(a)至图(d)分别为第四特征提取网络、第五特征提取网络、第六特征提取网络、特征融合与解码网络的结构图。

图8为一个实施例中识别网络整体示意图。

图9为一个实施例中模型一次预测实现示意图。

图10为一个实施例中检测网络训练阶段车牌区域的正负样本划分示意图，图中最内侧框内为正样本区域，中间框外围为负样本区域，两者之间为忽略区域。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，结合图1，提供了一种端到端的轻量级深度车牌识别方法，该方法包括以下步骤：

步骤1，采集包含车牌的图像，构建车牌数据集；

步骤2，构建车牌检测网络；

步骤3，获取车牌区域图像；

步骤4，构建车牌识别网络；

步骤5，将车牌检测网络和车牌识别网络视为整体，对该整体网络进行端到端训练；

步骤6，利用训练后的网络识别待检测车牌图像中的车牌。

进一步地，在其中一个实施例中，上述步骤1采集包含车牌的图像，构建车牌数据集，具体包括：

步骤1-1，采集车牌图像；

这里，采集的图像包括公开的中文车牌数据集CCPD以及在实际场景采集的车牌图像；

步骤1-2，标注车牌图像，包括标记车牌图像中每个车牌的四个角点坐标以及车牌号码，一幅车牌图像对应一个文本文件，文本文件中逐行记录该车配图像中每个车牌的标注信息；

步骤1-3，按预设的比例n1:n2:n3对车牌图像及其对应的标注数据进行随机抽样，构建训练集、验证集和测试集；其中n1+n2+n3＝1。

示例性地，n1:n2:n3＝8:1:1。

进一步地，在其中一个实施例中，上述步骤2构建车牌检测网络，具体包括：

步骤2-1，构建第一特征提取模块，利用该模块提取车牌数据的特征，生成n个不同尺寸的特征图；

步骤2-2，构建第一特征融合模块，利用该模块实现统一步骤2-1所有特征图的尺寸，对统一尺寸后的所有特征图进行求和，并利用全局上下文增强模块进行全局信息增强，获得第一复合特征图；

步骤2-3，构建第一解码模块，利用该模块对第一复合特征图进行解码，解码后输出的特征图通道数为车牌检测所需的信息长度；其中所需的信息包括：车牌角点的坐标与置信度。

这里，优选地，上述步骤2-1构建第一特征提取模块，具体为：利用基于深度可分离卷积的轻量化模块作为特征提取的基础模块，结合下采样模块，构建第一特征提取模块；

上述步骤2-3构建第一解码模块，具体为：利用基于深度可分离卷积构建的残差模块，以及后卷积模块，构建解码模块。

具体地，结合图4和图5，上述步骤2的车牌检测网络包括：

第一特征提取网络，结合图4(a)，包括依次设置的并行下采样Stem模块如图3(a)所示、第一ShuffleNet模块、第二ShuffleNete模块、第三ShuffleNet模块和第一全局上下文增强模块；其中，第一ShuffleNet模块为ShuffleNet下采样单元如图2(b)所示，第二ShuffleNet模块、第三ShuffleNet模块均为ShuffleNet基础单元如图2(a)所示；第一ShuffleNet模块与第三ShuffleNet模块的输出特征图在通道维度进行拼接后作为第一全局上下文增强模块的输入，第一全局上下文增强模块的输出作为第一特征提取网络的输出；第一特征提取网络的输入为RGB图像数据，尺寸为N×N，通道数为3，输出记为第一特征图fm1_1；

第二特征提取网络，结合图4(b)，包括依次设置的第四ShuffleNet模块、第五ShuffleNet模块、第六ShuffleNet模块、第二全局上下文增强模块、第七ShuffleNet模块、第八ShuffleNet模块、第九ShuffleNet模块和第十ShuffleNet模块；其中，第四ShuffleNet模块为ShuffleNet下采样单元，第五至第十ShuffleNet模块均为ShuffleNet基础单元；将第五与第七ShuffleNet模块的输出特征图在通道维度进行拼接后作为第二全局上下文增强模块的输入；第二全局上下文增强模块的输出和第八ShuffleNet模块的输出求和，作为第九ShuffleNet模块的输入述第七ShuffleNet模块的输出和第九ShuffleNet模块的输出求和，作为第十ShuffleNet模块的输入；第八ShuffleNet模块的输出和第十ShuffleNet模块的输出求和，作为第二特征提取网络的输出；第二特征提取网络的输入为第一特征图fm1_1，尺寸为

输出记为第二特征图fm1_2；

第三特征提取网络，结合图4(c)，包括依次设置的第十一ShuffleNet模块、第十二ShuffleNet模块、第十三ShuffleNet模块和第十四ShuffleNet模块；其中，第十一ShuffleNet模块为ShuffleNet下采样单元，第十二至第十四ShuffleNet模块均为ShuffleNet基础单元；第十一ShuffleNet模块的输出和第十三ShuffleNet模块的输出求和，作为第十四ShuffleNet模块的输入；第十二ShuffleNet模块的输出和第十四ShuffleNet模块的输出求和，作为第三特征提取网络的输出；第三特征提取网络的输入为第二特征图fm1_2，尺寸为

输出记为第三特征图fm1_3；

特征融合网络，结合图4(d)，包括第一1×1卷积模块、第二1×1卷积模块、第三全局上下文增强模块，该特征融合网络的输入为第一特征图fm1_1、第二特征图fm1_2和第三特征图fm1_3；第一特征图fm1_1依次经插值操作和第一1×1卷积模块的卷积操作，获得尺寸与第二特征图fm1_2相同的第四特征图fm1_4；第三特征图fm1_3依次经插值操作和第二1×1卷积模块的卷积操作，获得尺寸与第二特征图fm1_2相同的第五特征图fm1_5；第二特征图fm1_2、第四特征图fm1_4、第五特征图fm1_5在通道维度进行拼接后作为第三全局上下文增强模块的输入，第三全局上下文增强模块的输出作为特征融合网络的输出，记为复合特征图fm1_6；

上述网络中加入了全局上下文增强模块，能提升网络的特征表达能力。

解码网络，结合图4(e)，包括依次设置的第一深度可分离残差模块、第二深度可分离残差模块、第一3×3卷积模块和第三1×1卷积模块；其中，结合图3(b)，深度可分离残差模块包括两路网络分支，一路为深度可分离卷积，另一路为1×1卷积；解码网络的输入为复合特征图fm1_6，尺寸为

输出为最终的检测预测张量T1，尺寸为

通道数为L1，L1为检测任务所需的信息长度；

进一步地，在其中一个实施例中，上述步骤3获取车牌区域图像，具体包括：

步骤3-1，将车牌数据集中图像的尺寸统一放缩至M×M；

步骤3-2，进一步将图像尺寸放缩至N×N，N×N为车牌检测网络的输入尺寸，其中，N＜M；

步骤3-3，将车牌检测网络输出的角点坐标投影至步骤3-1中尺寸为M×M的图像中，取出相应的车牌区域图像；

步骤3-4，对车牌区域图像进行几何透视矫正。

进一步地，在其中一个实施例中，上述步骤4构建车牌识别网络，具体包括：

步骤4-1，构建第二特征提取模块，利用该模块提取步骤3获得的车牌区域图像的特征，生成n个不同尺寸的特征图；

步骤4-2，构建第二特征融合模块，利用该模块实现统一步骤4-1所有特征图的尺寸，在通道维度对统一尺寸后的特征图进行拼接，并利用全局上下文嵌入模块进行特征增强，获得第二复合特征图；

步骤4-3，构建第二解码模块，利用该模块对第二复合特征图进行解码，获得车牌字符序列。

这里，优选地，上述步骤4-2构建第二特征提取模块，具体为：利用基于深度可分离卷积的轻量化模块作为特征提取的基础模块，结合并行下采样模块，构建第二特征提取模块；

上述步骤4-3对第二复合特征图进行解码，具体包括：依次利用分解卷积模块、平均池化层以及对特征图第二维度取平均对第二复合特征图进行处理。

具体地，结合图7和图8，上述步骤4中车牌识别网络包括：

第四特征提取网络，结合图7(a)，包括依次设置的第二3×3卷积模块、3×3最大池化模块、第十五ShuffleNet模块、第一并行下采样模块、第十六ShuffleNet模块以及第十七ShuffleNet模块；其中，第二3×3卷积模块和3×3最大池化模块步长均为1，第十五至第十七ShuffleNet模块均为ShuffleNet基础单元；结合图6(a)，第一并行下采样模块包括两路分支，一路依次使用步长为1的1×1卷积和步长为2的3×3卷积，另一路采用步长为2的2×2最大池化层，两路的输出特征在通道维度进行拼接后作为一个1×1卷积单元的输入；第一并行下采样模块的输出与第十七ShuffleNet模块的输出求和，作为第四特征提取网络的输出；第四特征提取网络的输入为车牌区域RGB图像，尺寸为a×b，通道数为3，输出记为第四特征图fm2_1；

第五特征提取网络，结合图7(b)，包括依次设置的第二并行下采样模块、第十八ShuffleNet模块、第十九ShuffleNet模块和第一全局上下文嵌入模块；其中，结合图6(b)，第二并行下采样模块包括两路分支，一路依次使用步长为1的1×1卷积和步长为(2,1)的3×3卷积，另一路采用步长为(2,1)的3×3最大池化层，两路的输出特征在通道维度进行拼接后作为一个1×1卷积单元的输入；第二并行下采样模块的输出与第十九ShuffleNet模块的输出求和，作为第一全局上下文嵌入模块的输入，第一全局上下文嵌入模块的输出作为第五特征提取网络的输出；第二特征提取网络的输入为第四特征图fm2_1，尺寸为

输出记为第五特征图fm2_2；

第六特征提取网络，结合图7(c)，包括依次设置的第三并行下采样模块、第二十ShuffleNet模块、第二十一ShuffleNet模块和第二十二ShuffleNet模块；其中，第三并行下采样模块与第二并行下采样模块的结构相同；第三并行下采样模块的输出与第二十一ShuffleNet模块的输出求和，作为第二十二ShuffleNet模块的输入；第二十ShuffleNet模块的输出与第二十二ShuffleNet模块的输出求和，作为第六特征提取网络的输出；第六特征提取网络的输入为第五特征图fm2_2，尺寸为

输出记为第六特征图fm2_3；

特征融合与解码网络，结合图7(d)，包括第四并行下采样模块、第五并行下采样模块，以及依次设置的第二全局上下文嵌入模块、第一5×1卷积模块、第二5×1卷积模块、第三5×1卷积模块、步长为(1,4)的3×4平均池化层和第四1×1卷积模块；其中，结合图6(d)，第四并行下采样模块包括两路分支，一路依次使用步长为1的1×1卷积和步长为(4,1)的7×1卷积，另一路采用步长为(4,1)的5×3平均池化层，两路输出特征在通道维度进行拼接后作为一个1×1卷积单元的输入；结合图6(c)，第五并行下采样模块包括两路分支，一路依次使用步长为1的1×1卷积和步长为(2,1)的5×1卷积，另一路采用步长为(2,1)的3×3平均池化层，两路输出特征在通道维度进行拼接后作为一个1×1卷积单元的输入；特征融合与解码网络的输入为fm2_1、fm2_2、fm2_3；fm2_1经第四并行下采样模块处理获得第七特征图fm2_4，fm2_2经第五并行下采样模块处理获得第八特征图fm2_5；fm2_3、fm2_4、fm2_5在通道维度拼接后作为第二全局上下文嵌入模块的输入；对第四1×1卷积模块的输出特征图的第二维数据取平均，输出最终识别预测张量T2，尺寸为L_M×L_C；其中，L_M为预测的车牌字符最大长度，L_C为车牌字符类别总数加一，这里“一”表示空白项。

示例性优选地，上述a与b的关系为a/b＝3。

进一步地，在其中一个实施例中，上述步骤5将车牌检测网络和车牌识别网络视为整体，对该整体网络进行端到端训练，具体过程包括：

步骤5-1，从步骤3-2获得的图像中提取若干图像输入至车牌检测网络，获得检测预测张量T1，T1尺寸为

通道数为L1，视为L1个

的栅格图，L1为每个车牌检测所需的信息长度；

步骤5-2，对检测预测张量T1进行后置处理获得检测结果张量R1，尺寸为C×L1；其中，C表示检测到的车牌数量；

步骤5-3，将步骤3-4中经过透视矫正后的车牌区域图像尺寸缩放至车牌识别网络所需的输入尺寸a×b，之后将缩放后的车牌区域图像输入至车牌识别网络，获得识别预测张量T2；

步骤5-4，构建车牌检测与识别网络的损失函数L_total；

步骤5-5，将T1、T2作为输入，根据损失函数计算当前损失值，根据当前损失值对车牌检测与识别网络进行优化；

步骤5-6，从步骤3-2获得的图像中提取若干图像，重复步骤5-1至步骤5-5，直至达到预设终止条件，结束训练。

示例性优选地，上述步骤3-1、步骤3-2对图像尺寸进行统一，步骤5-3对图像进行缩放，均采用双线性插值法。

进一步地，在其中一个实施例中，上述步骤5-2对检测预测张量T1进行后置处理检测结果张量R1，具体过程包括：

步骤5-2-1，对检测预测张量T1每个位置预测的四个角点置信度取平均，获得对象得分栅格图g1；

步骤5-2-2，将g1中的得分进行降序排序，并提取前k项得分；

步骤5-2-3，将前k项得分中小于预设阈值H的得分去除；

步骤5-2-4，对剩余得分项进行非极大值抑制，最终保留下来的项即为检测结果张量R1。

进一步地，在其中一个实施例中，上述步骤5-4构建车牌检测与识别网络的损失函数L_total，具体包括：

步骤5-4-1，构建检测网络的损失函数：

(1)划分正负样本区域；

构建一个尺寸与检测预测张量T1尺寸相同的栅格图g，将标注的车牌区域角点位置信息投影至栅格图g中，之后按照FoveaBox的方法，将车牌区域按尺寸大小划分成三部分：正样本区域、忽略区域以及负样本区域；具体地，求取车牌区域的中心，将中心到四个角点的距离乘以收缩因子σ₁，获得新的四个角点构成的四边形区域sp如图10中的最内侧框，将sp内部作为正样本区域；重新将中心到四个角点的距离乘以收缩因子σ₂，获得新的四个角点构成的四边形区域sn如图10中的中间框，将sn外部作为负样本区域；sp与sn之间作为忽略区域；其中，0＜σ₁＜σ₂≤1；这三类样本区域对应到T1中得到三类区域的数据；

(2)计算正、负样本区域的整体置信度损失L_conf，所用公式为：

式中，N_pos，N_neg分别代表栅格图g中正、负样本的个数，L_Fl为每个样本的置信度损失，公式如下：

式中，c为预测的对象整体置信度，由一个车牌对象的所有角点置信度得分取平均得到；c_gt为相应的真实置信度；sample代表一个栅格属于正样本还是负样本，1代表正样本，0代表负样本；

(3)计算正样本区域数据中所包含的预测角点坐标的损失L_cor，所用公式为：

式中，L_CG为多约束高斯距离损失，公式如下：

式中，第一项代表角点预测损失，Gscore为对象置信度；第二项代表边界框距离损失，含义与DIoU损失中的对应项相同，b代表预测的角点位置构成的外接矩形边界框，b_gt代表标注的角点位置构成的外接矩形边界框，ρ(b,b_gt)代表两个边界框b、b_gt中心点之间的距离，c代表b、b_gt所确定的外接矩形的对角线长度；第三项代表四边形形状损失，最后一项代表四个角点置信度的离散度损失，其中：

式中，(w₁,h₁,w₂,h₂)代表检测出的四个角点中位于左上和右下的两个角点、右上和左下的两个角点分别组成的两个边界框对应的宽与高，(w₁ ^gt,h₁ ^gt,w₂ ^gt,h₂ ^gt)代表标注信息中对应的四个角点中位于左上和右下的两个角点、右上和左下的两个角点分别组成的两个边界框对应的宽与高，Gs_i表示预测的四个角点中第i个角点的置信度得分，Gs_i ^gt表示标注的第i个角点的真实置信度得分；

(4)构建检测网络的损失函数L_det，所用公式为：

L_det＝L_conf+L_cor

步骤5-4-2，构建识别网络的损失函数L_ctc：

L_ctc＝-∑_(x,z)∈S lnp(z|x)

式中，x为车牌的标注信息中车牌号码对应字典d的编码序列，z为对应字典d的输出序列，p(z|x)代表在x条件下生成z的概率，S表示训练集中的数据；字典d由所有车牌字符类别构成；

步骤5-4-3，根据检测网络的损失函数和识别网络的损失函数构建车牌检测与识别网络的损失函数L_total为：

L_total＝L_det+λL_ctc

式中，λ为权重因子，取值范围为(0,1)。

示例性优选地，上述λ＝0.5。

进一步地，在其中一个实施例中，结合图9，上述步骤6利用训练后的网络识别待检测车牌图像中的车牌，具体过程包括：

步骤6-1，对待检测车牌图像执行步骤3-1至步骤3-6的过程，获得检测结果张量R1和识别预测张量T2；

步骤6-2，按照CTC的实现规则，对T2进行Softmax操作将其变换为概率形式；

步骤6-3，利用贪心搜索获取每个预测位取概率最大的字符，获得车牌的字符序列S；

步骤6-4，去除字符序列S的空白位和重复位，获得最终的车牌识别结果R2。

综上，本发明提出对模型进行端到端的训练，并通过轻量级卷积神经网络减少车牌识别过程的计算量和时间，具有对待识别图像拍摄角度要求低、车牌定位准确、车牌字符识别准确率高、识别速度快等优点。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (2)

1.一种端到端的轻量级深度车牌识别方法，其特征在于，所述方法包括以下步骤：

步骤1，采集包含车牌的图像，构建车牌数据集；

步骤2，构建车牌检测网络；具体包括：

步骤2-1，构建第一特征提取模块，利用该模块提取车牌数据的特征，生成n个不同尺寸的特征图；所述构建第一特征提取模块，具体为：利用基于深度可分离卷积的轻量化模块作为特征提取的基础模块，结合下采样模块，构建第一特征提取模块；

步骤2-2，构建第一特征融合模块，利用该模块实现统一步骤2-1所有特征图的尺寸，对统一尺寸后的所有特征图进行求和，并利用全局上下文增强模块进行全局信息增强，获得第一复合特征图；

步骤2-3，构建第一解码模块，利用该模块对所述第一复合特征图进行解码，解码后输出的特征图通道数为车牌检测所需的信息长度；其中所述所需的信息包括：车牌角点的坐标与置信度；所述构建第一解码模块，具体为：利用基于深度可分离卷积构建的残差模块，以及后卷积模块，构建解码模块；

步骤3，获取车牌区域图像；

步骤4，构建车牌识别网络；具体包括：

步骤4-1，构建第二特征提取模块，利用该模块提取步骤3获得的车牌区域图像的特征，生成n个不同尺寸的特征图；

步骤4-2，构建第二特征融合模块，利用该模块实现统一步骤4-1所有特征图的尺寸，在通道维度对统一尺寸后的特征图进行拼接，并利用全局上下文嵌入模块进行特征增强，获得第二复合特征图；所述构建第二特征提取模块，具体为：利用基于深度可分离卷积的轻量化模块作为特征提取的基础模块，结合并行下采样模块，构建第二特征提取模块；

所述并行下采样模块包括：

两路分支，一路依次使用步长为1的1×1卷积和步长为2的3×3卷积，另一路采用步长为2的2×2最大池化层，两路的输出特征在通道维度进行拼接后作为一个1×1卷积单元的输入；

或两路分支，一路依次使用步长为1的1×1卷积和步长为(2,1)的3×3卷积，另一路采用步长为(2,1)的3×3最大池化层，两路的输出特征在通道维度进行拼接后作为一个1×1卷积单元的输入；

或两路分支，一路依次使用步长为1的1×1卷积和步长为(2,1)的5×1卷积，另一路采用步长为(2,1)的3×3平均池化层，两路输出特征在通道维度进行拼接后作为一个1×1卷积单元的输入；

或两路分支，一路依次使用步长为1的1×1卷积和步长为(4,1)的7×1卷积，另一路采用步长为(4,1)的5×3平均池化层，两路输出特征在通道维度进行拼接后作为一个1×1卷积单元的输入；

步骤4-3，构建第二解码模块，利用该模块对所述第二复合特征图进行解码，获得车牌字符序列；对所述第二复合特征图进行解码，具体包括：依次利用分解卷积模块、平均池化层以及对特征图第二维度取平均对第二复合特征图进行处理；

步骤5，将车牌检测网络和车牌识别网络视为整体，对该整体网络进行端到端训练；具体包括：

步骤5-1，从步骤3-2获得的图像中提取若干图像输入至车牌检测网络，获得检测预测张量T1，T1尺寸为

通道数为L1，视为L1个

的栅格图，L1为每个车牌检测所需的信息长度；

步骤5-2，对检测预测张量T1进行后置处理获得检测结果张量R1，尺寸为C×L1；其中，C表示检测到的车牌数量；具体过程包括：

步骤5-2-1，对检测预测张量T1每个位置预测的四个角点置信度取平均，获得对象得分栅格图g1；

步骤5-2-2，将g1中的得分进行降序排序，并提取前k项得分；

步骤5-2-3，将前k项得分中小于预设阈值H的得分去除；

步骤5-2-4，对剩余得分项进行非极大值抑制，最终保留下来的项即为检测结果张量R1；

步骤5-3，将步骤3-4中经过透视矫正后的车牌区域图像尺寸缩放至车牌识别网络所需的输入尺寸a×b，之后将缩放后的车牌区域图像输入至车牌识别网络，获得识别预测张量T2；

步骤5-4，构建车牌检测与识别网络的损失函数L_total；具体包括：

步骤5-4-1，构建检测网络的损失函数：

(1)划分正负样本区域；

构建一个尺寸与检测预测张量T1尺寸相同的栅格图g，将标注的车牌区域角点位置信息投影至栅格图g中，之后按照FoveaBox的方法，将车牌区域按尺寸大小划分成三部分：正样本区域、忽略区域以及负样本区域；具体地，求取车牌区域的中心，将中心到四个角点的距离乘以收缩因子σ₁，获得新的四个角点构成的四边形区域sp，将sp内部作为正样本区域；重新将中心到四个角点的距离乘以收缩因子σ₂，获得新的四个角点构成的四边形区域sn，将sn外部作为负样本区域；sp与sn之间作为忽略区域；其中，0＜σ₁＜σ₂≤1；这三类样本区域对应到T1中得到三类区域的数据；

(2)计算正、负样本区域的整体置信度损失L_conf，所用公式为：

式中，N_pos，N_neg分别代表栅格图g中正、负样本的个数，L_Fl为每个样本的置信度损失，公式如下：

式中，c为预测的对象整体置信度，由一个车牌对象的所有角点置信度得分取平均得到；c_gt为相应的真实置信度；sample代表一个栅格属于正样本还是负样本，1代表正样本，0代表负样本；

(3)计算正样本区域数据中所包含的预测角点坐标的损失L_cor，所用公式为：

式中，L_CG为复合高斯损失，公式如下：

式中，第一项代表角点预测损失，Gscore为对象置信度；第二项代表边界框距离损失，含义与DIoU损失中的对应项相同，b代表预测的角点位置构成的外接矩形边界框，b_gt代表标注的角点位置构成的外接矩形边界框，ρ(b,b_gt)代表两个边界框b、b_gt中心点之间的距离，c代表b、b_gt所确定的外接矩形的对角线长度；第三项代表四边形形状损失，最后一项代表四个角点置信度的离散度损失，其中：

式中，(w₁,h₁,w₂,h₂)代表检测出的四个角点中位于左上和右下的两个角点、右上和左下的两个角点分别组成的两个边界框对应的宽与高，(w₁ ^gt,h₁ ^gt,w₂ ^gt,h₂ ^gt)代表标注信息中对应的四个角点中位于左上和右下的两个角点、右上和左下的两个角点分别组成的两个边界框对应的宽与高，Gs_i表示预测的四个角点中第i个角点的置信度得分，Gs_i ^gt表示标注的第i个角点的真实置信度得分；

(4)构建检测网络的损失函数L_det，所用公式为：

L_det＝L_conf+L_cor

步骤5-4-2，构建识别网络的损失函数L_ctc：

L_ctc＝-∑_(x,z)∈S lnp(z|x)

式中，x为车牌的标注信息中车牌号码对应字典d的编码序列，z为对应字典d的输出序列，p(z|x)代表在x条件下生成z的概率，S表示训练集中的数据；字典d由所有车牌字符类别构成；

步骤5-4-3，根据检测网络的损失函数和识别网络的损失函数构建车牌检测与识别网络的损失函数L_total为：

L_total＝L_det+λL_ctc

式中，λ为权重因子，取值范围为(0,1)；

步骤5-5，将T1、T2作为输入，根据损失函数计算当前损失值，根据当前损失值对车牌检测与识别网络进行优化；

步骤5-6，从步骤3-2获得的图像中提取若干图像，重复步骤5-1至步骤5-5，直至达到预设终止条件，结束训练；

步骤6，利用训练后的网络识别待检测车牌图像中的车牌；具体过程包括：

步骤6-1，对待检测车牌图像执行步骤5-1至步骤5-3的过程，获得检测结果张量R1和识别预测张量T2；

步骤6-2，按照CTC的实现规则，对T2进行Softmax操作将其变换为概率形式；

步骤6-3，利用贪心搜索获取每个预测位取概率最大的字符，获得车牌的字符序列S；

步骤6-4，去除所述字符序列S的空白位和重复位，获得最终的车牌识别结果R2。

2.根据权利要求1所述的端到端的轻量级深度车牌识别方法，其特征在于，步骤3所述获取车牌区域图像，具体包括：

步骤3-1，将车牌数据集中图像的尺寸统一放缩至M×M；

步骤3-2，进一步将图像尺寸放缩至N×N，N×N为车牌检测网络的输入尺寸，其中，N＜M；

步骤3-3，将车牌检测网络输出的角点坐标投影至步骤3-1中尺寸为M×M的图像中，取出相应的车牌区域图像；

步骤3-4，对所述车牌区域图像进行几何透视矫正。

Images