CN114677502B - 一种任意倾斜角度的车牌检测方法 - Google Patents

Abstract

本发明属于车牌检测技术，涉及一种任意倾斜角度的车牌检测方法，通过主干网络对采集的数据集提取特征后送入特征金字塔提取特征，提取后的特征送入多尺度空洞卷积生成车牌分类概率和距离场，通过车牌分类概率和距离场联合进行车牌初始区域的确定，然后选取车牌初始区域的外切矩形的四个顶点作为车牌校正的控制点，将控制点处的特征信息送入图卷积神经网络进行矫正，利用矫正后的车牌顶点坐标来矫正车牌得到利于后续识别的矩形车牌；利用图卷积神经网络进行车牌校正用来解决倾斜车牌的检测和矫正问题，不仅仅可以用于侧方位车牌检测，还可以用于高位和低位摄像头采集图像的车牌识别问题。

Description

一种任意倾斜角度的车牌检测方法

技术领域

本发明属于车牌检测技术，涉及一种任意倾斜角度的车牌检测方法，可以对任意角度的车牌进行检测识别。

背景技术

随着人工智能、物联网、5G等技术的迅速发展，智慧交通在智慧城市中发挥了重要作用，而车牌检测识别技术在智慧交通体系中扮演了重要角色。正向的车牌检测与识别技术已经比较成熟，而侧方位的车牌检测技术由于受到车牌畸变、旋转以及光线不足等复杂场景的时候表现的较差。

目前，针对侧方位车牌检测技术，现有技术中通常采用通用的物体检测算法来检测车牌，然后对检测的车牌进行识别，但是由于车牌倾斜以及光线等的影响，单靠物体检测的方法不能很有效的检测出车牌，因此需要有更好的技术来辅助车牌的检测，而且检测的车牌往往是倾斜的，给后续识别带来很多的不便，因此需要在检测出的车牌的基础上进行矫正，使得车牌识别率能够真正满足实际智能交通的应用场景。

由此可见，针对侧方位停车场景，现有的车牌检测技术中存在检测精度不高的技术问题，急需更有效的方法进行车牌的检测和矫正。

发明内容

本发明的目的在于克服现有车牌检测技术对于侧方位任意旋转角度的车牌检测能力不足的缺陷，设计提供一种利用图卷积网络校正的任意倾斜角度的车牌检测方法，能够高效的实现车牌检测和矫正。

为实现上述目的，本发明对任意倾斜角度的车牌进行检测的具体过程为：

（1）数据集构建：收集侧方位视频桩采集的含有倾斜、畸变车牌的图像构建数据集，数据集中的车牌图像需标注车牌的位置，并将数据集划分为训练集、验证集和测试集；

（2）深度卷积特征提取：先对图片的尺寸和数值范围进行初始化处理，然后将处理后的图像输入到卷积神经网络中进行卷积特征提取得到多尺度车牌卷积特征图集合；

（3）生成包含任意形变车牌的候选框：将步骤（2）得到的多尺度车牌卷积特征图集合输入到多尺度空洞卷积联合卷积模块进一步提取特征，得到车牌像素的分类概率和距离场D；

（4）车牌区域的进一步确认：先将步骤（3）得到的距离场中值大于0.5的区域作为车牌的候选区域，再利用分类概率大于0.5的区域结合判断该区域是否为车牌区域，通过两者取交集得到车牌区域；

（5）车牌区域的矫正：选取步骤（4）中得到的车牌区域的外接矩形的四个顶点作为车牌矫正的控制点，将控制点位置在特征图的特征向量输入图卷积神经网络（GCN）进行矫正得到矫正后的车牌坐标，再将矫正后的车牌坐标与预设尺寸的车牌坐标进行仿射变换，通过两者的坐标仿射变换计算出仿射矩阵，然后将仿射矩阵作用于原始图像中通过坐标裁剪出来的车牌，获得检测并矫正后的车牌图像；

（6）训练网络结构，得到训练好的模型参数；先将数据集中训练集的彩色图像进行预处理，按照批次尺寸依次输入到网络中，初始车牌区域的神经网络采用Focal损失计算预测类别和真实类别的误差，采用Smooth L1损失来计算网络预测的车牌位置与真实的车牌位置的误差，通过反向传播更新参数，经过设定次数完整训练集训练迭代后，保存结果最好的模型参数，作为最终模型；

（7）利用网络输出车牌检测结果：将数据集中的图像输入步骤（6）得到的模型中，得到初始的车牌区域和矫正后的车牌顶点坐标，以矫正后的顶点坐标对车牌进行矫正得到能够进行识别的车牌区域，输出车牌检测结果。

作为本发明的进一步技术方案，步骤（1）中标注的车牌位置为车牌四个顶点，通过四个顶点的位置得到对应车牌的水平矩形框的坐标。

作为本发明的进一步技术方案，步骤（2）所述卷积神经网络的主干网络使用Mobilenet作为特征提取网络，在Mobilenet之后添加特征金字塔网络，特征金字塔网络针对Mobilenet里面形成的多尺度特征进行强化利用获得表达力更强包含多尺度车牌信息的卷积特征图集合。

作为本发明的进一步技术方案，步骤（3）所述多尺度空洞卷积联合卷积模块包含三个分支，其膨胀系数分别为1、2和4。

作为本发明的进一步技术方案，步骤（4）所述分类概率是图像区域是否为车牌的概率，距离场D是在每个像素点预测的一个值，这个值是像素与方向场对应的向量的值进行归一化后的值，距离场D用于车牌区域的判断。

作为本发明的进一步技术方案，步骤（5）所述图卷积神经网络采用四层图卷积层，后面接一个全连接层用于输出车牌顶点位置矫正的偏移量。

作为本发明的进一步技术方案，步骤（6）中所述训练集中的彩色图像预处理后的尺寸为512 ×512。

与现有技术相比，本发明先使用卷积神经网络生成初始的车牌候选框，然后利用初始车牌候选框的外切矩形的顶点处的特征作为输入，利用图卷积神经网络进行车牌校正，用来解决倾斜车牌的检测和矫正问题，不仅仅可以用于侧方位车牌检测，还可以用于高位和低位摄像头采集图像的车牌识别问题，在CCPD车牌检测旋转（Rotate）数据集中，在本发明所述技术方案下，检测精度从94.7%提高到98.4%。

附图说明

图1为本发明所述车牌检测的整体网络结构图。

图2为本发明所述牌顶点位置校正示意图。

图3为本发明车牌检测的工作流程图。

具体实施方式

下面通过实施例并结合附图进一步描述本发明，但不以任何方式限制本发明的范围。

实施例：

本发明实施例对任意倾斜角度的车牌检测方的具体过程包括如下步骤：

（1）数据集构建：收集侧方位视频桩采集的含有倾斜、畸变等车牌的图像，构建所需数量车牌的数据集，并对车牌四个顶点的标注，通过四个顶点的位置计算对应车牌的水平矩形框的坐标，再将数据集划分为训练集、验证集和测试集；

（2）深度卷积特征提取：先对图片的尺寸和数值范围进行初始化处理得到所需尺寸和像素的图片，然后将处理后的图像输入到卷积神经网络中进行卷积特征提取，其中主干网络使用Mobilenet作为特征提取网络，为了更好的提取特征，在Mobilenet之后添加特征金字塔网络，特征金字塔网络是针对Mobilenet里面形成的多尺度特征进行强化利用获得表达力更强包含多尺度车牌信息的多尺度车牌卷积特征图集合；

（3）生成包含任意形变车牌的候选框：将步骤（2）得到的多尺度车牌卷积特征图集合输入到多尺度空洞卷积联合卷积模块（包含三个分支，分别是膨胀系数为1、2和4），利用此模块进行进一步提取特征，得到车牌像素分类的概率F（即此区域是否是车牌的概率，对应图1中多路空洞卷积层后的左侧特征图），另外对于区域中的每个点产生距离场D（对应图1中多路空洞卷积层后的右侧特征图）用来辅助车牌区域的判断，距离场D是在每个像素预测一个值，这个值是像素与方向场对应的向量的值的归一化后的值，引入距离场D的目的是为了提高车牌检测的精度；

（4）车牌区域的进一步确认：将步骤（3）得到的距离场D中值大于0.5的区域作为车牌的候选区域，只用距离场D来筛选车牌区域还会存在一定的虚警，因此进一步利用F大于0.5的区域结合判断该区域是否为车牌区域，通过两者取交集去除虚警，保留车牌区域P；

（5）车牌区域的矫正：正面车牌是矩形的，但是不同角度下可能会呈现不同的四边 形形状，步骤（4）得到的车牌区域可能跟真实的车牌区域存在一定的误差，因此需要矫正， 采用图卷积神经网络（GCN）进行车牌矫正时需要选取控制点，由于车牌是个四边形形状，因 此选取四个顶点作为控制点，但是初始的区域可能边界不能满足是四边形的条件，因此选 取步骤（4）中得到的车牌区域P的外接矩形的四个顶点

作为车牌矫正的控制点，采用图卷积神经网 络进行控制点的矫正，图卷积神经网络的输入为控制点位置在特征图的特征向量，输出为 四个顶点的矫正偏移量；经过图卷积神经网络矫正后车牌的顶点位置就能到达车牌顶点的 真实位置

，然后将矫正后的车牌坐标位置与预设尺寸 的车牌坐标进行仿射变换，通过两者的坐标位置仿射变换就可以计算出仿射矩阵M，将M作 用于从原始图像中通过坐标裁剪的车牌，获得检测并矫正后的车牌图像；

（6）训练网络结构，得到训练好的模型参数：使用数据集中训练集的彩色图像，彩 色图片预处理尺寸变为：

，按照批次尺寸依次输入到网络中，初始车牌区域的神经 网络采用Focal损失计算预测类别和真实类别的误差，采用Smooth L1损失来计算网络预测 的车牌位置与真实的车牌位置的误差，通过反向传播更新参数；用于车牌顶点矫正的GCN采 用四层图卷积层，后面跟着一个全连接层用于输出车牌顶点位置矫正的偏移量；经过100次 完整训练集训练迭代后，保存结果最好的模型参数，作为最终模型用于后续的推理；

（7）利用网络输出车牌检测结果：在推理过程中，将图像缩放到

，作为网 络的输入，得到初始的车牌区域和矫正后的车牌顶点坐标，以矫正后的顶点坐标对车牌进 行矫正就得到了可以进行识别的车牌区域。

本实施例所描述的任意角度车牌检测方法，通过使用卷积神经网络生成初始的车牌候选框，并使用图卷积网络根据候选框外切矩形顶点位置的特征进行车牌矫正，解决任意倾斜角度的车牌检测问题，能够高效的实现车牌检测和矫正。

需要注意的是，本实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (4)

1.一种任意倾斜角度的车牌检测方法，其特征在于，包括如下步骤：

（1）数据集构建：收集侧方位视频桩采集的含有倾斜、畸变车牌的图像构建数据集，数据集中的车牌图像需标注车牌位置，车牌位置为通过车牌四个顶点的位置得到对应车牌的水平矩形框的坐标，并将数据集划分为训练集、验证集和测试集；

（2）深度卷积特征提取：先对图片的尺寸和数值范围进行初始化处理，然后将处理后的图像输入到卷积神经网络中进行卷积特征提取，卷积神经网络的主干网络使用Mobilenet作为特征提取网络，在Mobilenet之后添加特征金字塔网络，特征金字塔网络针对Mobilenet里面形成的多尺度特征进行强化利用获得表达力更强包含多尺度车牌信息的多尺度车牌卷积特征图集合；

（3）生成包含任意形变车牌的候选框：将步骤（2）得到的多尺度车牌卷积特征图集合输入到多尺度空洞卷积联合卷积模块进一步提取特征，得到车牌像素的分类概率和距离场，其中距离场是在每个像素点预测的一个值，这个值是像素与方向场对应的向量的值进行归一化后的值，距离场用于车牌区域的判断；

（4）车牌区域的进一步确认：先将步骤（3）得到的距离场中值大于0.5的区域作为车牌的候选区域，再利用分类概率大于0.5的区域结合判断该区域是否为车牌区域，通过两者取交集得到车牌区域；

（5）车牌区域的矫正：选取步骤（4）中得到的车牌区域的外接矩形的四个顶点作为车牌矫正的控制点，将控制点位置在特征图的特征向量输入图卷积神经网络进行矫正得到矫正后的车牌坐标，再将矫正后的车牌坐标与预设尺寸的车牌坐标进行仿射变换，通过两者的坐标仿射变换计算出仿射矩阵，然后将仿射矩阵作用于原始图像中通过坐标裁剪出来的车牌，获得检测并矫正后的车牌图像；

（6）训练网络结构，得到训练好的模型参数；先将数据集中训练集的彩色图像进行预处理得到尺寸为512×512的图像，按照批次尺寸依次输入到网络中，初始车牌区域的神经网络采用Focal损失计算预测类别和真实类别的误差，采用Smooth L1损失来计算网络预测的车牌位置与真实的车牌位置的误差，通过反向传播更新参数，经过设定次数完整训练集训练迭代后，保存结果最好的模型参数，作为最终模型；

（7）利用网络输出车牌检测结果：将数据集中的图像输入步骤（6）得到的模型中，得到初始的车牌区域和矫正后的车牌顶点坐标，以矫正后的顶点坐标对车牌进行矫正得到能够进行识别的车牌区域，输出车牌检测结果。

2.根据权利要求1所述任意倾斜角度的车牌检测方法，其特征在于，步骤（3）所述多尺度空洞卷积联合卷积模块包含三个分支，其膨胀系数分别为1、2和4。

3.根据权利要求2所述任意倾斜角度的车牌检测方法，其特征在于，步骤（4）所述分类概率是图像区域是否为车牌的概率。

4.根据权利要求3所述任意倾斜角度的车牌检测方法，其特征在于，步骤（5）所述图卷积神经网络采用四层图卷积层，后面接一个全连接层用于输出车牌顶点位置矫正的偏移量。

Images