CN112926588B - 一种基于卷积网络的大角度车牌检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积网络的大角度车牌检测方法，包括如下步骤：步骤S1、构建大角度车牌检测模型，通过所述大角度车牌检测模型获取待检测图像中的目标图像；步骤S2、对步骤S1中获取的目标图像进行切片处理，获得切片图像，再对所述切片图像进行合并处理，获得新的目标图像；步骤S3、将步骤S2中获取的新的目标图像送入字符检测网络进行识别，获得车牌号。本发明识别精度高、效率高、鲁棒性强，能应用于各种大角度的车牌识别。

Description

一种基于卷积网络的大角度车牌检测方法

技术领域

本发明涉及计算机视觉以及人工智能技术领域，特别是涉及一种基于卷积网络的大角度车牌检测方法。

背景技术

车牌识别在现实生活中有着非常广泛的应用，因此，车牌识别的研究有着重要的现实意义。例如，在智能交通系统中和城市电子监控系统中，车牌识别是确定车辆身份最为重要的手段，应用场景十分广泛。

在深度神经网络广泛运用之前，传统车牌识别主要有四个技术流程：车牌检测、车牌定位、字符分割和字符识别。这四个技术流程往往存在后者以来前者的关系。车牌定位是车牌整体字符的精细定位，依赖车牌检测的精准性，而字符分割依赖于车牌定位的精准度，而字符则依赖字符分割的准确性。因此，车牌识别的精确度依赖于整个技术流程各个环节的精确度，会因为一个环节的误差造成识别结果的较大误差。

传统车牌识别在字符分割环节难以实现对倾斜、模糊等复杂条件下的车牌进行有效的字符分割，而现如今针对大角度车牌图像的检测方法仍有很大不足。对于一些带角度的车牌图像仍用目标检测的思路回归四个参数(x,y,w,h)来指定一个车牌的位置就会出现很大的误差。

发明内容

有鉴于此，本发明的目的在于提供一种基于卷积网络的大角度车牌检测方法，用以提升大角度车牌检测的精度，降低识别误差。

为了达到上述目的，通过以下技术方案实现：一种基于卷积网络的大角度车牌检测方法，包括如下步骤：

步骤S1、构建大角度车牌检测模型，通过所述大角度车牌检测模型获取待检测图像中的目标图像；

步骤S2、对步骤S1中获取的目标图像进行切片处理，获得切片图像，再对所述切片图像进行合并处理，获得新的目标图像；

步骤S3、将步骤S2中获取的新的目标图像送入字符检测网络进行识别，获得车牌号。

进一步的，所述大角度车牌检测模型包括：主干特征提取网络和目标检测网络，所述步骤S1包括：构建主干特征提取网络，具体为：

将待检测的图像作为所述主干特征提取网络的输入；

输入至多个依次相连接的第一卷积块中进行特征提取以及下采样操作形成第一金字塔；

然后通过多个依次相连接的第二卷积块对所述第一金字塔的输出进行特征提取以及上采样操作形成倒立的第二金字塔；

通过侧向连接将第一卷积块中的特征送至对称的第二卷积块中，该第二卷积块将从对称的第一卷积块中获取的特征以及上一个第二卷积块传入的特征进行特征融合后传递至下一个第二卷积块进行特征提取以及下采样操作；

最终得到主干特征图。

进一步的，所述第一卷积块包括依次相连接的两个特征提取模块和一个下采样模块，所述第二卷积块包括依次相连接的两个特征提取模块和一个上采样模块；

所述特征提取模块包括：卷积层、激活层以及归一化层，所述下采样模块包括：卷积层、激活层以及池化层，所述上采样模块包括：卷积层、激活层以及池化层。

进一步的，在所述步骤S1中，将得到的主干特征图送入所述目标检测网络获得目标图像，在该过程中采用的回归参数具体为：(x,y,w,h,θ)，x，y表示为候选框的中心坐标，w，h依次表示为候选框的宽度以及高度，θ表示为候选框的旋转角度。

进一步的，在所述步骤S2中，所述对目标图像进行切片处理，具体为：

通过线性拟合的方式，获取目标图像中文字框的中线，再沿着所述中线进行竖向切割，获得多个宽度为1，高度与文字框高度相同的切片图像；

在所述步骤S2中，所述对所述切片图像进行合并处理，具体为：

将所述切片图像沿着水平方向进行合并。

进一步的，在所述主干特征提取网络中，所述第一金字塔的最尾部的第一卷积块的输入端还连接有一个特征提取模块，该特征提取模块的输出端与所述第二金字塔的最顶部的第二卷积块的输入端相连。

本发明的有益效果是：

1、现有技术中的目标检测算法通过回归参数(x,y,w,h)，本发明通过直接加入车牌框的旋转角度θ，通过回归五个参数(x,y,w,h,θ)，让模型直接学习参数θ，提升了算法对大角度车牌的检测能力。

2、本发明以金字塔模型的整体架构为思路，针对获取到的车牌图片，在多尺度下的目标检测，越深的特征图提取的是越高级的语义特征，越浅的特征图提取得到的是越低级的语义特征，本发明提供的模型结合高级语义特征以及低级语言特征，增强了最终提取到特征的表达性。

3、本发明对车牌进行矫正并没有使用仿射变换或者透视变换等操作，而是直接对车牌进行切片，然后将车牌进行合并，不会改变车牌里面的任何像素，防止车牌进一步模糊造成识别率降低的问题

附图说明

图1为实施例1中提供的基于卷积网络的大角度车牌检测方法的流程示意图。

图2为实施例1中提供的主干特征提取网络的结构示意图。

图3为实施例1中步骤S2和步骤S3的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参见图1-图3，本实施提供一种基于卷积网络的大角度车牌检测方法，包括如下步骤：

步骤S1、构建大角度车牌检测模型，通过大角度车牌检测模型获取待检测图像中的目标图像；

具体的说，大角度车牌检测模型包括：主干特征提取网络和目标检测网络，更具体的说步骤S1包括：构建主干特征提取网络，参见图2，具体为：

将待检测的图像作为主干特征提取网络的输入；

输入至五个依次相连接的第一卷积块中进行特征提取以及下采样操作形成第一金字塔；

然后通过四个依次相连接的第二卷积块对第一金字塔的输出进行特征提取以及上采样操作形成倒立的第二金字塔；

通过侧向连接将第一卷积块中的特征送至对称的第二卷积块中，该第二卷积块将从对称的第一卷积块中获取的特征以及上一个第二卷积块传入的特征进行特征融合后传递至下一个第二卷积块进行下采样操作；第一卷积块包括依次相连接的两个特征提取模块和一个下采样模块，第二卷积块包括依次相连接的两个特征提取模块和一个上采样模块；更具体的说，参见图2：

在第一金字塔中最顶部的第一卷积块对输入的图像进行特征提取以及下采样操作得到特征，在将该特征分两路进行传递，第一路传递至该第一卷积块相连接的下一个第一卷积块，第二路传递至第二金字塔最尾部的第二卷积块的输出端，该特征与最尾部的第二卷积块的输出特征进行融合生成主干特征图。

在第一金字塔中最尾部的第一卷积块还连接有一个特征提取模块，该特征提取模块将特征传入至第二金字塔中最顶部的第二卷积块中进行上采样操作和特征提取，其余的第二卷积块除了接收上一层的第二卷积块的输入还要接受第一金字塔中对称层中传递的输入，并且对两种输入进行融合后再进行特征提取以及上采样的处理。

最终得到主干特征图。

以上所述的特征提取模块包括：卷积层、激活层以及归一化层，下采样模块包括：卷积层、激活层以及池化层，上采样模块包括：卷积层、激活层以及池化层。

在本步骤中，将得到的主干特征图送入目标检测网络获得目标图像，在该过程中采用的回归参数具体为：(x,y,w,h,θ)，x，y表示为候选框的中心坐标，w，h依次表示为候选框的宽度以及高度，θ表示为候选框的旋转角度。

本发明中，所采用的候选框相当于监督学习的框。在经典的目标检测的方法中，候选框主要的属性是：候选框的中心坐标点x,y以及候选框的宽度以及高度；使用这种方式定位车牌，不能够精确的定位出车牌的位置信息，为了解决这个问题，本发明对候选框进行预测出一个角度值θ，在车牌检测上，与SSD模型检测过程类似，通过“套框”的方式，对结果进行回归，每个feature map经过卷积后输出的通道数为7，其中两个表示车牌segment是否为文字的置信度值为(0,1)，剩下的五个为车牌segment相对于对应位置的default box的五个偏移量。每个车牌segment表示为：S＝(x_s,y_s,w_s,h_s,θ_s)。此时，本发明能够对各种角度的车牌进行预测了。

步骤S2、对步骤S1中获取的目标图像进行切片处理，获得切片图像，再对切片图像进行合并处理，获得新的目标图像；

参见图3，在步骤S2中，对目标图像进行切片处理，具体为：

通过线性拟合的方式，获取目标图像中文字框的中线，再沿着所述中线进行竖向切割，获得多个宽度为1，高度与文字框高度相同的切片图像；

在步骤S2中，对切片图像进行合并处理，具体为：将切片图像沿着水平方向进行合并。

具体的说，在对切片图像进行合并处理之前，还包括检测各个切片图像之间联系的操作。

本发明采用这种纠正车牌图片的好处是，能够不会使得图片失真，因为在实际的车牌检测过程中，使用者往往检测的图片中包含的车牌一般像素非常低，如果再进行例如放射变换、透视变换等，将使得车牌图片上的像素进一步失真，为了解决这个问题，本发明采用了沿着车牌中线进行切割，切割后的小块进行合并处理。

步骤S3、将步骤S2中获取的新的目标图像送入字符检测网络进行识别，获得车牌号。

综上，在本发明中，图片通过依次通过两个特征提取模块以及下采样模块进行下采样；这样能够不断降低特征属性以减少计算量，此过程中所得到的一系列特征属性图平面大小类似于一种倒立的金字塔模型。理论上，正如通常所说的，浅层神经网络提取低级语义特征，而深层卷积神经网络提取高级语义特征。往往利用高级语义特征作为主干网络提取到的网络结构。然而这种方式获取的得到的特征将缺乏低级语义特征。为了解决这个问题，本发明所采取的方法是，当下采样到一定程度后，使用上采样模块来对特征维度进行扩充，这种扩充方式按照特征图的顺序来看，正好是一个倒立的金子塔，并且它的特征维度与前一个金字塔的维度相比，是一一对应的，但这个金字塔由于深度比前一个金塔子的深度要更深，所以提取得到的特征属性具有更抽象的特征，为了结合高低级语义特征，本发明结合两个金子塔所提取得到的特征进行通道合并后，作为新的特征进行特征提取；此时的特征所包含的信息不会受到信息消失的问题(随着网络模型的深度越深，模型过滤的有用的信息也越来越多)。并且，这个网络的结构并不复杂，采用的网络结构也不深，计算量也小，能够实时的运行于各种算力不高的移动设备或者嵌入式设备上。

本发明未详述之处，均为本领域技术人员的公知技术。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (5)

1.一种基于卷积网络的大角度车牌检测方法，其特征在于，包括如下步骤：

步骤S1、构建大角度车牌检测模型，通过所述大角度车牌检测模型获取待检测图像中的目标图像；

步骤S2、对步骤S1中获取的目标图像进行切片处理，获得切片图像，再对所述切片图像进行合并处理，获得新的目标图像；

步骤S3、将步骤S2中获取的新的目标图像送入字符检测网络进行识别，获得车牌号；

其中，所述大角度车牌检测模型包括：主干特征提取网络和目标检测网络，所述步骤S1包括：构建主干特征提取网络，具体为：

将待检测的图像作为所述主干特征提取网络的输入；

输入至多个依次相连接的第一卷积块中进行特征提取以及下采样操作形成第一金字塔；

然后通过多个依次相连接的第二卷积块对所述第一金字塔的输出进行特征提取以及上采样操作形成倒立的第二金字塔；

通过侧向连接将第一卷积块中的特征送至对称的第二卷积块中，该第二卷积块将从对称的第一卷积块中获取的特征以及上一个第二卷积块传入的特征进行特征融合后传递至下一个第二卷积块进行特征提取以及下采样操作；

最终得到主干特征图。

2.根据权利要求1所述的一种基于卷积网络的大角度车牌检测方法，其特征在于，所述第一卷积块包括依次相连接的两个特征提取模块和一个下采样模块，所述第二卷积块包括依次相连接的两个特征提取模块和一个上采样模块；

所述特征提取模块包括：卷积层、激活层以及归一化层，所述下采样模块包括：卷积层、激活层以及池化层，所述上采样模块包括：卷积层、激活层以及池化层。

3.根据权利要求2所述的一种基于卷积网络的大角度车牌检测方法，其特征在于，在所述步骤S1中，将得到的主干特征图送入所述目标检测网络获得目标图像，在该过程中采用的回归参数具体为：(x,y,w,h,θ)，x，y表示为候选框的中心坐标，w，h依次表示为候选框的宽度以及高度，θ表示为候选框的旋转角度。

4.根据权利要求3所述的一种基于卷积网络的大角度车牌检测方法，其特征在于，在所述步骤S2中，对目标图像进行切片处理，具体为：

通过线性拟合的方式，获取目标图像中文字框的中线，再沿着所述中线进行竖向切割，获得多个宽度为1，高度与文字框高度相同的切片图像；

在所述步骤S2中，所述对所述切片图像进行合并处理，具体为：

将所述切片图像沿着水平方向进行合并。

5.根据权利要求4所述的一种基于卷积网络的大角度车牌检测方法，其特征在于，在所述主干特征提取网络中，所述第一金字塔的最尾部的第一卷积块的输入端还连接有一个特征提取模块，该特征提取模块的输出端与所述第二金字塔的最顶部的第二卷积块的输入端相连接。

Images