CN107506763A - 一种基于卷积神经网络的多尺度车牌精准定位方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的多尺度车牌精准定位方法，首先构建卷积神经网络对输入图像进行特征提取，然后基于多尺度特征对输入图像中可能包含车牌的区域位置进行提取，最后基于多尺度特征对真正的车牌区域进行识别和精准定位。本发明使用卷积神经网络提取图像特征，识别效果好；对具有不同语义性和分辨率的特征进行了融合，对不同尺度的车牌都具有良好的识别能力；直接对车牌的角点进行预测和推断，构造出能精确覆盖车牌实际区域的四边形，定位精度高。

Description

一种基于卷积神经网络的多尺度车牌精准定位方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于卷积神经网络所构建，能对图像中的车牌进行精确定位，并对车牌尺度变化具有高度不变性的车牌检测方法。

背景技术

车牌识别是智能交通的核心技术之一，被广泛地应用于交通监测、道路管理、不停车收费系统等领域。车牌识别包含三个步骤：车牌检测、车牌字符分割和车牌字符识别。其中，车牌检测是后续车牌字符分割与识别的基础，决定了整个系统的识别性能，被认为是车牌识别中最重要的步骤。因此，设计和实现高性能的车牌检测算法，对车牌识别具有重要的意义。

车牌检测的目标是在输入图像中定位车牌的位置，并通过一定的几何形式对其进行指示。一般来说，车牌检测算法通常先对待检测图像进行特征提取，然后构建分类器基于提取到的特征信息对区域进行判定和识别。

传统车牌检测算法使用的特征可以分为三类。第一类是基于车牌自身结构的特征，如车牌的颜色、形状、对称性、灰度值、长宽比等；第二类是基于车牌字符特性的特征，如车牌字符的线型、长宽比、字符间距等；第三类是图像处理领域较为通用的特征描述算子，如SIFT(Scale Invariant Feature Transform),SURF(Speeded-Up Robust Features)、HOG(Histogram of Oriented Gradient)等。这些特征对于车牌信息具有一定的表达能力，但其设计过程非常复杂、自动化程度低，且通常只能表达较为浅层的信息，鲁棒性和适应性较弱。

此外，传统的车牌检测算法还面临两大挑战：首先，难以对图像中的车牌进行足够精准的定位。由于相机视角和仿射变换的影响，自然场景图像中的车牌往往具有一定程度的形变，其几何形状在图像中由矩形变为一般的四边形，而传统车牌检测算法的检测结果为矩形区域，无法精确覆盖实际的车牌区域，从而产生了检测结果与实际情况的不匹配，通常需要借助其他的方法来进一步对倾斜的车牌进行矫正。其次，难以对不同尺度的车牌进行有效识别。图像中的车牌尺度常常具有较大的差异性，而传统的车牌检测技术通常只对某一尺度范围内的车牌具有较好的检测能力，对尺度差异较大、特别是小尺寸的车牌，其识别效果往往不佳。

发明内容

为了解决以上技术问题，本发明提出了一种基于卷积神经网络的车牌检测方法，能对输入图像中的车牌进行精准定位，并对车牌尺度的变化具有高度的不变性。

本发明所采用的技术方案是：一种基于卷积神经网络的多尺度车牌精准定位方法，其特征在于，包括以下步骤：

步骤1：构建卷积神经网络对输入图像进行特征提取；

步骤2：基于多尺度特征对输入图像中可能包含车牌的区域位置进行提取；

步骤3：基于多尺度特征对真正的车牌区域进行识别和精准定位。

本发明具有以下三个优点：

(1)高识别率；

本发明使用了卷积神经网络对输入图像进行特征提取，自动化程度高，识别效果好。经测试，本方法对车牌的召回率和识别精度均高达99％，且对极端环境的容忍力强，在图像较为模糊、存在噪声干扰的条件下，本方法的性能基本不受影响。

(2)精确定位；

本发明使用角点检测结合对称性约束的策略对车牌角点进行检测和推断，可以得到精确覆盖车牌实际位置的四边形区域。

(3)尺度不变性；

本发明在提取车牌候选区域和识别真正车牌区域时，都对不同层次的特征进行了融合，结合了高层特征的强语义性优势和低层特征的高分辨率优势，增强了系统对多尺度目标，特别是小尺寸车牌的处理能力。

附图说明

图1为本发明实施例的整体网络结构示意图；其中，ConN表示卷积神经网络的第N个卷积层，poolN表示卷积神经网络的第N个池化层，fcN表示第N个全连接层；

图2为本发明实施例目标候选区域建议子模块的网络结构示意图；

图3为本发明实施例车牌检测子模块的网络结构示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1、图2和图3，本发明提供的一种基于卷积神经网络的多尺度车牌精准定位方法，包括以下步骤：

步骤1，构建卷积神经网络对输入图像进行特征提取：

使用5个卷积层对输入图像进行特征提取，每个卷积层后设置一个ReLU(Rectified Linear Unit,线性纠正单元)层对信号进行激活，从而向网络中引入非线性因素；前4个ReLU层后设置池化层进行最大值池化，从而减少需要训练的网络参数数量、降低模型的复杂度。

步骤2，构建目标候选区域建议子模块，基于多尺度特征对输入图像中可能包含车牌的区域位置进行提取，包括以下子步骤：

步骤2.1，使用滑动窗口，对卷积神经网络不同层次上的特征进行提取与融合：

使用3×3的窗口在卷积神经网络所构建的特征映射图上滑动，为了提高对不同尺度车牌的检测能力，同时在第五个卷积层和第四个卷积层对应的特征映射图上进行搜索，从每个位置提取512维的特征矢量，并对两个层次上的特征矢量进行融合。

步骤2.2，对每个融合特征矢量所对应的输入图像区域参照若干具有不同尺度和长宽比的锚点，得到具有不同尺度和长宽比组合的初始车牌候选区域；

对每个融合特征矢量所对应的输入图像区域参照9种具有不同尺度和长宽比的锚点，包括128×128、256×256、512×512三种尺度，0.4、0.5、0.6三种长宽比。

步骤2.3，基于提取的特征矢量对每个区域进行分类识别，保留含车牌概率最大的300个区域作为目标候选区域，并使用回归器对区域的位置进行调整：

使用分类器判定各个区域的类别(车牌还是背景)，使用回归器对区域的位置进行调整。将被分类器判定为车牌得分最高的300个区域作为最终的车牌候选区域送入车牌检测子模块，进行更进一步的车牌识别和精准定位。

步骤3，构建车牌检测子模块，对真正的车牌区域进行识别和精准定位，包括以下子步骤：

步骤3.1，将目标候选区域建议子模块所提取的车牌候选区域映射到不同层次的特征图上，通过可变大小的池化操作(RoI池化)得到固定维度的特征矢量：

由于卷积神经网络中，高层的特征具有更强的语义性，低层的特征具有更高的分辨率，为了增强系统对不同尺度车牌的检测能力，将目标候选区域建议子模块提取的车牌候选区域同时映射到第四个卷积层和第五个卷积层对应的特征图上，经过可变大小的池化操作(RoI池化)，对每个候选区域提取两个7×7维度的特征矢量。

步骤3.2，对不同层次的特征进行融合：

对基于第四个卷积层和第五个卷积层所提取到的两个特征矢量进行融合，从而得到既具有强语义性又具备高分辨率的特征。

步骤3.3，基于融合的特征矢量对车牌候选区域进行分类识别，筛选真正的车牌区域，并利用回归器和对称性约束对车牌的角点进行检测和推断，从而得到能精确覆盖车牌实际区域的四边形：

将提取的车牌候选区域特征矢量送入两个并行的全连接层，一个作为分类器判定区域类别(车牌与背景)，从而完成对真正车牌区域的识别，一个作为回归器对车牌的位置进行精准定位。

为了获取车牌的精确位置，本技术方案摒弃了传统的矩形框检测方法，而是利用回归器首先检测车牌的三个角点(左上角点右上角点左下角点)，然后利用车牌结构的对称性约束按如下公式求解车牌的右下角点

基于四个角点的坐标，便可以得到精确覆盖车牌实际区域的四边形。

具体实施时，本发明所提供方法可基于软件技术实现自动运行流程，也可采用模块化方式实现相应系统。

本发明可以在基于卷积神经网络的车牌检测系统上实现，系统包含以下模块：

第一模块，通过卷积神经网络对输入图像的特征进行提取。

第二模块即目标候选区域建议子模块，使用滑动窗口在不同层次的特征映射图上滑动，提取每个位置的特征矢量对其进行融合，并针对每个融合特征矢量所对应的输入图像区域参照9种具有不同尺度和长宽比的锚点得到初始的目标候选区域集合，然后使用分类器对各个区域进行识别，以包含车牌概率最大的300个区域作为提取的车牌候选区域，并使用回归器对区域的位置进行调整。

第三模块即车牌检测子模块，将第二模块所提取的车牌候选区域映射到不同层次的特征图上，通过可变大小的池化操作(RoI池化)得到固定维度的特征矢量，并对不同层次上提取的特征进行融合，得到既具有强语义性又具备高分辨率的特征，然后基于融合的特征矢量对车牌候选区域进行分类识别，筛选真正的车牌区域，并利用回归器和对称性约束对车牌的角点进行检测和推断，从而得到能精确覆盖车牌实际区域的四边形。

本发明使用卷积神经网络提取图像特征，识别效果好；对具有不同语义性和分辨率的特征进行了融合，对不同尺度的车牌都具有良好的识别能力；直接对车牌的角点进行预测和推断，构造出能精确覆盖车牌实际区域的四边形，定位精度高。应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种基于卷积神经网络的多尺度车牌精准定位方法，其特征在于，包括以下步骤：

步骤1：构建卷积神经网络对输入图像进行特征提取；

步骤2：基于多尺度特征对输入图像中可能包含车牌的区域位置进行提取；

步骤3：基于多尺度特征对真正的车牌区域进行识别和精准定位。

2.根据权利要求1所述的基于卷积神经网络的多尺度车牌精准定位方法，其特征在于，步骤1的具体实现过程是：使用5个卷积层对输入图像进行特征提取，每个卷积层后设置一个线性纠正单元ReLU层对信号进行激活，从而向网络中引入非线性因素；前4个线性纠正单元ReLU层后设置池化层进行最大值池化，从而减少需要训练的网络参数数量、降低模型的复杂度。

3.根据权利要求1所述的基于卷积神经网络的多尺度车牌精准定位方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：使用滑动窗口，对卷积神经网络不同层次上的特征进行提取与融合；

步骤2.2：对每个融合特征矢量所对应的输入图像区域参照若干具有不同尺度和长宽比的锚点，得到具有不同尺度和长宽比组合的初始车牌候选区域；

步骤2.3：基于融合的特征矢量对每个区域进行分类识别，保留含车牌概率最大的N个区域作为目标候选区域，并使用回归器对区域的位置进行调整。

4.根据权利要求3所述的基于卷积神经网络的多尺度车牌精准定位方法，其特征在于：步骤2.1中，使用3×3的窗口在卷积神经网络所构建的特征映射图上滑动，同时在第五个卷积层和第四个卷积层对应的特征映射图上进行搜索，从每个位置提取512维的特征矢量，并对两个层次上的特征矢量进行融合。

5.根据权利要求3所述的基于卷积神经网络的多尺度车牌精准定位方法，其特征在于：步骤2.2中，对每个融合特征矢量所对应的输入图像区域参照9种具有不同尺度和长宽比的锚点，包括128×128、256×256、512×512三种尺度，0.4、0.5、0.6三种长宽比。

6.根据权利要求3所述的基于卷积神经网络的多尺度车牌精准定位方法，其特征在于：步骤2.3中，使用分类器判定各个区域的类别，类别包括车牌、背景，使用回归器对区域的位置进行调整；将被分类器判定为车牌得分最高的300个区域作为最终的车牌候选区域，进行更进一步的车牌识别和精准定位。

7.根据权利要求1所述的基于卷积神经网络的多尺度车牌精准定位方法，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：将提取的车牌候选区域映射到不同层次的特征图上，通过可变大小的池化操作得到固定维度的特征矢量；

步骤3.2：对不同层次上的特征进行融合；

步骤3.3：基于融合的特征矢量对车牌候选区域进行分类识别，筛选真正的车牌区域，并利用回归器和对称性约束对车牌的角点进行检测和推断，从而得到能精确覆盖车牌实际区域的四边形。

8.根据权利要求7所述的基于卷积神经网络的多尺度车牌精准定位方法，其特征在于：步骤3.1中，将提取的车牌候选区域同时映射到第四个卷积层和第五个卷积层对应的特征图上，经过可变大小的池化操作，对每个候选区域提取两个7×7维度的特征矢量。

9.根据权利要求7所述的基于卷积神经网络的多尺度车牌精准定位方法，其特征在于：步骤3.2中，对基于第四个卷积层和第五个卷积层所提取到的两个特征矢量进行融合，从而得到既具有强语义性又具备高分辨率的特征。

10.根据权利要求7所述的基于卷积神经网络的多尺度车牌精准定位方法，其特征在于：步骤3.3中，利用回归器首先检测车牌的三个角点，左上角点右上角点左下角点然后利用车牌结构的对称性约束按如下公式求解车牌的右下角点

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>x</mi> <mi>L</mi> <mi>r</mi> </msubsup> <mo>=</mo> <msubsup> <mi>x</mi> <mi>U</mi> <mi>r</mi> </msubsup> <mo>+</mo> <msubsup> <mi>x</mi> <mi>L</mi> <mi>l</mi> </msubsup> <mo>-</mo> <msubsup> <mi>x</mi> <mi>U</mi> <mi>l</mi> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>y</mi> <mi>L</mi> <mi>r</mi> </msubsup> <mo>=</mo> <msubsup> <mi>y</mi> <mi>U</mi> <mi>r</mi> </msubsup> <mo>+</mo> <msubsup> <mi>y</mi> <mi>L</mi> <mi>l</mi> </msubsup> <mo>-</mo> <msubsup> <mi>y</mi> <mi>U</mi> <mi>l</mi> </msubsup> </mrow> </mtd> </mtr> </mtable> </mfenced>

基于四个角点的坐标，得到精确覆盖车牌实际区域的四边形。