CN110991444A - 面向复杂场景的车牌识别方法及装置 - Google Patents

Abstract

本发明提供一种面向复杂场景的车牌识别方法，用于对复杂场景下的待测图像进行车牌识别从而识别出车牌的字符识别结果，其特征在于，包括：步骤S1，对待测图像进行预处理得到预处理图像集；步骤S2，搭建YOLOv3车牌检测模型；步骤S3，训练车牌检测训练集对YOLOv3车牌检测模型；步骤S4，搭建端到端的车牌识别卷积神经模型；步骤S5，训练端到端的车牌识别卷积神经模型；步骤S6，将预处理图像集输入训练完成的YOLOv3目标检测模型进行车牌目标检测从而得到车牌位置；步骤S7，依次根据车牌位置对相应的待测图像进行处理从而得到车牌图像集；步骤S8，将车牌图像集输入训练完成的端到端的车牌识别卷积神经模型得到车牌的字符识别结果。

Description

面向复杂场景的车牌识别方法及装置

技术领域

本发明属于计算机视觉以及人工智能技术领域，具体涉及一种面向复杂场景的车牌识别方法和装置。

背景技术

车牌识别在现实生活中有着非常广泛的应用，因此，车牌识别的研究有着重要的现实意义。例如，在智能交通系统中和城市电子监控系统中，车牌识别是确定车辆身份最为重要的手段，应用场景十分广泛。

在深度神经网络广泛运用之前，传统车牌识别主要有四个技术流程：车牌检测、车牌定位、字符分割和字符识别。这四个技术流程往往存在后者以来前者的关系。车牌定位是车牌整体字符的精细定位，依赖车牌检测的精准性，而字符分割依赖于车牌定位的精准度，而字符则依赖字符分割的准确性。因此，车牌识别的精确度依赖于整个技术流程各个环节的精确度，会因为一个环节的误差造成识别结果的较大误差。

此外，传统车牌识别在字符分割环节难以实现对倾斜、模糊等复杂条件下的车牌进行有效的字符分割，因而，限制了车牌识别在复杂场景下的应用。

发明内容

为解决上述问题，提供一种识别精度高、效率高、鲁棒性强，能应用于各种复杂场景的车牌识别方法及装置，本发明采用了如下技术方案：

本发明提供了一种面向复杂场景的车牌识别方法，用于对复杂场景下的待测图像进行车牌识别从而识别出车牌的字符识别结果，其特征在于，包括：步骤S1，对待测图像进行预处理得到预处理图像集；步骤S2，搭建YOLOv3车牌检测模型；步骤S3，根据包含多张训练图像的车牌检测训练集对YOLOv3车牌检测模型进行模型训练；步骤S4，搭建端到端的车牌识别卷积神经模型；步骤S5，根据车牌识别训练集对端到端的车牌识别卷积神经模型进行模型训练；步骤S6，将预处理图像集输入训练完成的YOLOv3目标检测模型进行车牌目标检测从而得到车牌位置；步骤S7，依次根据车牌位置对相应的待测图像进行裁剪处理从而得到相应的车牌图像，并将每张待测图像对应的所有车牌图像处理为一个车牌图像集；步骤S8，将车牌图像集输入训练完成的端到端的车牌识别卷积神经模型进行字符识别从而得到车牌的字符识别结果。

本发明提供的面向复杂场景的车牌识别方法，还可以具有这样的技术特征，预处理图像集为一个由一张或多张预处理图像组成的batch，YOLOv3车牌检测网络模型对预处理图像集进行批量并行处理，车牌图像集为一个由一张或多张车牌图像组成的batch，端到端的车牌识别卷积神经模型对车牌图像集进行批量并行处理。

本发明提供的面向复杂场景的车牌识别方法，还可以具有这样的技术特征，步骤S2包括如下子步骤：步骤S2-1，使用k均值聚类算法在车牌检测训练集上进行聚类运算得到x(x是3的倍数)个先验包围盒，再将该x个先验包围盒映射到YOLOv3车牌检测网络模型所要求的输入图像的尺寸上从而得到x个新的先验包围盒；步骤S2-2，搭建YOLOv3车牌检测网络模型的卷积层作为特征提取器，卷积层默认为53层，分别输出13*13，26*26和52*52三种尺寸的特征图；步骤S2-3，将步骤S2-1得到的x个先验包围盒按照尺寸大小进行排序，并平均分为三份，进一步将小尺寸的特征图与大尺寸的先验包围盒相结合、大尺寸特征图与小尺寸的先验包围盒结合、中等尺寸的特征图与中等尺寸的先验包围盒相结合构造检测结果，即车牌坐标。步骤S3包含如下子步骤：步骤S3-1，训练图像输入搭建好的YOLOv3车牌检测模型预测车牌坐标；步骤S3-2，YOLOv3车牌检测模型预测的车牌坐标与训练集车牌坐标构建loss；步骤S3-3，根据loss使用反向传播算法进行YOLOv3车牌检测网络模型训练。

本发明提供的面向复杂场景的车牌识别方法，还可以具有这样的技术特征，端到端的车牌识别卷积神经模型共有12个卷积层以及接着连接的多个全连接层，各个全连接层分别依次对应车牌从左到右的字符输出。

本发明提供的面向复杂场景的车牌识别方法，还可以具有这样的技术特征，其中，先验包围盒的个数默认为9。

本发明提供的面向复杂场景的车牌识别方法，还可以具有这样的技术特征，其中，预处理包括：保留原始的待测图像用于步骤S7的识别处理；对待测图像进行尺寸统一以及图像归一化从而满足YOLOv3车牌检测模型所要求的输入图像的尺寸。

本发明还提供了一种面向复杂场景的车牌识别装置，用于对复杂场景下的待测图像进行车牌识别从而识别出车牌的字符识别结果，其特征在于，包括：预处理部，用于对待测图像进行预处理得到预处理图像集；车牌检测部，存储有预先训练完成的YOLOv3车牌检测模型，用于对预处理图像集进行车牌目标检测从而得到车牌位置；车牌图像处理部，用于依次根据车牌位置对相应的待测图像进行识别处理从而得到相应的车牌图像，并将每张待测图像对应的所有车牌图像处理为一个车牌图像集；以及车牌字符识别部，存储有预先训练完成的端到端的车牌识别卷积神经模型，用于对车牌图像集进行字符识别从而得到车牌的字符识别结果。

发明作用与效果

根据本发明的面向复杂场景的车牌识别方法及装置，由于采用了YOLOv3车牌检测模型对预处理后的待测图像进行车牌检测，YOLOv3是一种One-Stage目标检测网络，因此能够在满足准确率要求的同时，极大地提高车牌检测的效率。同时，在对车牌进行字符识别时，则采用了端到端的卷积神经网络，通过构建多个全连接层的方式来识别多个车牌字符，简化了车牌识别流程、减少了车牌识别时间、提高了车牌识别效率。本发明的车牌识别方法将车牌识别流程简化为车牌检测以及车牌字符识别两个过程，并通过两个对应功能的模型进行识别，因此不仅能够满足准确率的要求，而且能以较高的速率进行车牌检测识别，实现了在复杂场景中对车牌的精确识别。

附图说明

图1是本发明实施例中面向复杂场景的车牌识别方法的流程图；

图2是本发明实施例中YOLOv3车牌检测网络模型的结构示意图；

图3是本发明实施例中端到端的车牌识别卷积神经网络模型的结构示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的面向复杂场景的车牌识别方法及装置作具体阐述。

<实施例>

本实施例中，车牌检测和车牌字符识别部分中用到的车牌数据集均采用CCPD数据集，该数据集由中国科技大学科研人员收集制作并发布。其中，车牌图像为使用手持POS机在中国各省市拍摄路边停靠车辆所得，共有30万张图片，图片像素统一为720*1160，包含了上午7:30到晚上10:00各种天气情况。每张图片都详细标记了相应车牌号、车牌包围框、车牌四个角坐标点、水平倾斜度、垂直倾斜度、亮度、模糊程度等信息。

本实施例中，面向复杂场景的车牌识别方法所实现的硬件平台需要一张NVIDIATITANX显卡(用于GPU加速)。

本实施例首先对待测图像进行预处理；接着，搭建车牌检测网络模型和端到端的车牌识别卷积神经网络模型；然后，训练车牌检测网络模型和端到端的车牌识别卷积神经网络模型；最后，将预处理后的待测图像输入车牌检测网络模型得到车牌位置，根据车牌位置获取车牌图像，将车牌图像输入端到端车牌识别卷积神经网络模型得到车牌号。总体包括4个流程：预处理、搭建模型、训练模型、车牌检测及车牌号码识别。

图1是本发明实施例中面向复杂场景的车牌识别方法的流程图。

如图1所示，面向复杂场景的车牌识别方法包括如下步骤：

步骤S1，对待测图像进行预处理得到预处理图像。

本实施例中，待测图像为CCPD数据集，其相应的预处理过程如下：首先，将每张待测图像尺寸统一为416x416(即416像素乘416像素)，以满足YOLOv3车牌检测模型对输入图像尺寸大小的要求；再将每个像素点的值除以255，将图像归一化；最后，将多张处理后的图像制作为一个张量(即预处理图像)。

本实施例中，预处理图像由多张图像组成，用于同时输入YOLOv3车牌检测模型从而进行批量处理。在其他实施例中，预处理图像也可以是单张图像。

本实施例的步骤S1中，在对待测图像进行预处理形成预处理图像时，同时会保留原始的待测图像，以备做车牌字符识别网络的输入。

步骤S2，搭建YOLOv3车牌检测模型。

本实施例的步骤S2中，采用现有深度学习框架Pytorch搭建YOLOv3车牌检测模型。YOLOv3是一个端到端的One-Stage目标检测网络模型，该网络模型输入待测图像后能够直接输出车牌位置，在特定应用场景下具有既保证准确率又满足高效率处理要求的优点。本实施例的步骤S2具体包括如下子步骤：

步骤S2-1，使用k均值聚类算法在训练数据集上得到9个先验包围盒，这9个先验包围盒作为车牌检测包围盒生成的基础。

步骤S2-2，使用卷积神经网络搭建YOLOv3框架，该框架由卷积操作和上采样操作组成，其中，多个卷积操作采用了残差网络结构，该结构由两路数据(一路是两个卷积层级联的数据和一路原始数据)相加求和构成，并且网络结构中每一个卷积层之后都做批量规范化(Batch Normalization)和激活(Leaky ReLU)操作。

步骤S2-3，将步骤S2-1得到的9个先验包围盒按照尺寸大小分为大、中、小三组，进一步将小尺寸的特征图与大尺寸的先验包围盒相结合、大尺寸特征图与小尺寸的先验包围盒结合、中等尺寸的特征图与中等尺寸的先验包围盒相结合构造车牌检测结果，即车牌坐标。由于先验包围盒是根据特定场景下生成的，并且，最终车牌检测包围盒以先验包围盒为基础生成，因此，能够获得较好的检测效果。

在其他实施例中，上述先验包围盒的个数可以调整，同时，YOLOv3车牌检测模型也要相应调整。

图2是本发明实施例中YOLOv3车牌检测网络模型的结构示意图。

如图2所示，YOLOv3车牌检测网络模型具体包括如下结构：

(1)网络输入，用于输入步骤S1的预处理图像集(以及在训练时输入训练集)，图像大小为416x416，张量形状为Nx3x416x416。

(2)特征提取网络，默认采用DarkNet53，包括：

a)卷积操作C1，由1个卷积操作组成(卷积核大小为3x3，卷积核个数为32，滑动步长为1，填充为1，输出形状为Nx32x416x416)；

b)卷积操作C2，由1个卷积层(卷积核大小为3x3，卷积核个数为64，滑动步长为2，填充为1，输出为Nx64x208x208)和1个残差网络结构(如图3所示)组成；

c)卷积操作C3，由1个卷积层(卷积核大小为3x3，卷积核个数为128，滑动步长为2，填充为1，输出为Nx128x104x104)和2个残差网络结构组成；

d)卷积操作C4，由1个卷积层(卷积核大小为3x3，卷积核个数为256，滑动步长为2，填充为1，输出为Nx256x52x52)和8个残差网络结构组成；

e)卷积操作C5，由1个卷积层(卷积核大小为3x3，卷积核个数为512，滑动步长为2，填充为1，输出为Nx512x26x26)和8个残差网络结构组成；

f)卷积操作C6，由1个卷积层(卷积核大小为3x3，卷积核个数为1024，滑动步长为2，填充为1，输出为Nx1024x13x13)和4个残差网络结构组成。

(3)一系列卷积、上采样和堆积操作：

g)卷积操作C7，由7个卷积层组成，输出为Nx27x13x13，用来最终预测车牌位置；

h)将卷积操作C7第5个卷积层的输出作为分支导出，分支形状为Nx512x13x13，再经过一个卷积层C8(卷积核大小为1x1，卷积核个数为256，填充为0，输出为Nx256x13x13)，再对输出进行上采样操作，得到张量形状为Nx256x26x26，再将该张量与C5操作得到的张量进行堆积操作，得到形状Nx768x26x26的张量；最后对该张量进行卷积操作C9，该卷积操作与C7类似，输出为Nx27x26x26，用来最终预测车牌位置；

i)将卷积操作C9第5个卷积层的输出作为分支导出，分支形状为Nx256x26x26，再经过一个卷积层C10(卷积核大小为1x1，卷积核个数为128，填充为0，输出为Nx128x26x26)，再对输出进行上采样操作，得到张量形状为Nx128x52x52，再将该张量与C4操作得到的张量进行堆积操作，得到形状Nx384x52x52的张量；最后对该张量进行卷积操作C11，该卷积操作与C7、C9类似，输出为Nx27x52x52，用来最终预测车牌位置。

(4)上一步分别得出三种形状的张量，Nx27x13x13，Nx27x26x26,Nx27x52x52，分别用来预测检测目标中的大目标、中目标和小目标以及车型。Nx27x13x13张量具有较大的有效感受野，其与大的先验包围盒结合生成预测包围盒预测大目标车牌位置；Nx27x13x13张量的有效感受野最小，其与小的先验包围盒结合生成预测包围盒预测小目标车牌位置；Nx27x26x26张量具有中等大小的有效感受野，与中等大小的先验包围盒结合生成包围盒预测中等目标车牌位置。

步骤S3，根据包含多张训练图像的车牌检测训练集对YOLOv3车牌检测模型进行模型训练。

本实施例的步骤S3包含如下子步骤：

步骤S3-1，将训练图像输入步骤S2搭建好的YOLOv3车牌检测模型预测车牌坐标；

步骤S3-2，根据YOLOv3车牌检测模型预测的车牌坐标与训练集车牌坐标构建loss；

步骤S3-3，根据loss使用反向传播算法进行YOLOv3车牌检测网络模型训练。

本实施例的步骤S3中，采用数据集CCPD作为车牌检测训练集。在训练前，先将车牌检测训练集进行预处理，其预处理方式与步骤S1相同，此外还加入了随机水平翻转操作实现数据集增强。预处理后的车牌检测训练集分批输入网络模型进行训练，每次进入网络模型的训练图像批次大小为16，一共迭代训练50轮。初始的YOLOv3车牌检测模型中各卷积层参数为随机设置。

模型训练过程中，每次迭代(即一批训练图像经过模型)后，YOLOv3车牌检测模型最后一层计算损失误差。本实施例的YOLOv3车牌检测模型采用了MSE Loss(均方损失)和Cross Entropy Loss(交叉熵损失)相结合的方式计算预测包围盒、车牌属性误差。最后，将计算得到的损失误差反向传播，更新网络模型参数。模型训练完成条件与常规的卷积神经网络模型相同，即各层网络参数收敛即完成训练。

经过上述迭代训练并在迭代过程中进行误差计算和反向传播，达到各层网络参数收敛即获得训练完成的YOLOv3车牌检测模型。

步骤S4，搭建端到端的车牌识别卷积神经模型。

本实施例的端到端的车牌识别卷积神经模型借鉴了Resnet残差结构搭建网络(如图3所示)，共有12个卷积层，最后设置7个全连接层，分别对应小型汽车蓝底白字车牌从左到右7个字符。Resnet网络结构由两路数据(一路是两个卷积层级联的数据和一路原始数据)相加求和构成，每层卷积之后都有批量规范化(Batch Normalization)操作，激活(ReLU)操作是在第一层卷积之后以及两路数据相加之后。以下结合附图说明本实施例的端到端的车牌识别卷积神经网络模型的具体结构。

图3是本发明实施例中端到端的车牌识别卷积神经网络模型的结构示意图。

如图3所示，端到端的车牌识别卷积神经网络模型具体包括如下结构：

(1)网络输入，用于输入标记了车牌号的车牌图像集(以及在训练时输入训练集)，图像大小为160x40，张量形状为nx3x160x40。

(2)多个卷积层，包括：

a)卷积操作C12，由1个卷积层(卷积核大小为7x7，卷积核个数为64，滑动步长为2，填充为3，输出形状为nx64x80x20)和一个最大池化层(核大小为3x3，滑动步长为2，填充为1，输出形状为nx64x40x10)组成。

b)卷积操作C13，由两个残差网络结构组成，两个残差网络卷积层核大小均为3x3，卷积核个数均为64，滑动步长均为1，填充均为1，输出形状为nx64x40x10。

c)卷积操作C14，由两个残差网络结构组成，其中第一个残差网络结构卷积层滑动步长为2，所以该卷积操作带有下采样操作，最终输出形状为nx128x20x5。

(3)平均池化操作，将前面多次卷积得到的形状为nx128x20x5的张量进行池化操作，得到一个形状为nx128x4x1的张量。

(4)将上一步得到的张量作为车牌7个字符全连接层的输入，最终得到车牌字符识别结果。

步骤S5，根据车牌检测训练集对端到端的车牌识别卷积神经模型进行模型训练。

本实施例的步骤S5中，采用数据集CCPD作为车牌检测训练集。在训练前，先对车牌检测训练集进行预处理，图像尺寸resize为160x40，再进行归一化和规范化操作。车牌检测训练集分批输入网络模型进行训练，每次进入网络模型的训练图像批次大小为256。各卷积层参数初始化采用在ImageNet数据集上预训练的模型参数。模型训练过程中，每次迭代(即一批训练图像经过模型)后，模型最后一层计算损失误差。各全连接层输出结果与对应的车牌标记计算交叉熵损失误差。最后，将计算得到的七个损失误差反向传播，更新网络模型参数。以上过程一共迭代50轮，各层网络参数收敛即完成训练。

步骤S6，将预处理图像集输入训练完成的YOLOv3目标检测模型进行车牌目标检测从而得到车牌位置。

本实施例中，在YOLOv3目标检测模型对预处理图像进行处理时，会得到三个不同形状的张量；将这三个张量中车牌目标置信度低于阈值的目标去除，再使用非极大值抑制(NMS)算法过滤掉预测包围盒中重合较多而置信度低的预测包围盒，从而去除冗余预测包围盒，得到最好的预测包围盒，最终得到车牌位置。

步骤S7，依次根据车牌位置对相应的待测图像进行识别处理从而得到相应的车牌图像，并将每张待测图像对应的所有车牌图像处理为一个车牌图像集。

本实施例的步骤S7中，在根据步骤S6中得到的车牌位置从原始的单张待测图像中获取车牌图像后，还会对车牌图像进行步骤S5中的预处理，并将一张待测图像中的多个车牌图像制作为一批张量(即车牌图像集)。

步骤S8，将车牌图像集输入训练完成的端到端的车牌识别卷积神经模型进行字符识别从而得到车牌中每个字符的字符识别结果。

本实施例中，输入端到端的车牌识别卷积神经网络模型对车牌图像集进行批量处理，从而对应得到每张待测图像中所有车牌的字符是识别结果。

本实施例中，步骤S6至步骤S8会被重复执行直到将批量的待测图像全部处理完成。

实施例作用与效果

根据本实施例提供的面向复杂场景的车牌识别方法及装置，由于采用了YOLOv3车牌检测模型对预处理后的待测图像进行车牌检测，YOLOv3是一种One-Stage目标检测网络，因此能够在满足准确率要求的同时，极大地提高车牌检测的效率。同时，在对车牌进行字符识别时，则采用了端到端的卷积神经网络，通过构建多个全连接层的方式来识别多个车牌字符，简化了车牌识别流程、减少了车牌识别时间、提高了车牌识别效率。本实施例的车牌识别方法将车牌识别流程简化为车牌检测以及车牌字符识别两个过程，并通过两个对应功能的模型进行识别，因此不仅能够满足准确率的要求，而且能以较高的速率进行车牌检测识别，实现了在复杂场景中对车牌的精确识别。

另外，本实施例中，在车牌检测和车牌字符识别的衔接方面，本实施例采用了批量图像输入的方式，而在车牌字符上则采用单张图像中的若干个车牌图像构建批量图像进行车牌字符识别的方案，经过试验比对，这一方案比单张图像中若干个车牌图像逐一进行字符识别的方案和批量图像中所有的车牌图像制作为一个batch进行字符识别的方案效率更高，并且能高效地利用计算资源。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

例如，上述实施例提供了一种面向复杂场景的车牌识别方法。该方法主要包括预处理、搭建模型、训练模型、车牌检测及车牌字符识别几大模块。然而，为了实际使用时更为方便，本发明中训练好的模型还可以分别打包形成车牌检测部和车牌字符识别部，该车牌检测部和车牌字符识别部可以与能够实施步骤S1的预处理部以及能够实施步骤S7的车牌图像处理部相配合，形成一个用于对复杂场景下车牌进行识别的车牌识别装置。从而使得待测图像经过预处理部处理后由车牌检测部检测出车牌位置。而车牌字符图像处理部还可以添加简单的图像尺寸改变和归一化、规范化操作从而对车牌图像进一步处理，使只包含单一车牌的图像由车牌字符识别部识别出车牌字符。

此外，上述实施例中，YOLOv3车牌检测模型默认采用Darknet-53作为基础网络来提取特征，越深的网络面对越复杂的场景和任务固然能取得更高的准确率，不过，在实际应用中，针对特定应用场景，浅一些的网络识别准确率并不输深层网络，同时，还能获得更快的识别速率，更好地面向实际应用。因此在本发明中，车牌检测网络模型还可以采用浅一些的Darknet-19，也可以根据应用场景特征设计特定的特征提取网络模型，在保证准确率的同时具备更快地处理速率，具有更高的实际应用价值。

Claims (6)

1.一种面向复杂场景的车牌识别方法，用于对复杂场景下的待测图像进行车牌识别从而识别出车牌的字符识别结果，其特征在于，包括：

步骤S1，对所述待测图像进行预处理得到预处理图像集；

步骤S2，搭建YOLOv3车牌检测模型；

步骤S3，根据包含多张训练图像的车牌检测训练集对所述YOLOv3车牌检测模型进行模型训练；

步骤S4，搭建端到端的车牌识别卷积神经模型；

步骤S5，根据所述车牌检测训练集对所述端到端的车牌识别卷积神经模型进行模型训练；

步骤S6，将所述预处理图像集输入训练完成的所述YOLOv3目标检测模型进行车牌目标检测从而得到车牌位置；

步骤S7，依次根据所述车牌位置对相应的所述待测图像进行识别处理从而得到相应的车牌图像，并将每张所述待测图像对应的所有所述车牌图像处理为一个车牌图像集；

步骤S8，将所述车牌图像集输入训练完成的所述端到端的车牌识别卷积神经模型进行字符识别从而得到所述车牌的字符识别结果，

其中，所述端到端的车牌识别卷积神经模型共有12个卷积层以及接着连接的多个全连接层，各个所述全连接层分别依次对应所述车牌从左到右的字符输出。

2.根据权利要求1所述的面向复杂场景的车牌识别方法，其特征在于：

其中，所述预处理图像集为一个由一张或多张预处理图像组成的batch，所述YOLOv3车牌检测网络模型对所述预处理图像集进行批量并行处理，

所述车牌图像集为一个由一张或多张所述车牌图像组成的batch，所述端到端的车牌识别卷积神经模型对所述车牌图像集进行批量并行处理。

3.根据权利要求1所述的面向复杂场景的车牌识别方法，其特征在于：

其中，所述步骤S2包括如下子步骤：

步骤S2-1，使用k均值聚类算法在车牌检测训练集上进行聚类运算得到x个先验包围盒，再将该x个先验包围盒映射到YOLOv3车牌检测网络模型所要求的输入图像的尺寸上从而得到x个新的先验包围盒；

步骤S2-2，搭建所述YOLOv3车牌检测网络模型的卷积层作为特征提取器，所述卷积层默认为53层，分别输出13*13，26*26和52*52三种尺寸的特征图；

步骤S2-3，将所述步骤S2-1得到的x个先验包围盒按照尺寸大小进行排序，并平均分为三份，进一步将小尺寸的特征图与大尺寸的先验包围盒相结合、大尺寸特征图与小尺寸的先验包围盒结合、中等尺寸的特征图与中等尺寸的先验包围盒相结合构造车牌检测结果，

其中，所述先验包围盒的个数x为3的倍数。

4.根据权利要求3所述的面向复杂场景的车牌识别方法，其特征在于：

其中，所述先验包围盒的个数默认为9。

5.根据权利要求1所述的面向复杂场景的车牌识别方法，其特征在于：

其中，所述预处理包括：

保留原始的所述待测图像用于所述步骤S7的识别处理；

对所述待测图像进行尺寸统一以及图像归一化从而满足所述YOLOv3车牌检测模型所要求的输入图像的尺寸。

6.一种面向复杂场景的车牌识别装置，用于对复杂场景下的待测图像进行车牌识别从而识别出车牌的字符识别结果，其特征在于，包括：

预处理部，用于对所述待测图像进行预处理得到预处理图像集；

车牌检测部，存储有预先训练完成的YOLOv3车牌检测模型，用于对所述预处理图像集进行车牌目标检测从而得到车牌位置；

车牌图像处理部，用于依次根据所述车牌位置对相应的所述待测图像进行识别处理从而得到相应的车牌图像，并将每张所述待测图像对应的所有所述车牌图像处理为一个车牌图像集；以及

车牌字符识别部，存储有预先训练完成的端到端的车牌识别卷积神经模型，用于对所述车牌图像集进行字符识别从而得到所述车牌的字符识别结果。

Images