CN115690770A - 基于空间注意力特征的非受限场景下的车牌识别方法 - Google Patents

Abstract

本发明公开了一种基于空间注意力特征的非受限场景下的车牌识别方法，通过YOLOv5目标检测网络提取出完整车牌图像中的车牌区域，然后将车牌区域送入空间变换网络对车牌字符进行矫正；再将矫正后的特征送入空间注意力特征提取模块提取该区域的空间注意力特征，得到最终特征；最后将最终特征输入到训练好的字符识别网络中进行字符识别，得到七个车牌的字符信息，进而识别出车牌字符。本发明通过计算车牌区域的空间注意力特征，使得网络更加专注于车牌区域的字符信息，避免了复杂的背景影响车牌识别的成功率。本发明在字符识别过程中采用了无分割方法，无需车牌字符区域的字符分割流程，从而避免了由于字符分割错误而导致的车牌字符识别错误。

Description

基于空间注意力特征的非受限场景下的车牌识别方法

技术领域

本发明涉及车牌识别技术领域，具体是一种基于空间注意力特征的非受限场景下的车牌识别方法。

背景技术

近年来，随着私家车数量的爆炸式增长，自动车牌识别技术越来越广泛地应用于高速公路收费站、停车场等多种场景。研究人员已经在以上这些限制场景下提出了许多高性能的自动车牌识别方法。然而，针对各种细化的非受限场景，如何提高车牌识别准确率的研究仍然具有重要的应用前景。

一般来说，车牌图像可以分为两类：一类是固定场景中的车牌图像，例如：高速公路收费站、无人停车场或小区门禁处的车牌图像。上述场景中的车牌图像几乎都是在光线充足、距离适中、角度固定的位置拍摄的；另一种是无约束场景中的车牌图像，例如：交警拍摄的车牌图像(他们通过移动设备或智能手机拍摄的车牌照片)，或“天网”监控系统中的车牌图像。这些车牌图像大多是在黑暗、曝光、雨雪等不利条件下拍摄的。由于这些不利条件往往会导致车牌图像模糊失真或者倾斜扭曲，针对非受限场景下的车牌识别技术研究具有现实意义。

自动车牌识别的整个流程通常分为两个主要任务：车牌检测，旨在图像中定位车牌；车牌识别，旨在识别车牌中的字符串。

车牌区域检测是一项必不可少的任务，旨在找到图像中的车牌区域。受益于基于深度学习方法的目标检测器，车牌区域检测也获得了长足进步。这些目标检测方法根据设计思路，可以主要分为两种类型：一种是一阶段的物体检测算法，代表性的方法包括SSD、YOLO和FCOS；另外一种二阶段的物体检测算法，包括R-CNN、fast R-CNN和faster R-CNN。

目前的车牌识别算法可以分为两类：一类是基于分割的识别方法，另一类是无分割方法。基于分割的车牌识别方法通常对车牌区域中的字符进行分割，然后通过光学字符识别对其进行识别。然而，不受约束的场景下的各种情况：如过曝、雨雪天气等复杂背景都可能导致车牌字符分割不正确，同时，分割成功的概率决定着基于分割方法的车牌识别的成功率，因此，基于分割的车牌识别方法具有很大的局限性。无分割车牌字符识别方法可以一步识别所有字符，避免了车牌字符分割错误的不良影响，但是此方法在非受限场景中由于曝光、拍摄距离过远或过近、车牌歪斜等等不利条件，识别准确率大大降低。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于空间注意力特征的非受限场景下的车牌识别方法。

本发明解决所述技术问题的技术方案是，提供一种基于空间注意力特征的非受限场景下的车牌识别方法，其特征在于，该方法包括以下步骤：

步骤1、对CCPD车牌数据集中的完整车牌图像进行处理，得到车牌区域的真实值、车牌字符的真实值gn_i和车牌区域图像；然后将完整车牌图像和车牌区域图像分别分为训练集、验证集和测试集；

步骤2、采用完整车牌图像训练集对YOLOv5目标检测网络进行训练，得到训练好的YOLOv5目标检测网络；再将完整车牌图像测试集输入到训练好的YOLOv5目标检测网络中，预测出完整车牌图像测试集中的图像的车牌区域四个顶点的坐标值作为车牌区域的预测值；

步骤3、将通过车牌区域的预测值裁剪出的车牌框送入空间变换网络对车牌字符进行矫正，得到矫正后的特征；

步骤4、采用车牌区域图像训练集对空间注意力特征提取模块进行训练，得到训练好的空间注意力特征提取模块；再将步骤3得到的矫正后的特征输入到训练好的空间注意力特征提取模块中，首先经过三个相同的卷积层处理，得到基本特征图F；再对基本特征图F分别进行全局最大值池化和全局平均值池化，得到两个特征图；再将两个特征图基于通道维度叠加，然后通过一个卷积层将特征图降维成一维，再经过sigmoid激活函数得到空间注意力特征M_s；然后将空间注意力特征M_s与基本特征图F做矩阵哈达玛积，得到最终特征；

步骤5、采用车牌区域图像训练集对字符识别网络进行训练，得到训练好的字符识别网络；再将步骤4得到的最终特征输入到训练好的字符识别网络中进行字符识别，得到七个车牌的字符信息，进而识别出车牌字符。

与现有技术相比，本发明有益效果在于：

(1)本发明通过YOLOv5目标检测网络提取出完整车牌图像中的车牌区域，然后将车牌区域送入空间变换网络对车牌字符进行矫正；再将矫正后的特征送入空间注意力特征提取模块提取该区域的空间注意力特征，得到最终特征；最后将最终特征输入到训练好的字符识别网络中进行字符识别，得到七个车牌的字符信息，进而识别出车牌字符。

(2)本发明通过计算车牌区域的空间注意力特征，使得网络能够忽略车牌字符空隔处的背景信息，更加专注于车牌区域的字符信息，避免了复杂的背景影响车牌识别的成功率。因此，使用带有空间注意力的识别网络可以更加准确的识别各种复杂场景下的车牌字符，提高了字符识别准确率。

(3)本发明在字符识别过程中采用了无分割方法，无需车牌字符区域的字符分割流程，从而避免了由于字符分割错误而导致的车牌字符识别错误。

(4)本发明在车牌区域分割和车牌字符识别这两个过程之中嵌入了空间变换网络，用于纠正变形的车牌字符，提升车牌字符识别的成功率。

(5)本发明构建的深度学习模型能够自动更新参数，不需要其他的先验信息，并且可以学习复杂场景下的车牌特征信息，能够在GPU搭建的环境下快速准确进行车牌识别。

(6)本发明构建了一个完整的车牌识别框架，完整实现了从车牌区域检测到车牌字符识别完整的流程，可以在曝光过度、拍摄角度倾斜、不良天气等等不良条件下识别出图像中的车牌，并且准确率优于其他方法。

附图说明

图1为本发明的整体网络结构的流程示意图；

图2为本发明的空间注意力特征提取模块的网络示意图；

图3为本发明的字符识别网络的网络示意图；

图4为本发明实施例1的完整车牌图像的示意图；

图5为本发明实施例1的完整车牌图像的名称的示意图；

图6为本发明实施例1的车牌区域图像的示意图；

图7为本发明实施例1中的车牌区域检测完成示例图；

图8为本发明实施例1得到的车牌区域检测以及字符识别结果图。

具体实施方式

下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本申请权利要求的保护范围。

本发明提供了一种基于空间注意力特征的非受限场景下的车牌识别方法(简称方法)，其特征在于，该方法包括以下步骤：

步骤1、对CCPD车牌数据集中的完整车牌图像进行处理，得到车牌区域的真实值、车牌字符的真实值gn_i和车牌区域图像；然后将完整车牌图像和车牌区域图像分别分为训练集、验证集和测试集；

优选地，步骤1具体是：将完整车牌图像的名称中包含的车牌区域四个顶点的坐标值作为车牌区域的真实值；将完整车牌图像的名称中包含的车牌字符信息作为车牌字符的真实值gn_i；根据完整车牌图像的名称中包含的车牌区域四个顶点的坐标值裁剪出每张完整车牌图像中的车牌区域，得到车牌区域图像；然后将完整车牌图像分为完整车牌图像训练集、完整车牌图像验证集和完整车牌图像测试集，车牌区域图像分为车牌区域图像训练集、车牌区域图像验证集和车牌区域图像测试集。

优选地，步骤1中，在得到车牌区域图像的过程中，对裁剪出的图像进行随机放缩来进行图像增强，模拟非受限场景下车牌产生形变的情况，增加数据量，提高模型的鲁棒性。随机放缩是拉伸或缩减对应车牌区域长宽的1/10。

步骤2、采用完整车牌图像训练集对YOLOv5目标检测网络进行训练，得到训练好的YOLOv5目标检测网络作为车牌区域检测网络；再将完整车牌图像测试集作为训练好的YOLOv5目标检测网络的输入，输入到训练好的YOLOv5目标检测网络中，预测出完整车牌图像测试集中的图像的车牌区域四个顶点的坐标值作为车牌区域的预测值；

优选地，步骤2中，当车牌区域的预测值与步骤1得到的相对应图像的车牌区域的真实值之间的交并比(Intersection of Union，IOU)大于60％，确定为车牌区域检测正确，后续计算正确率时使用。

优选地，步骤2中，经过训练后的YOLOv5目标检测网络在完整车牌图像验证集上进行测试来计算准确率，通过验证集的准确率来修改YOLOv5目标检测网络中关于车牌检测的参数，直至准确率达到至少95％，训练结束。

优选地，步骤2中，交并比是通过车牌区域的预测值中的左上角点的坐标(x₁,y₁)和右下角点的坐标(x₂,y₂)与步骤1得到的同一张图像的车牌区域的真实值中的左上角点的坐标(a₁,b₁)和右下角点的坐标(a₂,b₂)计算得来的，具体公式如式(1)所示：

优选地，步骤2中，YOLOv5目标检测网络的训练过程具体是：将完整车牌图像训练集作为YOLOv5目标检测网络的输入，输入到YOLOv5目标检测网络中进行训练，输出结果为预测值；完整车牌图像训练集中的图像的名称中包含的车牌区域四个顶点的坐标值作为真实值；预测值与真实值之间的差异越小，车牌区域预测越准确，直至达到设定目标，训练结束，得到训练好的YOLOv5目标检测网络；设定目标为迭代300轮或者在完整车牌图像验证集中的车牌区域检测正确率达到至少95％。

优选地，步骤2中，为了实现更准确地车牌区域预测，使之更适合于车牌检测，可以对YOLOv5目标检测网络进行改进，得到改进YOLOv5目标检测网络；具体改进方法是：为使得预设定锚框大小适合检测车牌，根据完整车牌图像训练集中的车牌进行kmeans聚类计算得到自适应锚框，进而得到改进YOLOv5目标检测网络。

优选地，步骤2中，kmeans聚类的具体步骤如下：

(2.1)从完整车牌图像训练集中随机选择k个车牌区域顶点坐标作为聚类中心C＝{c₁,c₂,...,c_k}，k也表示YOLOv5目标检测网络的初始锚框数量；

(2.2)分别计算完整车牌图像训练集中的每个图像x_i到k个聚类中心的距离，再将图像x_i划分到距离最小的聚类中心所对应类别中；i表示完整车牌图像训练集中的第i张图像；

(2.3)根据步骤(2.2)的重新划分类别后的图像，重新计算该类别的中心

最后计算k个聚类中心点作为k个预设锚框的大小；1≤j≤k，n为每个类别中的图像个数。

步骤3、将通过车牌区域的预测值裁剪出的车牌框送入空间变换网络(SpatialTransformer Networks)对车牌字符进行矫正，避免因为车牌的物理形变而导致的识别错误，得到矫正后的特征；输入为H*W*C的特征向量(H表示图片的高维度，W表示图片的宽维度，C表示图片的通道维度)，经过空间变换网络，输出维度不变；

优选地，步骤3中，利用空间变换网络对车牌框中的车牌字符进行矫正包括参数预测、坐标映射和输出像素三个过程；首先，参数预测部分的输入为通过车牌区域的预测值裁剪出的车牌框，经过卷积操作后得到变换矩阵θ∈R^2×3；然后坐标映射部分利用变换矩阵θ，得到输出图像与输入图像对应位置的映射关系；最后利用插值算法计算出输出图像中各个像素点的数值，每个像素点的数值组成矫正后的特征。

步骤4、采用车牌区域图像训练集对空间注意力特征提取模块进行训练，得到训练好的空间注意力特征提取模块；再将步骤3得到的矫正后的特征输入到训练好的空间注意力特征提取模块中，首先经过三个相同的卷积层处理，得到基本特征图F；再对基本特征图F分别进行全局最大值池化和全局平均值池化，得到两个特征图；再将两个特征图基于通道维度叠加，然后通过一个卷积层将特征图降维成一维，再经过sigmoid激活函数得到空间注意力特征M_s；然后将空间注意力特征M_s与基本特征图F做矩阵哈达玛积，得到最终特征；

优选地，步骤4中，三个相同的卷积层中，每个卷积层中卷积核个数为48、卷积核大小为3*3、步长为1、padding＝2、通过ReLU激活函数进行激活。

优选地，步骤4中，一个卷积层中，卷积核的数量为1，卷积核大小为7*7，步长为1，padding＝6。

优选地，步骤4具体是：将大小为H×W×C的矫正后的特征经过三层卷积处理后，得到H×W×48的基本特征图F；再分别进行一个基于通道维度的全局最大值池化和全局平均值池化，得到两个大小均为H×W×1的特征图；然后将这两个特征图基于通道做拼接操作，得到一个H×W×2的特征图，然后经过一个卷积核大小为7*7的卷积层处理将特征图降维成一维，此时特征图大小为H×W×1；再经过sigmoid激活函数得到空间注意力特征M_s；然后将空间注意力特征M_s与基本特征图F做矩阵哈达玛积，得到最终特征；上述过程用公式(2)表示：

步骤5、采用车牌区域图像训练集对字符识别网络进行训练，得到训练好的字符识别网络；再将步骤4得到的最终特征输入到训练好的字符识别网络中进行字符识别，得到七个车牌的字符信息，进而识别出车牌字符。

优选地，步骤3～5中，空间变换网络、空间注意力特征提取模块和字符识别网络组成基于空间注意力特征的字符识别网络；

基于空间注意力特征的字符识别网络的训练过程具体是：将车牌区域图像训练集输入到基于空间注意力特征的字符识别网络中进行训练，通过步骤3～步骤5，输出的结果为七个车牌字符作为车牌字符的预测值pn_i；再将车牌字符的预测值pn_i与步骤1得到的车牌字符的真实值gn_i带入式(2)的损失函数中，得到损失函数值L_cls(pn,gn)；通过损失函数值L_cls(pn,gn)不断优化基于空间注意力特征的字符识别网络，损失函数值越小，车牌字符识别越准确，直至达到设定目标，训练结束，得到训练好的基于空间注意力特征的字符识别网络；设定目标为迭代50轮或者在车牌区域图像验证集中的车牌字符识别准确率达到至少98％；当且仅当预测值与步骤1得到的同一张图像的车牌字符的真实值gn_i之间完全相同，才确定为车牌区域字符识别正确；

式(3)中，N表示车牌区域训练样本数量；gn_i表示七个车牌字符的真实值；pn_i表示七个车牌字符的预测值，pn_i还包括nc_i个浮点数，每个浮点数都代表属于某个特定字符的可能性。

优选地，步骤5中，经过训练后的基于空间注意力特征的字符识别网络在车牌区域图像验证集上进行测试来计算准确率，通过验证集的准确率来基于空间注意力特征的字符识别网络中关于车牌识别的参数，直至准确率达到至少98％，训练结束。

优选地，步骤5中，字符识别网络是针对七位数车牌而设计，包含并列的七个字符分类器，每个字符分类器对应预测车牌固定位置上的一个字符，因此能够预测出七个字符；

每个字符分类器包含3个卷积层、1个最大值池化层、1个延展层和2个全连接层；

每个卷积层包含24个卷积核，每个卷积核大小为3*3，步长为1，padding＝2；最大值池化层的池化核大小为2*2，步长为1；

每个字符分类器的第一层全连接层的神经元数量均为100；第一个字符分类器的第二层全连接层的神经元数量为34、第二个字符分类器的第二层全连接层的神经元数量为25、第三个至第七个字符分类器的第二层全连接层的神经元数量均为35。

步骤5具体是：将步骤4得到的最终特征经过两层卷积处理后，得到H×W×24的特征图，对该特征进行最大值池化处理得到H/2×W/2×24的特征图，池化后的特征再经过一次卷积处理，得到H/2×W/2×24的特征图；将H/2×W/2×24的特征图通过延展层拉伸为一维向量，之后经过第一层全连接层和第二层全连接层，最终通过softmax函数预测该处位置最大概率的字符；七个分类器预测出七个字符的集合从而识别出整个车牌中所有的字符。

实施例1

步骤1中，将CCPD-base和CCPD-blur子数据集中一半图片作为训练集，CCPD-base子数据集剩余另一半图片及CCPD-blur中未使用的10％图片作为验证集，最后将CCPD-blur子数据集中的剩余图像和其它子数据集：CCPD-fn、CCPD-rotate、CCPD-tilt、CCPD-weather和CCPD-Challenge作为测试集；

图5中，标题栏显示的文件名(即图像名称，是图5中通过矩形框包围的部分)为01-1_3-263&456_407&514-407&510_268&514_263&460_402&456-0_0_10_23_32_28_33-166-2.jpg；图像名称中的数字的意义依次为：01：车牌占整个界面的比例。1_3：车牌的水平角度和垂直角度。263&456_407&514：车牌标注框左上角和右下角的坐标。407&510_268&514_263&460_402&456：车牌四个顶点的坐标，顺序为右下、左下、左上、右上。0_0_10_23_32_28_33：这7个数字代表着车牌字符信息，其中第一位为省份、第二位为地市、车牌号为剩余部分。166：亮度，值越大亮度越高。2：模糊度，值越小越模糊。

图4中，完整车牌图像的大小为720(宽)*1160(高)*3(通道)；图6中，车牌区域图像大小为40(高)*116(宽)*3(通道)。

步骤2中，首先将根据完整车牌图像训练集经过kmeans聚类生成的锚框[96,25,248,66,149,35]、[190,41,206,84,209,50]、[260,119,260,55,316,72]参数对YOLOv5目标检测网络的初始锚框大小进行更新，并将其检测目标设置为‘车牌区域’。本实施例中，k＝9，YOLOv5目标检测网络初始锚框数量为9。当且仅当IOU大于60％的时候，确定为车牌区域检测正确，如图7所示。

步骤3中，参数预测部分的输入为通过车牌区域的预测值裁剪出的大小为40*116*3的车牌框，通过定位网络预测出仿射变换参数θ∈R^2×3，然后通过参数化采样网格利用变换参数对车牌特征图像进行相应空间变换，得到矫正后的特征，矫正后的特征的大小仍然为40*116*3。

步骤4中，将大小为40*116*3的矫正后的特征经过三层卷积操作处理进一步提取特征，经过卷积提取到的基本特征图F∈R^C×H×W大小为40*116*48；再分别对基本特征图F做一个基于通道的进行全局最大值池化(Max pooling)和全局平均值池化(Aver pooling)，得到两个大小均为40×116×1的特征图；然后将这两个特征图基于通道做拼接操作，得到一个40×116×2的特征图，然后经过一个卷积核大小为7*7的卷积层处理将特征图降维成一维，此时特征图大小为40×116×1；再经过sigmoid激活函数得到空间注意力特征M_s；然后将空间注意力特征M_s与基本特征图F做矩阵哈达玛积，得到大小为40×116×48的最终特征；

步骤5中，将步骤4得到的最终特征经过两层卷积处理后，得到40×116×24的特征图，对该特征进行最大值池化处理得到20×58×24的特征图，池化后的特征再经过一次卷积处理，得到20×58×24的特征图；将20×58×24的特征图通过延展层拉伸为一维向量，之后经过第一层全连接层和第二层全连接层，最终通过softmax函数预测该处位置最大概率的字符；七个分类器预测出七个字符的集合从而识别出整个车牌中所有的字符(如图8所示)。

采用其他车牌区域检测方法与本发明的方法进行对比，车牌区域检测的准确率结果见表1。采用其他车牌识别方法与本发明的方法进行对比，字符识别成功的正确率结果见表2。

表1

表2

表1和表2中，Base、Db、Fn、Rotate、Tilt、Weather、Challenge分别为CCPD中子数据的名称。

由表1可以看出，级联分类器(Cascade classifier)难以准确定位车牌，因此在设置的车牌检测IOU大于60％的时候表现不佳，并且在处理倾斜旋转车牌时效果很差；根据CCPD-F n子数据集(车牌离摄像头拍摄位置相对较近或较远)的检测精度为77.3％，推断YOLO9000对过大和过小的目标检测效果较差。

由表2可以看出，得益于车牌检测和识别框架的统一联合进行优化，RPnet和TE2E的性能优于Faster-RCNN和YOLO9000。综合之下本发明采用的车牌识别框架由于加入了空间注意力机制在大部分子数据集中字符识别正确率更高。

本发明未述及之处适用于现有技术。

Claims (10)

1.一种基于空间注意力特征的非受限场景下的车牌识别方法，其特征在于，该方法包括以下步骤：

步骤1、对CCPD车牌数据集中的完整车牌图像进行处理，得到车牌区域的真实值、车牌字符的真实值gn_i和车牌区域图像；然后将完整车牌图像和车牌区域图像分别分为训练集、验证集和测试集；

步骤2、采用完整车牌图像训练集对YOLOv5目标检测网络进行训练，得到训练好的YOLOv5目标检测网络；再将完整车牌图像测试集输入到训练好的YOLOv5目标检测网络中，预测出完整车牌图像测试集中的图像的车牌区域四个顶点的坐标值作为车牌区域的预测值；

步骤3、将通过车牌区域的预测值裁剪出的车牌框送入空间变换网络对车牌字符进行矫正，得到矫正后的特征；

步骤4、采用车牌区域图像训练集对空间注意力特征提取模块进行训练，得到训练好的空间注意力特征提取模块；再将步骤3得到的矫正后的特征输入到训练好的空间注意力特征提取模块中，首先经过三个相同的卷积层处理，得到基本特征图F；再对基本特征图F分别进行全局最大值池化和全局平均值池化，得到两个特征图；再将两个特征图基于通道维度叠加，然后通过一个卷积层将特征图降维成一维，再经过sigmoid激活函数得到空间注意力特征M_s；然后将空间注意力特征M_s与基本特征图F做矩阵哈达玛积，得到最终特征；

步骤5、采用车牌区域图像训练集对字符识别网络进行训练，得到训练好的字符识别网络；再将步骤4得到的最终特征输入到训练好的字符识别网络中进行字符识别，得到七个车牌的字符信息，进而识别出车牌字符。

2.根据权利要求1所述的基于空间注意力特征的非受限场景下的车牌识别方法，其特征在于，步骤1具体是：将完整车牌图像的名称中包含的车牌区域四个顶点的坐标值作为车牌区域的真实值；将完整车牌图像的名称中包含的车牌字符信息作为车牌字符的真实值gn_i；根据完整车牌图像的名称中包含的车牌区域四个顶点的坐标值裁剪出每张完整车牌图像中的车牌区域，得到车牌区域图像；然后将完整车牌图像分为完整车牌图像训练集、完整车牌图像验证集和完整车牌图像测试集，车牌区域图像分为车牌区域图像训练集、车牌区域图像验证集和车牌区域图像测试集。

3.根据权利要求1所述的基于空间注意力特征的非受限场景下的车牌识别方法，其特征在于，步骤1中，在得到车牌区域图像的过程中，对裁剪出的图像进行随机放缩来进行图像增强；随机放缩是拉伸或缩减对应车牌区域长宽的1/10。

4.根据权利要求1所述的基于空间注意力特征的非受限场景下的车牌识别方法，其特征在于，步骤2中，当车牌区域的预测值与步骤1得到的同一张图像的车牌区域的真实值之间的交并比超过60％，确定为车牌区域检测正确，后续计算正确率时使用。

5.根据权利要求1所述的基于空间注意力特征的非受限场景下的车牌识别方法，其特征在于，步骤2中，YOLOv5目标检测网络的训练过程具体是：将完整车牌图像训练集输入到YOLOv5目标检测网络中进行训练，输出结果为预测值；完整车牌图像训练集中的图像的名称中包含的车牌区域四个顶点的坐标值作为真实值；预测值与真实值之间的差异越小，车牌区域预测越准确，直至达到设定目标，训练结束，得到训练好的YOLOv5目标检测网络；设定目标为迭代300轮或者在完整车牌图像验证集中的车牌区域检测正确率达到至少95％。

6.根据权利要求1所述的基于空间注意力特征的非受限场景下的车牌识别方法，其特征在于，步骤2中，为了实现更准确地车牌区域预测，可以对YOLOv5目标检测网络进行改进，得到改进YOLOv5目标检测网络；具体改进方法是：为使得预设定锚框大小适合检测车牌，根据完整车牌图像训练集中的车牌进行kmeans聚类计算得到自适应锚框，进而得到改进YOLOv5目标检测网络；

kmeans聚类的具体步骤如下：

(2.1)从完整车牌图像训练集中随机选择k个车牌区域顶点坐标作为聚类中心C＝{c₁,c₂,...,c_k}，k也表示YOLOv5目标检测网络的初始锚框数量；

(2.2)分别计算完整车牌图像训练集中的每个图像x_i到k个聚类中心的距离，再将图像x_i划分到距离最小的聚类中心所对应类别中；i表示完整车牌图像训练集中的第i张图像；

(2.3)根据步骤(2.2)的重新划分类别后的图像，重新计算该类别的中心

最后计算k个聚类中心点作为k个预设锚框的大小；1≤j≤k，n为每个类别中的图像个数。

7.根据权利要求1所述的基于空间注意力特征的非受限场景下的车牌识别方法，其特征在于，步骤3中，利用空间变换网络对车牌框中的车牌字符进行矫正包括参数预测、坐标映射和输出像素三个过程；首先，参数预测部分的输入为通过车牌区域的预测值裁剪出的车牌框，经过卷积操作后得到变换矩阵θ∈R^2×3；然后坐标映射部分利用变换矩阵θ，得到输出图像与输入图像对应位置的映射关系；最后利用插值算法计算出输出图像中各个像素点的数值，每个像素点的数值组成矫正后的特征。

8.根据权利要求1所述的基于空间注意力特征的非受限场景下的车牌识别方法，其特征在于，步骤4中，三个相同的卷积层中，每个卷积层中卷积核个数为48、卷积核大小为3*3、步长为1、padding＝2、通过ReLU激活函数进行激活；

一个卷积层中，卷积核的数量为1，卷积核大小为7*7，步长为1，padding＝6；

步骤4具体是：将大小为H×W×C的矫正后的特征经过三层卷积处理后，得到H×W×48的基本特征图F；再分别进行全局最大值池化和全局平均值池化，得到两个大小均为H×W×1的特征图；然后将这两个特征图基于通道做拼接操作，得到一个H×W×2的特征图，然后经过一个卷积核大小为7*7的卷积层处理将特征图降维成一维，此时特征图大小为H×W×1；再经过sigmoid激活函数得到空间注意力特征M_s；然后将空间注意力特征M_s与基本特征图F做矩阵哈达玛积，得到最终特征；上述过程用公式(1)表示：

9.根据权利要求1所述的基于空间注意力特征的非受限场景下的车牌识别方法，其特征在于，步骤3～5中，空间变换网络、空间注意力特征提取模块和字符识别网络组成基于空间注意力特征的字符识别网络；

基于空间注意力特征的字符识别网络的训练过程具体是：将车牌区域图像训练集输入到基于空间注意力特征的字符识别网络中进行训练，通过步骤3～步骤5，输出的结果为七个车牌字符作为车牌字符的预测值pn_i；再将车牌字符的预测值pn_i与步骤1得到的车牌字符的真实值gn_i带入式(2)的损失函数中，得到损失函数值L_cls(pn,gn)；通过损失函数值L_cls(pn,gn)不断优化基于空间注意力特征的字符识别网络，损失函数值越小，车牌字符识别越准确，直至达到设定目标，训练结束，得到训练好的基于空间注意力特征的字符识别网络；设定目标为迭代50轮或者在车牌区域图像验证集中的车牌字符识别准确率达到至少98％；当且仅当预测值与步骤1得到的同一张图像的车牌字符的真实值gn_i之间完全相同，才确定为车牌区域字符识别正确；

式(3)中，N表示车牌区域训练样本数量；gn_i表示七个车牌字符的真实值；pn_i表示七个车牌字符的预测值，pn_i还包括nc_i个浮点数，每个浮点数都代表属于某个特定字符的可能性。

10.根据权利要求1所述的基于空间注意力特征的非受限场景下的车牌识别方法，其特征在于，步骤5中，字符识别网络包含并列的七个字符分类器，每个字符分类器对应预测车牌固定位置上的一个字符，因此能够预测出七个字符；

每个字符分类器包含3个卷积层、1个最大值池化层、1个延展层和2个全连接层；

每个卷积层包含24个卷积核，每个卷积核大小为3*3，步长为1，padding＝2；最大值池化层的池化核大小为2*2，步长为1；

每个字符分类器的第一层全连接层的神经元数量均为100；第一个字符分类器的第二层全连接层的神经元数量为34、第二个字符分类器的第二层全连接层的神经元数量为25、第三个至第七个字符分类器的第二层全连接层的神经元数量均为35；

步骤5具体是：将步骤4得到的最终特征经过两层卷积处理后，得到H×W×24的特征图，对该特征进行最大值池化处理得到H/2×W/2×24的特征图，池化后的特征再经过一次卷积处理，得到H/2×W/2×24的特征图；将H/2×W/2×24的特征图通过延展层拉伸为一维向量，之后经过第一层全连接层和第二层全连接层，最终通过softmax函数预测该处位置最大概率的字符；七个分类器预测出七个字符的集合从而识别出整个车牌中所有的字符。

Images