CN113537211B - 一种基于非对称iou的深度学习车牌框定位方法 - Google Patents

Abstract

本发明公开了一种基于非对称IOU的深度学习车牌框定位方法，首先对相关车辆车牌数据集图片进行预处理，得到训练样本；接着构建基于FOCS的深度学习网络并训练，在训练过程中，通过采用非对称的IOU算法来计算损失函数值，得到优化训练后的车牌框检测模型；最后利用训练后模型，输入实际场景中获取的车辆场景图像，定位其车牌检测框；这样在保证车牌框检测定位算法的实时性的同时，又对车牌框定位检出的完整性有较大提升。

Description

一种基于非对称IOU的深度学习车牌框定位方法

技术领域

本发明属于车牌检测技术领域，更为具体地讲，涉及一种基于非对称IOU的深度学习车牌框定位方法。

背景技术

传统车牌框定位方法有基于边缘检测、色彩分割、小波变换等，在深度学习方向大部分的车牌检测定位的方法基于卷积神经网络(Convolutional Neural Networks，CNN)进行处理。Silva与Jung注意到Fast-YOLO模型在没有车辆检测得到的prior时，召回率会很低。因此，他们使用级联排列的Fast-YOLO模型，首先检测汽车的正面，然后再定位车牌框，这样在巴西车牌数据集上得到了较高的准确率和召回率。Hsu等人对车牌检测定位修改YOLO和YOLOv2模型，能够在高端GPU上达到54FPS。Kurpiel等人对输入车辆车牌图片划分子区域，形成重叠的网格，再通过CNN模型对每个区域进行评分，最后分析相邻子区域的输出来定位车牌框，其在GT-740M的GPU上，检测多个车辆图像中的巴西车牌耗时230ms，并在他们引入的公开数据集上达到83％的召回率。Li等人训练了一个基于常规文本字符裁剪的CNN模型，来执行基于字符的车牌框定位，该网络对整个图像进行滑动窗口(sliding-window)，生成文本显著性特征图，以提取近似文本的区域，再用连通域分析CCA(ConnectedComponent Analysis)方法生成初始候选框，最后，单独训练一个区分车牌与非车牌的CNN模型来去除错误正样本。

以上方法对于一般性场景的车牌定位可以满足需求，但是对于有其他车辆车牌干扰，车牌图像尺度变化的情境下检测定位效果不佳。特别对于目标检测任务中，一般使用IOU为检测效果和定位好坏的重要评判标准，然而传统的IOU计算将预测框与检测框一视同仁，二者为对称关系。而在车牌框定位任务中，预测框未覆盖全目标会直接导致之后的识别失败，即车牌框定位要求较高的完整性，传统IOU评判不能很好满足。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于非对称IOU的深度学习车牌框定位方法，能够通过非对称IOU算法实现车牌框的定位检全，同时又保证速度与准确度。

为实现上述发明目的，本发明为一种基于非对称IOU的深度学习车牌框定位方法，其特征在于，包括以下步骤：

(1)、数据集建立与图像预处理；

通过pytorch中的torchvision导入标定车牌框的车辆场景图像，构成数据集；然后对数据集中的每一张车辆场景图像依次进行尺度缩放、随机水平翻转、编码格式转换和数据标准化处理，得到标准的样本集；

(2)、构建基于FCOS的深度学习网络；

深度学习网络的结构包括三个部分：第一部分为ResNet模块化的骨干网络，其为resnet-18的backbone网络；第二部分是特征层金字塔；第三部分为损失计算模块；

(3)、训练深度学习网络；

(3.1)、从标准的样本集任意选取一张标定车牌框的车辆场景图像输入至深度学习网络；

(3.2)、在深度学习网络的第一部分中，在backbone网络中对输入的车辆场景图像分别进行步长为8、16、32的3*3卷积操作，从而提取出三层的特征图，记为C1、C2、C3；

(3.3)、在深度学习网络的第二部分中，先对特征图C3做步长为1的1*1的卷积，得到特征图P3；然后对特征图P3进行两次步长为2的3*3卷积操作，得到两幅特征图，记为P4、P5；最后对C1、C2分别做步长为1的1*1卷积操作，再分别与P3进行叠加，叠加完成后再进行步长为1的3*3卷积操作，得到两幅特征图，记为P1，P2；至此由特征图P1到特征图P5构成不同尺度的特征金字塔；

(3.4)、在特征金字塔中，对每一层中特征图的每个像素点(x,y)进行分类预测与回归框预测，得到当前层像素点(x,y)的分类概率

与回归框预测值/>

i＝1,2,3,4,5；然后依据特征金字塔各层的尺度，将每层所得/>

与/>

映射回原始传入的车辆场景图，得到原图中像素点(x,y)的分类概率Ρ_x,y和回归框预测值Τ_x,y；

(3.5)、在深度学习网络的第三部分中，将步骤(3.4)得到的分类概率Ρ_x,y和回归框预测值Τ_x,y代入下式的损失函数中，计算本次训练时的损失值；

其中，N_pos表示落入标定车牌框的像素点数量；λ为加权项；

为分类类别，/>

为车牌类，/>

为背景类；/>

为指示函数，在/>

时对应车牌类时取值为1，/>

时对应背景类时取值为0；Τ_x,y为回归框预测值，具体为像素点(x,y)到回归框四个边界的距离值；/>

为像素点(x,y)到标定车牌框四个边界的距离值；L_cls为分类损失，采用focal损失函数；L_reg为回归损失，采用非对称IOU损失，即IIOU损失；Ψ_x,y ^*为像素点(x,y)的中心度；

(3.6)、重复步骤(3.1)～(3.5)，并使用Adma优化器对深度学习网络进行优化，直到深度学习网络收敛，最终得到训练完成的车牌框定位模型；

(4)、车牌框的实时定位；

由摄像头抓拍实际场景中的车辆车牌图像，按照步骤(1)所述方法进行预处理，然后再输入至车牌框定位模型，从而定位出完整的车牌框。

本发明的发明目的是这样实现的：

本发明基于非对称IOU的深度学习车牌框定位方法，首先对相关车辆车牌数据集图片进行预处理，得到训练样本；接着构建基于FOCS的深度学习网络并训练，在训练过程中，通过采用非对称的IOU算法来计算损失函数值，得到优化训练后的车牌框检测模型；最后利用训练后模型，输入实际场景中获取的车辆场景图像，定位其车牌检测框；这样在保证车牌框检测定位算法的实时性的同时，又对车牌框定位检出的完整性有较大提升。

同时，本发明基于非对称IOU的深度学习车牌框定位方法还具有以下有益效果：

(1)、在高速路口、小区入口等车牌抓拍检测地点，不仅需要检测近距离车牌，同时要过滤远方其他车辆车牌干扰。在自然场景中，车牌随成像距离角度在图像上尺寸多变，且多出现倾斜情况，目标检测中多尺度结构能够提高对小目标的检测效果，但系统计算量较大。本发明基于FCOS网络定位车牌框，是一种anchor-free检测方法，直接对落入车牌目标检测框内的正样本进行处理，极大减轻了计算复杂度，同时选用resnet-18的backbone网络模型，其对于一般车牌检测场景而言，更加轻量，能在保证高检测精度前提下有效提升算法运行速度。

(2)、FCOS网络对于中心度的定义方式是经验性的，对于标定车牌框内不同坐标的像素点对模型的贡献度采用定性分析，其并非最佳方案。本发明基于标定车牌框内像素点贡献度的分布情况，根据更靠近中心的像素点置信度更高的特性，且仅对标定车牌框中心点附近像素点进行中心度计算，同时将此中心度合并到回归分支，对回归损失进行加权，能有效减少低质量检测框的影响，提升模型性能。

(3)、IOU是检测效果和定位好坏的重要评判标准。然而传统的IOU计算将预测框与检测框一视同仁，二者为对称关系，在复杂情况下的目标检全率并不十分理想。对于车牌框定位任务中，预测框未覆盖完整目标会直接导致之后的识别失败，即车牌识别要求较高的检全性。因此本发明提出一种非对称的IOU计算方法，即IIOU评估，其有以下特点：首先IIOU值仅与重叠度相关，与物体大小无关；其次当检测框与车牌重合，IIOU与IOU取值相等；同时，IIOU值域为[-1,1]，相比IOU而言值域更广，即在计算损失时处理范围更广；最后对于不同重叠情况下，IOU值保持不变，但IIOU仍可继续优化。相较于IOU，IIOU评估具有尺度不变性、极限相等、值域范围广与引导优化方向的特性，能有效提升整体性能,达到更高的车牌检全性。

附图说明

图1是本发明基于非对称IOU的深度学习车牌框定位方法流程图；

图2是深度学习网络结构图；

图3是基于IIOU的车牌框与检测框不同重叠情况示意，其中A为实际车牌框；B为模型预测框，预测框B由小到大递增；“/”表示IIOU为正；“\”表示IIOU为负；

图4是车牌框定位结果图，(a)为全局效果；(b)为局部放大后非对称IOU(IIOU)与常规IOU检测定位效果对比图；

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

为了方便描述，先对具体实施方式中出现的相关专业术语进行说明：

IOU(Intersection over Union)：交并比；

IIOU(Inequivalence Intersection over Union)：非对称交并比；

在本实施例中，如图1所示，本发明一种基于非对称IOU的深度学习车牌框定位方法，包括以下步骤：

S1、数据集建立与图像预处理

通过pytorch中的torchvision导入标定车牌框的车辆场景图像，构成数据集；然后对数据集中的每一张车辆场景图像依次进行尺度缩放、随机水平翻转、编码格式转换和数据标准化处理，得到标准的样本集；

在本实施例中，尺度缩放：原始车牌图片宽度为w，高度为h，短边shor＝min(w,h)，长边为long＝max(w,h)，长短边比例ratio＝long/short。预设图片输入边长范围为[minSize,maxSize]，预设比例为maxSize/minSize。当输入图片长短边比例小于预设比时，将图片resize到[minSize,minSize* ratio]。当图片比例大于预设比时，图片resize到[maxSize/ratio,maxSize]。尺度缩放后，再统一resize到[minSize,maxSize]。

随机水平翻转：以batch为单位进行水平翻转，翻转后图片水平镜像对称，翻转概率为50％。

编码格式转换：对原始车牌图片进行编码检测，然后统一转换成BGR格式，并把色彩值归一到[0,255]范围。

数据标准化：标准化公式如下

其中，x表示车辆场景图像中某一像素值，μ为像素均值，σ为标准差。

S2、构建基于FCOS的深度学习网络；

深度学习网络的结构包括三个部分：第一部分为ResNet模块化的骨干网络，其为resnet-18的backbone网络；第二部分是特征层金字塔；第三部分为损失计算模块，模型结构如图2所示；

S3、训练深度学习网络；

S3.1、从标准的样本集任意选取一张标定车牌框的车辆场景图像输入至深度学习网络；

S3.2、在深度学习网络的第一部分中，在backbone网络中对输入的车辆场景图像分别进行步长为8、16、32的3*3卷积操作，从而提取出三层的特征图，记为C1、C2、C3；

S3.3、在深度学习网络的第二部分中，先对特征图C3做步长为1的1*1的卷积，得到特征图P3；然后对特征图P3进行两次步长为2的3*3卷积操作，得到两幅特征图，记为P4、P5；最后对C1、C2分别做步长为1的1*1卷积操作，再分别与P3进行叠加，叠加完成后再进行步长为1的3*3卷积操作，得到两幅特征图，记为P1，P2；至此由特征图P1到特征图P5构成不同尺度的特征金字塔；

S3.4、在特征金字塔中，对每一层中特征图的每个像素点(x,y)进行分类预测与回归框预测，得到当前层像素点(x,y)的分类概率

与回归框预测值/>

i＝1,2,3,4,5；然后依据特征金字塔各层的尺度，将每层所得/>

与/>

映射回原始传入的车辆场景图，得到原图中像素点(x,y)的分类概率Ρ_x,y和回归框预测值Τ_x,y；

S3.5、在深度学习网络的第三部分中，将步骤S3.4得到的分类概率Ρ_x,y和回归框预测值Τ_x,y代入下式的损失函数中，计算本次训练时的损失值；

其中，N_pos表示落入标定车牌框的像素点数量；λ为加权项，取值为1；

为分类类别，/>

为车牌类，/>

为背景类；/>

为指示函数，在/>

时对应车牌类时取值为1，

时对应背景类时取值为0；Τ_x,y为回归框预测值，具体为像素点(x,y)到回归框四个边界的距离值；/>

为像素点(x,y)到标定车牌框四个边界的距离值；

L_cls为分类损失，具体使用focal损失，为增加调制系数的交叉熵损失，可有效适应车牌检测定位场景中落入标定车牌框的像素点数量占比较少的情况，同时其更关注困难与易分错的像素点，具体定义为：

L_cls＝-α_t(1-P_t)^Υlog(P_t)

其中，(1-P_t)^Υ为调制系数，γ为可调参数，取值0.5；α_x,y为解决像素点(x,y)分布不均匀的权重因子，取值0.25；

L_reg为回归损失，使用非对称IOU，即IIOU损失；对于车牌检测定位中的优劣问题，本发明采用非对称IOU，即IIOU进行评估，能有效加强车牌检测定位的“检全性”。IIOU具体定义为：

L_reg＝1-IIOU

其中，

A表示标定车牌框内像素点的个数，B为模型预测的回归框内像素点的个数；/>

基于IIOU评估，其具有以下特点：首先IIOU值仅与重叠度相关，与物体大小无关；其次当检测框与车牌重合，IIOU与IOU取值相等；同时，IIOU值域为[-1,1]，相比IOU而言值域具备对称性，在计算损失时处理范围更广；最后对于不同重叠情况下，IOU值保持不变，但IIOU仍可继续优化。具体如图3所示，即在预测框逐渐增大过程中，对于不同重叠情况，IIOU能更优的表征对应关系，尤其对于车牌检测框的“检全性”有较大提升，能较好降低车牌检测定位不全对识别的负面影响，从而提升了模型整体性能。

Ψ_x,y ^*为像素点(x,y)的中心度，此处使用目标检测框中心点附近像素点进行中心度计算的方法，同时合并到回归分支对回归损失L_reg进行加权，有效降低了边缘低质量候选检测框的预测权重，便于NMS的后处理以滤除。其中心度计算具体定义如下：

其中，η为中心采样范围参数，

l^*,t^*,r^*,b^*分别表示像素点(x,y)到标定车牌框四个边界的距离。

S3.6、重复步骤S3.1～S3.5，并使用Adma优化器对深度学习网络进行优化，直到深度学习网络收敛，最终得到训练完成的车牌框定位模型；

S4、车牌框的实时定位；

由摄像头抓拍实际场景中的车辆车牌图像，按照步骤S1所述方法进行预处理，然后再输入至车牌框定位模型，从而定位出完整的车牌框。

在本实施例中，具体车牌框定位结果如图4所示，其中，图4(b)中矩形的内框对应IOU的检测结果，矩形外框对应IIOU的检测结果；由图4中的(b)所示，基于IOU的检测对于车牌信息未能检测完全，其车牌左下角的数字1没有完整处于检测框内，这势必对后续识别造成严重影响。反观非对称的IIOU检测可以将整个车牌几乎完整位于检测框内，较好地保证车牌检测定位的“检全性”，涵盖完整车牌信息，利于后续识别工作。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于非对称IOU的深度学习车牌框定位方法，其特征在于，包括以下步骤：

(1)、数据集建立与图像预处理

通过pytorch中的torchvision导入标定车牌框的车辆场景图像，构成数据集；然后对数据集中的每一张车辆场景图像依次进行尺度缩放、随机水平翻转、编码格式转换和数据标准化处理，得到标准的样本集；

(2)、构建基于FCOS的深度学习网络；

深度学习网络的结构包括三个部分：第一部分为ResNet模块化的骨干网络，其为resnet-18的backbone网络；第二部分是特征层金字塔；第三部分为损失计算模块；

(3)、训练深度学习网络；

(3.1)、从标准的样本集任意选取一张标定车牌框的车辆场景图像输入至深度学习网络；

(3.2)、在深度学习网络的第一部分中，在backbone网络中对输入的车辆场景图像分别进行步长为8、16、32的3*3卷积操作，从而提取出三层的特征图，记为C1、C2、C3；

(3.3)、在深度学习网络的第二部分中，先对特征图C3做步长为1的1*1的卷积，得到特征图P3；然后对特征图P3进行两次次步长为2的3*3卷积操作，得到两幅特征图，记为P4、P5；最后对C1、C2分别做步长为1的1*1卷积操作，再分别与P3进行叠加，叠加完成后再进行步长为1的3*3卷积操作，得到两幅特征图，记为P1，P2；至此由特征图P1到特征图P5构成不同尺度的特征金字塔；

(3.4)、在特征金字塔中，对每一层中特征图的每个像素点(x,y)进行分类预测与回归框预测，得到当前层像素点(x,y)的分类概率

与回归框预测值/>

i＝1,2,3,4,5；然后依据特征金字塔各层的尺度，将每层所得/>

与/>

映射回原始传入的车辆场景图，得到原图中像素点(x,y)的分类概率P_x,y和回归框预测值T_x,y；

(3.5)、在深度学习网络的第三部分中，将步骤(3.4)得到的分类概率P_x,y和回归框预测值T_x,y代入下式的损失函数中，计算本次训练时的损失值；

其中，N_pos表示落入标定车牌框的像素点数量；λ为加权项；

为分类类别，/>

为车牌类，/>

为背景类；/>

为指示函数，在/>

时对应车牌类时取值为1，/>

时对应背景类时取值为0；T_x,y为回归框预测值，具体为像素点(x,y)到回归框四个边界的距离值；/>

为像素点(x,y)到标定车牌框四个边界的距离值；L_cls为分类损失；L_reg为回归损失；Ψ_x,y ^*为像素点(x,y)的中心度；

(3.6)、重复步骤(3.1)～(3.5)，并使用Adma优化器对深度学习网络进行优化，直到深度学习网络收敛，最终得到训练完成的车牌框定位模型；

(4)、车牌框的实时定位；

由摄像头抓拍实际场景中的车辆车牌图像，按照步骤(1)所述方法进行预处理，然后再输入至车牌框定位模型，从而定位出完整的车牌框；

其中，所述分类损失L_cls采用focal损失，具体定义为：

L_cls＝-α_t(1-P_t)^γlog(P_t)

其中，(1-P_t)^γ为调制系数，γ为可调参数；α_x,y为解决像素点(x,y)分布不均匀的权重因子；

其中，所述回归损失L_reg采用非对称IOU损失，即IIOU损失，具体定义为：

L_reg＝1-IIOU

其中，

A表示标定车牌框内像素点的个数，B为模型预测的回归框内像素点的个数；/>

2.根据权利要求1所示的一种基于非对称IOU的深度学习车牌框检测方法，其特征在于，所述像素点(x,y)的中心度Ψ_x,y ^*的计算公式为：

其中，η为中心采样范围参数，

l^*,t^*,r^*,b^*分别表示像素点(x,y)到标定车牌框四个边界的距离。/>

Images