CN118038464A - 一种基于分割网络的任意倾斜角度车牌检测方法 - Google Patents

Abstract

本发明属于图像识别技术领域，本发明公开了一种基于分割网络的任意倾斜角度车牌检测方法；训练图像分割网络模型；将待预测车牌图像输入图像分割网络模型,获得车牌轮廓及车牌区域二值化图像；提取车牌区域二值化图像中的车牌轮廓点集,根据车牌轮廓点集获取车牌轮廓对应的最小包络矩形，并得到最小包络矩形四条边的直线方程；计算车牌轮廓的面积，计算出最小包络矩形的面积,获取最小包络矩形和车牌轮廓的面积比Q；若Q等于1,则取矩形的四个顶点作为车牌四个角点；使用车牌四个角点进行仿射变换,得到校正后的车牌图像；能有效解决倾斜车牌图像的检测和定位问题,提高了检测精度和鲁棒性。

Description

一种基于分割网络的任意倾斜角度车牌检测方法

技术领域

本发明涉及图像识别技术领域，更具体地说，本发明涉及一种基于分割网络的任意倾斜角度车牌检测方法。

背景技术

授权公告号为CN111914837A的中国专利公开了一种基于YOLO目标检测的车牌检测方法、装置、设备和存储介质，其中车牌检测方法包括：步骤一，连续地截取待检测视频流中预设数量的视频帧；步骤二，通过YOLO目标检测方式在所述预设数量的视频帧中的第一帧图像中检测第一物体目标，得到所述第一物体目标对应的第一定位结果；步骤三，根据所述第一定位结果确定的范围，在所述预设数量的视频帧中的非第一帧图像中检测第二物体目标，得到所述第二物体目标在所述非第一帧图像中对应的第二定位结果，直至检测完所述预设数量的视频帧。本发明能够在达到高速检测的同时提升小目标的检测能力，减少误判；

授权公告号为CN114267030A的中国专利公开了一种基于端到端的车牌检测与关键点检测方法及装置，该方法包括以下步骤：获取车牌图像数据，并进行预处理；构建一种基于改进Yolo的车牌检测网络；使用预处理后的车牌图像数据对基于改进Yolo的车牌检测网络进行训练，训练完成后，得到训练好的车牌检测网络；将待识别车牌图像数据输入到所述训练好的车牌检测网络中进行检测，得到车牌检测与关键点检测结果；本发明提供的基于端到端的车牌检测与关键点检测方法及装置，基于改进的Yolo的车牌检测网络实现，可以同时实现多个车牌检测以及车牌对应的关键点检测的多任务检测效果，提高了检测速度，节约了计算资源。

目前行业中车牌检测方法一般有：

1.使用深度学习目标检测方法如YOLO、SSD等，将车牌作为矩形目标框进行类别学习和边框坐标特征学习，找到车牌所在的矩形框位置坐标；

目标检测方法检测的是标准横平竖直的矩形框目标，当目标出现倾斜现象时在图像中表现为非矩形，使用这种矩形框目标检测方法得到的检测结果会包含很大比例的背景区域，特别是大角度倾斜场，这种矩形目标检测定位偏差更加严重；

2.使用基于关键点检测方法直接回归车牌的四个角点，再利用仿射变换展平倾斜的车牌。该方法依赖于四个角点的检测精准性，在透视视角和部分遮挡、污渍等原因造成车牌的角点本身缺失的场景下，关键点检测方法检测出的角点位置会有所偏差，再通过仿射变换得到的车牌会发生严重的变形；

3.使用传统图像学方法，基于轮廓、颜色、HOG特征点等传统特征来刻画车牌，该方法特征选取较为简单，但在实际使用时无法应对复杂场景，会有较高的错误率。

鉴于此，本发明提出一种基于分割网络的任意倾斜角度车牌检测方法以解决上述问题。

发明内容

为了克服现有技术的上述缺陷，为实现上述目的，本发明提供如下技术方案：一种基于分割网络的任意倾斜角度车牌检测方法，包括：S1.训练图像分割网络模型；将待预测车牌图像输入训练好的图像分割网络模型,获得车牌轮廓及车牌区域二值化图像；

S2.提取车牌区域二值化图像中的车牌轮廓点集,根据车牌轮廓点集获取车牌轮廓对应的最小包络矩形，并得到最小包络矩形四条边的直线方程；

S3.计算车牌轮廓的面积，根据直线方程计算出最小包络矩形的面积,并计算最小包络矩形和车牌轮廓的面积比Q；

若Q等于1,则取最小包络矩形的四个顶点作为车牌四个角点；

若Q小于1,则进行轮廓修正操作；轮廓修正操作后得到车牌四个角点；

S4.将车牌四个角点进行仿射变换,得到校正后的车牌图像。

进一步地，步骤S1，包括：

选定DBNet网络作为图像分割网络模型；

训练DBNet网络包括：

S101.收集包含不同倾斜角度车牌的图像数据集作为训练数据；

S102.使用标注工具对图像数据集中的每张图像进行像素级标注,将车牌区域标记为前景,非车牌区域标记为背景；

S103.将标注后的图像数据集和原图像数据集合并划分为训练集和验证集,训练集和验证集包含原图像、标注后的图像；

S104.使用训练集训练DBNet模型,设置训练超参数,训练中迭代优化训练超参数，验证集用于验证DBNet模型的准确性。

进一步地，将待预测车牌图像转为DBNet模型的输入格式，并输入DBNet模型,获得每个像素的前景概率值；

设置阈值b，将前景概率值大于或等于阈值b的像素作为车牌像素；

将前景概率值小于阈值b的像素作为背景像素；车牌像素构成车牌轮廓，车牌像素和背景像素构成车牌区域二值化图像。

进一步地，步骤S2，包括：

S201.使用OpenCV的approxPolyDP函数对车牌区域二值化图像处理得到车牌轮廓点集；

S202.输入车牌轮廓点集至opencv的minAreaRect函数,得到车牌轮廓对应的最小包络矩形；

S203.利用opencv的minAreaRect函数获取最小包络矩形的中心坐标、宽、高和旋转角度，并计算出最小包络矩形的四个顶点坐标；

S204.根据最小包络矩形的四个顶点坐标,获取四个顶点坐标两两相邻顶点坐标相连对应的的四条边所在的直线方程。

进一步地，步骤S3，包括：

输入车牌轮廓点集至opencv的contourArea函数,获取轮廓车牌轮廓的面积；

最小包络矩形四条边的直线方程中取两条相邻两条边的直线方程，边线1和边线2；计算边线1和边线2的交点坐标(x0,y0)；获取边线1的长度t1,边线2的长度t2；获取边线1和边线2交点(x0,y0)到最小包络矩形顶点的距离d；结合交点坐标(x0,y0)、d、两条边长度t1和t2,获取最小包络矩形的面积S；

进一步地，步骤S3，还包括：

轮廓修正操作为：

S301.计算车牌轮廓点集内的每个轮廓点到最小包络矩形四条边的距离,按照距离最近的原则,将车牌轮廓点集内的轮廓点分为四个代表矩形四条边的点集；计算车牌轮廓点集内的每个轮廓点到最小包络矩形四条边的距离；

S302.对每个轮廓点按照距离升序排序,取前n％的轮廓点，作为一条长边轮廓点集P1；

S303.从剩余轮廓点中继续按照距离升序排序，取前n％的轮廓点，作为另一条长边轮廓点集P2；

S304.按S302-S303方式依次获得两条短边的轮廓点集P3和P4；

进一步地，步骤S3，还包括：

S305.获取轮廓点集P1的中心点C1和轮廓点集P2的中心点C2；

S306.计算P1中每个轮廓点与中心点C1的连线相对于水平方向的角度α1；计算P2中每个轮廓点与中心点C2的连线相对于水平方向的角度α2；

S307.根据角度α1对点集P1进行升序或降序排序,剔除排序后的前m％和后m％的轮廓点,将P1内剩余的轮廓点作为过滤后的轮廓点集F1；

根据角度α2对点集P2进行升序或降序排序,剔除排序后的前m％和后m％的轮廓点,将P2内剩余的轮廓点作为过滤后的轮廓点集F2；

S308.将轮廓点集F1和F2分别进行直线拟合,获得两条长边线L1和L2；

设置阈值G；获取L1和L2的倾斜角，若L1和L2的倾斜角之差大于阈值G,则取L1和L2中轮廓点数目多的长边线Lk，k为1或2，作为标准的一条长边线；

S309.获取与Lk平行且经过另一长边线对应的轮廓点集的轮廓点的直线Lm,作为校正后标准的另一长边线；

同样，将P3和P4按照S305-S309步骤处理获得两条标准的短边线；

获取两条标准的长边线和两条标准的短边线的交点,获得车牌四个角点

进一步地，步骤S4，包括：

S401.获取车牌四个角点对应的四个角点坐标；记为p1、p2、p3、p4,其中p1和p2不是相邻角点,p3和p4不是相邻角点；

S402.构造车牌的矫正变换矩阵，包括：

根据四个角点坐标计算出宽度w和高度h；

构造变换矩阵M＝[1/w,0,00,1/h,0tx,ty,1]；矩阵中，tx和ty为沿x轴和y轴的平移量。

进一步地，步骤S4，还包括：

设置变换后的目标图像大小d；输入待预测车牌图像B、变换矩阵M和目标图像大小d至OpenCV的warpPerspective函数得到校正后的车牌图像。

一种基于分割网络的任意倾斜角度车牌检测系统，其用于实现权利要求1至9中任一项所述的一种基于分割网络的任意倾斜角度车牌检测方法，包括：分割网络模块，用于训练图像分割网络模型；使用训练好的图像分割网络模型对待预测车牌图像进行处理,获得车牌轮廓及车牌区域二值化图像；

位置精修模块，用于提取车牌区域二值化图像中的车牌轮廓点集,根据车牌轮廓点集获取车牌轮廓对应的最小包络矩形，并得到最小包络矩形四条边的直线方程；

计算车牌轮廓的面积，根据直线方程计算出最小包络矩形的面积,并计算最小包络矩形和车牌轮廓的面积比Q；

若Q等于1,则取最小包络矩形的四个顶点作为车牌四个角点；

若Q小于1,则进行轮廓修正操作；轮廓修正操作后得到车牌四个角点车牌矫正模块，用于使用车牌四个角点进行仿射变换,得到校正后的车牌图像。

本发明一种基于分割网络的任意倾斜角度车牌检测方法的技术效果和优点：采用基于深度学习的图像分割网络来进行车牌区域的检测,相比传统的框检测方法,分割网络可以进行像素级预测,能够更精确地定位车牌轮廓；在获取车牌区域图像后,本发明通过分析车牌最小外接矩形、轮廓点分类和轮廓拟合等过程获得车牌的四个标准角点；最后根据四角点进行仿射变换,实现对倾斜车牌的矫正；相比现有技术,本发明能够检测任意倾斜角度的车牌,抵御部分遮挡的影响,返回完整的车牌区域；基于分割网络的预测更准确可靠,校正后的车牌利于后续的字符识别；总体来说,本发明能有效解决倾斜车牌图像的检测和定位问题,提高了检测精度和鲁棒性,具有良好的技术效果。

附图说明

图1为本发明的一种基于分割网络的任意倾斜角度车牌检测方法示意图；

图2为本发明的一种基于分割网络的任意倾斜角度车牌检测系统示意图；

图3为本发明的实施例1中倾斜角度车牌示意图；

图4为本发明的实施例1分割网络检测出的二值化图像示意图；

图5为本发明的实施例1中车牌轮廓与最小包络矩形示意图；

图6为本发明的实施例1中车牌轮廓点集四分类示意图；

图7为本发明的实施例1中点集拟合效果示意图；

图8为本发明的电子设备示意图；

图9为本发明的存储介质示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1所示，本实施例所述一种基于分割网络的任意倾斜角度车牌检测方法，包括：

S1.训练图像分割网络模型；将待预测车牌图像输入训练好的图像分割网络模型,获得车牌轮廓及车牌区域二值化图像；

S2.提取车牌区域二值化图像中的车牌轮廓点集,根据车牌轮廓点集获取车牌轮廓对应的最小包络矩形，并得到最小包络矩形四条边的直线方程；

S3.计算车牌轮廓的面积，根据直线方程计算出最小包络矩形的面积,并计算最小包络矩形和车牌轮廓的面积比Q；

若Q等于1,则取最小包络矩形的四个顶点作为车牌四个角点；

若Q小于1,则进行轮廓修正操作；轮廓修正操作后得到车牌四个角点；

S4.将车牌四个角点进行仿射变换,得到校正后的车牌图像；

进一步地，所述步骤S1具体包括：

选定DBNet网络作为图像分割网络模型，进行图像像素点的预测；

训练DBNet网络包括：

S101.收集包含不同倾斜角度车牌的图像数据集作为训练数据，如图3所示；

S102.使用标注工具对图像数据集中的每张图像进行像素级标注,将车牌区域标记为前景,非车牌区域标记为背景；

S103.将标注后的图像数据集和原图像数据集合并划分为训练集和验证集,训练集和验证集包含原图像、标注后的图像；

S104.使用训练集训练DBNet模型,设置训练超参数,训练中迭代优化训练超参数，验证集用于验证DBNet模型的准确性；

将待预测车牌图像转为DBNet模型的输入格式，并输入DBNet模型,获得每个像素的前景概率值；

设置阈值b，将前景概率值大于或等于阈值b的像素作为车牌像素；

将前景概率值小于阈值b的像素作为背景像素；车牌像素构成车牌轮廓，车牌像素和背景像素构成车牌区域二值化图像，如图4所示；

需要说明的是，阈值b的设置方式包括：

在训练集上,统计所有车牌像素的前景概率值,获得车牌像素概率分布a1；统计所有背景像素的前景概率值,获得背景像素概率分布a2；分别计算a1和a2的平均概率值u1和u2；阈值b初步取为两者平均概率的均值:(u1+u2)/2；在验证集上测试不同阈值b,选取分割精度指标最高的阈值；最终确定在测试数据上使用的阈值b；

像素级分割可以更精细定位车牌,相比传统的边框检测更为准确,特别是对倾斜车牌的检测效果更好；基于前景概率输出的二值化分割可以有效抵御部分车牌遮挡和影响,提高检测鲁棒性；相比直接回归车牌四点坐标,预测车牌区域更符合图像分割网络的设计初衷,可以获得更可靠的预测结果；分割网络预测的是图像语义,可以检测到特定目标而不受形变和外观变化的影响；

进一步地，步骤S2，具体包括：

S201.使用OpenCV的approxPolyDP函数对车牌区域二值化图像处理得到车牌轮廓点集；

S202.输入车牌轮廓点集至opencv的minAreaRect()函数,得到车牌轮廓对应的最小包络矩形，如图5所示；

S203.利用opencv的minAreaRect()函数获取最小包络矩形的中心坐标、宽、高和旋转角度，并计算出最小包络矩形的四个顶点坐标；

具体的S203，

通过opencv的minAreaRect()函数可以直接获取最小包络矩形的中心坐标c、宽w、高h和旋转角度a；

根据中心坐标及矩形的宽高和旋转角度,可以计算出四个顶点坐标:顶点1坐标＝c+mat×[-w/2,-h/2]；顶点2坐标＝c+mat×[w/2,-h/2]；顶点3坐标＝c+mat×[w/2,h/2]；顶点4坐标＝c+mat×[-w/2,h/2]；其中mat为根据旋转角度构造的旋转变换矩阵；

S204.根据最小包络矩形的四个顶点坐标,获取四个顶点坐标两两相邻顶点坐标相连对应的的四条边所在的直线方程；

具体的，S204，

连接相邻两个顶点可以求取过顶点的四条边线方程；

边线1方程:过顶点1和顶点2；

边线2方程:过顶点2和顶点3；

边线3方程:过顶点3和顶点4；

边线4方程:过顶点4和顶点1；

均可通过数学中两点式方程获取；

进一步地，步骤S3，具体包括：

输入车牌轮廓点集至opencv的contourArea()函数,获取轮廓车牌轮廓的面积；

最小包络矩形四条边的直线方程中取两条相邻两条边的直线方程，边线1和边线2；计算边线1和边线2的交点坐标(x0,y0)；获取边线1的长度t1,边线2的长度t2；获取边线1和边线2交点(x0,y0)到最小包络矩形顶点的距离d；结合交点坐标(x0,y0)、d、两条边长度t1和t2,获取最小包络矩形的面积S；

轮廓修正操作包括：

S301.计算车牌轮廓点集内的每个轮廓点到最小包络矩形四条边的距离,按照距离最近的原则,将车牌轮廓点集内的轮廓点分为四个代表矩形四条边的点集，如图6所示；计算车牌轮廓点集内的每个轮廓点到最小包络矩形四条边的距离；

S302.对每个轮廓点按照距离升序排序,取前n％的轮廓点，作为一条长边轮廓点集P1；

S303.从剩余轮廓点中继续按照距离升序排序，取前n％的轮廓点，作为另一条长边轮廓点集P2；

S304.按S302-S303方式依次获得两条短边的轮廓点集P3和P4；

由于最小包络矩形可能无法完全贴合车牌边缘,S301-S304获得的四个点集可能存在误分类的轮廓点,则进行如下过滤和排序:

S305.获取轮廓点集P1的中心点C1和轮廓点集P2的中心点C2；

S306.计算P1中每个轮廓点与中心点C1的连线相对于水平方向的角度α1；计算P2中每个轮廓点与中心点C2的连线相对于水平方向的角度α2；

S307.根据角度α1对点集P1进行升序或降序排序,剔除排序后的前m％和后m％的轮廓点,将P1内剩余的轮廓点作为过滤后的轮廓点集F1；

根据角度α2对点集P2进行升序或降序排序,剔除排序后的前m％和后m％的轮廓点,将P2内剩余的轮廓点作为过滤后的轮廓点集F2；

S308.将轮廓点集F1和F2分别进行直线拟合,获得两条长边线L1和L2；

设置阈值G；获取L1和L2的倾斜角，若L1和L2的倾斜角之差大于阈值G,则取轮廓点数目较多的长边线Lk，k为1或2，作为标准的一条长边线；

S309.获取与Lk平行且经过另一长边线对应的轮廓点集的轮廓点的直线Lm,作为校正后标准的另一长边线；

同样，将P3和P4按照S305-S309步骤处理获得两条标准的短边线；如图7所示；

获取两条标准的长边线和两条标准的短边线的交点,获得车牌四个角点；

需要说明的是，阈值G的设置如下：

在实验环境中，获取n组测试车牌划分训练集和验证集，通过上述过程，统计所有车牌的长边线之间的倾斜角差值,获得角度差值的分布规律；设置多个阈值Gi,i＝1,2,...,n,进行m次长边线校正；对每个Gi,计算校正后的长边线与车牌轮廓吻合程度,定位精度等指标；选取使校正效果最好的阈值Gj作为候选阈值；在验证集上测试阈值Gj的校正效果；微调阈值Gj,直到验证集上的长边校正效果最优；最终确定G＝Gj作为测试数据长边线校正的阈值；

计算最小包络矩形面积,判断轮廓是否需要进一步修正,避免了不必要的运算；将轮廓点分为四个点集,代表轮廓的四条边,提高后续拟合直线的准确性；对四个点集进行过滤排序,可以去除误分类的轮廓点,提高鲁棒性；分别拟合两条长边和两条短边,并设定角度阈值约束,可以校正不平行的边线；利用两长边和两短边的交点作为轮廓角点,可获得一个标准矩形的轮廓；

进一步地，步骤S4，具体包括：

S401.获取车牌四个角点对应的四个角点坐标；记为p1、p2、p3、p4,其中p1和p2不是相邻角点,p3和p4不是相邻角点；

S402.构造车牌的矫正变换矩阵，包括：

根据四个角点坐标计算出宽度w和高度h；构造变换矩阵M＝[1/w,0,00,1/h,0tx,ty,1]；

tx和ty代表沿x轴和y轴的平移量,其目的是将角点p1变换到图像的原点(0,0)位置；

设置变换后的目标图像大小d；输入待预测车牌图像B、变换矩阵M和目标图像大小d至OpenCV的warpPerspective()函数得到校正后的车牌图像；

需要说明的是，将任意倾斜的车牌矫正为正视角,简化了后续识别算法的设计；采用成熟的OpenCV函数,实现简单且效果良好；将一个角点平移到原点,可以去除车牌区域在图像中的平移；仿射变换可以保持车牌上文字和数字的形状不变,便于后续识别；相比直接裁剪包围框,仿射变换可以返回完整的车牌区域；

本实施例采用基于深度学习的图像分割网络来进行车牌区域的检测,相比传统的框检测方法,分割网络可以进行像素级预测,能够更精确地定位车牌轮廓；在获取车牌区域图像后,本实施例通过分析车牌最小外接矩形、轮廓点分类和轮廓拟合等过程获得车牌的四个标准角点；最后根据四角点进行仿射变换,实现对倾斜车牌的矫正；相比现有技术,本实施例能够检测任意倾斜角度的车牌,抵御部分遮挡的影响,返回完整的车牌区域；基于分割网络的预测更准确可靠,校正后的车牌利于后续的字符识别；总体来说,本实施例能有效解决倾斜车牌图像的检测和定位问题,提高了检测精度和鲁棒性,具有良好的技术效果。

实施例2

请参阅图2所示，本实施例未详细叙述部分见实施例一描述内容，提供一种基于分割网络的任意倾斜角度车牌检测系统，包括：分割网络模块，用于训练图像分割网络模型；使用训练好的图像分割网络模型对待预测车牌图像进行处理,获得车牌轮廓及车牌区域二值化图像；

位置精修模块，用于提取车牌区域二值化图像中的车牌轮廓点集,根据车牌轮廓点集获取车牌轮廓对应的最小包络矩形，并得到最小包络矩形四条边的直线方程；

计算车牌轮廓的面积，根据直线方程计算出最小包络矩形的面积,并计算最小包络矩形和车牌轮廓的面积比Q；

若Q等于1,则取最小包络矩形的四个顶点作为车牌四个角点；

若Q小于1,则进行轮廓修正操作；轮廓修正操作后得到车牌四个角点车牌矫正模块，用于使用车牌四个角点进行仿射变换,得到校正后的车牌图像；各个模块之间通过有线和/或无线的方式进行连接，实现模块间的数据传输。

实施例3

请参阅图8所示，根据本申请的又一方面还提供了电子设备500。该电子设备500可包括一个或多个处理器以及一个或多个存储器。其中，存储器中存储有计算机可读代码，计算机可读代码当由一个或多个处理器运行时，可以执行如上所述的一种基于分割网络的任意倾斜角度车牌检测方法。

根据本申请实施方式的方法或系统也可以借助于图8所示的电子设备的架构来实现。如图8所示，电子设备500可包括总线501、一个或多个CPU502、只读存储器(ROM)503、随机存取存储器(RAM)504、连接到网络的通信端口505、输入/输出组件506、硬盘507等。电子设备500中的存储设备，例如ROM503或硬盘507可存储本申请提供的一种基于分割网络的任意倾斜角度车牌检测方法。进一步地，电子设备500还可包括用户界面508。当然，图3所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图3示出的电子设备中的一个或多个组件。

实施例4

请参阅图9所示，是根据本申请一个实施方式的计算机可读存储介质600。计算机可读存储介质600上存储有计算机可读指令。当计算机可读指令由处理器运行时，可执行参照以上附图描述的根据本申请实施方式的一种基于分割网络的任意倾斜角度车牌检测方法。存储介质600包括但不限于例如易失性存储器和/或非易失性存储器。易失性存储器例如可包括随机存取存储器(RAM)和高速缓冲存储器(cache)等。非易失性存储器例如可包括只读存储器(ROM)、硬盘、闪存等。

另外，根据本申请的实施方式，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请提供了非暂时性机器可读存储介质，所述非暂时性机器可读存储介质存储有机器可读指令，所述机器可读指令能够由处理器运行以执行与本申请提供的方法步骤对应的指令，一种基于分割网络的任意倾斜角度车牌检测方法。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线网络或无线网络方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。

本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于分割网络的任意倾斜角度车牌检测方法，其特征在于，包括：

S1.训练图像分割网络模型；将待预测车牌图像输入训练好的图像分割网络模型,获得车牌轮廓及车牌区域二值化图像；

S2.提取车牌区域二值化图像中的车牌轮廓点集,根据车牌轮廓点集获取车牌轮廓对应的最小包络矩形，并得到最小包络矩形四条边的直线方程；

S3.计算车牌轮廓的面积，根据直线方程计算出最小包络矩形的面积,并计算最小包络矩形和车牌轮廓的面积比Q；

若Q等于1,则取最小包络矩形的四个顶点作为车牌四个角点；

若Q小于1,则进行轮廓修正操作；轮廓修正操作后得到车牌四个角点；

S4.将车牌四个角点进行仿射变换,得到校正后的车牌图像。

2.根据权利要求1所述的一种基于分割网络的任意倾斜角度车牌检测方法，其特征在于，步骤S1，包括：

选定DBNet网络作为图像分割网络模型；

训练DBNet网络包括：

S101.收集包含不同倾斜角度车牌的图像数据集作为训练数据；

S102.使用标注工具对图像数据集中的每张图像进行像素级标注,将车牌区域标记为前景,非车牌区域标记为背景；

S103.将标注后的图像数据集和原图像数据集合并划分为训练集和验证集,训练集和验证集包含原图像、标注后的图像；

S104.使用训练集训练DBNet模型,设置训练超参数,训练中迭代优化训练超参数，验证集用于验证DBNet模型的准确性。

3.根据权利要求2所述的一种基于分割网络的任意倾斜角度车牌检测方法，其特征在于，将待预测车牌图像转为DBNet模型的输入格式，并输入DBNet模型,获得每个像素的前景概率值；

设置阈值b，将前景概率值大于或等于阈值b的像素作为车牌像素；

将前景概率值小于阈值b的像素作为背景像素；车牌像素构成车牌轮廓，车牌像素和背景像素构成车牌区域二值化图像。

4.根据权利要求3所述的一种基于分割网络的任意倾斜角度车牌检测方法，其特征在于，步骤S2，包括：

S201.使用OpenCV的approxPolyDP函数对车牌区域二值化图像处理得到车牌轮廓点集；

S202.输入车牌轮廓点集至opencv的minAreaRect函数,得到车牌轮廓对应的最小包络矩形；

S203.利用opencv的minAreaRect函数获取最小包络矩形的中心坐标、宽、高和旋转角度，并计算出最小包络矩形的四个顶点坐标；

S204.根据最小包络矩形的四个顶点坐标,获取四个顶点坐标两两相邻顶点坐标相连对应的的四条边所在的直线方程。

5.根据权利要求4所述的一种基于分割网络的任意倾斜角度车牌检测方法，其特征在于，步骤S3，包括：

输入车牌轮廓点集至opencv的contourArea函数,获取轮廓车牌轮廓的面积；

最小包络矩形四条边的直线方程中取两条相邻两条边的直线方程，边线1和边线2；计算边线1和边线2的交点坐标(x0,y0)；获取边线1的长度t1,边线2的长度t2；获取边线1和边线2交点(x0,y0)到最小包络矩形顶点的距离d；结合交点坐标(x0,y0)、d、两条边长度t1和t2,获取最小包络矩形的面积。

6.根据权利要求5所述的一种基于分割网络的任意倾斜角度车牌检测方法，其特征在于，步骤S3，还包括：

轮廓修正操作为：

S301.计算车牌轮廓点集内的每个轮廓点到最小包络矩形四条边的距离,按照距离最近的原则,将车牌轮廓点集内的轮廓点分为四个代表矩形四条边的点集；计算车牌轮廓点集内的每个轮廓点到最小包络矩形四条边的距离；

S302.对每个轮廓点按照距离升序排序,取前n％的轮廓点，作为一条长边轮廓点集P1；

S303.从剩余轮廓点中继续按照距离升序排序，取前n％的轮廓点，作为另一条长边轮廓点集P2；

S304.按S302-S303方式依次获得两条短边的轮廓点集P3和P4。

7.根据权利要求6所述的一种基于分割网络的任意倾斜角度车牌检测方法，其特征在于，步骤S3，还包括：

S305.获取轮廓点集P1的中心点C1和轮廓点集P2的中心点C2；

S306.计算P1中每个轮廓点与中心点C1的连线相对于水平方向的角度α1；计算P2中每个轮廓点与中心点C2的连线相对于水平方向的角度α2；

S307.根据角度α1对点集P1进行升序或降序排序,剔除排序后的前m％和后m％的轮廓点,将P1内剩余的轮廓点作为过滤后的轮廓点集F1；

根据角度α2对点集P2进行升序或降序排序,剔除排序后的前m％和后m％的轮廓点,将P2内剩余的轮廓点作为过滤后的轮廓点集F2；

S308.将轮廓点集F1和F2分别进行直线拟合,获得两条长边线L1和L2；

设置阈值G；获取L1和L2的倾斜角，若L1和L2的倾斜角之差大于阈值G,则取L1和L2中轮廓点数目多的长边线Lk，k为1或2，作为标准的一条长边线；

S309.获取与Lk平行且经过另一长边线对应的轮廓点集的轮廓点的直线Lm,作为校正后标准的另一长边线；

同样，将P3和P4按照S305-S309步骤处理获得两条标准的短边线；

获取两条标准的长边线和两条标准的短边线的交点,获得车牌四个角点。

8.根据权利要求7所述的一种基于分割网络的任意倾斜角度车牌检测方法，其特征在于，步骤S4，包括：

S401.获取车牌四个角点对应的四个角点坐标；记为p1、p2、p3、p4,其中p1和p2不是相邻角点,p3和p4不是相邻角点；

S402.构造车牌的矫正变换矩阵，包括：

根据四个角点坐标计算出宽度w和高度h；

构造变换矩阵M＝[1/w,0,00,1/h,0tx,ty,1]；矩阵中，tx和ty为沿x轴和y轴的平移量。

9.根据权利要求8所述的一种基于分割网络的任意倾斜角度车牌检测方法，其特征在于，步骤S4，还包括：

设置变换后的目标图像大小d；输入待预测车牌图像B、变换矩阵M和目标图像大小d至OpenCV的warpPerspective函数得到校正后的车牌图像。

10.一种基于分割网络的任意倾斜角度车牌检测系统，其用于实现权利要求1至9中任一项所述的一种基于分割网络的任意倾斜角度车牌检测方法，其特征在于，包括：分割网络模块，用于训练图像分割网络模型；使用训练好的图像分割网络模型对待预测车牌图像进行处理,获得车牌轮廓及车牌区域二值化图像；

位置精修模块，用于提取车牌区域二值化图像中的车牌轮廓点集,根据车牌轮廓点集获取车牌轮廓对应的最小包络矩形，并得到最小包络矩形四条边的直线方程；

计算车牌轮廓的面积，根据直线方程计算出最小包络矩形的面积,并计算最小包络矩形和车牌轮廓的面积比Q；

若Q等于1,则取最小包络矩形的四个顶点作为车牌四个角点；

若Q小于1,则进行轮廓修正操作；轮廓修正操作后得到车牌四个角点车牌矫正模块，用于使用车牌四个角点进行仿射变换,得到校正后的车牌图像。