CN111881914B - 一种基于自学习阈值的车牌字符分割方法及系统 - Google Patents
一种基于自学习阈值的车牌字符分割方法及系统 Download PDFInfo
- Publication number
- CN111881914B CN111881914B CN202010579905.4A CN202010579905A CN111881914B CN 111881914 B CN111881914 B CN 111881914B CN 202010579905 A CN202010579905 A CN 202010579905A CN 111881914 B CN111881914 B CN 111881914B
- Authority
- CN
- China
- Prior art keywords
- layer
- license plate
- output
- plate character
- convolution layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 188
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 30
- 238000010586 diagram Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000003062 neural network model Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 7
- 230000007547 defect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000007526 fusion splicing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自学习阈值的车牌字符分割方法,属于车牌识别技术领域,包括:获取待识别的车牌字符局部RGB图像;将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算,得到车牌字符位置矩形和车牌图像的二值分割图;基于车牌字符位置矩形和车牌图像的二值分割图,获取每个车牌字符的二值分割图;基于连通区域分析和投影图分析,对每个车牌字符的二值分割图进行分析,得到每个车牌字符的分割位置。本发明采用深度学习技术,自学习车牌字符图像每个位置的最佳二值分割阈值,车牌字符分割结果更加准确。
Description
技术领域
本发明涉及车牌识别技术领域,特别涉及一种基于自学习阈值的车牌字符分割方法及系统。
背景技术
车牌识别是智能交通的核心技术,包含了三个部分:车牌定位,字符分割,字符识别。其中,字符分割是整个技术最重要的一部分,字符分割的好坏,直接影响后续的字符识别,进而影响整体的识别性能。
字符分割是指在一幅已知车牌准确位置的图像中,精确分割出每个单一字符。对于清晰的车牌图像,已有很多成熟方法,可以获得较好的分割结果,目前,车牌字符分割主要有以下几类方法:
(1)基于垂直投影的方法,该方法通过获取车牌字符的垂直投影曲线,依据曲线的波峰波谷位置,获取每个字符的边缘位置。该类方法的优点是算法简单,速度快,对于清晰车牌,分割效果较佳,其缺点是对于一些污损、粘连、定位不够精确的低质量车牌,分割效果会明显下降,甚至失效。
(2)基于连通区域分析的方法,该方法首先进行车牌图像二值化,利用单个字符都是单连通区域的特征进行分析,最终获取字符的位置。该类方法的优点是对低图像质量的车牌适应性较好,速度较快,然而,它对于缺失、粘连的字符,却无能为力。
(3)基于机器学习的方法,如“一种基于支持向量机的车牌字符分割方法”,该类方法通过获取车牌的布局规律特征,借助分类器进行训练学习,最终完成车牌字符的分割。其优点是对于清晰车牌,识别效果较佳,对于低质量图像也有一定的抵抗性,其缺点是合适的布局规律特征较难选取,部分变形车牌不满足布局规律,计算特征的过程,相对较复杂。
(4)基于深度学习的方法,近年来,深度学习技术凭借着可以模拟人类大脑神经网络,能够进行精确的非线性预测,各个领域都得到了广泛的关注和应用,出现了一批经典的目标位置检测网络框架,如faster rcnn,ssd,yolo等,这些经典网络框架通过迁移学习,可以很好地检测车牌字符位置,但该类技术的缺点是模型消耗内存很大,运算量很大,基于anchor box的模型训练参数很复杂,不易收敛,这些缺点严重的限制了深度学习算法在车牌字符分割领域的应用。
因此,实际环境中,由于光线变化、拍摄角度、车牌污损等各种复杂场景的存在,会造成车牌字符的模糊、缺失、粘连等缺陷的出现,当前的成熟方法很难进行精确分割,造成最终的车牌识别失败。因此,如何有效的对低质量车牌图像进行精确字符分割,仍然是当前限制车牌识别技术的难题。
发明内容
本发明的目的在于克服上述背景技术存在的缺陷,提高车牌字符分割的准确性。
为实现以上目的,本发明采用一种基于自学习阈值的车牌字符分割方法,包括如下步骤:
获取待识别的车牌字符局部RGB图像;
将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算,得到车牌字符位置矩形和车牌图像的二值分割图;
基于车牌字符位置矩形和车牌图像的二值分割图,获取每个车牌字符的二值分割图;
基于连通区域分析和投影图分析,对每个车牌字符的二值分割图进行分析,得到每个车牌字符的分割位置。
进一步地,所述车牌字符分割模型包括主干网络和预测网络,主干网络的输入为车牌字符局部RGB图像、输出为深层语义特征图;预测网络的输入为所述深层语义特征图、输出为所述车牌字符位置矩形和所述车牌图像的二值分割图。
进一步地,所述主干网络包括卷积层conv0_0、conv1_0、conv1_1、 conv1_2和conv1_3,拼接层concat1、concat2、concat3和concat4,3个残差网络基础机构体resblock1、resblock2、resblock3,以及多个上采样层upsample;
卷积层conv0_0、resblock1、resblock2和resblock3依次连接,卷积层conv0_0的输入为所述车牌字符局部RGB图像;
所述残差网络基础机构体resblock3的输出分别与卷积层conv1_0的输入和所述预测网络连接,卷积层conv1_0的输出经一个上采样层 upsample与拼接层concat1连接;卷积层conv1_1的输入与拼接层concat1 的输出连接,卷积层conv1_1的输出经一个上采样层upsample与拼接层 concat2连接;卷积层conv1_2的输入与拼接层concat2的输出连接,卷积层conv1_2的输出经一个上采样层upsample与拼接层concat3连接;卷积层conv1_3的输入与拼接层concat3的输出连接,卷积层conv1_3 的输出依次经两个上采样层upsample后的输出特征图和所述车牌字符局部RGB图像均与拼接层concat4的输入连接,拼接层concat4的输出与所述预测网络连接。
进一步地,每个所述残差网络基础机构体包括下采样层resconv2、卷积层resconv0、resconv1、resconv3和resconv4以及合并层eltsum0和 eltsum1,下采样层resconv2和卷积层resconv0的输入为上一残差网络基础机构体的输出或卷积层conv0的输出,卷积层resconv0的输出接卷积层resconv1的输入,卷积层resconv1和下采样层resconv2的输出均接合并层eltsum0的输入,合并层eltsum0用于将卷积层resconv1和下采样层 resconv2输出的特征图按照对应元素相加合并成一个特征图作为输出;
合并层eltsum0的输出依次经卷积层resconv3和卷积层resconv4后与合并层eltsum1的输入连接,合并层eltsum0的输出还与合并层eltsum1 的输入连接,合并层eltsum1用于将卷积层resconv4和合并层eltsum0 输出的特征图按照对应元素相加合并成一个特征图作为输出。
进一步地,所述预测网络包括位置矩形预测网络和二值分割图预测网络,矩形预测网络包括卷积层conv0_1、全局均值池化层ave-pool和全连接层fc,二值分割图预测网络包括卷积层conv2_0、conv3_0、conv2_1 和conv3_1以及二值分割层threshold;
卷积层conv0_1的输入与所述残差网络基础机构体resblock3的输出连接,卷积层conv0_1的输出经全局均值池化层ave-pool与全连接层fc 的输入连接,全连接层fc输出为所述车牌字符位置矩形;
卷积层conv3_0的输入与所述拼接层concat4的输出连接,卷积层 conv3_0的输出经卷积层conv3_1与二值分割层threshold的输入连接,卷积层conv2_0的输入与所述拼接层concat3的输出连接,卷积层 conv2_0的输出经卷积层conv2_1与二值分割层threshold的输入连接,卷积层conv2_1的输出为阈值图,卷积层conv3_1的输出为字符区域显著图,二值分割层threshold用于根据卷积层conv2_1和卷积层conv3_1 的输出图像获取所述车牌图像的二值分割图。
进一步地,所述二值分割层threshold用于根据如下公式获取所述车牌图像的二值分割图:
其中,b(x,y)表示车牌图像的二值分割图;f(x,y)表示字符区域显著图, t(i,j)表示阈值图,(x,y)表示图像上某位置点的坐标,floor函数是向下取整函数,m是放大因子。
进一步地,所述预先训练好的车牌字符分割模型的训练步骤包括:
获取训练样本图像集,训练样本图像集中包括带有标注信息的车牌字符局部图像,标注信息包括车牌字符位置矩形信息和车牌图像的二值分割图信息;
设置所述车牌字符分割模型的目标损失函数;
将训练样本图像集中的样本图像送入车牌字符分割模型中进行训练,学习模型参数。
进一步地,所述车牌字符分割模型的目标损失函数包括位置矩形预测网络的目标损失函数和二值分割图预测网络的目标损失函数,其中,位置矩形预测网络的目标损失函数采用均方差损失函数,二值分割图预测网络的目标损失函数采用交叉熵损失函数。
进一步地,在所述将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算,得到车牌字符位置矩形和车牌图像的二值分割图之后,还包括:
采用形态学运算方法对所述车牌图像的二值分割图进行处理,消除误检区域,得到处理后的车牌图像的二值分割图;
相应地,所述基于车牌字符位置矩形和车牌图像的二值分割图,获取每个车牌字符的二值分割图,包括:
基于车牌字符位置矩形和处理后的车牌图像的二值分割图,获取每个车牌字符的二值分割图。
另一方面,采用一种基于自学习阈值的车牌字符分割系统,包括获取模块、预测模块、二值分割图获取模块和车牌字符分割模块,其中:
获取模块用于获取待识别的车牌字符局部RGB图像;
预测模块用于将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算,得到车牌字符位置矩形和车牌图像的二值分割图;
二值分割图获取模块用于基于车牌字符位置矩形和车牌图像的二值分割图,获取每个车牌字符的二值分割图;
车牌字符分割模块用于基于连通区域分析和投影图分析,对每个车牌字符的二值分割图进行分析,得到每个车牌字符的分割位置。
与现有技术相比,本发明存在以下技术效果:本发明采用深度学习技术,自学习车牌字符图像每个位置的最佳二值分割阈值,车牌字符分割结果更加准确,对于污损、粘连、字符缺失、定位不够精确的低质量车牌图像,鲁棒性更强;采用高效的主干网络,运行速度更快;采用改进的二值分割函数,实现网络端到端训练,模型使用更加方便。
附图说明
下面结合附图,对本发明的具体实施方式进行详细描述:
图1是一种基于自学习阈值的车牌字符分割方法的流程图;
图2是本发明整体设计流程图;
图3是车牌字符分割模型的结构图;
图4是残差网络基础机构体的结构图;
图5是样本图像标注示意图,其中图(a)表示原始车牌字符图像,图(b)表示标注的车牌字符图像的二值分割图;
图6一种基于自学习阈值的车牌字符分割系统的结构示意图。
图中,每个网络层图形旁边的字母数字,表示当前特征层的特征图尺寸,即:特征图高度×特征图宽度×特征图通道数。
具体实施方式
为了更进一步说明本发明的特征,请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用,并非用来对本发明的保护范围加以限制。
在实际应用场景下,受光线变化和拍摄角度的影响,车牌区域会出现字符颜色和背景颜色严重失真,字符区域和背景区域没有明显区分度;受污染和损坏等因素的影响,车牌字符会出现模糊、缺失、粘连等缺陷。使用现有的车牌字符分割方法很难进行精确的二值分割。因此,本实施例提出一种自学习阈值的车牌字符分割方法,该方法采用深度学习技术,通过借助所设计的深度神经网络模型,能够根据车牌图像每个像素的成像质量,自适应的学习出车牌图像每个像素的最佳二值化分割阈值,车牌图像二值分割结果十分的精确和鲁棒。如图1所示,本实施例公开了一种基于自学习阈值的车牌字符分割方法,包括如下步骤S1 至S4:
S1、获取待识别的车牌字符局部RGB图像;
S2、将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算,得到车牌字符位置矩形和车牌图像的二值分割图;
S3、基于车牌字符位置矩形和车牌图像的二值分割图,获取每个车牌字符的二值分割图;
S4、基于连通区域分析和投影图分析,对每个车牌字符的二值分割图进行分析,得到每个车牌字符的分割位置。
本实施例利用所设计的车牌字符分割模型采用深度学习技术,自学习车牌字符图像每个位置的最佳二值分割阈值,车牌字符分割结果更加准确,对于污损、粘连、字符缺失、定位不够精确的低质量车牌图像,鲁棒性更强。
在上述对待识别的车牌字符局部RGB图像进行车牌字符分割之前,还需对车牌字符分割模型进行构建及训练,然后利用训练好的深车牌字符分割模型进行车牌字符分割,如图2所示:
(1)设计深度神经网络模型作为车牌字符分割模型:
本实施例使用卷积神经网络(CNN)进行深度神经网络模型设计,为了方便叙述,定义一些术语:特征图分辨率指的是特征图高度×特征图宽度,特征图尺寸指的是特征图高度×特征图宽度×特征图通道数,核尺寸指的是核宽度×核高度,跨度指的是宽度方向跨度×高度方向跨度,另外,每一个卷积层后面均带有批量归一化层和非线性激活层。本发明设计的深度神经网络模型,其具体网络结构如图3所示,设计过程分为以下步骤:
1-1)设计深度神经网络模型的输入图像:
本发明所采用的输入图像是尺寸为256×128的3通道RGB图像,输入图像尺寸越大,其包含的细节越多,越有利于车牌字符的二值分割。
1-2)设计深度神经网络模型的主干网络:
主干网络主要用来提取输入车牌图像的深层语义特征,是整个深度神经网络模型中运算操作最密集的部分,直接决定了深度神经网络模型的性能。本发明采用了改进的ResNet经典网络作为深度神经网络模型的主干网络,如图3所示,conv0_0是一个核尺寸是7×7,跨度是4×4 的卷积层,这种大核尺寸大跨度卷积操作可以快速降低特征图分辨率,大大降低后续操作的运算量,同时保留更多图像细节.
resblock1、resblock2、resblock3均是残差网络基础机构体,其具体网络结构如图4所示,其中,resconv2层是一个核尺寸为2x2,跨度为 2x2的下采样层,resconv0层是一个核尺寸为3x3,跨度为2x2的卷积层, resconv1层、resconv3层、resconv4层均是一个核尺寸为3x3,跨度为 1x1的卷积层,eltsum0层和eltsum1层均是合并层,其作用是把多个输入特征图按对应元素相加合并成一个输出特征图;conv1_0是一个核尺寸为1x1,跨度为1x1的卷积层,用来调整输入特征图的特征图尺寸; upsample层是一个采样率为2的上采样层,其主要作用是把输入特征图的分辨率放大2倍作为输出特征图;concat1层、concat2层、concat3层、 concat4层均是拼接层,其作用是把多个输入特征图按照通道维度进行拼接形成一个输出特征图;conv1_1层、conv1_2层、conv1_3层均是一个核尺寸是3×3,跨度是1×1卷积层,其作用均是融合拼接层生成的特征图。
1-3)设计深度神经网络模型的预测网络:
预测网络主要利用主干网络输出的深层语义特征,预测车牌字符位置矩形和二值分割图。如图3所示,conv0_1层是一个核尺寸为3x3,跨度为2x2的卷积层;ave-pool层是一个全局均值池化层;fc层是一个输出为28维的全连接层,其输出向量表示车牌7个字符的位置矩形坐标; conv2_0层和conv3_0层均是一个核尺寸为3x3,跨度为1x1的卷积层, conv2_1层、conv3_1层均是一个核尺寸为1x1,跨度为1x1的卷积层;conv2_0层和conv2_1层共同组成了二值分割阈值预测模块,其输出特征图即是阈值图,该阈值图的每个位置上的值就是通过自学习得到的最佳二值分割阈值;conv3_0层和conv3_1层共同组成了字符显著位置预测模块,其输出特征图即是字符区域显著图,其主要作用是扩大原始输入车牌图像上的字符区域和背景区域的对比度,在字符局部区域里,尽可能的突出字符区域位置;threshold层是二值分割层,二值分割层 threshold用于根据卷积层conv2_1和卷积层conv3_1的输出图像获取所述车牌图像的二值分割图,具体过程如下公式所示:
其中,b(x,y)表示车牌图像的二值分割图;f(x,y)表示字符区域显著图, t(i,j)表示阈值图,(x,y)表示图像上某位置点的坐标,floor函数是向下取整函数,m是放大因子,本发明中m=100。
(2)训练深度神经网络模型,主要是通过大量的标注好的训练样本数据,优化深度神经网络模型参数,使得深度神经网络模型检测性能最优,具体的步骤如下:
2-1)获取训练样本图像:
主要是收集各种场景、各种光线、各种角度下的车牌图像,使用现有的车牌位置检测方法获取车牌字符局部图像,然后进行标注。标注信息包括两部分:一部分是车牌字符位置矩形信息,它是一个28维的特征向量,表示7个位置的字符矩形,每个矩形使用左上角点和右下角点的坐标表示;另一部分是车牌字符的二值分割图,该图中车牌字符区域标注为1,车牌背景区域标注为0,如图5所示,其中图5-(a)表示原始车牌字符图像,图5-(b)表示标注的车牌字符图像的二值分割图。
2-2)设计深度神经网络模型的目标损失函数:
预测车牌字符二值分割图分支的目标损失函数采用的是经典的交叉熵损失函数,预测车牌字符位置矩形分支的目标损失函数采用的是经典的均方差损失函数。
2-3)训练深度神经网络模型,主要是把标注好的车牌样本图像集合送入定义好的深度神经网络模型,学习相关的模型参数。
(3)使用深度神经网络模型,对于任意给出的一幅车牌字符局部图像,经过深度神经网络模型前向运算后,分别输出车牌字符位置矩形坐标和车牌字符的二值分割图。
需要说明的是,由于车牌图像的二值分割图不可避免的会存在一些较小的误检孤立块,因此本实施例采用简单的形态学运算对车牌图像的二值分割图进行处理,去除误检区域的影响;然后,基于车牌字符位置矩形坐标在车牌字符的二值分割图中,分别获取每个车牌字符的二值分割图;最后,基于连通区域分析和投影图分析,获取每个车牌字符的精确分割位置,该分割位置可以是矩形框,也可以是字符区域mask掩码。
如图6所示,本实施例还公开了一种基于自学习阈值的车牌字符分割系统,包括获取模块10、预测模块20、二值分割图获取模块30和车牌字符分割模块40,其中:
获取模块10用于获取待识别的车牌字符局部RGB图像;
预测模块20用于将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算,得到车牌字符位置矩形和车牌图像的二值分割图;
二值分割图获取模块30用于基于车牌字符位置矩形和车牌图像的二值分割图,获取每个车牌字符的二值分割图;
车牌字符分割模块40用于基于连通区域分析和投影图分析,对每个车牌字符的二值分割图进行分析,得到每个车牌字符的分割位置。
其中,所构建的车牌字符分割模型的结构如图3所示,与上述实施例一种基于自学习阈值的车牌字符分割方法所公开的结构相同,该处不再赘述。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于自学习阈值的车牌字符分割方法,其特征在于,包括:
S1:获取待识别的车牌字符局部RGB图像;
S2:将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算,得到车牌字符位置矩形和车牌图像的二值分割图;
S3:基于车牌字符位置矩形和车牌图像的二值分割图,获取每个车牌字符的二值分割图;
S4:基于连通区域分析和投影图分析,对每个车牌字符的二值分割图进行分析,得到每个车牌字符的分割位置;
所述车牌字符分割模型包括主干网络和预测网络,主干网络的输入为车牌字符局部RGB图像、输出为深层语义特征图;预测网络的输入为所述深层语义特征图、输出为所述车牌字符位置矩形和所述车牌图像的二值分割图;
所述主干网络包括卷积层conv0_0、 conv1_0、conv1_1、conv1_2和conv1_3,拼接层concat1、concat2、concat3和concat4,3个残差网络基础机构体resblock1、resblock2、resblock3,以及多个上采样层upsample;
卷积层conv0_0、resblock1、resblock2和resblock3依次连接,卷积层conv0_0的输入为所述车牌字符局部RGB图像;
所述残差网络基础机构体resblock3的输出分别与卷积层conv1_0的输入和所述预测网络连接,卷积层conv1_0的输出经一个上采样层upsample与拼接层concat1连接;卷积层conv1_1的输入与拼接层concat1的输出连接,卷积层conv1_1的输出经一个上采样层upsample与拼接层concat2连接;卷积层conv1_2的输入与拼接层concat2的输出连接,卷积层conv1_2的输出经一个上采样层upsample与拼接层concat3连接;卷积层conv1_3的输入与拼接层concat3的输出连接,卷积层conv1_3的输出依次经两个上采样层upsample后的输出特征图和所述车牌字符局部RGB图像均与拼接层concat4的输入连接,拼接层concat4的输出与所述预测网络连接;
每个所述残差网络基础机构体包括下采样层resconv2、卷积层resconv0、resconv1、resconv3和resconv4以及合并层eltsum0和eltsum1,下采样层resconv2和卷积层resconv0的输入为上一残差网络基础机构体的输出或卷积层conv0的输出,卷积层resconv0的输出接卷积层resconv1的输入,卷积层resconv1和下采样层resconv2的输出均接合并层eltsum0的输入,合并层eltsum0用于将卷积层resconv1和下采样层resconv2输出的特征图按照对应元素相加合并成一个特征图作为输出;
合并层eltsum0的输出依次经卷积层resconv3和卷积层resconv4后与合并层eltsum1的输入连接,合并层eltsum0的输出还与合并层eltsum1的输入连接,合并层eltsum1用于将卷积层resconv4和合并层eltsum0输出的特征图按照对应元素相加合并成一个特征图作为输出;
所述预测网络包括位置矩形预测网络和二值分割图预测网络,矩形预测网络包括卷积层conv0_1、全局均值池化层ave-pool和全连接层fc,二值分割图预测网络包括卷积层conv2_0、conv3_0、conv2_1和conv3_1以及二值分割层threshold;
卷积层conv0_1的输入与所述残差网络基础机构体resblock3的输出连接,卷积层conv0_1的输出经全局均值池化层ave-pool与全连接层fc的输入连接,全连接层fc输出为所述车牌字符位置矩形;
卷积层conv3_0的输入与所述拼接层concat4的输出连接,卷积层conv3_0的输出经卷积层conv3_1与二值分割层threshold的输入连接,卷积层conv2_0的输入与所述拼接层concat3的输出连接,卷积层conv2_0的输出经卷积层conv2_1与二值分割层threshold的输入连接,卷积层conv2_1的输出为阈值图,卷积层conv3_1的输出为字符区域显著图,二值分割层threshold用于根据卷积层conv2_1和卷积层conv3_1的输出图像获取所述车牌图像的二值分割图。
2.如权利要求1所述的基于自学习阈值的车牌字符分割方法,其特征在于,所述二值分割层threshold用于根据如下公式获取所述车牌图像的二值分割图:
,
,
其中,b(x,y)表示车牌图像的二值分割图;f(x,y)表示字符区域显著图,t(i,j)表示阈值图,(x,y)表示图像上某位置点的坐标,floor函数是向下取整函数,m是放大因子。
3.如权利要求1或2所述的基于自学习阈值的车牌字符分割方法,其特征在于,所述预先训练好的车牌字符分割模型的训练步骤包括:
获取训练样本图像集,训练样本图像集中包括带有标注信息的车牌字符局部图像,标注信息包括车牌字符位置矩形信息和车牌图像的二值分割图信息;
设置所述车牌字符分割模型的目标损失函数;
将训练样本图像集中的样本图像送入车牌字符分割模型中进行训练,学习模型参数。
4.如权利要求3所述的基于自学习阈值的车牌字符分割方法,其特征在于,所述车牌字符分割模型的目标损失函数包括位置矩形预测网络的目标损失函数和二值分割图预测网络的目标损失函数,其中,位置矩形预测网络的目标损失函数采用均方差损失函数,二值分割图预测网络的目标损失函数采用交叉熵损失函数。
5.如权利要求1所述的基于自学习阈值的车牌字符分割方法,其特征在于,在所述将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算,得到车牌字符位置矩形和车牌图像的二值分割图之后,还包括:
采用形态学运算方法对所述车牌图像的二值分割图进行处理,消除误检区域,得到处理后的车牌图像的二值分割图;
相应地,所述基于车牌字符位置矩形和车牌图像的二值分割图,获取每个车牌字符的二值分割图,包括:
基于车牌字符位置矩形和处理后的车牌图像的二值分割图,获取每个车牌字符的二值分割图。
6.一种基于自学习阈值的车牌字符分割系统,其特征在于,包括获取模块、预测模块、二值分割图获取模块和车牌字符分割模块,其中:
获取模块用于获取待识别的车牌字符局部RGB图像;
预测模块用于将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算,得到车牌字符位置矩形和车牌图像的二值分割图;
二值分割图获取模块用于基于车牌字符位置矩形和车牌图像的二值分割图,获取每个车牌字符的二值分割图;
车牌字符分割模块用于基于连通区域分析和投影图分析,对每个车牌字符的二值分割图进行分析,得到每个车牌字符的分割位置;
所述车牌字符分割模型包括主干网络和预测网络,主干网络的输入为车牌字符局部RGB图像、输出为深层语义特征图;预测网络的输入为所述深层语义特征图、输出为所述车牌字符位置矩形和所述车牌图像的二值分割图;
所述主干网络包括卷积层conv0_0、 conv1_0、conv1_1、conv1_2和conv1_3,拼接层concat1、concat2、concat3和concat4,3个残差网络基础机构体resblock1、resblock2、resblock3,以及多个上采样层upsample;
卷积层conv0_0、resblock1、resblock2和resblock3依次连接,卷积层conv0_0的输入为所述车牌字符局部RGB图像;
所述残差网络基础机构体resblock3的输出分别与卷积层conv1_0的输入和所述预测网络连接,卷积层conv1_0的输出经一个上采样层upsample与拼接层concat1连接;卷积层conv1_1的输入与拼接层concat1的输出连接,卷积层conv1_1的输出经一个上采样层upsample与拼接层concat2连接;卷积层conv1_2的输入与拼接层concat2的输出连接,卷积层conv1_2的输出经一个上采样层upsample与拼接层concat3连接;卷积层conv1_3的输入与拼接层concat3的输出连接,卷积层conv1_3的输出依次经两个上采样层upsample后的输出特征图和所述车牌字符局部RGB图像均与拼接层concat4的输入连接,拼接层concat4的输出与所述预测网络连接;
每个所述残差网络基础机构体包括下采样层resconv2、卷积层resconv0、resconv1、resconv3和resconv4以及合并层eltsum0和eltsum1,下采样层resconv2和卷积层resconv0的输入为上一残差网络基础机构体的输出或卷积层conv0的输出,卷积层resconv0的输出接卷积层resconv1的输入,卷积层resconv1和下采样层resconv2的输出均接合并层eltsum0的输入,合并层eltsum0用于将卷积层resconv1和下采样层resconv2输出的特征图按照对应元素相加合并成一个特征图作为输出;
合并层eltsum0的输出依次经卷积层resconv3和卷积层resconv4后与合并层eltsum1的输入连接,合并层eltsum0的输出还与合并层eltsum1的输入连接,合并层eltsum1用于将卷积层resconv4和合并层eltsum0输出的特征图按照对应元素相加合并成一个特征图作为输出;
所述预测网络包括位置矩形预测网络和二值分割图预测网络,矩形预测网络包括卷积层conv0_1、全局均值池化层ave-pool和全连接层fc,二值分割图预测网络包括卷积层conv2_0、conv3_0、conv2_1和conv3_1以及二值分割层threshold;
卷积层conv0_1的输入与所述残差网络基础机构体resblock3的输出连接,卷积层conv0_1的输出经全局均值池化层ave-pool与全连接层fc的输入连接,全连接层fc输出为所述车牌字符位置矩形;
卷积层conv3_0的输入与所述拼接层concat4的输出连接,卷积层conv3_0的输出经卷积层conv3_1与二值分割层threshold的输入连接,卷积层conv2_0的输入与所述拼接层concat3的输出连接,卷积层conv2_0的输出经卷积层conv2_1与二值分割层threshold的输入连接,卷积层conv2_1的输出为阈值图,卷积层conv3_1的输出为字符区域显著图,二值分割层threshold用于根据卷积层conv2_1和卷积层conv3_1的输出图像获取所述车牌图像的二值分割图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010579905.4A CN111881914B (zh) | 2020-06-23 | 2020-06-23 | 一种基于自学习阈值的车牌字符分割方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010579905.4A CN111881914B (zh) | 2020-06-23 | 2020-06-23 | 一种基于自学习阈值的车牌字符分割方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111881914A CN111881914A (zh) | 2020-11-03 |
CN111881914B true CN111881914B (zh) | 2024-02-13 |
Family
ID=73156561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010579905.4A Active CN111881914B (zh) | 2020-06-23 | 2020-06-23 | 一种基于自学习阈值的车牌字符分割方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111881914B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232351B (zh) * | 2020-11-09 | 2023-10-10 | 浙江工业职业技术学院 | 一种基于深度神经网络的车牌识别系统 |
CN112580629A (zh) * | 2020-12-23 | 2021-03-30 | 深圳市捷顺科技实业股份有限公司 | 一种基于深度学习的车牌字符识别方法以及相关装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106096602A (zh) * | 2016-06-21 | 2016-11-09 | 苏州大学 | 一种基于卷积神经网络的中文车牌识别方法 |
CN107563385A (zh) * | 2017-09-02 | 2018-01-09 | 西安电子科技大学 | 基于深度卷积生成式对抗网络的车牌字符识别方法 |
CN108154149A (zh) * | 2017-12-08 | 2018-06-12 | 济南中维世纪科技有限公司 | 基于深度学习网络共享的车牌识别方法 |
CN109685067A (zh) * | 2018-12-26 | 2019-04-26 | 江西理工大学 | 一种基于区域和深度残差网络的图像语义分割方法 |
KR101979654B1 (ko) * | 2018-01-15 | 2019-05-17 | 주식회사 비엔인더스트리 | 차량번호 인식 장치 및 그 방법 |
CN109858327A (zh) * | 2018-12-13 | 2019-06-07 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的字符分割方法 |
CN110717493A (zh) * | 2019-09-16 | 2020-01-21 | 浙江大学 | 一种基于深度学习的含堆叠字符的车牌识别方法 |
CN110866430A (zh) * | 2018-08-28 | 2020-03-06 | 上海富瀚微电子股份有限公司 | 一种车牌识别方法及装置 |
CN111008632A (zh) * | 2019-10-17 | 2020-04-14 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的车牌字符分割方法 |
CN111008633A (zh) * | 2019-10-17 | 2020-04-14 | 安徽清新互联信息科技有限公司 | 一种基于注意力机制的车牌字符分割方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590498B (zh) * | 2017-09-27 | 2020-09-01 | 哈尔滨工业大学 | 一种基于字符分割级联二分类器的自适应汽车仪表检测方法 |
US10878269B2 (en) * | 2018-06-19 | 2020-12-29 | Sap Se | Data extraction using neural networks |
-
2020
- 2020-06-23 CN CN202010579905.4A patent/CN111881914B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106096602A (zh) * | 2016-06-21 | 2016-11-09 | 苏州大学 | 一种基于卷积神经网络的中文车牌识别方法 |
CN107563385A (zh) * | 2017-09-02 | 2018-01-09 | 西安电子科技大学 | 基于深度卷积生成式对抗网络的车牌字符识别方法 |
CN108154149A (zh) * | 2017-12-08 | 2018-06-12 | 济南中维世纪科技有限公司 | 基于深度学习网络共享的车牌识别方法 |
KR101979654B1 (ko) * | 2018-01-15 | 2019-05-17 | 주식회사 비엔인더스트리 | 차량번호 인식 장치 및 그 방법 |
CN110866430A (zh) * | 2018-08-28 | 2020-03-06 | 上海富瀚微电子股份有限公司 | 一种车牌识别方法及装置 |
CN109858327A (zh) * | 2018-12-13 | 2019-06-07 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的字符分割方法 |
CN109685067A (zh) * | 2018-12-26 | 2019-04-26 | 江西理工大学 | 一种基于区域和深度残差网络的图像语义分割方法 |
CN110717493A (zh) * | 2019-09-16 | 2020-01-21 | 浙江大学 | 一种基于深度学习的含堆叠字符的车牌识别方法 |
CN111008632A (zh) * | 2019-10-17 | 2020-04-14 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的车牌字符分割方法 |
CN111008633A (zh) * | 2019-10-17 | 2020-04-14 | 安徽清新互联信息科技有限公司 | 一种基于注意力机制的车牌字符分割方法 |
Non-Patent Citations (5)
Title |
---|
A smart hybrid license plate recognition system based on image processing using neural network and image correlation;K. Yilmaz;《2011 International Symposium on Innovations in Intelligent Systems and Applications》;第148-153页 * |
卷积神经网络图像语义分割技术;田启川;孟颖;;小型微型计算机系统(第06期);第184-195业务 * |
基于深度学习的场景分割算法研究综述;张蕊;李锦涛;;计算机研究与发展(第04期);第113-121页 * |
基于深度学习的车牌定位和识别方法;李祥鹏;闵卫东;韩清;刘瑞康;;计算机辅助设计与图形学学报(第06期);第193-209页 * |
车牌定位与字符分割的新方法;李培灵;王锋;;计算机与网络(第11期);第75-77页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111881914A (zh) | 2020-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110427839B (zh) | 基于多层特征融合的视频目标检测方法 | |
CN110222591B (zh) | 一种基于深度神经网络的车道线检测方法 | |
CN109035292B (zh) | 基于深度学习的运动目标检测方法及装置 | |
CN111008632B (zh) | 一种基于深度学习的车牌字符分割方法 | |
CN111814623A (zh) | 一种基于深度神经网络的车辆车道偏离视觉检测方法 | |
CN111008633B (zh) | 一种基于注意力机制的车牌字符分割方法 | |
CN111027539B (zh) | 一种基于空间位置信息的车牌字符分割方法 | |
CN112766136B (zh) | 一种基于深度学习的空间车位检测方法 | |
CN113723377B (zh) | 一种基于ld-ssd网络的交通标志检测方法 | |
CN111062381B (zh) | 一种基于深度学习的车牌位置检测方法 | |
CN114155527A (zh) | 一种场景文本识别方法和装置 | |
Xiang et al. | Lightweight fully convolutional network for license plate detection | |
CN113313031B (zh) | 一种基于深度学习的车道线检测和车辆横向定位方法 | |
CN111881914B (zh) | 一种基于自学习阈值的车牌字符分割方法及系统 | |
CN107944354A (zh) | 一种基于深度学习的车辆检测方法 | |
CN112446292B (zh) | 一种2d图像显著目标检测方法及系统 | |
CN117037119A (zh) | 基于改进YOLOv8的道路目标检测方法及系统 | |
CN111611956B (zh) | 面向地铁视觉图像的轨道检测方法及系统 | |
CN112784834A (zh) | 一种自然场景下的车牌自动识别方法 | |
CN111914596B (zh) | 车道线检测方法、装置、系统及存储介质 | |
CN118072275A (zh) | 一种结合激光与视觉的可行驶区域检测方法和系统 | |
CN114550135A (zh) | 一种基于注意力机制和特征聚合的车道线检测方法 | |
CN115346206B (zh) | 基于改进超分辨的深度卷积特征识别的车牌检测方法 | |
CN114821510B (zh) | 基于改进U-Net网络的车道线检测方法及装置 | |
CN115761667A (zh) | 一种基于改进fcos算法的无人车辆搭载摄像头目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |