CN106295646A - 一种基于深度学习的车牌字符分割方法和装置 - Google Patents
一种基于深度学习的车牌字符分割方法和装置 Download PDFInfo
- Publication number
- CN106295646A CN106295646A CN201610652746.XA CN201610652746A CN106295646A CN 106295646 A CN106295646 A CN 106295646A CN 201610652746 A CN201610652746 A CN 201610652746A CN 106295646 A CN106295646 A CN 106295646A
- Authority
- CN
- China
- Prior art keywords
- image
- label
- original image
- license plate
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 58
- 238000003062 neural network model Methods 0.000 claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 11
- 238000012805 post-processing Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的一种基于深度学习的车牌字符分割方法和装置,通过将原始图像进行标记得到标签图像,根据原始图像和标签图像构造神经网络,将原始图像通过神经网络和softmax回归损失函数得到分类后的图像,将分类后的图像与标签图像进行对比,如果分类后的图像与标签图像不一致,则将分类后的图像进行训练得到训练的神经网络模型,将原始图像通过训练的神经网络模型得到标签图像,从而获取更精确的车牌字符区域,提高车牌字符分割的准确性。
Description
技术领域
本发明涉及数据识别领域,特别是涉及一种基于深度学习的车牌字符分割方法和装置。
背景技术
车牌识别通常应用在卡口、电警、收费站和停车场等场景。传统的车牌识别算法包括车牌字符分割,车牌字符分割技术是将车牌图像区域进行分割,从而获得车牌图像上所有的独立的字符区域,主要是对车牌作水平投影和垂直投影,具体为:对车牌图像进行预处理得到二值化图像;对车牌图像进行自上而下逐行扫描和自下而上逐行扫描获取车牌字符的高度范围;对车牌字符的高度范围自左向右扫描确定每个字符的宽度范围;根据每个字符的宽度范围再自上而下和自下而上逐行扫描,从而获取每个字符更精确的高度范围。
但是随着社会发展和维护社会安全的需要,城市中架设的监控摄像机越来越多,监控摄像机的安装高度和角度已经远超出智能交通和安防行业所要求的安装标准,监控摄像机的成像质量也是层次不齐,其中比较突出的一个问题是需要识别的车牌越来越小,而且由于图像质量问题,车牌模糊不清,字符存在粘连或者受到噪声污染,字符间就会存在干扰,传统的分割算法无法通过水平投影和垂直投影找到字符间的分割位置,因此不能很好地解决上述问题。
发明内容
本发明的目的在于提供一种基于深度学习的车牌字符分割方法和装置,可以对字符粘连的车牌、噪声污染较大的车牌和受到污损的车牌进行有效的字符分割,从而获取更精确的车牌字符区域,提高车牌字符分割的准确性。
第一方面,本发明实施例提供了一种基于深度学习的车牌字符分割方法,所述方法包括:
获取车牌的原始图像,将所述原始图像进行标记得到标签图像;
根据所述原始图像和所述标签图像构造神经网络;
将所述原始图像通过所述神经网络和softmax回归损失函数得到分类后的图像;
将所述分类后的图像与所述标签图像进行对比,判断所述分类后的图像与所述标签图像是否一致;
如果不一致,则将所述分类后的图像进行训练得到训练的神经网络模型;
将所述原始图像通过所述训练的神经网络模型得到所述标签图像。
结合第一方面,本发明实施例提供了第一方面第一种可能的实施方式,所述将所述原始图像通过所述训练的神经网络模型得到所述标签图像包括:
将所述原始图像通过所述训练的神经网络模型得到所述原始图像的每个像素对应的第一标签值的概率和第二标签值的概率;
根据所述每个像素对应的所述第一标签值的概率和所述第二标签值的概率对所述原始图像进行处理得到掩膜图像;
将所述掩膜图像进行后处理得到所述标签图像。
结合第一方面第一种可能的实施方式,本发明实施例提供了第一方面第二种可能的实施方式,所述根据所述每个像素对应的所述第一标签值的概率和所述第二标签值的概率对所述原始图像进行处理得到掩膜图像包括:
根据下式计算所述掩膜图像:
其中,所述为所述掩膜图像,P1(i,j)为所述原始图像的第i行和第j列的像素对应的所述第一标签值的概率,P0(i,j)为所述原始图像的第i行和第j列的像素对应的所述第二标签值的概率,i=1,2,3…M,j=1,2,3…N,所述M为所述原始图像的高度,所述N为所述原始图像的宽度。
结合第一方面第一种可能的实施方式,本发明实施例提供了第一方面第三种可能的实施方式,所述将所述掩膜图像进行后处理得到所述标签图像包括:
统计所述掩膜图像的每一列中像素值为第一像素值的像素的个数;
根据所述个数确定所述车牌上的字符间的分割位置;
根据所述车牌上的字符间的分割位置得到所述标签图像。
结合第一方面第三种可能的实施方式,本发明实施例提供了第一方面第四种可能的实施方式,所述根据所述个数确定所述车牌上的字符间的分割位置包括:
将所述个数对应的数值与预设的阈值进行比较;
如果所述个数对应的数值大于预设的阈值,则将所述个数对应的数值作为当前相邻的字符的分割位置。
结合第一方面,本发明实施例提供了第一方面第五种可能的实施方式,所述将所述原始图像进行标记得到标签图像包括:
将所述原始图像的相邻字符之间的区域标记为第一标签值;
将除所述相邻字符之间的区域外的其它区域标记为第二标签值;
将标记为所述第一标签值的区域和标记为所述第二标签值的区域构成所述标签图像。
第二方面,本发明实施例提供了一种基于深度学习的车牌字符分割装置,所述装置包括:
标记单元,用于获取车牌的原始图像,将所述原始图像进行标记得到标签图像;
构造单元,用于根据所述原始图像和所述标签图像构造神经网络;
分类后图像生成单元,用于将所述原始图像通过所述神经网络和softmax回归损失函数得到分类后的图像;
判断单元,用于将所述分类后的图像与所述标签图像进行对比,判断所述分类后的图像与所述标签图像是否一致;
训练单元,用于在不一致的情况下,将所述分类后的图像进行训练得到训练的神经网络模型;
标签图像生成单元,用于将所述原始图像通过所述训练的神经网络模型得到所述标签图像。
结合第二方面,本发明实施例提供了第二方面第一种可能的实施方式,所述标签图像生成单元包括:
概率获取单元,用于将所述原始图像通过所述训练的神经网络模型得到所述原始图像的每个像素对应的第一标签值的概率和第二标签值的概率;
第一处理单元,用于根据所述每个像素对应的所述第一标签值的概率和所述第二标签值的概率对所述原始图像进行处理得到掩膜图像;
第二处理单元,用于将所述掩膜图像进行后处理得到所述标签图像。
结合第二方面第一种可能的实施方式,本发明实施例提供了第二方面第二种可能的实施方式,所述第一处理单元包括:
根据下式计算所述掩膜图像:
其中,所述为所述掩膜图像,P1(i,j)为所述原始图像的第i行和第j列的像素对应的所述第一标签值的概率,P0(i,j)为所述原始图像的第i行和第j列的像素对应的所述第二标签值的概率,i=1,2,3…M,j=1,2,3…N,所述M为所述原始图像的高度,所述N为所述原始图像的宽度。
结合第二方面第一种可能的实施方式,本发明实施例提供了第二方面第三种可能的实施方式,所述第二处理单元包括:
统计单元,用于统计所述掩膜图像的每一列中像素值为第一像素值的像素的个数;
确定单元,用于根据所述个数确定所述车牌上的字符间的分割位置;
标签图像获取单元,用于根据所述车牌上的字符间的分割位置得到所述标签图像。
结合第二方面第三种可能的实施方式,本发明实施例提供了第二方面第四种可能的实施方式,所述确定单元包括:
比较单元,用于将所述个数对应的数值与预设的阈值进行比较;
分割位置确定单元,用于在所述个数对应的数值大于预设的阈值的情况下,将所述个数对应的数值作为当前相邻的字符的分割位置。
结合第二方面,本发明实施例提供了第二方面第五种可能的实施方式,所述标记单元包括:
第一标签值标记单元,用于将所述原始图像的相邻字符之间的区域标记为第一标签值;
第二标签值标记单元,用于将除所述相邻字符之间的区域外的其它区域标记为第二标签值;
构成单元,用于将标记为所述第一标签值的区域和标记为所述第二标签值的区域构成所述标签图像。
本发明实施例提供了一种基于深度学习的车牌字符分割方法和装置,通过将原始图像进行标记得到标签图像,根据原始图像和标签图像构造神经网络,将原始图像通过神经网络和softmax回归损失函数得到分类后的图像,将分类后的图像与标签图像进行对比,如果分类后的图像与标签图像不一致,则将分类后的图像进行训练得到训练的神经网络模型,将原始图像通过训练的神经网络模型得到标签图像,从而获取更精确的车牌字符区域,提高车牌字符分割的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例一提供的一种基于深度学习的车牌字符分割方法流程图;
图2为本发明实施例一提供的构造神经网络示意图;
图3为本发明实施例一提供的与图2相对应的神经网络预测网络示意图;
图4为本发明实施例一提供的一种基于深度学习的车牌字符分割方法中步骤S106的流程图;
图5为本发明实施例一提供的另一种基于深度学习的车牌字符分割方法中步骤S106的流程图;
图6为本发明实施例一提供的一种基于深度学习的车牌字符分割方法中步骤S101的流程图;
图7为本发明实施例二提供的一种基于深度学习的车牌字符分割装置示意图。
附图标记说明:
10-标记单元; 20-构造单元; 30-分类后图像生成单元;
40-判断单元; 50-训练单元; 60-标签图像生成单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
针对现有的车牌字符分割技术采用水平投影和垂直投影的方法对字符进行分割,但是对于字符粘连、受到污损和噪声污染较大的车牌无法进行分割。本发明提供了一种基于深度学习的车牌字符分割方法和装置,通过将原始图像进行标记得到标签图像,根据原始图像和标签图像构造神经网络,将原始图像通过神经网络和softmax回归损失函数得到分类后的图像,将分类后的图像与标签图像进行对比,如果分类后的图像与标签图像不一致,则将分类后的图像进行训练得到训练的神经网络模型,将原始图像通过训练的神经网络模型得到标签图像,从而可以对字符粘连的车牌、噪声污染较大的车牌和受到污损的车牌进行有效的字符分割,获取更精确的车牌字符区域,提高车牌字符分割的准确性。下面通过实施例进行详细描述。
图1为本发明实施例提供的一种基于深度学习的车牌字符分割方法流程图。
参照图1,步骤S101,获取车牌的原始图像,将原始图像进行标记得到标签图像;
具体地,先获取车牌的原始图像,对车牌的原始图像上的相邻字符之间的区域标记为第一标签值,将车牌的原始图像上的其它区域标记为第二标签值,其中,第一标签值为1,第二标签值为0。那么,标记为1的区域和标记为0的区域构成标签图像。
这样,每一张车牌图像构成对应的两张图像,分别为车牌的原始图像和标签图像,例如,车牌的原始图像为“京C·874”,将相邻字符“京”和“C”之间的区域标记为1,依次类推,将除相邻字符之外的区域标记为0,从而构成标签图像。
步骤S102,根据原始图像和标签图像构造神经网络;
具体可参照如图2所示的构造神经网络示意图,神经网络为七层,每层包括卷积层和激活层,将原始图像和标签图像通过依次通过各层,则构成神经网络。
步骤S103,将原始图像通过神经网络和softmax回归损失函数得到分类后的图像;
这里,在上述步骤S102中,原始图像和标签图像构造神经网络,再将原始图像通过神经网络和softmax回归损失函数得到分类后的图像,具体可参照图3。
步骤S104,将分类后的图像与标签图像进行对比,判断分类后的图像与标签图像是否一致,如果不一致,则执行步骤S105;如果一致,则执行步骤S107。
步骤S105,将分类后的图像进行训练得到训练的神经网络模型;
这里,将分类后的图像与标签图像进行对比,确定分类后的图像与标签图像是否匹配,如果不匹配,则需要将分类后的图像进行训练得到训练的神经网络模型。
步骤S106,将原始图像通过训练的神经网络模型得到标签图像;
这里,原始图像通过训练的神经网络模型输出原始图像的像素对应的第一标签值的概率和第二标签值的概率,再对原始图像进行处理掩膜图像,最后对掩膜图像进行后处理得到标签图像。
步骤S107,结束。
进一步的,如图4所示,上述实施例基于深度学习的车牌字符分割方法中,步骤S106可采用如下步骤实现,包括:
步骤S201,将原始图像通过训练的神经网络模型得到原始图像的每个像素对应的第一标签值的概率和第二标签值的概率;
这里,通过得到训练的神经网络模型,然后将原始图像输入训练的神经网络模型,最终输出原始图像的每个像素对应的第一标签值的概率和第二标签值的概率。
其中,原始图像可以用H表示,H(i,j)表示原始图像H的第i行,第j列的像素值,i=1,2,3,…M,j=1,2,3,…N,M表示原始图像H的高度,N表示原始图像H的宽度。
第一标签值可以为1,第二标签值可以为0,也就是输出原始图像的每个像素对应的标签值为1的概率和标签值为0的概率。标签值为1的概率用P1表示,其中P1(i,j)表示原始图像的第i行,第j列的像素对应的标签值为1的概率;标签值为0的概率用P0表示,其中P0(i,j)表示原始图像的第i行,第j列的像素对应的标签值为0的概率。这样,原始图像的每个像素对应的标签值为1的概率和标签值为0的概率,且它们的概率之和为1,具体如公式(1)可知:
P0(i,j)+P1(i,j)=1 (1)
其中,标签值为1代表车牌相邻字符之间的间隙,标签值为0代表除间隙外的其它区域。
步骤S202,根据每个像素对应的第一标签值的概率和第二标签值的概率对所述原始图像进行处理得到掩膜图像;
这里,根据原始图像的每个像素对应的标签值为1的概率和标签值为0的概率对原始图像进行处理,得到掩膜图像掩膜图像和原始图像H的宽度和高度都相等,获取掩膜图像的方法具体如公式(2)所示:
其中,为掩膜图像,P1(i,j)为原始图像的第i行和第j列的像素对应的第一标签值的概率,P0(i,j)为原始图像的第i行和第j列的像素对应的第二标签值的概率,i=1,2,3…M,j=1,2,3…N,M为原始图像的高度,N为所述原始图像的宽度。
步骤S203,将掩膜图像进行后处理得到标签图像。
具体地,如图5所示,上述实施例基于深度学习的车牌字符分割方法中,步骤S203可采用如下步骤实现,包括:
步骤S301,统计掩膜图像的每一列中像素值为第一像素值的像素的个数;
这里,第一像素值为1,通过统计掩膜图像每一列中像素值为1的个数,个数可用T1(j)表示,其中,j=1,2,3,…,N,N表示原始图像H的宽度。
步骤S302,根据个数确定车牌上的字符间的分割位置;
具体地,将个数对应的数值与预设的阈值进行比较;如果个数对应的数值大于预设的阈值,则将个数对应的数值作为当前相邻的字符的分割位置。
这里,预设的阈值用threshold表示,具体过程为:
当T1(j)>threshold时,则将j作为当前相邻字符的分割位置,其中,threshold=a*M,M表示掩膜图像的高度,a取0.2。
这里,a值是经过大量的实验确定的,也可以通过统计的方法获取,当a取定某一个值时,使得上述方法分割得到的分割位置与车牌上字符实际的分割位置误差最小时,则可以确定当前值为a的最优值。
步骤S303,根据车牌上的字符间的分割位置得到标签图像。
进一步的,如图6所示,上述实施例基于深度学习的车牌字符分割方法中,步骤S101可采用如下步骤实现,包括:
步骤S401,将原始图像的相邻字符之间的区域标记为第一标签值;
这里,第一标签值为1,将原始图像中相邻字符之间的区域标记为1。
步骤S402,将除相邻字符之间的区域外的其它区域标记为第二标签值;
这里,第二标签值为0,在原始图像中,除了相邻字符外,将其他区域标记为0。
步骤S403,将标记为第一标签值的区域和标记为第二标签值的区域构成标签图像。
这里,将标记为1的相邻字符之间的区域和标记为0的区域构成标签图像。
通过这种特定的标记,在神经网络学习过程中能够自动学习车牌上字符的规则,比如字符间存在间隙和字符轮廓,对于字符粘连,字符污损和噪声污染较大的车牌实现有效地分割。
本发明提供了一种基于深度学习的车牌字符分割方法,通过将原始图像进行标记得到标签图像,根据原始图像和标签图像构造神经网络,将原始图像通过神经网络和softmax回归损失函数得到分类后的图像,将分类后的图像与标签图像进行对比,如果分类后的图像与标签图像不一致,则将分类后的图像进行训练得到训练的神经网络模型,将原始图像通过训练的神经网络模型得到标签图像,从而获取更精确的车牌字符区域,提高车牌字符分割的准确性。
图7为本发明实施例二提供的一种基于深度学习的车牌字符分割装置示意图。
参照图7,该装置包括标记单元10、构造单元20、分类后图像生成单元30、判断单元40、训练单元50和标签图像生成单元60。
标记单元10,用于获取车牌的原始图像,将原始图像进行标记得到标签图像;
构造单元20,用于根据原始图像和标签图像构造神经网络;
分类后图像生成单元30,用于将原始图像通过神经网络和softmax回归损失函数得到分类后的图像;
判断单元40,用于将分类后的图像与所述标签图像进行对比,判断分类后的图像与标签图像是否一致;
训练单元50,用于在不一致的情况下,将分类后的图像进行训练得到训练的神经网络模型;
标签图像生成单元60,用于将原始图像通过训练的神经网络模型得到标签图像。
进一步地,标签图像生成单元60包括:
概率获取单元(未示出),用于将原始图像通过训练的神经网络模型得到原始图像的每个像素对应的第一标签值的概率和第二标签值的概率;
第一处理单元(未示出),用于根据每个像素对应的第一标签值的概率和第二标签值的概率对原始图像进行处理得到掩膜图像;
第二处理单元(未示出),用于将掩膜图像进行后处理得到标签图像。
进一步地,第一处理单元(未示出)包括:
根据公式(2)计算掩膜图像,其中,为所述掩膜图像,P1(i,j)为原始图像的第i行和第j列的像素对应的第一标签值的概率,P0(i,j)为原始图像的第i行和第j列的像素对应的第二标签值的概率,i=1,2,3…M,j=1,2,3…N,M为原始图像的高度,N为原始图像的宽度。
进一步地,第二处理单元(未示出)包括:
统计单元(未示出),用于统计掩膜图像的每一列中像素值为第一像素值的像素的个数;
确定单元(未示出),用于根据个数确定车牌上的字符间的分割位置;
标签图像获取单元(未示出),用于根据车牌上的字符间的分割位置得到所述标签图像。
进一步地,确定单元(未示出)包括:
比较单元(未示出),用于将个数对应的数值与预设的阈值进行比较;
分割位置确定单元(未示出),用于在个数对应的数值大于预设的阈值的情况下,将个数对应的数值作为当前相邻的字符的分割位置。
进一步地,标记单元10包括:
第一标签值标记单元(未示出),用于将原始图像的相邻字符之间的区域标记为第一标签值;
第二标签值标记单元(未示出),用于将除相邻字符之间的区域外的其它区域标记为第二标签值;
构成单元(未示出),用于将标记为第一标签值的区域和标记为所述第二标签值的区域构成所述标签图像。
本发明提供了一种基于深度学习的车牌字符分割装置,通过将原始图像进行标记得到标签图像,根据原始图像和标签图像构造神经网络,将原始图像通过神经网络和softmax回归损失函数得到分类后的图像,将分类后的图像与标签图像进行对比,如果分类后的图像与标签图像不一致,则将分类后的图像进行训练得到训练的神经网络模型,将原始图像通过训练的神经网络模型得到标签图像,从而获取更精确的车牌字符区域,提高车牌字符分割的准确性。
本发明实施例所提供的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,均可以参考上述方法实施例中的相对应过程,在此不再赘述。
在本发明所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通话连接可以是通过一些通话接口,装置或单元的间接耦合或通话连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (12)
1.一种基于深度学习的车牌字符分割方法,其特征在于,所述方法包括:
获取车牌的原始图像,将所述原始图像进行标记得到标签图像;
根据所述原始图像和所述标签图像构造神经网络;
将所述原始图像通过所述神经网络和softmax回归损失函数得到分类后的图像;
将所述分类后的图像与所述标签图像进行对比,判断所述分类后的图像与所述标签图像是否一致;
如果不一致,则将所述分类后的图像进行训练得到训练的神经网络模型;
将所述原始图像通过所述训练的神经网络模型得到所述标签图像。
2.根据权利要求1所述的一种基于深度学习的车牌字符分割方法,其特征在于,所述将所述原始图像通过所述训练的神经网络模型得到所述标签图像包括:
将所述原始图像通过所述训练的神经网络模型得到所述原始图像的每个像素对应的第一标签值的概率和第二标签值的概率;
根据所述每个像素对应的所述第一标签值的概率和所述第二标签值的概率对所述原始图像进行处理得到掩膜图像;
将所述掩膜图像进行后处理得到所述标签图像。
3.根据权利要求2所述的一种基于深度学习的车牌字符分割方法,其特征在于,所述根据所述每个像素对应的所述第一标签值的概率和所述第二标签值的概率对所述原始图像进行处理得到掩膜图像包括:
根据下式计算所述掩膜图像:
其中,所述为所述掩膜图像,P1(i,j)为所述原始图像的第i行和第j列的像素对应的所述第一标签值的概率,P0(i,j)为所述原始图像的第i行和第j列的像素对应的所述第二标签值的概率,i=1,2,3…M,j=1,2,3…N,所述M为所述原始图像的高度,所述N为所述原始图像的宽度。
4.根据权利要求2所述的一种基于深度学习的车牌字符分割方法,其特征在于,所述将所述掩膜图像进行后处理得到所述标签图像包括:
统计所述掩膜图像的每一列中像素值为第一像素值的像素的个数;
根据所述个数确定所述车牌上的字符间的分割位置;
根据所述车牌上的字符间的分割位置得到所述标签图像。
5.根据权利要求4所述的一种基于深度学习的车牌字符分割方法,其特征在于,所述根据所述个数确定所述车牌上的字符间的分割位置包括:
将所述个数对应的数值与预设的阈值进行比较;
如果所述个数对应的数值大于预设的阈值,则将所述个数对应的数值作为当前相邻的字符的分割位置。
6.根据权利要求1所述的一种基于深度学习的车牌字符分割方法,其特征在于,所述将所述原始图像进行标记得到标签图像包括:
将所述原始图像的相邻字符之间的区域标记为第一标签值;
将除所述相邻字符之间的区域外的其它区域标记为第二标签值;
将标记为所述第一标签值的区域和标记为所述第二标签值的区域构成所述标签图像。
7.一种基于深度学习的车牌字符分割装置,其特征在于,所述装置包括:
标记单元,用于获取车牌的原始图像,将所述原始图像进行标记得到标签图像;
构造单元,用于根据所述原始图像和所述标签图像构造神经网络;
分类后图像生成单元,用于将所述原始图像通过所述神经网络和softmax回归损失函数得到分类后的图像;
判断单元,用于将所述分类后的图像与所述标签图像进行对比,判断所述分类后的图像与所述标签图像是否一致;
训练单元,用于在不一致的情况下,将所述分类后的图像进行训练得到训练的神经网络模型;
标签图像生成单元,用于将所述原始图像通过所述训练的神经网络模型得到所述标签图像。
8.根据权利要求7所述的一种基于深度学习的车牌字符分割装置,其特征在于,所述标签图像生成单元包括:
概率获取单元,用于将所述原始图像通过所述训练的神经网络模型得到所述原始图像的每个像素对应的第一标签值的概率和第二标签值的概率;
第一处理单元,用于根据所述每个像素对应的所述第一标签值的概率和所述第二标签值的概率对所述原始图像进行处理得到掩膜图像;
第二处理单元,用于将所述掩膜图像进行后处理得到所述标签图像。
9.根据权利要求8所述的一种基于深度学习的车牌字符分割装置,其特征在于,所述第一处理单元包括:
根据下式计算所述掩膜图像:
其中,所述为所述掩膜图像,P1(i,j)为所述原始图像的第i行和第j列的像素对应的所述第一标签值的概率,P0(i,j)为所述原始图像的第i行和第j列的像素对应的所述第二标签值的概率,i=1,2,3…M,j=1,2,3…N,所述M为所述原始图像的高度,所述N为所述原始图像的宽度。
10.根据权利要求8所述的一种基于深度学习的车牌字符分割装置,其特征在于,所述第二处理单元包括:
统计单元,用于统计所述掩膜图像的每一列中像素值为第一像素值的像素的个数;
确定单元,用于根据所述个数确定所述车牌上的字符间的分割位置;
标签图像获取单元,用于根据所述车牌上的字符间的分割位置得到所述标签图像。
11.根据权利要求10所述的一种基于深度学习的车牌字符分割装置,其特征在于,所述确定单元包括:
比较单元,用于将所述个数对应的数值与预设的阈值进行比较;
分割位置确定单元,用于在所述个数对应的数值大于预设的阈值的情况下,将所述个数对应的数值作为当前相邻的字符的分割位置。
12.根据权利要求7所述的一种基于深度学习的车牌字符分割装置,其特征在于,所述标记单元包括:
第一标签值标记单元,用于将所述原始图像的相邻字符之间的区域标记为第一标签值;
第二标签值标记单元,用于将除所述相邻字符之间的区域外的其它区域标记为第二标签值;
构成单元,用于将标记为所述第一标签值的区域和标记为所述第二标签值的区域构成所述标签图像。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610652746.XA CN106295646B (zh) | 2016-08-10 | 2016-08-10 | 一种基于深度学习的车牌字符分割方法和装置 |
PCT/CN2017/080128 WO2018028230A1 (zh) | 2016-08-10 | 2017-04-11 | 一种基于深度学习的车牌字符分割方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610652746.XA CN106295646B (zh) | 2016-08-10 | 2016-08-10 | 一种基于深度学习的车牌字符分割方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106295646A true CN106295646A (zh) | 2017-01-04 |
CN106295646B CN106295646B (zh) | 2019-08-23 |
Family
ID=57667884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610652746.XA Active CN106295646B (zh) | 2016-08-10 | 2016-08-10 | 一种基于深度学习的车牌字符分割方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106295646B (zh) |
WO (1) | WO2018028230A1 (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971556A (zh) * | 2017-05-16 | 2017-07-21 | 中山大学 | 基于双网络结构的卡口车辆重识别方法 |
CN107239778A (zh) * | 2017-06-09 | 2017-10-10 | 中国科学技术大学 | 高效准确的车牌识别方法 |
WO2018028230A1 (zh) * | 2016-08-10 | 2018-02-15 | 东方网力科技股份有限公司 | 一种基于深度学习的车牌字符分割方法、装置及存储介质 |
CN108830827A (zh) * | 2017-05-02 | 2018-11-16 | 通用电气公司 | 神经网络训练图像生成系统 |
CN108921764A (zh) * | 2018-03-15 | 2018-11-30 | 中山大学 | 一种基于生成对抗网络的图像隐写方法及系统 |
CN109284686A (zh) * | 2018-08-23 | 2019-01-29 | 国网山西省电力公司计量中心 | 一种摄像头自动俯仰拍照的标签识别方法 |
CN109389116A (zh) * | 2017-08-14 | 2019-02-26 | 高德软件有限公司 | 一种字符检测方法及装置 |
WO2019085793A1 (zh) * | 2017-11-01 | 2019-05-09 | 腾讯科技(深圳)有限公司 | 图像分类方法、计算机设备及计算机可读存储介质 |
CN109829453A (zh) * | 2018-12-29 | 2019-05-31 | 天津车之家数据信息技术有限公司 | 一种卡证中文字的识别方法、装置以及计算设备 |
CN109859233A (zh) * | 2018-12-28 | 2019-06-07 | 上海联影智能医疗科技有限公司 | 图像处理、图像处理模型的训练方法及系统 |
CN110120047A (zh) * | 2019-04-04 | 2019-08-13 | 平安科技(深圳)有限公司 | 图像分割模型训练方法、图像分割方法、装置、设备及介质 |
CN110263793A (zh) * | 2019-06-25 | 2019-09-20 | 北京百度网讯科技有限公司 | 物品标签识别方法及装置 |
CN110414527A (zh) * | 2019-07-31 | 2019-11-05 | 北京字节跳动网络技术有限公司 | 字符识别方法、装置、存储介质及电子设备 |
CN110942004A (zh) * | 2019-11-20 | 2020-03-31 | 深圳追一科技有限公司 | 基于神经网络模型的手写识别方法、装置及电子设备 |
CN110969176A (zh) * | 2018-09-29 | 2020-04-07 | 杭州海康威视数字技术股份有限公司 | 一种车牌样本扩增方法、装置和计算机设备 |
CN111325061A (zh) * | 2018-12-14 | 2020-06-23 | 顺丰科技有限公司 | 一种基于深度学习的车辆检测算法、设备及存储介质 |
CN112926610A (zh) * | 2019-12-06 | 2021-06-08 | 顺丰科技有限公司 | 车牌图像筛选模型的构建方法与车牌图像筛选方法 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109325492B (zh) * | 2018-08-17 | 2023-12-19 | 平安科技(深圳)有限公司 | 字符切割方法、装置、计算机设备及存储介质 |
CN109858327B (zh) * | 2018-12-13 | 2023-06-09 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的字符分割方法 |
CN109948419A (zh) * | 2018-12-31 | 2019-06-28 | 上海眼控科技股份有限公司 | 一种基于深度学习的违法停车自动审核方法 |
US10699192B1 (en) * | 2019-01-31 | 2020-06-30 | StradVision, Inc. | Method for optimizing hyperparameters of auto-labeling device which auto-labels training images for use in deep learning network to analyze images with high precision, and optimizing device using the same |
CN110399880A (zh) * | 2019-07-31 | 2019-11-01 | 深圳市捷顺科技实业股份有限公司 | 一种车牌字符及车牌类别的识别方法、装置及设备 |
CN110544256B (zh) * | 2019-08-08 | 2022-03-22 | 北京百度网讯科技有限公司 | 基于稀疏特征的深度学习图像分割方法及装置 |
CN110503716B (zh) * | 2019-08-12 | 2022-09-30 | 中国科学技术大学 | 一种机动车车牌合成数据生成方法 |
CN111126286A (zh) * | 2019-12-22 | 2020-05-08 | 上海眼控科技股份有限公司 | 车辆动态检测方法、装置、计算机设备及存储介质 |
CN111126393A (zh) * | 2019-12-22 | 2020-05-08 | 上海眼控科技股份有限公司 | 车辆外观改装判断方法、装置、计算机设备及存储介质 |
CN111488883A (zh) * | 2020-04-14 | 2020-08-04 | 上海眼控科技股份有限公司 | 车架号识别方法、装置、计算机设备和存储介质 |
CN116091466A (zh) * | 2020-05-08 | 2023-05-09 | 上海联影智能医疗科技有限公司 | 图像分析方法、计算机设备和存储介质 |
CN112651985A (zh) * | 2020-12-31 | 2021-04-13 | 康威通信技术股份有限公司 | 一种隧道巡检的里程标识牌定位方法及系统 |
CN113673511B (zh) * | 2021-07-30 | 2022-03-18 | 苏州鼎纳自动化技术有限公司 | 一种基于ocr的字符分割方法 |
CN114882727B (zh) * | 2022-03-15 | 2023-09-05 | 深圳市德驰微视技术有限公司 | 基于域控制器的停车位检测方法、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101408933A (zh) * | 2008-05-21 | 2009-04-15 | 浙江师范大学 | 基于粗网格特征提取和bp神经网络的车牌字符识别方法 |
CN104809443A (zh) * | 2015-05-05 | 2015-07-29 | 上海交通大学 | 基于卷积神经网络的车牌检测方法及系统 |
US20150347860A1 (en) * | 2014-05-30 | 2015-12-03 | Apple Inc. | Systems And Methods For Character Sequence Recognition With No Explicit Segmentation |
CN105335743A (zh) * | 2015-10-28 | 2016-02-17 | 重庆邮电大学 | 一种车牌识别方法 |
CN105825235A (zh) * | 2016-03-16 | 2016-08-03 | 博康智能网络科技股份有限公司 | 一种基于多特征图深度学习的图像识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106295646B (zh) * | 2016-08-10 | 2019-08-23 | 东方网力科技股份有限公司 | 一种基于深度学习的车牌字符分割方法和装置 |
-
2016
- 2016-08-10 CN CN201610652746.XA patent/CN106295646B/zh active Active
-
2017
- 2017-04-11 WO PCT/CN2017/080128 patent/WO2018028230A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101408933A (zh) * | 2008-05-21 | 2009-04-15 | 浙江师范大学 | 基于粗网格特征提取和bp神经网络的车牌字符识别方法 |
US20150347860A1 (en) * | 2014-05-30 | 2015-12-03 | Apple Inc. | Systems And Methods For Character Sequence Recognition With No Explicit Segmentation |
CN104809443A (zh) * | 2015-05-05 | 2015-07-29 | 上海交通大学 | 基于卷积神经网络的车牌检测方法及系统 |
CN105335743A (zh) * | 2015-10-28 | 2016-02-17 | 重庆邮电大学 | 一种车牌识别方法 |
CN105825235A (zh) * | 2016-03-16 | 2016-08-03 | 博康智能网络科技股份有限公司 | 一种基于多特征图深度学习的图像识别方法 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018028230A1 (zh) * | 2016-08-10 | 2018-02-15 | 东方网力科技股份有限公司 | 一种基于深度学习的车牌字符分割方法、装置及存储介质 |
CN108830827A (zh) * | 2017-05-02 | 2018-11-16 | 通用电气公司 | 神经网络训练图像生成系统 |
CN106971556A (zh) * | 2017-05-16 | 2017-07-21 | 中山大学 | 基于双网络结构的卡口车辆重识别方法 |
CN107239778B (zh) * | 2017-06-09 | 2020-01-03 | 中国科学技术大学 | 高效准确的车牌识别方法 |
CN107239778A (zh) * | 2017-06-09 | 2017-10-10 | 中国科学技术大学 | 高效准确的车牌识别方法 |
CN109389116A (zh) * | 2017-08-14 | 2019-02-26 | 高德软件有限公司 | 一种字符检测方法及装置 |
WO2019085793A1 (zh) * | 2017-11-01 | 2019-05-09 | 腾讯科技(深圳)有限公司 | 图像分类方法、计算机设备及计算机可读存储介质 |
US11361192B2 (en) | 2017-11-01 | 2022-06-14 | Tencent Technology (Shenzhen) Company Limited | Image classification method, computer device, and computer-readable storage medium |
CN108921764A (zh) * | 2018-03-15 | 2018-11-30 | 中山大学 | 一种基于生成对抗网络的图像隐写方法及系统 |
CN108921764B (zh) * | 2018-03-15 | 2022-10-25 | 中山大学 | 一种基于生成对抗网络的图像隐写方法及系统 |
CN109284686A (zh) * | 2018-08-23 | 2019-01-29 | 国网山西省电力公司计量中心 | 一种摄像头自动俯仰拍照的标签识别方法 |
CN110969176A (zh) * | 2018-09-29 | 2020-04-07 | 杭州海康威视数字技术股份有限公司 | 一种车牌样本扩增方法、装置和计算机设备 |
CN110969176B (zh) * | 2018-09-29 | 2023-12-29 | 杭州海康威视数字技术股份有限公司 | 一种车牌样本扩增方法、装置和计算机设备 |
CN111325061A (zh) * | 2018-12-14 | 2020-06-23 | 顺丰科技有限公司 | 一种基于深度学习的车辆检测算法、设备及存储介质 |
CN111325061B (zh) * | 2018-12-14 | 2023-05-23 | 顺丰科技有限公司 | 一种基于深度学习的车辆检测算法、设备及存储介质 |
CN109859233A (zh) * | 2018-12-28 | 2019-06-07 | 上海联影智能医疗科技有限公司 | 图像处理、图像处理模型的训练方法及系统 |
CN109829453A (zh) * | 2018-12-29 | 2019-05-31 | 天津车之家数据信息技术有限公司 | 一种卡证中文字的识别方法、装置以及计算设备 |
CN110120047A (zh) * | 2019-04-04 | 2019-08-13 | 平安科技(深圳)有限公司 | 图像分割模型训练方法、图像分割方法、装置、设备及介质 |
CN110120047B (zh) * | 2019-04-04 | 2023-08-08 | 平安科技(深圳)有限公司 | 图像分割模型训练方法、图像分割方法、装置、设备及介质 |
CN110263793A (zh) * | 2019-06-25 | 2019-09-20 | 北京百度网讯科技有限公司 | 物品标签识别方法及装置 |
CN110414527A (zh) * | 2019-07-31 | 2019-11-05 | 北京字节跳动网络技术有限公司 | 字符识别方法、装置、存储介质及电子设备 |
CN110942004A (zh) * | 2019-11-20 | 2020-03-31 | 深圳追一科技有限公司 | 基于神经网络模型的手写识别方法、装置及电子设备 |
CN112926610A (zh) * | 2019-12-06 | 2021-06-08 | 顺丰科技有限公司 | 车牌图像筛选模型的构建方法与车牌图像筛选方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106295646B (zh) | 2019-08-23 |
WO2018028230A1 (zh) | 2018-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106295646B (zh) | 一种基于深度学习的车牌字符分割方法和装置 | |
CN110738125B (zh) | 利用Mask R-CNN选择检测框的方法、装置及存储介质 | |
CN107944450B (zh) | 一种车牌识别方法及装置 | |
EP3806064A1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
US9014432B2 (en) | License plate character segmentation using likelihood maximization | |
Siriborvornratanakul | An automatic road distress visual inspection system using an onboard in‐car camera | |
CN113591967B (zh) | 一种图像处理方法、装置、设备及计算机存储介质 | |
CN103268481B (zh) | 一种复杂背景图像中的文本提取方法 | |
CN110956169A (zh) | 一种车牌识别方法、装置及电子设备 | |
CN110491132B (zh) | 基于视频帧图片分析的车辆违停检测方法及装置 | |
US12056589B2 (en) | Methods and systems for accurately recognizing vehicle license plates | |
CN112307989B (zh) | 路面物体识别方法、装置、计算机设备和存储介质 | |
CN109858327B (zh) | 一种基于深度学习的字符分割方法 | |
CN112215190A (zh) | 基于yolov4模型的违章建筑检测方法 | |
CN114528865B (zh) | 条形码检测模型的训练方法、装置及条形码检测方法、装置 | |
CN112712703A (zh) | 车辆视频的处理方法、装置、计算机设备和存储介质 | |
CN112749653A (zh) | 行人检测方法、装置、电子设备及存储介质 | |
CN116311214B (zh) | 车牌识别方法和装置 | |
CN108734846B (zh) | 纸币图像的去噪方法及装置、终端及存储介质 | |
CN112132892B (zh) | 目标位置标注方法、装置及设备 | |
Zhang et al. | Real-time lane detection by using biologically inspired attention mechanism to learn contextual information | |
Zhang et al. | Image-based approach for parking-spot detection with occlusion handling | |
CN112101139B (zh) | 人形检测方法、装置、设备及存储介质 | |
CN111402185A (zh) | 一种图像检测方法及装置 | |
Delavarian et al. | Multi‐camera multiple vehicle tracking in urban intersections based on multilayer graphs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PP01 | Preservation of patent right | ||
PP01 | Preservation of patent right |
Effective date of registration: 20220726 Granted publication date: 20190823 |