CN113591863A - 一种具有自校正意识的车牌字符识别方法 - Google Patents

一种具有自校正意识的车牌字符识别方法 Download PDF

Info

Publication number
CN113591863A
CN113591863A CN202110800637.9A CN202110800637A CN113591863A CN 113591863 A CN113591863 A CN 113591863A CN 202110800637 A CN202110800637 A CN 202110800637A CN 113591863 A CN113591863 A CN 113591863A
Authority
CN
China
Prior art keywords
license plate
layer
output
character recognition
convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110800637.9A
Other languages
English (en)
Inventor
张卡
何佳
戴亮亮
尼秀明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Qingxin Internet Information Technology Co ltd
Original Assignee
Anhui Qingxin Internet Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Qingxin Internet Information Technology Co ltd filed Critical Anhui Qingxin Internet Information Technology Co ltd
Priority to CN202110800637.9A priority Critical patent/CN113591863A/zh
Publication of CN113591863A publication Critical patent/CN113591863A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种具有自校正意识的车牌字符识别方法,属于车牌识别技术领域,包括:获取待识别车牌图像,并根据待识别车牌图像检测出包含车牌所在位置的局部车牌图像;将局部车牌图像输入至车牌字符识别模型中;特征提取网络模块提取所述局部车牌图像的高层特征图;自校正网络模块自适应获取局部车牌的位置变换信息,生成校正后的标准车牌位置特征图;字符识别网络模块基于校正后的标准车牌位置特征图,识别出车牌字符。本发明利用一个具有自校正意识的深度神经网络模型,直接完成车牌字符识别,进而输出最佳车牌识别结果。

Description

一种具有自校正意识的车牌字符识别方法
技术领域
本发明涉及车牌识别技术领域,特别涉及一种具有自校正意识的车牌字符识别方法。
背景技术
车牌识别是智能交通的核心技术,包含了两个大部分:车牌位置检测,车牌字符识别。其中,车牌字符识别是整个技术最重要的一部分,车牌字符识别引擎的质量,直接决定车牌识别技术的整体性能。
车牌字符识别是指在一幅已知车牌位置的图像中,准确无遗漏的识别出该车牌上的所有汉字、字符和数字,具体包括以下技术步骤:车牌位置校正、车牌字符分割、车牌字符识别等。
车牌位置校正是指对位置不理想的初检测车牌进行空间变换,使之成为理想位置的车牌,方便后续进行精确的字符分割,空间变换包括平移变换、旋转变换、缩放变换、错切变换、透视变换等,常用的校正方法有以下几类:
(1)基于直线检测的方法,代表方法有“基于hough直线检测的校正方法”和“基于radon直线检测的校正方法”,其原理是直接检测车牌上的直线,根据直线的倾斜角度进行车牌位置校正。
(2)基于遍历查找的方法,代表方法有“基于旋转投影的校正方法”。其原理是首先将车牌旋转到每一个允许的角度位置,然后进行投影获取相应的特征值,通过比较获取最佳的特征值,此时对应的角度就是最佳的车牌倾斜角度。
(3)基于特征分析的方法,代表方法有“基于主元分析的校正方法”基于最小二乘法的校正方法",该类方法直接对灰度图像或者二值化图像进行整体的分析,获取整体意义上的最优校正参数。
字符分割是指在一幅已知车牌位置的图像中,精确分割出每个单一字符,主要有以下几类方法:
(1)基于垂直投影的方法,该方法通过获取车牌字符的垂直投影曲线,依据曲线的波峰波谷位置,获取每个字符的边缘位置。
(2)基于连通区域分析的方法,该方法首先进行车牌图像二值化,利用单个字符都是单连通区域的特征进行分析,最终获取字符的位置。
(3)基于机器学习的方法,如“一种基于支持向量机的车牌字符分割方法”,该类方法通过获取车牌的布局规律特征,借助分类器进行训练学习,最终完成车牌字符的分割。
车牌字符识别是指对于已经精确分割的单个字符,识别出其真实的字母意义,常用的方法有以下几类:
(1)全局特征,该类特征采用全局变换来获取字符的整体特征,使用有序的整体特征或者子集特征来构成特征向量,常见的特征有GABOR变换特征、矩特征、投影特征、笔划密度特征、HARR特征、HOG特征等。这些特征的优点是对局部变化不敏感,抗干扰能力强;其缺点是容易忽略某些重要的局部特征,无法区分相似的字符。
(2)局部特征,该类特征是在字符的多个局部区域内,计算相应的特征,使用串联的有序局部特征构成最终的特征向量,主要特征包括局部灰度直方图特征、LBP特征、穿线特征、SIFT特征等。该类特征的优点是区分字符的能力强;其缺点是过分关注字符的局部特征,往往会错误区分具有噪声干扰的字符。
以上技术对于清晰的车牌图像,均可以达到很不错的效果,然而,实际环境中采集的车牌图像,往往存在分辨率较低、部分字符变浅或缺失、边缘模糊、字符倾斜等特点,使得准确地进行车牌位置校正、车牌字符分割、车牌字符识别变得很困难,甚至出现失效的情况,严重影响了车牌识别的整体性能。因此,如何准确鲁棒的识别车牌字符,依然是国内车牌识别系统的难点。
近年来,深度学习技术凭借着可以模拟人类大脑神经网络,能够进行精确的非线性预测,在各个领域都得到了广泛的关注和应用,但该技术的缺点是模型消耗内存很大,运算量很大,因此需要消耗大量的内存和运算能力。
发明内容
本发明的目的在于克服现有技术存在的缺陷,提高车牌字符识别结果的准确性。
为实现以上目的,本发明采用一种具有自校正意识的车牌字符识别方法,包括:
获取待识别车牌图像,并根据待识别车牌图像检测出包含车牌所在位置的局部车牌图像;
将局部车牌图像输入至车牌字符识别模型中,所述车牌字符识别模型包括特征提取网络模块、自校正网络模块和字符识别网络模块;
特征提取网络模块提取所述局部车牌图像的高层特征图;
自校正网络模块自适应获取局部车牌的位置变换信息,生成校正后的标准车牌位置特征图;
字符识别网络模块基于校正后的标准车牌位置特征图,识别出车牌字符。
进一步地,所述特征提取网络模块包括卷积层conv0、最大值池化层maxpool0以及残差网络基础结构体block0、rblock1、rblock2;卷积层conv0的输入为所述待识别车牌图像、输出连接最大值池化层maxpool0,最大值池化层maxpool0输出依次连接残差网络基础结构体block0、rblock1、rblock2,残差网络基础结构体rblock2输出为所述高层特征图。
进一步地,所述残差网络基础结构体block0、rblock1均包括卷积层rconv0、rconv1、rconv2、rconv3和rconv4,以及合并层eltsum0和eltsum1;
残差网络基础结构体block0中卷积层rconv0和rconv2的输入均为所述最大值池化层maxpool0所输出的特征图,残差网络基础结构体block1中卷积层rconv0和rconv2的输入均为所述残差网络基础结构体block0输出的特征图;卷积层rconv0的输出与卷积层rconv1的输入连接,卷积层rconv2的输出和卷积层rconv1的输出均与合并层eltsum0的输入连接,合并层eltsum0的输出经卷积层rconv3与卷积层rconv4的输入连接,卷积层rconv4的输出及合并层eltsum0的输出均与合并层eltsum1的输入连接,合并层eltsum1输出特征图。
进一步地,所述残差网络基础结构体block2包括卷积层rconv0、rconv1和rconv2以及合并层eltsum0;卷积层rconv0和rconv2的输入均为所述残差网络基础结构体block1输出的特征图,卷积层rconv0的输出与卷积层rconv1连接,卷积层rconv1和卷积层rconv2的输出均与合并层eltsum0连接,合并层eltsum0输出为所述高层特征图。
进一步地,所述自校正网络模块包括卷积层cconv0和cconv1,残差网络基础机结构体cblock0,全局均值池化层cavepool0,全连接层cfc0和cfc1,特征图形状变换层cshape0和拼接层ccat0;卷积层cconv0的输入为所述高层特征图、输出与残差网络基础机结构体cblock0连接,残差网络基础机结构体cblock0经全局均值池化层cavepool0与全连接层cfc0连接,全连接层cfc0输出分别与特征图形状变换层cshape0和全连接层cfc1连接,特征图形状变换层cshape0输出的特征图和所述高层特征图作为拼接层ccat0的输入,拼接层ccat0的输出连接卷积层cconv1,卷积层cconv1输出为所述校正后的标准车牌位置特征图。
进一步地,所述残差网络基础机结构体cblock0包括卷积层rconv0、rconv1、rconv2、rconv3和rconv4,以及合并层eltsum0和eltsum1;
卷积层rconv0和rconv2的输入均为卷积层cconv0输出的特征图,卷积层rconv0的输出与卷积层rconv1的输入连接,卷积层rconv2的输出和卷积层rconv1的输出均与合并层eltsum0的输入连接,合并层eltsum0的输出经卷积层rconv3与卷积层rconv4的输入连接,卷积层rconv4的输出及合并层eltsum0的输出均与合并层eltsum1的输入连接,合并层eltsum1输出与所述全局均值池化层cavepool0连接。
进一步地,所述字符识别网络模块包括特征图尺寸变换层rshape0、全连接层rfc0和特征图尺寸变换层ctc0;特征图尺寸变换层rshape0的输入为所述校正后的标准车牌位置特征图、输出与经全连接层rfc0与特征图尺寸变换层ctc0连接,特征图尺寸变换层ctc0输出为车牌字符识别结果。
进一步地,所述字符识别网络模块的目标损失函数采用ctc损失函数。
进一步地,在所述将局部车牌图像输入至车牌字符识别模型之前,还包括:
收集车牌图像;
从收集的车牌图像中检测并提取出包含有车牌所在位置的局部车牌图像;
基于车牌的真实字符信息,对所述局部车牌图像进行车牌信息标注,得到标注好的局部车牌图像并组成样本集合;
利用样本集合对所述车牌字符识别模型进行训练。
进一步地,所述利用样本集合对所述车牌字符识别模型进行训练,包括:
利用所述样本集合,采用分阶段训练策略对所述车牌字符识别模型进行训练。
与现有技术相比,本发明存在以下技术效果:本发明利用一个具有自校正意识的深度神经网络模型,直接完成车牌位置校正、车牌字符分割、车牌字符识别等工作,输出整体最优的字符识别结果。多个车牌字符识别步骤只需一个深度神经网络模型即可完成,识别速度更快,误差来源更少,识别结果更加准确,对于污损、粘连、字符缺失、定位不够精确的低质量车牌图像,鲁棒性更强。
附图说明
下面结合附图,对本发明的具体实施方式进行详细描述:
图1是一种具有自校正意识的车牌字符识别方法的流程图;
图2是车牌字符识别模型总体结构图;
图3是特征提取网络模块结构图;
图4是残差网络基础结构体block0、rblock1结构图;
图5是残差网络基础结构体block2结构图;
图6是自校正网络模块络结构图;
图7是字符识别网络模块结构图;
其中,每一个神经网络结构层图形左侧的标识,表示该网络结构的输出特征图尺寸:特征图宽度×特征图高度×特征图通道数。
具体实施方式
为了更进一步说明本发明的特征,请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用,并非用来对本发明的保护范围加以限制。
如图1所示,本实施例公开了一种具有自校正意识的车牌字符识别方法,包括如下步骤S1至S5:
S1、获取待识别车牌图像,并根据待识别车牌图像检测出包含车牌所在位置的局部车牌图像;
需要说明的是,本实施例通过在整幅图像中,检测出车牌所在的位置,通过裁剪操作把局部车牌图像从整幅图中提取出来,并进行图像尺寸归一化,得到归一化后的局部车牌图像,然后将归一化后的局部车牌图像输入至车牌字符识别模型中。
S2、将局部车牌图像输入至车牌字符识别模型中,所述车牌字符识别模型包括特征提取网络模块、自校正网络模块和字符识别网络模块;
S3、特征提取网络模块提取所述局部车牌图像的高层特征图;
S4、自校正网络模块自适应获取局部车牌的位置变换信息,生成校正后的标准车牌位置特征图;
S5、字符识别网络模块基于校正后的标准车牌位置特征图,识别出车牌字符。
需要说明的是,在上述步骤S1之前,还包括设计深度神经网络模型作为车牌字符识别模型和训练车牌字符识别模型,本发明设计的深度神经网络模型,其主要作用是借助一个具有自校正意识的深度神经网络模型,直接完成车牌位置校正、车牌字符分割、车牌字符识别等步骤的工作,输出整体字符识别结果。由于不再刻意区分车牌位置校正、车牌字符分割、车牌字符识别等步骤,使得整个车牌字符识别速度更快,误差来源更少,识别精度更高。
本发明采用的是卷积神经网络(CNN),为了方便叙述本发明,定义一些术语:特征图分辨率指的是特征图高度×特征图宽度,特征图尺寸指的是特征图宽度×特征图高度×特征图通道数,核尺寸指的是核宽度×核高度,跨度指的是宽度方向跨度×高度方向跨度,另外,每一个卷积层后面均带有批量归一化层和非线性激活层。
本发明所处理的对象是车牌字符,这是一种很特殊的图像处理对象:首先图像上的车牌具有特定的长宽比例,其次车牌字符具有明确的位置排列规则,不同字符之间具有一定的相关性。
(1)设计车牌字符识别模型
如图2所示,本发明设计的深度神经网络模型包含三部分:特征提取网络模块feature module、自校正网络模块correct module、字符识别网络模块recognitionmodule,具体设计步骤如下:
1-1)设计特征提取网络模块
如图3所示,所述特征提取网络模块包括卷积层conv0、最大值池化层maxpool0以及残差网络基础结构体block0、rblock1、rblock2;卷积层conv0的输入为所述待识别车牌图像、输出连接最大值池化层maxpool0,最大值池化层maxpool0输出依次连接残差网络基础结构体block0、rblock1、rblock2,残差网络基础结构体rblock2输出为所述高层特征图。
需要说明的是,特征提取网络模块主要用于获取输入车牌图像的具有高度抽象和丰富表达能力的高层特征,高层特征提取的质量直接影响后续字符识别的性能。本发明采用改进的ResNet经典网络作为特征提取网络,如图3所示,该特征提取网络的输入图像是一幅图像分辨率为192×64的3通道RGB图像,conv0是核尺寸为3x3,跨度为2x2的卷积层,maxpool0是核尺寸为2x2,跨度为2x2的最大值池化层,block0、rblock1、rblock2是3个残差网络基础结构体,其中,block0和block1两个残差网络基础结构体的具体网络结构如图4,rconv2是核尺寸为1x1,跨度为2x2的卷积层,rconv1、rconv4是核尺寸为1x1,跨度为1x1的卷积层,rconv0是核尺寸为3x3,跨度为2x2的卷积层,rconv3是核尺寸为3x3,跨度为1x1的卷积层,eltsum0层和eltsum1层均是合并层,其作用是把多个输入特征图按对应元素相加合并成一个输出特征图;block2的残差网络基础结构体的具体网络结构如图5,rconv2是核尺寸为1x1,跨度为1x1的卷积层,rconv0是核尺寸为3x3,跨度为1x1的卷积层,rconv1是核尺寸为1x1,跨度为1x1的卷积层,eltsum0层是合并层,其作用是把多个输入特征图按对应元素相加合并成一个输出特征图;该特征提取网络模块的输出就是高层特征图featuremap。
1-2)设计自校正网络模块
如图6所示,自校正网络模块包括卷积层cconv0和cconv1,残差网络基础机结构体cblock0,全局均值池化层cavepool0,全连接层cfc0和cfc1,特征图形状变换层cshape0和拼接层ccat0;卷积层cconv0的输入为所述高层特征图、输出与残差网络基础机结构体cblock0连接,残差网络基础机结构体cblock0经全局均值池化层cavepool0与全连接层cfc0连接,全连接层cfc0输出分别与特征图形状变换层cshape0和全连接层cfc1连接,特征图形状变换层cshape0输出的特征图和所述高层特征图作为拼接层ccat0的输入,拼接层ccat0的输出连接卷积层cconv1,卷积层cconv1输出为所述校正后的标准车牌位置特征图。
本实施例中,自校正网络模块主要是在特征提取网络模块输出的特征图的基础上,自适应的获取输入车牌的位置变换信息,进而引导后续神经网络生成校正后的标准车牌位置特征图,提升后续的字符识别性能。综合考虑了车牌字符位置的特殊性和卷积神经网络的计算能力,本发明设计的自校正网络如图6所示,cconv0是一个核尺寸为3x3,跨度为2x2的卷积层,cblock0是残差网络基础机结构体,其网络结构和步骤S11里的block1残差网络基础机构体的网络结构相同,cavepool0是一个基于特征图通道维度的全局均值池化层,cfc0、cfc1均是全连接层,cshape0是特征图形状变换层,ccat0层是拼接层,其作用是把多个输入特征图按通道维度拼接成一个输出特征图,cconv1一个核尺寸为3x3,跨度为1x1的卷积层,其中,cfc1是辅助训练层,用来预测车牌的位置信息,其作用是加强监督车牌的位置信息的正确学习,只在训练接阶段起作用。该自校正网络模块的输出就是校正后的标准车牌位置特征图correct feature map。
需要说明的是,自校正网络模块中辅助训练的目标损失函数采用的是常用的均方差损失函数。
1-3)设计字符识别网络模块
如图7所示,字符识别网络模块包括特征图尺寸变换层rshape0、全连接层rfc0和特征图尺寸变换层ctc0;特征图尺寸变换层rshape0的输入为所述校正后的标准车牌位置特征图、输出与经全连接层rfc0与特征图尺寸变换层ctc0连接,特征图尺寸变换层ctc0输出为车牌字符识别结果。
需要说明的是,字符识别网络模块主要是基于校正后的标准车牌位置特征图,整体识别出车牌字符的真实意义,进而输出整个车牌字符识别结果。其中,rshape0是特征图尺寸变换层,rfc0是全连接层,主要用于预测车牌每个字符的真实意义,ctc0是特征图尺寸变换层,主要作用是使输入特征图尺寸符合ctc loss的输入特征图尺寸要求。
需要说明的是,字符识别网络模块的目标损失函数采用的是ctc损失函数(ctcloss),ctc loss是识别具有上下文信息关系的语言句子的最有效的训练损失函数。
(2)训练车牌字符识别模型
2-1)收集车牌图像;
需要说明的是,主要是收集各种场景,各种光线、各种角度下的车牌图像。
2-2)整理车牌图像;
具体指在整幅图像中,检测出车牌所在的位置,通过裁剪操作把局部车牌图像从整幅图中提取出来并保存。
2-3)标注车牌信息;
具体是使用现有的车牌字符分割识别技术获取车牌的真实字符信息和位置信息,然后人工进行审核,对于错误的车牌信息进行校正。其中,车牌的位置信息指的是车牌的旋转、错切、畸变等信息,本发明使用9个元素表示的3x3透视变换矩阵来表示。
2-4)训练深度神经网络模型;
具体指把整理好的车牌图像集合送入定义好的深度神经网络模型,学习相关的模型参数。
其中,为加快训练过程的收敛,本发明采取了分阶段训练策略,具体训练策略如下:
2-4-1)训练字符识别网络模块;
主要方法是固定自校正网络模块的参数,使其不进行参数更新学习,然后全力进行字符识别网络模块和特征提取网络模块的参数更新学习。
2-4-2)训练自校正网络模块;
主要方法是固定字符识别网络模块和特征提取网络模块的参数,使它们不进行参数更新学习,然后全力进行自校正网络模块的参数更新学习。
2-4-3)综合训练模型,不固定任何一个网络模块参数,综合更新学习每个模块的参数。
(3)使用车牌字符识别模型
在实际环境中进行模型使用,对于任意给出的一幅车牌图像,送入训练好的深度神经网络模型,输出车牌字符识别结果。
在车牌字符识别领域,由于车牌字符具有明确的位置排列规则,同时车牌字符彼此之间具有一定的相关性,因此本发明提出了一种具有自校正意识的车牌字符识别方法,不再严格意义上区分车牌位置校正、车牌字符分割、车牌字符识别等步骤,借助一个具有自校正意识的深度神经网络模型,直接完成车牌字符识别,进而输出最佳车牌识别结果。
需要说明的是,本实施例方案可用于识别常见的单层蓝色车牌和单层黄色车牌为例,该车牌有7个字符,并且车牌字符之间存在规则的排列顺序,对于警牌、新能源车牌,本发明同样适用。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种具有自校正意识的车牌字符识别方法,其特征在于,包括:
获取待识别车牌图像,并根据待识别车牌图像检测出包含车牌所在位置的局部车牌图像;
将局部车牌图像输入至车牌字符识别模型中,所述车牌字符识别模型包括特征提取网络模块、自校正网络模块和字符识别网络模块;
特征提取网络模块提取所述局部车牌图像的高层特征图;
自校正网络模块自适应获取局部车牌的位置变换信息,生成校正后的标准车牌位置特征图;
字符识别网络模块基于校正后的标准车牌位置特征图,识别出车牌字符。
2.如权利要求1所述的具有自校正意识的车牌字符识别方法,其特征在于,所述特征提取网络模块包括卷积层conv0、最大值池化层maxpool0以及残差网络基础结构体block0、rblock1、rblock2;卷积层conv0的输入为所述待识别车牌图像、输出连接最大值池化层maxpool0,最大值池化层maxpool0输出依次连接残差网络基础结构体block0、rblock1、rblock2,残差网络基础结构体rblock2输出为所述高层特征图。
3.如权利要求2所述的具有自校正意识的车牌字符识别方法,其特征在于,所述残差网络基础结构体block0、rblock1均包括卷积层rconv0、rconv1、rconv2、rconv3和rconv4,以及合并层eltsum0和eltsum1;
残差网络基础结构体block0中卷积层rconv0和rconv2的输入均为所述最大值池化层maxpool0所输出的特征图,残差网络基础结构体block1中卷积层rconv0和rconv2的输入均为所述残差网络基础结构体block0输出的特征图;卷积层rconv0的输出与卷积层rconv1的输入连接,卷积层rconv2的输出和卷积层rconv1的输出均与合并层eltsum0的输入连接,合并层eltsum0的输出经卷积层rconv3与卷积层rconv4的输入连接,卷积层rconv4的输出及合并层eltsum0的输出均与合并层eltsum1的输入连接,合并层eltsum1输出特征图。
4.如权利要求2所述的具有自校正意识的车牌字符识别方法,其特征在于,所述残差网络基础结构体block2包括卷积层rconv0、rconv1和rconv2以及合并层eltsum0;卷积层rconv0和rconv2的输入均为所述残差网络基础结构体block1输出的特征图,卷积层rconv0的输出与卷积层rconv1连接,卷积层rconv1和卷积层rconv2的输出均与合并层eltsum0连接,合并层eltsum0输出为所述高层特征图。
5.如权利要求1所述的具有自校正意识的车牌字符识别方法,其特征在于,所述自校正网络模块包括卷积层cconv0和cconv1,残差网络基础机结构体cblock0,全局均值池化层cavepool0,全连接层cfc0和cfc1,特征图形状变换层cshape0和拼接层ccat0;卷积层cconv0的输入为所述高层特征图、输出与残差网络基础机结构体cblock0连接,残差网络基础机结构体cblock0经全局均值池化层cavepool0与全连接层cfc0连接,全连接层cfc0输出分别与特征图形状变换层cshape0和全连接层cfc1连接,特征图形状变换层cshape0输出的特征图和所述高层特征图作为拼接层ccat0的输入,拼接层ccat0的输出连接卷积层cconv1,卷积层cconv1输出为所述校正后的标准车牌位置特征图。
6.如权利要求5所述的具有自校正意识的车牌字符识别方法,其特征在于,所述残差网络基础机结构体cblock0包括卷积层rconv0、rconv1、rconv2、rconv3和rconv4,以及合并层eltsum0和eltsum1;
卷积层rconv0和rconv2的输入均为卷积层cconv0输出的特征图,卷积层rconv0的输出与卷积层rconv1的输入连接,卷积层rconv2的输出和卷积层rconv1的输出均与合并层eltsum0的输入连接,合并层eltsum0的输出经卷积层rconv3与卷积层rconv4的输入连接,卷积层rconv4的输出及合并层eltsum0的输出均与合并层eltsum1的输入连接,合并层eltsum1输出与所述全局均值池化层cavepool0连接。
7.如权利要求1所述的具有自校正意识的车牌字符识别方法,其特征在于,所述字符识别网络模块包括特征图尺寸变换层rshape0、全连接层rfc0和特征图尺寸变换层ctc0;特征图尺寸变换层rshape0的输入为所述校正后的标准车牌位置特征图、输出与经全连接层rfc0与特征图尺寸变换层ctc0连接,特征图尺寸变换层ctc0输出为车牌字符识别结果。
8.如权利要求7所述的具有自校正意识的车牌字符识别方法,其特征在于,所述字符识别网络模块的目标损失函数采用ctc损失函数。
9.如权利要求1-8任一项所述的具有自校正意识的车牌字符识别方法,其特征在于,在所述将局部车牌图像输入至车牌字符识别模型之前,还包括:
收集车牌图像;
从收集的车牌图像中检测并提取出包含有车牌所在位置的局部车牌图像;
基于车牌的真实字符信息,对所述局部车牌图像进行车牌信息标注,得到标注好的局部车牌图像并组成样本集合;
利用样本集合对所述车牌字符识别模型进行训练。
10.如权利要求9所述的具有自校正意识的车牌字符识别方法,其特征在于,所述利用样本集合对所述车牌字符识别模型进行训练,包括:
利用所述样本集合,采用分阶段训练策略对所述车牌字符识别模型进行训练。
CN202110800637.9A 2021-07-15 2021-07-15 一种具有自校正意识的车牌字符识别方法 Withdrawn CN113591863A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110800637.9A CN113591863A (zh) 2021-07-15 2021-07-15 一种具有自校正意识的车牌字符识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110800637.9A CN113591863A (zh) 2021-07-15 2021-07-15 一种具有自校正意识的车牌字符识别方法

Publications (1)

Publication Number Publication Date
CN113591863A true CN113591863A (zh) 2021-11-02

Family

ID=78247719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110800637.9A Withdrawn CN113591863A (zh) 2021-07-15 2021-07-15 一种具有自校正意识的车牌字符识别方法

Country Status (1)

Country Link
CN (1) CN113591863A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546779A (zh) * 2022-11-26 2022-12-30 成都运荔枝科技有限公司 一种物流货车车牌识别方法及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546779A (zh) * 2022-11-26 2022-12-30 成都运荔枝科技有限公司 一种物流货车车牌识别方法及设备
CN115546779B (zh) * 2022-11-26 2023-02-07 成都运荔枝科技有限公司 一种物流货车车牌识别方法及设备

Similar Documents

Publication Publication Date Title
CN109840521B (zh) 一种基于深度学习的一体化车牌识别方法
CN109815956B (zh) 一种基于自适应位置分割的车牌字符识别方法
CN101576956B (zh) 基于机器视觉的在线字符检测方法和系统
CN111767927A (zh) 一种基于全卷积网络的轻量级车牌识别方法及系统
CN103761531A (zh) 基于形状轮廓特征的稀疏编码车牌字符识别方法
CN113920494A (zh) 一种基于transformer的车牌字符识别方法
CN111310737B (zh) 一种车道线检测方法及装置
CN113378815B (zh) 一种场景文本定位识别的系统及其训练和识别的方法
CN112069900A (zh) 基于卷积神经网络的票据文字识别方法及系统
CN113850799A (zh) 一种基于YOLOv5的微量DNA提取工作站工件检测方法
CN113065557A (zh) 一种基于文字提取的图像匹配方法
CN113158895A (zh) 票据识别方法、装置、电子设备及存储介质
CN116612479A (zh) 一种轻量级的票据ocr识别方法及系统
CN117437647B (zh) 基于深度学习和计算机视觉的甲骨文字检测方法
Lin et al. Radical-based extract and recognition networks for Oracle character recognition
CN118230354A (zh) 一种基于改进YOLOv5的复杂场景下手语识别方法
CN113591863A (zh) 一种具有自校正意识的车牌字符识别方法
CN112418207B (zh) 一种基于自注意力蒸馏的弱监督文字检测方法
CN118115782A (zh) 一种基于深度学习的喷印彩色二维码缺陷检测方法
Li et al. RDD-YOLO: Road Damage Detection Algorithm Based on Improved You Only Look Once Version 8
CN116824333B (zh) 一种基于深度学习模型的鼻咽癌检测系统
CN113610088A (zh) 一种基于自注意力的车牌字符识别方法
Castillo et al. Object detection in digital documents based on machine learning algorithms
CN116309466A (zh) 一种基于对比学习的跨域目标检测方法
CN114359493B (zh) 一种用于无人船生成三维语义地图的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20211102

WW01 Invention patent application withdrawn after publication