CN109766805B - 一种基于深度学习的双层车牌字符识别方法 - Google Patents

一种基于深度学习的双层车牌字符识别方法 Download PDF

Info

Publication number
CN109766805B
CN109766805B CN201811627868.9A CN201811627868A CN109766805B CN 109766805 B CN109766805 B CN 109766805B CN 201811627868 A CN201811627868 A CN 201811627868A CN 109766805 B CN109766805 B CN 109766805B
Authority
CN
China
Prior art keywords
layer
license plate
double
image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811627868.9A
Other languages
English (en)
Other versions
CN109766805A (zh
Inventor
张卡
何佳
尼秀明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Qingxin Internet Information Technology Co ltd
Original Assignee
Anhui Qingxin Internet Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Qingxin Internet Information Technology Co ltd filed Critical Anhui Qingxin Internet Information Technology Co ltd
Priority to CN201811627868.9A priority Critical patent/CN109766805B/zh
Publication of CN109766805A publication Critical patent/CN109766805A/zh
Application granted granted Critical
Publication of CN109766805B publication Critical patent/CN109766805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的双层车牌字符识别方法,本发明涉及车牌识别技术领域,双层车牌字符识别方法包括如下步骤:构建深度神经网络模型,该深度神经网络模型包括字符定位网络、字符合成网络和字符识别网络,字符定位网络、字符合成网络和字符识别网络依次连接,获取双层车牌训练样本图像集合,训练深度神经网络模型,通过训练后的深度神经网络模型,对待识别的双层车牌图像进行识别;该深度神经网络模型消耗内存较小,运算量较小,对车牌字符的识别结果更加准确,鲁棒性更强,解决了传统车牌字符识别效果差、鲁棒性低的缺陷。

Description

一种基于深度学习的双层车牌字符识别方法
技术领域
本发明涉及车牌识别技术领域,尤其涉及一种基于深度学习的双层车牌字符识别方法。
背景技术
车牌字符识别是车牌识别系统的最后一步,也是至关重要的一步,它直接影响着整个系统的识别准确率和效率。近年来,随着新技术方法的出现,对于各种单层车牌图像,如中国的单层蓝牌、单层黄牌、新能源车牌等,国内外已有很多成熟的方法,可以达到很高的准确率。然而对于中国的双层车牌,很少有文献或科研机构进行研究,究其原因,主要是双层车牌相对于单层车牌更加复杂,首先,双层车牌存在双层字符布局,现有的单层车牌识别技术无法适用;其次,双层车牌的字符类型更加丰富,上层车牌字符和下层车牌字符的字体、大小、数目均不一样,对于字符的分割和识别,难度更大;再次,在实际环境中采集的双层车牌图像,字符往往存在分辨率较低、部分变浅或缺失、边缘模糊、字符倾斜等特点,使得准确识别字符变得很困难。基于现有的单层车牌字符识别方法,无法达到满意的准确率。因此,准确识别双层车牌字符,成为国内车牌识别系统的难点。
目前,常用的双层车牌字符识别方法主要是基于灰度投影的方法,如“一种基于投影与识别的双层车牌字符分割方法统”(中国专利申请号:CN201410510488.2),主要通过对双层车牌图像进行倾斜校正,然后进行水平灰度投影,根据投影曲线的波峰和波谷位置,把双层车牌分割成上、下两部分区域,最后,对于每一部分区域车牌,按照单层车牌字符识别方法进行处理。该类方法对于清晰的双层车牌可以达到很不错的效果,然而对于分辨率较低、边缘模糊、字符倾斜的双层车牌,该类方法往往效果很差,无法准确地进行车牌位置校正、车牌字符分割、车牌字符识别等。
近年来,深度学习技术凭借着可以模拟人类大脑神经网络,能够进行精确的非线性预测,在各个领域都得到了广泛的关注和应用,但该技术的缺点是模型消耗内存很大,运算量很大,因此需要消耗大量的内存和运算能力,同时对于分辨率较低、边缘模糊、字符倾斜的双层车牌,识别效果差,鲁棒性低。
发明内容
基于背景技术存在的技术问题,本发明提出了一种基于深度学习的双层车牌字符识别方法,识别结果更加准确,鲁棒性更强;深度神经网络模型的模型消耗内存较小,运算量较小。
本发明提出的一种基于深度学习的双层车牌字符识别方法,包括如下步骤:
构建深度神经网络模型,该深度神经网络模型包括字符定位网络、字符合成网络和字符识别网络,字符定位网络、字符合成网络和字符识别网络依次连接;
通过获取的双层车牌训练样本图像集合,训练深度神经网络模型;
通过训练后的深度神经网络模型,对待识别的双层车牌图像进行识别。
进一步地,所述字符定位网络包括:卷积层conv0、卷积层conv1、最大值池化层maxpool0、最大值池化层maxpool1、上层区域定位模块locUP和下层区域定位模块locBT;所述卷积层conv0的输出接所述最大值池化层maxpool0,所述最大值池化层maxpool0的输出接所述卷积层conv1,所述卷积层conv1的输出接所述最大值池化层maxpool1,所述最大值池化层maxpool1的输出分别接所述上层区域定位模块locUP、所述下层区域定位模块locBT,所述上层区域定位模块locUP用于输出双层车牌上层区域图像,所述下层区域定位模块locBT用于输出双层车牌下层区域图像。
进一步地,所述上层区域定位模块locUP和所述下层区域定位模块locBT均是基于经典的空间变换网络STN结构,所述上层区域定位模块locUP包括如下步骤:
获取双层车牌上层区域位置的空间变换矩阵;
通过空间变换矩阵,获取双层车牌上层区域变换的网格生成器generator;
通过网格生成器generator,构建双层车牌上层区域图像的采样器sampler。
进一步地,所述空间变换矩阵的构建包括:卷积层loc_conv0、卷积层loc_conv1和全连接层loc_fc;卷积层loc_conv0的输入接最大值池化层maxpool1的输出,卷积层loc_conv0的输出接卷积层loc_conv1,卷积层loc_conv1的输出接全连接层loc_fc,全连接层loc_fc输出9个特征参数,9个特征参数组合形成3×3的特征矩阵,该特征矩阵的逆矩阵作为空间变换矩阵。
进一步地,所述字符合成网络的构建包括如下步骤:
对所述双层车牌上层区域图像进行缩放操作,以调整双层车牌上层区域的字符尺寸;
将双层车牌下层区域图像和已调整完的双层车牌上层区域图像进行拼接,得到单层车牌图像;
对所述单层车牌图像进行尺寸归一化操作,得到归一化的车牌图像。
进一步地,所述字符识别网络包括卷积层recog_conv0、卷积层recog_conv1、卷积层recog_conv2、最大值池化层maxpool2、特征形状调整层recog_shape和LSTM循环神经网络结构体;卷积层recog_conv0的输出接最大值池化层maxpool2,最大值池化层maxpool2的输出接卷积层recog_conv1,卷积层recog_conv1的输出接卷积层recog_conv2,卷积层recog_conv2的输出接特征形状调整层recog_shape,特征形状调整层recog_shape的输出接LSTM循环神经网络结构体。
进一步地,所述训练深度神经网络模型,包括如下步骤:
收集并整理双层车牌样本图像;
标注双层车牌信息;
扩展双层车牌图像;
将扩展后的双层车牌图像进行尺寸归一化操作,得到归一化的双层车牌训练样本图像集合;
将所述归一化的双层车牌训练样本图像集合送入所述深度神经网络模型中,以训练深度神经网络模型。
进一步地,所述对待识别的双层车牌图像进行识别,包括如下步骤:
检测局部双层车牌图像:对待检测的双层车牌图像进行裁剪,得到局部双层车牌图像,将局部双层车牌图像进行尺寸归一化操作,得到尺寸归一化的局部双层车牌图像;
识别双层车牌字符:将尺寸归一化后的局部双层车牌图像送入深度神经网络模型中,得到双层车牌字符的识别结果。
进一步地,所述深度神经网络模型中每一个卷积层后面均带有批量归一化BN层和非线性激活relu层。
进一步地,所述深度神经网络模型中每一个全连接层后面带有非线性激活relu层。
本发明提供的一种基于深度学习的双层车牌字符识别方法的优点在于:本发明结构中提供的一种基于深度学习的双层车牌字符识别方法,直接完成双层车牌位置校正、车牌字符分割、车牌字符识别等工作,输出整体最优的字符识别结果。多个车牌字符识别步骤只需一个深度神经网络模型即可完成,识别速度更快,误差来源更少,识别结果更加准确,对于污损、粘连、字符缺失、定位精确不够的低质量车牌图像,鲁棒性更强;而且通过合理的构建深度神经网络模型,使得深度神经网络模型用于识别双层车牌字符时,模型消耗内存较小,运算量较小。
附图说明
图1为本发明一种基于深度学习的双层车牌字符识别方法的流程示意图;
图2为本发明深度神经网络模型的总体结构图;
图3为本发明字符定位网络结构图;
图4为本发明上层区域定位模块的网络结构图;
图5为本发明字符识别网络结构图;
图6为本发明双层车牌示意图;
图7为本发明双层车牌上层区域定位示意图
图8为本发明双层车牌下层区域定位示意图;
图9为合成的单层车牌图像示意图。
具体实施方式
下面,通过具体实施例对本发明的技术方案进行详细说明。
本实施例以常见的中国双层车牌为例,如图6所示,该车牌有7个字符,分上、下两层,上层有2个字符,下层有5个字符,并且每层字符之间存在规则的排列顺序,另外,本发明所处理的双层车牌图像主要是粗定位后的局部双层车牌图像。
如图1所示,本发明提出的一种基于深度学习的双层车牌字符识别方法,包括如下步骤S1至S3:
S1:构建深度神经网络模型,该深度神经网络模型包括字符定位网络(locationnetwork)、字符合成网络(combine network)和字符识别网络(recognition network),字符定位网络、字符合成网络和字符识别网络依次连接;本发明设计的深度神经网络模型,其主要作用是借助一个综合深度神经网络模型,直接完成双层车牌位置校正、车牌字符分割、车牌字符识别等步骤的工作,输出整体最优的字符识别结果。由于不再刻意区分车牌位置校正、车牌字符分割、车牌字符识别等步骤,使得整个车牌字符识别速度更快,误差来源更少,识别精度更高。本发明采用的深度神经网络是卷积神经网络(CNN,ConvolutionalNeural Networks),凭借着局部稀疏连接和权值共享,卷积神经网络是图像处理领域应用最普遍的深度神经网络。
如图2所示,S1:构建深度神经网络模型,包括如下步骤S11至S13:
S11:构建字符定位网络,字符定位网络主要用于定位双层车牌的上层车牌区域和下层车牌区域。为了获取准确的双层车牌上层、下层车牌区域,通常的做法是先进行双层车牌的位置校正,然后再进行双层车牌上层、下层车牌区域定位,这种通常做法步骤较繁琐,定位精度也没有保证。因此,综合考虑字符定位任务的特点和深度神经网络的计算能力,本发明采用一个深度神经网络模型直接完成双层车牌的位置校正和双层车牌上层、下层车牌区域定位。
具体的网络结构如图3所示,该深度神经网络模型的输入图像input是一幅宽度是224个像素高度是224个像素的3通道RGB图像,网络第一层conv0是一个卷积核尺寸是7x7,跨度stride是4的卷积层conv0,网络第二层maxpool0是核尺寸为3x3,跨度stride是2的最大值池化层maxpool0,网络第三层conv1是一个卷积核尺寸是3x3,跨度stride是2的卷积层conv1,网络第四层maxpool1是核尺寸为3x3,跨度stride是2的最大值池化层maxpool1,然后分别通过车牌上层区域定位模块locUP和车牌下层区域定位模块locBT,分别获取双层车牌上层车牌区域位置和下层车牌区域位置。
车牌上层区域定位模块locUP和车牌下层区域定位模块locBT是基于经典的空间变换网络STN(Spatial TransformerNetworks)结构,该网络结构的优点是允许损失函数在该网络内进行逆向传播(backpropagation),可以针对各种位置的双层车牌图像自适应学习出车牌上、下层区域的位置参数,进而完成双层车牌的上、下层区域的位置校正和区域定位,效果如图6、7和8所示。
由于车牌上层区域定位模块locUP和车牌下层区域定位模块locBT的网络结构相同,本实施例以车牌上层区域定位模块为例阐述该模块的设计过程,如图4所示,该设计步骤如下S111至S113:
S111:获取双层车牌上层区域位置空间变换矩阵,主要是在最大值池化层maxpool1输出的特征层基础上,首先通过1个卷积核尺寸为3x3,跨度为1的卷积层loc_conv0,然后通过1个卷积核尺寸为3x3,跨度为2的卷积层loc_conv1,最后通过1个全连接层loc_fc,输出9个特征参数,即是当前双层车牌上层区域位置参数,该位置参数包含了双层车牌上层区域的位置校正参数和双层车牌上层区域的裁剪参数,按顺序组合成一个3x3的矩阵,该矩阵的逆矩阵就是所需要的双层车牌上层区域位置空间变换矩阵。
S112、获取双层车牌上层区域变换的网格生成器generator,主要基于步骤S111获取的双层车牌上层区域位置空间变换矩阵,获取变换后的双层车牌上层区域图像和原始输入图像input之间的像素位置对应关系,按照公式(1)、公式(2),获取双层车牌上层区域图像上每一个像素在输入图像input上的对应位置,该对应位置关系是唯一的;
Figure BDA0001928368280000081
Figure BDA0001928368280000082
其中,xi in、yi in表示输入图像input上(xi in,yi in)像素位置,xi out、yi out表示双层车牌上层区域图像上(xi out,yi out)像素位置,M表示空间变换矩阵,m11、m12、m13、m21、m22、m23、m31、m32、m33均表示空间变换矩阵M中的元素,这些元素一般是通过步骤S111中网络结构学习获取。
S113:构建双层车牌上层区域图像的采样器sampler,主要是基于步骤S122获取的双层车牌上层区域变换的网格生成器模型,计算输出的双层车牌上层区域图像上每一个像素位置的灰度值,而输出的双层车牌上层区域图像上每一个像素位置的灰度值等于输入图像input上的对应像素位置的灰度值,由于输入图像input上的对应像素位置可能位于非整数位置,因此,按照公式(3),采用改进的双线性插值算法获取该像素的灰度值。
Figure BDA0001928368280000083
其中,Oi c表示输出的双层车牌上层区域图像上第c通道上第i像素的灰度值,输出的双层车牌上层区域图像的高度和宽度分别是2w和w,其中,w表示一个固定的数值,Inm c表示原始输入图像上第c通道上像素(n,m)处的灰度值,H、W分别表示原始输入图像的高度和宽度,max()表示获取两个元素中最大值的函数,xi in、yi in表示输出双层车牌上层区域图像上Oi c所对应的原始输入图像input上的像素位置是(xi in,yi in)。
S12:构建字符合成网络,字符合成网络主要是在步骤S11获取的车牌上层区域和车牌下层区域的基础上,首先通过图像缩放操作把车牌上层区域的字符尺寸变换到和车牌下层区域的字符尺寸相同,然后把车牌上层区域和车牌下层区域拼接成一个7字符的单层车牌图像,效果如图7、8、9所示,具体步骤如下:
S121:对所述双层车牌上层区域图像进行缩放操作,以调整双层车牌上层区域的字符尺寸。一般的,车牌上层区域的字符尺寸小于车牌下层区域的字符尺寸,为了让车牌上、下层区域字符尺寸一样,按照公式(5),对车牌上层区域图像进行缩放操作,使得变换后的车牌上层区域的高度和车牌下层区域的高度相同,变换后的车牌上层区域的宽度是车牌下层区域的宽度的一半;
S122、将双层车牌下层区域图像和已调整完的双层车牌上层区域图像进行拼接,得到单层车牌图像。
拼接车牌上下层区域,主要是按照宽度方向,把车牌下层区域串联到车牌上层区域之后,合并后的车牌区域是一个7字符的单层车牌图像。
S123、对所述单层车牌图像进行尺寸归一化操作,得到归一化的车牌图像。
归一化单层车牌图像,主要是对步骤S122获取单层车牌图像进行尺寸归一化。主要是按照公式(4),把单层车牌图像的尺寸归一化到固定的尺寸,本实施例选择的尺寸是宽度是128个像素,高度是24个像素。
S13、构建字符识别网络,字符识别网络主要是在步骤S12获取的合并后单层车牌图像的基础上,识别出所有车牌字符的真实意义,进而输出整个车牌字符识别结果。一般的双层车牌字符语义之间存在一定的相关性,因此我们采用循环神经网络(RNN,RecurrentNeural Network)思想,通过一个深度神经网络模型,直接输出完整的车牌字符识别结果,不再需要进行字符的分割定位步骤,误差来源更少,识别精度更高。
具体的网络模型如图5所示,在步骤S12获取的合并后单层车牌图像的基础上,首先经过一个卷积核尺寸是3x3,跨度stride是2的卷积层recog_conv0,一个核尺寸为3x3,跨度stride是2的最大值池化层maxpoo2,然后依次经过两个卷积核尺寸是3x3,跨度stride是2的卷积层recog_conv1、recog_conv2,最后经过一个特征形状调整层recog_shape,把调整后的特征向量送入LSTM(Long Short-Term Memory)循环神经网络结构体,输出最终的识别结果。
需要说明的是,本发明中,每一个卷积层后面均带有批量归一化BN层和非线性激活relu层,每一个全连接层后面带有非线性激活relu层。另外,在本发明的所有结构示意图中,每一个神经网络结构层图形左侧的标识,表示该网络结构的输出特征层尺寸:特征层宽度×特征层高度×特征层通道数。
S2、通过获取的双层车牌训练样本图像集合,训练深度神经网络模型。
训练深度神经网络模型,设计完成深度神经网络模型后,接下来就是收集各种情景下的双层车牌样本图像,进一步整理图像后,送入深度神经网络模型,学习相关的模型参数,以训练深度神经网络模型,具体步骤如下S21至S26:
S21:收集双层车牌样本图像;
主要是收集各种场景,各种光线、各种角度下的双层车牌图像。
S22:整理双层车牌图像;
主要是在整幅图像中,检测出双层车牌所在的位置,通过裁剪操作把局部双层车牌图像从整幅图中提取出来并保存,主要使用现有的成熟裁剪方法。
S23、标注双层车牌信息;
车牌信息标注的主要方法是使用现有的双层车牌字符分割和识别技术进行双层车牌字符的分割和识别,获取双层车牌的上、下层区域位置信息和车牌字符信息,然后人工进行审核,对于错误的标注信息进行校正;
S24、扩展双层车牌图像;
通过图像增强方法对双层车牌样本图像进行扩展,扩展后的双层车牌样本图像作为双层车牌图像样本库;前常用的图像增强方法,包括:各种平移变换、旋转变换、缩放变换、错切变换、透视变换、颜色变换。
S25、将双层车牌图像样本库中的图像进行尺寸归一化操作,得到归一化的双层车牌训练样本图像集合;
双层车牌图像归一化,主要是对双层车牌图像集合进行尺寸归一化操作,把所有的双层车牌图像缩放到固定的尺寸,主要采用了基于公式(4)的双线性插值算法
Figure BDA0001928368280000111
其中,(x,y)表示待求RGB值的像素坐标,(x1,y1)、(x2,y1)、(x1,y2)、(x2,y2)表示距离像素(x,y)最近的四个已知RBG值的像素坐标,g(x,y)表示像素(x,y)的RGB值,*表示乘号。
S26:将所述归一化的双层车牌训练样本图像集合送入所述深度神经网络模型中,以训练深度神经网络模型;
训练深度神经网络模型,把整理好的归一化双层车牌图像集合送入定义好的深度神经网络模型,学习相关的模型参数,以训练深度神经网络模型。其中,字符定位网络的目标损失函数采用的是均方差损失表达,字符识别网络的目标损失函数采用的是经典的CTC(connectionist temporal classification)损失表达。训练过程中,我们采用分阶段训练的策略,首先训练字符定位网络,然后固定字符定位网络不变,训练字符识别网络,最后同时进行训练字符定位网络和训练字符识别网络。采用分阶段训练的策略,不仅可以实现单个目标网络的针对性快速训练,而且基于多个已训练好的单个网络的基础上,便于多个网络联合训练的快速收敛。
S3、通过训练后的深度神经网络模型,对待识别的双层车牌图像进行识别;
训练完深度神经网络模型后,接下来就是在实际环境中进行使用深度神经网络模型,对于任意给出的一幅待识别的双层车牌图像,首先进行双层车牌位置检测,然后把尺寸归一化后的局部双层车牌图像送入训练好的深度神经网络模型,输出双层车牌字符识别结果,具体步骤如下:
S31、检测局部双层车牌图像,主要是在整幅图像中,检测出双层车牌所在的位置,通过裁剪操作把局部双层车牌图像从整幅图中提取出来,并进行图像尺寸归一化,主要方法是使用现有的成熟方法。
S32、识别双层车牌字符,主要方法是把归一化后的局部双层车牌图像,送入训练好的深度神经网络模型,最终的输出结果就是最优的双层车牌字符识别结果
通过步骤S1至S3可知,该深度神经网络模型的主要作用是构建一个一体化深度神经网络模型,直接完成双层车牌位置校正、车牌字符分割、车牌字符识别等工作,输出整体最优的字符识别结果。多个车牌字符识别步骤只需一个深度神经网络模型即可完成,识别速度更快,误差来源更少,识别结果更加准确。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的双层车牌字符识别方法,其特征在于,包括如下步骤:
构建深度神经网络模型,该深度神经网络模型包括字符定位网络、字符合成网络和字符识别网络,字符定位网络、字符合成网络和字符识别网络依次连接;
通过获取的双层车牌训练样本图像集合,训练深度神经网络模型;
通过训练后的深度神经网络模型,对待识别的双层车牌图像进行识别;
所述字符定位网络包括:卷积层conv0、卷积层conv1、最大值池化层maxpool0、最大值池化层maxpool1、上层区域定位模块locUP和下层区域定位模块locBT;
所述卷积层conv0的输出接所述最大值池化层maxpool0,所述最大值池化层maxpool0的输出接所述卷积层conv1,所述卷积层conv1的输出接所述最大值池化层maxpool1,所述最大值池化层maxpool1的输出分别接所述上层区域定位模块locUP、所述下层区域定位模块locBT,所述上层区域定位模块locUP用于输出双层车牌上层区域图像,所述下层区域定位模块locBT用于输出双层车牌下层区域图像;
所述上层区域定位模块locUP和所述下层区域定位模块locBT均是基于经典的空间变换网络STN结构,所述上层区域定位模块locUP包括如下步骤:
获取双层车牌上层区域位置的空间变换矩阵;
通过空间变换矩阵,获取双层车牌上层区域变换的网格生成器generator;
通过网格生成器generator,构建双层车牌上层区域图像的采样器sampler;
所述空间变换矩阵的构建包括:卷积层loc_conv0、卷积层loc_conv1和全连接层loc_fc;
卷积层loc_conv0的输入接最大值池化层maxpool1的输出,卷积层loc_conv0的输出接卷积层loc_conv1,卷积层loc_conv1的输出接全连接层loc_fc,全连接层loc_fc输出9个特征参数,9个特征参数组合形成3×3的特征矩阵,该特征矩阵的逆矩阵作为空间变换矩阵;
所述字符合成网络的构建包括如下步骤:
对所述双层车牌上层区域图像进行缩放操作,以调整双层车牌上层区域的字符尺寸;
将双层车牌下层区域图像和已调整完的双层车牌上层区域图像进行拼接,得到单层车牌图像;
对所述单层车牌图像进行尺寸归一化操作,得到归一化的车牌图像;
所述字符识别网络包括卷积层recog_conv0、卷积层recog_conv1、卷积层recog_conv2、最大值池化层maxpool2、特征形状调整层recog_shape和LSTM循环神经网络结构体;
卷积层recog_conv0的输出接最大值池化层maxpool2,最大值池化层maxpool2的输出接卷积层recog_conv1,卷积层recog_conv1的输出接卷积层recog_conv2,卷积层recog_conv2的输出接特征形状调整层recog_shape,特征形状调整层recog_shape的输出接LSTM循环神经网络结构体。
2.根据权利要求1 所述的基于深度学习的双层车牌字符识别方法,其特征在于,所述训练深度神经网络模型,包括如下步骤:
收集并整理双层车牌样本图像;
标注双层车牌信息;
扩展双层车牌图像;
将扩展后的双层车牌图像进行尺寸归一化操作,得到归一化的双层车牌训练样本图像集合;
将所述归一化的双层车牌训练样本图像集合送入所述深度神经网络模型中,以训练深度神经网络模型。
3.根据权利要求1所述的基于深度学习的双层车牌字符识别方法,其特征在于,所述对待识别的双层车牌图像进行识别,包括如下步骤:
检测局部双层车牌图像:对待检测的双层车牌图像进行裁剪,得到局部双层车牌图像,将局部双层车牌图像进行尺寸归一化操作,得到尺寸归一化的局部双层车牌图像;
识别双层车牌字符:将尺寸归一化后的局部双层车牌图像送入深度神经网络模型中,得到双层车牌字符的识别结果。
4.根据权利要求3所述的基于深度学习的双层车牌字符识别方法,其特征在于,所述深度神经网络模型中每一个卷积层后面均带有批量归一化BN层和非线性激活relu层。
5.根据权利要求3所述的基于深度学习的双层车牌字符识别方法,其特征在于,所述深度神经网络模型中每一个全连接层后面带有非线性激活relu层。
CN201811627868.9A 2018-12-28 2018-12-28 一种基于深度学习的双层车牌字符识别方法 Active CN109766805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811627868.9A CN109766805B (zh) 2018-12-28 2018-12-28 一种基于深度学习的双层车牌字符识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811627868.9A CN109766805B (zh) 2018-12-28 2018-12-28 一种基于深度学习的双层车牌字符识别方法

Publications (2)

Publication Number Publication Date
CN109766805A CN109766805A (zh) 2019-05-17
CN109766805B true CN109766805B (zh) 2022-12-09

Family

ID=66452196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811627868.9A Active CN109766805B (zh) 2018-12-28 2018-12-28 一种基于深度学习的双层车牌字符识别方法

Country Status (1)

Country Link
CN (1) CN109766805B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651417B (zh) * 2019-10-12 2024-06-14 杭州海康威视数字技术股份有限公司 车牌识别方法、装置、设备及存储介质
CN111027539B (zh) * 2019-10-17 2023-11-07 安徽清新互联信息科技有限公司 一种基于空间位置信息的车牌字符分割方法
CN111353500B (zh) * 2020-02-25 2023-07-28 上海其高电子科技有限公司 双行车牌的自动识别方法
CN111950659B (zh) * 2020-09-01 2022-12-09 湖南国科微电子股份有限公司 双层车牌图像处理方法、装置、电子设备及存储介质
CN112215224A (zh) * 2020-10-22 2021-01-12 深圳市平方科技股份有限公司 基于深度学习的挂车号码识别方法和装置
CN112883911A (zh) * 2021-03-17 2021-06-01 高新兴科技集团股份有限公司 一种无牌车辆判别方法、装置以及电子设备
CN113191220A (zh) * 2021-04-15 2021-07-30 广州紫为云科技有限公司 一种基于深度学习的双层车牌识别方法
CN113553985A (zh) * 2021-08-02 2021-10-26 中再云图技术有限公司 一种基于人工智能高空烟雾检测识别方法,存储装置及服务器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1085456A2 (en) * 1999-09-15 2001-03-21 Siemens Corporate Research, Inc. Character segmentation method for vehicle license plate recognition
CN105956626A (zh) * 2016-05-12 2016-09-21 成都新舟锐视科技有限公司 基于深度学习的对车牌位置不敏感的车牌识别方法
CN107563385A (zh) * 2017-09-02 2018-01-09 西安电子科技大学 基于深度卷积生成式对抗网络的车牌字符识别方法
CN108108746A (zh) * 2017-09-13 2018-06-01 湖南理工学院 基于Caffe深度学习框架的车牌字符识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8644561B2 (en) * 2012-01-18 2014-02-04 Xerox Corporation License plate optical character recognition method and system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1085456A2 (en) * 1999-09-15 2001-03-21 Siemens Corporate Research, Inc. Character segmentation method for vehicle license plate recognition
CN105956626A (zh) * 2016-05-12 2016-09-21 成都新舟锐视科技有限公司 基于深度学习的对车牌位置不敏感的车牌识别方法
CN107563385A (zh) * 2017-09-02 2018-01-09 西安电子科技大学 基于深度卷积生成式对抗网络的车牌字符识别方法
CN108108746A (zh) * 2017-09-13 2018-06-01 湖南理工学院 基于Caffe深度学习框架的车牌字符识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于Caffe深度学习框架的车牌数字字符识别算法研究;欧先锋等;《四川大学学报(自然科学版)》;20170928(第05期);全文 *
基于卷积神经网络的车牌识别技术;刘建国等;《物流技术》;20181025(第10期);全文 *
基于栈式降噪自编码神经网络的车牌字符识别;贾文其等;《计算机工程与设计》;20160316(第03期);全文 *

Also Published As

Publication number Publication date
CN109766805A (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
CN109766805B (zh) 一种基于深度学习的双层车牌字符识别方法
CN111489358B (zh) 一种基于深度学习的三维点云语义分割方法
Zhang et al. Visual place recognition: A survey from deep learning perspective
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109840521B (zh) 一种基于深度学习的一体化车牌识别方法
CN110532920B (zh) 基于FaceNet方法的小数量数据集人脸识别方法
US10984289B2 (en) License plate recognition method, device thereof, and user equipment
US10002313B2 (en) Deeply learned convolutional neural networks (CNNS) for object localization and classification
US9786036B2 (en) Reducing image resolution in deep convolutional networks
WO2021196873A1 (zh) 车牌字符识别方法、装置、电子设备和存储介质
CN109815956B (zh) 一种基于自适应位置分割的车牌字符识别方法
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
CN111291809B (zh) 一种处理装置、方法及存储介质
CN112150493A (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN111881743B (zh) 一种基于语义分割的人脸特征点定位方法
CN113052200A (zh) 一种基于yolov3网络的声呐图像目标检测方法
CN109784155B (zh) 基于验证和纠错机制的视觉目标跟踪方法、智能机器人
CN113688821A (zh) 一种基于深度学习的ocr文字识别方法
CN113609904B (zh) 一种基于动态全局信息建模和孪生网络的单目标跟踪算法
CN114066844A (zh) 一种基于注意力叠加与特征融合的肺炎x光片图像分析模型及分析方法
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
Zhang et al. A small target detection algorithm based on improved YOLOv5 in aerial image
CN115761667A (zh) 一种基于改进fcos算法的无人车辆搭载摄像头目标检测方法
Song et al. Residual Squeeze-and-Excitation Network for Battery Cell Surface Inspection
Fan et al. Pedestrian attribute recognition based on dual self-attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant