CN108388896B - 一种基于动态时序卷积神经网络的车牌识别方法 - Google Patents
一种基于动态时序卷积神经网络的车牌识别方法 Download PDFInfo
- Publication number
- CN108388896B CN108388896B CN201810132849.2A CN201810132849A CN108388896B CN 108388896 B CN108388896 B CN 108388896B CN 201810132849 A CN201810132849 A CN 201810132849A CN 108388896 B CN108388896 B CN 108388896B
- Authority
- CN
- China
- Prior art keywords
- neural network
- license plate
- image
- layer
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 53
- 230000007787 long-term memory Effects 0.000 claims abstract description 21
- 230000006403 short-term memory Effects 0.000 claims abstract description 21
- 239000013598 vector Substances 0.000 claims description 48
- 230000015654 memory Effects 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 230000001502 supplementing effect Effects 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Abstract
本发明提出一种基于动态时序卷积神经网络的车牌识别方法，读取原始车牌图像；进行车牌角度矫正，获得待确定识别的车牌图像；输入到预先设计和训练的卷积神经网络，获得具备车牌所有特征的特征图像和时序信息；进行字符识别，基于上一层的时序信息，将特征图像输入到长短期记忆神经网络层的卷积神经网络中，得到分类结果，利用CTC算法解码得到最后的车牌字符结果。本发明通过使用卷积神经网络直接从原图识别视觉模式，自我学习与纠正，一次训练，多次使用，且单次识别时间在毫秒级别，能够应用在需要实时识别车牌的场景。动态时序的长短期记忆神经网络层与CTC算法解码相结合，有效规避漏检，多检等识别错误问题，提高算法鲁棒性。
Description
技术领域
本发明属于计算机视觉、数字图像处理和深度学习领域，具体涉及一种动态时序卷积神经网络的车牌识别方法。
背景技术
车牌识别一直是现代智能交通系统中的研究热点，过去使用较多的车牌识别方法一般为传统的模板匹配和前向反馈神经网络。模板匹配的方法如下:首先将分割后的车牌字符二值化，并将其尺寸大小缩放为字符数据库中模板的大小，然后与所有的模板进行匹配，选择最佳匹配作为结果。这种方法容易处理局部变换，但是应用局限，主要原因为：易受干扰噪声影响。匹配计算量巨大，实时困难。前向反馈神经网络算法较好的解决了车牌识别中因字符残缺导致无法识别的问题。也可避免繁重的数学建模和数据分析工作，并可将信息存储与处理并行，大幅提高运行速度，但是算法受限于前期特征提取，特征提取的质量是影响系统性能的关键因素。
其次，以往的方法无法应用于现在不同种类的车牌。卷积神经网络应用到的长短期记忆神经网络层中需要固定时序值，在识别不同类型的车牌时，导致缺失字符或重复已有字符，影响最后的识别结果，如识别学牌，武警牌和新能源车牌。
发明内容
针对现有技术的不足，提出一种基于动态时序卷积神经网络的车牌识别方法，用以解决不同字符长度的车牌识别结果正确率低，识别结果错误的问题。本发明可兼容识别原有的中文车牌，同时也可以识别8个字符的新能源车牌。本发明不同于传统车牌识别方法，可直接输入原图像，所需要的前期图像预处理步骤较少，特征提取和模式分类同时进行，权值共享可以减少网络的训练参数，提高运行速度，适应性更强。
为了解决上述技术问题，本发明提供一种基于动态时序卷积神经网络的车牌识别方法，包括以下步骤：
读取原始车牌图像；
进行图像预处理，车牌角度矫正，获得待确定识别的车牌图像；
将上述车牌图像输入到预先设计和训练好的卷积神经网络中，获得具备车牌所有特征的特征图像和时序信息；
进行字符识别，将特征图像和时序信息输入到基于动态时序的长短期记忆神经网络层中，得到分类结果，利用CTC算法解码得到最后的车牌字符结果。
作为一种优选方式，所述的车牌角度矫正方法包括以下步骤：
步骤1)：通过canny算子提取车牌图像的边缘，分别统计水平方向上和垂直方向上边缘点的个数，得到基于水平和垂直方向上的边缘点投影直方图；
步骤2)：根据边缘点直方图，确定车牌图像中字符起始和结束位置，起始与结束位置的差值与车牌左右边界点的差值求余弦，获得车牌水平方向上的倾斜角度，从而在水平方向上矫正车牌，再做垂直方向上的矫正，获得矫正完的车牌。
作为一种优选方式，所述的预先设计和训练好的卷积神经网络包括以下步骤：
步骤1)：构建基于动态时序的卷积神经网络，卷积神经网络设置为8层结构，包括1个输入层、4个用于特征提取的卷积层、2个用于特征优化选取的池化层，1个长短期记忆神经网络层；
步骤2)：初始化后，采用随机梯度下降法对构建的卷积神经网络进行迭代训练，每迭代一次计算一次损失函数的值，以获得卷积神经网络结构中各权重值W和偏置值b的最优解，迭代多次后得到本次训练的最优卷积神经网络；
所述的训练卷积神经网络包括以下步骤：
收集样本图像集；
将样本图像集中的图像进行矫正预处理，矫正车牌到水平位置；
固定样本图像的高度，将预处理后的样本图像集中的图像补全图像宽度至144个像素，图像中的原始宽度范围内的像素灰度值不变，增加部分的图像灰度值设定为0；
从补全后的样本图像集中抽取100张图像，组成小样本集，输入到初始卷积神经网络中，初始各权重值W和偏置值b随机设定，进行前向传播，获得该小样本图像集每一张车牌图像对应的最后一层卷积层，该卷积层的特征向量中，特征宽度由图像原始宽度决定，删除特征宽度范围外的数据，特征宽度即为长短期记忆神经网络层中的动态时序；
将处理后的卷积层特征向量输入到长短期记忆神经网络层，得到字符分类结果；
计算该小样本图像集每一张车牌图像对应的字符分类结果置信度与标定的字符分类结果置信度之差，得到卷积神经网络最后一层长短期记忆神经层的损失函数的值；
将初始卷积神经网络最后一层的损失函数的值进行反向传播，更新每一层的权重值W和偏置值b；
重复从补全后的样本图像集中抽取另外的100张图像，输入到更新权重值W和偏置值b后的卷积神经网络中，进行前行传播，获得该样本图像对应的字符分类结果的步骤，直到该小样本图像集预测的字符分类结果与对应的标定字符分类结果具有相同的拟合结果，获得训练后的卷积神经网络。
作为一种优选方式，所述的字符识别方法包括以下步骤：
将最后一层卷积层的特征图像分层与长短期记忆神经网络层中的输入层权重矩阵相乘，并将对应输入层的数据进行累加，得到对应的输入特征向量。
将向量输入到长短期记忆神经网络层的单元处理器中，通过tanh函数激活得到第一个时序对应的细胞记忆向量和隐藏向量。细胞记忆向量与长短期记忆神经网络层中内置权重矩阵相乘，并将数据对应累加，得到内置特征向量。
将内置特征向量输入到长短期记忆神经网络层的单元处理器中，获得第二个时序对应的细胞记忆向量和隐藏向量。同样的方法得到对应于每个时序的隐藏向量。
将所有的隐藏向量与对应于时序的分类权重矩阵相乘，并将所有时序的向量乘积对应累加，获得分类特征向量。分类类别为70类，包括10个数字，35个省份中文，24个字母和1个空格。
作为一种优选方式，所述的CTC算法解码包括：
比较每一个时序下的70类分类类别的置信度，选取最大值对应的分类类别下标作为解码结果，合并前后连续的相同的字符成唯一一个字符，删除字符为空格的解码结果，得到最后的字符识别结果。
本发明与现有技术相比有益效果：不局限于识别7个字符车牌，对不同字符长度的车牌都有较高的识别结果。通过使用卷积神经网络直接从原图识别视觉模式，自我学习与纠正，在完成很高识别率的情况下，避免了大量的预处理工作。卷积神经网络可以一次训练，多次使用，且单次识别时间在毫秒级别，能够胜任需要实时车牌识别的场景。动态时序的长短期记忆神经网络层与CTC算法解码相结合，有效规避传统算法中字符分割间隔不确定导致的漏检，多检等识别错误问题，提高算法鲁棒性。
附图说明
图1是本发明方法流程图。
图2是本发明卷积神经网络结构图。
图3是本发明基于动态时序的长短期记忆神经层字符识别流程图。
具体实施方式
下面对本发明的实施例作进一步的说明。以下实施例仅对本申请进行进一步说明，不应理解为对本申请的限制。
如图1所示，为本发明实施例所提供一种基于动态时序卷积神经网络的车牌识别方法，包括以下步骤：
读取原始车牌图像；
进行图像预处理，车牌角度矫正，获得待确定识别的车牌图像；
将上述车牌图像输入到预先设计和训练好的卷积神经网络中，获得具备车牌所有特征的特征图像和时序信息；
进行字符识别，将特征图像和时序信息输入到基于动态时序的长短期记忆神经网络层中，得到分类结果，利用CTC算法解码得到最后的车牌字符结果。
下面逐层讲解本发明具体实施过程：
读取原始车牌图像，获取图像；本实施例以144x48尺寸举例说明，图像大小不限于144x48尺寸。
进行车牌角度矫正，输出矫正后的车牌图像。车牌角度矫正步骤，通过canny算子提取车牌图像的边缘，分别统计水平方向上和垂直方向上边缘点的个数，得到基于水平和垂直方向上的边缘点投影直方图。根据边缘点直方图，确定原图车牌字符起始和结束位置，起始与结束位置的差值与车牌左右边界点的差值求余弦，获得车牌水平方向上的倾斜角度，从而在水平方向上矫正车牌。再对垂直方向进行矫正，获得矫正之后的车牌图像；
输入到预先设计和训练好的卷积神经网络，获得具备车牌所有特征的图像。矫正后的车牌图像输入到预先设计和训练的卷积神经网络，获得具备车牌所有特征的特征图像，其中，卷积神经网络是经过预先设计和训练，卷积神经网络设计为8层结构，包括1个输入层、4个用于特征提取的卷积层、2个用于特征优化选取的池化层,1个长短期记忆神经网络层。
其中，训练卷积神经网络步骤如下：初始化后，采用随机梯度下降法对卷积神经网络进行迭代训练，每迭代一次计算一次损失函数的值，以获得网络结构中各权重值W和偏置值b的最优解，迭代多次后得到本次训练的最优卷积神经网络，训练卷积神经网络具体步骤如下：
步骤1)：收集样本图像集，样本图像中包括不同长宽比的图像；
步骤2)：将样本图像集中的图像进行矫正预处理，矫正车牌到水平位置；
步骤3)：固定样本图像的高度，将预处理后的样本图像集中的图像补全图像宽度至144个像素，图像中的原始宽度范围内的像素灰度值不变，增加部分的图像灰度值设定为0；
步骤4)：从补全后的样本图像集中抽取100张图像，组成小样本集，输入到初始卷积神经网络中，初始各权重值W和偏置值b随机设定，进行前向传播，获得该小样本图像集每一张车牌图像对应的最后一层卷积层，该卷积层的特征向量中，实际特征宽度由图像原始宽度决定，实际特征宽度为长短期记忆神经网络层中的动态时序，增加一层与特征图像大小一样的掩码层，实际特征宽度范围内的值为1，由补全部分获得区域掩码层对应的区域上的值为0，掩码层作为标记，实际特征宽度范围内的值带入计算，补全部分获得的特征不带入计算；
步骤5)：将处理后的卷积层特征向量输入到长短期记忆神经网络层，得到字符分类结果；
步骤6)：计算该小样本图像集每一张车牌图像对应的字符分类结果置信度与标定的字符分类结果置信度之差，得到卷积神经网络最后一层长短期记忆神经层的损失函数的值；
步骤7)：将初始卷积神经网络最后一层的损失函数的值进行反向传播，更新每一层的权重值W和偏置值b。
步骤8)：重复从补全后的样本图像集中抽取另外的100张图像，输入到更新权重值W和偏置值b后的卷积神经网络中，进行前行传播，获得该样本图像对应的字符分类结果的步骤，至到该小样本图像集预测字符分类结果与对应的标定字符分类结果具有相同的拟合结果，获得训练后的卷积神经网络。
所述的预先设计和训练好的卷积神经网络还具有以下特征：卷积层与池化层交替链接，并将卷积层数据做relu处理，在最后一个池化层后依次连接两个卷积层，并利用的dropout防止其训练过拟合；卷积层中：每个卷积层的特征图都可以使用多个卷积核，通过对前一层得到的特征图进行卷积操作，然后组合得出；卷积神经网络结构中采用池化层，其中池化层常用的池化方法为最大池化层和平均池化层。第二层卷积层后连接最大池化层，减少卷积层参数误差造成估计均值的偏移，保留车牌中的纹理信息。第四层卷积层后连接平均池化层，减少邻域大小受限造成的估计值方差增大问题，保留跟车牌相关性的背景信息。
所述的卷积神经网络训练方法包括两个阶段：
第一阶段是前向传播阶段，训练样本经过预处理直接输入到网络的数据层，经过网络中各种隐含层进行逐层变换、逐层映射，直到输出层；
第二阶段是反向传播阶段，用带有标签的原始数据进一步对整个卷积神经网络参数进行监督优化。
如图2所示，将车牌图像输入到已经训练好的卷积神经网络中，进行前向传播如下：
步骤1：读取原始图像，任意图像宽度，设定输入图像高度。补全图像宽度至144，补全后的图像作为第一层的输入图像；
步骤2：将补全后的图像与20个3x 3大小的卷积核卷积，长宽跨度为1x 1，输出20层142x 46大小的特征图像，再与142x 46大小的掩码层对应数据相乘，输出的20层142x 46大小的特征图像中，实际有效部分为20层118x 46大小的特征图像，其余数据为0。将特征图像relu处理，更新特征图像数据，减少反向传播计算量；
步骤3：输入上一步骤的更新后的特征图像，比较特征图像中每一层的2x 2大小区域，长宽跨度为2x 2，选取最大值作为输出值，输出20层71x 23大小的特征图像,再与71x23大小的掩码层对应数据相乘，输出的20层71x 23大小的特征图像中，实际有效部分为20层59x 23大小的特征图像，其余数据为0；
步骤4:将第三步骤的20层特征图像与20层的32维的3x 3大小的卷积核卷积，长宽跨度为1x 1，特征图像中的每一层与对应层的32维3x 3大小卷积核卷积，并将20层的数据对应累加，输出32层的69x 21大小的特征图像，再与69x 21大小的掩码层对应数据相乘，输出的32层的69x 21大小的特征图像中，实际有效部分为32层57x 21大小的特征图像，其余数据为0。将特征层relu处理，更新特征图像，减少反向传播计算量；
步骤5:输入上一步骤的更新后的特征图像，取特征图像中每一层的3x 3大小区域的均值，长宽跨度为2x 2，输出32层34x 10大小的特征图像，再与34x 10大小的掩码层对应数据相乘，输出的32层的34x 10大小的特征图像中，实际有效部分为32层28x 10大小的特征图像，其余数据为0；
步骤6:将第五步骤的32层34x 10大小的特征图像与32层的48维的3x 3大小的卷积核卷积，长宽跨度为1x 1，特征图像中的每一层与对应层的48维3x 3大小卷积核卷积，并将32层的数据对应累加，输出48层的32x 8大小的特征图像，再与32x 8大小的掩码层对应数据相乘，输出的48层的32x 8大小的特征图像中，实际有效部分为48层26x 10大小的特征图像，其余数据为0。将特征图像relu处理，更新特征图像数据，减少反向传播计算量；
步骤7:将第六步骤的48层32x 8大小的特征图像与48层的64维的3x 3大小的卷积核卷积，长宽跨度为1x 1，特征图像中的每一层与对应层的64维3x 3大小卷积核卷积，并将48层的数据对应累加，输出64层的30x 6大小的特征图像，再与30x 6大小的掩码层对应数据相乘，输出的64层的30x 6大小的特征图像中，实际有效部分为32层24x 6大小的特征图像，其余数据为0。将特征图像relu处理，更新特征图像数据，减少反向传播计算量；
训练过程中，每次输入的车牌图像高度都为48，图像宽度任意，所以第七层特征图像的特征图像宽度可变，特征图像宽度作为下一层长短期记忆神经网络层的动态时序。
训练过程中，掩码层保存有效车牌特征信息，标记实际特征宽度范围内的有效数据。
步骤8:获取第七步骤的64层30x 6大小的特征图像中实际特征图像宽度特征数据，即64层24x 6大小的特征图像。将此特征图像数据按实际特征层宽度重新组合，得到24层的64x 6大小的特征图像；
如图3所示，进行字符识别，基于动态时序的长短期记忆神经网络层得到分类结果，利用CTC算法解码得到最后的车牌字符结果。图3中红色虚线表示舍弃掉大于输入层实际特征宽度的特征图信息，黑色虚线表示将处理后的输入层特征图像分片成对应动态时序大小的特征向量，与图中的X1，X2，……X24一一对应。C1，C2，……C24为将内置特征向量输入到长短期记忆神经网络层的单元处理器A中，获得的对应于每一个时序的细胞记忆向量。H1，H2，……H24为将内置特征向量输入到长短期记忆神经网络层的单元处理器中，获得的对应于每一个时序的隐藏向量。表格中，第一行表示基于70个不同分类类别的分类结果，第二行表示CTC算法解码出来的车牌字符结果。
车牌字符识别具体过程如下：
步骤1)：将24层64x 6大小的特征图像分层与100x 384大小的输入权重矩阵相乘，并将384层的数据对应累加，得到100x 1大小的输入特征向量。将输入特征向量输入到长短期记忆神经网络层的单元处理器中，通过tanh函数激活得到第一个时序对应的100x 1大小的细胞记忆向量和100x 1大小的隐藏向量；
步骤2)：100x 1大小的细胞记忆向量与100x 100大小的内置权重矩阵相乘，并将100层的数据对应累加，得到100x 1大小的内置特征向量。将内置特征向量输入到长短期记忆神经网络层的单元处理器中，获得第二个时序对应的100x 1大小的细胞记忆向量和100x1大小的隐藏向量。同样的方法得到24个100*1大小的隐藏向量；
步骤3)：将24个100x 1大小的H向量与24个100x 70大小的分类权重矩阵相乘，并将24个数据对应累加，得到70x 1大小的向量。分类类别为70类，包括10个数字，35个省份中文，24个字母和1个空格；
步骤4)：CTC算法解码步骤，比较每一个时序下的70类分类类别的置信度，选取最大值对应的分类类别下标作为解码结果，合并前后连续的相同的字符成唯一一个字符，删除字符为空格的解码结果，即为最后的字符识别结果。
本发明提出基于动态时序卷积神经网络的车牌识别方法，可以有效降低不同字符长度的车牌识别误差，进而提高了整个系统的车牌结果识别准确性，更能适应当今市场需求。
以上仅是本发明的优选实施方式，本发明的保护范围并不限于上述实施例，凡属于本发明思路下的技术方案均属于本发明保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种基于动态时序卷积神经网络的车牌识别方法，其特征在于，包括以下步骤：
读取原始车牌图像；
进行图像预处理，车牌角度矫正，获得待确定识别的车牌图像；
将上述车牌图像输入到预先设计和训练好的卷积神经网络中，获得具备车牌所有特征的特征图像和时序信息；
进行字符识别，将特征图像和时序信息输入到基于动态时序的长短期记忆神经网络层中，得到分类结果，利用CTC算法解码得到最后的车牌字符结果；
预先设计和训练好的卷积神经网络包括以下步骤：
步骤1)：构建基于动态时序的卷积神经网络，卷积神经网络设计为8层结构，包括1个输入层、4个用于特征提取的卷积层、2个用于特征优化选取的池化层，1个长短期记忆神经网络层；
步骤2)：初始化后，采用随机梯度下降法对卷积神经网络进行迭代训练，每迭代一次计算一次损失函数的值，以获得网络结构中各权重值W和偏置值b的最优解，迭代多次后得到本次训练的最优卷积神经网络；所述卷积神经网络的训练方法包括如下步骤：
收集样本图像集，样本图像中包括不同长宽比的图像；将样本图像集中的图像进行矫正预处理，矫正车牌到水平位置；将预处理后的样本图像集中的图像补全图像宽度至144个像素，图像中的原始宽度范围内的像素灰度值不变，增加部分的图像灰度值设定为0；从补全后的样本图像集中抽取100张图像，组成小样本集，输入到初始卷积神经网络中，初始各权重值W和偏置值b随机设定，进行前向传播，获得该小样本图像集每一张车牌图像对应的最后一层卷积层，该卷积层的特征向量中，实际特征宽度由图像原始宽度决定，实际特征宽度为长短期记忆神经网络层中的动态时序，增加一层与特征图像大小一样的掩码层，实际特征宽度范围内的值为1，由补全部分获得区域掩码层对应的区域上的值为0，掩码层作为标记，实际特征宽度范围内的值带入计算，补全部分获得的特征不带入计算；将处理后的卷积层特征向量输入到长短期记忆神经网络层，得到字符分类结果；计算该小样本图像集每一张车牌图像对应的字符分类结果置信度与标定的字符分类结果置信度之差，得到卷积神经网络最后一层长短期记忆神经网络层的损失函数的值；将初始卷积神经网络最后一层的损失函数的值进行反向传播，更新每一层的权重值W和偏置值b；重复从补全后的样本图像集中抽取另外的100张图像，输入到更新权重值W和偏置值b后的卷积神经网络中，进行前行传播，获得该样本图像对应的字符分类结果的步骤，直到该小样本图像集与对应的标定字符分类结果具有相同的拟合结果，获得训练后的卷积神经网络。
2.如权利要求1所述的一种基于动态时序卷积神经网络的车牌识别方法，其特征在于，所述车牌角度矫正方法包括以下步骤：
步骤1)：通过canny算子提取车牌图像的边缘，分别统计水平方向上和垂直方向上边缘点的个数，得到基于水平和垂直方向上的边缘点投影直方图；
步骤2)：根据边缘点投影直方图，确定车牌图像中字符起始和结束位置，起始与结束位置的差值与车牌左右边界点的差值求余弦，获得车牌水平方向上的倾斜角度，从而在水平方向上矫正车牌，再做垂直方向上的矫正，获得矫正完的车牌。
3.如权利要求1所述的一种基于动态时序卷积神经网络的车牌识别方法，其特征在于，所述的字符识别方法包括：
将最后一层卷积层的特征图像分层与长短期记忆神经网络层中的输入层权重矩阵相乘，并将对应输入层的数据进行累加，得到对应的输入特征向量；
将输入特征向量输入到长短期记忆神经网络层的单元处理器中，通过tanh函数激活得到第一个时序对应的细胞记忆向量和隐藏向量；细胞记忆向量与长短期记忆神经网络层中内置权重矩阵相乘，并将数据对应累加，得到内置特征向量；
将内置特征向量输入到长短期记忆神经网络层的单元处理器中，获得第二个时序对应的细胞记忆向量和隐藏向量；同样的方法得到对应于动态时序的隐藏向量；
将所有的隐藏向量与对应于动态时序的分类权重矩阵相乘，并将所有时序的向量乘积对应累加，获得分类特征向量。
4.如权利要求1所述的一种基于动态时序卷积神经网络的车牌识别方法，其特征在于，所述的CTC解码算法包括：
比较每一个时序下的70类分类类别的置信度，选取最大值对应的分类类别下标作为解码结果，合并前后连续相同的字符成唯一一个字符，删除字符为空格的解码结果，得到最后的字符识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810132849.2A CN108388896B (zh) | 2018-02-09 | 2018-02-09 | 一种基于动态时序卷积神经网络的车牌识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810132849.2A CN108388896B (zh) | 2018-02-09 | 2018-02-09 | 一种基于动态时序卷积神经网络的车牌识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108388896A CN108388896A (zh) | 2018-08-10 |
| CN108388896B true CN108388896B (zh) | 2021-06-22 |
Family
ID=63075454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810132849.2A Active CN108388896B (zh) | 2018-02-09 | 2018-02-09 | 一种基于动态时序卷积神经网络的车牌识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108388896B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109284757A (zh) * | 2018-08-31 | 2019-01-29 | 湖南星汉数智科技有限公司 | 一种车牌识别方法、装置、计算机装置及计算机可读存储介质 |
| TWI677826B (zh) | 2018-09-19 | 2019-11-21 | 國家中山科學研究院 | 車牌辨識系統與方法 |
| CN109508717A (zh) * | 2018-10-09 | 2019-03-22 | 苏州科达科技股份有限公司 | 一种车牌识别方法、识别装置、识别设备及可读存储介质 |
| CN111027555B (zh) * | 2018-10-09 | 2023-09-26 | 杭州海康威视数字技术股份有限公司 | 一种车牌识别方法、装置及电子设备 |
| CN109977950A (zh) * | 2019-03-22 | 2019-07-05 | 上海电力学院 | 一种基于混合cnn-lstm网络的文字识别方法 |
| CN110070082B (zh) * | 2019-04-22 | 2022-02-11 | 苏州科达科技股份有限公司 | 车牌识别方法、装置、设备及存储介质 |
| CN110377591B (zh) * | 2019-06-12 | 2022-02-25 | 北京百度网讯科技有限公司 | 训练数据清洗方法、装置、计算机设备及存储介质 |
| CN110414451B (zh) * | 2019-07-31 | 2023-11-10 | 深圳市捷顺科技实业股份有限公司 | 一种基于端对端的车牌识别方法、装置、设备及存储介质 |
| CN110796146A (zh) * | 2019-10-11 | 2020-02-14 | 上海上湖信息技术有限公司 | 一种银行卡卡号识别方法、模型训练方法及装置 |
| CN111091131B (zh) * | 2019-12-18 | 2023-06-09 | 创新奇智(南京)科技有限公司 | 基于多任务学习的自适应车牌字符识别系统及识别方法 |
| CN111191663B (zh) * | 2019-12-31 | 2022-01-11 | 深圳云天励飞技术股份有限公司 | 车牌号码识别方法、装置、电子设备及存储介质 |
| CN113077069B (zh) * | 2020-01-03 | 2023-06-13 | 顺丰科技有限公司 | 预测中转班次件量的建模方法、装置、设备及存储介质 |
| CN111160316B (zh) * | 2020-01-06 | 2022-07-08 | 电子科技大学 | 一种基于轻量级神经网络的车牌识别方法 |
| CN111340041B (zh) * | 2020-03-13 | 2023-03-24 | 安阳工学院 | 一种基于深度学习的车牌识别方法及装置 |
| CN111310766A (zh) * | 2020-03-13 | 2020-06-19 | 西北工业大学 | 基于编解码和二维注意力机制的车牌识别方法 |
| CN111507337A (zh) * | 2020-04-10 | 2020-08-07 | 河海大学 | 基于混合神经网络的车牌识别方法 |
| CN111709884A (zh) * | 2020-04-29 | 2020-09-25 | 高新兴科技集团股份有限公司 | 车牌关键点矫正方法、系统、设备和存储介质 |
| CN111898411B (zh) * | 2020-06-16 | 2021-08-31 | 华南理工大学 | 文本图像标注系统、方法、计算机设备和存储介质 |
| CN111860682A (zh) * | 2020-07-30 | 2020-10-30 | 上海高德威智能交通系统有限公司 | 序列识别方法、装置、图像处理设备和存储介质 |
| CN114938425A (zh) * | 2021-06-15 | 2022-08-23 | 义隆电子股份有限公司 | 摄影装置及其使用人工智能的物件识别方法 |
| CN113343881A (zh) * | 2021-06-21 | 2021-09-03 | 浪潮云信息技术股份公司 | 基于深度学习的车辆品牌型号细粒度分类系统及方法 |
| CN115394074A (zh) * | 2022-07-04 | 2022-11-25 | 北方工业大学 | 公路监控车辆检测系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107239733A (zh) * | 2017-04-19 | 2017-10-10 | 上海嵩恒网络科技有限公司 | 连续手写字识别方法及系统 |
| CN107636691A (zh) * | 2015-06-12 | 2018-01-26 | 商汤集团有限公司 | 用于识别图像中的文本的方法和设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160350653A1 (en) * | 2015-06-01 | 2016-12-01 | Salesforce.Com, Inc. | Dynamic Memory Network |
-
2018
- 2018-02-09 CN CN201810132849.2A patent/CN108388896B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107636691A (zh) * | 2015-06-12 | 2018-01-26 | 商汤集团有限公司 | 用于识别图像中的文本的方法和设备 |
| CN107239733A (zh) * | 2017-04-19 | 2017-10-10 | 上海嵩恒网络科技有限公司 | 连续手写字识别方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 《Reading Car License Plates Using Deep Convolutional Neural Networks and LSTMs》;Hui Li，et al;《arXiv：1601.05610》;20160121;第1-17页 * |
| 《基于深度学习的车牌识别系统》;杨钰吉;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180115(第1期);第I138-1186页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108388896A (zh) | 2018-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108388896B (zh) | 一种基于动态时序卷积神经网络的车牌识别方法 | |
| CN111860670B (zh) | 域自适应模型训练、图像检测方法、装置、设备及介质 | |
| US11429818B2 (en) | Method, system and device for multi-label object detection based on an object detection network | |
| CN109635744B (zh) | 一种基于深度分割网络的车道线检测方法 | |
| CN108319972B (zh) | 一种针对图像语义分割的端到端差异网络学习方法 | |
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
| Li et al. | SAR image change detection using PCANet guided by saliency detection | |
| CN109118473B (zh) | 基于神经网络的角点检测方法、存储介质与图像处理系统 | |
| CN110175649B (zh) | 一种关于重新检测的快速多尺度估计目标跟踪方法 | |
| CN107506765B (zh) | 一种基于神经网络的车牌倾斜校正的方法 | |
| CN110363160B (zh) | 一种多车道线识别方法及装置 | |
| CN102169581A (zh) | 一种基于特征向量的快速高精度鲁棒性匹配方法 | |
| CN106373128B (zh) | 一种嘴唇精确定位的方法和系统 | |
| CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111242026A (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
| CN113780110A (zh) | 一种图像序列中弱小目标实时检测方法及设备 | |
| CN111914762A (zh) | 基于步态信息的身份识别方法及装置 | |
| Hirner et al. | FC-DCNN: A densely connected neural network for stereo estimation | |
| CN107292268A (zh) | 快速脊波反卷积结构学习模型的sar图像语义分割方法 | |
| CN113627481A (zh) | 一种面向智慧园林的多模型组合的无人机垃圾分类方法 | |
| CN111160142B (zh) | 一种基于数值预测回归模型的证件票据定位检测方法 | |
| CN113313179A (zh) | 一种基于l2p范数鲁棒最小二乘法的噪声图像分类方法 | |
| CN112581483A (zh) | 基于自学习的植物叶片叶脉分割方法和装置 | |
| CN109977892B (zh) | 基于局部显著性特征和cnn-svm的舰船检测方法 | |
| CN110349119B (zh) | 基于边缘检测神经网络的路面病害检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 1210, 12 / F, building 9, Yinhu innovation center, 9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province Applicant after: Hangzhou xiongmai integrated circuit technology Co.,Ltd. Address before: Room 1210, 12 / F, building 9, Yinhu innovation center, 9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province Applicant before: HANGZHOU XIONGMAI INTEGRATED CIRCUIT TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Method of Vehicle License Plate Recognition Based on Dynamic Time Series Convolution Neural Network Effective date of registration: 20230308 Granted publication date: 20210622 Pledgee: Fuyang sub branch of Bank of Hangzhou Co.,Ltd. Pledgor: Hangzhou xiongmai integrated circuit technology Co.,Ltd. Registration number: Y2023330000470 |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Room 1210, 12 / F, building 9, Yinhu innovation center, 9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province Patentee after: Zhejiang Xinmai Microelectronics Co.,Ltd. Address before: Room 1210, 12 / F, building 9, Yinhu innovation center, 9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province Patentee before: Hangzhou xiongmai integrated circuit technology Co.,Ltd. |