CN110414451A - 一种基于端对端的车牌识别方法、装置、设备及存储介质 - Google Patents
一种基于端对端的车牌识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110414451A CN110414451A CN201910703792.1A CN201910703792A CN110414451A CN 110414451 A CN110414451 A CN 110414451A CN 201910703792 A CN201910703792 A CN 201910703792A CN 110414451 A CN110414451 A CN 110414451A
- Authority
- CN
- China
- Prior art keywords
- license plate
- layer
- neural networks
- convolutional neural
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 56
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000007787 long-term memory Effects 0.000 claims abstract description 21
- 238000012937 correction Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 17
- 238000003475 lamination Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 239000000729 antidote Substances 0.000 description 1
- 229940075522 antidotes Drugs 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于端对端的车牌识别方法、装置、设备以及计算机可读存储介质，包括：采集待识别车辆图像，在所述待识别车辆图像内搜索车牌区域图像；对所述车牌区域图像进行矫正，并将矫正后的车牌区域图像转换为预设大小的车牌灰度图像；将所述车牌灰度图像输入至预先完成训练后的车牌识别卷积神经网络中进行识别，输出所述待识别车辆图像的车牌号码；其中，所述车牌识别卷积神经网络由卷积神经网络、双向长短期记忆网络及CTC算法进行组合获得。本发明所提供的方法、装置、设备以及计算机可读存储介质，提高了车牌识别的准确率及效率。
Description
技术领域
本发明涉及图像识别技术领域，特别是涉及一种基于端对端的车牌识别方法、装置、设备以及计算机可读存储介质。
背景技术
目前，车牌识别设备已经被广泛应用于停车场、城市道路、高速公路等区域进行车辆号牌的自动抓拍和识别。在过去，由于车牌的识别率不高，车主进出停车场主要还是以刷卡为主，车牌识别更多作为月卡或者临时卡的补充或者仅用于保存证据以及上传识别信息到交警局。在过去几年，车牌识别技术得到了迅速发展，车牌的识别率的提高，使纯车牌识别以及无人值守方案变得可行。
传统车牌识别方法虽然识别率有一定的保证，但是过程繁琐，车牌识别需要车牌区域检测、车牌字符分割以及车牌字符识别，不同车牌颜色不同，车牌字符个数也不同，因此识别过程需要考虑多种情况，某些情况也需要车牌类型信息，如新能源车牌、警牌、蓝牌、黄牌等；同时耗时也较多，在特殊环境下高识别率无法得到保证。
且在实际应用中，会有部分车牌出现破损或污损，导致车牌上的字符出现部分缺失或者字符看不清楚的现象。往往会由于字符本身部分缺失导致这些字符无法分割成功。且单位的字符分割，在识别过程中无法利用车牌上的上下文信息。例如第二位识别为“8”，就可以利用上下文信息将“8”修改为“B”。
在传统车牌识别算法中，通常会加入很多的策略来提高分割的准确度，增加了算法的复杂度。传统车牌识别算法使用的是级联的思想，若字符分割失败后，算法就不会继续识别，从而导致整体识别率的下降。
综上所述可以看出，如何提高车牌识别的准确率及效率是目前有待解决的问题。
发明内容
本发明的目的是提供一种基于端对端的车牌识别方法、装置、设备以及计算机可读存储介质，以解决现有技术中的车牌识别算法复杂，识别效率低，在特殊环境下车牌识别的准确率较低的问题。
为解决上述技术问题，本发明提供一种基于端对端的车牌识别方法，包括：采集待识别车辆图像，在所述待识别车辆图像内搜索车牌区域图像；对所述车牌区域图像进行矫正，并将矫正后的车牌区域图像转换为预设大小的车牌灰度图像；将所述车牌灰度图像输入至预先完成训练后的车牌识别卷积神经网络中进行识别，输出所述待识别车辆图像的车牌号码；其中，所述车牌识别卷积神经网络由卷积神经网络、双向长短期记忆网络及CTC算法进行组合获得。
优选地，所述车牌识别卷积网络包括：
卷积核大小为5×5、步长为2、pad为1的第一卷积层，
卷积核大小为3×3、步长为1、pad为1的第二卷积层，
窗口大小为2×2的第一池化层，
卷积核大小为3×3、步长为1、pad为1的第三卷积层，
窗口大小为2×2的第二池化层，
卷积核大小为1×4、步长为1、pad为0的第四卷积层，
双向长短期记忆网络层，全连接层以及CTC算法层。
优选地，所述将所述车牌灰度图像输入至预先完成训练后的车牌识别卷积神经网络中进行识别，输出所述待识别车辆图像的车牌号码包括：
将所述车牌灰度图像输入至所述预先完成训练的车牌识别卷积网络的第一卷积层，输出64个80×16的特征图；将所述第一卷积层的输出输入至所述车牌识别卷积神经网络的第二卷积层，输出128个80×16的特征图；将所述第二卷积层的输出输入至所述车牌识别卷积神经网络的第一池化层，输出128个40×8的特征图；将所述第一池化层的输出输入至所述车牌识别卷积神经网络的第三卷积层，输出256个40×8的特征图；将所述第三卷积层的输出输入至所述车牌识别卷积神经网络的第二池化层，输出256个40×4的特征图；将所述第二池化层的输出输入至所述车牌识别卷积神经网络的第四卷积层，输出512个20×1的特征图；将所述第四卷积层的输出输入至所述车牌识别卷积神经网络的双向长短期记忆网络层，输出512个20×1的特征图；将所述双向长短期记忆网络层的输出输入至所述车牌识别卷积神经网络的全连接层，输出一个20×37的矩阵；将所述全连接层的输出输入至所述车牌识别卷积神经网络的CTC算法层，对所述20×37的矩阵进行解码后，输出识别到的所述待识别车辆图像的车牌号码。
优选地，所述对所述车牌区域图像进行矫正，并将矫正后的车牌区域图像转换为预设大小的车牌灰度图像包括：
对所述车牌区域图像进行矫正；并将矫正后的车牌区域图像转换为160×32的车牌灰度图像。
优选地，所述将所述车牌灰度图像输入至预先完成训练后的车牌识别卷积神经网络中进行识别前还包括：
利用预选车牌检测算法提取车辆图像样本集中的车牌区域图像，并对提取后的车牌区域图像进行矫正；对矫正后的车牌区域图像中的车牌号码进行标注后，得到目标车牌区域图像训练集；利用所述目标车牌区域图像训练集对预先建立的初始车辆识别卷积神经网络进行训练，确定所述初始车辆识别卷积神经网络的目标网络参数，得到完成训练后的车牌识别卷积神经网络。
本发明还提供了一种基于端对端的车牌识别装置，包括：
采集模块，用于采集待识别车辆图像，在所述待识别车辆图像内搜索车牌区域图像；
矫正模块，用于对所述车牌区域图像进行矫正，并将矫正后的车牌区域图像转换为预设大小的车牌灰度图像；
识别模块，用于将所述车牌灰度图像输入至预先完成训练后的车牌识别卷积神经网络中进行识别，输出所述待识别车辆图像的车牌号码；
其中，所述车牌识别卷积神经网络由卷积神经网络、双向长短期记忆网络及CTC算法进行组合获得。
优选地，所述车牌识别卷积网络包括：
卷积核大小为5×5、步长为2、pad为1的第一卷积层，
卷积核大小为3×3、步长为1、pad为1的第二卷积层，
窗口大小为2×2的第一池化层，
卷积核大小为3×3、步长为1、pad为1的第三卷积层，
窗口大小为2×2的第二池化层，
卷积核大小为1×4、步长为1、pad为0的第四卷积层，
双向长短期记忆网络层，全连接层以及CTC算法层。
优选地，所识别模块包括：
第一卷积处理单元，用于将所述车牌灰度图像输入至所述预先完成训练的车牌识别卷积网络的第一卷积层，输出64个80×16的特征图；
第二卷积处理单元，用于将所述第一卷积层的输出输入至所述车牌识别卷积神经网络的第二卷积层，输出128个80×16的特征图；
第一池化处理单元，将所述第二卷积层的输出输入至所述车牌识别卷积神经网络的第一池化层，输出128个40×8的特征图；
第三卷积处理单元，用于将所述第一池化层的输出输入至所述车牌识别卷积神经网络的第三卷积层，输出256个40×8的特征图；
第二池化处理单元，用于将所述第三卷积层的输出输入至所述车牌识别卷积神经网络的第二池化层，输出256个40×4的特征图；
第四卷积处理单元，用于将所述第二池化层的输出输入至所述车牌识别卷积神经网络的第四卷积层，输出512个20×1的特征图；
BLSTM处理单元，用于将所述第四卷积层的输出输入至所述车牌识别卷积神经网络的双向长短期记忆网络层，输出512个20×1的特征图；
全连接处理单元，用于将所述双向长短期记忆网络层的输出输入至所述车牌识别卷积神经网络的全连接层，输出一个20×37的矩阵；
解码单元，用于将所述全连接层的输出输入至所述车牌识别卷积神经网络的CTC算法层，对所述20×37的矩阵进行解码后，输出识别到的所述待识别车辆图像的车牌号码。
本发明还提供了一种基于端对端的车牌识别设备，包括：
存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于端对端的车牌识别方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于端对端的车牌识别方法的步骤。
本发明所提供的基于端对端的车牌识别方法，在采集到的待识别车辆图像中搜索车牌区域的车牌区域图像，对所述车牌区域图像进行矫正后，将矫正后的车牌区域图像转换为预设大小的车牌灰度图像。通过卷积神经网络、双向长短期记忆网络以及CTC算法进行组合，得到车牌识别神经网络。将所述车牌灰度图像输入至预先完成训练的所述车牌识别神经网络中，输出车牌识别结果。本发明所提供的车牌识别方法，在所述待识别车辆图像搜索到车牌区域图像，并对所述车牌区域图像进行预处理后，便可直接输入至完成训练的车牌识别神经网络中，并不需要对车牌区域图像中的字符进行分割，因此，不仅可以利用上下文信息进行车牌识别，提高车牌识别准确率，且降低了识别算法的复杂度，使识别效率提高、系统更易于维护，解决了传统车牌识别算法效率和整体识别率低的问题。通过对所述车牌识别神经网络的迭代训练可以更进一步的提高识别准确率。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于端对端的车牌识别方法的第一种具体实施例的流程图；
图2为本发明所提供的车牌识别神经网络的网络结构示意图；
图3为本发明所提供的基于端对端的车牌识别方法的第二种具体实施例的流程图；
图4为本发明实施例提供的一种基于端对端的车牌识别装置的结构框图。
具体实施方式
本发明的核心是提供一种基于端对端的车牌识别方法、装置、设备以及计算机可读存储介质，提高了车牌识别的准确率及识别效率。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的基于端对端的车牌识别方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S101：采集待识别车辆图像，在所述待识别车辆图像内搜索车牌区域图像；
所述车牌区域图像一般仅包含车牌，也可以包含少量背景。在本实施例中可以利用传统检测方法或者基于深度学习的检测方法，在采集到的待识别车辆图像中搜索车牌区域，从而得到车牌区域图像。
步骤S102：对所述车牌区域图像进行矫正，并将矫正后的车牌区域图像转换为预设大小的车牌灰度图像；
在本实施例，可以利用水平矫正结合垂直矫正的方法对所述车牌区域图像进行矫正。还可以基于深度学习的检测算法查找所述车牌区域图像的四个点，通过网络对所述车牌区域图像进行矫正。在本发明的其他实施例中，还可以利用其它的矫正方法对所述车牌区域图像进矫正。
步骤S103：将所述车牌灰度图像输入至预先完成训练后的车牌识别卷积神经网络中进行识别，输出所述待识别车辆图像的车牌号码；其中，所述车牌识别卷积神经网络由卷积神经网络、双向长短期记忆网络及CTC算法进行组合获得。
如图2所示，所述车牌识别卷积神经网络包括：第一卷积卷层(Conv1)、第二卷积层(Conv2)、第一池化层(Pooling1)、第三卷积层(Conv3)、第二池化层(Pooling2)、第四卷积层(Conv4)、双向长短期记忆网络层(Bidirectional Long Short-term Memory BLSTM)、全连接层(FC1)以及CTC(Connectionist Temporal Classification)层。其中，所述第一卷积层的卷积核大小为5×5、步长(stride)＝2、pad＝1；所述第二卷积层的卷积核大小为3×3、stride＝1、pad＝1；所述第一池化层的窗口大小为2×2；所述第三卷积层的卷积核大小为3×3、stride＝1、pad＝1；所述第二池化层的窗口大小为2×2；所述第四卷积层的卷积核大小为1×4、stride＝1、pad＝0。
对所述车牌灰度图像进行识别的过程包括：将所述车牌灰度图像输入至所述预先完成训练的车牌识别卷积网络的第一卷积层，输出64个80×16的特征图(feature map)。将所述第一卷积层的输出输入至所述第二卷积层，输出128个80×16的特征图。将所述第二卷积层的输出输入至所述第一池化层，输出128个40×8的特征图。将所述第一池化层的输出输入至所述第三卷积层，输出256个40×8的特征图。将所述第三卷积层的输出输入至所述第二池化层，输出256个40×4的特征图。将所述第二池化层的输出输入至所述第四卷积层，输出512个20×1的特征图。将所述第四卷积层的输出输入至所述BLSTM层，输出512个20×1的特征图。将所述BLSTM层的输出输入至所述全连接层，输出一个20×37的矩阵；这里的20是指，一个车牌分割成20份，经过了端对端网络的处理，会得到20个分割结果；这20个分割结果可能包括单个字符、字符加空格(blank)、空格、甚至一份里包含超过1个字符。对于仅包含字母与数字的海外车牌，每分分割的结果包含37种可能性，即26个字母+10个数字+blank。对于大陆车牌，还需要增加汉字。将所述全连接层的输出输入至所述CTC算法层，对所述20×37的矩阵进行解码后，输出识别到的所述待识别车辆图像的车牌号码。CTC解码是对步骤所述全连接层输出的20份结果进行解码，包括去掉空格，去掉连续相同并且无空格的字符等等。
基于上述实施例，在本实施例中，可以利用基于深度学习的检测算法在待识别车辆图像内搜索车牌区域图像，采用水平矫正结合垂直矫正的方法对车牌区域图像进行矫正；并将矫正后的车牌区域图像转换为160×32的车牌灰度图像。请参考图3，图3为本发明所提供的基于端对端的车牌识别方法的第二种具体实施例的流程图；具体操作步骤如下：
步骤S301：利用基于深度学习的检测算法在待识别车辆图像内搜索车牌区域图像；
步骤S302：采用水平矫正结合垂直矫正的方法对所述车牌区域图像进行矫正，并将矫正后的车牌区域图像转换为160×32的车牌灰度图像；
步骤S303：将所述车牌灰度图像输入至预先完成训练后的车牌识别卷积神经网络中进行识别，输出所述待识别车辆图像的车牌号码。
其中，对所述车牌识别神经网络的训练过程包括：利用预选图像检测算法提取车辆图像样本集中的车牌区域图像，并对提取后的车牌区域图像进行矫正；对矫正后的车牌区域图像中的车牌号码进行标注后，得到目标车牌区域图像训练集；标注车牌号码，例如区域里包含的车牌是“粤B12345”，那么这个区域的标注的标签为“粤B12345”。利用所述目标车牌区域图像训练集对预先建立的初始车辆识别卷积神经网络进行训练，确定所述初始车辆识别卷积神经网络的目标网络参数，得到完成训练后的车牌识别卷积神经网络。
本实施例所提供的基于端对端的车牌识别方法，首先定位车牌区域的位置，然后使用一个CNN+BLTSM+CTC的结构的网络对车牌区域进行车牌的整体识别。只需要输入检测到的车牌区域，网络的输出就可以得到车牌号码。本发明所提供的方法，省略了字符分割的步骤；在车辆识别的过程中，可以利用现有车牌的上下文信息；且代码简单，系统容易维护；所述端对端车辆识别算法的迭代训练进一步提高；且整个系统不需要策略。
请参考图4，图4为本发明实施例提供的一种基于端对端的车牌识别装置的结构框图；具体装置可以包括：
采集模块，用于采集待识别车辆图像，在所述待识别车辆图像内搜索车牌区域图像；
矫正模块，用于对所述车牌区域图像进行矫正，并将矫正后的车牌区域图像转换为预设大小的车牌灰度图像；
识别模块，用于将所述车牌灰度图像输入至预先完成训练后的车牌识别卷积神经网络中进行识别，输出所述待识别车辆图像的车牌号码；
其中，所述车牌识别卷积神经网络由卷积神经网络、双向长短期记忆网络及CTC算法进行组合获得。
本实施例的基于端对端的车牌识别装置用于实现前述的基于端对端的车牌识别方法，因此基于端对端的车牌识别装置中的具体实施方式可见前文中的基于端对端的车牌识别方法的实施例部分，例如，采集模块100，矫正模块200，识别模块300，分别用于实现上述基于端对端的车牌识别方法中步骤S101，S102和S103，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种基于端对端的车牌识别设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于端对端的车牌识别方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于端对端的车牌识别方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的基于端对端的车牌识别方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种基于端对端的车牌识别方法，其特征在于，包括：
采集待识别车辆图像，在所述待识别车辆图像内搜索车牌区域图像；
对所述车牌区域图像进行矫正，并将矫正后的车牌区域图像转换为预设大小的车牌灰度图像；
将所述车牌灰度图像输入至预先完成训练后的车牌识别卷积神经网络中进行识别，输出所述待识别车辆图像的车牌号码；
其中，所述车牌识别卷积神经网络由卷积神经网络、双向长短期记忆网络及CTC算法进行组合获得。
2.如权利要求1所述的方法，其特征在于，所述车牌识别卷积网络包括：
卷积核大小为5×5、步长为2、pad为1的第一卷积层，
卷积核大小为3×3、步长为1、pad为1的第二卷积层，
窗口大小为2×2的第一池化层，
卷积核大小为3×3、步长为1、pad为1的第三卷积层，
窗口大小为2×2的第二池化层，
卷积核大小为1×4、步长为1、pad为0的第四卷积层，
双向长短期记忆网络层，全连接层以及CTC算法层。
3.如权利要求2所述的方法，其特征在于，所述将所述车牌灰度图像输入至预先完成训练后的车牌识别卷积神经网络中进行识别，输出所述待识别车辆图像的车牌号码包括：
将所述车牌灰度图像输入至所述预先完成训练的车牌识别卷积网络的第一卷积层，输出64个80×16的特征图；
将所述第一卷积层的输出输入至所述车牌识别卷积神经网络的第二卷积层，输出128个80×16的特征图；
将所述第二卷积层的输出输入至所述车牌识别卷积神经网络的第一池化层，输出128个40×8的特征图；
将所述第一池化层的输出输入至所述车牌识别卷积神经网络的第三卷积层，输出256个40×8的特征图；
将所述第三卷积层的输出输入至所述车牌识别卷积神经网络的第二池化层，输出256个40×4的特征图；
将所述第二池化层的输出输入至所述车牌识别卷积神经网络的第四卷积层，输出512个20×1的特征图；
将所述第四卷积层的输出输入至所述车牌识别卷积神经网络的双向长短期记忆网络层，输出512个20×1的特征图；
将所述双向长短期记忆网络层的输出输入至所述车牌识别卷积神经网络的全连接层，输出一个20×37的矩阵；
将所述全连接层的输出输入至所述车牌识别卷积神经网络的CTC算法层，对所述20×37的矩阵进行解码后，输出识别到的所述待识别车辆图像的车牌号码。
4.如权利要求1所述的方法，其特征在于，所述对所述车牌区域图像进行矫正，并将矫正后的车牌区域图像转换为预设大小的车牌灰度图像包括：
对所述车牌区域图像进行矫正；并将矫正后的车牌区域图像转换为160×32的车牌灰度图像。
5.如权利要求1-4任一项所述的方法，其特征在于，所述将所述车牌灰度图像输入至预先完成训练后的车牌识别卷积神经网络中进行识别前还包括：
利用预选车牌检测算法提取车辆图像样本集中的车牌区域图像，并对提取后的车牌区域图像进行矫正；
对矫正后的车牌区域图像中的车牌号码进行标注后，得到目标车牌区域图像训练集；
利用所述目标车牌区域图像训练集对预先建立的初始车辆识别卷积神经网络进行训练，确定所述初始车辆识别卷积神经网络的目标网络参数，得到完成训练后的车牌识别卷积神经网络。
6.一种基于端对端的车牌识别装置，其特征在于，包括：
采集模块，用于采集待识别车辆图像，在所述待识别车辆图像内搜索车牌区域图像；
矫正模块，用于对所述车牌区域图像进行矫正，并将矫正后的车牌区域图像转换为预设大小的车牌灰度图像；
识别模块，用于将所述车牌灰度图像输入至预先完成训练后的车牌识别卷积神经网络中进行识别，输出所述待识别车辆图像的车牌号码；
其中，所述车牌识别卷积神经网络由卷积神经网络、双向长短期记忆网络及CTC算法进行组合获得。
7.如权利要求6所述的装置，其特征在于，所述车牌识别卷积网络包括：
卷积核大小为5×5、步长为2、pad为1的第一卷积层，
卷积核大小为3×3、步长为1、pad为1的第二卷积层，
窗口大小为2×2的第一池化层，
卷积核大小为3×3、步长为1、pad为1的第三卷积层，
窗口大小为2×2的第二池化层，
卷积核大小为1×4、步长为1、pad为0的第四卷积层，
双向长短期记忆网络层，全连接层以及CTC算法层。
8.如权利要求7所述的装置，其特征在于，所识别模块包括：
第一卷积处理单元，用于将所述车牌灰度图像输入至所述预先完成训练的车牌识别卷积网络的第一卷积层，输出64个80×16的特征图；
第二卷积处理单元，用于将所述第一卷积层的输出输入至所述车牌识别卷积神经网络的第二卷积层，输出128个80×16的特征图；
第一池化处理单元，将所述第二卷积层的输出输入至所述车牌识别卷积神经网络的第一池化层，输出128个40×8的特征图；
第三卷积处理单元，用于将所述第一池化层的输出输入至所述车牌识别卷积神经网络的第三卷积层，输出256个40×8的特征图；
第二池化处理单元，用于将所述第三卷积层的输出输入至所述车牌识别卷积神经网络的第二池化层，输出256个40×4的特征图；
第四卷积处理单元，用于将所述第二池化层的输出输入至所述车牌识别卷积神经网络的第四卷积层，输出512个20×1的特征图；
BLSTM处理单元，用于将所述第四卷积层的输出输入至所述车牌识别卷积神经网络的双向长短期记忆网络层，输出512个20×1的特征图；
全连接处理单元，用于将所述双向长短期记忆网络层的输出输入至所述车牌识别卷积神经网络的全连接层，输出一个20×37的矩阵；
解码单元，用于将所述全连接层的输出输入至所述车牌识别卷积神经网络的CTC算法层，对所述20×37的矩阵进行解码后，输出识别到的所述待识别车辆图像的车牌号码。
9.一种基于端对端的车牌识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述一种基于端对端的车牌识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述一种基于端对端的车牌识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910703792.1A CN110414451B (zh) | 2019-07-31 | 2019-07-31 | 一种基于端对端的车牌识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910703792.1A CN110414451B (zh) | 2019-07-31 | 2019-07-31 | 一种基于端对端的车牌识别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110414451A true CN110414451A (zh) | 2019-11-05 |
| CN110414451B CN110414451B (zh) | 2023-11-10 |
Family
ID=68364970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910703792.1A Active CN110414451B (zh) | 2019-07-31 | 2019-07-31 | 一种基于端对端的车牌识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110414451B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942071A (zh) * | 2019-12-09 | 2020-03-31 | 上海眼控科技股份有限公司 | 一种基于车牌分类和lstm的车牌识别方法 |
| CN110969164A (zh) * | 2019-12-20 | 2020-04-07 | 湖南千视通信息科技有限公司 | 基于深度学习端对端的低照度成像车牌识别方法及装置 |
| CN110991506A (zh) * | 2019-11-22 | 2020-04-10 | 高新兴科技集团股份有限公司 | 一种车辆品牌识别方法、装置、设备及存储介质 |
| CN111062396A (zh) * | 2019-11-29 | 2020-04-24 | 深圳云天励飞技术有限公司 | 车牌号码识别方法、装置、电子设备及存储介质 |
| CN111191663A (zh) * | 2019-12-31 | 2020-05-22 | 深圳云天励飞技术有限公司 | 车牌号码识别方法、装置、电子设备及存储介质 |
| CN111368645A (zh) * | 2020-02-14 | 2020-07-03 | 北京澎思科技有限公司 | 用于识别多标签车牌的方法、装置、电子设备和可读介质 |
| CN111444917A (zh) * | 2020-03-30 | 2020-07-24 | 合肥京东方显示技术有限公司 | 车牌字符识别方法、装置、电子设备和存储介质 |
| CN111860496A (zh) * | 2020-06-22 | 2020-10-30 | 中国平安财产保险股份有限公司 | 车牌识别方法、装置、设备及计算机可读存储介质 |
| CN111860477A (zh) * | 2020-01-22 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 车辆信息的验证方法和系统、终端和计算机可读存储介质 |
| CN112966631A (zh) * | 2021-03-19 | 2021-06-15 | 浪潮云信息技术股份公司 | 一种无限制安防场景下的车牌检测识别系统及其方法 |
| CN113221887A (zh) * | 2021-05-18 | 2021-08-06 | 上海新纪元机器人有限公司 | 一种车牌识别方法及装置 |
| CN113255395A (zh) * | 2020-02-07 | 2021-08-13 | 深圳云天励飞技术有限公司 | 驾驶人员区域定位方法、装置、电子设备及存储介质 |
| CN113449574A (zh) * | 2020-03-26 | 2021-09-28 | 上海际链网络科技有限公司 | 目标上内容的识别方法及装置、存储介质、计算机设备 |
| CN113963307A (zh) * | 2020-07-02 | 2022-01-21 | 上海际链网络科技有限公司 | 目标上内容的识别及视频采集方法、装置、存储介质、计算机设备 |
| CN114299486A (zh) * | 2021-12-30 | 2022-04-08 | 郑州信大先进技术研究院 | 嵌入式端实时高效的车牌识别方法、设备及介质 |
| CN114463537A (zh) * | 2022-01-06 | 2022-05-10 | 深圳市景阳信息技术有限公司 | 一种车牌的识别方法、装置、终端及可读存储介质 |
| CN114938425A (zh) * | 2021-06-15 | 2022-08-23 | 义隆电子股份有限公司 | 摄影装置及其使用人工智能的物件识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980854A (zh) * | 2017-03-29 | 2017-07-25 | 珠海习悦信息技术有限公司 | 车牌号码识别方法、装置、存储介质及处理器 |
| CN108388896A (zh) * | 2018-02-09 | 2018-08-10 | 杭州雄迈集成电路技术有限公司 | 一种基于动态时序卷积神经网络的车牌识别方法 |
| CN108446696A (zh) * | 2018-02-09 | 2018-08-24 | 杭州雄迈集成电路技术有限公司 | 一种基于深度学习的端到端车牌识别方法 |
-
2019
- 2019-07-31 CN CN201910703792.1A patent/CN110414451B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980854A (zh) * | 2017-03-29 | 2017-07-25 | 珠海习悦信息技术有限公司 | 车牌号码识别方法、装置、存储介质及处理器 |
| CN108388896A (zh) * | 2018-02-09 | 2018-08-10 | 杭州雄迈集成电路技术有限公司 | 一种基于动态时序卷积神经网络的车牌识别方法 |
| CN108446696A (zh) * | 2018-02-09 | 2018-08-24 | 杭州雄迈集成电路技术有限公司 | 一种基于深度学习的端到端车牌识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 都伊林: "《智能安防新发展与应用》", vol. 2018, 华中科技大学出版社, pages: 113 - 114 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110991506A (zh) * | 2019-11-22 | 2020-04-10 | 高新兴科技集团股份有限公司 | 一种车辆品牌识别方法、装置、设备及存储介质 |
| CN111062396A (zh) * | 2019-11-29 | 2020-04-24 | 深圳云天励飞技术有限公司 | 车牌号码识别方法、装置、电子设备及存储介质 |
| CN111062396B (zh) * | 2019-11-29 | 2022-03-25 | 深圳云天励飞技术有限公司 | 车牌号码识别方法、装置、电子设备及存储介质 |
| CN110942071A (zh) * | 2019-12-09 | 2020-03-31 | 上海眼控科技股份有限公司 | 一种基于车牌分类和lstm的车牌识别方法 |
| CN110969164A (zh) * | 2019-12-20 | 2020-04-07 | 湖南千视通信息科技有限公司 | 基于深度学习端对端的低照度成像车牌识别方法及装置 |
| CN111191663B (zh) * | 2019-12-31 | 2022-01-11 | 深圳云天励飞技术股份有限公司 | 车牌号码识别方法、装置、电子设备及存储介质 |
| CN111191663A (zh) * | 2019-12-31 | 2020-05-22 | 深圳云天励飞技术有限公司 | 车牌号码识别方法、装置、电子设备及存储介质 |
| WO2021135254A1 (zh) * | 2019-12-31 | 2021-07-08 | 深圳云天励飞技术股份有限公司 | 车牌号码识别方法、装置、电子设备及存储介质 |
| CN111860477A (zh) * | 2020-01-22 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 车辆信息的验证方法和系统、终端和计算机可读存储介质 |
| CN113255395B (zh) * | 2020-02-07 | 2024-06-11 | 深圳云天励飞技术有限公司 | 驾驶人员区域定位方法、装置、电子设备及存储介质 |
| CN113255395A (zh) * | 2020-02-07 | 2021-08-13 | 深圳云天励飞技术有限公司 | 驾驶人员区域定位方法、装置、电子设备及存储介质 |
| CN111368645A (zh) * | 2020-02-14 | 2020-07-03 | 北京澎思科技有限公司 | 用于识别多标签车牌的方法、装置、电子设备和可读介质 |
| CN113449574A (zh) * | 2020-03-26 | 2021-09-28 | 上海际链网络科技有限公司 | 目标上内容的识别方法及装置、存储介质、计算机设备 |
| WO2021196873A1 (zh) * | 2020-03-30 | 2021-10-07 | 京东方科技集团股份有限公司 | 车牌字符识别方法、装置、电子设备和存储介质 |
| CN111444917A (zh) * | 2020-03-30 | 2020-07-24 | 合肥京东方显示技术有限公司 | 车牌字符识别方法、装置、电子设备和存储介质 |
| CN111860496A (zh) * | 2020-06-22 | 2020-10-30 | 中国平安财产保险股份有限公司 | 车牌识别方法、装置、设备及计算机可读存储介质 |
| CN113963307A (zh) * | 2020-07-02 | 2022-01-21 | 上海际链网络科技有限公司 | 目标上内容的识别及视频采集方法、装置、存储介质、计算机设备 |
| CN112966631A (zh) * | 2021-03-19 | 2021-06-15 | 浪潮云信息技术股份公司 | 一种无限制安防场景下的车牌检测识别系统及其方法 |
| CN113221887A (zh) * | 2021-05-18 | 2021-08-06 | 上海新纪元机器人有限公司 | 一种车牌识别方法及装置 |
| CN114938425A (zh) * | 2021-06-15 | 2022-08-23 | 义隆电子股份有限公司 | 摄影装置及其使用人工智能的物件识别方法 |
| CN114299486A (zh) * | 2021-12-30 | 2022-04-08 | 郑州信大先进技术研究院 | 嵌入式端实时高效的车牌识别方法、设备及介质 |
| CN114299486B (zh) * | 2021-12-30 | 2024-04-16 | 郑州信大先进技术研究院 | 嵌入式端实时高效的车牌识别方法、设备及介质 |
| CN114463537A (zh) * | 2022-01-06 | 2022-05-10 | 深圳市景阳信息技术有限公司 | 一种车牌的识别方法、装置、终端及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110414451B (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110414451A (zh) | 一种基于端对端的车牌识别方法、装置、设备及存储介质 | |
| CN111191663B (zh) | 车牌号码识别方法、装置、电子设备及存储介质 | |
| CN111104903B (zh) | 一种深度感知交通场景多目标检测方法和系统 | |
| CN110059694A (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
| CN108364010A (zh) | 一种车牌识别方法、装置、设备及计算机可读存储介质 | |
| CN109472262A (zh) | 车牌识别方法、装置、计算机设备及存储介质 | |
| CN106875546A (zh) | 一种增值税发票的识别方法 | |
| CN110111581A (zh) | 目标识别方法、装置、计算机设备及存储介质 | |
| CN109657715B (zh) | 一种语义分割方法、装置、设备及介质 | |
| CN111191608B (zh) | 基于YOLOv3改进的交通标志检测与识别方法 | |
| CN101615244A (zh) | 手写板坯号自动识别方法及识别装置 | |
| CN104361096B (zh) | 一种基于特征富集区域集合的图像检索方法 | |
| CN109871789A (zh) | 一种基于轻量化神经网络的复杂环境下车辆检测方法 | |
| CN110399760A (zh) | 一种批量二维码定位方法、装置、电子设备及存储介质 | |
| Xiang et al. | Lightweight fully convolutional network for license plate detection | |
| CN109492640A (zh) | 车牌识别方法、装置及计算机可读存储介质 | |
| CN112232351A (zh) | 一种基于深度神经网络的车牌识别系统 | |
| CN110334709A (zh) | 基于端到端多任务深度学习的车牌检测方法 | |
| CN109086772A (zh) | 一种扭曲粘连字符图片验证码的识别方法及系统 | |
| CN114782770A (zh) | 一种基于深度学习的车牌检测与车牌识别方法及系统 | |
| CN105335685B (zh) | 图像识别方法和装置 | |
| CN109740554A (zh) | 一种道路边缘线识别方法及系统 | |
| CN113505640A (zh) | 一种基于多尺度特征融合的小尺度行人检测方法 | |
| CN112613434A (zh) | 道路目标检测方法、装置及存储介质 | |
| CN112528994B (zh) | 一种自由角度车牌检测方法、车牌识别方法和识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |