CN107944450A - 一种车牌识别方法及装置 - Google Patents

一种车牌识别方法及装置 Download PDF

Info

Publication number
CN107944450A
CN107944450A CN201711136625.0A CN201711136625A CN107944450A CN 107944450 A CN107944450 A CN 107944450A CN 201711136625 A CN201711136625 A CN 201711136625A CN 107944450 A CN107944450 A CN 107944450A
Authority
CN
China
Prior art keywords
prediction label
target
label sequence
image
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711136625.0A
Other languages
English (en)
Other versions
CN107944450B (zh
Inventor
施欣欣
杨威
刘凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN HARZONE TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN HARZONE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN HARZONE TECHNOLOGY Co Ltd filed Critical SHENZHEN HARZONE TECHNOLOGY Co Ltd
Priority to CN201711136625.0A priority Critical patent/CN107944450B/zh
Publication of CN107944450A publication Critical patent/CN107944450A/zh
Application granted granted Critical
Publication of CN107944450B publication Critical patent/CN107944450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供了一种车牌识别方法及装置，所述方法包括：获取目标图像，所述目标图像为仅包含目标车牌的图像；通过预设训练模型对所述目标图像进行训练，得到指定维度的深度特征集；将所述指定维度的深度特征集输入到Bi‑GRU神经网络进行训练，得到预测标签序列集；将所述预测标签序列集转化为目标车牌号。采用本发明实施例，可以对仅为车牌的图像进行训练，得到指定维度特征，并采用Bi‑GRU神经网络对这些特征进行训练，提升了车牌识别精度。

Description

一种车牌识别方法及装置
技术领域
本发明涉及图像处理技术领域，具体涉及一种车牌识别方法及装置。
背景技术
随着城市汽车数量的不断攀升，由此带来的交通和环境问题也日渐加剧。为了上述问题，智能交通系统已经成为城市发展的重点研究对象。而在智能交通系统中，对于车型的细粒度识别，已经被证明是一项关键技术，其在处理以下事件：提高收费效率，裁定交通责任和追踪肇事逃逸等等交通问题，上有着得天独厚的优势，因此，受到各研究单位的关注。
目前来看，车牌识别是计算机视觉领域的一个研究热点，在实际过程中由于摄像头与车辆角度不在同一水平上，目标图像的车牌区域部分通常存在角度倾斜，同时往往还容易受到光照条件变化的影响，车牌中的车牌区域出现扭曲现象，车牌字符发生变形，导致字符定位困难，给识别带来极大的影响。因此，如何提升车牌识别精度的问题亟待解决。
发明内容
本发明实施例提供了一种车牌识别方法及装置，可以提升车牌识别精度。
本发明实施例第一方面提供了一种车牌识别方法，包括：
获取目标图像，所述目标图像为仅包含目标车牌的图像；
通过预设训练模型对所述目标图像进行训练，得到指定维度的深度特征集；
将所述指定维度的深度特征集输入到Bi-GRU神经网络进行训练，得到预测标签序列集；
将所述预测标签序列集转化为目标车牌号。
本发明实施例第二方面提供了一种车牌识别装置，包括:
获取单元，用于获取目标图像，所述目标图像为仅包含目标车牌的图像；
第一训练单元，用于通过预设训练模型对所述目标图像进行训练，得到指定维度的深度特征集；
第二训练单元，用于将所述指定维度的深度特征集输入到Bi-GRU神经网络进行训练，得到预测标签序列集；
转化单元，用于将所述预测标签序列集转化为目标车牌号。
第三方面，本发明实施例提供了一种移动终端，包括：处理器和存储器；以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。
第四方面，本发明实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如本发明实施例第一方面中所描述的部分或全部步骤的指令。
第五方面，本发明实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本发明实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本发明实施例，具有如下有益效果：
可以看出，通过本发明实施例，获取目标图像，目标图像为仅包含目标车牌的图像，通过预设训练模型对目标图像进行训练，得到指定维度的深度特征集，将指定维度的深度特征集输入到Bi-GRU神经网络进行训练，得到预测标签序列集，将预测标签序列集转化为目标车牌号，采用本发明实施例，可以对仅为车牌的图像进行训练，得到指定维度特征，并采用Bi-GRU神经网络对这些特征进行训练，提升了车牌识别精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种车牌识别方法的第一实施例流程示意图；
图1a是本发明实施例提供的一种车牌识别方法的系统流程示意图；
图1b是本发明实施例提供的Bi-GRU网络结构的演示示意图；
图1c是本发明实施例提供的GRU单元格结构的演示示意图；
图2是本发明实施例提供的一种车牌识别方法的第二实施例流程示意图；
图3a是本发明实施例提供的一种车牌识别装置的实施例结构示意图；
图3b是本发明实施例提供的图3a所描述的车牌识别装置的获取单元的结构示意图；
图3c是本发明实施例提供的图3a所描述的车牌识别装置的第一训练单元的结构示意图；
图3d是本发明实施例提供的图3a所描述的车牌识别装置的转化单元的结构示意图；
图3e是本发明实施例提供的图3a所描述的车牌识别装置的转化单元的另一结构示意图；
图4是本发明实施例提供的一种车牌识别装置的实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明实施例所描述车牌识别装置可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、视频矩阵、监控平台、车载设备、卫星、掌上电脑、笔记本电脑、移动互联网设备(MID，Mobile Internet Devices)或穿戴式设备等，上述仅是举例，而非穷举，包含但不限于上述装置，当然，上述车牌识别装置还可以为服务器。
需要说明的是，本发明实施例中，预设训练模型可以为卷积神经网络。
本发明实施例中提供了一种车牌识别方法，包括如下步骤：
获取目标图像，所述目标图像为仅包含目标车牌的图像；
通过预设训练模型对所述目标图像进行训练，得到指定维度的深度特征集；
将所述指定维度的深度特征集输入到Bi-GRU神经网络进行训练，得到预测标签序列集；
将所述预测标签序列集转化为目标车牌号。
可以看出，通过本发明实施例，获取目标图像，目标图像为仅包含目标车牌的图像，通过预设训练模型对目标图像进行训练，得到指定维度的深度特征集，将指定维度的深度特征集输入到Bi-GRU神经网络进行训练，得到预测标签序列集，将预测标签序列集转化为目标车牌号，采用本发明实施例，可以对仅为车牌的图像进行训练，得到指定维度特征，并采用Bi-GRU神经网络对这些特征进行训练，提升了车牌识别精度。
其中，上述本发明实施例所描述的方法相对传统算法而言，本方法并没有将车牌的识别割裂的分为字符分割和识别两个过程，采取的是一种端到端(end-to-end)的图像识别方法。通过深度卷积神经网络对全图进行特征提取，在样本足够的情况下，深度神经网络能够很好的拟合不同场景下的特征映射关系，提取到对光照，旋转等复杂环境下的鲁棒性特征；接下来将特征序列输入到Bi-GRU网络，Bi-GRU网络属于循环神经网络(Recurrentneural Network,RNN)的一变种，不仅能够建立起深度特征与标签间的映射关系，还能够较好的拟合特征序列间上下文之间的潜在联系，能够较好的解决车牌字符的识别问题。
其中，上述预设训练模型可以采用如下方式得到：
首先，选取包含车辆的大量图像作为待训练图像，从每一图像中检测并截取出车牌区域图像；
然后，将车牌区域图像对齐，缩放到特定尺寸，并对各车牌区域图像标注其车牌标签序列，生成车牌标签序列数据库。
请参阅图1，为本发明实施例提供的一种车牌识别方法的第一实施例流程示意图。本实施例中所描述的车牌识别方法，包括以下步骤：
101、获取目标图像，所述目标图像为仅包含目标车牌的图像。
其中，目标图像可为包含目标车牌的图像，当然，该车牌可以为以下至少一种：蓝牌、单层黄牌、双车牌(例如，香港入内地车辆)、双层黄牌、黑牌、白牌、绿牌等等。上述预设训练模型可以为卷积神经网络模型。
可选地，上述步骤101中，获取目标图像，可包括如下步骤：
11、获取原始图像；
12、根据车牌的属性信息对所述原始图像进行图像分割，得到所述目标车牌图像。
其中，车牌的属性信息可以为以下至少一种：车牌尺寸、车牌颜色、车牌的螺母位置以及数量、车牌的字符数目、车牌的组合形式(例如，渝ALN673(行政区域(汉字)+字符))。可以对车辆进行拍摄，得到原始图像，对该原始图像进行图像分割，可以得到目标车牌图像。
102、通过预设训练模型对所述目标图像进行训练，得到指定维度的深度特征集。
其中，可以通过分类子网络模型对待处理图像进行训练，得到全局特征集。进一步的，定位子网络模型的输入信息可以作为所述分类子网络模型的卷积层特征。上述输入信息可以为以下至少一种：卷积核大小，卷积核类型，定位子网络模型的层数，定位子网络模型的输入图像，例如，输入图像为待处理图像的特征点。
可选地，上述步骤102中通过预设训练模型对所述目标图像进行训练，得到指定维度的深度特征集，可以包括如下步骤：
21、获取所述目标图像的环境属性；
22、根据所述环境属性确定配置所述预设训练模型的训练参数，所述训练参数至少包括所述指定维度；
23、根据所述配置后的预设训练模型对所述目标图像进行训练，得到所述指定维度对应的深度特征集。
其中，上述环境属性可以为以下至少一种：拍摄时间、拍摄位置、拍摄天气、拍摄环境亮度、拍摄空气湿度、拍摄环境温度、拍摄物体与摄像头之间的距离、拍摄物体的运行速度、拍摄物体与摄像头之间的角度。上述训练参数可以为以下至少一种：指定维度、卷积核大小、卷积核数目、最大收敛次数、最小性能梯度、收敛误差、训练目标最小误差、训练次数、性能函数等等。可以预先存储环境属性与训练参数之间的映射关系，进而，根据该映射关系确定预设训练模型的训练参数，预设训练模型的训练参数至少包含指定维度的位置，即哪一层。
103、将所述指定维度的深度特征集输入到Bi-GRU神经网络进行训练，得到预测标签序列集。
其中，可以将指定维度的深度特征集输入到Bi-GRU神经网络进行训练，得到预测标签序列集，该预测标签序列集可以包括至少一个预测标签序列。
可选地，本发明实施例提供了一种基于深度特征和Bi-GRU的车牌识别方法，主要分为训练和测试两个过程。本发明实施例所解决的具体问题是针对裁剪后的完整车牌的识别问题，如图1a所示为本发明实施例的方法流程图，包括如下步骤：
A、对车牌图像进行预处理
例如，在训练与测试过程中，车牌图像可以设置为固定尺寸，例如，168×48的像素大小，训练过程需要建立起从字符到类别的映射关系，将字符转化为类别标签，并将标准尺寸图像与其对应的类别标签序列成对保存。
B、图像的特征提取与识别
b1、深度特征提取：本发明实施例中的深度特征提取部分是通过深度卷积神经网络将图像转化为特征信息。深度卷积神经网络采取RESNET的网络结构，包含24个Convolution层，23个BatchNorm层，23个Scale层，22个ReLU层，7个Eltwise层。训练时使用随机梯度下降对模型参数进行迭代求解。
b2、Bi-GRU特征转化：在本发明实施例中的深度特征转为预测标签序列通过Bi-GRU模型完成，Bi-GRU(Bidirectional-Gate Recurrent Unit，GRU)是一种特殊的RNN网络结构，网络结构如图1b所示，该网络是由若干个GRU单元构成，能够较好的拟合标签序列间的潜在关系，与LSTM(long short term memory)不同，它将忘记门和输入门合成了一个单一的更新门，同样还混合了细胞状态和隐藏状态，最终的模型比标准的LSTM单元模型要简单。GRU模型的基本单元结构如图1c所示，在本发明实施例中该模型由21个GRU神经元组成，对应每个深度特征可以输出的特征序列长度为21。
每个GRU单元结构的数据流过程如下：
其中表示矩阵元素间的点乘运算，下标表示节点的索引，上标表示时间点；
Wy∈Rhd×yd表示隐含层到输出层间的参数矩阵，hd和yd分别表示隐含层和输出层的节点个数；
Wz∈Rxd×hd,Uz∈Rhd×yd分别表示输入和上一时刻隐含层到更新们z之间的连接矩阵，xd表示输入数据的维度；
Wτ∈Rxd×hd,Uτ∈Rhd×hd分别表示输入和上一时刻隐含层到重置门r之间的连接矩阵；
W∈Rxd×hd,U∈Rhd×hd分别表示输入和上一时刻隐含层到待选状态之间的连接矩阵。
104、将所述预测标签序列集转化为目标车牌号。
其中，预测标签字符集可以包含多个预测标签序列，进而，可以将预测标签序列集转化为目标车牌号。
可选地，所述预测标签序列集包含P个预测标签序列，所述P为大于1的整数；上述步骤104中，将所述预测标签序列集转化为目标车牌号，可包括如下步骤：
A1、确定所述P个预测标签序列对应的字符数目N；
A2、根据所述N对所述P个预测标签序列进行筛选，得到Q个预测标签序列，所述Q为不大于所述P的正整数，所述Q个预测标签序列中每一预测标签序列均包含N个字符；
A3、根据所述Q个预测标签序列确定出目标预测标签序列，将所述目标预测标签序列作为所述目标车牌号。
其中，预测标签序列集包含P个预测标签序列，P为大于1的整数，每一预测标签序列均对应一个字符数目，即包含几个字符，在实施A1过程中，可以确定P个预测标签序列中每一预测标签序列的字符数目，选取出现次数最多的字符数目，进而，可以根据N对P个预测标签序列进行筛选，得到Q个预测标签序列，Q为不大于P的正整数，Q个预测标签序列中每一预测标签序列均包含N个字符，进一步地，根据Q个预测标签序列确定出目标预测标签序列，将目标预测标签序列作为目标车牌号，即分别确定预测标签序列中每一位置出现次数最多的字符，将这些字符拼接在一起，得到目标预测标签序列，即目标车牌号。
例如，一个预测标签序列集包含4个预测标签序列，字符数目分别为，5，6，5，5，因此，这4个预测标签序列对应的字符数目5，可以根据字符数目5对4个预测标签序列进行筛选，即过滤掉字符数目为6的预测标签序列。例如，剩下的3个预测标签序列，该3个预测标签序列分别为：areyou，aleyou，areyou，预测标签序列的第一个位置均为“a”，“a”，“a”，即第一位置字符为a，第二个位置均为“r”，“l”，“r”，那么，第二位置个位置的字符为r，以此类推，得到最终的预测标签序列为“areyou”。
可选地，上述步骤104中，将所述预测标签序列集转化为目标车牌号，可包括如下步骤：
B1、通过预设CTC模型确定所述预测标签序列集中的每一预测标签序列与实际标签序列间的误差，得到多个误差值；
B2、从所述多个误差值中选取最小误差值对应的预测标签序列作为所述目标车牌号。
其中，可以通过预设CTC模型确定预测标签序列集中的每一预测标签序列与实际标签序列间的误差，得到多个误差值，从多个误差值中选取最小误差值对应的预测标签序列作为目标车牌号。
其中，CTC(Connectionist temporal classification，CTC)模型误差计算；本发明实施例中深度特征通过GRU模型可以得到长度为21的标签序列，CTC模型是构建序列间的loss function，该模型的优势是避免了传统误差计算模型中的预测序列标签与实际标签间的严格对齐操作。
前向传播：
其中l'u代表第t时间步的输出label，代表t时刻输出为空格的概率：
反向传播：
loss function：
若p(z|x)代表给定输入序列x，输出序列z的概率，S为训练集，CTC损失函数定义如下所示：
将前向传播变量和反向传播变量代入到上述公式，定义集合
mapping()表示将输出路径映射到(π'+π)标签序列l的一种变换。则
上式可以进一步转化为
可以看出，通过本发明实施例，获取目标图像，目标图像为仅包含目标车牌的图像，通过预设训练模型对目标图像进行训练，得到指定维度的深度特征集，将指定维度的深度特征集输入到Bi-GRU神经网络进行训练，得到预测标签序列集，将预测标签序列集转化为目标车牌号，采用本发明实施例，可以对仅为车牌的图像进行训练，得到指定维度特征，并采用Bi-GRU神经网络对这些特征进行训练，提升了车牌识别精度。
与上述一致地，请参阅图2，为本发明实施例提供的一种车牌识别方法的第二实施例流程示意图。本实施例中所描述的车牌识别方法，包括以下步骤：
201、获取车牌的正样本集和负样本集，所述正样本集中包含多个仅包含车牌的图像，所述负样本集包含多个第一图像，所述第一图像为以下至少一种：非车牌图像、不完整车牌图像和模糊车牌图像。
其中，步骤201中的正样本集可为正常车牌的图像，正样本集中包含多个正样本，正样本集中包含多个仅包含车牌的图像。负样本集包含多个第一图像，第一图像为以下至少一种：非车牌图像、不完整车牌图像和模糊车牌图像，即不包含车牌或者车牌不正常的图像，上述正样本集和负样本集的包含的样本数量当然越多，训练出来的模型越准确，但是，正样本和负样本的数量越多，也会增加训练时候的计算成本。
202、对所述正样本集和所述负样本集进行特征提取，得到多个特征。
其中，上述特征提取的方法可以为特征点提取或者特征轮廓提取，特征点提取可以为以下至少一种：harris角点检测算法、尺度不变特征提取算法、SURF算法等等，特征轮廓提取可以为以下至少一种：霍夫变换，形态学方法，分形方法等等。
203、对所述多个特征进行训练，得到预设训练模型。
其中，可以多上述多个特征进行训练，进而，得到预设训练模型。
204、获取目标图像，所述目标图像为仅包含目标车牌的图像。
205、通过预设训练模型对所述目标图像进行训练，得到指定维度的深度特征集；
206、将所述指定维度的深度特征集输入到Bi-GRU神经网络进行训练，得到预测标签序列集。
207将所述预测标签序列集转化为目标车牌号。
其中，上述步骤204-步骤207的具体描述可参照图1所描述的车牌识别方法的对应步骤101-步骤104，在此不再赘述。
可以看出，通过本发明实施例，获取车牌的正样本集和负样本集，正样本集中包含多个仅包含车牌的图像，负样本集包含多个第一图像，第一图像为以下至少一种：非车牌图像、不完整车牌图像和模糊车牌图像，对正样本集和负样本集进行特征提取，得到多个特征，对多个特征进行训练，得到预设训练模模型，获取目标图像，目标图像为仅包含目标车牌的图像，通过预设训练模型对目标图像进行训练，得到指定维度的深度特征集，将指定维度的深度特征集输入到Bi-GRU神经网络进行训练，得到预测标签序列集，将预测标签序列集转化为目标车牌号，采用本发明实施例，可以对仅为车牌的图像进行训练，得到指定维度特征，并采用Bi-GRU神经网络对这些特征进行训练，提升了车牌识别精度。
与上述一致地，以下为实施上述车牌识别方法的装置，具体如下：
请参阅图3a，为本发明实施例提供的一种车牌识别装置的实施例结构示意图。本实施例中所描述的车牌识别装置，包括：获取单元301、第一训练单元302、第二训练单元303和转化单元304，具体如下：
获取单元301，用于获取目标图像，所述目标图像为仅包含目标车牌的图像；
第一训练单元302，用于通过预设训练模型对所述目标图像进行训练，得到指定维度的深度特征集；
第二训练单元303，用于将所述指定维度的深度特征集输入到Bi-GRU神经网络进行训练，得到预测标签序列集；
转化单元304，用于将所述预测标签序列集转化为目标车牌号。
可选地，如图3b，图3b为图3a中所描述的车牌识别装置中的获取单元301的具体细化结构，所述获取单元301可包括：第一获取模块3011和分割模块3012，具体如下：
第一获取模块3011，用于获取原始图像；
分割模块3012，用于根据车牌的属性信息对所述原始图像进行图像分割，得到所述目标车牌图像。
可选地，如图3c，图3c为图3a中所描述的车牌识别装置中的第一训练单元302的具体细化结构，所述第一训练单元302可包括：第二获取模块3021、配置模块3022和训练模块3023，具体如下：
第二获取模块3021，用于获取所述目标图像的环境属性；
配置模块3022，用于根据所述环境属性确定配置所述预设训练模型的训练参数，所述训练参数至少包括所述指定维度；
训练模块3023，用于根据所述配置后的预设训练模型对所述目标图像进行训练，得到所述指定维度对应的深度特征集。
可选地，所述预测标签序列集包含P个预测标签序列，所述P为大于1的整数；如图3d，图3d为图3a中所描述的车牌识别装置中的转化单元304的具体细化结构，所述转化单元304可包括：第一确定模块3041、筛选模块3042和第二确定模块3043，具体如下：
第一确定模块3041，用于确定所述P个预测标签序列对应的字符数目N；
筛选模块3042，用于根据所述N对所述P个预测标签序列进行筛选，得到Q个预测标签序列，所述Q为不大于所述P的正整数，所述Q个预测标签序列中每一预测标签序列均包含N个字符；
第二确定模块3043，用于根据所述Q个预测标签序列确定出目标预测标签序列，将所述目标预测标签序列作为所述目标车牌号。
可选地，如图3e，图3e为图3a中所描述的车牌识别装置中的转化单元304的具体细化结构，所述转化单元304可包括：第三确定模块3044和选取模块3045，具体如下：
第三确定模块3044，用于通过预设CTC模型确定所述预测标签序列集中的每一预测标签序列与实际标签序列间的误差，得到多个误差值；
选取模块3045，用于从所述多个误差值中选取最小误差值对应的预测标签序列作为所述目标车牌号。
可以看出，通过本发明实施例所描述的车牌识别装置，获取目标图像，目标图像为仅包含目标车牌的图像，通过预设训练模型对目标图像进行训练，得到指定维度的深度特征集，将指定维度的深度特征集输入到Bi-GRU神经网络进行训练，得到预测标签序列集，将预测标签序列集转化为目标车牌号，采用本发明实施例，可以对仅为车牌的图像进行训练，得到指定维度特征，并采用Bi-GRU神经网络对这些特征进行训练，提升了车牌识别精度。
与上述一致地，请参阅图4，为本发明实施例提供的一种车牌识别装置的实施例结构示意图。本实施例中所描述的车牌识别装置，包括：至少一个输入设备1000；至少一个输出设备2000；至少一个处理器3000，例如CPU；和存储器4000，上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。
其中，上述输入设备1000具体可为触控面板、物理按键或者鼠标。
上述输出设备2000具体可为显示屏。
上述存储器4000可以是高速RAM存储器，也可为非易失存储器(non-volatilememory)，例如磁盘存储器。上述存储器4000用于存储一组程序代码，上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码，执行如下操作：
上述处理器3000，用于：
获取目标图像，所述目标图像为仅包含目标车牌的图像；
通过预设训练模型对所述目标图像进行训练，得到指定维度的深度特征集；
将所述指定维度的深度特征集输入到Bi-GRU神经网络进行训练，得到预测标签序列集；
将所述预测标签序列集转化为目标车牌号。
可选地，上述处理器3000获取目标图像，包括：
获取原始图像；
根据车牌的属性信息对所述原始图像进行图像分割，得到所述目标车牌图像。
可选地，上述处理器3000通过预设训练模型对所述目标图像进行训练，得到指定维度的深度特征集，包括：
获取所述目标图像的环境属性；
根据所述环境属性确定配置所述预设训练模型的训练参数，所述训练参数至少包括所述指定维度；
根据所述配置后的预设训练模型对所述目标图像进行训练，得到所述指定维度对应的深度特征集。
可选地，所述预测标签序列集包含P个预测标签序列，所述P为大于1的整数；上述处理器3000将所述预测标签序列集转化为目标车牌号，包括：
确定所述P个预测标签序列对应的字符数目N；
根据所述N对所述P个预测标签序列进行筛选，得到Q个预测标签序列，所述Q为不大于所述P的正整数，所述Q个预测标签序列中每一预测标签序列均包含N个字符；
根据所述Q个预测标签序列确定出目标预测标签序列，将所述目标预测标签序列作为所述目标车牌号。
可选地，上述处理器3000将所述预测标签序列集转化为目标车牌号，包括：
通过预设CTC模型确定所述预测标签序列集中的每一预测标签序列与实际标签序列间的误差，得到多个误差值；
从所述多个误差值中选取最小误差值对应的预测标签序列作为所述目标车牌号。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种车牌识别方法的部分或全部步骤。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种车牌识别方法的部分或全部步骤。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
本领域技术人员应明白，本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。
本发明是参照本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程车牌定位设备的处理器以产生一个机器，使得通过计算机或其他可编程车牌定位设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程车牌定位设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程车牌定位设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种车牌识别方法，其特征在于，包括：
获取目标图像，所述目标图像为仅包含目标车牌的图像；
通过预设训练模型对所述目标图像进行训练，得到指定维度的深度特征集；
将所述指定维度的深度特征集输入到Bi-GRU神经网络进行训练，得到预测标签序列集；
将所述预测标签序列集转化为目标车牌号。
2.根据权利要求1所述的方法，其特征在于，所述获取目标图像，包括：
获取原始图像；
根据车牌的属性信息对所述原始图像进行图像分割，得到所述目标车牌图像。
3.根据权利要求1或2所述的方法，其特征在于，所述通过预设训练模型对所述目标图像进行训练，得到指定维度的深度特征集，包括：
获取所述目标图像的环境属性；
根据所述环境属性确定配置所述预设训练模型的训练参数，所述训练参数至少包括所述指定维度；
根据所述配置后的预设训练模型对所述目标图像进行训练，得到所述指定维度对应的深度特征集。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述预测标签序列集包含P个预测标签序列，所述P为大于1的整数；
所述将所述预测标签序列集转化为目标车牌号，包括：
确定所述P个预测标签序列对应的字符数目N；
根据所述N对所述P个预测标签序列进行筛选，得到Q个预测标签序列，所述Q为不大于所述P的正整数，所述Q个预测标签序列中每一预测标签序列均包含N个字符；
根据所述Q个预测标签序列确定出目标预测标签序列，将所述目标预测标签序列作为所述目标车牌号。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述将所述预测标签序列集转化为目标车牌号，包括：
通过预设CTC模型确定所述预测标签序列集中的每一预测标签序列与实际标签序列间的误差，得到多个误差值；
从所述多个误差值中选取最小误差值对应的预测标签序列作为所述目标车牌号。
6.一种车牌识别装置，其特征在于，包括:
获取单元，用于获取目标图像，所述目标图像为仅包含目标车牌的图像；
第一训练单元，用于通过预设训练模型对所述目标图像进行训练，得到指定维度的深度特征集；
第二训练单元，用于将所述指定维度的深度特征集输入到Bi-GRU神经网络进行训练，得到预测标签序列集；
转化单元，用于将所述预测标签序列集转化为目标车牌号。
7.根据权利要求6所述的装置，其特征在于，所述获取单元包括：
第一获取模块，用于获取原始图像；
分割模块，用于根据车牌的属性信息对所述原始图像进行图像分割，得到所述目标车牌图像。
8.根据权利要求6或7所述的装置，其特征在于，所述第一训练单元包括：
第二获取模块，用于获取所述目标图像的环境属性；
配置模块，用于根据所述环境属性确定配置所述预设训练模型的训练参数，所述训练参数至少包括所述指定维度；
训练模块，用于根据所述配置后的预设训练模型对所述目标图像进行训练，得到所述指定维度对应的深度特征集。
9.根据权利要求6至8任一项所述的装置，其特征在于，所述预测标签序列集包含P个预测标签序列，所述P为大于1的整数；
所述转化单元包括：
第一确定模块，用于确定所述P个预测标签序列对应的字符数目N；
筛选模块，用于根据所述N对所述P个预测标签序列进行筛选，得到Q个预测标签序列，所述Q为不大于所述P的正整数，所述Q个预测标签序列中每一预测标签序列均包含N个字符；
第二确定模块，用于根据所述Q个预测标签序列确定出目标预测标签序列，将所述目标预测标签序列作为所述目标车牌号。
10.根据权利要求6至8任一项所述的装置，其特征在于，所述转化单元，包括：
第三确定模块，用于通过预设CTC模型确定所述预测标签序列集中的每一预测标签序列与实际标签序列间的误差，得到多个误差值；
选取模块，用于从所述多个误差值中选取最小误差值对应的预测标签序列作为所述目标车牌号。
CN201711136625.0A 2017-11-16 2017-11-16 一种车牌识别方法及装置 Active CN107944450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711136625.0A CN107944450B (zh) 2017-11-16 2017-11-16 一种车牌识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711136625.0A CN107944450B (zh) 2017-11-16 2017-11-16 一种车牌识别方法及装置

Publications (2)

Publication Number Publication Date
CN107944450A true CN107944450A (zh) 2018-04-20
CN107944450B CN107944450B (zh) 2020-04-24

Family

ID=61931399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711136625.0A Active CN107944450B (zh) 2017-11-16 2017-11-16 一种车牌识别方法及装置

Country Status (1)

Country Link
CN (1) CN107944450B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921285A (zh) * 2018-06-22 2018-11-30 西安理工大学 基于双向门控循环神经网络的序列中单一元素分类方法
CN109086765A (zh) * 2018-08-01 2018-12-25 北京嘀嘀无限科技发展有限公司 车牌识别方法、装置、介质、服务器和行车记录仪
CN109117857A (zh) * 2018-08-28 2019-01-01 苏州芯德锐信息科技有限公司 一种生物属性的识别方法、装置及设备
CN109710787A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像描述方法
CN109978228A (zh) * 2019-01-31 2019-07-05 中南大学 一种pm2.5浓度预测方法、装置及介质
CN110070085A (zh) * 2019-04-30 2019-07-30 北京百度网讯科技有限公司 车牌识别方法和装置
CN110490179A (zh) * 2018-05-15 2019-11-22 杭州海康威视数字技术股份有限公司 车牌识别方法、装置及存储介质
CN110543882A (zh) * 2018-05-29 2019-12-06 北京深鉴智能科技有限公司 一种字符串识别方法与装置
CN110689002A (zh) * 2018-07-05 2020-01-14 山东华软金盾软件股份有限公司 一种基于循环神经网络模型的车牌识别方法及装置
CN111222704A (zh) * 2020-01-10 2020-06-02 中国人民解放军国防科技大学 一种基于Bi-GRU的车辆位置预测方法
CN111259886A (zh) * 2020-01-08 2020-06-09 上海眼控科技股份有限公司 车牌螺丝检测方法、电子装置、计算机设备和存储介质
CN112209197A (zh) * 2020-10-30 2021-01-12 深兰人工智能芯片研究院（江苏）有限公司 电梯故障检测方法和装置
CN113168511A (zh) * 2018-09-24 2021-07-23 莫维迪乌斯有限公司 基于选择性隐私和/或位置跟踪来生成遮蔽图像的方法和装置
CN116630979A (zh) * 2023-04-10 2023-08-22 雄安创新研究院 一种ocr识别方法、系统、存储介质和边缘设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694130A (zh) * 2005-03-24 2005-11-09 上海大学 基于三路并行人工神经网络的移动号牌识别方法
CN103761531A (zh) * 2014-01-20 2014-04-30 西安理工大学 基于形状轮廓特征的稀疏编码车牌字符识别方法
KR101715273B1 (ko) * 2016-10-05 2017-03-10 한밭대학교 산학협력단 고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법
CN106650740A (zh) * 2016-12-15 2017-05-10 深圳市华尊科技股份有限公司 一种车牌识别方法及终端
EP3182334A1 (en) * 2015-12-17 2017-06-21 Xerox Corporation License plate recognition using coarse-to-fine cascade adaptations of convolutional neural networks
CN106919925A (zh) * 2017-03-07 2017-07-04 南京师范大学 一种基于小波熵与人工神经网络的福特汽车检测方法
CN106980854A (zh) * 2017-03-29 2017-07-25 珠海习悦信息技术有限公司 车牌号码识别方法、装置、存储介质及处理器
CN107067002A (zh) * 2017-03-09 2017-08-18 华东师范大学 一种动态视频中道路车牌识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694130A (zh) * 2005-03-24 2005-11-09 上海大学 基于三路并行人工神经网络的移动号牌识别方法
CN103761531A (zh) * 2014-01-20 2014-04-30 西安理工大学 基于形状轮廓特征的稀疏编码车牌字符识别方法
EP3182334A1 (en) * 2015-12-17 2017-06-21 Xerox Corporation License plate recognition using coarse-to-fine cascade adaptations of convolutional neural networks
KR101715273B1 (ko) * 2016-10-05 2017-03-10 한밭대학교 산학협력단 고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법
CN106650740A (zh) * 2016-12-15 2017-05-10 深圳市华尊科技股份有限公司 一种车牌识别方法及终端
CN106919925A (zh) * 2017-03-07 2017-07-04 南京师范大学 一种基于小波熵与人工神经网络的福特汽车检测方法
CN107067002A (zh) * 2017-03-09 2017-08-18 华东师范大学 一种动态视频中道路车牌识别方法
CN106980854A (zh) * 2017-03-29 2017-07-25 珠海习悦信息技术有限公司 车牌号码识别方法、装置、存储介质及处理器

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490179B (zh) * 2018-05-15 2022-08-05 杭州海康威视数字技术股份有限公司 车牌识别方法、装置及存储介质
CN110490179A (zh) * 2018-05-15 2019-11-22 杭州海康威视数字技术股份有限公司 车牌识别方法、装置及存储介质
CN110543882A (zh) * 2018-05-29 2019-12-06 北京深鉴智能科技有限公司 一种字符串识别方法与装置
CN108921285B (zh) * 2018-06-22 2021-05-25 西安理工大学 基于双向门控循环神经网络的电能质量扰动的分类方法
CN108921285A (zh) * 2018-06-22 2018-11-30 西安理工大学 基于双向门控循环神经网络的序列中单一元素分类方法
CN110689002A (zh) * 2018-07-05 2020-01-14 山东华软金盾软件股份有限公司 一种基于循环神经网络模型的车牌识别方法及装置
CN109086765A (zh) * 2018-08-01 2018-12-25 北京嘀嘀无限科技发展有限公司 车牌识别方法、装置、介质、服务器和行车记录仪
CN109086765B (zh) * 2018-08-01 2019-09-17 北京嘀嘀无限科技发展有限公司 车牌识别方法、装置、介质、服务器和行车记录仪
CN109117857A (zh) * 2018-08-28 2019-01-01 苏州芯德锐信息科技有限公司 一种生物属性的识别方法、装置及设备
CN109117857B (zh) * 2018-08-28 2022-08-16 苏州芯德锐信息科技有限公司 一种生物属性的识别方法、装置及设备
US11783086B2 (en) 2018-09-24 2023-10-10 Movidius Ltd. Methods and apparatus to generate masked images based on selective privacy and/or location tracking
CN113168511B (zh) * 2018-09-24 2024-04-12 莫维迪乌斯有限公司 用于生成遮蔽图像的方法和装置
CN113168511A (zh) * 2018-09-24 2021-07-23 莫维迪乌斯有限公司 基于选择性隐私和/或位置跟踪来生成遮蔽图像的方法和装置
CN109710787B (zh) * 2018-12-30 2023-03-28 陕西师范大学 基于深度学习的图像描述方法
CN109710787A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像描述方法
CN109978228B (zh) * 2019-01-31 2023-12-12 中南大学 一种pm2.5浓度预测方法、装置及介质
CN109978228A (zh) * 2019-01-31 2019-07-05 中南大学 一种pm2.5浓度预测方法、装置及介质
CN110070085A (zh) * 2019-04-30 2019-07-30 北京百度网讯科技有限公司 车牌识别方法和装置
CN111259886A (zh) * 2020-01-08 2020-06-09 上海眼控科技股份有限公司 车牌螺丝检测方法、电子装置、计算机设备和存储介质
CN111222704A (zh) * 2020-01-10 2020-06-02 中国人民解放军国防科技大学 一种基于Bi-GRU的车辆位置预测方法
CN112209197A (zh) * 2020-10-30 2021-01-12 深兰人工智能芯片研究院（江苏）有限公司 电梯故障检测方法和装置
CN116630979A (zh) * 2023-04-10 2023-08-22 雄安创新研究院 一种ocr识别方法、系统、存储介质和边缘设备
CN116630979B (zh) * 2023-04-10 2024-04-30 雄安创新研究院 一种ocr识别方法、系统、存储介质和边缘设备

Also Published As

Publication number Publication date
CN107944450B (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN107944450A (zh) 一种车牌识别方法及装置
CN108009543A (zh) 一种车牌识别方法及装置
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
CN107862340A (zh) 一种车型识别方法及装置
CN111914907A (zh) 一种基于深度学习空谱联合网络的高光谱图像分类方法
CN109858389B (zh) 基于深度学习的直梯人数统计方法及系统
CN106650740B (zh) 一种车牌识别方法及终端
CN107527044A (zh) 一种基于搜索的多张车牌清晰化方法及装置
CN106650615B (zh) 一种图像处理方法及终端
CN111767878B (zh) 嵌入式设备中基于深度学习的交通标志检测方法及系统
CN110163193A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN111291812B (zh) 属性类别的获取方法及装置、存储介质、电子装置
Jain et al. Performance analysis of object detection and tracking algorithms for traffic surveillance applications using neural networks
CN108960124A (zh) 用于行人再识别的图像处理方法及装置
CN112580643A (zh) 一种基于深度学习的车牌识别方法、装置及存储介质
CN112132216B (zh) 车型识别方法、装置、电子设备及存储介质
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN111382808A (zh) 一种车辆检测处理方法及装置
CN109615904A (zh) 停车管理方法、装置、计算机设备和存储介质
CN110399820A (zh) 一种公路路边景物视觉识别分析方法
CN111860219A (zh) 一种高速占道判断方法、装置及电子设备
CN107610224A (zh) 一种基于弱监督与明确闭塞建模的3d汽车对象类表示算法
CN110619365B (zh) 一种落水检测方法
CN112016617A (zh) 细粒度分类方法、装置及计算机可读存储介质
CN109190451B (zh) 基于lfp特征的遥感图像车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant