CN111104826B - 一种车牌字符识别方法、装置及电子设备 - Google Patents

一种车牌字符识别方法、装置及电子设备 Download PDF

Info

Publication number
CN111104826B
CN111104826B CN201811258961.7A CN201811258961A CN111104826B CN 111104826 B CN111104826 B CN 111104826B CN 201811258961 A CN201811258961 A CN 201811258961A CN 111104826 B CN111104826 B CN 111104826B
Authority
CN
China
Prior art keywords
character
recognized
characters
convolutional neural
license plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811258961.7A
Other languages
English (en)
Other versions
CN111104826A (zh
Inventor
李�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201811258961.7A priority Critical patent/CN111104826B/zh
Publication of CN111104826A publication Critical patent/CN111104826A/zh
Application granted granted Critical
Publication of CN111104826B publication Critical patent/CN111104826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Character Discrimination (AREA)

Abstract

本发明实施例提供了一种车牌字符识别方法、装置及电子设备，通过将待识别的车牌图片送入由至少两个卷积神经网络构成的深度相互学习网络中，利用卷积神经网络对所述车牌图片中的待识别字符进行识别，确定所述待识别字符的初步输出结果。根据所述待识别字符的初步输出结果，获得所述待识别字符的最终输出结果。该方法、装置及电子设备在利用至少两个卷积神经网络提取特征的基础上，结合深度相互学习网络，进一步优化提取特征，大大提高了车牌字符识别的准确度，从而提高了对车牌字符的识别能力。

Description

一种车牌字符识别方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种车牌字符识别方法、装置及电子设备。
背景技术
车牌字符识别中的汉字识别是车牌识别系统的最后一步，也是至关重要的一步，它直接影响着整个识别系统的准确率与效率。国内车牌包含7个或8个字符，常见车牌的第一个字符为汉字，其他字符多为字母或数字。
车牌汉字识别通常采用四种识别方法，分别是基于模板的匹配方法、基于神经网络的方法、基于支持向量机的方法以及最近出现的基于深度学习的方法。前三种方法是常规的识别方法，需要手动选取目标特征，识别的结果由选取特征的好坏所决定。第四种方法是最近几年流行起来的方法，深度学习方法可以自动选取特征，当样本较丰富时，网络可以获得很好的识别结果。
而卷积神经网络则是其中一种经典而广泛应用的结构。卷积神经网络的局部连接、权值共享及池化操作等特性使之可以有效地降低网络的复杂度，减少训练参数的数目，使模型对平移、扭曲、缩放具有一定程度的不变性，并具有强鲁棒性和容错能力，且也易于训练和优化。
然而现有的基于卷积神经网络的车牌字符识别方法，往往忽略了由于天气、光照、车牌整洁度、角度等因素造成的出现较严重的模糊、缺损、污损等干扰，给识别带来了难度。
发明内容
有鉴于此，本发明的目的在于提供一种车牌字符识别方法、装置及电子设备以改善上述问题。
本发明实施例提供一种车牌字符识别方法，所述方法包括：
获取待识别的车牌图片，将所述车牌图片预处理后，导入至预先构建的深度互相学习网络中，所述深度互相学习网络包括至少两个卷积神经网络；
针对各所述卷积神经网络，利用所述卷积神经网络对所述车牌图片中的待识别字符进行识别，确定所述待识别字符的初步输出结果；
比对各所述卷积神经网络对所述待识别字符的初步输出结果，获得所述待识别字符的最终输出结果。
进一步地，所述针对各所述卷积神经网络，利用所述卷积神经网络对所述车牌图片中的待识别字符进行识别，确定所述待识别字符的初步输出结果的步骤，包括：
利用各所述卷积神经网络对所述车牌图片中的待识别字符进行识别，得到所述待识别字符的识别结果；
根据所述待识别字符的识别结果与预存的相似字符映射表之间的关系，确定所述待识别字符的初步输出结果。
进一步地，所述识别结果包括所述待识别字符对应的各类字符以及各类字符对应的置信度，所述根据所述待识别字符的识别结果与预存的相似字符映射表之间的关系，确定所述待识别字符的初步输出结果的步骤，包括：
获取所述识别结果中所述待识别字符对应的置信度最大的一类字符；
查找所述预存的相似字符映射表中是否存在与所述置信度最大的一类字符具有映射关系的相似字符，若所述预存的相似字符映射表中不存在与所述置信度最大的一类字符具有映射关系的相似字符，则将所述待识别字符的识别结果中所述置信度最大的一类字符作为所述待识别字符的初步输出结果；
若所述预存的相似字符映射表中存在与所述置信度最大的一类字符具有映射关系的相似字符，则根据所述相似字符与预设阈值之间的关系确定所述待识别字符的初步输出结果。
进一步地，所述根据所述相似字符与预设阈值之间的关系确定所述待识别字符的初步输出结果的步骤包括：
在所述待识别字符的识别结果中提取所述相似字符及相似字符的置信度，将提取到的所述相似字符的置信度与预设阈值进行对比，若所述相似字符的置信度高于所述预设阈值，则将所述待识别字符的识别结果中所述置信度最大的一类字符及所述相似字符作为所述待识别字符的初步输出结果；
若所述相似字符的置信度低于所述预设阈值，则将所述置信度最大的一类字符作为所述待识别字符的初步输出结果。
进一步地，所述对比各所述卷积神经网络对所述待识别字符的初步输出结果，获得所述待识别字符的最终输出结果的步骤包括：
对比各所述卷积神经网络的初步输出结果，若各所述卷积神经网络的初步输出结果相同，则将任意一个所述卷积神经网络对所述待识别字符的初步输出结果作为所述待识别字符的最终输出结果；
若各所述卷积神经网络的初步输出结果不相同，则将各所述卷积神经网络对所述待识别字符的初步输出结果分别与预存的比对字符进行比较以获得所述待识别字符的最终输出结果。
进一步地，所述将各所述卷积神经网络对所述待识别字符的初步输出结果分别与所述比对字符进行比较以获得所述待识别字符的最终输出结果的步骤包括：
将各所述卷积神经网络对所述待识别字符的初步输出结果与预存的比对字符进行比较，若其中一个所述卷积神经网络输出的所述待识别字符的初步输出结果与所述对比字符相同，则将所述对比字符作为所述待识别字符的最终输出结果；
若各所述卷积神经网络对所述待识别字符的初步输出结果与所述对比字符均不相同，则比较各所述卷积神经网络的初步输出结果的置信度以获得置信度最大的初步输出结果，将获得的初步输出结果作为所述待识别字符的最终输出结果。
本发明实施例还提供一种车牌字符识别装置，所述车牌字符识别装置包括：
图像获取模块，用于获取待识别的车牌图片；
预处理导入模块，用于将所述车牌图片预处理后导入至预先构建的深度互相学习网络中，所述深度互相学习网络包括至少两个卷积神经网络；
初步输出结果获取模块，用于针对各所述卷积神经网络，利用所述卷积神经网络对所述车牌图片中的待识别字符进行识别，确定所述待识别字符的初步输出结果；
最终输出结果获取模块，用于比对各所述卷积神经网络对所述待识别字符的初步输出结果，获得所述待识别字符的最终输出结果。
进一步地，所述识别结果包括所述待识别字符对应的各类字符以及各类字符对应的置信度，所述初步输出结果获取模块包括识别结果获得单元、获取单元、查找单元、第一判定单元及第二判定单元；
所述识别结果获得单元用于利用各所述卷积神经网络对所述车牌图片中的待识别字符进行识别，得到所述待识别字符的识别结果，
所述获取单元用于获取所述识别结果中所述待识别字符对应的置信度最大的一类字符；
所述查找单元用于在所述预存的相似字符映射表中查找是否有与所述置信度最大的一类字符存在映射关系的相似字符；
所述第一判定单元用于在所述预存的相似字符映射表中不存在与所述置信度最大的一类字符有映射关系的相似字符时，将所述置信度最高的一类字符作为所述待识别字符的初步输出结果；
所述第二判定单元用于在所述预存的相似字符映射表中存在与所述待识别字符的识别结果有映射关系的相似字符时，将根据所述相似字符与预设阈值之间的关系确定所述待识别字符的初步输出结果；
进一步地，所述最终输出结果获取模块包括对比单元、第三判定单元和第四判定单元；
所述对比单元，用于对比各所述卷积神经网络输出的初步输出结果；
所述第三判定单元，用于在各所述卷积神经网络输出的初步输出结果相同时，将任意一个所述卷积神经网络对所述待识别字符的初步输出结果作为所述待识别字符的最终输出结果；
所述第四判定单元，用于在各所述卷积神经网络输出的初步输出结果不相同时，将各所述卷积神经网络对所述待识别字符的初步输出结果分别与预存的比对字符进行比较以获得所述待识别字符的最终输出结果。
本申请实施例还提供一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述车牌字符识别方法的步骤。
本发明实施例提供了一种车牌字符识别方法、装置及电子设备，通过将待识别的车牌图片送入由至少两个卷积神经网络构成的深度相互学习网络中，利用卷积神经网络对所述车牌图片中的待识别字符进行识别，确定所述待识别字符的初步输出结果，根据所述待识别字符的初步输出结果，获得所述待识别字符的最终输出结果。该方案在利用卷积神经网络提取特征的基础上，结合深度相互学习网络，进一步提取特征大大提高了车牌字符识别的准确度，从而提高了对车牌字符的识别能力。从而在智能交通中提升交通效率，也可为刑侦案件中对犯罪分子提供线索。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的电子设备的结构框图。
图2为应用于图1所示的电子设备的一种车牌字符识别方法的流程图。
图3为本发明较佳实施例提供的建立车牌分类器的方法的流程图。
图4为图3中步骤S30的子步骤的流程图。
图5为图3中步骤S40的子步骤的流程图。
图6为本发明实施例提供的应用于上述电子设备的车牌字符识别装置的功能模块图。
图7为图6中初步输出结果获取模块的功能模块图。
图8为图6中最终输出结果获取模块的功能模块图。
图标：100-电子设备；110-车牌字符识别装置；111-图像获取模块；112-预处理导入模块；113-初步输出结果获取模块；1131-识别结果获得单元；1132-获取单元；1133-查找单元；1134-第一判定单元；1135-第二判定单元；114-最终输出结果获取模块；1141-对比单元；1142-第三判定单元；1143-第四判定单元；120-处理器；130-存储器。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1，为本发明实施例提供的电子设备100的示意性结构框图。在本实施例中，所述电子设备100可以为摄像设备、拍照设备等具有图像采集功能的电子设备100。如图1所示，所述电子设备100可以包括存储器130、处理器120以及存储在所述存储器130上并可以在所述处理器120上运行的计算机程序，所述处理器120执行所述程序时使得所述电子设备100实现本发明的车牌字符识别方法。
所述存储器130与所述处理器120之间相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器130中存储有以软件或固件(Firmware)的形式存储于所述存储器130中的软件功能模块，所述处理器120通过运行存储在存储器130内的软件程序以及模块，如本发明实施例中的车牌字符识别装置110，从而执行各种功能应用以及数据处理，即实现本发明实施例中的车牌字符识别的方法。
其中，所述存储器130可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器130用于存储程序，所述处理器120在接收到执行指令后，执行所述程序。
所述处理器120可能是一种集成电路芯片，具有信号的处理能力。上述的处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器120也可以是任何常规的处理器等。
可以理解，图1所示的结构仅为示意，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参阅图2，图2为应用于图1所示的电子设备100的一种车牌字符识别方法的流程图，以下将对所述方法包括的各个步骤进行详细阐述。
步骤S10，获取待识别的车牌图片。
步骤S20，将所述车牌图片预处理后，导入至预先构建的深度相互学习网络中，所述深度相互学习网络包括至少两个卷积神经网络。
通过各个路口或者各个卡口的摄像设备、拍照设备等具有图像采集功能的设备采集过往车辆的图片，然后从上述图片中截取出车辆的车牌图片，作为待检测的车牌图片。
对待处理的车牌图片进行预处理，例如将灰度化处理后的车牌图片缩放到固定尺寸，便于后续处理。关于对图像进行预处理的具体方法可参考现有技术获得更多相关知识，本实施例不作赘述。
请参阅图3，在本实施例中，在车牌图片进行识别之前，还需预先建立基于卷积神经网络的车牌分类器，先通过以下步骤建立车牌分类器。
本发明实施例中，构建了基于卷积神经网络的分类器网络架构。本发明实施例中构建的基于卷积神经网络的分类器网络构架包括多个卷积层，多个全连接层，一个输出层，作为一种实施方式，其中卷积核尺寸为2*2，步长为1。
在构建好上述分类器网络架构后，将用于训练的多个车牌图像正样本以及多个负样本，即非车牌图像样本，分别输入至上述构建的分类器网络框架中，在该分类器网络构架中，对所述多个样本进行训练，从而得到上述的车牌分类器，以作为后续对车牌图像的判断标准。
本发明实施例中使用了深度相互学习网络(Deep Mutual Learning，DML)。深度相互学习网络是一种特殊的深度学习网络，它的特殊性主要体现在：网络中包含两个或两个以上的网络同时训练，在训练过程中，网络相互学习相互促进。
本发明实施例中，所述深度相互学习网络包括至少两个卷积神经网络进行同时训练，以取得较佳的特征提取效果。
本发明实施例中，对卷积神经网络的卷积层做了优化，使用多个卷积层代替池化层，取消边界填充，使得特征图较小，计算量小，排除边界填充带来的干扰，使得车牌汉字最终输出结果更加精准。
步骤S30，针对各所述卷积神经网络，利用所述卷积神经网络对所述车牌图片中的待识别字符进行识别，确定所述待识别字符的初步输出结果。
在本发明实施例中，利用卷积神经网络对待识别图像进行初步特征提取，将各所述卷积神经网络进行相互学习损失函数计算训练，通过损失函数值的反向传播，调整所述卷积神经网络的网络参数，取得较佳的特征提取效果，获得最终特征提取结果，将取得的最终特征提取结果送入所述车牌分类器，以获得所述待识别字符的识别结果。
需要注意的是，所述待识别字符的识别结果具体为国内34个省市的简称汉字，以及汉字对应的置信度。
在一种实施方式中，所述待识别字符的初步输出结果为，国内34个省市的简称汉字，以及汉字对应的置信度中置信度最大的一类汉字。所述置信度的计算公式为：
其中i为汉字类别数(范围为1～n)、e为自然底数、Pi为全连接层每类汉字的置信度、Piout为归一化后最终置信度。
另一种实施方式中，由于部分汉字与汉字之间存在着相似性，特别当汉字变的模糊、小像素、污损、部分遮挡时，相似性变的尤为明显，因此，在这些情况下车牌字符识别结果容易被识别为相似汉字。基于上述考虑，本实施例提出一种相似字符的保护方法，具体如下：
根据所述待识别字符的识别结果与预存的相似字符映射表之间的关系，确定所述待识别字符的初步输出结果。
请参阅图4，在本发明实施例中，步骤S30可以包括步骤S301、步骤S302、步骤S303、步骤S304、步骤S305、步骤S306和步骤S307。
步骤S301，获取所述识别结果中所述待识别字符对应的置信度最大的一类字符。
步骤S302，查找所述预存的相似字符映射表中是否存在与所述字符的置信度最大的一类字符具有映射关系的相似字符。
若所述预存的相似字符映射表中不存在与字符对应的置信度最大的一类字符具有映射关系的相似字符，则执行步骤S303，若所述预存的相似字符映射表中存在与所述字符对应的置信度最大的一类字符具有映射关系的相似字符，则执行步骤S304。
步骤S303，将所述待识别字符的识别结果中所述置信度最高的一类字符作为所述待识别字符的初步输出结果。
步骤S304，在所述待识别字符的识别结果中提取所述相似字符及相似字符的置信度。
步骤S305，对比提取到的所述相似字符的置信度是否大于所述预设阈值。
若所述相似字符的置信度高于所述预设阈值，则执行步骤S306，若所述相似字符的置信度低于所述预设阈值，则执行步骤S307。
步骤S306，将所述待识别字符的识别结果中所述置信度最高的一类字符及所述相似汉字作为所述待识别字符的初步输出结果。
步骤S307，将所述置信度最高的一类字符作为所述待识别字符的初步输出结果。
需要说明的是，所述预设阈值的范围在0～0.5之间，具体实施中，可根据实际应用需求设置预设阈值的大小。
通过比较相似字符的对应的置信度与预设阈值，能够排除置信度较低的相似字符出现，同时保护置信度较高的相似字符从而提高识别的准确度。
同时需要注意的是，所述相似字符映射表中包含的相似字符为预先设定好的字形相似的、因污损、模糊或倾斜等多方面原因导致车牌汉字识别准确率较低的情况下易发生识别错误的相似字符。可选地，相似字符包括但不限于“京”与“台”、“浙”与“湘”以及“粤”与“澳”等。
步骤S40，比对各所述卷积神经网络对所述待识别字符的初步输出结果，获得所述待识别字符的最终输出结果。
本实施例中，假设所述卷积神经网络为两个，比对各所述卷积神经网络对所述待识别字符的初步输出结果，若两个所述卷积神经网络对所述待识别字符的初步输出结果相同，则将任意一个所述初步输出结果作为最终输出结果；若两个所述卷积神经网络对所述待识别字符的初步输出结果不同，则对比所述待识别字符的初步输出结果对应的置信度，将所述待识别字符的初步输出结果对应的置信度较大的汉字作为最终输出结果。
本发明实施例中，由于车牌中的汉字具有地域性，所述至少两个卷积神经网络的初步输出结果存在不同的情况，本发明实施例提出一种字符纠正策略，可以通过本策略来提高车牌字符的识别准确度，具体如下：
请参阅图5，在本发明实施例中，步骤S40可以包括步骤S401、步骤S402、步骤S403、步骤S404和步骤S405。
步骤S401，对比各所述卷积神经网络的初步输出结果是否相同。
若各所述卷积神经网络的初步输出结果相同，则执行步骤S402，若各所述卷积神经网络初步输出结果不相同，则执行步骤S403。
步骤S402，将任意一个所述卷积神经网络对所述待识别字符的初步输出结果作为所述待识别字符的最终输出结果。
步骤S403，比较各所述卷积神经网络输出的所述待识别字符的初步输出结果与所述对比字符是否相同。
若其中一个所述卷积神经网络输出的所述待识别字符的初步输出结果与所述对比字符相同，则执行步骤S404。
若各所述卷积神经网络输出的所述待识别字符的初步输出结果与所述对比字符均不相同，则执行步骤S405。
步骤S404，将所述对比字符作为所述待识别字符的最终输出结果。
步骤S405，比较各卷积神经网络的初步输出结果的置信度值以获得置信度值最大的初步输出结果，将获得的初步输出结果作为所述待识别字符的最终输出结果。
本发明实施例中，所述对比字符总体包括但不限于国内34个省份的简称，如：“京”、“浙”、“新”、“湘”、“川”、“渝”、“粤”、“沪”、“云”、“辽”、“黑”、“苏”等。
在实际应用中，所述对比字符可根据使用地区的省份来确定，如所述车牌字符识别装置110在四川地区使用，则预设的所述对比字符为“川”，所述车牌字符识别装置110在浙江地区使用，则预设的所述对比字符为“浙”。
本发明实施例通过预设对比字符，可以在各所述卷积神经网络输出的所述初步输出结果不同时，提供可靠的识别字符参考，来辅助识别字符，通过所述纠正策略来确定所述最终输出结果。例如，对于设置在A地区的电子设备100，可知，该电子设备100中预存的对比字符为该A地区的省份名称缩写A，而在A地区行进的车辆其车牌的字符缩写较大概率与该A地区的省份缩写A一致。若深度相互学习网络包括两个卷积神经网络，这两个卷积神经网络对待识别字符的初步输出结果分别为C和D。
若C和D一致，则表明两个卷积神经网络的判定结果相同，此时，无论C和D是否与A相同，均以C和D中的任意一个作为所述最终输出结果。
若C和D不一致，则表明卷积神经网络在判定时出现了分歧，其中一个存在误判的可能。此时，可将C和D分别与A对比，若C与A一致，而D与A不一致，则将C做为所述最终输出结果，或D与A一致，而C与A不一致，则将D作为所述最终输出结果，以此达到进一步提高车牌字符的识别准确度的效果。
请参阅图6，图6为本发明实施例提供的应用于上述电子设备100的车牌字符识别装置110的功能模块图。所述装置包括图像获取模块111、预处理导入模块112、初步输出结果获取模块113和最终输出结果获取模块114。
所述图像获取模块111，用于获取待识别的车牌图片。所述图像获取模块111可用于执行图2中所示的步骤S10，具体的操作方法可参考步骤S10的详细描述。
所述预处理导入模块112，用于将所述车牌图片预处理后导入至预先构建的深度互相学习网络中，所述深度互相学习网络包括至少两个卷积神经网络。所述预处理导入模块112可用于执行图2中所示的步骤S20，具体的操作方法可参考步骤S20的详细描述。
所述初步输出结果获取模块113，用于针对各所述卷积神经网络，利用所述卷积神经网络对所述车牌图片中的待识别字符进行识别，确定所述待识别字符的初步输出结果。所述初步输出结果获取模块113可用于执行图2中所示的步骤S30，具体的操作方法可参考步骤S30的详细描述。
最终输出结果获取模块114，用于比对各所述卷积神经网络对所述待识别字符的初步输出结果，获得所述待识别字符的最终输出结果。所述最终输出结果获取模块114可用于执行图2中所示的步骤S40，具体的操作方法可参考步骤S40的详细描述。
请参阅图7，具体地，本发明实施例中，所述初步输出结果获取模块113包括识别结果获得单元1131、获取单元1132、查找单元1133、第一判定单元1134及第二判定单元1135。
所述识别结果获得单元1131用于利用各所述卷积神经网络对所述车牌图片中的待识别字符进行识别，得到所述待识别字符的识别结果。
所述获取单元1322用于获取所述识别结果中所述待识别字符对应的置信度最大的一类字符。
所述查找单元1133用于在所述预存的相似字符映射表中查找是否有与所述待识别字符的识别结果存在映射关系的相似字符。
所述第一判定单元1134用于在所述预存的相似字符映射表中不存在与所述待识别字符的识别结果有映射关系的相似字符时，将所述置信度最高的一类字符作为所述待识别字符的初步输出结果。
所述第二判定单元1135用于在所述预存的相似字符映射表中存在与所述待识别字符的识别结果有映射关系的相似字符时，将根据所述相似字符与预设阈值之间的关系确定所述待识别字符的初步输出结果。
需要进一步说明的是，所述第二判定单元1135包括第一提取子单元、第一对比子单元、第一判定子单元与第二判定子单元。
所述第一提取子单元用于在所述待识别字符的识别结果中提取所述相似字符及相似字符的置信度。
所述第一对比子单元用于将提取到的所述相似字符的置信度与预设阈值进行对比。
所述第一判定子单元，用于在所述相似字符的置信度高于所述预设阈值，将所述待识别字符的识别结果中所述置信度最大的一类字符及所述相似字符作为所述待识别字符的初步输出结果。
所述第二判定子单元，用于在所述相似字符的置信度低于所述预设阈值时，将所述待识别字符的识别结果中所述置信度最大的一类字符作为所述待识别字符的初步输出结果。
请参阅图8，本发明实施例中，所述最终输出结果获取模块114包括对比单元1141、第三判定单元1142和第四判定单元1143。
所述对比单元1141，用于对比各所述卷积神经网络输出的初步输出结果。
所述第三判定单元1142，用于在各所述卷积神经网络输出的初步输出结果相同时，将任意一个所述卷积神经网络对所述待识别字符的初步输出结果作为所述待识别字符的最终输出结果。
所述第四判定单元1143，用于在各所述卷积神经网络输出的初步输出结果不相同时，将各所述卷积神经网络对待识别字符的初步输出结果分别与预存的比对字符进行比较以获得所述待识别字符的最终输出结果。
需要进一步说明的是，所述第四判定单元1143包括第三对比子单元和第三判定子单元。
所述第三对比子单元用于将各所述卷积神经网络对所述待识别字符的初步输出结果与预存的比对字符进行比较，在其中一个所述卷积神经网络输出的所述待识别字符的初步输出结果与所述对比字符相同时，将所述对比字符作为所述待识别字符的最终输出结果。
所述第三判定子单元用于在各所述卷积神经网络对所述待识别字符的初步输出结果与所述对比字符均不相同时，比较各所述卷积神经网络的初步输出结果的置信度以获得置信度最大的初步输出结果，将获得的初步输出结果作为所述待识别字符的最终输出结果。
综上所述，本发明实施例提供了一种车牌字符识别方法、装置及电子设备100，通过获取和预处理待识别的车牌图片，将所述车牌图片送入由至少两个卷积神经网络构成的深度相互学习网络中，利用卷积神经网络对所述车牌图片中的待识别字符进行识别，并根据所述待识别字符的识别结果与预存的相似字符映射表之间的关系，确定所述待识别字符的初步输出结果，根据所述待识别字符的初步输出结果以及预存的比对字符获得所述待识别字符的最终输出结果。该方法及装置在利用卷积神经网络提取特征的基础上，结合深度相互学习网络，进一步提取特征并通过相关策略对识别结果进行保护和纠正，大大提高了车牌字符识别的准确度，从而提高了对车牌字符的识别能力。进而在智能交通中提升交通效率，也可为刑侦案件中对犯罪分子提供线索。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种车牌字符识别方法，其特征在于，所述方法包括：
获取待识别的车牌图片，将所述车牌图片预处理后，导入至预先构建的深度互相学习网络中，所述深度互相学习网络包括至少两个卷积神经网络；
利用各所述卷积神经网络对所述车牌图片中的待识别字符进行识别，得到所述待识别字符的识别结果；
获取所述识别结果中所述待识别字符对应的置信度最大的一类字符；
查找预存的相似字符映射表中是否存在与所述置信度最大的一类字符具有映射关系的相似字符，若所述预存的相似字符映射表中不存在与所述置信度最大的一类字符具有映射关系的相似字符，则将所述待识别字符的识别结果中所述置信度最大的一类字符作为所述待识别字符的初步输出结果；
若所述预存的相似字符映射表中存在与所述置信度最大的一类字符具有映射关系的相似字符，则根据所述相似字符与预设阈值之间的关系确定所述待识别字符的初步输出结果；
对比各所述卷积神经网络的初步输出结果，若各所述卷积神经网络的初步输出结果相同，则将任意一个所述卷积神经网络对所述待识别字符的初步输出结果作为所述待识别字符的最终输出结果；
若各所述卷积神经网络的初步输出结果不相同，则将各所述卷积神经网络对所述待识别字符的初步输出结果分别与预存的比对字符进行比较以获得所述待识别字符的最终输出结果。
2.根据权利要求1所述的车牌字符识别方法，其特征在于，所述根据所述相似字符与预设阈值之间的关系确定所述待识别字符的初步输出结果的步骤包括：
在所述待识别字符的识别结果中提取所述相似字符及相似字符的置信度，将提取到的所述相似字符的置信度与预设阈值进行对比，若所述相似字符的置信度高于所述预设阈值，则将所述待识别字符的识别结果中所述置信度最大的一类字符及所述相似字符作为所述待识别字符的初步输出结果；
若所述相似字符的置信度低于所述预设阈值，则将所述置信度最大的一类字符作为所述待识别字符的初步输出结果。
3.根据权利要求1所述的车牌字符识别方法，其特征在于，所述将各所述卷积神经网络对所述待识别字符的初步输出结果分别与预存的比对字符进行比较以获得所述待识别字符的最终输出结果的步骤包括：
将各所述卷积神经网络对所述待识别字符的初步输出结果与预存的比对字符进行比较，若其中一个所述卷积神经网络输出的所述待识别字符的初步输出结果与所述比对字符相同，则将所述比对字符作为所述待识别字符的最终输出结果；
若各所述卷积神经网络对所述待识别字符的初步输出结果与所述比对字符均不相同，则比较各所述卷积神经网络的初步输出结果的置信度以获得置信度最大的初步输出结果，将获得的初步输出结果作为所述待识别字符的最终输出结果。
4.一种车牌字符识别装置，其特征在于，所述车牌字符识别装置包括：
图像获取模块，用于获取待识别的车牌图片；
预处理导入模块，用于将所述车牌图片预处理后导入至预先构建的深度互相学习网络中，所述深度互相学习网络包括至少两个卷积神经网络；
初步输出结果获取模块，用于针对各所述卷积神经网络，利用所述卷积神经网络对所述车牌图片中的待识别字符进行识别，确定所述待识别字符的初步输出结果；其中，对所述待识别字符的进行识别的识别结果包括：所述待识别字符对应的各类字符以及各类字符对应的置信度；
最终输出结果获取模块，用于比对各所述卷积神经网络对所述待识别字符的初步输出结果，获得所述待识别字符的最终输出结果；
所述初步输出结果获取模块包括识别结果获得单元、获取单元、查找单元、第一判定单元及第二判定单元；
所述识别结果获得单元，用于利用各所述卷积神经网络对所述车牌图片中的待识别字符进行识别，得到所述待识别字符的识别结果；
所述获取单元，用于获取所述识别结果中所述待识别字符对应的置信度最大的一类字符；
所述查找单元，用于在预存的相似字符映射表中查找是否有与所述置信度最大的一类字符存在映射关系的相似字符；
所述第一判定单元，用于在预存的相似字符映射表中不存在与所述置信度最大的一类字符有映射关系的相似字符时，将所述置信度最高的一类字符作为所述待识别字符的初步输出结果；
所述第二判定单元，用于在所述预存的相似字符映射表中存在与所述待识别字符的识别结果有映射关系的相似字符时，根据所述相似字符与预设阈值之间的关系确定所述待识别字符的初步输出结果；
所述最终输出结果获取模块包括对比单元、第三判定单元和第四判定单元；
所述对比单元，用于对比各所述卷积神经网络输出的初步输出结果；
所述第三判定单元，用于在各所述卷积神经网络输出的初步输出结果相同时，将任意一个所述卷积神经网络对所述待识别字符的初步输出结果作为所述待识别字符的最终输出结果；
所述第四判定单元，用于在各所述卷积神经网络输出的初步输出结果不相同时，将各所述卷积神经网络对所述待识别字符的初步输出结果分别与预存的比对字符进行比较以获得所述待识别字符的最终输出结果。
5.一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-3任一项所述的车牌字符识别方法的步骤。
CN201811258961.7A 2018-10-26 2018-10-26 一种车牌字符识别方法、装置及电子设备 Active CN111104826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811258961.7A CN111104826B (zh) 2018-10-26 2018-10-26 一种车牌字符识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811258961.7A CN111104826B (zh) 2018-10-26 2018-10-26 一种车牌字符识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111104826A CN111104826A (zh) 2020-05-05
CN111104826B true CN111104826B (zh) 2024-04-26

Family

ID=70418403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811258961.7A Active CN111104826B (zh) 2018-10-26 2018-10-26 一种车牌字符识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111104826B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001386B (zh) * 2020-08-31 2021-06-15 重庆紫光华山智安科技有限公司 一种基于车牌字符识别方法、系统、介质及终端
CN112507801A (zh) * 2020-11-14 2021-03-16 武汉中海庭数据技术有限公司 车道路面数字颜色识别方法、限速信息识别方法及系统
CN114882492B (zh) * 2022-07-11 2022-11-22 浙江大华技术股份有限公司 一种车牌识别方法、装置、终端及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512660A (zh) * 2015-11-27 2016-04-20 浙江宇视科技有限公司 车牌号码识别方法及装置
CN105678292A (zh) * 2015-12-30 2016-06-15 成都数联铭品科技有限公司 基于卷积及递归神经网络的复杂光学文字序列识别系统
CN106650721A (zh) * 2016-12-28 2017-05-10 吴晓军 一种基于卷积神经网络的工业字符识别方法
CN106845478A (zh) * 2016-12-30 2017-06-13 同观科技（深圳）有限公司 一种字符置信度的二次车牌识别方法及装置
CN107301385A (zh) * 2017-06-09 2017-10-27 浙江宇视科技有限公司 一种遮挡车牌识别方法及装置
CN107563385A (zh) * 2017-09-02 2018-01-09 西安电子科技大学 基于深度卷积生成式对抗网络的车牌字符识别方法
CN107657281A (zh) * 2017-09-28 2018-02-02 辽宁工程技术大学 一种基于改进的卷积神经网络的图像识别方法
CN108229474A (zh) * 2017-12-29 2018-06-29 北京旷视科技有限公司 车牌识别方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101214772B1 (ko) * 2010-02-26 2012-12-21 삼성전자주식회사 문자의 방향성을 기반으로 한 문자 인식 장치 및 방법
US8660371B2 (en) * 2010-05-06 2014-02-25 Abbyy Development Llc Accuracy of recognition by means of a combination of classifiers

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512660A (zh) * 2015-11-27 2016-04-20 浙江宇视科技有限公司 车牌号码识别方法及装置
CN105678292A (zh) * 2015-12-30 2016-06-15 成都数联铭品科技有限公司 基于卷积及递归神经网络的复杂光学文字序列识别系统
CN106650721A (zh) * 2016-12-28 2017-05-10 吴晓军 一种基于卷积神经网络的工业字符识别方法
CN106845478A (zh) * 2016-12-30 2017-06-13 同观科技（深圳）有限公司 一种字符置信度的二次车牌识别方法及装置
CN107301385A (zh) * 2017-06-09 2017-10-27 浙江宇视科技有限公司 一种遮挡车牌识别方法及装置
CN107563385A (zh) * 2017-09-02 2018-01-09 西安电子科技大学 基于深度卷积生成式对抗网络的车牌字符识别方法
CN107657281A (zh) * 2017-09-28 2018-02-02 辽宁工程技术大学 一种基于改进的卷积神经网络的图像识别方法
CN108229474A (zh) * 2017-12-29 2018-06-29 北京旷视科技有限公司 车牌识别方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许军宁等.基于弹性模板匹配和并行神经网络的车牌字符识别.《交通与计算机》.2003,(第05期),第34-37页. *

Also Published As

Publication number Publication date
CN111104826A (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
WO2020098250A1 (zh) 字符识别方法、服务器及计算机可读存储介质
CN111104826B (zh) 一种车牌字符识别方法、装置及电子设备
CN107944450B (zh) 一种车牌识别方法及装置
CN109784181B (zh) 图片水印识别方法、装置、设备及计算机可读存储介质
CN108268867B (zh) 一种车牌定位方法及装置
CN110020692B (zh) 一种基于印刷体模板的手写体分离与定位方法
CN109871845B (zh) 证件图像提取方法及终端设备
CN109919002B (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
US20180260974A1 (en) Color recognition through learned color clusters
CN111079816A (zh) 图像的审核方法、装置和服务器
US10528844B2 (en) Method and apparatus for distance measurement
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN111435446A (zh) 一种基于LeNet车牌识别方法及装置
CN108460388B (zh) 定位标志的检测方法、装置及计算机可读存储介质
CN111444911A (zh) 车牌识别模型的训练方法及装置、车牌识别方法及装置
CN113052162B (zh) 一种文本识别方法、装置、可读存储介质及计算设备
CN114448664A (zh) 钓鱼网页的识别方法、装置、计算机设备及存储介质
WO2016068325A1 (ja) 文字認識装置、文字認識方法、およびプログラム
CN111311573B (zh) 枝条确定方法、装置及电子设备
EP2836962A2 (en) A system and method for detection and segmentation of touching characters for ocr
CN109871779B (zh) 掌纹识别的方法及电子设备
CN108304838B (zh) 一种图片信息识别方法及终端
CN115063826A (zh) 一种基于深度学习的移动端驾驶证识别方法和系统
CN112308044B (zh) 针对掌静脉图像的图像增强处理方法和掌静脉识别方法
CN106469267B (zh) 一种验证码样本收集方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant