CN110119736A - 车牌位置识别方法、装置及电子设备 - Google Patents

车牌位置识别方法、装置及电子设备 Download PDF

Info

Publication number
CN110119736A
CN110119736A CN201810121546.0A CN201810121546A CN110119736A CN 110119736 A CN110119736 A CN 110119736A CN 201810121546 A CN201810121546 A CN 201810121546A CN 110119736 A CN110119736 A CN 110119736A
Authority
CN
China
Prior art keywords
feature
license plate
original image
network
child node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810121546.0A
Other languages
English (en)
Other versions
CN110119736B (zh
Inventor
赵伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201810121546.0A priority Critical patent/CN110119736B/zh
Publication of CN110119736A publication Critical patent/CN110119736A/zh
Application granted granted Critical
Publication of CN110119736B publication Critical patent/CN110119736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及智能交通技术领域,提供一种车牌位置识别方法、装置及电子设备,所述方法包括:获取原始图像,其中,所述原始图像包括待识别车牌;将所述原始图像输入预先训练的卷积神经网络,利用所述卷积神经网络的第一网络提取出所述原始图像的第一特征图;将所述第一特征图输入所述卷积神经网络的第二网络,利用第二网络中的贝叶斯后验概率模型对所述第一特征图进行特征处理,得到第二特征图;依据所述第二特征图,识别出所述原始图像中所述待识别车牌的位置信息。本发明通过将贝叶斯后验概率模型融入到卷积神经网络,根据贝叶斯后验概率模型获得的置信度不断更新卷积神经网络的网络权值,提升了车牌位置识别的准确性。

Description

车牌位置识别方法、装置及电子设备
技术领域
本发明涉及智能交通技术领域,具体而言,提供一种车牌位置识别方法、装置及电子设备。
背景技术
车牌识别技术作为智能交通系统的关键技术之一,在高速公路收费、城市道路监控、停车场管理、车辆违章查处等领域都有广泛的应用。车牌位置识别作为车牌识别的最关键部分为后续字符有效分割和识别的提供了重要基础,车牌位置识别的准确程度将直接影响到车牌分割及识别的准确率。当前对于车牌位置识别的研究依然停留在图像处理或机器学习相关算法的研究中,这些方法对场景及车牌本身的纹理信息依赖性很强,特别是对于倾斜车牌、污损车牌、小像素车牌、模糊车牌等特殊车牌定位鲁棒性不高,效果较差,同时在处理其他国家车牌或是其他结构的车牌的位置检测时算法的可移植性不高,增加了开发成本。
发明内容
本发明实施例的目的在于提供一种车牌位置识别方法、装置及电子设备,用以改善上述问题。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种车牌位置识别方法,所述方法包括:获取原始图像,其中,原始图像包括待识别车牌;将原始图像输入预先训练的卷积神经网络,利用卷积神经网络的第一网络提取出原始图像的第一特征图;将第一特征图输入卷积神经网络的第二网络,利用第二网络中的贝叶斯后验概率模型对第一特征图进行特征处理,得到第二特征图;依据第二特征图,识别出原始图像中待识别车牌的位置信息。
第二方面,本发明实施例还提供了一种车牌位置识别装置,所述装置包括原始图像获取模块、第一特征图生成模块、第二特征图生成模块、和位置信息生成模块。其中,原始图像获取模块,用于获取原始图像,其中,原始图像包括待识别车牌;第一特征图生成模块,用于将原始图像输入预先训练的卷积神经网络,利用卷积神经网络的第一网络提取出原始图像的第一特征图;第二特征图生成模块,用于将第一特征图输入卷积神经网络的第二网络,利用第二网络中的贝叶斯后验概率模型对第一特征图进行特征处理,得到第二特征图;位置信息生成模块,用于依据第二特征图,识别出原始图像中待识别车牌的位置信息。
第三方面,本发明实施例还提供了一种电子设备,所述电子设备包括:一个或多个处理器;存储器,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现上述的车牌位置识别方法。
相对现有技术,本发明实施例提供的一种车牌位置识别方法、装置及电子设备,首先,获取原始图像,其中,原始图像包括待识别车牌;然后,将原始图像输入预先训练的卷积神经网络,利用卷积神经网络的第一网络提取出原始图像的第一特征图;第三,将第一特征图输入卷积神经网络的第二网络,利用第二网络中的贝叶斯后验概率模型对第一特征图进行特征处理,得到第二特征图;最后,依据第二特征图,识别出原始图像中待识别车牌的位置信息。与现有技术相比,本发明实施例通过将贝叶斯后验概率模型融入到卷积神经网络,根据贝叶斯后验概率模型获得的置信度不断更新卷积神经网络的网络权值,提升了车牌位置识别的准确性。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的电子设备的方框示意图。
图2示出了本发明实施例提供的车牌位置识别方法流程图。
图3为图2示出的步骤S104的子步骤流程图。
图4示出了本发明实例提供的车牌位置识别装置的方框示意图。
图标:100-电子设备;101-存储器;102-存储控制器;103-处理器;200-车牌位置识别装置;201-原始图像获取模块;202-第一特征图生成模块;203-第二特征图生成模块;204-位置信息生成模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参照图1,图1示出了本发明实施例提供的电子设备100的方框示意图。电子设备100可以是,但不限于智能手机、平板电脑、个人电脑(personal computer,PC)、服务器等等。电子设备100的操作系统可以是,但不限于,安卓(Android)系统、IOS(iPhoneoperating system)系统、Windows phone系统、Windows系统等。所述电子设备100包括车牌位置识别装置200、存储器101、存储控制器102及处理器103。
所述存储器101、存储控制器102及处理器103各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。车牌位置识别装置200包括至少一个可以软件或固件(firmware)的形式存储于存储器101中或固化在所述电子设备100的操作系统(operating system,OS)中的软件功能模块。处理器103用于执行存储器101中存储的可执行模块,例如车牌位置识别装置200所包括的软件功能模块及计算机程序等。
其中,存储器101可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器101用于存储程序,所述处理器103在接收到执行指令后,执行所述程序。
处理器103可以是一种集成电路芯片,具有信号处理能力。上述的处理器103可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)、语音处理器以及视频处理器等;还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。
第一实施例
请参照图2,图2示出了本发明实施例提供的车牌位置识别方法流程图。处理方法包括以下步骤:
步骤S101,获取原始图像,其中,原始图像包括待识别车牌。
在本发明实施例中,原始图像可以、但不限于是公路上设置的交通违章设备监测装置抓拍的包含车牌号码的图像、住宅小区或者停车场车辆出入口安装的摄像机拍摄到的包含车牌号码的图像。
步骤S102,将原始图像输入预先训练的卷积神经网络,利用卷积神经网络的第一网络提取出原始图像的第一特征图。
在本发明实施例中,预先训练的卷积神经网络包括了多个卷积层、与每个卷积层对应的多个下采样层、至少两个贝叶斯后验概率层、多个上采样层、与每个上采样层对应的多个反卷积层、插值层,其中,每个贝叶斯后验概率层均位于下采样层之后且与该下采样输出方向相邻的卷积层之前,至少有一个上采样层和一个下采样层一一对应,其对应关系与下采样和上采样的先后顺序有关,最后一个下采样和第一个上采样一一对应,第二个上采样和倒数第二个下采样一一对应,依次类推。预先训练的卷积神经网络的训练过程如下,首先,将训练样本及其中的车牌相对于该训练样本的像素位置输入到该卷积神经网络中,其中,训练样本包括正样本和负样本,正样本是包含了车牌的图像样本,其中正样本中的车牌包括了场景覆盖模糊车牌、小像素车牌、倾斜车牌、正常清晰的车牌、污损车牌、双层黄牌、大像素车牌等各种场景的车牌,负样本相对于正样本而言的,没有包括车牌的图像样本但是又和车牌位置识别的场景相关的图像样本,例如,一个宾馆房间的图像作为本发明实施例中的车牌位置识别的负样本是没有意义的,因为一个可以正常使用的非玩具类车辆不可能放在宾馆房间里。车牌的像素位置是指车牌相对于训练样本的像素的坐标位置,每个车牌有四个坐标位置,每个坐标位置包括了该坐标位置的x轴和y轴的坐标信息;其次,设置卷积神经网络的初始网络输入参数和输出参数,输入参数包括但不限于卷积层、下采样层、随机丢弃层、反卷积层、上采样层的层数,及每层卷积和反卷积的卷积核、步幅、填充等信息,输出参数是车牌的四个顶点的位置坐标,每个位置坐标代表每个顶点的像素点相对于该图像样本的像素坐标。第三,对输入的每个图像样本至少进行一次卷积运算和下采样处理,提取出该样本的第一特征图;第四,将该第一特征图依次进行多次卷积运算和下采样处理,并利用贝叶斯后验概率层对第一特征图的第一次下采样的结果进行下采样特征丢失处理,得到第一个下采样特征丢失处理后的特征图,利用贝叶斯后验概率层对第一特征图的最后一次下采样的结果进行下采样特征丢失处理,得到最后一个下采样特征丢失处理后的特征图,其中,下采样特征丢失处理就是确定出该层参与更新的神经元的个数;第五,对最后一个下采样特征丢失处理后的特征图进行一次卷积运算,将卷积运算后的特征图依次进行多次上采样处理和反卷积运算,得到第二特征图,其中,每次上采样处理之前都要先将该上采样层的输入和与该上采样层对应的下采样层的特征丢失处理后的特征图进行融合,然后再对融合后的特征图进行上采样处理;最后,对第二特征图进行插值运算,根据之前设置的神经网络的输出信息,即可得到卷积神经网络识别出的该图像样本中车牌相对于该图像样本的像素坐标信息,即该车牌的位置信息。通过对该卷积神经网络经过多次如上方法的训练,最终得到一个可以识别车牌位置的训练网络,将待识别的图像输入该训练网络,最终可以得到该图像中车牌的车牌位置信息。
得到训练完成的卷积神经网络后,利用该卷积神经网络的第一网络提取出原始图像的第一特征图,其中,第一网络包括多个卷积层、以及与每个卷积层对应的多个下采样层。首先,将原始图像输入第一网络;其次,对原始图像依次进行多次卷积运算和多次下采样处理,其中每个下采样层的输入是与该下采样层对应的卷积层的输出,最后一次下采样层的输出即为第一特征图。例如,卷积神经网络的第一网络包括两个卷积层和两个下采样层,按照卷积和采样的先后顺序分别命名为第一卷积层、第一下采样层、第二卷积层、第二下采样层,其中,第一下采样层的输出是第二卷积层的输入,第一下采样层和第一卷积层对应,第二下采样层和第二卷积层对应,所以,第一下采样层的输入来自于第一卷积层的输出,第二下采样层的输入来自于第二卷积层的输出,原始图像利用第一卷积层进行卷积运算后得到第一卷积特征图,第一卷积特征图作为第一下采样层的输入,利用第一下采样层对第一卷积特征图进行下采样得到第一下采样特征图,第一下采样特征图作为第二卷积层的输入,利用第二卷积层对第一下采样特征图进行卷积运算后得到第二卷积特征图,利用第二下采样层对第二卷积特征图进行下采样后得到第一特征图。
步骤S103,将第一特征图输入卷积神经网络的第二网络,利用第二网络中的贝叶斯后验概率模型对第一特征图进行特征处理,得到第二特征图。
在本发明实施例中,第二网络包括特征提取子网络及图像还原子网络,特征提取子网络的输出是图像还原子网络的输入。特征提取子网络包括多个相连的特征提取子节点,图像还原子网络包括与多个特征提取子节点一一对应的图像还原子节点,特征提取子网络的最后一个特征提取子节点与图像还原子网络的第一个图像还原子节点相连,第一个特征提取子节点包括卷积层、下采样层和贝叶斯后验概率层,第一个特征提取子节点提取的是浅层特征,浅层特征表征图像的纹理、轮廓等感受野更加关注的特征,最后一个特征提取子节点包括卷积层、下采样层和贝叶斯后验概率层,最后一个特征提取子字节点提取深层特征,深层特征表征语义、语境方面更加抽象的特征,除第一个特征提取子节点和最后一个特征提取字节之外的其余特征提取子节点可以包括一个或多个提取浅层特征的特征提取子节点,也可以包括一个或多个提取深层特征的特征提取子节点,还可以包括一个或多个提取浅层特征的特征提取子节点和一个或多个提取深层特征的特征提取子节点,每一个特征提取子节点可以包括卷积层、下采样层和贝叶斯后验概率层,也可以包括卷积层和下采样层,特征提取子节点用于将该特征提取子节点对应的特征提取图输出至下一连接的特征提取子节点及对应的图像还原子节点,图像还原子节点包括上采样层和反卷积层。将步骤S102得到的第一特征图依次利用每个特征提取子节点进行特征提取得到该特征提取子节点对应的特征提取图,该特征提取包括利用卷积层进行卷积运算,对该卷积运算的结果利用下采样层进行下采样,并利用贝叶斯后验概率层对下采样的结果进行下采样特征丢失处理,得到该特征提取子节点对应的特征提取图,其中,下采样特征丢失处理就是确定出该层参与更新的神经元的个数。
需要说明的是,作为一种实施方式,贝叶斯后验概率层可以,但不限于通过随机丢失层(dropout层)模拟来实现,其他可以模拟或者实现贝叶斯后验概率层的功能的方法都是可以的。例如,特征提取子网络包括三个特征提取子节点,每个特征提取子节点包括一个卷积层、一个下采样层、一个随机丢失层,其中,第一个特征提取子节点包括第三卷积层、第三下采样层和第一随机丢失层,第二个特征提取子节点包括第四卷积层、第四下采样层和第二随机丢失层,第三个特征提取子节点包括第五卷积层、第五下采样层、第三随机丢失层。第一特征图输入特征提取子网络,依次进行利用第三卷积层进行卷积运算、利用第三下采样层对卷积后的结果进行下采样,并对下采样的结果利用随机丢失层进行特征随机丢失处理得到第一个特征提取图,第一个特征提取图一方面作为第四卷积层的输入进行卷积,另一方面作为图像还原子网络的输入。第一个特征提取图经过第四卷积层、第四下采样层、第二随机丢失层的处理后得到第二个特征提取图,第二个特征提取图经过第五卷积层、第五下采样层、第三随机丢失层的处理后得到第三个特征提取图。在本发明实施例中,图像还原子网络包括与多个特征提取子节点一一对应的图像还原子节点,对应的关系是按照特征提取子节点的处理先后顺序和图像还原子节点的处理先后顺序的逆序进行对应的,最先处理的特征提取子节点和最后处理的图像还原子节点对应,最后处理的特征提取子节点和最先处理的图像还原子节点对应,首先,将特征提取子网络的最后一个特征提取子节点的输出进行一次卷积计算,其次,将该卷积计算的结果输出至图像还原子网络的第一个图像还原子节点,利用图像还原子节点依次进行图像还原最终得到第二特征图,其中,在进行图像还原子节点进行图像还原之前先将该图像还原子节点的输入和与该图像还原子节点对应的特征提取子节点的输出结果进行融合,最后,将对融合后的结果利用图像还原子节点进行图像还原得到与该图像还原子节点对应的特征还原图,最后一个特征还原图即为第二特征图。图像还原子节点包括上采样层和反卷积层,图像还原包括对图像还原子节点的输入特征图进行上采样,对该上采样的结果进行反卷积运算,最后一次反卷积的结果即为第二特征图。例如,图像还原子网络包括三个图像还原子节点,第一个图像还原子节点包括第五上采样层和第五反卷积层,第二个图像还原子节点包括第四上采样层和第四反卷积层,第三个图像还原子节点包括第三上采样层和第三反卷积层,最先处理的是第一图像还原子节点,最后处理的第三图像还原子节点,特征提取子网络包括三个按照处理先后顺序的特征提取子节点,分别为第一特征提取子节点、第二特征提取子节点和第三特征提取子节点,其中,第一特征提取子节点和第三图像还原子节点对应,第二特征提取子节点和第二图像还原子节点对应,第三特征提取子节点和第一图像还原子节点对应,该第二网络还包括第六卷积层,先对第三特征提取图利用第六卷积层进行卷积运算得到卷积后的特征图,该卷积后的特征图作为第一图像还原子节点的第一输入,将与第一图像还原子节点对应的第三特征提取子节点的输出作为第一图像还原子节点的第二输入,对该第一输入和第二输入进行融合得到融合后的特征图,依次利用第一图像还原子节点的第五上采样层、第五反卷积层对该融合后的特征图进行上采样和反卷积运算得到反卷积后的特征图,将反卷积运算后的特征图作为第二图像还原子节点的第四上采样层的第一输入,将与第二图像还原子节点对应的第二特征提取子节点输出作为第二图像还原子节点的第四上采样层的第二输入,对该第一输入和第二输入进行融合得到融合后的特征图,依次利用第三图像特征提取子节点的第三上采样层、第三反卷积层对该融合后的特征图进行上采样和反卷积运算,最终得到第二特征图。
作为一种实施方式,特征提取子节点可以包括多个卷积层、与每个卷积层对应的多个下采样层和两个贝叶斯后验概率层,对应的图像还原子节点包括多个上采样层和与每个上采样层对应的多个反卷积层。例如,特征提取子节点包括两个卷积层、两个下采样层、两个随机丢失层,按照处理的先后顺序分别为第三卷积层、第三下采样层、第一随机丢失层、第四卷积层、第四下采样层、第二随机丢失层,与该特征提取子节点对应的图像还原子节点包括两个上采样层和两个反卷积层,按照处理的先后顺序分别为第四上采样层、第四反卷积层、第三上采样层、第三反卷积层。
步骤S104,依据第二特征图,识别出原始图像中待识别车牌的位置信息。
在本发明实施例中,依据第二特征图,识别出原始图像中待识别车牌的位置信息的方法可以有两种:对第二特征图进行插值运算,识别出原始图像中待识别车牌的位置信息;将第一特征图和第二特征图进行融合,识别出原始图像中待识别车牌的位置信息。
当采用对第二特征图进行插值运算,识别出原始图像中待识别车牌的位置信息的方法时,该方法具体包括:利用插值层对第二特征图进行插值运算之后可以得到与原始图像大小相同的还原图像,根据最初设置的卷积神经网络的输出形式得到还原图像中待识别车牌的位置信息,即为原始图像中待识别车牌的位置信息,其中,插值运算是一种放大图像的常用方法,实现插值运算的方法包括,但不限于最邻近元法、双线性内插法、三次内插法等。
当采用将第一特征图和第二特征图进行融合,识别出原始图像中待识别车牌的位置信息的方法时,步骤S104具体包括的子步骤请参照图3,图3示出了步骤S104的子步骤流程图。
步骤S104具体包括以下子步骤:
子步骤S1041,将第一特征图的卷积和第二特征图进行像素融合得到第三特征图。
在本发明实施例中,像素融合是图像融合的最基本的形式,是像素层级上的图像融合,是对第一特征图和第二特征图的像素点进行融合。
作为一种实施方式,像素融合可以通过Eltwise层实现,Eltwise层的基本操作有三种:按元素乘积、按元素求和、保存元素最大者,可以通过三种操作的任意一种实现像素融合,并且通过Eltwise层融合后的图像的大小和融合前是一样的,不会改变。
子步骤S1042,对第三特征图进行插值运算,识别出原始图像中待识别车牌的位置信息。
在本发明实施例中,子步骤S1042中的对第三特征图进行插值运算,识别出原始图像中待识别车牌的位置信息的实现方法与对第二特征图进行插值运算,识别出原始图像中待识别车牌的位置信息的实现方法相同,此处不再赘述。
在本发明实施例中,首先,获取原始图像,其中,原始图像包括待识别车牌;其次,将原始图像输入预先训练的卷积神经网络,利用卷积神经网络的第一网络提取出原始图像的第一特征图;第三,将第一特征图输入卷积神经网络的第二网络,利用第二网络中的贝叶斯后验概率模型对第一特征图进行特征处理,得到第二特征图,一方面,通过添加贝叶斯后验概率层,实现通过结果去推导原因,并能够给出该结果的置信度,通过过滤低置信度对下采样的特征信息进行特征丢失处理,使得每次下采样得到的都是置信度最高的神经元,提高识别的准确性。另一个方面,将下采样和上采样的特征信息进行融合得到更丰富的特征信息,提高了车牌位置在各种干扰因素下的鲁棒性,最后,依据第二特征图,识别出原始图像中待识别车牌的位置信息,使用插值层代替全卷积神经网络中的上采样层和反卷积层,减小了因卷积运算带来的性能开销,提高了车牌位置识别的效率。
第二实施例
请参照图4,图4示出了本发明实施例提供的车牌位置识别装置200的方框示意图。其包括原始图像获取模块201,第一特征图生成模块202;第二特征图生成模块203;位置信息生成模块204。
原始图像获取模块201,用于获取原始图像,其中,原始图像包括待识别车牌。
本发明实施例中,原始图像获取模块201可以用于执行步骤S101。
第一特征图生成模块202,用于将原始图像输入预先训练的卷积神经网络,利用卷积神经网络的第一网络提取出原始图像的第一特征图。
本发明实施例中,第一特征图生成模块202可以用于执行步骤S102。
第二特征图生成模块203,用于将第一特征图输入卷积神经网络的第二网络,利用第二网络中的贝叶斯后验概率模型对第一特征图进行特征处理,得到第二特征图。
本发明实施例中,第二特征图生成模块203可以用于执行步骤S103。
位置信息生成模块204,用于依据第二特征图,识别出原始图像中待识别车牌的位置信息。
本发明实施例中,位置信息生成模块204可以用于执行步骤S104。
综上所述,本发明提供的一种车牌位置识别方法、装置及电子设备,所述方法包括:获取原始图像,其中,原始图像包括待识别车牌;将原始图像输入预先训练的卷积神经网络,利用卷积神经网络的第一网络提取出原始图像的第一特征图;将第一特征图输入卷积神经网络的第二网络,利用第二网络中的贝叶斯后验概率模型对第一特征图进行特征处理,得到第二特征图;依据第二特征图,识别出原始图像中待识别车牌的位置信息。与现有技术相比,本发明实施例通过在卷积神经网络中添加贝叶斯后验概率层,实现通过结果去推导原因,并能够给出该结果的置信度,通过过滤低置信度对下采样的特征信息进行特征丢失处理,使得每次下采样得到的都是置信度最高的神经元,提高识别的准确性,同时,通过将不同阶段的输出特征信息进行融合,从而获得更丰富的特征信息,对污损、倾斜、小像素、周围纹理等因素的干扰具有较强的鲁棒性,进一步提升了车牌位置识别的准确性。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种车牌位置识别方法,其特征在于,所述方法包括:
获取原始图像,其中,所述原始图像包括待识别车牌;
将所述原始图像输入预先训练的卷积神经网络,利用所述卷积神经网络的第一网络提取出所述原始图像的第一特征图;
将所述第一特征图输入所述卷积神经网络的第二网络,利用所述第二网络中的贝叶斯后验概率模型对所述第一特征图进行特征处理,得到第二特征图;
依据所述第二特征图,识别出所述原始图像中所述待识别车牌的位置信息。
2.如权利要求1所述的方法,其特征在于,所述第一网络包括多个卷积层、以及与每个卷积层对应的多个下采样层。
3.如权利要求1所述的方法,其特征在于,所述第二网络包括特征提取子网络及图像还原子网络;
所述特征提取子网络包括多个相连的特征提取子节点,所述图像还原子网络包括与多个特征提取子节点一一对应的图像还原子节点,所述特征提取子网络的最后一个特征提取子节点与所述图像还原子网络的第一个图像还原子节点相连;
每个特征提取子节点用于将该特征提取子节点对应的特征提取图输出至下一连接的特征提取子节点及对应的图像还原子节点;
所述特征提取子网络的最后一个特征提取子节点用于将该特征提取子节点对应的特征提取图输出至所述图像还原子网络的第一个图像还原子节点。
4.如权利要求3所述的方法,其特征在于,第一个特征提取子节点包括卷积层、下采样层和贝叶斯后验概率层,最后一个特征提取子节点包括卷积层、下采样层和贝叶斯后验概率层,特征提取子网络包括至少两个卷积层、下采样层和贝叶斯后验概率层,其中,所述贝叶斯后验概率层用于模拟所述贝叶斯后验概率模型。
5.如权利要求3所述的方法,其特征在于,所述图像还原子节点包括上采样层和反卷积层。
6.如权利要求1所述的方法,其特征在于,所述依据所述第二特征图,识别出所述原始图像中所述待识别车牌的位置信息的步骤,包括:
对所述第二特征图进行插值运算,识别出所述原始图像中所述待识别车牌的位置信息。
7.如权利要求1所述的方法,其特征在于,所述依据所述第二特征图,识别出所述原始图像中所述待识别车牌的位置信息的步骤,包括:
将所述第一特征图的卷积与所述第二特征图进行像素融合,得到第三特征图;
对所述第三特征图进行插值运算,识别出所述原始图像中所述待识别车牌的位置信息。
8.一种车牌位置识别装置,其特征在于,所述装置包括:
原始图像获取模块,用于获取原始图像,其中,所述原始图像包括待识别车牌;
第一特征图生成模块,用于将所述原始图像输入预先训练的卷积神经网络,利用所述卷积神经网络的第一网络提取出所述原始图像的第一特征图;
第二特征图生成模块,用于将所述第一特征图输入所述卷积神经网络的第二网络,利用第二网络中的贝叶斯后验概率模型对所述第一特征图进行特征处理,得到第二特征图;
位置信息生成模块,用于依据所述第二特征图,识别出所述原始图像中所述待识别车牌的位置信息。
9.如权利要求8所述的装置,其特征在于,所述位置信息生成模块具体用于:
将所述第一特征图的卷积与所述第二特征图进行像素融合,得到第三特征图;
对所述第三特征图进行插值运算,识别出所述原始图像中所述待识别车牌的位置信息。
10.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。
CN201810121546.0A 2018-02-07 2018-02-07 车牌位置识别方法、装置及电子设备 Active CN110119736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810121546.0A CN110119736B (zh) 2018-02-07 2018-02-07 车牌位置识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810121546.0A CN110119736B (zh) 2018-02-07 2018-02-07 车牌位置识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110119736A true CN110119736A (zh) 2019-08-13
CN110119736B CN110119736B (zh) 2021-12-28

Family

ID=67520056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810121546.0A Active CN110119736B (zh) 2018-02-07 2018-02-07 车牌位置识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110119736B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325757A (zh) * 2020-02-18 2020-06-23 西北工业大学 一种基于贝叶斯神经网络的点云识别与分割方法
CN112418240A (zh) * 2019-08-21 2021-02-26 上海商汤临港智能科技有限公司 图像处理方法、装置、设备和存储介质
CN112528873A (zh) * 2020-12-15 2021-03-19 西安电子科技大学 基于多级语义表征和语义计算的信号语义识别方法
CN113012293A (zh) * 2021-03-22 2021-06-22 平安科技(深圳)有限公司 石刻模型构建方法、装置、设备及存储介质
CN114648652A (zh) * 2022-03-14 2022-06-21 北京计算机技术及应用研究所 一种利用卷积神经网络和正交变换计算图像哈希值的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN107016677A (zh) * 2017-03-24 2017-08-04 北京工业大学 一种基于fcn和cnn的云图分割方法
CN107133616A (zh) * 2017-04-02 2017-09-05 南京汇川图像视觉技术有限公司 一种基于深度学习的无分割字符定位与识别方法
CN107203754A (zh) * 2017-05-26 2017-09-26 北京邮电大学 一种基于深度学习的车牌定位方法及装置
CN107229929A (zh) * 2017-04-12 2017-10-03 西安电子科技大学 一种基于r‑cnn的车牌定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN107016677A (zh) * 2017-03-24 2017-08-04 北京工业大学 一种基于fcn和cnn的云图分割方法
CN107133616A (zh) * 2017-04-02 2017-09-05 南京汇川图像视觉技术有限公司 一种基于深度学习的无分割字符定位与识别方法
CN107229929A (zh) * 2017-04-12 2017-10-03 西安电子科技大学 一种基于r‑cnn的车牌定位方法
CN107203754A (zh) * 2017-05-26 2017-09-26 北京邮电大学 一种基于深度学习的车牌定位方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALEX KENDALL 等: ""Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding"", 《ARXIV:1511.02680V1》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418240A (zh) * 2019-08-21 2021-02-26 上海商汤临港智能科技有限公司 图像处理方法、装置、设备和存储介质
CN111325757A (zh) * 2020-02-18 2020-06-23 西北工业大学 一种基于贝叶斯神经网络的点云识别与分割方法
CN111325757B (zh) * 2020-02-18 2022-12-23 西北工业大学 一种基于贝叶斯神经网络的点云识别与分割方法
CN112528873A (zh) * 2020-12-15 2021-03-19 西安电子科技大学 基于多级语义表征和语义计算的信号语义识别方法
CN112528873B (zh) * 2020-12-15 2022-03-22 西安电子科技大学 基于多级语义表征和语义计算的信号语义识别方法
CN113012293A (zh) * 2021-03-22 2021-06-22 平安科技(深圳)有限公司 石刻模型构建方法、装置、设备及存储介质
CN113012293B (zh) * 2021-03-22 2023-09-29 平安科技(深圳)有限公司 石刻模型构建方法、装置、设备及存储介质
CN114648652A (zh) * 2022-03-14 2022-06-21 北京计算机技术及应用研究所 一种利用卷积神经网络和正交变换计算图像哈希值的方法

Also Published As

Publication number Publication date
CN110119736B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
CN110119736A (zh) 车牌位置识别方法、装置及电子设备
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
CN107545262A (zh) 一种在自然场景图像中检测文本的方法及装置
CN110851835A (zh) 图像模型检测方法、装置、电子设备及存储介质
CN110008956A (zh) 发票关键信息定位方法、装置、计算机设备及存储介质
CN106709461A (zh) 基于视频的行为识别方法及装置
CN110728295B (zh) 半监督式的地貌分类模型训练和地貌图构建方法
CN111325258A (zh) 特征信息获取方法、装置、设备及存储介质
CN109583345A (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
CN109740415A (zh) 车辆属性识别方法及相关产品
CN109359539A (zh) 注意力评估方法、装置、终端设备及计算机可读存储介质
CN111414888A (zh) 低分辨率人脸识别方法、系统、装置及存储介质
CN109345553A (zh) 一种手掌及其关键点检测方法、装置和终端设备
CN109214403A (zh) 图像识别方法、装置及设备、可读介质
CN110457677A (zh) 实体关系识别方法及装置、存储介质、计算机设备
CN112215188B (zh) 交警姿态识别方法、装置、设备及存储介质
CN110163241A (zh) 数据样本生成方法、装置、计算机设备及存储介质
CN110245673A (zh) 车位检测方法及装置
CN111666945A (zh) 一种基于语义分割的店面违规识别方法及装置、存储介质
CN114783021A (zh) 一种口罩佩戴智能检测方法、装置、设备及介质
CN110348434A (zh) 相机来源鉴别方法、系统、存储介质和计算设备
CN109657082A (zh) 基于全卷积神经网络的遥感图像多标签检索方法及系统
Wan et al. Small object detection leveraging density‐aware scale adaptation
Fei et al. A GNN Architecture With Local and Global-Attention Feature for Image Classification
CN114332884B (zh) 文档元素的识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant