CN109284757A - 一种车牌识别方法、装置、计算机装置及计算机可读存储介质 - Google Patents

一种车牌识别方法、装置、计算机装置及计算机可读存储介质 Download PDF

Info

Publication number
CN109284757A
CN109284757A CN201811008828.6A CN201811008828A CN109284757A CN 109284757 A CN109284757 A CN 109284757A CN 201811008828 A CN201811008828 A CN 201811008828A CN 109284757 A CN109284757 A CN 109284757A
Authority
CN
China
Prior art keywords
license plate
new
old
plate image
coordinate information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811008828.6A
Other languages
English (en)
Inventor
周忠诚
黄九鸣
张圣栋
段炼
郭建京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Xinghan Shuzhi Technology Co Ltd
Original Assignee
Hunan Xinghan Shuzhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Xinghan Shuzhi Technology Co Ltd filed Critical Hunan Xinghan Shuzhi Technology Co Ltd
Priority to CN201811008828.6A priority Critical patent/CN109284757A/zh
Publication of CN109284757A publication Critical patent/CN109284757A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像识别领域，公开了一种车牌识别方法、装置、计算机装置及计算机可读存储介质，所述车牌识别方法包括：获取待识别车牌图像，对所述待识别车牌图像进行灰度化处理，得到第一车牌图像；所述第一车牌图像中至少包括一个矩形；提取所述第一车牌图像中矩形的坐标信息，并通过预设规则处理所述坐标信息，得到新的坐标信息；利用新的坐标信息抠取所述待识别车牌图像，得到第二车牌图像；处理所述第二车牌图像，得到概率值和预测值；选取概率值最大时对应的预测值作为最终识别结果。本发明具有操作简单、识别速度快、准确率高、鲁棒性强等优点，对较为模糊、光线暗的以及具有各种复杂背景的图片也能进行识别，具有广泛的应用前景。

Description

一种车牌识别方法、装置、计算机装置及计算机可读存储介质
技术领域
本发明属于图像识别领域，尤其涉及一种车牌识别方法、装置、计算机装置及计算机可读存储介质。
背景技术
近年来，城市车流量大幅度增长,给交通带来了巨大压力，智能交通系统的出现，提高了路网通过能力，在一定程度上缓解了交通阻塞情况，减少交通事故。车牌自动化识别作为智能交通系统重要的组成部分，广泛应用于高速公路收费管理系统、高速公路超速自动化监管系统、城市交通路口的电子警察、停车场收费管理等系统中。
车牌定位是车牌识别的先导环节，定位不准，也就不可能识别准确。现有技术中比较常见的方法是先在待识别图像中定位车牌，确定车牌的精确位置，然后将车牌切割成一串字符、识别字符，最后组合成车牌字符串。其中，定位车牌主要是利用车牌的颜色和纹理信息，比如车牌的矩形边框等，是一种图像处理的技术，容易受到复杂背景的影响，且不适用于边缘不清楚以及车身与车牌颜色相近的情况。端到端的车牌字符识别是本发明方法的关键环节。现有技术均为对车牌图像中的字符进行分割，之后再对每一个字符进行识别，步骤繁琐，识别成功率低，耗时较长，即便是使用了深度学习的车牌识别技术，也仅仅是涉及到卷积神经网络CNN，并未引入学习能力更强、处理速度更快、更适宜处理连续字符串数据的门控循环单元GRU。
综上所述，当前车牌识别技术存在的主要问题是识别步骤繁琐，耗时长，错误率高等问题，鲁棒性弱，当遇到图片视角倾斜、车牌沾有泥灰或光线不足等严峻环境时，切割车牌易发生错误，进而导致最终识别错误。因此，结合当下新的人工智能技术开发一种新的车牌识别方法，具有重要的意义和极高的工业价值。
发明内容
本发明实施例提供一种车牌识别方法，旨在解决现有技术中车牌识别步骤繁琐、耗时长、错误率高、易受复杂背景影响等问题。
本发明是这样实现的，一种车牌识别方法，包括：
获取待识别车牌图像，对所述待识别车牌图像进行灰度化处理，得到第一车牌图像；所述第一车牌图像中至少包括一个矩形；
调用级联分类器模型提取所述第一车牌图像中矩形的坐标信息，并通过预设规则处理所述坐标信息，得到新的坐标信息；
利用新的坐标信息抠取所述待识别车牌图像，得到第二车牌图像；
调用端到端字符识别模型处理所述第二车牌图像，得到概率值和预测值；选取概率值最大时对应的预测值作为最终识别结果。
本发明还提供一种车牌识别装置，包括：
预处理模块，用于获取待识别车牌图像，对所述待识别车牌图像进行灰度化处理，得到第一车牌图像；所述第一车牌图像中至少包括一个矩形；
坐标提取模块，用于调用级联分类器模型提取所述第一车牌图像中矩形的坐标信息，并通过预设规则处理所述坐标信息，得到新的坐标信息；
目标图像抠取模块，用于利用新的坐标信息抠取所述待识别车牌图像，得到第二车牌图像；
图像识别模块，用于调用端到端字符识别模型处理所述第二车牌图像，得到概率值和预测值；选取概率值最大时对应的预测值作为最终识别结果。
本发明还提供一种计算机装置，所述计算机装置包括处理器，所述处理器用于执行存储器中计算机程序时实现如上述所述车牌识别方法的步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述车牌识别方法的步骤。
本发明提供的车牌识别方法，首先获取待识别车牌图像，对所述待识别车牌图像进行灰度化处理，得到第一车牌图像；其次调用级联分类器模型提取所述第一车牌图像中矩形的坐标信息，并通过预设规则处理所述坐标信息，得到新的坐标信息；再次利用新的坐标信息抠取所述待识别车牌图像，得到第二车牌图像；然后调用左右回归模型处理所述第二车牌图像，得到精确定位的第二车牌图像；最后调用端到端字符识别模型处理所述第二车牌图像，得到概率值和预测值；选取概率值最大时对应的预测值作为最终识别结果。本发明具有操作简单、识别速度快、准确率高等优点，对较为模糊、光线暗、沾有泥灰的车牌图片也能进行识别，具有广泛的应用前景。
附图说明
图1是本发明实施例提供的一种车牌识别方法的实现流程图；
图2是本发明实施例提供的一种左右回归模型的结构示意图；
图3是本发明实施例提供的一种端到端字符识别模型的结构示意图；
图4是本发明实施例提供的一种端到端字符识别模型的数据处理流程图第一部分；
图5是本发明实施例提供的一种端到端字符识别模型的数据处理流程图第二部分；
图6是本发明实施例提供的一种端到端字符识别模型的数据处理流程图第三部分；
图7是本发明实施例提供的一种调用级联分类器模型提取第一车牌图像中矩形的坐标信息，并通过预设规则处理坐标信息，得到新的坐标信息的实现流程图；
图8是是本发明实施例提供的一种调用左右回归模型处理第二车牌图像，得到精确定位的第二车牌图像的实现流程图；
图9是本发明实施例提供的一种车牌识别装置的结构示意图；
图10是本发明实施例提供的一种坐标提取模块的结构示意图；
图11是本发明实施例提供的一种精确定位模块的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供的车牌识别方法，采用级联分类器CascadeClassifier基于图像的LBP特征提取出图像中的车牌，然后使用基于深度学习的CNN的左右边界回归模型对车牌左右位置进行精细提取，最后使用基于卷积神经网络CNN和门控循环单元GRU的Tensorflow端到端的字符识别模型一次性识别出车牌中的字符。其中，级联分类器模型克服了传统的依靠滑动窗口或分块定位车牌技术存在的低效率以及复杂性缺点，实现车牌简单快速准确定位，并且卷积神经网络的精细化定位增加了车牌定位的准确率，最后发挥端到端的含有GRU和CNN的神经网络的强大的特征学习能力，实现各种复杂环境下的车牌字符识别，进而完成整个车牌识别过程，具有操作简单、识别速度快、准确率高等优点，对较为模糊、光线暗的图片也能进行识别，具有广泛的应用前景。
图1示出了本发明实施例提供的一种车牌识别方法的实现流程图；该车牌识别方法，包括：
在步骤S101中，依次加载级联分类器模型、左右回归模型、端到端字符识别模型。
在本实施例中，级联分类器模型是一种Adaboost分类器，它经过一定数据量的正负样本的训练，可以从图片中识别出特定形状与颜色的物体的位置，简单快捷，具有更强的鲁棒性；左右回归模型和端到端字符识别模型将在后面详细说明。
在步骤S102中，获取待识别车牌图像，对所述待识别车牌图像进行灰度化处理，得到第一车牌图像；所述第一车牌图像中至少包括一个矩形；
本实施例中，灰度化处理公式为：0.299*R+0.587*G+0.114*B，其中R、G、B分别为待识别车牌图像的三个通道的像素值，通过上式得到灰度化后单通道的像素点的新值。灰度化处理的目的是：在灰度图中，更容易识别出车牌图像中的矩形结构。
在步骤S103中，调用级联分类器模型提取所述第一车牌图像中矩形的坐标信息，并通过预设规则处理所述坐标信息，得到新的坐标信息；
本实施例中，级联分类器模型解决了传统依靠滑动窗口或分块定位车牌技术存在的定位效率低、操作复杂的问题，可以实现车牌简单快速准确定位。
本实施例中，步骤S102中识别出几个矩形，本步骤就对应得到几组坐标信息。
在步骤S104中，利用新的坐标信息抠取所述待识别车牌图像，得到第二车牌图像；
可以理解，利用坐标信息抠取图像是本领域技术人员公知的技术手段，此处不再赘述。
本实施例中，在步骤S103中得到几组坐标信息，就对应得到几个第二车牌图像。
在步骤S105中，调用左右回归模型处理所述第二车牌图像，得到精确定位的第二车牌图像；
参见图2，在本实施例中，所述左右回归模型依次由第一卷积层、第一激活函数层、第一最大值池化层、第二卷积层、第二激活函数层、第三卷积层、第三激活函数层、平滑层和输出层连接而成；调用左右回归模型主要对第二车牌图像的宽度方向的X轴坐标进行优化，车牌的宽度更为精准，增加了车牌定位的准确率。
例如，左右回归模型结构输入为16×66、3通道，第一卷积层10个核，第二卷积层16个核，第三卷基层32个核，每个卷积层的strides都是1，后面都跟着relu激活层，并且第一卷积层后跟着第一最大值池化层，其他两个卷积层后没有池化层，在三次卷积之后，连接一个平滑层，最后是含有2个神经元的输出层，输出结果是2个宽度分数位。
在步骤S106中，调用端到端字符识别模型处理所述第二车牌图像，得到概率值和预测值；选取概率值最大时对应的预测值作为最终识别结果。
本实施例中，端对端字符识别模型基于卷积神经网络CNN和门控循环单元GRU，包括依次连接的卷积单元、隐层单元、门控循环单元和输出单元；所述卷积单元依次由卷积神经网络层、批规范层、激活函数层、最大值池化层连接而成；所述隐层单元依次由隐层神经网络层、批规范层、激活函数层连接而成。
作为本发明的优选实施例，所述卷积单元的数量为3个，门控循环单元的数量为4个。
参见图3，端对端字符识别模型处理数据的流程为：数据首先进入三个串联的卷积单元进行一次处理，然后进入隐层单元进行二次处理，接着分别流经两个并联的门控循环单元进行三次处理，处理结果在出口处叠加，之后再次分别流经两个并联的门控循环单元进行四次处理，处理结果在出口处数据串连，最后数据进入输出层，从输出层出来后再经过一定规则的处理，得到预测值和这个预测值对应的概率值。
进一步阐述，参见图4和图5，网络的输入结构为164×48×3，宽164，长48，3通道，卷积单元中，第一个卷积神经网络层是32个卷积核，后面两个卷积层依次是64、128，卷积核大小均是3×3，激活函数均选用ReLu函数，池化核为2×2，此时最后的池化的输出层为128个大小为18×4的特征图。参见图6，经过变形，成为一个18×512的特征图。再经过一个全连接的带有32个神经元的隐层，特征图变为18×32，后续连接的门控循环单元中循环神经元个数均为256，其权重初始化方法为He正态分布初始化；最后的softmax输出层神经元为84个小数，即可能取的84种字符中每个字符的可能性。最后整个神经网络的输出结果是一个18×84的二维矩阵，去掉18中的前两行，剩下16行，成为16×84的二维矩阵。设此矩阵为m。每行取出值最大的位置的索引组成一个新的16×1数组，设此数组为b，再根据b(取值范围为0-83)，结合84个字符串，逐个翻译成字符。去掉相邻的重复值以及为83的值，剩下7个值，这7个索引值对应的7个m中该行最大值，取这些值的平均值，即为这组预测字符串结果的概率值。在多组预测结果中，选取概率值最大，意即最有信心的预测值，即预测的字符串，作为第一步中的image的预测结果。
以一简单例子来辅助说明上述实施例中的端到端字符识别过程：字符数组为c＝“湘,京,Z,Y,Q”，设m1为3×5的矩阵，其第一行值为[0.90,0.10,0.20,0.10,0.05]，第二行值为[0.11,0.13,0.10,0.11,0.95]，第三行值为[0.01,0.10,0.98,0.13,0.07]，则第一行是索引为0处值最大，第二行是4，第三行是2，m1对应的b1数组是(0,4,2)，去掉4，剩下两个索引值，因c[0]＝“湘”，c[2]＝“Z”,则最终预测值是(湘Z)，并且此预测值对应的概率值为(0.90+0.98)/2＝0.94。
在本实施例中，由于步骤S105中会得到一个或多个待检测第二车牌图像，因此本步骤也会得到一组或多组预测结果，每组预测结果都包括概率值和预测值(识别的字符串结果)，在多组预测结果中，选取概率值最大时对应的字符串作为最终的识别结果。
由于基于循环神经网络RNN的门控循环单元GRU非常适合用来识别连续字符串，当前已有基于GRU的神经网络识别验证码字符串的技术，因此本发明尝试将其引入车牌识别场景中，取得了非常好的效果，解决了原有的深度学习模型识别效果差、模型训练时间长等问题，能够实现光线暗、车牌沾有泥污、车牌图片角度偏斜等各种复杂环境下的车牌字符识别。
参见图7，上述步骤S103，包括：
在步骤S1031中，调用级联分类器模型提取所述第一车牌图像中矩形的坐标信息；所述坐标信息包括：矩形任意一角的横坐标、纵坐标，矩形宽度，矩形长度；
作为本发明的优选实施例，矩形的坐标信息的组织形式依次为左上角点的横坐标、左上角点的纵坐标、矩形宽度、矩形长度，横坐标增大的方向向右，纵坐标增大的方向向下。
在步骤S1032中，通过预设规则处理所述坐标信息，得到新的坐标信息；处理公式为：
x(new)＝x(old)-w(old)*0.5a
w(new)＝w(old)+w(old)*a
y(new)＝y(old)-h(old)*0.5a
h(new)＝h(old)+h(old)*a
其中，x(new)表示新的横坐标，x(old)表示原始横坐标，a表示拓展系数；w(new)表示新的矩形宽度，w(old)表示原始矩形宽度；y(new)表示新的纵坐标，y(old)表示原始纵坐标；h(new)表示新的矩形长度，h(old)表示原始矩形长度。
作为本发明的优选实施例，拓展系数a值为0.28。
通过上述步骤S1032的操作，可以加大提取到的矩形的面积，尽可能避免因级联分类器模型得到的坐标不准而导致提取到的车牌区域有缺失，进而导致识别错误的问题。
参见图8，在步骤S105中，包括：
在步骤S1051中，将所述第二车牌图像进行标准化处理，得到所有数值均为0-1之间的小数的矩阵；
本实施例中，标准化处理是将第二车牌图像的像素值统一除以255，得到所有数值均为0-1之间的小数的矩阵，以此作为模型的输入。
在步骤S1052中，将所述矩阵输入到左右回归模型中，得到输出结果，输出结果为两个分数left和right；处理所述输出结果，得到所述第二车牌图像中车牌的原始宽度，处理公式为：
H(old)＝left*w(old)
T(old)＝right*w(old)
其中，所述第二车牌图像中，用左分数位点和右分数位点表示车牌的位置；H(old)表示车牌原始宽度方向的左坐标，left为左分数位点，T(old)表示车牌原始宽度方向的右坐标，right为右分数位点；
在步骤S1053中，处理所述车牌的原始宽度，得到所述车牌新的宽度，进而得到精确定位的第二车牌图像；处理公式为：
H(new)＝H(old)-3
T(new)＝T(old)+2
其中，H(new)表示新的宽度方向的左坐标，取值≥0；T(new)表示新的宽度方向的右坐标，取值≤w(old)-1。
图9示出了本发明实施例提供的一种车牌识别装置100的结构示意图，为了便于说明，仅示出了于本发明实施例相关的部分。该车牌识别装置100，包括：
模型加载模块110，用于依次加载级联分类器模型、左右回归模型、端到端字符识别模型；
在本实施例中，级联分类器模型是一种Adaboost分类器，它经过一定数据量的正负样本的训练，可以从图片中识别出特定形状与颜色的物体的位置，简单快捷，具有更强的鲁棒性；左右回归模型和端到端字符识别模型将在后面详细说明。
预处理模块120，用于获取待识别车牌图像，对所述待识别车牌图像进行灰度化处理，得到第一车牌图像；所述第一车牌图像中至少包括一个矩形；
本实施例中，灰度化处理公式为：0.299*R+0.587*G+0.114*B，其中R、G、B分别为待识别车牌图像的三个通道的像素值，通过上式得到灰度化后单通道的像素点的新值。灰度化处理的目的是：在灰度图中，更容易识别出车牌图像中的矩形结构。
坐标提取模块130，用于调用级联分类器模型提取所述第一车牌图像中矩形的坐标信息，并通过预设规则处理所述坐标信息，得到新的坐标信息；
本实施例中，级联分类器模型解决了传统依靠滑动窗口或分块定位车牌技术存在的定位效率低、操作复杂的问题，可以实现车牌简单快速准确定位。
本实施例中，预处理模块120中识别出几个矩形，坐标提取模块130就对应得到几组坐标信息。
目标图像抠取模块140，用于利用新的坐标信息抠取所述待识别车牌图像，得到第二车牌图像；
可以理解，利用坐标信息抠取图像是本领域技术人员公知的技术手段，此处不再赘述。
本实施例中，坐标提取模块130得到几组坐标信息，目标图像抠取模块140就对应得到几个第二车牌图像。
精确定位模块150，用于调用左右回归模型处理所述第二车牌图像，得到精确定位的第二车牌图像；
参见图2，在本实施例中，所述左右回归模型依次由第一卷积层、第一激活函数层、第一最大值池化层、第二卷积层、第二激活函数层、第三卷积层、第三激活函数层、平滑层和输出层连接而成；调用左右回归模型主要对第二车牌图像的宽度方向的X轴坐标进行优化，车牌的宽度更为精准，增加了车牌定位的准确率。
例如，左右回归模型结构输入为16×66、3通道，第一卷积层10个核，第二卷积层16个核，第三卷基层32个核，每个卷积层的strides都是1，后面都跟着relu激活层，并且第一卷积层后跟着第一最大值池化层，其他两个卷积层后没有池化层，在三次卷积之后，连接一个平滑层，最后是含有2个神经元的输出层，输出结果是2个宽度分数位。
图像识别模块160，用于调用端到端字符识别模型处理所述第二车牌图像，得到概率值和预测值；选取概率值最大时对应的预测值作为最终识别结果。
本实施例中，端对端字符识别模型基于卷积神经网络CNN和门控循环单元GRU，包括依次连接的卷积单元、隐层单元、门控循环单元和输出单元；所述卷积单元依次由卷积神经网络层、批规范层、激活函数层、最大值池化层连接而成；所述隐层单元依次由隐层神经网络层、批规范层、激活函数层连接而成。
作为本发明的优选实施例，所述卷积单元的数量为3个，门控循环单元的数量为4个。
参见图3，端对端字符识别模型处理数据的流程为：数据首先进入三个串联的卷积单元进行一次处理，然后进入隐层单元进行二次处理，接着分别流经两个并联的门控循环单元进行三次处理，处理结果在出口处叠加，之后再次分别流经两个并联的门控循环单元进行四次处理，处理结果在出口处数据串连，最后数据进入输出层，从输出层出来后再经过一定规则的处理，得到预测值和这个预测值对应的概率值。
进一步阐述，参见图4和图5，网络的输入结构为164×48×3，宽164，长48，3通道，卷积单元中，第一个卷积神经网络层是32个卷积核，后面两个卷积层依次是64、128，卷积核大小均是3×3，激活函数均选用ReLu函数，池化核为2×2，此时最后的池化的输出层为128个大小为18×4的特征图。参见图6，经过变形，成为一个18×512的特征图。再经过一个全连接的带有32个神经元的隐层，特征图变为18×32，后续连接的门控循环单元中循环神经元个数均为256，其权重初始化方法为He正态分布初始化；最后的softmax输出层神经元为84个小数，即可能取的84种字符中每个字符的可能性。最后整个神经网络的输出结果是一个18×84的二维矩阵，去掉18中的前两行，剩下16行，成为16×84的二维矩阵。设此矩阵为m。每行取出值最大的位置的索引组成一个新的16×1数组，设此数组为b，再根据b(取值范围为0-83)，结合84个字符串，逐个翻译成字符。去掉相邻的重复值以及为83的值，剩下7个值，这7个索引值对应的7个m中该行最大值，取这些值的平均值，即为这组预测字符串结果的概率值。在多组预测结果中，选取概率值最大，意即最有信心的预测值，即预测的字符串，作为第一步中的image的预测结果。
以一简单例子来辅助说明上述实施例中的端到端字符识别过程：字符数组为c＝“湘,京,Z,Y,Q”，设m1为3×5的矩阵，其第一行值为[0.90,0.10,0.20，0.10，0.05]，第二行值为[0.11,0.13,0.10,0.11,0.95]，第三行值为[0.01,0.10,0.98,0.13,0.07]，则第一行是索引为0处值最大，第二行是4，第三行是2，m1对应的b1数组是(0,4,2)，去掉4，剩下两个索引值，因c[0]＝“湘”，c[2]＝“Z”,则最终预测值是(湘Z)，并且此预测值对应的概率值为(0.90+0.98)/2＝0.94。
在本实施例中，由于步骤S105中会得到一个或多个待检测第二车牌图像，因此本步骤也会得到一组或多组预测结果，每组预测结果都包括概率值和预测值(识别的字符串结果)，在多组预测结果中，选取概率值最大时对应的字符串作为最终的识别结果。
由于基于循环神经网络RNN的门控循环单元GRU非常适合用来识别连续字符串，当前已有基于GRU的神经网络识别验证码字符串的技术，因此本发明尝试将其引入车牌识别场景中，取得了非常好的效果，解决了原有的深度学习模型识别效果差、模型训练时间长等问题，能够实现光线暗、车牌沾有泥污、车牌图片角度偏斜等各种复杂环境下的车牌字符识别。
参见图10，坐标提取模块130，包括：
原始坐标提取单元131，用于调用级联分类器模型提取所述第一车牌图像中矩形的坐标信息；所述坐标信息包括：矩形任意一角的横坐标、纵坐标，矩形宽度，矩形长度；
作为本发明的优选实施例，矩形的坐标信息的组织形式依次为左上角点的横坐标、左上角点的纵坐标、矩形宽度、矩形长度，横坐标增大的方向向右，纵坐标增大的方向向下。
坐标处理单元132，用于通过预设规则处理所述坐标信息，得到新的坐标信息；处理公式为：
x(new)＝x(old)-w(old)*0.5a
w(new)＝w(old)+w(old)*a
y(new)＝y(old)-h(old)*0.5a
h(new)＝h(old)+h(old)*a
其中，x(new)表示新的横坐标，x(old)表示原始横坐标，a表示拓展系数；w(new)表示新的矩形宽度，w(old)表示原始矩形宽度；y(new)表示新的纵坐标，y(old)表示原始纵坐标；h(new)表示新的矩形长度，h(old)表示原始矩形长度。
作为本发明的优选实施例，拓展系数a值为0.28。
通过坐标处理单元132的操作，可以加大提取到的矩形的面积，尽可能避免因级联分类器模型得到的坐标不准而导致提取到的车牌区域有缺失，进而导致识别错误的问题。
参见图11，精确定位模块150，包括：
标准化单元151，用于将所述第二车牌图像进行标准化处理，得到所有数值均为0-1之间的小数的矩阵；
本实施例中，标准化处理是将第二车牌图像的像素值统一除以255，得到所有数值均为0-1之间的小数的矩阵，以此作为模型的输入。
原始宽度坐标获取单元152，用于将所述矩阵输入到左右回归模型中，得到输出结果，输出结果为两个分数left和right；处理所述输出结果，得到所述第二车牌图像中车牌的原始宽度，处理公式为：
H(old)＝left*w(old)
T(old)＝right*w(old)
其中，所述第二车牌图像中，用左分数位点和右分数位点表示车牌的位置；H(old)表示车牌原始宽度方向的左坐标，left为左分数位点，T(old)表示车牌原始宽度方向的右坐标，right为右分数位点；
新宽度坐标获取单元153，用于处理所述车牌的原始宽度，得到所述车牌新的宽度，进而得到精确定位的第二车牌图像；处理公式为：
H(new)＝H(old)-3
T(new)＝T(old)+2
其中，H(new)表示新的宽度方向的左坐标，取值≥0；T(new)表示新的宽度方向的右坐标，取值≤w(old)-1。
本发明实施例提供一种计算机装置，该计算机装置包括处理器，处理器用于执行存储器中计算机程序时实现上述各个方法实施例提供的车牌识别方法的步骤。
示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。例如，计算机程序可以被分割成上述各个方法实施例提供的车牌识别方法的步骤。
本领域技术人员可以理解，上述计算机装置的描述仅仅是示例，并不构成对计算机装置的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述计算机装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个车牌识别方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信号以及软件分发介质等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种车牌识别方法，其特征在于，所述车牌识别方法包括：
获取待识别车牌图像，对所述待识别车牌图像进行灰度化处理，得到第一车牌图像；所述第一车牌图像中至少包括一个矩形；
调用级联分类器模型提取所述第一车牌图像中矩形的坐标信息，并通过预设规则处理所述坐标信息，得到新的坐标信息；
利用新的坐标信息抠取所述待识别车牌图像，得到第二车牌图像；
调用端到端字符识别模型处理所述第二车牌图像，得到概率值和预测值；选取概率值最大时对应的预测值作为最终识别结果。
2.如权利要求1所述的车牌识别方法，其特征在于，所述调用端到端字符识别模型处理所述第二车牌图像之前，还包括：
调用左右回归模型处理所述第二车牌图像，得到精确定位的第二车牌图像；所述左右回归模型依次由第一卷积层、第一激活函数层、第一最大值池化层、第二卷积层、第二激活函数层、第三卷积层、第三激活函数层、平滑层和输出层连接而成。
3.如权利要求1所述的车牌识别方法，其特征在于，所述获取待识别车牌图像之前，还包括：
依次加载级联分类器模型、左右回归模型、端到端字符识别模型。
4.如权利要求1所述的车牌识别方法，其特征在于，所述调用级联分类器模型提取所述第一车牌图像中矩形的坐标信息，并通过预设规则处理所述坐标信息，得到新的坐标信息；具体包括：
调用级联分类器模型提取所述第一车牌图像中矩形的坐标信息；所述坐标信息包括：矩形任意一角的横坐标、纵坐标，矩形宽度，矩形长度；
通过预设规则处理所述坐标信息，得到新的坐标信息；处理公式为：
x(new)＝x(old)-w(old)*0.5a
w(new)＝w(old)+w(old)*a
y(new)＝y(old)-h(old)*0.5a
h(new)＝h(old)+h(old)*a
其中，x(new)表示新的横坐标，x(old)表示原始横坐标，a表示拓展系数；w(new)表示新的矩形宽度，w(old)表示原始矩形宽度；y(new)表示新的纵坐标，y(old)表示原始纵坐标；h(new)表示新的矩形长度，h(old)表示原始矩形长度。
5.如权利要求2所述的车牌识别方法，其特征在于，所述调用左右回归模型处理所述第二车牌图像，得到精确定位的第二车牌图像；具体包括：
将所述第二车牌图像进行标准化处理，得到所有数值均为0-1之间的小数的矩阵；
将所述矩阵输入到左右回归模型中，得到输出结果，输出结果为两个分数left和right；处理所述输出结果，得到所述第二车牌图像中车牌的原始宽度，处理公式为：
H(old)＝left*w(old)
T(old)＝right*w(old)
其中，所述第二车牌图像中，用左分数位点和右分数位点表示车牌的位置；H(old)表示车牌原始宽度方向的左坐标，left为左分数位点，T(old)表示车牌原始宽度方向的右坐标，right为右分数位点；
处理所述车牌的原始宽度，得到所述车牌新的宽度，进而得到精确定位的第二车牌图像；处理公式为：
H(new)＝H(old)-3
T(new)＝T(old)+2
其中，H(new)表示新的宽度方向的左坐标，取值≥0；T(new)表示新的宽度方向的右坐标，取值≤w(old)-1。
6.一种车牌识别装置，其特征在于，所述车牌识别装置包括：
预处理模块，用于获取待识别车牌图像，对所述待识别车牌图像进行灰度化处理，得到第一车牌图像；所述第一车牌图像中至少包括一个矩形；
坐标提取模块，用于调用级联分类器模型提取所述第一车牌图像中矩形的坐标信息，并通过预设规则处理所述坐标信息，得到新的坐标信息；
目标图像抠取模块，用于利用新的坐标信息抠取所述待识别车牌图像，得到第二车牌图像；
图像识别模块，用于调用端到端字符识别模型处理所述第二车牌图像，得到概率值和预测值；选取概率值最大时对应的预测值作为最终识别结果。
7.如权利要求6所述的车牌识别装置，其特征在于，所述车牌识别装置还包括：
精确定位模块，用于调用左右回归模型处理所述第二车牌图像，得到精确定位的第二车牌图像；所述左右回归模型依次由第一卷积层、第一激活函数层、第一最大值池化层、第二卷积层、第二激活函数层、第三卷积层、第三激活函数层、平滑层和输出层连接而成。
8.如权利要求6所述的车牌识别装置，其特征在于，所述车牌识别装置还包括：
模型加载模块，用于依次加载级联分类器模型、左右回归模型、端到端字符识别模型。
9.如权利要求6所述的车牌识别装置，其特征在于，所述坐标提取模块，具体包括：
原始坐标提取单元，用于调用级联分类器模型提取所述第一车牌图像中矩形的坐标信息；所述坐标信息包括：矩形任意一角的横坐标、纵坐标，矩形宽度，矩形长度；
坐标处理单元，用于通过预设规则处理所述坐标信息，得到新的坐标信息；处理公式为：
x(new)＝x(old)-w(old)*0.5a
w(new)＝w(old)+w(old)*a
y(new)＝y(old)-h(old)*0.5a
h(new)＝h(old)+h(old)*a
其中，x(new)表示新的横坐标，x(old)表示原始横坐标，a表示拓展系数；w(new)表示新的矩形宽度，w(old)表示原始矩形宽度；y(new)表示新的纵坐标，y(old)表示原始纵坐标；h(new)表示新的矩形长度，h(old)表示原始矩形长度。
10.如权利要求6所述的车牌识别装置，其特征在于，所述精确定位模块，具体包括：
标准化单元，用于将所述第二车牌图像进行标准化处理，得到所有数值均为0-1之间的小数的矩阵；
原始宽度坐标获取单元，用于将所述矩阵输入到左右回归模型中，得到输出结果，输出结果为两个分数left和right；处理所述输出结果，得到所述第二车牌图像中车牌的原始宽度，处理公式为：
H(old)＝left*w(old)
T(old)＝right*w(old)
其中，所述第二车牌图像中，用左分数位点和右分数位点表示车牌的位置；H(old)表示车牌原始宽度方向的左坐标，left为左分数位点，T(old)表示车牌原始宽度方向的右坐标，right为右分数位点；
新宽度坐标获取单元，用于处理所述车牌的原始宽度，得到所述车牌新的宽度，进而得到精确定位的第二车牌图像；处理公式为：
H(new)＝H(old)-3
T(new)＝T(old)+2
其中，H(new)表示新的宽度方向的左坐标，取值≥0；T(new)表示新的宽度方向的右坐标，取值≤w(old)-1。
11.一种计算机装置，其特征在于，所述计算机装置包括处理器，所述处理器用于执行存储器中计算机程序时实现如权利要求1-5中任意一项所述车牌识别方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-5中任意一项所述车牌识别方法的步骤。
CN201811008828.6A 2018-08-31 2018-08-31 一种车牌识别方法、装置、计算机装置及计算机可读存储介质 Pending CN109284757A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811008828.6A CN109284757A (zh) 2018-08-31 2018-08-31 一种车牌识别方法、装置、计算机装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811008828.6A CN109284757A (zh) 2018-08-31 2018-08-31 一种车牌识别方法、装置、计算机装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109284757A true CN109284757A (zh) 2019-01-29

Family

ID=65183853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811008828.6A Pending CN109284757A (zh) 2018-08-31 2018-08-31 一种车牌识别方法、装置、计算机装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109284757A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135421A (zh) * 2019-05-17 2019-08-16 梧州学院 车牌识别方法、装置、计算机设备及计算机可读存储介质
CN110232381A (zh) * 2019-06-19 2019-09-13 梧州学院 车牌分割方法、装置、计算机设备及计算机可读存储介质
CN111325206A (zh) * 2020-03-03 2020-06-23 山东浪潮通软信息科技有限公司 车牌信息识别录入设备构建方法和装置
CN111797659A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 辅助驾驶方法、装置、存储介质及电子设备
CN112132215A (zh) * 2020-09-22 2020-12-25 平安国际智慧城市科技股份有限公司 一种识别物体类型的方法、装置及计算机可读存储介质
CN114112448A (zh) * 2021-11-24 2022-03-01 中车长春轨道客车股份有限公司 基于f轨的磁浮车辆动态限界的测试装置和测试方法
CN115116027A (zh) * 2022-06-01 2022-09-27 合众新能源汽车有限公司 目标物体定位方法、装置、可读存储介质及电子设备
CN115601744A (zh) * 2022-12-14 2023-01-13 松立控股集团股份有限公司（Cn） 一种车身与车牌颜色相近的车牌检测方法
WO2023097931A1 (zh) * 2021-12-03 2023-06-08 江苏航天大为科技股份有限公司 一种基于霍夫变换的车牌倾斜校正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093237A (zh) * 2013-01-15 2013-05-08 中国科学院自动化研究所 一种基于结构化模型的人脸检测方法
US20170249524A1 (en) * 2016-02-25 2017-08-31 Xerox Corporation Method and system for detection-based segmentation-free license plate recognition
CN103824091B (zh) * 2014-02-27 2017-11-03 中国石油大学(华东) 一种用于智能交通系统的车牌识别方法
CN107330429A (zh) * 2017-05-17 2017-11-07 北京捷通华声科技股份有限公司 一种证件条目的定位方法和装置
CN108388896A (zh) * 2018-02-09 2018-08-10 杭州雄迈集成电路技术有限公司 一种基于动态时序卷积神经网络的车牌识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093237A (zh) * 2013-01-15 2013-05-08 中国科学院自动化研究所 一种基于结构化模型的人脸检测方法
CN103824091B (zh) * 2014-02-27 2017-11-03 中国石油大学(华东) 一种用于智能交通系统的车牌识别方法
US20170249524A1 (en) * 2016-02-25 2017-08-31 Xerox Corporation Method and system for detection-based segmentation-free license plate recognition
CN107330429A (zh) * 2017-05-17 2017-11-07 北京捷通华声科技股份有限公司 一种证件条目的定位方法和装置
CN108388896A (zh) * 2018-02-09 2018-08-10 杭州雄迈集成电路技术有限公司 一种基于动态时序卷积神经网络的车牌识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张涛: "一种序列文字识别方法", 《工业控制计算机》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797659A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 辅助驾驶方法、装置、存储介质及电子设备
CN110135421A (zh) * 2019-05-17 2019-08-16 梧州学院 车牌识别方法、装置、计算机设备及计算机可读存储介质
CN110232381A (zh) * 2019-06-19 2019-09-13 梧州学院 车牌分割方法、装置、计算机设备及计算机可读存储介质
CN111325206A (zh) * 2020-03-03 2020-06-23 山东浪潮通软信息科技有限公司 车牌信息识别录入设备构建方法和装置
CN112132215A (zh) * 2020-09-22 2020-12-25 平安国际智慧城市科技股份有限公司 一种识别物体类型的方法、装置及计算机可读存储介质
CN112132215B (zh) * 2020-09-22 2024-04-16 平安国际智慧城市科技股份有限公司 一种识别物体类型的方法、装置及计算机可读存储介质
CN114112448A (zh) * 2021-11-24 2022-03-01 中车长春轨道客车股份有限公司 基于f轨的磁浮车辆动态限界的测试装置和测试方法
CN114112448B (zh) * 2021-11-24 2024-02-09 中车长春轨道客车股份有限公司 基于f轨的磁浮车辆动态限界的测试装置和测试方法
WO2023097931A1 (zh) * 2021-12-03 2023-06-08 江苏航天大为科技股份有限公司 一种基于霍夫变换的车牌倾斜校正方法
WO2023231217A1 (zh) * 2022-06-01 2023-12-07 合众新能源汽车股份有限公司 目标物体定位方法、装置、可读存储介质及电子设备
CN115116027A (zh) * 2022-06-01 2022-09-27 合众新能源汽车有限公司 目标物体定位方法、装置、可读存储介质及电子设备
CN115601744B (zh) * 2022-12-14 2023-04-07 松立控股集团股份有限公司 一种车身与车牌颜色相近的车牌检测方法
CN115601744A (zh) * 2022-12-14 2023-01-13 松立控股集团股份有限公司（Cn） 一种车身与车牌颜色相近的车牌检测方法

Similar Documents

Publication Publication Date Title
CN109284757A (zh) 一种车牌识别方法、装置、计算机装置及计算机可读存储介质
CN110084173B (zh) 人头检测方法及装置
CN109918969B (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
CN110991465B (zh) 一种物体识别方法、装置、计算设备及存储介质
CN110348384B (zh) 一种基于特征融合的小目标车辆属性识别方法
US20170364757A1 (en) Image processing system to detect objects of interest
CN112580643B (zh) 一种基于深度学习的车牌识别方法、装置及存储介质
CN103413147B (zh) 一种车牌识别方法和系统
CN105574550A (zh) 一种车辆识别方法及装置
CN105144239A (zh) 图像处理装置、程序及图像处理方法
CN108596197A (zh) 一种印章匹配方法及装置
WO1995008159A1 (en) Pattern recognition system with statistical classification
CN105261109A (zh) 一种钞票冠字号识别方法
CN109272016A (zh) 目标检测方法、装置、终端设备和计算机可读存储介质
CN111340195A (zh) 网络模型的训练方法及装置、图像处理方法及存储介质
CN111311702B (zh) 一种基于BlockGAN的图像生成和识别模块及方法
CN113569968B (zh) 模型训练方法、目标检测方法、装置、设备及存储介质
CN110263731B (zh) 一种单步人脸检测系统
CN110543848B (zh) 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
CN105631445A (zh) 中文车牌字符识别方法及系统
CN115841649A (zh) 一种用于城市复杂场景的多尺度人数统计方法
CN115881265B (zh) 电子病历智能病案质控方法、系统、设备及存储介质
CN114783021A (zh) 一种口罩佩戴智能检测方法、装置、设备及介质
CN111161281A (zh) 一种人脸区域识别方法、装置及存储介质
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhou Zhongcheng

Inventor after: Duan Lian

Inventor after: Guo Jianjing

Inventor before: Zhou Zhongcheng

Inventor before: Huang Jiuming

Inventor before: Zhang Shengdong

Inventor before: Duan Lian

Inventor before: Guo Jianjing

CB03 Change of inventor or designer information
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190129

WD01 Invention patent application deemed withdrawn after publication