CN108985137A - 一种车牌识别方法、装置及系统 - Google Patents

一种车牌识别方法、装置及系统 Download PDF

Info

Publication number
CN108985137A
CN108985137A CN201710408082.7A CN201710408082A CN108985137A CN 108985137 A CN108985137 A CN 108985137A CN 201710408082 A CN201710408082 A CN 201710408082A CN 108985137 A CN108985137 A CN 108985137A
Authority
CN
China
Prior art keywords
license plate
character
plate image
image
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710408082.7A
Other languages
English (en)
Other versions
CN108985137B (zh
Inventor
韦立庆
薛睿
钮毅
罗兵华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201710408082.7A priority Critical patent/CN108985137B/zh
Priority to PCT/CN2018/083385 priority patent/WO2018219054A1/zh
Publication of CN108985137A publication Critical patent/CN108985137A/zh
Application granted granted Critical
Publication of CN108985137B publication Critical patent/CN108985137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Input (AREA)

Abstract

本发明实施例提供了一种车牌识别方法、装置及系统，其中，车牌识别方法包括：通过预设图像分割算法，对采集的车牌图像进行检测，确定所述车牌图像中每个字符的位置；根据所述车牌图像中每个字符的位置，确定所述车牌图像的倾斜角度范围；按照所述倾斜角度范围，对所述车牌图像进行旋转校正，得到校正车牌图像；获取所述校正车牌图像的顶点坐标，通过透视变换对所述顶点坐标进行变换，得到字符等高的变换车牌图像；对所述变换车牌图像中的每个字符进行识别，得到识别后的车牌。通过本方案可以提高车牌识别的运算效率及成功率。

Description

一种车牌识别方法、装置及系统
技术领域
本发明涉及智能交通技术领域，特别是涉及一种车牌识别方法、装置及系统。
背景技术
车牌识别技术是计算机视频图像识别技术在车辆牌照识别中的一种应用。车牌识别技术要求能够将汽车牌照从复杂背景中提取并识别出来，通过车牌提取、图像预处理、特征提取、车牌字符识别等技术，识别车辆牌号。因此，车牌识别技术已在卡口、停车场和电子警察等场景中得到广泛应用，以获取场景内车辆的牌号信息，在治安管理等众多方面发挥重要作用。
摄像机在拍摄图像时，可能因为拍摄角度的问题，所拍摄到的车牌图像往往会发生倾斜。针对此类问题，相应的车牌识别方法，通过对预处理图像分别按顺时针、逆时针方向各旋转n度，每次旋转1度，得到2n个旋转图像，统计各旋转图像的水平差分投影，得到水平差分值，然后计算得到水平差分均值，确定2n+1个旋转图像中选出水平差分均值最大的为不倾斜图像，最后识别该不倾斜图像中的车牌。
但是，针对类似于图1所示的违停球场景的车牌示例，违停球为应用在交通管理系统中的用于拍摄违章停车的特殊球机类摄像设备，所拍摄的车牌图像101的倾斜角度往往较大，如果采用上述方法，需要将n值设置的很大，这样会增加系统运算的耗时，降低运算效率。并且，由于拍摄的角度太大，采集到的车牌图像会发生变形，导致车牌识别的失败概率较高。
发明内容
本发明实施例的目的在于提供一种车牌识别方法、装置及系统，以提高车牌识别的运算效率及成功率。具体技术方案如下：
第一方面，本发明实施例提供了一种车牌识别方法，所述方法包括：
通过预设图像分割算法，对采集的车牌图像进行检测，确定所述车牌图像中每个字符的位置；
根据所述车牌图像中每个字符的位置，确定所述车牌图像的倾斜角度范围；
按照所述倾斜角度范围，对所述车牌图像进行旋转校正，得到校正车牌图像；
获取所述校正车牌图像的顶点坐标，通过透视变换对所述顶点坐标进行变换，得到字符等高的变换车牌图像；
对所述变换车牌图像中的每个字符进行识别，得到识别后的车牌。
可选的，所述预设图像分割算法包括：最大稳定极值区域MSER图像分割算法；
所述通过预设图像分割算法，对采集的车牌图像进行检测，确定所述车牌图像中每个字符的位置，包括：
通过所述MSER图像分割算法，对采集的车牌图像进行检测，得到每个字符的MSER框位置；
将每个字符的MSER框位置确定为对应字符的位置。
可选的，所述根据所述车牌图像中每个字符的位置，确定所述车牌图像的倾斜角度范围，包括：
根据所述车牌图像中每个字符的位置，确定所述车牌图像中每个字符的中心点坐标；
根据每个字符的中心点坐标，通过最小二乘法，确定所述车牌图像相较于水平方向的斜率；
根据所述斜率，确定所述车牌图像相较于水平方向的偏移角度；
根据所述偏移角度及预设搜索角度范围，确定所述车牌图像的倾斜角度范围。
可选的，所述按照所述倾斜角度范围，对所述车牌图像进行旋转校正，得到校正车牌图像，包括：
按照所述倾斜角度范围，对所述车牌图像进行Radon变换，得到所述车牌图像的水平倾斜角度；
根据所述水平倾斜角度，将所述车牌图像进行旋转校正，得到水平倾斜校正后的车牌图像；
按照所述倾斜角度范围，对所述水平倾斜校正后的车牌图像进行Radon变换，得到所述水平倾斜校正后的车牌图像的垂直倾斜角度；
根据所述垂直倾斜角度，对所述水平倾斜校正后的车牌图像进行校正，得到校正车牌图像。
可选的，所述获取所述校正车牌图像的顶点坐标，通过透视变换对所述顶点坐标进行变换，得到字符等高的变换车牌图像，包括：
根据所述校正车牌图像的首字符的MSER框位置及末尾字符的MSER框位置，获取得到所述校正车牌图像的顶点坐标；
对所述顶点坐标进行变换，得到字符等高的顶点变换坐标；
对所述顶点变换坐标进行计算，得到变换参数；
根据所述透视变换通用公式及所述变换参数，得到所述顶点坐标与所述顶点变换坐标的映射关系；
根据所述映射关系及所述校正车牌图像，得到变换车牌图像。
可选的，所述对所述变换车牌图像中的每个字符进行识别，得到识别后的车牌，包括：
利用多个预设车牌模板对所述变换车牌图像进行字符位置匹配，确定所述变换车牌图像中与预设车牌模板相匹配的字符的位置；
分别将每个位置上的字符输入预设神经网络进行模板匹配，得到每个字符的模板匹配置信度；
获取所述变换车牌图像中每个字符的MSER框位置对应的MSER结果置信度；
依次比较每个字符的模板匹配置信度与该字符对应MSER框位置的MSER结果置信度，并在所述MSER结果置信度大于所述模板匹配置信度时，更新该位置的字符为所述MSER结果对应MSER框位置的字符；
确定更新后的变换车牌图像为识别后的车牌。
第二方面，本发明实施例提供了一种车牌识别装置，所述装置包括：
字符位置确定模块，用于通过预设图像分割算法，对采集的车牌图像进行检测，确定所述车牌图像中每个字符的位置；
车牌倾斜角度确定模块，用于根据所述车牌图像中每个字符的位置，确定所述车牌图像的倾斜角度范围；
车牌旋转校正模块，用于按照所述倾斜角度范围，对所述车牌图像进行旋转校正，得到校正车牌图像；
车牌畸变校正模块，获取所述校正车牌图像的顶点坐标，通过透视变换对所述顶点坐标进行变换，得到字符等高的变换车牌图像；
车牌字符识别模块，用于对所述变换车牌图像中的每个字符进行识别，得到识别后的车牌。
可选的，所述预设图像分割算法包括：最大稳定极值区域MSER图像分割算法；
所述字符位置确定模块，具体用于：
通过所述MSER图像分割算法，对采集的车牌图像进行检测，得到每个字符的MSER框位置；
将每个字符的MSER框位置确定为对应字符的位置。
可选的，所述车牌倾斜角度确定模块，具体用于：
根据所述车牌图像中每个字符的位置，确定所述车牌图像中每个字符的中心点坐标；
根据每个字符的中心点坐标，通过最小二乘法，确定所述车牌图像相较于水平方向的斜率；
根据所述斜率，确定所述车牌图像相较于水平方向的偏移角度；
根据所述偏移角度及预设搜索角度范围，确定所述车牌图像的倾斜角度范围。
可选的，所述车牌旋转校正模块，具体用于：
按照所述倾斜角度范围，对所述车牌图像进行Radon变换，得到所述车牌图像的水平倾斜角度；
根据所述水平倾斜角度，将所述车牌图像进行旋转校正，得到水平倾斜校正后的车牌图像；
按照所述倾斜角度范围，对所述水平倾斜校正后的车牌图像进行Radon变换，得到所述水平倾斜校正后的车牌图像的垂直倾斜角度；
根据所述垂直倾斜角度，对所述水平倾斜校正后的车牌图像进行校正，得到校正车牌图像。
可选的，所述车牌畸变校正模块，具体用于：
根据所述校正车牌图像的首字符的MSER框位置及末尾字符的MSER框位置，获取得到所述校正车牌图像的顶点坐标；
对所述顶点坐标进行变换，得到字符等高的顶点变换坐标；
对所述顶点变换坐标进行计算，得到变换参数；
根据所述透视变换通用公式及所述变换参数，得到所述顶点坐标与所述顶点变换坐标的映射关系；
根据所述映射关系及所述校正车牌图像，得到变换车牌图像。
可选的，所述车牌字符识别模块，具体用于：
利用多个预设车牌模板对所述变换车牌图像进行字符位置匹配，确定所述变换车牌图像中与预设车牌模板相匹配的字符的位置；
分别将每个位置上的字符输入预设神经网络进行模板匹配，得到每个字符的模板匹配置信度；
获取所述变换车牌图像中每个字符的MSER框位置对应的MSER结果置信度；
依次比较每个字符的模板匹配置信度与该字符对应MSER框位置的MSER结果置信度，并在所述MSER结果置信度大于所述模板匹配置信度时，更新该位置的字符为所述MSER结果对应MSER框位置的字符；
确定更新后的变换车牌图像为识别后的车牌。
第三方面，本发明实施例提供了一种车牌识别系统，所述系统包括：
图像采集设备，用于对车辆进行拍摄，得到车牌图像；
处理器，用于通过预设图像分割算法，对所述图像采集设备采集的车牌图像进行检测，确定所述车牌图像中每个字符的位置；根据所述车牌图像中每个字符的位置，确定所述车牌图像的倾斜角度范围；按照所述倾斜角度范围，对所述车牌图像进行旋转校正，得到校正车牌图像；获取所述校正车牌图像的顶点坐标，通过透视变换对所述顶点坐标进行变换，得到字符等高的变换车牌图像；对所述变换车牌图像中的每个字符进行识别，得到识别后的车牌。
本发明实施例提供的一种车牌识别方法、装置及系统，通过预设图像分割算法，得到车牌图像中每个字符的位置，并且根据每个字符的位置确定车牌图像的倾斜角度范围，按照该倾斜角度范围，对车牌图像进行旋转校正，并通过透视变换进行坐标变换，得到字符等高的车牌图像，最后通过对每个字符进行识别，从而减少参与运算的图像数量，提高车牌识别的运算效率，并且通过预设图像分割算法提高了字符分割的准确性、通过透视变换有效解决字符畸变的影响，从而提高了车牌识别的成功率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中违停球场景的车牌示例；
图2为本发明实施例的车牌识别方法的一种流程示意图；
图3为本发明实施例的通过MSER检测出的字符位置示意图；
图4a为本发明实施例的通过X方向Radon变换后旋转得到的水平倾斜校正后的车牌图像；
图4b为本发明实施例的通过Y方向Radon变换后校正得到的校正车牌图像；
图5a为本发明实施例的基于字符信息求取关键点的示意图；
图5b为本发明实施例的通过透视变换得到的字符等高的变换车牌图像；
图6为本发明实施例的车牌识别装置的一种结构示意图；
图7为本发明实施例的车牌识别系统的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高车牌识别的运算效率及成功率，本发明实施例提供了一种车牌识别方法、装置及系统。
下面首先对本发明实施例所提供的一种车牌识别方法进行介绍。
需要说明的是，本发明实施例所提供的一种车牌识别方法的执行主体可以为一种搭载有核心处理芯片的处理器，例如，可以是搭载了DSP(Digital Signal Processor，数字信号处理器)、ARM(Advanced Reduced Instruction Set Computer Machines，精简指令集计算机微处理器)或者FPGA(Field-Programmable Gate Array，现场可编程门阵列)等核心处理芯片的处理器。实现本发明实施例所提供的一种车牌识别方法的方式可以为设置于执行主体中的软件、硬件电路和/或逻辑电路。
如图2所示，本发明实施例所提供的一种车牌识别方法，可以包括如下步骤：
S201，通过预设图像分割算法，对采集的车牌图像进行检测，确定车牌图像中每个字符的位置。
需要说明的是，图像分割算法可以为基于边缘的图像分割算法、也可以是基于区域的图像分割算法、还可以是基于纹理的图像分割算法。可以通过需要分割的图像样本的特点选择适当的图像分割算法。其中，所述预设图像分割算法包括：MSER(MaximallyStable Extremal Regions，最大稳定极值区域)图像分割算法。目前在图像处理领域中，MSER被认为是性能最好的仿射不变区域，MSER是当使用不同的灰度阈值对图像进行二值化时得到的最稳定的区域。MSER具有以下特点：对于图像灰度的仿射变化具有不变性；稳定性，区域的支持集相对灰度变化稳定；可以检测不同精细程度的区域。因此，为了使得图像分割具有较高的稳定性，且可以检测不同精细程度，本发明实施例采用MESR作为预设图像分割算法。具体的，MSER提取过程包括：使用一系列灰度阈值对图像进行二值化处理；对于每个阈值得到的二值图像，得到相应的黑色区域与白色区域；确定在比较宽的灰度阈值范围内保持形状稳定的区域。更为具体的实现过程为现有技术，这里不再详细赘述。通过预设图像分割算法对车牌图像进行检测，实际就是通过预设图像分析算法对车牌图像中的字符进行识别、分割的过程，从而识别出车牌图像中每个字符所处的区域，根据每个字符所处区域的顶点坐标，或者根据每个字符所处区域的顶点距图像边缘的距离，可以确定每个字符所处的区域的位置，从而确定每个字符的位置，需要说明的是，其他通过坐标、距离、角度等实现位置确定的方式均属于本发明实施例的保护范围，这里不再一一赘述。
可选的，所述通过预设图像分割算法，对采集的车牌图像进行检测，确定车牌图像中每个字符的位置的步骤，可以包括：
第一步，通过MSER图像分割算法，对采集的车牌图像进行检测，得到每个字符的MSER框位置；
第二步，将每个字符的MSER框位置确定为对应字符的位置。
需要说明的是，通过MSER算法，得到每个字符的MSER框，每个MSER框中分别包含一个字符，则确定每个字符在图像中的具体位置，可以根据每个字符的MSER框的顶点坐标确定，或者根据MSER框的顶点距图像边缘的距离确定，需要说明的是，其他通过坐标、距离、角度等实现位置确定的方式均属于本发明实施例的保护范围，这里不再一一赘述。
S202，根据车牌图像中每个字符的位置，确定车牌图像的倾斜角度范围。
需要说明的是，在字符位置确定以后，可以根据每个字符的位置确定车牌图像的倾斜角度，例如，可以根据每个字符的中心点的坐标确定车牌图像的倾斜角度，也可以根据每个字符所处的区域的顶点坐标确定车牌图像的倾斜角度，还可以根据每个字符所处的区域的某个相应位置坐标确定车牌图像的倾斜角度，这都属于本发明实施例的保护范围。由于图像拍摄时存在着干扰，通过上述方法得到倾斜角度与实际的倾斜角度之间会存在一定的误差，因此，为了提高检测的准确率，可以在上述得到的倾斜角度的基础上设置一定的偏差范围，确定车牌图像的倾斜角度范围。例如，计算得到的车牌倾斜角度为29度，则可以在此基础上允许3度的偏差，则车牌图像的倾斜角度范围为大于或等于26度且小于或等于32度。
可选的，所述根据车牌图像中每个字符的位置，确定车牌图像的倾斜角度范围的步骤，可以包括：
第一步，根据车牌图像中每个字符的位置，确定车牌图像中每个字符的中心点坐标；
第二步，根据每个字符的中心点坐标，通过最小二乘法，确定车牌图像相较于水平方向的斜率；
第三步，根据斜率，确定车牌图像相较于水平方向的偏移角度；
第四步，根据偏移角度及预设搜索角度范围，确定车牌图像的倾斜角度范围。
需要说明的是，为了保证倾斜角度计算的准确性，由于每个字符所处的区域的大小不确定，如果根据区域的顶点坐标确定倾斜角度，可能会带来一定的误差，因此，本实施例中，通过每个字符的中心点坐标确定倾斜角度。在确定每个中心点坐标后，可以对所有中心点坐标的连线求斜率，然后对该斜率进行运算得到所有中心点坐标的连线的倾斜角度即为车牌图像的倾斜角度，当然，其他通过坐标信息确定倾斜角度的方式也属于本发明实施例的保护范围，这里不再赘述。为了提高运算的效率，并保证与实际数据之间的误差最小，本实施例中对确定的中心点坐标，采用最小二乘法确定连线的斜率，最小二乘法就是通过最小化误差的平方和寻找数据的最佳函数匹配的方法。也就是将所有字符的中心点的横坐标、纵坐标分别进行求平均数的运算，然后带入y＝kx+b，其中y为所有字符的中心点的纵坐标的平均数，k为所有中心点坐标的连线的斜率，x为所有字符的中心点的横坐标的平均数，b为一常数，进而得到所有中心点坐标的连线的斜率，通过反三角函数arctan(k)即可得到车牌图像的倾斜角度。并且，为了提高检测的准确率，在上述得到的倾斜角度的基础上设置一预设搜索角度范围，例如设置预设搜索角度范围为θ，则车牌图像的倾斜角度范围即为[arctan(k)-θ,arctan(k)+θ]。
S203，按照倾斜角度范围，对车牌图像进行旋转校正，得到校正车牌图像。
需要说明的是，由于采集的车牌图像相较于水平方向具有一定的倾斜角度，为了达到较好的识别效果，需要将车牌图像旋转至水平方向。通过上述方法，可以得到车牌图像的倾斜角度范围，也就是说，车牌图像的倾斜程度，例如车牌图像相较于水平方向倾斜了35度，则需要将车牌图像旋转35度才可以得到校正车牌图像。旋转校正可以理解为按照倾斜角度范围，对车牌图像进行旋转，当然，为了达到更佳的效果，可以采用例如Radon变换的方法对图像进行旋转，Radon变换是分别对横轴方向和纵轴方向进行变换，得到需要旋转的角度，再按横轴方向和纵轴方向对车牌图像分别进行旋转，这样得到的校正车牌图像不仅保证整体是水平的，也同时保证每个字符也是水平的。当然，其他对图像进行旋转校正的方式也属于本发明实施例的保护范围，这里不再一一赘述。
可选的，所述按照倾斜角度范围，对车牌图像进行旋转校正，得到校正车牌图像的步骤，可以包括：
第一步，按照倾斜角度范围，对车牌图像进行Radon变换，得到车牌图像的水平倾斜角度；
第二步，根据水平倾斜角度，将车牌图像进行旋转校正，得到水平倾斜校正后的车牌图像；
第三步，按照倾斜角度范围，对水平倾斜校正后的车牌图像进行Radon变换，得到水平倾斜校正后的车牌图像的垂直倾斜角度；
第四步，根据垂直倾斜角度，对水平倾斜校正后的车牌图像进行校正，得到校正车牌图像。
需要说明的是，由于Radon变换是分别对横轴方向和纵轴方向进行变换、旋转，得到的校正车牌图像不仅保证整体是水平的，同时保证每个字符也是水平的，因此，本实施例采用Radon变换的方式对车牌图像进行旋转校正。具体的Radon变换的具体实现过程是按照倾斜角度范围，首先对车牌图像进行Radon变换，对Radon变换后的结果求一阶导数绝对值的累加和，累加和最大时，其对应的数值即为车牌图像的水平倾斜角度，按照该水平倾斜角度对车牌图像进行水平方向的校正，然后再按照倾斜角度范围，对水平方向校正后的图像进行Radon变换，对Radon变换后的结果求一阶导数绝对值的累加和，累加和最大时，其对应的数值即为图像的垂直倾斜角度，按照该垂直倾斜角度对水平方向校正后的图像进行垂直方向的校正，最后得到校正车牌图像，得到的校正车牌图像是一个整体很正的车牌图像。
S204，获取校正车牌图像的顶点坐标，通过透视变换对顶点坐标进行变换，得到字符等高的变换车牌图像。
需要说明的是，如果采集的车牌图像的倾斜角度过大时，会使得旋转校正后得到的校正车牌图像中靠近图像采集设备侧的字符偏大，远离图像采集设备侧的字符偏小，因为字符宽度和高度的不均匀，导致后续的字符识别的失败概率较高。因此，需要通过对校正车牌图像的字符的高度和宽度进行调整，将图像调整为字符等高的变换车牌图像。对图像的高度和宽度调整，可以通过坐标进行变换实现，而对坐标变换的过程实际就是投影的过程，因此，本发明实施例采用透视变换的方法对坐标进行变换。透视变换就是将图像投影到一个新的视平面，在新的视平面中每个坐标点与原始图像之间具有对应关系。
可选的，所述获取校正车牌图像的顶点坐标，通过透视变换对顶点坐标进行变换，得到字符等高的变换车牌图像的步骤，可以包括：
第一步，根据校正车牌图像的首字符的MSER框位置及末尾字符的MSER框位置，获取得到校正车牌图像的顶点坐标；
第二步，对顶点坐标进行变换，得到字符等高的顶点变换坐标；
第三步，对顶点变换坐标进行计算，得到变换参数；
第四步，根据透视变换通用公式及变换参数，得到顶点坐标与顶点变换坐标的映射关系；
第五步，根据映射关系及校正车牌图像，得到变换车牌图像。
需要说明的是，由于一张图像中有多个坐标点，如果对每个坐标点都做变换会使得运算量巨大，因此，在本实施例中，只需要对校正车牌图像的四个顶点坐标进行变换，其他坐标做相应变换即可得到变换车牌图像。具体的，透视变换的通用变换公式如(1)所示：
其中，x为变换车牌图像中该顶点的横坐标、y为变换车牌图像中该顶点的纵坐标，u为车牌图像中某一顶点的横坐标，v为车牌图像中该顶点的纵坐标，a11至a33为变换参数。因此，已知变换对应的四个顶点便可确定变换车牌图像的顶点坐标。具体的，校正车牌图像的四个顶点坐标可以根据首尾字符的MSER框位置的顶点坐标获取到。设校正车牌图像的四个顶点坐标分别为(x0,y0)(x1,y1)(x2,y2)(x3,y3)，为了保证变换后的图像的每个字符等高，则变换后的点的坐标应该分别为(x0-b,y1)(x1,y1)(x2,y2)(x3-b,y2)，其中，b为修正数值，也就是使得调整后点(x-b,y1)与点(x3-b,y2)的横坐标相等，这样，通过通用变换公式(1)得到a11至a33的值，从而得到映射关系。
S205，对变换车牌图像中的每个字符进行识别，得到识别后的车牌。
需要说明的是，在得到变换车牌图像后，需要对车牌的字符进行识别，例如，通过BP神经网络识别、根据卷积神经网络识别，或者自学习识别，都可以对车牌图像中的字符识别出来。当然，其他识别车牌图像中字符的方式都属于本发明实施例保护的范围，这里不再一一赘述。以BP网络为例，BP网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络具有学习和存贮大量的输入输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程的优点。
可选的，所述对变换车牌图像中的每个字符进行识别，得到识别后的车牌的步骤，可以包括：
第一步，利用多个预设车牌模板对变换车牌图像进行字符位置匹配，确定变换车牌图像中与预设车牌模板相匹配的字符的位置；
第二步，分别将每个位置上的字符输入预设神经网络进行模板匹配，得到每个字符的模板匹配置信度；
第三步，获取变换车牌图像中每个字符的MSER框位置对应的MSER结果置信度；
第四步，依次比较每个字符的模板匹配置信度与该字符对应MSER框位置的MSER结果置信度，并在MSER结果置信度大于模板匹配置信度时，更新该位置的字符为MSER结果对应MSER框位置的字符；
第五步，确定更新后的变换车牌图像为识别后的车牌。
需要说明的是，模板匹配的方法，是在一幅大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像，通过一定的算法可以在图中找到目标，确定其坐标位置，然后再通过神经网络的识别方法确定每个位置上字符的模板匹配置信度。由于在图像分割、选择、字符识别时，变换车牌图像的部分字符可能会发生畸变，使得模板匹配置信度的值可能会较低，其中，置信度可以为一个概率值、也可以是评价值，概率值为车牌图像中某一字符为哪个标准字符的概率，评价值为根据清晰度判断车牌图像中某一字符相近与哪个标准字符的分值，该分值可以为10分以内的评分值也可以是100分以内的评分值。MSER方法在对图像进行分割时就可以得到MSER框位置相对的MSER结果置信度，也就是某一个MSER框内的字符为哪个标准字符的程度。将模板匹配的结果置信度和MSER结果置信度进行逐个字符的比较，利用模板匹配的结果置信度和MSER结果置信度中较大的结果对变换车牌图像中对应字符位置进行更新，在所有的字符都识别完之后就可以确定更新识别后的车牌图像。当然，为了提高字符识别的准确度，可以设置一阈值，在MSER结果置信度比模板匹配置信度大于该阈值时，再对字符位置进行更新。
应用本实施例，通过预设图像分割算法，得到车牌图像中每个字符的位置，并且根据每个字符的位置确定车牌图像的倾斜角度范围，按照该倾斜角度范围，对车牌图像进行旋转矫正，并通过透视变换进行坐标变换，得到字符等高的车牌图像，最后通过对每个字符进行识别，从而减少参与运算的图像数量，提高车牌识别的运算效率，并且通过预设图像分割算法提高了字符分割的准确性、通过透视变换有效解决字符畸变的影响，从而提高了车牌识别的成功率。
下面结合具体的应用实例，对本发明实施例所提供的车牌识别方法进行介绍。
针对如图1所示实施例中，图像采集设备采集到的车牌图像，通过MSER检测出的字符位置如图3中每个字符形成的方框所示，并且，图3中的直线301为车牌图像中所有字符的中心点坐标的连线，通过对直线301的斜率进行计算得到车牌图像的倾斜角度为40度，设定需要搜索的角度范围为15度，则车牌图像的倾斜角度范围为25度至55度。然后根据车牌图像的倾斜角度范围，通过X方向Radon变换，对倾斜车牌进行旋转，旋转后的车牌图像如图4a所示，再经过Y方向Radon变换，对上述旋转后的车牌图像再进行校正，得到校正车牌图像图如图4b所示。
如图4b所示，由于车牌图像的倾斜导致旋转校正后得到的校正车牌图像中靠近图像采集设备侧的字符偏大，远离图像采集设备侧的字符偏小，针对图4b存在的情况，对图4b对应的MSER框位置的图像，如图5a所示，提取图中点a、b、c、d的坐标，点b、c可以基于末尾字符的MSER框位置获取，点a、d可以基于首字符的MSER框位置获取，设定a、b、c、d四点的坐标分别为(x0,y0)(x1,y1)(x2,y2)(x3,y3)，变换后得到的点坐标分别为(x0-b,y1)(x1,y1)(x2,y2)(x3-b,y2)，b为修正数值，可以根据对图像期望达到的校正后的图像的效果确定，进而可以通过通用的透视变换公式(1)得到映射关系，对图5a进行校正得到如图5b所示的字符等高的变换车牌图像。对于如图5b所示的字符等高的变换车牌图像，可以将字符等高的变换车牌图像中的每个字符送入BP网络进行识别，由于在上述变换的过程中，字符可能会发生畸变，可以通过MSER结果对模板匹配结果的方式进行校正。
与相关技术相比，本方案中，通过预设图像分割算法，得到车牌图像中每个字符的位置，并且根据每个字符的位置确定车牌图像的倾斜角度范围，按照该倾斜角度范围，对车牌图像进行旋转矫正，并通过透视变换进行坐标变换，得到字符等高的车牌图像，最后通过对每个字符进行识别，从而减少参与运算的图像数量，提高车牌识别的运算效率，并且通过预设图像分割算法提高了字符分割的准确性、通过透视变换有效解决字符畸变的影响，从而提高了车牌识别的成功率。
相应于上述实施例，本发明实施例提供了一种车牌识别装置，如图6所示，所述装置可以包括：
字符位置确定模块610，用于通过预设图像分割算法，对采集的车牌图像进行检测，确定所述车牌图像中每个字符的位置；
车牌倾斜角度确定模块620，用于根据所述车牌图像中每个字符的位置，确定所述车牌图像的倾斜角度范围；
车牌旋转校正模块630，用于按照所述倾斜角度范围，对所述车牌图像进行旋转校正，得到校正车牌图像；
车牌畸变校正模块640，获取所述校正车牌图像的顶点坐标，通过透视变换对所述顶点坐标进行变换，得到字符等高的变换车牌图像；
车牌字符识别模块650，用于对所述变换车牌图像中的每个字符进行识别，得到识别后的车牌。
应用本实施例，通过预设图像分割算法，得到车牌图像中每个字符的位置，并且根据每个字符的位置确定车牌图像的倾斜角度范围，按照该倾斜角度范围，对车牌图像进行旋转矫正，并通过透视变换进行坐标变换，得到字符等高的车牌图像，最后通过对每个字符进行识别，从而减少参与运算的图像数量，提高车牌识别的运算效率，并且通过预设图像分割算法提高了字符分割的准确性、通过透视变换有效解决字符畸变的影响，从而提高了车牌识别的成功率。
可选的，所述预设图像分割算法可以包括：最大稳定极值区域MSER图像分割算法；
所述字符位置确定模块610，具体可以用于：
通过所述MSER图像分割算法，对采集的车牌图像进行检测，得到每个字符的MSER框位置；
将每个字符的MSER框位置确定为对应字符的位置。
可选的，所述车牌倾斜角度确定模块620，具体可以用于：
根据所述车牌图像中每个字符的位置，确定所述车牌图像中每个字符的中心点坐标；
根据每个字符的中心点坐标，通过最小二乘法，确定所述车牌图像相较于水平方向的斜率；
根据所述斜率，确定所述车牌图像相较于水平方向的偏移角度；
根据所述偏移角度及预设搜索角度范围，确定所述车牌图像的倾斜角度范围。
可选的，所述车牌旋转校正模块630，具体可以用于：
按照所述倾斜角度范围，对所述车牌图像进行Radon变换，得到所述车牌图像的水平倾斜角度；
根据所述水平倾斜角度，将所述车牌图像进行旋转校正，得到水平倾斜校正后的车牌图像；
按照所述倾斜角度范围，对所述水平倾斜校正后的车牌图像进行Radon变换，得到所述水平倾斜校正后的车牌图像的垂直倾斜角度；
根据所述垂直倾斜角度，对所述水平倾斜校正后的车牌图像进行校正，得到校正车牌图像。
可选的，所述车牌畸变校正模块640，具体可以用于：
根据所述校正车牌图像的首字符的MSER框位置及末尾字符的MSER框位置，获取得到所述校正车牌图像的顶点坐标；
对所述顶点坐标进行变换，得到字符等高的顶点变换坐标；
对所述顶点变换坐标进行计算，得到变换参数；
根据所述透视变换通用公式及所述变换参数，得到所述顶点坐标与所述顶点变换坐标的映射关系；
根据所述映射关系及所述校正车牌图像，得到变换车牌图像。
可选的，所述车牌字符识别模块650，具体可以用于：
利用多个预设车牌模板对所述变换车牌图像进行字符位置匹配，确定所述变换车牌图像中与预设车牌模板相匹配的字符的位置；
分别将每个位置上的字符输入预设神经网络进行模板匹配，得到每个字符的模板匹配置信度；
获取所述变换车牌图像中每个字符的MSER框位置对应的MSER结果置信度；
依次比较每个字符的模板匹配置信度与该字符对应MSER框位置的MSER结果置信度，并在所述MSER结果置信度大于所述模板匹配置信度时，更新该位置的字符为所述MSER结果对应MSER框位置的字符；
确定更新后的变换车牌图像为识别后的车牌。
需要说明的是，本发明实施例的车牌识别装置为应用车牌识别方法的装置，则上述车牌识别方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
相应于上述实施例，本发明实施例提供了一种车牌识别系统，如图7所示，所述系统可以包括：
图像采集设备710，用于对车辆进行拍摄，得到车牌图像；
处理器720，用于通过预设图像分割算法，对所述图像采集设备710采集的车牌图像进行检测，确定所述车牌图像中每个字符的位置；根据所述车牌图像中每个字符的位置，确定所述车牌图像的倾斜角度范围；按照所述倾斜角度范围，对所述车牌图像进行旋转校正，得到校正车牌图像；获取所述校正车牌图像的顶点坐标，通过透视变换对所述顶点坐标进行变换，得到字符等高的变换车牌图像；对所述变换车牌图像中的每个字符进行识别，得到识别后的车牌。
应用本实施例，通过预设图像分割算法，得到车牌图像中每个字符的位置，并且根据每个字符的位置确定车牌图像的倾斜角度范围，按照该倾斜角度范围，对车牌图像进行旋转矫正，并通过透视变换进行坐标变换，得到字符等高的车牌图像，最后通过对每个字符进行识别，从而减少参与运算的图像数量，提高车牌识别的运算效率，并且通过预设图像分割算法提高了字符分割的准确性、通过透视变换有效解决字符畸变的影响，从而提高了车牌识别的成功率。
可选的，所述预设图像分割算法包括：最大稳定极值区域MSER图像分割算法；
所述处理器720，具体可以用于：
通过所述MSER图像分割算法，对采集的车牌图像进行检测，得到每个字符的MSER框位置；
将每个字符的MSER框位置确定为对应字符的位置。
所述处理器720，具体还可以用于：
根据所述车牌图像中每个字符的位置，确定所述车牌图像中每个字符的中心点坐标；
根据每个字符的中心点坐标，通过最小二乘法，确定所述车牌图像相较于水平方向的斜率；
根据所述斜率，确定所述车牌图像相较于水平方向的偏移角度；
根据所述偏移角度及预设搜索角度范围，确定所述车牌图像的倾斜角度范围。
所述处理器720，具体还可以用于：
按照所述倾斜角度范围，对所述车牌图像进行Radon变换，得到所述车牌图像的水平倾斜角度；
根据所述水平倾斜角度，将所述车牌图像进行旋转校正，得到水平倾斜校正后的车牌图像；
按照所述倾斜角度范围，对所述水平倾斜校正后的车牌图像进行Radon变换，得到所述水平倾斜校正后的车牌图像的垂直倾斜角度；
根据所述垂直倾斜角度，对所述水平倾斜校正后的车牌图像进行校正，得到校正车牌图像。
所述处理器720，具体还可以用于：
根据所述校正车牌图像的首字符的MSER框位置及末尾字符的MSER框位置，获取得到所述校正车牌图像的顶点坐标；
对所述顶点坐标进行变换，得到字符等高的顶点变换坐标；
对所述顶点变换坐标进行计算，得到变换参数；
根据所述透视变换通用公式及所述变换参数，得到所述顶点坐标与所述顶点变换坐标的映射关系；
根据所述映射关系及所述校正车牌图像，得到变换车牌图像。
所述处理器720，具体还可以用于：
利用多个预设车牌模板对所述变换车牌图像进行字符位置匹配，确定所述变换车牌图像中与预设车牌模板相匹配的字符的位置；
分别将每个位置上的字符输入预设神经网络进行模板匹配，得到每个字符的模板匹配置信度；
获取所述变换车牌图像中每个字符的MSER框位置对应的MSER结果置信度；
依次比较每个字符的模板匹配置信度与该字符对应MSER框位置的MSER结果置信度，并在所述MSER结果置信度大于所述模板匹配置信度时，更新该位置的字符为所述MSER结果对应MSER框位置的字符；
确定更新后的变换车牌图像为识别后的车牌。
需要说明的是，本发明实施例的车牌识别系统为应用车牌识别方法及装置的系统，则上述车牌识别方法及装置的所有实施例均适用于该系统，且均能达到相同或相似的有益效果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (13)

1.一种车牌识别方法，其特征在于，所述方法包括：
通过预设图像分割算法，对采集的车牌图像进行检测，确定所述车牌图像中每个字符的位置；
根据所述车牌图像中每个字符的位置，确定所述车牌图像的倾斜角度范围；
按照所述倾斜角度范围，对所述车牌图像进行旋转校正，得到校正车牌图像；
获取所述校正车牌图像的顶点坐标，通过透视变换对所述顶点坐标进行变换，得到字符等高的变换车牌图像；
对所述变换车牌图像中的每个字符进行识别，得到识别后的车牌。
2.根据权利要求1所述的车牌识别方法，其特征在于，所述预设图像分割算法包括：最大稳定极值区域MSER图像分割算法；
所述通过预设图像分割算法，对采集的车牌图像进行检测，确定所述车牌图像中每个字符的位置，包括：
通过所述MSER图像分割算法，对采集的车牌图像进行检测，得到每个字符的MSER框位置；
将每个字符的MSER框位置确定为对应字符的位置。
3.根据权利要求1或2所述的车牌识别方法，其特征在于，所述根据所述车牌图像中每个字符的位置，确定所述车牌图像的倾斜角度范围，包括：
根据所述车牌图像中每个字符的位置，确定所述车牌图像中每个字符的中心点坐标；
根据每个字符的中心点坐标，通过最小二乘法，确定所述车牌图像相较于水平方向的斜率；
根据所述斜率，确定所述车牌图像相较于水平方向的偏移角度；
根据所述偏移角度及预设搜索角度范围，确定所述车牌图像的倾斜角度范围。
4.根据权利要求1或2所述的车牌识别方法，其特征在于，所述按照所述倾斜角度范围，对所述车牌图像进行旋转校正，得到校正车牌图像，包括：
按照所述倾斜角度范围，对所述车牌图像进行Radon变换，得到所述车牌图像的水平倾斜角度；
根据所述水平倾斜角度，将所述车牌图像进行旋转校正，得到水平倾斜校正后的车牌图像；
按照所述倾斜角度范围，对所述水平倾斜校正后的车牌图像进行Radon变换，得到所述水平倾斜校正后的车牌图像的垂直倾斜角度；
根据所述垂直倾斜角度，对所述水平倾斜校正后的车牌图像进行校正，得到校正车牌图像。
5.根据权利要求2所述的车牌识别方法，其特征在于，所述获取所述校正车牌图像的顶点坐标，通过透视变换对所述顶点坐标进行变换，得到字符等高的变换车牌图像，包括：
根据所述校正车牌图像的首字符的MSER框位置及末尾字符的MSER框位置，获取得到所述校正车牌图像的顶点坐标；
对所述顶点坐标进行变换，得到字符等高的顶点变换坐标；
对所述顶点变换坐标进行计算，得到变换参数；
根据所述透视变换通用公式及所述变换参数，得到所述顶点坐标与所述顶点变换坐标的映射关系；
根据所述映射关系及所述校正车牌图像，得到变换车牌图像。
6.根据权利要求2所述的车牌识别方法，其特征在于，所述对所述变换车牌图像中的每个字符进行识别，得到识别后的车牌，包括：
利用多个预设车牌模板对所述变换车牌图像进行字符位置匹配，确定所述变换车牌图像中与预设车牌模板相匹配的字符的位置；
分别将每个位置上的字符输入预设神经网络进行模板匹配，得到每个字符的模板匹配置信度；
获取所述变换车牌图像中每个字符的MSER框位置对应的MSER结果置信度；
依次比较每个字符的模板匹配置信度与该字符对应MSER框位置的MSER结果置信度，并在所述MSER结果置信度大于所述模板匹配置信度时，更新该位置的字符为所述MSER结果对应MSER框位置的字符；
确定更新后的变换车牌图像为识别后的车牌。
7.一种车牌识别装置，其特征在于，所述装置包括：
字符位置确定模块，用于通过预设图像分割算法，对采集的车牌图像进行检测，确定所述车牌图像中每个字符的位置；
车牌倾斜角度确定模块，用于根据所述车牌图像中每个字符的位置，确定所述车牌图像的倾斜角度范围；
车牌旋转校正模块，用于按照所述倾斜角度范围，对所述车牌图像进行旋转校正，得到校正车牌图像；
车牌畸变校正模块，获取所述校正车牌图像的顶点坐标，通过透视变换对所述顶点坐标进行变换，得到字符等高的变换车牌图像；
车牌字符识别模块，用于对所述变换车牌图像中的每个字符进行识别，得到识别后的车牌。
8.根据权利要求7所述的车牌识别装置，其特征在于，所述预设图像分割算法包括：最大稳定极值区域MSER图像分割算法；
所述字符位置确定模块，具体用于：
通过所述MSER图像分割算法，对采集的车牌图像进行检测，得到每个字符的MSER框位置；
将每个字符的MSER框位置确定为对应字符的位置。
9.根据权利要求7或8所述的车牌识别装置，其特征在于，所述车牌倾斜角度确定模块，具体用于：
根据所述车牌图像中每个字符的位置，确定所述车牌图像中每个字符的中心点坐标；
根据每个字符的中心点坐标，通过最小二乘法，确定所述车牌图像相较于水平方向的斜率；
根据所述斜率，确定所述车牌图像相较于水平方向的偏移角度；
根据所述偏移角度及预设搜索角度范围，确定所述车牌图像的倾斜角度范围。
10.根据权利要求7或8所述的车牌识别装置，其特征在于，所述车牌旋转校正模块，具体用于：
按照所述倾斜角度范围，对所述车牌图像进行Radon变换，得到所述车牌图像的水平倾斜角度；
根据所述水平倾斜角度，将所述车牌图像进行旋转校正，得到水平倾斜校正后的车牌图像；
按照所述倾斜角度范围，对所述水平倾斜校正后的车牌图像进行Radon变换，得到所述水平倾斜校正后的车牌图像的垂直倾斜角度；
根据所述垂直倾斜角度，对所述水平倾斜校正后的车牌图像进行校正，得到校正车牌图像。
11.根据权利要求8所述的车牌识别装置，其特征在于，所述车牌畸变校正模块，具体用于：
根据所述校正车牌图像的首字符的MSER框位置及末尾字符的MSER框位置，获取得到所述校正车牌图像的顶点坐标；
对所述顶点坐标进行变换，得到字符等高的顶点变换坐标；
对所述顶点变换坐标进行计算，得到变换参数；
根据所述透视变换通用公式及所述变换参数，得到所述顶点坐标与所述顶点变换坐标的映射关系；
根据所述映射关系及所述校正车牌图像，得到变换车牌图像。
12.根据权利要求8所述的车牌识别装置，其特征在于，所述车牌字符识别模块，具体用于：
利用多个预设车牌模板对所述变换车牌图像进行字符位置匹配，确定所述变换车牌图像中与预设车牌模板相匹配的字符的位置；
分别将每个位置上的字符输入预设神经网络进行模板匹配，得到每个字符的模板匹配置信度；
获取所述变换车牌图像中每个字符的MSER框位置对应的MSER结果置信度；
依次比较每个字符的模板匹配置信度与该字符对应MSER框位置的MSER结果置信度，并在所述MSER结果置信度大于所述模板匹配置信度时，更新该位置的字符为所述MSER结果对应MSER框位置的字符；
确定更新后的变换车牌图像为识别后的车牌。
13.一种车牌识别系统，其特征在于，所述系统包括：
图像采集设备，用于对车辆进行拍摄，得到车牌图像；
处理器，用于通过预设图像分割算法，对所述图像采集设备采集的车牌图像进行检测，确定所述车牌图像中每个字符的位置；根据所述车牌图像中每个字符的位置，确定所述车牌图像的倾斜角度范围；按照所述倾斜角度范围，对所述车牌图像进行旋转校正，得到校正车牌图像；获取所述校正车牌图像的顶点坐标，通过透视变换对所述顶点坐标进行变换，得到字符等高的变换车牌图像；对所述变换车牌图像中的每个字符进行识别，得到识别后的车牌。
CN201710408082.7A 2017-06-02 2017-06-02 一种车牌识别方法、装置及系统 Active CN108985137B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710408082.7A CN108985137B (zh) 2017-06-02 2017-06-02 一种车牌识别方法、装置及系统
PCT/CN2018/083385 WO2018219054A1 (zh) 2017-06-02 2018-04-17 一种车牌识别方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710408082.7A CN108985137B (zh) 2017-06-02 2017-06-02 一种车牌识别方法、装置及系统

Publications (2)

Publication Number Publication Date
CN108985137A true CN108985137A (zh) 2018-12-11
CN108985137B CN108985137B (zh) 2021-08-27

Family

ID=64454443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710408082.7A Active CN108985137B (zh) 2017-06-02 2017-06-02 一种车牌识别方法、装置及系统

Country Status (2)

Country Link
CN (1) CN108985137B (zh)
WO (1) WO2018219054A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659638A (zh) * 2019-09-24 2020-01-07 北京精英路通科技有限公司 车牌的识别方法、装置、计算机设备及存储介质
CN111191653A (zh) * 2019-12-25 2020-05-22 北京精英路通科技有限公司 车牌识别方法、装置、计算机设备及存储介质
CN111325203A (zh) * 2020-01-21 2020-06-23 福州大学 一种基于图像校正的美式车牌识别方法及系统
CN111325670A (zh) * 2018-12-13 2020-06-23 杭州海康威视数字技术股份有限公司 一种数据增强方法、装置及电子设备
WO2020133464A1 (en) * 2018-12-29 2020-07-02 Zhejiang Dahua Technology Co., Ltd. Systems and methods for license plate recognition
CN111382722A (zh) * 2020-03-23 2020-07-07 浙江大华技术股份有限公司 车牌图像优选方法、图像处理装置及具有存储功能的装置
CN111611994A (zh) * 2019-02-26 2020-09-01 北京嘀嘀无限科技发展有限公司 图像提取方法、装置、电子设备和存储介质
CN112580629A (zh) * 2020-12-23 2021-03-30 深圳市捷顺科技实业股份有限公司 一种基于深度学习的车牌字符识别方法以及相关装置
CN112634141A (zh) * 2020-12-23 2021-04-09 浙江大华技术股份有限公司 一种车牌矫正方法、装置、设备及介质
CN113077018A (zh) * 2021-06-07 2021-07-06 浙江大华技术股份有限公司 一种目标对象识别方法、装置、存储介质及电子装置
WO2021196013A1 (zh) * 2020-03-31 2021-10-07 京东方科技集团股份有限公司 单词识别方法、设备及存储介质
CN113642570A (zh) * 2021-07-02 2021-11-12 山东黄金矿业(莱州)有限公司三山岛金矿 一种昏暗环境下矿车车牌识别的方法
CN114677502A (zh) * 2022-05-30 2022-06-28 松立控股集团股份有限公司 一种任意倾斜角度的车牌检测方法
JP7377482B1 (ja) 2022-05-04 2023-11-10 博遠智能科技股▲ふん▼有限公司 ナンバープレート認識のためのシステム及び方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353517B (zh) * 2018-12-24 2023-09-26 杭州海康威视数字技术股份有限公司 一种车牌识别方法、装置及电子设备
CN110458161B (zh) * 2019-07-15 2023-04-18 天津大学 一种结合深度学习的移动机器人门牌定位方法
CN110889323A (zh) * 2019-10-10 2020-03-17 平安科技（深圳）有限公司 通用车牌的识别方法、装置、计算机设备及存储介质
CN110969160B (zh) * 2019-11-21 2023-04-14 合肥工业大学 一种基于深度学习的车牌图像校正、识别方法及系统
CN113326836A (zh) * 2020-02-28 2021-08-31 深圳市丰驰顺行信息技术有限公司 车牌识别方法、装置、服务器及存储介质
CN111695563B (zh) * 2020-06-10 2022-07-05 北京筑梦园科技有限公司 一种单双层车牌识别方法、服务器及停车收费系统
CN112052855A (zh) * 2020-09-14 2020-12-08 北京易华录信息技术股份有限公司 一种基于深度学习的车牌识别方法及装置
CN113642577A (zh) * 2021-10-14 2021-11-12 深圳市爱深盈通信息技术有限公司 一种低对比度的车牌识别方法、系统、设备及存储介质
CN114067303B (zh) * 2021-11-01 2024-05-07 北京智芯原动科技有限公司 一种车牌识别方法及装置
CN115497084B (zh) * 2022-11-14 2023-03-31 深圳天海宸光科技有限公司 一种仿真车牌图片和字符级别标注的生成方法
CN117079284B (zh) * 2023-07-26 2024-03-05 苏州城市学院 一种面向字符及图像的倾斜检测与矫正方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303803A (zh) * 2008-06-11 2008-11-12 北京中星微电子有限公司 一种车牌识别的方法和系统
CN101398894A (zh) * 2008-06-17 2009-04-01 浙江师范大学 机动车车牌自动识别方法及其实现装置
CN101751785A (zh) * 2010-01-12 2010-06-23 杭州电子科技大学 基于图像处理的车牌自动识别方法
CN101859382A (zh) * 2010-06-03 2010-10-13 复旦大学 一种基于最大稳定极值区域的车牌检测与识别的方法
CN103116751A (zh) * 2013-01-24 2013-05-22 河海大学 一种车牌字符自动识别方法
CN104318233A (zh) * 2014-10-19 2015-01-28 温州大学 车牌图像水平倾斜校正方法
CN104408451A (zh) * 2014-10-30 2015-03-11 安徽清新互联信息科技有限公司 一种基于最小二乘法的车牌校正方法
CN105022991A (zh) * 2015-06-29 2015-11-04 叶秀兰 一种车牌处理与自动识别方法
CN105205489A (zh) * 2015-08-27 2015-12-30 华南理工大学 基于颜色纹理分析器与机器学习的车牌检测方法
CN105279512A (zh) * 2015-10-22 2016-01-27 东方网力科技股份有限公司 一种倾斜车牌识别方法和装置
US20160110999A1 (en) * 2014-10-15 2016-04-21 Xerox Corporation Methods and systems for parking monitoring with vehicle identification
CN106203433A (zh) * 2016-07-13 2016-12-07 西安电子科技大学 一种车辆监控图像中车牌位置自动提取并透视校正的方法
CN106446893A (zh) * 2016-09-14 2017-02-22 苏州佳世达电通有限公司 用于车牌辨识的倾斜校正方法及倾斜校正系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303803A (zh) * 2008-06-11 2008-11-12 北京中星微电子有限公司 一种车牌识别的方法和系统
CN101398894A (zh) * 2008-06-17 2009-04-01 浙江师范大学 机动车车牌自动识别方法及其实现装置
CN101751785A (zh) * 2010-01-12 2010-06-23 杭州电子科技大学 基于图像处理的车牌自动识别方法
CN101859382A (zh) * 2010-06-03 2010-10-13 复旦大学 一种基于最大稳定极值区域的车牌检测与识别的方法
CN103116751A (zh) * 2013-01-24 2013-05-22 河海大学 一种车牌字符自动识别方法
US20160110999A1 (en) * 2014-10-15 2016-04-21 Xerox Corporation Methods and systems for parking monitoring with vehicle identification
CN104318233A (zh) * 2014-10-19 2015-01-28 温州大学 车牌图像水平倾斜校正方法
CN104408451A (zh) * 2014-10-30 2015-03-11 安徽清新互联信息科技有限公司 一种基于最小二乘法的车牌校正方法
CN105022991A (zh) * 2015-06-29 2015-11-04 叶秀兰 一种车牌处理与自动识别方法
CN105205489A (zh) * 2015-08-27 2015-12-30 华南理工大学 基于颜色纹理分析器与机器学习的车牌检测方法
CN105279512A (zh) * 2015-10-22 2016-01-27 东方网力科技股份有限公司 一种倾斜车牌识别方法和装置
CN106203433A (zh) * 2016-07-13 2016-12-07 西安电子科技大学 一种车辆监控图像中车牌位置自动提取并透视校正的方法
CN106446893A (zh) * 2016-09-14 2017-02-22 苏州佳世达电通有限公司 用于车牌辨识的倾斜校正方法及倾斜校正系统

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325670A (zh) * 2018-12-13 2020-06-23 杭州海康威视数字技术股份有限公司 一种数据增强方法、装置及电子设备
CN113228033A (zh) * 2018-12-29 2021-08-06 浙江大华技术股份有限公司 车牌识别的系统和方法
WO2020133464A1 (en) * 2018-12-29 2020-07-02 Zhejiang Dahua Technology Co., Ltd. Systems and methods for license plate recognition
US11842535B2 (en) 2018-12-29 2023-12-12 Zhejiang Dahua Technology Co., Ltd. Systems and methods for license plate recognition
CN111611994B (zh) * 2019-02-26 2024-04-05 北京嘀嘀无限科技发展有限公司 图像提取方法、装置、电子设备和存储介质
CN111611994A (zh) * 2019-02-26 2020-09-01 北京嘀嘀无限科技发展有限公司 图像提取方法、装置、电子设备和存储介质
CN110659638A (zh) * 2019-09-24 2020-01-07 北京精英路通科技有限公司 车牌的识别方法、装置、计算机设备及存储介质
CN111191653A (zh) * 2019-12-25 2020-05-22 北京精英路通科技有限公司 车牌识别方法、装置、计算机设备及存储介质
CN111325203B (zh) * 2020-01-21 2022-07-05 福州大学 一种基于图像校正的美式车牌识别方法及系统
CN111325203A (zh) * 2020-01-21 2020-06-23 福州大学 一种基于图像校正的美式车牌识别方法及系统
CN111382722A (zh) * 2020-03-23 2020-07-07 浙江大华技术股份有限公司 车牌图像优选方法、图像处理装置及具有存储功能的装置
CN111382722B (zh) * 2020-03-23 2023-09-05 浙江大华技术股份有限公司 车牌图像优选方法、图像处理装置及具有存储功能的装置
WO2021196013A1 (zh) * 2020-03-31 2021-10-07 京东方科技集团股份有限公司 单词识别方法、设备及存储介质
US20220036112A1 (en) * 2020-03-31 2022-02-03 Boe Technology Group Co., Ltd. Word recognition method, apparatus and storage medium
US11651604B2 (en) 2020-03-31 2023-05-16 Boe Technology Group Co., Ltd. Word recognition method, apparatus and storage medium
CN112634141A (zh) * 2020-12-23 2021-04-09 浙江大华技术股份有限公司 一种车牌矫正方法、装置、设备及介质
CN112580629A (zh) * 2020-12-23 2021-03-30 深圳市捷顺科技实业股份有限公司 一种基于深度学习的车牌字符识别方法以及相关装置
CN112634141B (zh) * 2020-12-23 2024-03-29 浙江大华技术股份有限公司 一种车牌矫正方法、装置、设备及介质
CN113077018A (zh) * 2021-06-07 2021-07-06 浙江大华技术股份有限公司 一种目标对象识别方法、装置、存储介质及电子装置
CN113642570A (zh) * 2021-07-02 2021-11-12 山东黄金矿业(莱州)有限公司三山岛金矿 一种昏暗环境下矿车车牌识别的方法
JP7377482B1 (ja) 2022-05-04 2023-11-10 博遠智能科技股▲ふん▼有限公司 ナンバープレート認識のためのシステム及び方法
CN114677502A (zh) * 2022-05-30 2022-06-28 松立控股集团股份有限公司 一种任意倾斜角度的车牌检测方法

Also Published As

Publication number Publication date
WO2018219054A1 (zh) 2018-12-06
CN108985137B (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN108985137A (zh) 一种车牌识别方法、装置及系统
JP6448223B2 (ja) 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
CN101460937B (zh) 基于模型的去扭曲方法和设备
CN105740780B (zh) 人脸活体检测的方法和装置
CN107945111B (zh) 一种基于surf特征提取结合cs-lbp描述符的图像拼接方法
CN111739031B (zh) 一种基于深度信息的作物冠层分割方法
CN111507908B (zh) 图像矫正处理方法、装置、存储介质及计算机设备
CN111738320B (zh) 基于模板匹配的遮挡工件识别方法
CN108257155B (zh) 一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
CN109274883A (zh) 姿态矫正方法、装置、终端及存储介质
Czyzewski et al. Chessboard and chess piece recognition with the support of neural networks
CN109919971A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110472521A (zh) 一种瞳孔定位校准方法及系统
CN108960267A (zh) 用于模型调整的系统和方法
CN110084743A (zh) 基于多航带起始航迹约束的图像拼接与定位方法
CN114998773A (zh) 适用于无人机系统航拍图像的特征误匹配剔除方法及系统
CN110942092A (zh) 一种图形图像识别方法及识别系统
CN114119437A (zh) 一种基于gms的用于改善运动物体畸变的图像拼接方法
CN106997366A (zh) 数据库构建方法、增强现实融合追踪方法及终端设备
CN113744307A (zh) 一种基于阈值动态调整的图像特征点跟踪方法和系统
US7440636B2 (en) Method and apparatus for image processing
CN110070626B (zh) 一种基于多视角分类的三维物体检索方法
CN111260574A (zh) 一种印章照片矫正的方法、终端及计算机可读存储介质
CN112200076B (zh) 基于头部躯干特征进行多目标跟踪的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant