CN110858306A - 车牌字符识别装置、方法和计算机可读存储介质 - Google Patents
车牌字符识别装置、方法和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110858306A CN110858306A CN201810961126.3A CN201810961126A CN110858306A CN 110858306 A CN110858306 A CN 110858306A CN 201810961126 A CN201810961126 A CN 201810961126A CN 110858306 A CN110858306 A CN 110858306A
- Authority
- CN
- China
- Prior art keywords
- license plate
- image
- characters
- character
- interference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000002452 interceptive effect Effects 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000008030 elimination Effects 0.000 claims description 9
- 238000003379 elimination reaction Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 35
- 230000008569 process Effects 0.000 description 12
- 230000003628 erosive effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 6
- 230000010339 dilation Effects 0.000 description 5
- 239000000428 dust Substances 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Character Input (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种车牌字符识别装置、方法和计算机可读存储介质，所述方法包括：从拍摄的图像/视频中提取车牌图像；在所述车牌图像内计算车牌边缘轮廓；去除所述车牌边缘轮廓内的车牌区域上的干扰对象；将所述车牌区域划分成每个均包含单个字符的多个独立图像，并识别每个独立图像上的字符。根据该识别车牌字符的方法，能够自动地精确识别各种样式的车牌号。
Description
技术领域
本发明涉及复杂环境下车牌识别领域，特别是一种在复杂环境下用来识别车牌上各个字符的车牌字符识别装置、方法和计算机可读存储介质。
背景技术
众所周知，各地区的车牌样式可能不尽相同，比如香港或英国车牌便有多种不同的风格，车牌字符的长度各有不同，或者还包含动态数字，并且车牌还被分成单排车牌和双排车牌，各种车牌的字体也有可能不同，不同车牌的底色也可能不同，如图1a至图1d中示出的各种样式的车牌，这给车牌识别带来了较大的困难。
除了车牌样式不同以外，与诸如停车场等场景下的可能仅有一辆汽车的简单环境相比，在诸如车辆出入口、繁忙道路等复杂环境下摄像机拍摄出来的图像中可能存在多辆汽车，在这种环境下还可能存在其他诸多干扰，例如，建筑物、行人、道路周边绿色等，这在一定程度上给车牌识别造成干扰。
对于各种样式的车牌，并没有较为适合的通用识别技术，通常在拍摄完图像或视频之后，需要工作人员手动打开图像或视频，并用人眼来识别车牌信息。
发明内容
有鉴于此，本发明提出了一种车牌字符识别系统和方法。
根据本发明的一方面，提供了一种用于识别车牌字符的方法，所述方法包括：从拍摄的图像/视频中提取车牌图像；在所述车牌图像内计算车牌边缘轮廓；去除所述车牌边缘轮廓内的车牌区域上的干扰对象；将去除干扰对象后的所述车牌区域划分成每个均包含单个字符的多个独立图像，并识别每个独立图像上的字符。根据该识别车牌字符的方法，能够自动地精确识别各种样式的车牌号，适于在具有诸多干扰要素的复杂环境下识别各种样式的车牌号，也适于“智能城市”里各种场景下的车牌自动识别。
在一个实施例中，所述从拍摄的图像/视频中提取车牌图像包括：通过机器学习获得车牌图像训练模型，将所述拍摄的图像/视频输入到所述车牌图像训练模型，并从所述车牌图像训练模型中输出车牌图像。因此，通过事先大量的样本训练，能够从拍摄的图像中直接提取出所需要的车牌图像。
在一个实施例中，所述在所述车牌图像内计算车牌边缘轮廓包括：将所述车牌图像转换成灰度图；将所述灰度图转换成二值图；根据所述二值图，计算所述车牌边缘轮廓。在计算出车牌边缘之后，在后续处理时可仅针对车牌图像上的车牌区域，因而可避免车牌之外的区域造成过多的干扰。
在一个实施例中，所述干扰对象包括干扰噪点，所述去除所述车牌边缘轮廓内的车牌区域上的干扰对象包括：对所述二值图进行腐蚀和膨胀处理，以去除图像中的干扰噪点，从而能够使得车牌图像上的车牌区域部分更加清晰，以便于字符识别。
在一个实施例中，所述干扰对象还包括干扰线，所述去除所述车牌边缘轮廓内的车牌区域上的干扰对象进一步包括：检测膨胀后的图像是否存在干扰线，若存在干扰线，则消除所述干扰线，从而能够提高字符识别精确度。
在一个实施例中，所述检测膨胀后的图像是否存在干扰线包括：计算所述膨胀后的图像中的字符线条是否在预设的长度区间内，以及相对于水平方向是否处于预设的角度范围内，若存在超出所述预设的长度区间且落在所述预设的角度范围内的线，则确定所述字符线条为干扰线，然后对所述膨胀后的图像进行长度过滤处理，以消除所述干扰线。至此，能够有效地消除各种干扰线，避免影响字符识别。
在一个实施例中，所述将去除干扰对象后的所述车牌区域划分成每个均包含单个字符的多个独立图像包括：计算所述车牌区域上包括字符在内的所有对象的多个最小外接矩形轮廓；将所述多个最小外接矩形轮廓与预定阈值进行比较，并根据比较结果筛选出所述车牌区域上的字符的最小外接矩形轮廓；从所述车牌区域上分割出每个字符的最小外接矩形图像；判断分割出的最小外接矩形图像是否存在粘连在一起的字符；若存在粘连的字符，则将粘连的字符断开，得到均包含单个字符的所述多个独立图像。因此，能够从车牌图像中准确地提取出所有的字符图像。
在一个实施例中，所述识别每个独立图像上的字符包括：通过机器学习建立字符识别模型；利用所述字符识别模型来识别分割后的各个字符；将识别出的各个字符重组成车牌号。因此，通过事先大量的样本训练，能够从各个独立的字符图像中直接识别出所有的字符，从而重组成车牌号。
根据本发明的另一方面，还提供了一种车牌字符识别装置，所述车牌字符识别系统包括：一个车牌图像提取模块，从拍摄的图像/视频中提取车牌图像；一个车牌边缘计算模块，在所述车牌图像内计算车牌边缘轮廓；一个干扰消除模块，去除所述车牌边缘轮廓内的车牌区域上的干扰对象；一个字符分割模块，将所述车牌区域划分成每个均包含单个字符的多个独立图像；和一个字符识别模块，识别所述多个独立图像中的每个上的字符。根据该车牌字符识别装置，能够自动地精确识别各种样式的车牌号，适于在具有诸多干扰要素的复杂环境下识别各种样式的车牌号，也适于“智能城市”里各种场景下的车牌自动识别。
在一个实施例中，所述车牌图像提取模块包括车牌图像训练模型，能够基于图像/视频输出车牌图像。因此，通过事先大量的样本训练，能够从拍摄的图像中直接提取出所需要的车牌图像。
在一个实施例中，所述车牌边缘计算模块配置用于：将所述车牌图像转换成灰度图；将所述灰度图转换成二值图；根据所述二值图，计算所述车牌边缘轮廓。在计算出车牌边缘之后，在后续处理时可仅针对车牌图像上的车牌区域，因而可避免车牌之外的区域造成过多的干扰。
在一个实施例中，所述干扰对象包括干扰噪点，所述干扰消除模块对所述车牌区域进行腐蚀和膨胀处理，以去除所述车牌区域上的干扰噪点，从而能够使得车牌图像上的车牌区域部分更加清晰，以便于字符识别。
在一个实施例中，所述干扰对象还包括干扰线，所述干扰消除模块还检测膨胀后的图像是否存在干扰线，并在存在干扰线时消除干扰线，从而能够提高字符识别精确度。
在一个实施例中，所述字符分割模块进一步用于判断所述车牌区域上是否存在粘连在一起的字符，并在存在粘连的字符时将粘连的字符断开，因此，能够从车牌图像中准确地提取出所有的字符图像。
在一个实施例中，所述字符分割模块配置用于：计算所述车牌区域上包括字符在内的所有对象的多个最小外接矩形轮廓；将所述多个最小外接矩形轮廓与预定阈值进行比较，并根据比较结果筛选出所述车牌区域上的字符的最小外接矩形轮廓；从所述车牌区域上分割出每个字符的最小外接矩形图像；判断分割出的最小外接矩形图像是否存在粘连在一起的字符；若存在粘连的字符，则将粘连的字符断开，得到均包含一个字符的所述多个独立图像。因此，能够从车牌图像中准确地提取出所有的字符图像。
根据本发明的另一实施例，还提供了一种车牌字符识别装置，所述车牌字符识别装置包括一个处理器和一个存储器，所述存储器中存储有被所述处理器执行的应用程序，用于使得所述处理器执行上述方法。
根据本发明的另一实施例，还提供了一种计算机可读存储介质，在所述计算机可读存储介质中存储有计算机可读指令，该计算机可读指令用于执行上述方法。
附图说明
下面将通过参照附图详细描述本发明的优选实施例，使本领域的普通技术人员更清楚本发明的上述及其它特征和优点，附图中：
图1a至图1d是示出了现有技术中各种样式的车牌的示意图；
图2为根据本发明的实施例的用来识别车牌字符的方法的流程图；
图3a和图3b分别示出了拍摄的示例性图像以及从拍摄的示例性图像中提取的示例性车牌图像；
图4a和图4b分别示出了示例性原始图像以及基于该示意性原始图像计算边缘轮廓后的示意性二值图；
图5a和图5b分别示出了进行腐蚀和膨胀处理的示例性图像；
图5c示出了车牌图像被膨胀处理之后的图像的示意性视图；
图6a和图6b分别示出了原始的车牌图像和该图像被膨胀处理之后的图像的示意图视图；
图7a和图7b分别示出了另一原始的车牌图像和该图像被膨胀处理之后的图像的示意图视图；
图8a和图8b分别示出了另一原始的车牌图像和该图像被膨胀处理之后的图像的示意图视图；
图9a至图9d示出了在去除了干扰线之后的示意性车牌图像；
图10a和图10b示出了具有粘连的字符的车牌图像以及该图像的灰阶图；
图11a和图11b示出了具有粘连的字符的示例性最小外接矩形图像以及被分割开的两个独立的最小外接矩形图像；
图12为根据本发明的实施例的用来识别车牌字符的系统的示意性框图；
图13为根据本发明的另一实施例的车牌字符识别装置的示意性框图。
附图标记说明：
200：车牌字符识别系统，
210：车牌图像提取模块，
220：车牌边缘计算模块，
230：干扰消除模块，
240：字符分割模块，
250：字符识别模块，
300：车牌字符识别装置，
310：处理器，
320：存储器。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下举实施例对本发明进一步详细说明。
参照图2所示，根据本发明的实施例，提供了一种用于识别车牌字符的方法100，该方法100适用于在包括诸如行人、建筑物等多种干扰因素的复杂环境下识别车牌上的字符信息，比如具有诸如单排和双排的各种样式的香港或英国车牌。
利用布置在街道中的摄像机拍摄到的图像或视频中可能包含多辆汽车，由于各辆汽车相对于摄像点的位置不同，拍摄到的汽车上的车牌的姿态或角度也各不相同。在进行车牌识别时，对于车牌区域相对于水平方向过于倾斜的车牌会被过滤掉而不执行读取操作，仅对在预定的方位范围内的车牌执行字符识别操作。
识别车牌字符的方法100可先从摄像机接收所拍摄的包含有汽车的图像/视频，然后从这样的图像/视频中提取车牌图像，如框S110所示。拍摄的图像/视频中可能含有不仅一辆汽车，因而提取出的车牌图像可能是多个。具体地说，可针对单排车牌和双排车牌，准备两组样本图像，例如，每组样本图像可包含10000多个正样本和30000多个负样本，通过机械学习训练的方式以这些样本图像为基础获得车牌图像训练模型，包括专用于单排车牌的车牌图像训练模型文件和专用于双排车牌的车牌图像训练模型文件。
在一个实施例中，可采用OpenCV中的级联训练模型来处理图像/视频。
在将拍摄的图像/视频输入到训练模型中之后，可从训练模型中输出能够从这样的图片/视频中提取出来的所有的车牌图像，即，通过识别算法识别可能包含车牌的区域，初步识别出的可能的车牌区域可能包含真实的车牌区域，也可能没有完全包含真实的车牌区域，比如，可能仅包含真实的车牌区域的其中一部分。这样，可进一步通过另一训练模型(例如，SVM模型)来识别包含真实的车牌区域的图像而舍弃掉没有包含真实的车牌区域的图像。
提取出的车牌图像可能包含真实的车牌区域以及该车牌区域周边的非车牌区域部分。在提取车牌图像时，车牌图像可具有一些独特的特征，比如，实心矩形区域特征、白色或黄色背景特征等。另外，还可以对车牌图像执行一些视觉处理过程，以突显矩形特征。例如，图3a示出了从安装在街道中的摄像机拍摄的图像，该图像内包含一辆汽车，在将从摄像机拍摄的该原始图像输入到训练模型文件之后，可从训练模型文件中输出如图3b所示的车牌图像。
下面，可基于得到的车牌图像计算车牌边缘轮廓，如框S120所示。可首先将提取到的车牌图像转换成灰度图，其中该灰度图仅具有黑白两种像素。然后可通过预设的阈值将灰度图进一步转换成二值图。基于该二值图，可对邻域像素灰度进行加权，计算图像中各处的像素梯度值，并对生成的新像素灰度值做阈值运算，以此来确定边缘信息，从而能够突显出车牌图像上的真实车牌区域。例如，在一个实施例中，可利用Sobel算子来计算车牌边缘轮廓。例如，在一个示例性实施例中，在基于图4a中示出的原始灰度图计算边缘轮廓之后，所得到的各个部件的边缘轮廓可如图4b中所示。
然后可去除车牌边缘轮廓内的车牌区域上的干扰对象，如框S130所示。由于在摄像机进行拍摄时可能存在光线干扰，或者车牌上存在灰尘或杂质等，导致在车牌区域上存在诸多干扰对象而影响后续的字符识别过程。因此，需要去除车牌区域上的干扰对象，以使得车牌区域的边缘和字符区域更加清晰。
在一个实施例中，图像上的干扰对象可包括影响车牌识别精度的各种干扰噪点和干扰线。可在计算出车牌图像的车牌区域边缘之后基于二值图，对该二值图像进行形态转换，例如，可进行腐蚀和膨胀处理，或者进行开关运算。
具体地说，如上所述，在将车牌图像转换成灰度图之后，车牌区域上的各个字符可被高亮化或者可呈白色或用白色像素表征，其余背景区域可呈黑色或用黑色像素表征。在图5a示出的示例性实施例中，在对示例性图像进行腐蚀处理期间，图像中的除了字符以外的其余背景区域中若存在噪点，则大体上会被显示成白点，比如拍摄时的光线干扰、车牌上的灰尘、污渍干扰等各种白噪声干扰，进行腐蚀处理之后可去除或者过滤掉图像中的各种干扰噪点，从而去除各个字符附近的“毛刺”。之后，可对图像进行膨胀处理，如图5b所示，在对示例性图像进行膨胀处理期间，字符上的噪点被显示为黑点，这些噪点在膨胀处理之后可被去除，并且图像中的白色字符区域增大或扩张。例如，如图5c所示，对于示例性的车牌图像，在经过腐蚀和膨胀处理之后，图像上的字符与字符间在一些区域处连成一片。例如，在图6a和图6b、图7a和图7b以及图8a和图8b中分别示出了示例性的原始车牌图像以及在膨胀处理之后的示例性图像。
之后，可检测膨胀后的图像中是否存在干扰线，这样的干扰线在将车牌图像转换成二值图之后便可能已经存在，并会干扰字符识别精度。具体可利用霍夫变换来检测干扰线，为了避免将正常的字符上的线被误计算为干扰线，可预先针对车牌图像上的线条设置预设的长度区间以及相对于水平方向的预设角度范围。在进行检测时，可基于图像中各种线条的长度比和相对于水平方向的角度值，可判断该线条是否为干扰线。例如，若某个线条超出预设的长度区域并且该线条相对于水平方向的角度落在预设角度范围内时，可确定该线条为干扰线。然后，可对图像进行长度过滤处理，例如，可利用黑色像素覆盖作为白色像素存在的干扰线，从而消除干扰线。在去除了干扰线之后，车牌区域的灰度图的示例可大体上如图9a至图9d中所示。
之后，可将车牌图像上的车牌区域划分成每个均包含单个字符的多个独立图像，并识别各个独立图像上的字符，如框S140所示。
可先计算车牌图像上的车牌区域可能包含的所有对象的最小外接矩形轮廓，这些对象包括车牌上的字符以及其他面积较大的干扰物体，例如，大块污渍或拍摄时受光线影响的反光区域等。然后可将提取出的所有最小外接矩形轮廓与预定阈值进行比较，例如，可比较最小外接矩形轮廓的长宽、多个最小外接矩形轮廓的排布等，对于真实的车牌字符而言，其最小外接矩形轮廓的长度在预定的范围内，且这些字符的排布较为规整，例如，对于单排车牌而言，车牌字符及其最小外接矩形轮廓大体上可呈直线排布，而对于其他干扰物体的长度和排布并不规则，从而能够容易地筛选出所有的车牌字符的最小外接矩形轮廓，然后可将字符的这些最小外接矩形作为单独的字符图像从车牌图像中提取出来。
对于诸如双排车牌的某些车牌而言，有可能某些筛选出的最小外接矩形轮廓可能包含粘连在一起的上下两个字符，此时，需要进一步可检测从车牌区域上划分出的这些独立图像上是否存在粘连的字符。例如，如图10a所示，在该实施例中，存在上下粘连在一起的字符“C”和“9”，可通过计算字符区域的灰阶图来检测字符间的粘连区域。具体地说，对于车牌区域而言，其上的各个字符可被处理为白色或作为白色像素，而其他背景区域可被处理为黑色或作为黑色像素。以车牌为双排车牌作为示例，可针对整个车牌区域计算灰阶图，如果字符间互相隔开而不存在粘连时，那么在相邻字符之间的区域处的白色像素数量应该为零，如果字符间存在粘连，那么在相邻字符之间的粘连区域处的白色像素不为零而是具有一定数量。据此，可判断车牌上的字符是否粘连。
如果确定存在粘连在一起的字符，则可将粘连字符切分开，以避免影响字符的正常分割和识别。
具体地说，可先将相互粘连的两个字符分割出来，然后，可通过滴水算法将粘连的字符割开。例如，可将字符粘连的位置作为起始滴落点，例如，在图11a示出的实施例中，起始滴落点可以是两个字符之间的粘连位置，然后朝向粘连区域的凹陷处进行滴落，随着水滴渗透相互粘连的区域，字符便可被逐渐切分开，如图11b所示，从而形成了分别被显示为“9”和“U”的两个独立的最小外接矩形图像，而水滴在此区域向下滴落的路径便是字符切分的路径。
在完成所有字符分割之后，可获得多个单独的最小外接矩形图像，每个图像可仅包含一个字符。然后，可从这些图像中识别字符信息。在本发明的一个实施例中，可通过机器学习训练出字符识别模型，然后可将这些字符图像输入到该模型中，在模型识别出字符信息之后，便可将该字符信息输出。之后，可将输出的各个字符信息重组成车牌号。
例如，可通过机器学习训练的方式获得支持向量机(Support Vector Machine，SVM)训练集或者K最近邻(K-Nearest Neighbor，KNN)训练集，在此过程中可使用大量的样本数据。其中，SVM训练集通过将每种字符都准备数百个小图片，每个标分类，写程序读入图片和标签，设置SVM参数然后训练而成。KNN是将每种样本作成二值化的小图片，提取其像素值写入xml文件中，在进行字符识别预测时便可比较出最接近的那个字符，从而能够识别出字符信息。
根据本发明的另一实施例，还提供了一种车牌字符识别装置，该装置能够执行上述识别车牌字符的方法。该车牌字符识别装置200可包括：车牌图像提取模块210，可从由摄像机拍摄的图像/视频中提取车牌图像，该车牌图像可能包括真实的车牌区域和车牌区域附近的非车牌区域(例如，车身区域)；车牌边缘计算模块220，从所提取出来的车牌图像计算车牌边缘轮廓；干扰消除模块230，去除车牌边缘轮廓内的车牌区域上的干扰对象，使车牌图像上的车牌区域的边缘和字符区域更加清晰而更加突显出车牌区域；字符分割模块240，将车牌区域划分成多个独立的字符图像，每个独立的字符图像可均包含单个字符；字符识别模块250，从多个独立字符图像中识别各个字符信息，从而识别出真实的车牌号。
具体地说，车牌图像提取模块210包括车牌图像训练模型，以基于图像/视频输出车牌图像。比如，车牌图像提取模型可包括通过一定的样本数据机械学习训练得到的模型文件，这样的训练模型可以是OpenCV中的级联训练模型等任何合适的训练模型。在将从摄像机拍摄的图像或视频输入到该车牌图像训练模型之后，便可从该车牌图像训练模型中输出车牌图像。
车牌边缘计算模块220可配置有能够计算车牌边缘的任何算法或程序，例如，该模块可执行Sobel算法，先将车牌图像转换成灰度图，然后通过阈值运算将灰度图转换成二值图，基于该二值图，对邻域像素灰度进行加权，计算图像中各处的像素梯度值，并对生成的新像素灰度值做阈值运算，以此来确定边缘信息，从而能够从车牌图像上突显出真实的车牌区域。
车牌区域上的干扰对象可包括干扰噪点和各种干扰线等。干扰消除模块230可对所述提取的二值图进行形态转换，比如可进行腐蚀和膨胀处理。具体地说，可对图像进行腐蚀处理，去除或者过滤掉图像中的各种干扰噪点，比如拍摄时的光线干扰、车牌上的灰尘、污渍干扰等各种白噪声干扰，从而去除各个字符附近的“毛刺”。之后，可对图像进行膨胀处理，使得字符与字符间在一些区域处连成一片。
另外，由于被膨胀后的车牌图像上可能存在由车牌边缘计算得到的非字符线段的干扰线，因而在膨胀处理之后可进一步针对车牌区域去除干扰线。为此，干扰消除模块230可进一步检测膨胀后的图像是否存在干扰线，并在存在干扰线时消除干扰线。例如，干扰线消除模块可执行霍尔变换来检测干扰线，在检测到干扰线的存在之后，可利用黑色像素覆盖作为白色像素存在的干扰线，从而消除干扰线。
字符分割模块240可计算车牌图像上的车牌区域内所有对象的最小外接矩形轮廓，然后从其中筛选出包含车牌字符的最小外接矩形轮廓。在此期间，可进一步检测车牌区域上筛选出的最小外接矩形轮廓是否存在粘连在一起的两个字符，并在确定某个或某些最小外接矩形轮廓内存在粘连的字符时将粘连字符断开。例如，字符分割模块可通过计算字符区域的灰阶图来检测字符间的粘连区域，并可在确定存在粘连字符时使用滴水算法来切分粘连字符，最终车牌区域上的所有字符被切分成多个独立的字符图像。
字符识别模块250可识别切分出的多个独立字符图像上的字符信息，从而识别出真实的车牌号。例如，字符识别模块中可配置有训练模型文件。可通过机器学习训练的方式获得SVM训练集或者KNN训练集，在此过程中可使用大量的样本数据。在将字符图像输入到该训练模型中后，可从训练模型中输出相应的字符信息。
该装置的其他可选实现方式可参考前述的方法，这里不再赘述。
另外，根据本发明的另一实施例，还提供了一种车牌字符识别装置300，如图13所示，该车牌字符识别装置300包括一个处理器310和一个存储器320。在存储器320中存储有被处理器310执行的应用程序，使得处理器310执行上述识别车牌字符的方法。可选地，上述装置200所包括的各模块可为图13所示的装置中存储器320所存储的应用程序的模块，各模块在被处理器310调用时，分别实现各自的功能。或者，可选地，装置200的各模块在实现上也可为由硬件实现的各个功能模块，用于实现上述车牌字符识别方法时涉及的各种功能，比如预先将访问控制方法中涉及的各流程的控制逻辑烧制到诸如现场可编程门阵列(Field-Programmable Gate Array，FPGA)芯片或复杂可编程逻辑器件(ComplexProgrammable Logic Device，CPLD)中，而由这些芯片或器件执行上述各模块的功能，具体实现方式可依工程实践而定。
另外，根据本发明的另一实施例，还提供了一种计算机可读存储介质，在所述计算机可读存储介质中存储有计算机可读指令，该计算机可读指令用于执行上述任一实施方式中的方法。
需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。
各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASIC)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路(如由软件进行配置)来实现硬件模块，可以根据成本和时间上的考虑来决定。
本发明还提供了一种机器可读的存储介质，存储用于使一机器执行如本文所述方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施方式中任一实施方式的功能。
用于提供程序代码的存储介质实施方式包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机或云上下载程序代码。
以上所述，仅为本发明的较佳实施方式而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
从上述方案中可以看出，对于包括各种样式的车牌，可自动从拍摄的图像或视频中准确地识别出车牌号，尤其适合香港或英国车牌号识别，也适于“智能城市”各种场景下的车牌识别，例如，出入境车辆检查、违规监管、停车场等各种场合。由于本发明采用免费的开源框架，而没有额外的收费模块。另外，检测提取车牌区域和识别字符的模型文件是经过预先训练的，可在诸如android和Windows的其他平台上重复使用，且该利用上述方法和系统可每秒处理8-10帧图像，而不必再采用效率低下的人工检查，在从拍摄的图像或视频中识别车牌号时几乎可以同时将数字识别为视频播放。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。
Claims (15)
1.一种用于识别车牌字符的方法，其中，所述方法包括：
从拍摄的图像/视频中提取车牌图像；
在所述车牌图像内计算车牌边缘轮廓；
去除所述车牌边缘轮廓内的车牌区域上的干扰对象；
将去除干扰对象后的所述车牌区域划分成每个均包含单个字符的多个独立图像，并识别每个独立图像上的字符。
2.根据权利要求1所述的方法，其中，所述在所述车牌图像内计算车牌边缘轮廓包括：
将所述车牌图像转换成灰度图；
将所述灰度图转换成二值图；
根据所述二值图，计算所述车牌边缘轮廓。
3.根据权利要求2所述的方法，其中，所述干扰对象包括干扰噪点，所述去除所述车牌边缘轮廓内的车牌区域上的干扰对象包括：
对所述二值图进行腐蚀和膨胀处理，以去除图像中的干扰噪点。
4.根据权利要求3所述的方法，其中，所述干扰对象还包括干扰线，所述去除所述车牌边缘轮廓内的车牌区域上的干扰对象进一步包括：
检测膨胀后的图像是否存在干扰线，若存在干扰线，则消除所述干扰线。
5.根据权利要求4所述的方法，其中，所述检测膨胀后的图像是否存在干扰线包括：
计算所述膨胀后的图像中的字符线条是否在预设的长度区间内，以及相对于水平方向是否处于预设的角度范围内，若存在超出所述预设的长度区间且落在所述预设的角度范围内的线，则确定所述字符线条为干扰线，然后对所述膨胀后的图像进行长度过滤处理，以消除所述干扰线。
6.根据权利要求1至5中任一项所述的方法，其中，所述将去除干扰对象后的所述车牌区域划分成每个均包含单个字符的多个独立图像包括：
计算所述车牌区域上包括字符在内的所有对象的多个最小外接矩形轮廓；
将所述多个最小外接矩形轮廓与预定阈值进行比较，并根据比较结果筛选出所述车牌区域上的字符的最小外接矩形轮廓；
从所述车牌区域上分割出每个字符的最小外接矩形图像；
判断分割出的最小外接矩形图像是否存在粘连在一起的字符；
若存在粘连的字符，则将粘连的字符断开，得到均包含单个字符的所述多个独立图像。
7.根据权利要求6所述的方法，其中，所述识别每个独立图像上的字符包括：
通过机器学习建立字符识别模型；
利用所述字符识别模型来识别分割后的各个字符；
将识别出的各个字符重组成车牌号。
8.一种车牌字符识别装置(200)，其中，所述车牌字符识别系统(200)包括：
一个车牌图像提取模块(210)，从拍摄的图像/视频中提取车牌图像；
一个车牌边缘计算模块(220)，在所述车牌图像内计算车牌边缘轮廓；
一个干扰消除模块(230)，去除所述车牌边缘轮廓内的车牌区域上的干扰对象；
一个字符分割模块(240)，将所述车牌区域划分成每个均包含单个字符的多个独立图像；和
一个字符识别模块(250)，识别所述多个独立图像中的每个上的字符。
9.根据权利要求8所述的车牌字符识别装置，其中，所述车牌边缘计算模块(220)配置用于：
将所述车牌图像转换成灰度图；
将所述灰度图转换成二值图；
根据所述二值图，计算所述车牌边缘轮廓。
10.根据权利要求8所述的车牌字符识别装置，其中，所述干扰对象包括干扰噪点，所述干扰消除模块(230)对所述车牌区域进行腐蚀和膨胀处理，以去除所述车牌区域上的干扰噪点。
11.根据权利要求10所述的车牌字符识别装置，其中，所述干扰对象还包括干扰线，所述干扰消除模块(230)还检测膨胀后的图像是否存在干扰线，并在存在干扰线时消除干扰线。
12.根据权利要求8所述的车牌字符识别装置，其中，所述字符分割模块(240)进一步用于判断所述车牌区域上是否存在粘连在一起的字符，并在存在粘连的字符时将粘连的字符断开。
13.根据权利要求12所述的车牌字符识别装置，其中，所述字符分割模块(240)配置用于：
计算所述车牌区域上包括字符在内的所有对象的多个最小外接矩形轮廓；
将所述多个最小外接矩形轮廓与预定阈值进行比较，并根据比较结果筛选出所述车牌区域上的字符的最小外接矩形轮廓；
从所述车牌区域上分割出每个字符的最小外接矩形图像；
判断分割出的最小外接矩形图像是否存在粘连在一起的字符；
若存在粘连的字符，则将粘连的字符断开，得到均包含一个字符的所述多个独立图像。
14.一种车牌字符识别装置(300)，其特征在于，所述车牌字符识别装置(300)，包括一个处理器(310)和一个存储器(320)，所述存储器(320)中存储有被所述处理器(310)执行的应用程序，用于使得所述处理器(310)执行如权利要求1至7中任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，在所述计算机可读存储介质中存储有计算机可读指令，该计算机可读指令用于执行如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810961126.3A CN110858306A (zh) | 2018-08-22 | 2018-08-22 | 车牌字符识别装置、方法和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810961126.3A CN110858306A (zh) | 2018-08-22 | 2018-08-22 | 车牌字符识别装置、方法和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110858306A true CN110858306A (zh) | 2020-03-03 |
Family
ID=69634938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810961126.3A Pending CN110858306A (zh) | 2018-08-22 | 2018-08-22 | 车牌字符识别装置、方法和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110858306A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101408933A (zh) * | 2008-05-21 | 2009-04-15 | 浙江师范大学 | 基于粗网格特征提取和bp神经网络的车牌字符识别方法 |
| CN103136528A (zh) * | 2011-11-24 | 2013-06-05 | 同济大学 | 一种基于双边缘检测的车牌识别方法 |
| CN105930831A (zh) * | 2016-05-19 | 2016-09-07 | 湖南博广信息科技有限公司 | 一种车牌智能识别方法 |
| CN106096602A (zh) * | 2016-06-21 | 2016-11-09 | 苏州大学 | 一种基于卷积神经网络的中文车牌识别方法 |
| CN106156768A (zh) * | 2016-07-01 | 2016-11-23 | 屈桢深 | 基于视觉的机动车行驶证检测方法 |
| CN106503711A (zh) * | 2016-11-16 | 2017-03-15 | 广西大学 | 一种文字识别方法 |
-
2018
- 2018-08-22 CN CN201810961126.3A patent/CN110858306A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101408933A (zh) * | 2008-05-21 | 2009-04-15 | 浙江师范大学 | 基于粗网格特征提取和bp神经网络的车牌字符识别方法 |
| CN103136528A (zh) * | 2011-11-24 | 2013-06-05 | 同济大学 | 一种基于双边缘检测的车牌识别方法 |
| CN105930831A (zh) * | 2016-05-19 | 2016-09-07 | 湖南博广信息科技有限公司 | 一种车牌智能识别方法 |
| CN106096602A (zh) * | 2016-06-21 | 2016-11-09 | 苏州大学 | 一种基于卷积神经网络的中文车牌识别方法 |
| CN106156768A (zh) * | 2016-07-01 | 2016-11-23 | 屈桢深 | 基于视觉的机动车行驶证检测方法 |
| CN106503711A (zh) * | 2016-11-16 | 2017-03-15 | 广西大学 | 一种文字识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 朱信忠: ""车牌自动识别技术的研究与实现"", 《中国优秀博硕士学位论文全文数据库 (硕士)》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI409718B (zh) | 移動中車輛之車牌定位方法 | |
| CN107545239B (zh) | 一种基于车牌识别与车辆特征匹配的套牌检测方法 | |
| US8184859B2 (en) | Road marking recognition apparatus and method | |
| WO2018018788A1 (zh) | 一种基于图像识别的计量表抄表装置及其方法 | |
| CN111738342B (zh) | 一种受电弓异物检测方法、存储介质及计算机设备 | |
| CN111382704A (zh) | 基于深度学习的车辆压线违章判断方法、装置及存储介质 | |
| Yoon et al. | Blob extraction based character segmentation method for automatic license plate recognition system | |
| KR101589814B1 (ko) | 연안에서의 객체 인식 장치 및 그 방법 | |
| JP5019375B2 (ja) | 物体検出装置および物体検出方法 | |
| KR20130105952A (ko) | 차량 번호판 인식 방법과 그 장치 | |
| KR101480220B1 (ko) | 객체 인식 장치 및 그 방법 | |
| CN105303153A (zh) | 一种车辆车牌识别方法及装置 | |
| Kaur | An automatic number plate recognition system under image processing | |
| Jiang et al. | Car plate recognition system | |
| KR101613703B1 (ko) | 차량영상검지와 번호판 영역 추출방법 | |
| CN112528861A (zh) | 应用于铁路隧道内道床的异物检测方法及装置 | |
| WO2021000948A1 (zh) | 配重重量的检测方法与系统、获取方法与系统及起重机 | |
| CN106022268A (zh) | 一种限速标识的识别方法和装置 | |
| EP3905115A1 (en) | Road shape determination method and road shape determination program | |
| CN110363192B (zh) | 物件影像辨识系统及物件影像辨识方法 | |
| JP7264428B2 (ja) | 道路標識認識装置及びそのプログラム | |
| Danilescu et al. | Road anomalies detection using basic morphological algorithms | |
| Kaur et al. | An Efficient Method of Number Plate Extraction from Indian Vehicles Image | |
| KR102489884B1 (ko) | 차량 번호판 인식율 개선을 위한 이미지 처리 장치 및 이를 이용한 이미지 처리 방법 | |
| CN110858306A (zh) | 车牌字符识别装置、方法和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200303 |