CN112115939B - 车辆车牌的识别方法、装置 - Google Patents
车辆车牌的识别方法、装置 Download PDFInfo
- Publication number
- CN112115939B CN112115939B CN202010873388.1A CN202010873388A CN112115939B CN 112115939 B CN112115939 B CN 112115939B CN 202010873388 A CN202010873388 A CN 202010873388A CN 112115939 B CN112115939 B CN 112115939B
- Authority
- CN
- China
- Prior art keywords
- license plate
- vehicle
- block diagram
- block diagrams
- characters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000010586 diagram Methods 0.000 claims abstract description 154
- 238000012544 monitoring process Methods 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及了一种车辆车牌的识别方法、装置，该识别方法包括：获取车辆监控区域的视频流；对所述视频流中的多帧图像分别进行车辆检测，以获取每帧图像中各个车辆的车辆框图及车辆特征；对所述车辆框图进行车牌识别，以获取相应的车牌信息；基于所述车辆特征对多帧图像中的各个车辆框图进行匹配，并将不同帧中车辆特征相匹配的车辆框图作为同一图片序列；根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息。实施本发明的技术方案，即使车辆的车牌被其他物体短暂遮挡，也能识别出该车辆的车牌信息，因此提高了车辆车牌识别的准确率。
Description
技术领域
本发明涉及智能交通(Intelligent Transportation System，ITS)领域，尤其涉及一种车辆车牌的识别方法、装置。
背景技术
随着我国城市化进程的加快和居民生活水平的提高，绿色环保出行理念的深入人心，电动自行车成为广大市民短程出行的重要工具，电动自行车的数量也出现高度增长。目前电动自行车在道路行驶不需像机动车那样要经严格的驾考等手续，极易引发交通安全问题，已成为社会各界非常关注的热点问题。目前全国各地纷纷推进电动自行车的上牌工作，加强电动自行车的管控工作。电动自行车的车牌识别是交通管理部门查处电动自行车闯红灯、逆行、占用机动车道等违章行为的重要信息源之一，对加强电动车管理、维护交通秩序和交通安全具有重大意义。
另一方面，现有的机动车车牌识别在实际应用中由于车牌倾斜、车牌样式等原因综合识别准确率在95％左右，例如，偶尔出现的车牌遮挡将导致车牌识别错误，因此，车牌识别的准确率仍需进一步提高，方可进一步拓展车牌识别的应用，为智慧交通提供可靠的技术支撑。
发明内容
本发明要解决的技术问题在于，针对现有技术存在的车牌识别率不准的缺陷，提供一种。
本发明解决其技术问题所采用的技术方案是：构造一种车辆车牌的识别方法，包括：
获取车辆监控区域的视频流；
对所述视频流中的多帧图像分别进行车辆检测，以获取每帧图像中各个车辆的车辆框图及车辆特征；
对所述车辆框图进行车牌识别，以获取相应的车牌信息；
基于所述车辆特征对多帧图像中的各个车辆框图进行匹配，并将不同帧中车辆特征相匹配的车辆框图作为同一图片序列；
根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息。
优选地，对所述车辆框图进行车牌识别，以获取相应的车牌信息，具体包括：
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图；
对所述车牌框图进行字符识别，以获取相应的车牌信息。
优选地，对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图，具体包括：
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌框图关键点；
而且，对所述车牌框图进行字符识别，以获取相应的车牌信息，具体包括：
根据所述车牌框图关键点对所述车牌框图进行校正，以获取校正后的车牌框图；
对校正后的车牌框图进行字符识别，以获取相应的车牌信息。
优选地，对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图，具体包括：
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌行数；
而且，对所述车牌框图进行字符识别，以获取相应的车牌信息，具体包括：
根据所述车牌框图的高度及所述车牌行数计算各行的高度，并确定各行字符的纵坐标范围；
对所述车牌框图进行字符识别，并将识别出的字符按照其纵坐标进行聚类；
对聚类后的字符按照横坐标进行排序，以得到每行的字符，而且，将各行的字符按照从上到下排列，以得到完整的车牌信息。
优选地，将识别出的字符按照其纵坐标进行聚类，具体包括：
对于识别出的字符，若其纵坐标不在相应行的纵坐标范围，则将其剔除掉；
将剔除后剩下的字符按照其纵坐标进行聚类。
优选地，对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图，具体包括：
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌颜色；
而且，对所述车牌框图进行字符识别，以获取相应的车牌信息，具体包括：
根据所述车牌颜色确定字符标准数量；
对所述车牌框图进行字符识别；
根据所述字符标准数量对所识别出的字符进行过滤，以获取相应的车牌信息。
优选地，根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息，具体包括：
获取同一图片序列中多个车辆框图分别所对应的车牌信息；
将出现频率最高的车牌信息作为相应车辆的车牌信息。
优选地，所述车辆包括电动自行车。
优选地，获取每帧图像中各个车辆的车辆框图及车辆特征，具体包括：
获取每帧图像中各个车辆的车辆框图、车辆特征、车辆坐标、时间信息；
根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息，具体包括：
根据同一图片序列中多个车辆框图分别所对应的车辆坐标、时间信息确定相应车辆的行驶轨迹，并根据所述行驶轨迹对所述同一图片序列中的多个车辆框图进行过滤；
根据同一图片序列中过滤后的多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息。
本发明还构造一种车辆车牌的识别装置，包括处理器及存储有计算机程序的存储器，其特征在于，所述处理器在执行所存储的计算机程序时实现以上所述的车辆车牌的识别方法的步骤。
本发明所提供的技术方案通过多阶段(车辆检测、车牌检测)、多帧来对车辆车牌进行识别，而且，基于车辆特征对多帧图像中的各个车辆框图进行匹配，将不同帧中车辆特征相匹配的车辆框图作为同一图片序列，然后，根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息。当某车辆的车牌被其他物体短暂遮挡时，由于该车辆出现在视频流的多个图像帧中，该车辆的车牌虽然在某些/个图像帧中不能完整出现，但在其它的一些图像帧中是完整出现并可被识别的，因此，可将识别到的车牌信息作为该追踪车辆的车牌，从而提高车辆车牌识别的准确率。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：
图1是本发明车辆车牌的识别方法实施例一的流程图；
图2是本发明车辆车牌的识别方法的应用场景示意图；
图3A是发生角度倾斜的车牌框图的示意图；
图3B是图3A所示的车牌框图中关键点的示意图；
图3C是对图3A所示的车牌框图进行校正后示意图；
图4A是现有的两行车牌的示意图；
图4B是现有的三行车牌的示意图；
图5是本发明车辆车牌的识别方法实施例而的流程图；
图6是本发明采用多任务深度学框架对车牌进行检测的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明车辆车牌的识别方法实施例一的流程图，该实施例的识别方法具体包括：
步骤S10.获取车辆监控区域的视频流；
在该步骤中，可通过设置在现场的摄像头拍摄监控区域的视频流，如图2所示，摄像头设置在路侧L型杆上，当车辆(例如电动自行车)从该摄像头的监控区域经过时，所拍摄到带有该车辆的视频流。
步骤S20.对所述视频流中的多帧图像分别进行车辆检测，以获取每帧图像中各个车辆的车辆框图及车辆特征；
在该步骤中，可采用基于SSD的目标识别深度学习模型，其基础网络可以选用MobileNet、ResNet、ShuffleNet等，也可以选用基于常用网络层的组合，实现车辆的检测，获取车辆框图、车辆特征，当然，还可进一步获取车辆的位置、时间等信息。在一个具体实施例中，通过对各帧图像进行车辆检测识别出车辆特征，例如包括：车辆颜色、车脸特征、车身特征、内饰特征、标志物特征、驾驶员人脸特征等。然后，根据车辆特征在图像中定位出车辆，并通过图像截取可获取相应车辆的车辆框图，例如为矩形框，这样可避免非车辆(如行人、路牌)对车牌检测的干扰。
步骤S30.对所述车辆框图进行车牌识别，以获取相应的车牌信息；
步骤S40.基于所述车辆特征对多帧图像中的各个车辆框图进行匹配，并将不同帧中车辆特征相匹配的车辆框图作为同一图片序列；
在该步骤中，例如，第一帧图片检测出5辆车的车辆特征，且该5辆车的车辆框图分别为：1_1,1_2,1_3,1_4,1_5，第二帧图片检测出8辆车的车辆特征，且该8辆车的车辆框图分别为：2_1,2_2,...,2_8，第三帧图片检测出6辆车的车辆特征，且该6辆车的车辆框图分别为：3_1,3_2,...,3_6，经车辆特征匹配发现1_1,2_8,3_2匹配成功，然后就可将该3个车辆框图作为同一图片序列，并为其分配唯一的ID号。依次类推对其它车辆特征的车辆进行匹配。另外，可基于匹配算法(例如匈牙利算法)，对多帧图像中的各个车辆框图进行匹配，最终输出具有不同ID身份特征的图片序列，从而实现对视频流中车辆的跟踪。
步骤S50.根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息。
在该步骤中，当某车辆的车牌被其他物体短暂遮挡时，由于该车辆出现在视频流的多个图像帧中，该车辆的车牌虽然在某些/个图像帧中不能完整出现，但在其它的一些图像帧中是完整出现并可被识别的，因此，可将识别到的车牌信息作为该追踪序列的车牌，从而提高车辆车牌识别的准确率。在一个具体实施例中，先获取同一图片序列中多个车辆框图分别所对应的车牌信息，再将出现频率最高的车牌信息作为相应车辆的车牌信息。
该实施例的技术方案，对视频流中的车辆(包括但不限于机动车、电动自行车)的车牌进行检测和跟踪，通过多阶段、多帧识别车牌提高车辆的车牌识别的准确率。
在一个可选实施例中，步骤S30包括：
步骤S31.对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图；
在该步骤中，可采用目标识别模型实现车牌的位置检测，然后通过图像截取可获取相应车辆的车牌框图，例如为矩形框。
步骤S32.对所述车牌框图进行字符识别，以获取相应的车牌信息。
在实际应用中进行车牌识别时，有时会出现以下情况：对于较大角度倾斜的车牌，检测得到的不同字符的矩形框往往出现重叠，例如，图3A所示的车牌中汉字“川”和字母“A”的矩形框有部分重叠，这将导致字符识别错误。
针对该情况，在一个可选实施例中，步骤S31包括：对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌框图关键点。步骤S32包括：根据所述车牌框图关键点对所述车牌框图进行校正，以获取校正后的车牌框图；对校正后的车牌框图进行字符识别，以获取相应的车牌信息。
在该实施例中，通过对车牌框图的关键点进行检测，并利用车牌的关键点来做车牌框图的校正，这样可提高车牌字符识别的准确率。
在一个具体实施例中，车牌在校正前有倾斜，如图3B所示，在对车牌进行检测时，所选取的四个车牌框图关键点(图中的黑色圆点，按照从上到下，从左到右的顺序)top-left,top-right,bottom-left,bottom-right的坐标分别为[x_tl,y_tl],[x_tr,y_tr],[x_bl,y_bl],[x_br,y_br]，四个基准关键点的坐标分别[0,h],[w,h],[0,0],[w,0]，其中w,h为预设的标准车牌框图的宽度和高度。在对车牌框图进行校正时，先求出车牌框图关键点到基准关键点的映射，然后将此映射对检测到的车牌框图进行变换，得到校正后的车牌，如图3C所示。
在实际应用中发现，有些车牌是多行字符的车牌，例如，图4A所示的两行车牌，图4B所示的三行车牌，对于这些多行字符的车牌，经常发生字符识别错误的情况。针对该情况，在一个可选实施例中，步骤S31包括：对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌行数。步骤S32包括：根据所述车牌框图的高度及所述车牌行数计算各行的高度，并确定各行字符的纵坐标范围；对所述车牌框图进行字符识别，并将识别出的字符按照其纵坐标进行聚类；对聚类后的字符按照横坐标进行排序，以得到每行的字符，而且，将各行的字符按照从上到下排列，以得到完整的车牌信息。
在该实施例中，通过对车牌行数进行检测来后续对识别出的字符按其纵坐标进行聚类。
在一个具体实施例中，当获取到校正后的车牌框图后，采用目标识别模型进行单个车牌字符的检测和识别，进行车牌字符聚类，最终得到单帧车牌识别结果。下面说明车牌的聚类过程：
假设检测到的字符矩形框为[p1,p2,p3,p4],[a1,a2,a3,a4],[b1,b2,b3,b4]，计算每个字符矩形框的中心，然后按照各字符矩形框的纵向坐标y进行聚类：
首先，根据检测出来的车牌框图的高度plate_high和识别出的车牌行数total_lines计算每行的高度(plat_high/total_lines)，而且，
第一行聚类为y坐标在(0，plate_high/total_lines)的字符，
第二行聚类为y坐标在(plate_high/total_lines，2*plate_high/total_lines)的字符，
第n行聚类为y坐标在((n-1)plate_high/total_lines，n*plate_high/total_lines)的字符，
其中，n为车牌行数。
然后，对聚类后的字符按照横坐标(即x坐标)进行从左到右排序，即得到每行的车牌字符，将所有的行按照从上到下排列，得到最终的识别车牌字符。
进一步地，在一个可选实施例中，将识别出的字符按照其纵坐标进行聚类具体包括：对于识别出的字符，若其纵坐标不在相应行的纵坐标范围，则将其剔除掉；将剔除后剩下的字符按照其纵坐标进行聚类。在该实施例中，根据车牌行数进行字符过滤，对于不符合车牌行数的字符，将其舍弃，例如，若检测到的车牌行数为1行，而字符识别得到的字符为两行，则对第二行的字符数据进行抛弃。
进一步地，在一个可选实施例中，步骤S31包括：对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌颜色。步骤S32包括：根据所述车牌颜色确定字符标准数量；对所述车牌框图进行字符识别；根据所述字符标准数量对所识别出的字符进行过滤，以获取相应的车牌信息。
在该实施例中，通过检测车牌的颜色来用作后续对车牌字符的总个数进行判断，以对车牌字符进行过滤。具体地，对于单行车牌，如绿牌则其字符标准数量为8位，如蓝牌则其字符标准数量为7位，如果识别出来的字符数为8位，而车牌的颜色为蓝色，此时，应舍弃最后一位识别的字符；如果车牌的颜色为蓝色，而识别出的字符数为9位，此时，应对最后两个字符进行舍弃。
在一个可选实施例中，步骤S20中获取每帧图像中各个车辆的车辆框图及车辆特征，具体包括：获取每帧图像中各个车辆的车辆框图、车辆特征、车辆坐标、时间信息。而且，步骤S50具体包括：根据同一图片序列中多个车辆框图分别所对应的车辆坐标、时间信息确定相应车辆的行驶轨迹，并根据所述行驶轨迹对所述同一图片序列中的多个车辆框图进行过滤；根据同一图片序列中过滤后的多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息。在该实施例中，由于车辆在行驶时，其轨迹不可能发生大的变化，所以可通过绘制同一图片序列中多个车辆框图所对应的车辆的行驶轨迹来对该图片序列中的多个车辆框图进行过滤，这样可将该图片序列中车辆特征识别错误或匹配错误的车辆框图剔除掉，再根据该图片序列中剩下的多个车辆框图各自对应的车牌信息来确定相应车辆的车牌信息，因此可提高车牌识别的准确率。
图5是本发明车辆车牌的识别方法实施例二的流程图，在该实施例中，当收到摄像头传送的视频流后，对视频流中的多帧图片(第一帧、第二帧、…、第n帧)分别进行检测。而且，对每个单帧图片进行多阶段检测，具体包括车辆检测阶段、车牌检测阶段、车牌字符识别阶段。在车辆检测阶段，可采用基于SSD的目标识别深度学习模型，其基础网络可以选用MobileNet、ResNet、ShuffleNet等，也可以采用基于常用网络层的组合，实现车辆的检测和定位。在车牌检测阶段，可采用目标识别模型实现车牌的检测。车辆检测可以避免检测非车辆(如行人、路牌)，车牌检测可以避免检测和识别非电动自行车的车牌。然后，基于检测到的车辆框图提取车辆深度特征、车辆的位置坐标，基于匹配算法(如匈牙利算法)对多帧图片中的车辆框图进行匹配，实现对视频流中车辆的跟踪，即，车辆跟踪模块输出的结果为具有不同ID身份特征的图片序列。最后，对具有相同ID的图片的车牌信息进行统计分析，将出现频率最大的车牌信息作为具有该ID序列的车辆框图的最终车牌识别结果。
在一个具体实施例中，关于车牌检测，结合图6，可采用多任务深度学框架对车牌进行检测，具体地，采用多个网络共享权重的方法，同时实现对车牌框图的检测、车牌框图关键点的检测、车牌行数的识别、车牌颜色的检测。这样，在车牌检测阶段，输出的结果包括有：车牌框图、车牌框图关键点、车牌行数、车牌颜色。而且，车牌框图关键点用来做车牌框图的校正；车牌行数用作后续对识别出的字符进行按行聚类；车牌颜色用作后续对车牌字符的总个数进行判断及过滤。
综上，当使用上述识别方法来识别电动自行车的车牌时，在目前电动自行车的社会保有量已经超过了2.5亿辆的情形下，可以为电动自行车管控提供身份识别，为电动自行车违章执法的重要依据，有助于维护交通秩序，提升交通安全，具有良好的社会效益。同时，该方案可以与射频识别相结合，拓展和提高RFID的应用领域，预计可以为公司带来较好的经济效益。
本发明还构造一种车辆车牌的识别装置，该识别装置包括处理器及存储有计算机程序的存储器，而且，处理器在执行所存储的计算机程序时实现以上车辆车牌的识别方法的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何纂改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (8)
1.一种车辆车牌的识别方法，其特征在于，包括：
获取车辆监控区域的视频流；
对所述视频流中的多帧图像分别进行车辆检测，以获取每帧图像中各个车辆的车辆框图及车辆特征；
对所述车辆框图进行车牌识别，以获取相应的车牌信息；
基于所述车辆特征对多帧图像中的各个车辆框图进行匹配，并将不同帧中车辆特征相匹配的车辆框图作为同一图片序列；
根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息；
其中，所述获取每帧图像中各个车辆的车辆框图及车辆特征，具体包括：
获取每帧图像中各个车辆的车辆框图、车辆特征、车辆坐标、时间信息；
所述根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息，具体包括：
根据同一图片序列中多个车辆框图分别所对应的车辆坐标、时间信息确定相应车辆的行驶轨迹，并根据所述行驶轨迹对所述同一图片序列中的多个车辆框图进行过滤，以将所述同一图片序列中车辆特征识别错误或匹配错误的车辆框图剔除掉；
根据同一图片序列中过滤后的多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息，具体包括：获取同一图片序列中多个车辆框图分别所对应的车牌信息，将出现频率最高的车牌信息作为相应车辆的车牌信息。
2.根据权利要求1所述的车辆车牌的识别方法，其特征在于，对所述车辆框图进行车牌识别，以获取相应的车牌信息，具体包括：
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图；
对所述车牌框图进行字符识别，以获取相应的车牌信息。
3.根据权利要求2所述的车辆车牌的识别方法，其特征在于，对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图具体包括：
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌框图关键点；
而且，对所述车牌框图进行字符识别，以获取相应的车牌信息，具体包括：
根据所述车牌框图关键点对所述车牌框图进行校正，以获取校正后的车牌框图；
对校正后的车牌框图进行字符识别，以获取相应的车牌信息。
4.根据权利要求2所述的车辆车牌的识别方法，其特征在于，
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图，具体包括：
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌行数；
而且，对所述车牌框图进行字符识别，以获取相应的车牌信息，具体包括：
根据所述车牌框图的高度及所述车牌行数计算各行的高度，并确定各行字符的纵坐标范围；
对所述车牌框图进行字符识别，并将识别出的字符按照其纵坐标进行聚类；
对聚类后的字符按照横坐标进行排序，以得到每行的字符，而且，将各行的字符按照从上到下排列，以得到完整的车牌信息。
5.根据权利要求4所述的车辆车牌的识别方法，其特征在于，将识别出的字符按照其纵坐标进行聚类，具体包括：
对于识别出的字符，若其纵坐标不在相应行的纵坐标范围，则将其剔除掉；
将剔除后剩下的字符按照其纵坐标进行聚类。
6.根据权利要求2所述的车辆车牌的识别方法，其特征在于，对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图，具体包括：
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌颜色；
而且，对所述车牌框图进行字符识别，以获取相应的车牌信息，具体包括：
根据所述车牌颜色确定字符标准数量；
对所述车牌框图进行字符识别；
根据所述字符标准数量对所识别出的字符进行过滤，以获取相应的车牌信息。
7.根据权利要求1-6任一项所述的车辆车牌的识别方法，其特征在于，所述车辆包括电动自行车。
8.一种车辆车牌的识别装置，包括处理器及存储有计算机程序的存储器，其特征在于，所述处理器在执行所存储的计算机程序时实现权利要求1-7任一项所述的车辆车牌的识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010873388.1A CN112115939B (zh) | 2020-08-26 | 2020-08-26 | 车辆车牌的识别方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010873388.1A CN112115939B (zh) | 2020-08-26 | 2020-08-26 | 车辆车牌的识别方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112115939A CN112115939A (zh) | 2020-12-22 |
| CN112115939B true CN112115939B (zh) | 2024-06-04 |
Family
ID=73804422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010873388.1A Active CN112115939B (zh) | 2020-08-26 | 2020-08-26 | 车辆车牌的识别方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112115939B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113194281B (zh) * | 2021-01-27 | 2024-04-26 | 广东建邦计算机软件股份有限公司 | 视频解析方法、装置、计算机设备和存储介质 |
| CN113160575A (zh) * | 2021-03-15 | 2021-07-23 | 超级视线科技有限公司 | 一种非机动车辆及驾驶人的交通违法行为检测方法及系统 |
| CN116884214B (zh) * | 2023-07-10 | 2024-01-26 | 珠海大横琴城市公共资源经营管理有限公司 | 市政车辆的监测预警方法及系统 |
| CN116977949B (zh) * | 2023-08-24 | 2024-09-20 | 北京唯行科技有限公司 | 车辆停车巡检方法、装置和设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103646548A (zh) * | 2013-12-06 | 2014-03-19 | 镇江市星禾物联科技有限公司 | 一种基于图像识别技术对车牌的识别方法 |
| CN205068768U (zh) * | 2015-10-22 | 2016-03-02 | 武汉万集信息技术有限公司 | 一种区域车辆分类统计系统 |
| CN105809086A (zh) * | 2014-12-29 | 2016-07-27 | 金声 | 基于多帧图像及大数据分析的车牌识别优化方法和系统 |
| CN109255283A (zh) * | 2017-07-14 | 2019-01-22 | 杭州海康威视数字技术股份有限公司 | 一种基于多帧的车牌号码确定方法、装置及电子设备 |
| KR101971878B1 (ko) * | 2018-11-28 | 2019-04-26 | 극동대학교 산학협력단 | 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법 |
| CN109740424A (zh) * | 2018-11-23 | 2019-05-10 | 深圳市华尊科技股份有限公司 | 交通违规识别方法及相关产品 |
| CN110491135A (zh) * | 2019-08-20 | 2019-11-22 | 深圳市商汤科技有限公司 | 检测违章停车的方法及相关装置 |
| CN111523464A (zh) * | 2020-04-23 | 2020-08-11 | 上海眼控科技股份有限公司 | 车辆违法变道的检测方法和装置 |
| CN111723800A (zh) * | 2020-06-22 | 2020-09-29 | 瑞安市辉煌网络科技有限公司 | 一种基于卷积神经网络的车牌校准识别方法、系统及电子设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109670366A (zh) * | 2017-10-13 | 2019-04-23 | 神讯电脑(昆山)有限公司 | 车用摄像装置的车牌辩识方法及车用摄像装置 |
| CN110533950A (zh) * | 2018-05-25 | 2019-12-03 | 杭州海康威视数字技术股份有限公司 | 车位使用状况的检测方法、装置、电子设备及存储介质 |
| WO2020223519A1 (en) * | 2019-04-30 | 2020-11-05 | Axon Enterprise, Inc. | License plate reading system with enhancements |
-
2020
- 2020-08-26 CN CN202010873388.1A patent/CN112115939B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103646548A (zh) * | 2013-12-06 | 2014-03-19 | 镇江市星禾物联科技有限公司 | 一种基于图像识别技术对车牌的识别方法 |
| CN105809086A (zh) * | 2014-12-29 | 2016-07-27 | 金声 | 基于多帧图像及大数据分析的车牌识别优化方法和系统 |
| CN205068768U (zh) * | 2015-10-22 | 2016-03-02 | 武汉万集信息技术有限公司 | 一种区域车辆分类统计系统 |
| CN109255283A (zh) * | 2017-07-14 | 2019-01-22 | 杭州海康威视数字技术股份有限公司 | 一种基于多帧的车牌号码确定方法、装置及电子设备 |
| CN109740424A (zh) * | 2018-11-23 | 2019-05-10 | 深圳市华尊科技股份有限公司 | 交通违规识别方法及相关产品 |
| KR101971878B1 (ko) * | 2018-11-28 | 2019-04-26 | 극동대학교 산학협력단 | 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법 |
| CN110491135A (zh) * | 2019-08-20 | 2019-11-22 | 深圳市商汤科技有限公司 | 检测违章停车的方法及相关装置 |
| CN111523464A (zh) * | 2020-04-23 | 2020-08-11 | 上海眼控科技股份有限公司 | 车辆违法变道的检测方法和装置 |
| CN111723800A (zh) * | 2020-06-22 | 2020-09-29 | 瑞安市辉煌网络科技有限公司 | 一种基于卷积神经网络的车牌校准识别方法、系统及电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| StreetOCRCorrect: An Interactive Framework for OCR Corrections in Chaotic Indian Street Videos;Pankaj Singh，等;《2019 International Conference on Document Analysis and Recognition Workshops (ICDARW)》;第36-40页 * |
| 应用于监控视频中的多帧图像车牌识别系统;吕颢;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》(第3期);C034-1006 * |
| 高速公路隧道监控系统中数字图像处理的研究;王战涛;《中国优秀硕士学位论文全文数据库 信息科技辑》(第3期);I138-5465 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112115939A (zh) | 2020-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112115939B (zh) | 车辆车牌的识别方法、装置 | |
| CN107563419B (zh) | 图像匹配和二维码相结合的列车定位方法 | |
| US20220319204A1 (en) | License plate number recognition method and device, electronic device and storage medium | |
| CN110728283A (zh) | 一种车牌类型识别方法及设备 | |
| CN103824066B (zh) | 一种基于视频流的车牌识别方法 | |
| CN107305736B (zh) | 一种基于车牌规则和时空可达性的车牌识别智能查错方法和系统 | |
| CN103824037B (zh) | 车用防跟踪报警装置 | |
| CN101334836A (zh) | 一种融合色彩、尺寸和纹理特征的车牌定位方法 | |
| CN111402329A (zh) | 车辆压线检测方法、装置、计算机设备和存储介质 | |
| CN111931683B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN111860219B (zh) | 一种高速占道判断方法、装置及电子设备 | |
| CN111444916A (zh) | 面向无约束条件下的车牌定位及识别方法、系统 | |
| CN109493611A (zh) | 一种车牌识别方法及装置 | |
| CN111340045B (zh) | 车牌号码的识别方法、装置及存储介质 | |
| CN106128114A (zh) | 套牌车辆的识别方法及装置 | |
| CN112115800A (zh) | 一种基于深度学习目标检测的车辆组合识别系统及方法 | |
| CN117528035B (zh) | 一种基于主动通知的物体跨境头追踪方法及系统 | |
| CN116343095A (zh) | 一种基于视频拼接的车辆轨迹提取方法及相关设备 | |
| CN111476245A (zh) | 车辆左转违规检测方法、装置、计算机设备和存储介质 | |
| CN112528994B (zh) | 一种自由角度车牌检测方法、车牌识别方法和识别系统 | |
| CN102147860A (zh) | 一种基于白平衡的车牌识别方法和装置 | |
| CN111368692B (zh) | 信息融合方法及装置、停车位置定位方法及系统 | |
| CN112906643A (zh) | 车牌号码识别方法及装置 | |
| CN107622667B (zh) | 一种变造车牌号码检测方法及系统 | |
| CN113824880B (zh) | 一种基于目标检测和uwb定位的车辆跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |