CN112115939A - 车辆车牌的识别方法、装置 - Google Patents

车辆车牌的识别方法、装置 Download PDF

Info

Publication number
CN112115939A
CN112115939A CN202010873388.1A CN202010873388A CN112115939A CN 112115939 A CN112115939 A CN 112115939A CN 202010873388 A CN202010873388 A CN 202010873388A CN 112115939 A CN112115939 A CN 112115939A
Authority
CN
China
Prior art keywords
license plate
vehicle
frame
frame diagram
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010873388.1A
Other languages
English (en)
Other versions
CN112115939B (zh
Inventor
颜银慧
周正锦
张�成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Genvict Technology Co Ltd
Original Assignee
Shenzhen Genvict Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Genvict Technology Co Ltd filed Critical Shenzhen Genvict Technology Co Ltd
Priority to CN202010873388.1A priority Critical patent/CN112115939B/zh
Publication of CN112115939A publication Critical patent/CN112115939A/zh
Application granted granted Critical
Publication of CN112115939B publication Critical patent/CN112115939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及了一种车辆车牌的识别方法、装置，该识别方法包括：获取车辆监控区域的视频流；对所述视频流中的多帧图像分别进行车辆检测，以获取每帧图像中各个车辆的车辆框图及车辆特征；对所述车辆框图进行车牌识别，以获取相应的车牌信息；基于所述车辆特征对多帧图像中的各个车辆框图进行匹配，并将不同帧中车辆特征相匹配的车辆框图作为同一图片序列；根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息。实施本发明的技术方案，即使车辆的车牌被其他物体短暂遮挡，也能识别出该车辆的车牌信息，因此提高了车辆车牌识别的准确率。

Description

车辆车牌的识别方法、装置
技术领域
本发明涉及智能交通(Intelligent Transportation System，ITS)领域，尤其涉及一种车辆车牌的识别方法、装置。
背景技术
随着我国城市化进程的加快和居民生活水平的提高，绿色环保出行理念的深入人心，电动自行车成为广大市民短程出行的重要工具，电动自行车的数量也出现高度增长。目前电动自行车在道路行驶不需像机动车那样要经严格的驾考等手续，极易引发交通安全问题，已成为社会各界非常关注的热点问题。目前全国各地纷纷推进电动自行车的上牌工作，加强电动自行车的管控工作。电动自行车的车牌识别是交通管理部门查处电动自行车闯红灯、逆行、占用机动车道等违章行为的重要信息源之一，对加强电动车管理、维护交通秩序和交通安全具有重大意义。
另一方面，现有的机动车车牌识别在实际应用中由于车牌倾斜、车牌样式等原因综合识别准确率在95％左右，例如，偶尔出现的车牌遮挡将导致车牌识别错误，因此，车牌识别的准确率仍需进一步提高，方可进一步拓展车牌识别的应用，为智慧交通提供可靠的技术支撑。
发明内容
本发明要解决的技术问题在于，针对现有技术存在的车牌识别率不准的缺陷，提供一种。
本发明解决其技术问题所采用的技术方案是：构造一种车辆车牌的识别方法，包括：
获取车辆监控区域的视频流；
对所述视频流中的多帧图像分别进行车辆检测，以获取每帧图像中各个车辆的车辆框图及车辆特征；
对所述车辆框图进行车牌识别，以获取相应的车牌信息；
基于所述车辆特征对多帧图像中的各个车辆框图进行匹配，并将不同帧中车辆特征相匹配的车辆框图作为同一图片序列；
根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息。
优选地，对所述车辆框图进行车牌识别，以获取相应的车牌信息，具体包括：
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图；
对所述车牌框图进行字符识别，以获取相应的车牌信息。
优选地，对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图，具体包括：
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌框图关键点；
而且，对所述车牌框图进行字符识别，以获取相应的车牌信息，具体包括：
根据所述车牌框图关键点对所述车牌框图进行校正，以获取校正后的车牌框图；
对校正后的车牌框图进行字符识别，以获取相应的车牌信息。
优选地，对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图，具体包括：
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌行数；
而且，对所述车牌框图进行字符识别，以获取相应的车牌信息，具体包括：
根据所述车牌框图的高度及所述车牌行数计算各行的高度，并确定各行字符的纵坐标范围；
对所述车牌框图进行字符识别，并将识别出的字符按照其纵坐标进行聚类；
对聚类后的字符按照横坐标进行排序，以得到每行的字符，而且，将各行的字符按照从上到下排列，以得到完整的车牌信息。
优选地，将识别出的字符按照其纵坐标进行聚类，具体包括：
对于识别出的字符，若其纵坐标不在相应行的纵坐标范围，则将其剔除掉；
将剔除后剩下的字符按照其纵坐标进行聚类。
优选地，对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图，具体包括：
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌颜色；
而且，对所述车牌框图进行字符识别，以获取相应的车牌信息，具体包括：
根据所述车牌颜色确定字符标准数量；
对所述车牌框图进行字符识别；
根据所述字符标准数量对所识别出的字符进行过滤，以获取相应的车牌信息。
优选地，根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息，具体包括：
获取同一图片序列中多个车辆框图分别所对应的车牌信息；
将出现频率最高的车牌信息作为相应车辆的车牌信息。
优选地，所述车辆包括电动自行车。
优选地，获取每帧图像中各个车辆的车辆框图及车辆特征，具体包括：
获取每帧图像中各个车辆的车辆框图、车辆特征、车辆坐标、时间信息；
根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息，具体包括：
根据同一图片序列中多个车辆框图分别所对应的车辆坐标、时间信息确定相应车辆的行驶轨迹，并根据所述行驶轨迹对所述同一图片序列中的多个车辆框图进行过滤；
根据同一图片序列中过滤后的多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息。
本发明还构造一种车辆车牌的识别装置，包括处理器及存储有计算机程序的存储器，其特征在于，所述处理器在执行所存储的计算机程序时实现以上所述的车辆车牌的识别方法的步骤。
本发明所提供的技术方案通过多阶段(车辆检测、车牌检测)、多帧来对车辆车牌进行识别，而且，基于车辆特征对多帧图像中的各个车辆框图进行匹配，将不同帧中车辆特征相匹配的车辆框图作为同一图片序列，然后，根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息。当某车辆的车牌被其他物体短暂遮挡时，由于该车辆出现在视频流的多个图像帧中，该车辆的车牌虽然在某些/个图像帧中不能完整出现，但在其它的一些图像帧中是完整出现并可被识别的，因此，可将识别到的车牌信息作为该追踪车辆的车牌，从而提高车辆车牌识别的准确率。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：
图1是本发明车辆车牌的识别方法实施例一的流程图；
图2是本发明车辆车牌的识别方法的应用场景示意图；
图3A是发生角度倾斜的车牌框图的示意图；
图3B是图3A所示的车牌框图中关键点的示意图；
图3C是对图3A所示的车牌框图进行校正后示意图；
图4A是现有的两行车牌的示意图；
图4B是现有的三行车牌的示意图；
图5是本发明车辆车牌的识别方法实施例而的流程图；
图6是本发明采用多任务深度学框架对车牌进行检测的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明车辆车牌的识别方法实施例一的流程图，该实施例的识别方法具体包括：
步骤S10.获取车辆监控区域的视频流；
在该步骤中，可通过设置在现场的摄像头拍摄监控区域的视频流，如图2所示，摄像头设置在路侧L型杆上，当车辆(例如电动自行车)从该摄像头的监控区域经过时，所拍摄到带有该车辆的视频流。
步骤S20.对所述视频流中的多帧图像分别进行车辆检测，以获取每帧图像中各个车辆的车辆框图及车辆特征；
在该步骤中，可采用基于SSD的目标识别深度学习模型，其基础网络可以选用MobileNet、ResNet、ShuffleNet等，也可以选用基于常用网络层的组合，实现车辆的检测，获取车辆框图、车辆特征，当然，还可进一步获取车辆的位置、时间等信息。在一个具体实施例中，通过对各帧图像进行车辆检测识别出车辆特征，例如包括：车辆颜色、车脸特征、车身特征、内饰特征、标志物特征、驾驶员人脸特征等。然后，根据车辆特征在图像中定位出车辆，并通过图像截取可获取相应车辆的车辆框图，例如为矩形框，这样可避免非车辆(如行人、路牌)对车牌检测的干扰。
步骤S30.对所述车辆框图进行车牌识别，以获取相应的车牌信息；
步骤S40.基于所述车辆特征对多帧图像中的各个车辆框图进行匹配，并将不同帧中车辆特征相匹配的车辆框图作为同一图片序列；
在该步骤中，例如，第一帧图片检测出5辆车的车辆特征，且该5辆车的车辆框图分别为：1_1,1_2,1_3,1_4,1_5，第二帧图片检测出8辆车的车辆特征，且该8辆车的车辆框图分别为：2_1,2_2,...,2_8，第三帧图片检测出6辆车的车辆特征，且该6辆车的车辆框图分别为：3_1,3_2,...,3_6，经车辆特征匹配发现1_1,2_8,3_2匹配成功，然后就可将该3个车辆框图作为同一图片序列，并为其分配唯一的ID号。依次类推对其它车辆特征的车辆进行匹配。另外，可基于匹配算法(例如匈牙利算法)，对多帧图像中的各个车辆框图进行匹配，最终输出具有不同ID身份特征的图片序列，从而实现对视频流中车辆的跟踪。
步骤S50.根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息。
在该步骤中，当某车辆的车牌被其他物体短暂遮挡时，由于该车辆出现在视频流的多个图像帧中，该车辆的车牌虽然在某些/个图像帧中不能完整出现，但在其它的一些图像帧中是完整出现并可被识别的，因此，可将识别到的车牌信息作为该追踪序列的车牌，从而提高车辆车牌识别的准确率。在一个具体实施例中，先获取同一图片序列中多个车辆框图分别所对应的车牌信息，再将出现频率最高的车牌信息作为相应车辆的车牌信息。
该实施例的技术方案，对视频流中的车辆(包括但不限于机动车、电动自行车)的车牌进行检测和跟踪，通过多阶段、多帧识别车牌提高车辆的车牌识别的准确率。
在一个可选实施例中，步骤S30包括：
步骤S31.对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图；
在该步骤中，可采用目标识别模型实现车牌的位置检测，然后通过图像截取可获取相应车辆的车牌框图，例如为矩形框。
步骤S32.对所述车牌框图进行字符识别，以获取相应的车牌信息。
在实际应用中进行车牌识别时，有时会出现以下情况：对于较大角度倾斜的车牌，检测得到的不同字符的矩形框往往出现重叠，例如，图3A所示的车牌中汉字“川”和字母“A”的矩形框有部分重叠，这将导致字符识别错误。
针对该情况，在一个可选实施例中，步骤S31包括：对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌框图关键点。步骤S32包括：根据所述车牌框图关键点对所述车牌框图进行校正，以获取校正后的车牌框图；对校正后的车牌框图进行字符识别，以获取相应的车牌信息。
在该实施例中，通过对车牌框图的关键点进行检测，并利用车牌的关键点来做车牌框图的校正，这样可提高车牌字符识别的准确率。
在一个具体实施例中，车牌在校正前有倾斜，如图3B所示，在对车牌进行检测时，所选取的四个车牌框图关键点(图中的黑色圆点，按照从上到下，从左到右的顺序)top-left,top-right,bottom-left,bottom-right的坐标分别为[x_tl,y_tl],[x_tr,y_tr],[x_bl,y_bl],[x_br,y_br]，四个基准关键点的坐标分别[0,h],[w,h],[0,0],[w,0]，其中w,h为预设的标准车牌框图的宽度和高度。在对车牌框图进行校正时，先求出车牌框图关键点到基准关键点的映射，然后将此映射对检测到的车牌框图进行变换，得到校正后的车牌，如图3C所示。
在实际应用中发现，有些车牌是多行字符的车牌，例如，图4A所示的两行车牌，图4B所示的三行车牌，对于这些多行字符的车牌，经常发生字符识别错误的情况。针对该情况，在一个可选实施例中，步骤S31包括：对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌行数。步骤S32包括：根据所述车牌框图的高度及所述车牌行数计算各行的高度，并确定各行字符的纵坐标范围；对所述车牌框图进行字符识别，并将识别出的字符按照其纵坐标进行聚类；对聚类后的字符按照横坐标进行排序，以得到每行的字符，而且，将各行的字符按照从上到下排列，以得到完整的车牌信息。
在该实施例中，通过对车牌行数进行检测来后续对识别出的字符按其纵坐标进行聚类。
在一个具体实施例中，当获取到校正后的车牌框图后，采用目标识别模型进行单个车牌字符的检测和识别，进行车牌字符聚类，最终得到单帧车牌识别结果。下面说明车牌的聚类过程：
假设检测到的字符矩形框为[p1,p2,p3,p4],[a1,a2,a3,a4],[b1,b2,b3,b4]，计算每个字符矩形框的中心，然后按照各字符矩形框的纵向坐标y进行聚类：
首先，根据检测出来的车牌框图的高度plate_high和识别出的车牌行数total_lines计算每行的高度(plat_high/total_lines)，而且，
第一行聚类为y坐标在(0，plate_high/total_lines)的字符，
第二行聚类为y坐标在(plate_high/total_lines，2*plate_high/total_lines)的字符，
第n行聚类为y坐标在((n-1)plate_high/total_lines，n*plate_high/total_lines)的字符，
其中，n为车牌行数。
然后，对聚类后的字符按照横坐标(即x坐标)进行从左到右排序，即得到每行的车牌字符，将所有的行按照从上到下排列，得到最终的识别车牌字符。
进一步地，在一个可选实施例中，将识别出的字符按照其纵坐标进行聚类具体包括：对于识别出的字符，若其纵坐标不在相应行的纵坐标范围，则将其剔除掉；将剔除后剩下的字符按照其纵坐标进行聚类。在该实施例中，根据车牌行数进行字符过滤，对于不符合车牌行数的字符，将其舍弃，例如，若检测到的车牌行数为1行，而字符识别得到的字符为两行，则对第二行的字符数据进行抛弃。
进一步地，在一个可选实施例中，步骤S31包括：对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌颜色。步骤S32包括：根据所述车牌颜色确定字符标准数量；对所述车牌框图进行字符识别；根据所述字符标准数量对所识别出的字符进行过滤，以获取相应的车牌信息。
在该实施例中，通过检测车牌的颜色来用作后续对车牌字符的总个数进行判断，以对车牌字符进行过滤。具体地，对于单行车牌，如绿牌则其字符标准数量为8位，如蓝牌则其字符标准数量为7位，如果识别出来的字符数为8位，而车牌的颜色为蓝色，此时，应舍弃最后一位识别的字符；如果车牌的颜色为蓝色，而识别出的字符数为9位，此时，应对最后两个字符进行舍弃。
在一个可选实施例中，步骤S20中获取每帧图像中各个车辆的车辆框图及车辆特征，具体包括：获取每帧图像中各个车辆的车辆框图、车辆特征、车辆坐标、时间信息。而且，步骤S50具体包括：根据同一图片序列中多个车辆框图分别所对应的车辆坐标、时间信息确定相应车辆的行驶轨迹，并根据所述行驶轨迹对所述同一图片序列中的多个车辆框图进行过滤；根据同一图片序列中过滤后的多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息。在该实施例中，由于车辆在行驶时，其轨迹不可能发生大的变化，所以可通过绘制同一图片序列中多个车辆框图所对应的车辆的行驶轨迹来对该图片序列中的多个车辆框图进行过滤，这样可将该图片序列中车辆特征识别错误或匹配错误的车辆框图剔除掉，再根据该图片序列中剩下的多个车辆框图各自对应的车牌信息来确定相应车辆的车牌信息，因此可提高车牌识别的准确率。
图5是本发明车辆车牌的识别方法实施例二的流程图，在该实施例中，当收到摄像头传送的视频流后，对视频流中的多帧图片(第一帧、第二帧、…、第n帧)分别进行检测。而且，对每个单帧图片进行多阶段检测，具体包括车辆检测阶段、车牌检测阶段、车牌字符识别阶段。在车辆检测阶段，可采用基于SSD的目标识别深度学习模型，其基础网络可以选用MobileNet、ResNet、ShuffleNet等，也可以采用基于常用网络层的组合，实现车辆的检测和定位。在车牌检测阶段，可采用目标识别模型实现车牌的检测。车辆检测可以避免检测非车辆(如行人、路牌)，车牌检测可以避免检测和识别非电动自行车的车牌。然后，基于检测到的车辆框图提取车辆深度特征、车辆的位置坐标，基于匹配算法(如匈牙利算法)对多帧图片中的车辆框图进行匹配，实现对视频流中车辆的跟踪，即，车辆跟踪模块输出的结果为具有不同ID身份特征的图片序列。最后，对具有相同ID的图片的车牌信息进行统计分析，将出现频率最大的车牌信息作为具有该ID序列的车辆框图的最终车牌识别结果。
在一个具体实施例中，关于车牌检测，结合图6，可采用多任务深度学框架对车牌进行检测，具体地，采用多个网络共享权重的方法，同时实现对车牌框图的检测、车牌框图关键点的检测、车牌行数的识别、车牌颜色的检测。这样，在车牌检测阶段，输出的结果包括有：车牌框图、车牌框图关键点、车牌行数、车牌颜色。而且，车牌框图关键点用来做车牌框图的校正；车牌行数用作后续对识别出的字符进行按行聚类；车牌颜色用作后续对车牌字符的总个数进行判断及过滤。
综上，当使用上述识别方法来识别电动自行车的车牌时，在目前电动自行车的社会保有量已经超过了2.5亿辆的情形下，可以为电动自行车管控提供身份识别，为电动自行车违章执法的重要依据，有助于维护交通秩序，提升交通安全，具有良好的社会效益。同时，该方案可以与射频识别相结合，拓展和提高RFID的应用领域，预计可以为公司带来较好的经济效益。
本发明还构造一种车辆车牌的识别装置，该识别装置包括处理器及存储有计算机程序的存储器，而且，处理器在执行所存储的计算机程序时实现以上车辆车牌的识别方法的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何纂改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种车辆车牌的识别方法，其特征在于，包括：
获取车辆监控区域的视频流；
对所述视频流中的多帧图像分别进行车辆检测，以获取每帧图像中各个车辆的车辆框图及车辆特征；
对所述车辆框图进行车牌识别，以获取相应的车牌信息；
基于所述车辆特征对多帧图像中的各个车辆框图进行匹配，并将不同帧中车辆特征相匹配的车辆框图作为同一图片序列；
根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息。
2.根据权利要求1所述的车辆车牌的识别方法，其特征在于，对所述车辆框图进行车牌识别，以获取相应的车牌信息，具体包括：
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图；
对所述车牌框图进行字符识别，以获取相应的车牌信息。
3.根据权利要求2所述的车辆车牌的识别方法，其特征在于，对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图具体包括：
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌框图关键点；
而且，对所述车牌框图进行字符识别，以获取相应的车牌信息，具体包括：
根据所述车牌框图关键点对所述车牌框图进行校正，以获取校正后的车牌框图；
对校正后的车牌框图进行字符识别，以获取相应的车牌信息。
4.根据权利要求2所述的车辆车牌的识别方法，其特征在于，
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图，具体包括：
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌行数；
而且，对所述车牌框图进行字符识别，以获取相应的车牌信息，具体包括：
根据所述车牌框图的高度及所述车牌行数计算各行的高度，并确定各行字符的纵坐标范围；
对所述车牌框图进行字符识别，并将识别出的字符按照其纵坐标进行聚类；
对聚类后的字符按照横坐标进行排序，以得到每行的字符，而且，将各行的字符按照从上到下排列，以得到完整的车牌信息。
5.根据权利要求4所述的车辆车牌的识别方法，其特征在于，将识别出的字符按照其纵坐标进行聚类，具体包括：
对于识别出的字符，若其纵坐标不在相应行的纵坐标范围，则将其剔除掉；
将剔除后剩下的字符按照其纵坐标进行聚类。
6.根据权利要求2所述的车辆车牌的识别方法，其特征在于，对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图，具体包括：
对所述车辆框图进行车牌检测，以获取相应车辆的车牌框图、车牌颜色；
而且，对所述车牌框图进行字符识别，以获取相应的车牌信息，具体包括：
根据所述车牌颜色确定字符标准数量；
对所述车牌框图进行字符识别；
根据所述字符标准数量对所识别出的字符进行过滤，以获取相应的车牌信息。
7.根据权利要求1-6任一项所述的车辆车牌的识别方法，其特征在于，
根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息，具体包括：
获取同一图片序列中多个车辆框图分别所对应的车牌信息；
将出现频率最高的车牌信息作为相应车辆的车牌信息。
8.根据权利要求1-6任一项所述的车辆车牌的识别方法，其特征在于，所述车辆包括电动自行车。
9.根据权利要求1-6任一项所述的车辆车牌的识别方法，其特征在于，获取每帧图像中各个车辆的车辆框图及车辆特征，具体包括：
获取每帧图像中各个车辆的车辆框图、车辆特征、车辆坐标、时间信息；
根据同一图片序列中多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息，具体包括：
根据同一图片序列中多个车辆框图分别所对应的车辆坐标、时间信息确定相应车辆的行驶轨迹，并根据所述行驶轨迹对所述同一图片序列中的多个车辆框图进行过滤；
根据同一图片序列中过滤后的多个车辆框图分别所对应的车牌信息，确定相应车辆的车牌信息。
10.一种车辆车牌的识别装置，包括处理器及存储有计算机程序的存储器，其特征在于，所述处理器在执行所存储的计算机程序时实现权利要求1-9任一项所述的车辆车牌的识别方法的步骤。
CN202010873388.1A 2020-08-26 2020-08-26 车辆车牌的识别方法、装置 Active CN112115939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010873388.1A CN112115939B (zh) 2020-08-26 2020-08-26 车辆车牌的识别方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010873388.1A CN112115939B (zh) 2020-08-26 2020-08-26 车辆车牌的识别方法、装置

Publications (2)

Publication Number Publication Date
CN112115939A true CN112115939A (zh) 2020-12-22
CN112115939B CN112115939B (zh) 2024-06-04

Family

ID=73804422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010873388.1A Active CN112115939B (zh) 2020-08-26 2020-08-26 车辆车牌的识别方法、装置

Country Status (1)

Country Link
CN (1) CN112115939B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160575A (zh) * 2021-03-15 2021-07-23 超级视线科技有限公司 一种非机动车辆及驾驶人的交通违法行为检测方法及系统
CN113194281A (zh) * 2021-01-27 2021-07-30 广东建邦计算机软件股份有限公司 视频解析方法、装置、计算机设备和存储介质
CN116884214A (zh) * 2023-07-10 2023-10-13 珠海大横琴城市公共资源经营管理有限公司 市政车辆的监测预警方法及系统
CN116977949A (zh) * 2023-08-24 2023-10-31 北京唯行科技有限公司 车辆停车巡检方法、装置和设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646548A (zh) * 2013-12-06 2014-03-19 镇江市星禾物联科技有限公司 一种基于图像识别技术对车牌的识别方法
CN205068768U (zh) * 2015-10-22 2016-03-02 武汉万集信息技术有限公司 一种区域车辆分类统计系统
CN105809086A (zh) * 2014-12-29 2016-07-27 金声 基于多帧图像及大数据分析的车牌识别优化方法和系统
CN109255283A (zh) * 2017-07-14 2019-01-22 杭州海康威视数字技术股份有限公司 一种基于多帧的车牌号码确定方法、装置及电子设备
US20190114516A1 (en) * 2017-10-13 2019-04-18 Getac Technology Corporation Method for recognizing license plate in vehicle camera device and vehicle camera device
KR101971878B1 (ko) * 2018-11-28 2019-04-26 극동대학교 산학협력단 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법
CN109740424A (zh) * 2018-11-23 2019-05-10 深圳市华尊科技股份有限公司 交通违规识别方法及相关产品
CN110491135A (zh) * 2019-08-20 2019-11-22 深圳市商汤科技有限公司 检测违章停车的方法及相关装置
CN111523464A (zh) * 2020-04-23 2020-08-11 上海眼控科技股份有限公司 车辆违法变道的检测方法和装置
CN111723800A (zh) * 2020-06-22 2020-09-29 瑞安市辉煌网络科技有限公司 一种基于卷积神经网络的车牌校准识别方法、系统及电子设备
US20210192227A1 (en) * 2018-05-25 2021-06-24 Hangzhou Hikvision Digital Technology Co., Ltd. Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
US20220148320A1 (en) * 2019-04-30 2022-05-12 Axon Enterprise, Inc. License plate reading system with enhancements

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646548A (zh) * 2013-12-06 2014-03-19 镇江市星禾物联科技有限公司 一种基于图像识别技术对车牌的识别方法
CN105809086A (zh) * 2014-12-29 2016-07-27 金声 基于多帧图像及大数据分析的车牌识别优化方法和系统
CN205068768U (zh) * 2015-10-22 2016-03-02 武汉万集信息技术有限公司 一种区域车辆分类统计系统
CN109255283A (zh) * 2017-07-14 2019-01-22 杭州海康威视数字技术股份有限公司 一种基于多帧的车牌号码确定方法、装置及电子设备
US20190114516A1 (en) * 2017-10-13 2019-04-18 Getac Technology Corporation Method for recognizing license plate in vehicle camera device and vehicle camera device
US20210192227A1 (en) * 2018-05-25 2021-06-24 Hangzhou Hikvision Digital Technology Co., Ltd. Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN109740424A (zh) * 2018-11-23 2019-05-10 深圳市华尊科技股份有限公司 交通违规识别方法及相关产品
KR101971878B1 (ko) * 2018-11-28 2019-04-26 극동대학교 산학협력단 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법
US20220148320A1 (en) * 2019-04-30 2022-05-12 Axon Enterprise, Inc. License plate reading system with enhancements
CN110491135A (zh) * 2019-08-20 2019-11-22 深圳市商汤科技有限公司 检测违章停车的方法及相关装置
CN111523464A (zh) * 2020-04-23 2020-08-11 上海眼控科技股份有限公司 车辆违法变道的检测方法和装置
CN111723800A (zh) * 2020-06-22 2020-09-29 瑞安市辉煌网络科技有限公司 一种基于卷积神经网络的车牌校准识别方法、系统及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PANKAJ SINGH，等: "StreetOCRCorrect: An Interactive Framework for OCR Corrections in Chaotic Indian Street Videos", 《2019 INTERNATIONAL CONFERENCE ON DOCUMENT ANALYSIS AND RECOGNITION WORKSHOPS (ICDARW)》, pages 36 - 40 *
吕颢: "应用于监控视频中的多帧图像车牌识别系统", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 3, pages 034 - 1006 *
王战涛: "高速公路隧道监控系统中数字图像处理的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 3, pages 138 - 5465 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113194281A (zh) * 2021-01-27 2021-07-30 广东建邦计算机软件股份有限公司 视频解析方法、装置、计算机设备和存储介质
CN113194281B (zh) * 2021-01-27 2024-04-26 广东建邦计算机软件股份有限公司 视频解析方法、装置、计算机设备和存储介质
CN113160575A (zh) * 2021-03-15 2021-07-23 超级视线科技有限公司 一种非机动车辆及驾驶人的交通违法行为检测方法及系统
CN116884214A (zh) * 2023-07-10 2023-10-13 珠海大横琴城市公共资源经营管理有限公司 市政车辆的监测预警方法及系统
CN116884214B (zh) * 2023-07-10 2024-01-26 珠海大横琴城市公共资源经营管理有限公司 市政车辆的监测预警方法及系统
CN116977949A (zh) * 2023-08-24 2023-10-31 北京唯行科技有限公司 车辆停车巡检方法、装置和设备

Also Published As

Publication number Publication date
CN112115939B (zh) 2024-06-04

Similar Documents

Publication Publication Date Title
CN112115939A (zh) 车辆车牌的识别方法、装置
CN102509457B (zh) 一种车辆跟踪的方法及装置
CN111815959B (zh) 一种车辆违章的检测方法、装置以及计算机可读存储介质
CN106991820B (zh) 违规车辆处理方法及装置
CN108694399B (zh) 车牌识别方法、装置及系统
CN112509325B (zh) 一种基于视频深度学习的非现场违法自动甄别方法
KR101246120B1 (ko) 전후면 번호판 영상 기반 차량번호 인식 시스템
CN110135377B (zh) 车路协同中物体运动状态检测方法、装置和服务器
CN111369801B (zh) 车辆识别方法、装置、设备和存储介质
CN111860219B (zh) 一种高速占道判断方法、装置及电子设备
CN112115800A (zh) 一种基于深度学习目标检测的车辆组合识别系统及方法
CN117528035B (zh) 一种基于主动通知的物体跨境头追踪方法及系统
CN111724607A (zh) 转向灯使用检测方法、装置、计算机设备和存储介质
CN115019263A (zh) 交通监管模型的建立方法、交通监管系统及方法
CN102147860A (zh) 一种基于白平衡的车牌识别方法和装置
CN113076852A (zh) 一种基于5g通信的占用公交车道车载抓拍处理系统
CN113095345A (zh) 数据匹配方法、装置和数据处理设备
CN111179452A (zh) 一种基于etc通道客车扣费的系统和方法
CN110991255A (zh) 一种基于深度学习算法的检测套牌车的方法
CN107622667B (zh) 一种变造车牌号码检测方法及系统
CN115880632A (zh) 超时停留检测方法、监控设备、计算机可读存储介质和芯片
CN114693722A (zh) 一种车辆行驶行为检测方法、检测装置及检测设备
CN114494938A (zh) 一种非机动车行为识别方法及相关装置
CN111639640A (zh) 基于人工智能的车牌识别方法、装置及设备
CN111161542B (zh) 车辆识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant