CN110276342B - 车牌辨识方法以及其系统 - Google Patents

车牌辨识方法以及其系统 Download PDF

Info

Publication number
CN110276342B
CN110276342B CN201810208466.9A CN201810208466A CN110276342B CN 110276342 B CN110276342 B CN 110276342B CN 201810208466 A CN201810208466 A CN 201810208466A CN 110276342 B CN110276342 B CN 110276342B
Authority
CN
China
Prior art keywords
license plate
image
character
sub
plate recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810208466.9A
Other languages
English (en)
Other versions
CN110276342A (zh
Inventor
陈昱达
梁峰铭
郑景鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delta Electronics Inc
Original Assignee
Delta Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delta Electronics Inc filed Critical Delta Electronics Inc
Priority to CN201810208466.9A priority Critical patent/CN110276342B/zh
Priority to US16/980,747 priority patent/US11443535B2/en
Priority to PCT/CN2019/072542 priority patent/WO2019174405A1/zh
Priority to EP19768532.4A priority patent/EP3767530A4/en
Priority to JP2020548723A priority patent/JP7044898B2/ja
Publication of CN110276342A publication Critical patent/CN110276342A/zh
Priority to US17/881,218 priority patent/US20220375236A1/en
Application granted granted Critical
Publication of CN110276342B publication Critical patent/CN110276342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Character Discrimination (AREA)
  • Traffic Control Systems (AREA)
  • Character Input (AREA)
  • Image Analysis (AREA)

Abstract

一种车牌辨识方法，包括以下步骤：取得包含所有车牌字元的一待处理影像；通过一特征地图提取模块强化提取对应于上述待处理影像的字元特征的多个特征地图；通过基于神经网络的一字元辨识模型根据上述特征地图撷取对应于每个字元的区块以及坐标；以及根据每个字元的上述区块以及上述坐标取得一车牌辨识结果。

Description

车牌辨识方法以及其系统
技术领域
本发明涉及一种车牌辨识方法以及车牌辨识系统，特别涉及一种利用神经网络辨识车牌的每个字元的车牌辨识方法以及车牌辨识系统。
背景技术
在影像处理的应用中，车牌辨识技术已被广为人知。而于现有的车牌辨识技术中，取得车牌信息的常用技术手段为车牌定位、车牌字元切割以及车牌字元辨识。然而，于实际应用上，因为拍摄角度不同或是光源、日夜、晴雨等环境的干扰，将使得车牌影像将可能出现车牌特征不明显、车牌歪斜、车牌变形、光噪及车牌断裂的情况，进而造成辨识准确率下降。此外，现有的车牌定位技术通常是基于边缘密度值寻找车牌影像位置，若车牌有污损、装饰等情况将可能破坏边缘密度值的特征，导致车牌定位的正确率大幅度下降。再者，若取得的车牌过于歪斜或者变形亦会导致字元切割难以执行，必须通过额外的演算法对车牌进行校正。以上各种因素显示现有的车牌辨识技术对于环境的容忍度低，必须要通过各种额外的影像处理技术以提高辨识率，然此举亦会降低车牌辨识的速度。因此，要如何提供更佳的车牌辨识方法以提高车牌辨识对环境的容忍度并维持高准确率以及快的辨识速度，为目前必须解决的问题。
发明内容
本发明一实施例提供一种车牌辨识方法，包括以下步骤：取得包含所有车牌字元的一待处理影像；通过一特征地图提取模块提取具有上述待处理影像的字元特征的多个特征地图；通过基于神经网络的一字元辨识模型根据上述特征地图撷取对应于每个字元的区块以及坐标；以及根据每个字元的上述区块以及上述坐标取得一车牌辨识结果。
本发明另一实施例更提供一种车牌辨识系统，包括一影像撷取单元以及一处理单元。影像撷取单元用以撷取至少一原始影像。处理单元用以：自影像撷取单元接收原始影像；根据原始影像取得包含所有车牌字元的一待处理影像；通过一特征地图提取模型提取具有待处理影像的字元特征的多个特征地图；通过基于神经网络的一字元辨识模型根据特征地图撷取对应于每个字元的区块以及坐标；以及根据每个字元的区块以及坐标取得一车牌辨识结果。
本发明另一实施例更提供一种车牌辨识方法，包括以下步骤：取得一待处理影像；通过一特征地图提取模块取得具有多个目标特征的多个特征地图；通过一目标位置提取模块取得每个特征地图中具有目标特征的至少一区域，并给予每个特征地图的每个框对应于每个目标特征的分数；通过一目标候选分类模块根据分数对每个上述特征地图的每个框进行分类，并保留对应于文字特征的至少一区域；以及通过一投票/统计模块根据对应于文字特征的上述区域取得一车牌辨识结果。
附图说明
图1是显示根据本发明一实施例所述的车牌辨识系统的系统架构图。
图2是显示根据本发明一实施例所述的车牌辨识方法的流程图。
图3A是显示根据本发明一实施例所述的当前影像的示意图。
图3B是显示根据本发明一实施例所述的当前影像与历史背景影像的影像变化的示意图。
图4A～4D是显示根据本发明一些实施例所述的用以产生特征地图的经训练的矩阵的示意图。
图5A、5B是显示根据本发明一实施例所述的被判断为具有字元的区块的示意图。
图6是显示根据本发明一实施例所述的投票/统计模块的示意图。
图7A是显示根据本发明一实施例所述的当前影像的示意图。
图7B是显示根据本发明一实施例所述的车头影像的示意图。
图8是显示根据本发明一实施例所述的车牌文字区域的示意图。
图9是显示根据本发明另一实施例所述的车牌辨识方法的流程图。
附图标记说明：
100～车牌辨识系统
110～处理单元
120～储存单元
130～影像撷取单元
140～显示单元
801～804～对应于字元的区块
810～字元区块的联集
820～经扩张的车牌影像
S201～S205、S901～S906～步骤流程
具体实施方式
有关本发明的车牌辨识方法以及车牌辨识系统适用的其他范围将于接下来所提供的详述中清楚易见。必须了解的是下列的详述以及具体的实施例，当提出有关车牌辨识方法以及车牌辨识系统的示范实施例时，仅作为描述的目的以及并非用以限制本发明的范围。
图1是显示根据本发明一实施例所述的车牌辨识系统的系统架构图。车牌辨识系统100可实施于例如台式电脑、笔记本电脑或者平板电脑等的电子装置中，且车牌辨识系统100至少包含一处理单元110。处理单元110可通过多种方式实施，例如以专用硬件电路或者通用硬件(例如，单一处理器、具平行处理能力的多处理器、图形处理器或者其它具有运算能力的处理器)，且于执行与本发明各个模型以及流程有关的程序码或者软件时，提供之后所描述的功能。车牌辨识系统100还包括储存单元120，用以储存所取得的影像、执行过程中所需要的数据以及各式各样的电子文件，例如各种演算法和/或各个模型等。车牌辨识系统100更可包括影像撷取单元130，例如监视器、摄影机和/或相机等，用以取得至少一影像或者连续的视频影像，并将其回传至处理单元110。显示单元140可为显示面板(例如，薄膜液晶显示面板、有机发光二极管面板或者其它具显示能力的面板)，用以显示输入的字元、数字、符号、拖曳鼠标的移动轨迹或者应用程序所提供的使用者界面，以提供给使用者观看。车牌辨识系统100更可包括一输入装置(未显示)，例如滑鼠、触控笔或者键盘等，用以供使用者执行对应的操作。
请参阅图2。图2是显示根据本发明一实施例所述的车牌辨识系统的流程图。于步骤S201，影像撷取单元130取得一待处理影像。其中，为了加快影像处理的速度，当影像撷取单元130为可撷取连续影像的监视器或者摄影机时，处理单元110更可通过事先将当前影像与历史影像进行比对以判断当前影像中是否有车辆或者其它物体进入拍摄范围中。举例来说，处理单元110可根据多个历史影像通过一前后景提取(Background Subtract)模块取得一历史背景影像，以供处理单元110快速地根据历史背景影像以及当前影像进行判断。当当前影像与历史背景影像之间的影像变化的面积或者影像变化量大于既定值时，则处理单元110判断有车辆或者其它物体进入当前影像所对应的拍摄范围中，接着再对当前影像执行后续的动作。举例来说，图3A为一当前影像的示意图，而图3B则为当前影像与历史背景影像之间的影像变化的示意图。其中，根据图3B的内容可得知影像变化的面积约为37％，若既定值设定为35％，则处理单元110即可判断该当前影像中出现车辆或者其它物体。
于步骤S202，处理单元110接收到待处理影像，并通过一特征地图提取模块取得多个特征地图。其中，特征地图提取模块可通过强化字元特征的矩阵进行训练，其主要是用以凸显影像中的英文字母或者数字等字元。图4A～4D是显示根据本发明一些实施例所述的用以取得特征地图的多个经训练的矩阵的示意图。于步骤S203，于取得特征地图后，处理单元110通过一字元辨识模型根据特征地图撷取对应于每个字元的区块以及对应的坐标。其中，字元辨识模块为基于神经网络的模块，其主要是以对应至各种不同字母(即A～Z)、数字(即0～9)的多个影像作为训练数据，以准确地辨识出影像中每个字元的区块以及其位置。举例来说，图5A中所显示的多个区块为被判断为具有字元的区块。其中，字元辨识模块可直接找出每个字元所对应的区块，而不需要事先对车牌中的字元进行分割。然而，如图5A所示，由于仍有一些不具有字元的区块(例如周遭环境类似于字元的影像或者影像中的噪声等)被误判，因此处理单元110更通过选择可信度较高的区域(例如通过选取具有较多重叠的区域)作为具有字元的区块，并同时撷取区域的坐标，以作为车牌字元排序的根据。举例来说，如图5B所示，粗框线所选取的区域即为最后所撷取的具有字元的区域，而通过上述的方法即可有效地过滤被误判的区块。
接着，进入步骤S204，处理单元110于取得所有字元以及其所对应的坐标后，即根据每个字元以及坐标的排序取得一车牌辨识结果。根据本发明一实施例，处理单元110更可通过一投票/统计模块对多个车牌影像进行投票以提高车牌辨识结果的准确度。于取得车牌的各个字元以及排列顺序后，处理单元110可通过车牌分群规则将车牌区分类为至少两个分群。其中，车牌分群规则可包括一车牌命名分群规则、一英文字区与数字字区分群规则、一破折号分群规则以及一字元相对位置分群规则等。将车牌进行分群后，处理单元110接着对每个分群的辨识结果进行投票，当每个分群中皆出现投票分数大于门槛值的辨识结果时，即可产生一最终车牌辨识结果。举例来说，图6是显示根据本发明一实施例所述的投票/统计模块的示意图。于此实施例中，处理单元110是采用破折号分群规则将车牌以破折号的位置为基准分为两个分群(即破折号的左半部分以及右半部分)。接着，于取得两个分群的辨识结果后，对每个分群中不同的辨识结果进行投票，若出现重复的辨识结果则累加投票分数。举例来说，如图6所示，”2806”于第五组辨识结果出现第一次重复，则”2806”的投票分数累加为2，而”J3”则于第四组辨识结果出现第一次重复，则”J3”的投票分数则于第四组时即累加为2，以此类推。假设投票分数的门槛值已预先设定为4，则破折号右半部分的分群则在第六组辨识结果即可确定为”J3”，而破折号左半部分的分群则在第七组辨识结果才能确定为”2806”。接着，处理单元110于完成第七组的车牌辨识结果后，即可输出”2806-J3”的最终车牌辨识结果。
根据本发明另一实施例，处理单元110更可根据辨识结果的时间排序赋予辨识结果不同的权重。举例来说，较新的辨识结果赋予较大的权重，而较旧的辨识结果则赋予较小的权重，藉此以加快最终车牌辨识结果的收敛速度。
此外，根据本发明另一实施例，为了加速处理单元110对车牌信息的处理速度，于取得具有车牌影像的当前影像后，处理单元110更可通过一车头影像撷取模块或者一车尾影像撷取模块于当前影像中取得一车头影像或者一车尾影像，以缩小欲处理的影像面积。其中，车头影像撷取模块或者车尾影像撷取模块是通过多个图像特征(例如Haar Feature、HOG、LBP等)搭配分类器(Cascade Classifier、Ada boost或者SVM)来训练各种车头影像或者车尾影像，以从当前影像中取得车头影像或者车尾影像。举例来说，图7A是显示一当前影像的示意图，而图7B则显示通过车头影像撷取模块所取得的车头影像的示意图。
根据本发明另一实施例，于取得车头影像或者车尾影像后，为了更进一步地缩小处理单元110欲处理的影像区域大小，处理单元110更可通过一车牌字元区域检测模型自车头影像或者车尾影像中取得车牌附近的区域。其中，车牌字元区域检测模型亦通过多个图像特征(例如Haar Feature、HOG、LBP等)搭配分类器(Cascade Classifier、Ada boost或者SVM)来训练各个字元影像，以从车头影像或者车尾影像中找出各个字元。举例来说，如图8中所示，处理单元110是通过车牌字元区域检测模型是自车头影像中找出四个具有字元的区域801～804。接着，处理单元110将区域801～804联集以取得另一更大的区域810，并根据车牌的格式放大区域810进行扩张，以取得包含所有车牌字元的另一区域。举例来说，车牌是具有六个字元，而车牌字元区域检测模型仅自车头影像中找出四个具有字元的区域，因此为了确保待处理影像中包含车牌中的所有字元，处理单元110更可根据被找到的字元数目决定向外扩张的倍率。举例来说，如图8所示，由于处理单元110已找到四个字元，因此处理单元110从区域810的四个边向外扩张约一倍(如区域820所示)，如此即可确保所有的字元皆被包括于待处理影像中。换言之，若处理单元110仅找到一个具有字元的区域，则处理单元110适应性地增加扩张的倍率(例如向左侧以及右侧扩张十倍)，以确保所有的字元皆被包括于待处理影像中。其中，扩张的倍率可根据使用者的需求进行调整，前述的实施例仅用以作为说明的用途，本发明并不以此为限。相较于车头影像或者车尾影像，通过车牌字元区域检测模型所取得的待处理影像更精准地缩小影像的面积，以更进一步地提升运算的速度。值得注意的是，由于车牌字元区域检测模型的主要功能仅用以找出可能具有字元的区域，并非用以精确地辨识字元，因此相较于字元辨识模型，车牌字元区域检测模型是属于弱分类器，即其检测准确率较低但计算速度较快。此外，车牌字元区域检测模型与车头影像撷取模块或者车尾影像撷取模块是使用不同的图像特征以及分类器。
于步骤S205，为了进一步地提高字元辨识模型的准确率，处理单元110更将每个影像以及对应的辨识结果作为训练数据以更新字元辨识模型。其中，上述辨识结果包含正确的车牌辨识结果以及不正确的车牌辨识结果，藉此以降低字元辨识模块的辨识误差，并可间接地加快车牌辨识系统的处理速度。
图9是显示根据本发明另一实施例所述的车牌辨识方法的流程图。于步骤S901，影像撷取单元130取得至少一待处理影像。于步骤S902，处理单元110自影像撷取单元130接收所取得的待处理影像，并通过特征地图提取模块取得多个特征地图。其中，特征地图中所包含的信息包括对应于不同空间频率(例如自低频至高频)的多个目标特征，而目标特征可包含车牌上的字元特征、车牌外型特征、背景特征、车辆信息特征(例如方向镜、车型、车轮等代表汽车的特征)。此外，特征地图提取模块可通过包含前述目标特征的矩阵进行训练。于步骤S903，于取得多个特征地图后，处理单元110根据特征地图通过一目标位置提取模块找出具有前述目标特征的区域。
其中，根据本发明一实施例，处理单元110可通过类聚的方式或者自定义的尺寸于特征地图上每个既定像素提取一个框，并根据特征地图提取模块判断每个框中可能包含的特征，并给予每个框对应于每个目标特征类型的分数。或者，根据本发明另一实施例，处理单元110先通过一简易分类器取得特征地图的目标敏感分数图，即于特征地图上找出具有目标特征的多个目标特征点或者目标特征区域，接着利用具有不同大小的框圈选出位于该目标特征点附近的多个区域，并给予该些区域对应于每个目标特征的分数。
接着，处理单元110于取得对应于每个框的每个目标特征类型的所有分数后，进入步骤S904，处理单元110通过一目标候选分类模块以非极大值抑制的方式仅保留具有最高分数且分数大于既定值的目标特征，以对每个框所对应的位置进行分类。举例来说，某一个框对应于背景特征的分数最大，且大于既定值，则处理单元110将该框分类为对应于背景特征的框。此外，当某一特定框对应于每个目标特征的分数皆未大于既定值时，将该区域分类为非目标特征。此外，处理单元110更可通过目标候选分类模块将具有相同目标特征且彼此相邻的多个框集结为较大的区域，以利于后续的辨识流程。接着，处理单元110仅保留对应至字元特征的区域，并进入步骤S905。于步骤S905，处理单元110根据每个字元以及坐标的排序(例如由左至右、由上自下)取得一车牌辨识结果。如前所述，处理单元110可通过前述的投票/统计模块对多个车牌影像进行投票以提高车牌辨识结果的准确度。其中，步骤S905所述的车牌辨识方式是与步骤S204的车牌辨识方法类似，在此即不加以描述以精简说明。
最后，于步骤S906，处理单元110更将每个待处理影像以及对应的辨识结果作为训练数据以更新字元辨识模型。其中，上述辨识结果包含正确的车牌辨识结果以及不正确的车牌辨识结果，藉此以降低字元辨识模块的辨识误差。
综上所述，根据本发明一些实施例所提出的车牌辨识方法以及车牌辨识系统，通过前述的车牌影像撷取步骤以及车牌字元辨识步骤，在视角不佳或者变化复杂的环境下，仍可维持快速的辨识速度以及高准确率，且通过不断地将辨识结果作为训练数据，将可更进一步地降低车牌辨识的误差并间接地加快车牌辨识系统的计算速度。
以上叙述许多实施例的特征，使所属技术领域技术人员能够清楚理解本说明书的形态。所属技术领域技术人员能够理解其可利用本发明公开内容为基础以设计或变动其他制程及结构而完成相同于上述实施例的目的及/或达到相同于上述实施例的优点。所属技术领域技术人员亦能够理解不脱离本发明的精神和范围的等效构造可在不脱离本发明的精神和范围内作任意的变动、替代与润饰。

Claims (25)

1.一种车牌辨识方法，包括以下步骤：
取得包含所有车牌字元的一待处理影像；
通过一特征地图提取模块，分别经由用以取得特征地图的多个经训练的矩阵从该待处理影像提取出具有上述待处理影像的字元特征的多个特征地图，其中，上述特征地图提取模块通过强化了上述字元特征的上述经训练的矩阵进行训练，上述经训练的矩阵用以凸显影像中的英文字母或者数字字元；
根据上述多个特征地图，通过基于神经网络的一字元辨识模型通过选择上述多个特征地图中的可信度高的区域或是通过选取上述多个特征地图中的重叠多的区域来撷取对应于每个字元的区块以及坐标；以及
根据每个字元的上述区块以及上述坐标取得一车牌辨识结果。
2.如权利要求1所述的车牌辨识方法，还包括以下步骤：
接收一原始影像；
比较上述原始影像与一历史背景影像以取得影像变化量；以及
判断上述影像变化量是否大于一预设值；
其中，当上述影像变化量大于上述预设值时，产生包含所有车牌字元的上述待处理影像。
3.如权利要求2所述的车牌辨识方法，还包括一步骤：
通过一前后景提取模块提取上述历史背景影像。
4.如权利要求1所述的车牌辨识方法，还包括以下步骤：
接收一原始影像；
通过一车头影像撷取模块或者一车尾影像撷取模块利用第一图像特征以及一第一分类器自上述原始影像中取得一车头影像或者一车尾影像；以及
通过一车牌字元区域检测模型根据上述车头影像或者上述车尾影像取得包含所有车牌字元的上述待处理影像。
5.如权利要求4所述的车牌辨识方法，还包括以下步骤：
通过上述车牌字元区域检测模型利用第二图像特征以及一第二分类器于上述车头影像或者上述车尾影像中取得至少一字元区块；
根据上述字元区块的数量决定一放大倍率；以及
基于上述字元区块根据上述放大倍率取得上述待处理影像。
6.如权利要求1所述的车牌辨识方法，还包括以下步骤：
接收多个上述车牌辨识结果；
根据一车牌分群规则将每个上述车牌辨识结果分类为至少两个分群；
对每个上述分群中的每个子辨识结果进行投票；以及
当每个上述分群中的任一上述子辨识结果的一投票分数大于一门槛值时，根据上述子辨识结果产生一最终车牌辨识结果。
7.如权利要求6所述的车牌辨识方法，还包括以下步骤：
根据所有上述车牌辨识结果的时序排列赋予每个上述车牌辨识结果一权重；以及
当每个上述分群中的任一上述子辨识结果的一权重总和大于上述门槛值时，根据上述子辨识结果产生上述最终车牌辨识结果。
8.如权利要求6所述的车牌辨识方法，其中上述车牌分群规则包括一车牌命名分群规则、一英文字区与数字字区分群规则、一破折号分群规则以及一字元相对位置分群规则。
9.如权利要求6项或第7所述的车牌辨识方法，还包括一步骤：
根据上述车牌辨识结果和/或上述最终车牌辨识结果更新上述字元辨识模型。
10.一种车牌辨识系统，包括：
一影像撷取单元，用以撷取至少一原始影像；以及
一处理单元，用以：
自上述影像撷取单元接收上述原始影像；
根据上述原始影像取得包含所有车牌字元的一待处理影像；
通过一特征地图提取模块，分别经由用以取得特征地图的多个经训练的矩阵从该待处理影像提取出具有上述待处理影像的字元特征的多个特征地图，其中，上述特征地图提取模块通过强化了上述字元特征的上述经训练的矩阵进行训练，上述经训练的矩阵用以凸显影像中的英文字母或者数字字元；
根据上述多个特征地图，通过基于神经网络的一字元辨识模型通过选择上述多个特征地图中的可信度高的区域或是通过选取上述多个特征地图中的重叠多的区域来撷取对应于每个字元的区块以及坐标；以及
根据每个字元的上述区块以及上述坐标取得一车牌辨识结果。
11.如权利要求10所述的车牌辨识系统，其中上述处理单元更用以：
比较上述原始影像与一历史背景影像以取得影像变化量；以及
判断上述影像变化量是否大于一预设值；
其中，当上述影像变化量大于上述预设值时，上述处理单元产生包含所有车牌字元的上述待处理影像。
12.如权利要求11所述的车牌辨识系统，其中上述处理单元更通过一前后景提取模块提取上述历史背景影像。
13.如权利要求10所述的车牌辨识系统，其中上述处理单元更用以：
通过一车头影像撷取模块或者一车尾影像撷取模块利用第一图像特征以及一第一分类器自上述原始影像中取得一车头影像或者一车尾影像；以及
通过一车牌字元区域检测模型根据上述车头影像或者上述车尾影像取得包含所有车牌字元的上述待处理影像。
14.如权利要求13所述的车牌辨识系统，其中上述处理单元更用以：
通过上述车牌字元区域检测模型利用第二图像特征以及一第二分类器于上述车头影像或者上述车尾影像中取得至少一字元区块；
根据上述字元区块的数量决定一放大倍率；以及
基于上述字元区块根据上述放大倍率取得上述待处理影像。
15.如权利要求10所述的车牌辨识系统，其中上述处理单元更用以：
接收多个上述车牌辨识结果；
根据一车牌分群规则将每个上述车牌辨识结果分类为至少两个分群；
对每个上述分群中的每个子辨识结果进行投票；以及
当每个上述分群中的任一上述子辨识结果的一投票分数大于一门槛值时，根据上述子辨识结果产生一最终车牌辨识结果。
16.如权利要求15所述的车牌辨识系统，其中上述处理器更用以：
根据所有上述车牌辨识结果的时序排列赋予每个上述车牌辨识结果一权重；以及
当每个上述分群中的任一上述子辨识结果的一权重总和大于上述门槛值时，根据上述子辨识结果产生上述最终车牌辨识结果。
17.如权利要求15所述的车牌辨识系统，其中上述车牌分群规则包括一车牌命名分群规则、一英文字区与数字字区分群规则、一破折号分群规则以及一字元相对位置分群规则。
18.如权利要求15项或第16所述的车牌辨识系统，其中上述处理器更用以：
根据上述车牌辨识结果和/或上述最终车牌辨识结果更新上述字元辨识模型。
19.一种车牌辨识方法，包括以下步骤：
取得一待处理影像；
通过一特征地图提取模块，分别经由用以取得特征地图的多个经训练的矩阵从该待处理影像取得具有多个目标特征的多个特征地图，其中，上述特征地图提取模块通过强化了字元特征的上述经训练的矩阵进行训练，上述经训练的矩阵用以凸显影像中的英文字母或者数字字元；
通过一目标位置提取模块将每个上述特征地图切割为多个框，并给予每个上述特征地图的每个上述框对应于每个上述目标特征的分数；
通过一目标候选分类模块根据上述分数对每个上述特征地图的每个上述框进行分类，并保留对应于上述字元特征的至少一区域；以及
通过一投票/统计模块根据对应于上述字元特征的上述区域取得一车牌辨识结果。
20.如权利要求19所述的车牌辨识方法，其中上述目标特征包括对应于不同空间频率的上述字元特征、车牌外型特征、背景特征或者车辆特征。
21.如权利要求19所述的车牌辨识方法，还包括：
通过类聚的方式或者自定义尺寸于上述特征地图上每个既定像素提取上述框，以通过上述目标位置提取模块给予每个上述特征地图的每个上述框对应于每个上述目标特征的上述分数。
22.如权利要求19所述的车牌辨识方法，还包括：
通过一简易分类器取得上述特征地图的至少一目标特征点，利用具有不同大小的多个框圈选出位于上述目标特征点附近的多个区域，以及通过上述特征地图提取模块给予每个上述特征地图的每个上述框对应于每个上述目标特征的上述分数。
23.如权利要求19所述的车牌辨识方法，还包括：
通过上述目标候选分类模块以一非极大值抑制的方式保留具有最高分数且分数大于一既定值的上述目标特征。
24.如权利要求19所述的车牌辨识方法，还包括：
接收多个上述车牌辨识结果；
通过上述投票/统计模块根据一车牌分群规则将每个上述车牌辨识结果分类为至少两个分群；
通过上述投票/统计模块对每个上述分群中的每个子辨识结果进行投票；以及
当每个上述分群中的任一上述子辨识结果的一投票分数大于一门槛值时，上述投票/统计模块根据上述子辨识结果产生一最终车牌辨识结果。
25.如权利要求19所述的车牌辨识方法，还包括：
根据上述车牌辨识结果更新上述特征地图提取模块。
CN201810208466.9A 2018-03-14 2018-03-14 车牌辨识方法以及其系统 Active CN110276342B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201810208466.9A CN110276342B (zh) 2018-03-14 2018-03-14 车牌辨识方法以及其系统
US16/980,747 US11443535B2 (en) 2018-03-14 2019-01-21 License plate identification method and system thereof
PCT/CN2019/072542 WO2019174405A1 (zh) 2018-03-14 2019-01-21 车牌辨识方法以及其系统
EP19768532.4A EP3767530A4 (en) 2018-03-14 2019-01-21 PROCEDURE FOR IDENTIFICATION OF LICENSE PLATES AND THE SYSTEM THEREFORE
JP2020548723A JP7044898B2 (ja) 2018-03-14 2019-01-21 ナンバープレート認識方法、および、そのシステム
US17/881,218 US20220375236A1 (en) 2018-03-14 2022-08-04 License plate identification method and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810208466.9A CN110276342B (zh) 2018-03-14 2018-03-14 车牌辨识方法以及其系统

Publications (2)

Publication Number Publication Date
CN110276342A CN110276342A (zh) 2019-09-24
CN110276342B true CN110276342B (zh) 2023-04-18

Family

ID=67907354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810208466.9A Active CN110276342B (zh) 2018-03-14 2018-03-14 车牌辨识方法以及其系统

Country Status (5)

Country Link
US (2) US11443535B2 (zh)
EP (1) EP3767530A4 (zh)
JP (1) JP7044898B2 (zh)
CN (1) CN110276342B (zh)
WO (1) WO2019174405A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276342B (zh) * 2018-03-14 2023-04-18 台达电子工业股份有限公司 车牌辨识方法以及其系统
US11567632B2 (en) 2018-07-03 2023-01-31 Apple Inc. Systems and methods for exploring a geographic region
CN110659640B (zh) * 2019-09-27 2021-11-30 深圳市商汤科技有限公司 文本序列的识别方法及装置、电子设备和存储介质
JP7373367B2 (ja) 2019-11-20 2023-11-02 日本放送協会 文字領域検出モデル学習装置およびそのプログラム、ならびに、文字領域検出装置およびそのプログラム
US11275934B2 (en) * 2019-11-20 2022-03-15 Sap Se Positional embeddings for document processing
CN111079744B (zh) * 2019-12-06 2020-09-01 鲁东大学 适用于复杂光照环境的车辆车牌智能识别方法及装置
CN111340045B (zh) * 2020-02-12 2023-09-01 浙江大华技术股份有限公司 车牌号码的识别方法、装置及存储介质
CN111582261B (zh) * 2020-04-30 2024-01-19 浙江大华技术股份有限公司 一种非机动车的车牌识别方法和车牌识别装置
US11796334B2 (en) 2020-05-15 2023-10-24 Apple Inc. User interfaces for providing navigation directions
US11846515B2 (en) 2020-06-11 2023-12-19 Apple Inc. User interfaces for customized navigation routes
CN112560608B (zh) * 2020-12-05 2024-05-24 江苏爱科赛尔云数据科技有限公司 一种车辆车牌识别方法
US20220390248A1 (en) 2021-06-07 2022-12-08 Apple Inc. User interfaces for maps and navigation
CN115359460B (zh) * 2022-10-20 2023-02-17 小米汽车科技有限公司 用于车辆的图像识别方法、装置、车辆和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407981A (zh) * 2016-11-24 2017-02-15 北京文安智能技术股份有限公司 一种车牌识别方法、装置及系统
CN107220638A (zh) * 2017-07-03 2017-09-29 深圳市唯特视科技有限公司 一种基于深度学习卷积神经网络的车牌检测识别方法
CN107704857A (zh) * 2017-09-25 2018-02-16 北京邮电大学 一种端到端的轻量级车牌识别方法及装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11306283A (ja) * 1998-04-24 1999-11-05 Chuo Spring Co Ltd ナンバープレート情報読取装置
JP4174279B2 (ja) * 2002-09-19 2008-10-29 日本放送協会 映像オブジェクト識別・追跡装置、その方法及びそのプログラム
TWI236638B (en) 2004-03-24 2005-07-21 Univ Chung Yuan Christian Multiple recognition system and method for license plates
WO2008025092A1 (en) * 2006-09-01 2008-03-06 Sensen Networks Pty Ltd Method and system of identifying one or more features represented in a plurality of sensor acquired data sets
JP4901676B2 (ja) * 2007-09-28 2012-03-21 株式会社東芝 ナンバープレート情報処理装置及びナンバープレート情報処理方法
CN101303803A (zh) 2008-06-11 2008-11-12 北京中星微电子有限公司 一种车牌识别的方法和系统
TWI431559B (zh) * 2010-10-29 2014-03-21 Univ Nat Chiao Tung 車牌偵測辨識方法及其系統
US8666117B2 (en) * 2012-04-06 2014-03-04 Xerox Corporation Video-based system and method for detecting exclusion zone infractions
CN103366577B (zh) * 2013-05-16 2015-12-23 王斌 车辆牌证真伪识别系统
CN103679191B (zh) * 2013-09-04 2017-02-22 西交利物浦大学 基于静态图片的自动套牌车检测方法
NL2012327B1 (en) * 2013-12-13 2016-06-21 Utc Fire & Security B V Selective intrusion detection systems.
JP6471934B2 (ja) * 2014-06-12 2019-02-20 パナソニックＩｐマネジメント株式会社 画像認識方法、カメラシステム
JP2016053763A (ja) * 2014-09-02 2016-04-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN104239867B (zh) 2014-09-17 2017-12-01 深圳市捷顺科技实业股份有限公司 车牌定位方法及系统
CN106599900B (zh) * 2015-10-20 2020-04-21 华中科技大学 一种识别图像中的字符串的方法和装置
CN106096607A (zh) 2016-06-12 2016-11-09 湘潭大学 一种车牌识别方法
CN106469299B (zh) * 2016-08-31 2019-07-19 北京邮电大学 一种车辆搜索方法及装置
CN106529532A (zh) * 2016-11-07 2017-03-22 湖南源信光电科技有限公司 一种基于积分特征通道与灰度投影的车牌识别系统
CN108121984B (zh) * 2016-11-30 2021-09-21 杭州海康威视数字技术股份有限公司 一种字符识别方法及装置
CN106650740B (zh) * 2016-12-15 2019-08-13 深圳市华尊科技股份有限公司 一种车牌识别方法及终端
US11224364B2 (en) * 2016-12-15 2022-01-18 Progenity, Inc. Ingestible device and associated methods
CN107784303A (zh) * 2016-12-15 2018-03-09 平安科技（深圳）有限公司 车牌识别方法及装置
CN106845487B (zh) * 2016-12-30 2020-04-17 佳都新太科技股份有限公司 一种端到端的车牌识别方法
CN107038442A (zh) * 2017-03-27 2017-08-11 新智认知数据服务有限公司 一种基于深度学习的车牌检测和整体识别方法
CN106980854A (zh) * 2017-03-29 2017-07-25 珠海习悦信息技术有限公司 车牌号码识别方法、装置、存储介质及处理器
CN107239778B (zh) * 2017-06-09 2020-01-03 中国科学技术大学 高效准确的车牌识别方法
CN110276342B (zh) * 2018-03-14 2023-04-18 台达电子工业股份有限公司 车牌辨识方法以及其系统
CN111524365B (zh) * 2020-05-11 2021-12-17 西安电子科技大学 一种利用多地磁传感器进行车型分类的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407981A (zh) * 2016-11-24 2017-02-15 北京文安智能技术股份有限公司 一种车牌识别方法、装置及系统
CN107220638A (zh) * 2017-07-03 2017-09-29 深圳市唯特视科技有限公司 一种基于深度学习卷积神经网络的车牌检测识别方法
CN107704857A (zh) * 2017-09-25 2018-02-16 北京邮电大学 一种端到端的轻量级车牌识别方法及装置

Also Published As

Publication number Publication date
JP7044898B2 (ja) 2022-03-30
EP3767530A4 (en) 2021-05-19
JP2021518944A (ja) 2021-08-05
US20210004627A1 (en) 2021-01-07
WO2019174405A1 (zh) 2019-09-19
EP3767530A1 (en) 2021-01-20
CN110276342A (zh) 2019-09-24
US11443535B2 (en) 2022-09-13
US20220375236A1 (en) 2022-11-24

Similar Documents

Publication Publication Date Title
CN110276342B (zh) 车牌辨识方法以及其系统
CN112506342B (zh) 基于动态手势识别的人机交互方法及系统
US10853638B2 (en) System and method for extracting structured information from image documents
CN108121986B (zh) 目标检测方法及装置、计算机装置和计算机可读存储介质
WO2014174932A1 (ja) 画像処理装置、プログラム及び画像処理方法
CN112036395B (zh) 基于目标检测的文本分类识别方法及装置
CN111507330B (zh) 习题识别方法、装置、电子设备及存储介质
CN110866529A (zh) 字符识别方法、装置、电子设备及存储介质
CN111488732B (zh) 一种变形关键词检测方法、系统及相关设备
CN110598703B (zh) 一种基于深度神经网络的ocr识别方法及装置
CN114038004A (zh) 一种证件信息提取方法、装置、设备及存储介质
CN111461145A (zh) 一种基于卷积神经网络进行目标检测的方法
CN115461792A (zh) 手写文本识别方法、装置和系统，手写文本搜索方法和系统，以及计算机可读存储介质
US20180342071A1 (en) Moving object tracking apparatus, moving object tracking method, and computer program product
Wang et al. Accurate playground localisation based on multi-feature extraction and cascade classifier in optical remote sensing images
Juang et al. Stereo-camera-based object detection using fuzzy color histograms and a fuzzy classifier with depth and shape estimations
Ghadhban et al. Segments interpolation extractor for finding the best fit line in Arabic offline handwriting recognition words
CN112560856A (zh) 车牌检测识别方法、装置、设备及存储介质
TWI690857B (zh) 車牌辨識方法以及其系統
Anant et al. Safe Driving using Vision-based Hand Gesture Recognition System in Non-uniform Illumination Conditions.
Khan et al. Text detection and recognition on traffic panel in roadside imagery
Naz et al. Challenges in baseline detection of cursive script languages
CN114783042A (zh) 基于多移动目标的人脸识别方法、装置、设备及存储介质
Moumen et al. Real-time Arabic scene text detection using fully convolutional neural networks
Jain Unconstrained Arabic & Urdu text recognition using deep CNN-RNN hybrid networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant