CN107533645A - 双嵌入式光学字符识别(ocr)引擎 - Google Patents

双嵌入式光学字符识别(ocr)引擎 Download PDF

Info

Publication number
CN107533645A
CN107533645A CN201680023117.9A CN201680023117A CN107533645A CN 107533645 A CN107533645 A CN 107533645A CN 201680023117 A CN201680023117 A CN 201680023117A CN 107533645 A CN107533645 A CN 107533645A
Authority
CN
China
Prior art keywords
result
reading result
ocr
confidence level
ocr engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680023117.9A
Other languages
English (en)
Inventor
彼得·伊什泰奈什
斯蒂芬妮·R·舒马赫
本杰明·W·沃森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3M Innovative Properties Co
Original Assignee
3M Innovative Properties Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3M Innovative Properties Co filed Critical 3M Innovative Properties Co
Publication of CN107533645A publication Critical patent/CN107533645A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种具有双嵌入式光学字符识别(OCR)引擎的相机系统。所述相机系统包括用于捕获车辆的图像的相机模块，所述图像包括具有车牌号码的车牌，该车牌号码包含字符；第一OCR引擎，所述第一OCR引擎通过从所述车牌提取所述字符来产生第一读取结果和第一置信水平；以及与所述第一OCR引擎不同的第二OCR引擎，所述第二OCR引擎从所述车牌提取所述字符来产生第二读取结果和第二置信水平。所述相机系统还包括用于比较所述第一读取结果与所述第二读取结果的比较器。如果所述第一读取结果与所述第二读取结果相匹配，则所述系统产生匹配读取结果作为最终读取结果。如果所述第一读取结果与所述第二读取结果不匹配，则融合模块使用所述第一读取结果、所述第一置信水平、所述第二读取结果和所述第二置信水平来产生最终读取结果。

Description

双嵌入式光学字符识别(OCR)引擎
技术领域
本公开涉及用于自动号码牌识别(ANPR)或自动车牌识别(ALPR)系统的光学字符识别领域。更具体地，本公开涉及使用两个不同的光学字符识别(OCR)引擎来识别车牌上的字符。
背景技术
ANPR和ALPR系统(本文可互换使用)用于多种智能运输和交通管理系统中。例如，ALPR系统可用于读取在收费公路上龙门架下方通过的车辆的车牌(也称为号码牌或牌照)，使得可以将收费的票据或罚款发送给与车牌登记相关联的个人。
ALPR系统可用于停车执法，以监控车辆是否停泊在有时间限制的停车位置太长时间，如授予Bucholz的美国专利号7,579,965所述，该专利以引用方式并入本文。
ALPR系统可用于定位丢失或被盗车辆。在此类应用中，安装有移动ALPR系统的车辆在其被驱动时，可检测其通过的车牌号码或者停放的或移动的车辆。该系统可比较所检测的车牌号码与车牌的“热表”，该“热表”包括被盗车辆或登记到因其它民事或犯罪原因而被通缉的个人的车辆。此类申请在授予Simon的美国专利号7,881,498中有所描述，该专利以引用方式并入本文。
在这些和其它ALPR应用程序的每一者中，重要的是最大限度地提高车牌的读取准确性。出于多种原因，OCR引擎可能难以检测出车牌上的字符。例如，许多车牌包括有多种设计或图片，以指示牌照来自于哪个国家或州，以支持特殊原因，或允许开车的人选择他们喜欢的牌照。当图片与字符重叠时甚至当图片位于牌照的周边上时，这些设计或图片可能使牌照上的字符更难检测。
在其它情况下，牌照可能是脏的，或者可能被雪、沙子、车牌框架、拖车杆或挂钩或可遮盖牌照的其它物体或碎屑部分地或完全地覆盖或遮盖。牌照也随着时间而老化，并且可由于天气或冲击诸如交通事故而损坏。
使用多种方法确保准确的牌照读取结果或字符识别。一种方法是收集由可见光和红外光中的每一种照射的牌照的图像。这些图像中的一者或两者可用于确保更高的读取准确性，如由申请人于2014年8月13日提交的美国专利申请号62/036,797“Optically ActiveArticles and Systems In Which They May Be Used”(光学活性制品以及可将光学活性制品用于其中的系统)所讨论，并且该专利以引用方式并入本文。
此外，可以使用多种类型的OCR引擎或系统来读取车牌上的字符。然而，各种OCR引擎基于由特定引擎使用的算法而具有不同的结果和准确读取速率的水平。
在准确地识别车牌上的字符方面的改善将是受欢迎的。
发明内容
本公开提供了与现状相比的多种优点。例如，本公开使得车牌读取结果的准确性增大。可以在单独的字符水平上或相对于整个车牌号码来实现增大的准确性。使用来自多于一个的不同OCR引擎的读取结果能够提高准确性。
本公开还允许使用多个不同的OCR引擎来验证实时读取的车牌。
本公开使得读取准确性的置信度增大。在许多收费或其它解决方案中，除非读取结果是无需手动确认牌照读取准确性的高置信度读取结果，否则操作人员将不采取行动来向违规者发送罚款单或罚款，或以其它方式允许预付费用户通过收费区域。通过个人在视觉上比较所读取的车牌号码与车牌的图像而发生手动确认。
本公开可增加高置信度读取结果的比例。此外，高置信度读取结果可导致系统的准确性整体增大。系统可具有读取结果是准确的高置信度的一种此类方式是，当两个不同的OCR引擎为单个车牌号码产生相同的读取结果时。高置信度读取结果的比例增加和准确性的增大可减少确认读取准确性所需的手动工作。这可能对收费或其它系统产生显著的经济益处，该收费或其它系统可通过减少所需的手动工作从而减少操作系统的成本，以及通过减少正误识读取结果的数量和基于那些正误识的不当出票来出票。由本公开引起的增大的准确性也可增加形成用于出票的基础的正确读取结果的数量。
在一种情况下，本公开包括具有双嵌入式光学字符识别(OCR)引擎的相机系统。该相机系统包括用于捕获车辆的图像的相机模块，该图像包括具有车牌号码的车牌，该车牌号码包含字符；第一OCR引擎，该第一OCR引擎通过从车牌提取字符来产生第一读取结果和第一置信水平；以及不同于第一OCR引擎的第二OCR引擎，该第二OCR引擎从车牌提取字符来产生第二读取结果和第二置信水平。该相机系统还包括用于比较第一读取结果与第二读取结果的比较器。如果第一读取结果与第二读取结果相匹配，则系统产生匹配读取结果作为最终读取结果。如果第一读取结果与第二读取结果不匹配，则融合模块使用第一读取结果、第一置信水平、第二读取结果和第二置信水平来产生最终读取结果。
在另一种情况下，本公开包括用于产生车牌最终读取结果的方法。该方法包括为相机系统提供双嵌入式光学字符识别(OCR)引擎，其中相机系统包括相机模块、第一OCR引擎、第二OCR引擎、比较器和融合模块。该方法还包括利用相机模块捕获车辆的图像，该图像包括具有车牌号码的车牌，该车牌号码包含字符；通过利用基于特征的OCR引擎从车牌提取字符来产生第一读取结果和第一置信水平；以及使用基于图案的OCR引擎从车牌提取字符来产生第二读取结果和第二置信水平。该方法还包括比较第一读取结果与第二读取结果。如果第一读取结果与第二读取结果相匹配，则产生匹配读取结果作为最终读取结果。如果第一读取结果与第二读取结果不匹配，则使用第一读取结果、第一置信水平、第二读取结果和第二置信水平，利用融合模块产生最终读取结果。
在另一种情况下，本公开包括具有双嵌入式光学字符识别(OCR)引擎的相机系统。该系统包括用于捕获车辆的图像的相机模块，该图像包括具有车牌号码的车牌，该车牌号码包含字符；第一OCR引擎，该第一OCR引擎通过从车牌提取字符来产生第一读取结果和第一置信水平；以及第二OCR引擎，该第二OCR引擎从车牌提取字符来产生第二读取结果和第二置信水平。该系统还包括用于比较第一读取结果与第二读取结果的比较器。如果第一读取结果与第二读取结果相匹配，则系统产生匹配读取结果作为最终读取结果。如果第一读取结果与第二读取结果不匹配，则融合模块使用第一读取结果、第一置信水平、第二读取结果和第二置信水平来产生最终读取结果。
在一些实施方案中，融合模块从第一读取结果中选择至少一个字符，并从第二读取结果中选择至少一个字符以产生最终读取结果。
在一些实施方案中，融合模块提供与最终读取结果相关联的第三置信水平。此外，在一些情况下，如果第三置信水平低于预定义的阈值，则最终读取结果被指定为无效。
在一些实施方案中，基于特征的OCR引擎和基于图案的OCR引擎评估相同的图像以产生第一读取结果和第二读取结果。
在一些实施方案中，基于特征的OCR引擎和基于图案的OCR引擎评估不同的图像以产生第一读取结果和第二读取结果。
在一些实施方案中，基于特征的OCR引擎从通过第一信道接收的信息中产生第一读取结果，并且其中基于图案的OCR引擎从通过第二信道接收的信息中产生第二读取结果。
附图说明
以下附图提供本发明的图示说明。它们旨在进一步描述和阐述本发明，而不对本发明的范围加以限制。
图1是车牌的示例。
图2a至图2b是车牌的图像的示例。
图3是具有双嵌入式OCR引擎的相机系统的示例性框图。
图4是双嵌入式OCR引擎的过程图。
图5是融合模块的过程图。
类似标号通常用于指示类似的部件。这些附图未按比例绘制，并且仅用于示例性目的。
具体实施方式
图1是车牌10的示例。车牌10被牌照框架11环绕。车牌10包括州名称12“佐治亚州”、桃子13的图像和车牌号码14。车牌号码是压印或印刷在车牌上的字母数字标识符。在这种情况下，车牌号码14由七个字符15组成。车牌号码14可包括更多或较少的字符。字符可包括字母数字、图形、符号、徽标、形状和其它标识符。
图2a和图2b是用不同波长的照度拍摄的车牌的图像。图2a是在可见光或可见光谱下拍摄的图1的车牌22的图像。可见光谱是指人眼可见(即，人眼可检测到)的电磁光谱部分。典型的人眼将对从约390nm至700nm的波长有反应。车牌22包括由字符25组成的车牌号码24。字符在一定程度上被背景中桃子23的图像遮盖。
图2b是使用红外光谱中的照度拍摄的相同车牌22的图像。术语“红外”是指波长大于可见辐射波长的电磁辐射，从700纳米(nm)附近可见光谱的标称红边延伸至超过1000nm。已经认识到红外光谱延伸超出该值。如本文所用，术语“近红外”是指波长在700nm和1300nm之间的电磁辐射。
此类图像可通过传感器(检测器)捕获，该传感器(检测器)视情况对红外线或紫外线辐射敏感，并且能够检测可见光谱外的回射辐射。可商购获得的示例性相机包括但不限于3M公司(3M Company)销售的P372、P382和P492相机。
图2a和图2b中的每一者中所示的车牌22可以是光学活性制品，由此使得它是反射和/或逆向反射制品。逆向反射制品具有这样的属性，在大体反向平行于其入射方向的方向上反射斜入射辐射光线，使得辐射光线返回到辐射源或紧邻辐射源的位置。
图2a和图2b中所示的图像是通过不同信道捕获的图像的示例，其中图2a中的图像在颜色信道(偏轴照射)中被捕获，并且图2b中的图像在窄带红外信道(轴向照射)中被捕获。不同类型的信道的另外讨论可见于由申请人于2014年8月13日提交的美国专利申请号62/036,797“Optically Active Articles and Systems In Which They May Be Used”(光学活性制品以及可将光学活性制品用于其中的系统)，并且该专利以引用方式并入本文。
图3是具有双嵌入式OCR引擎32和34的相机系统30的示例性框图。相机系统30包括用于捕获车辆的图像的相机模块31，该图像包括具有车牌号码的车牌，该车牌号码包含字符。相机模块31能够同时通过两个或更多个单独的信道来捕获多于一个的图像。在另一个实施方案中，相机模块31可通过单个信道或通过两个或更多个单独的信道来捕获相同车牌的后续图像。可将一个、两个或更多个所捕获的图像传输至第一OCR引擎32和第二OCR引擎34。在一些实施方案中，相同的一个图像或多个图像可被传输至第一OCR引擎32和第二OCR引擎34中的每一者，并且在其它实施方案中，可将不同的图像传输至第一OCR引擎32和第二OCR引擎34中的每一者。在一些实施方案中，相机系统30可包括多于两个不同的OCR引擎。
在其中由相机模块31捕获多个图像的实施方案中，可使用选择标准来识别最可能包含可读牌照的候选图像。然后设定这些候选图像的优先级，以提交至OCR引擎。图像选择处理步骤保持候选图像记录的时序队列(每个图像记录包含图像元数据，包括例如车牌寻找数据)。该队列具有有限的长度。随着新图像记录获取自信道，将对比队列中已经存在的那些图像记录来评估它们。如果新图像记录被认为比队列中已经存在的任何图像记录“更好”或者队列未满，则将新图像记录加在队列的后面。如果队列是“满的”，则移除队列中当前最弱的候选者。虽然这是用于处理图像选择的一种方法，但是在阅读本公开内容时，在本发明范围之内的其它方法对于本领域的技术人员将显而易见。
第一OCR引擎32通过从图像中的车牌号码提取并正确识别字符，来产生与通过第一OCR引擎32接收的图像相关联的第一读取结果和第一置信水平。“读数”、“读取结果”或“读取准确性”是指机器对车牌上包含的车牌号码或字符的判读。
置信水平是定义字符或车牌号码正确的可能性的百分比。第一OCR引擎32可产生与整个车牌号码的读取结果相关联的置信水平，以及与车牌上的每一个字符相关联或包括车牌号码的一部分的置信水平。第一OCR引擎32可为其处理的车牌的每个图像产生相似的数据集。
不同于第一OCR引擎32的第二OCR引擎34通过从图像中的车牌号码提取并正确识别字符，来产生与通过第二OCR引擎34接收的图像相关联的第二读取结果和第二置信水平。第二OCR引擎34可产生与整个车牌号码的读取结果相关联的置信水平，以及与车牌上或包含车牌号码的一部分的每个字符相关联的置信水平。第二OCR引擎34可为其处理的车牌的每个图像产生相似的数据集。另外，OCR引擎可产生用于牌照读取的多个替代猜测，并为每个猜测产生相似的数据集。
第一OCR引擎32和第二OCR引擎34是不同类型的OCR引擎。例如，在一个实施方案中，第一OCR引擎32可以是基于特征的OCR引擎。基于特征的OCR引擎基于字符的特征认识或识别字符，诸如环、线、孔和角。在一个实施方案中，第二OCR引擎34可以是基于图案的OCR引擎。基于图案的OCR引擎基于字符与已知图案的相关性来认识或识别字符。一个OCR引擎与另一个OCR引擎不同，使得两个OCR引擎包括不同的算法，使得它们能够从相同的图像中产生不同的字符或车牌号码读取结果。
第一OCR引擎32和第二OCR引擎34传输它们的每个读取结果。读取结果将车牌号码和/或字符读取结果以及相关联的置信水平包括到比较器36中。比较器36比较第一读取结果与第二读取结果。如果第一读取结果与第二读取结果匹配，则相机系统30产生匹配读取结果作为最终读取结果。
如果第一读取结果与第二读取结果不匹配，则融合模块38使用第一读取结果、第一置信水平、第二读取结果和第二置信水平来产生最终读取结果。融合模块38从每个读取结果分析所有候选字符，并基于与每个字符相关联的置信水平来计算最有可能是正确的最终读取结果。
在一些实施方案中，融合模块38从第一读取结果中选择至少一个字符，并从第二读取结果中选择至少一个字符以产生最终读取结果。在一些实施方案中，融合模块38仅从第一读取结果或第二读取结果中的一者中选择所有字符。在一些实施方案中，融合模块38提供与最终读取结果相关联的第三置信水平。在一些实施方案中，如果第三置信水平低于预定义的阈值，则最终读取结果被指定为无效。
融合模块38和/或比较器36将最终读取结果传输至通信模块39。通信模块39可将最终读取结果和相关联的置信水平传输至使用最终读取结果的外部或后端系统，并且也可将相关联的置信水平用于所需应用，诸如收费、停车执法或其它应用。
虽然相机系统30的各个部件被单独示出，但是它们可由单个处理器或处理器的任何组合包括或运行。另外，在阅读本公开时，如本领域的技术人员将显而易见，本相机系统的许多变型都在本发明的范围内。相机系统可包括两个以上的OCR引擎，它可包括能够通过多个信道捕获图像的一个相机模块或多个相机模块以及它们的任意组合。
图4是双嵌入式OCR引擎的过程图。处理40以第一OCR引擎42和第二OCR引擎43中的每一者开始，从相机模块接收包含车牌41的图像。第一OCR引擎42和第二OCR引擎43中的每一者将读取结果(车牌号码和/或字符读取结果和相关联的置信水平)产生至比较器44。
如果从每个OCR引擎读取的车牌号码相匹配，则比较器基于来自每个OCR引擎的每个读取结果的置信水平将匹配读取结果与置信水平一起传输至通信模块46。在许多情况下，与该最终读取结果相关联的置信水平预计相对较高，因为两个不同的OCR引擎达到相同的读取结果。
如果两个OCR引擎中的每一个的车牌读取结果不匹配，则融合模块45使用第一读取结果、第一置信水平、第二读取结果和第二置信水平来产生最终读取结果。融合模块45从每个读取结果分析所有候选字符，并基于与每个字符相关联的置信水平来计算最有可能是正确的最终读取结果。
在一些实施方案中，融合模块45从第一读取结果中选择至少一个字符，并从第二读取结果中选择至少一个字符以产生最终读取结果。在一些实施方案中，融合模块45提供与最终读取结果相关联的第三置信水平。在一些实施方案中，如果第三置信水平低于预定义的阈值，则最终读取结果被指定为无效。
融合模块45将最终读取结果传输至通信模块46。通信模块46可将最终读取结果和相关联的置信水平传输至将最终读取结果用于所需应用的外部或后端系统，诸如收费、停车执法或其它应用。
图5是融合模块的示例过程图。在步骤51中，将来自第一OCR引擎和第二OCR引擎的读取结果传输至融合模块。在一些情况下，只从每个OCR引擎传输一个读取结果。在其它情况下，来自每个OCR引擎的多个读取结果被传输至融合模块。
在图5所示的示例中，描述了车牌号码中给定字符的读取结果。第一OCR引擎识别出字符“B”，并为该结果分配了92％的置信水平。第一OCR引擎依次识别出字符“8”，其中相关联的置信水平为70％。第二OCR引擎识别出字符“8”，其中相关联的置信水平为94％。第二OCR引擎识别出字符“B”，其中相关联的置信水平为90％。
在步骤52中，融合模块算出来自第一OCR引擎的最优结果的置信水平(“B”；92％)与来自第二OCR引擎的相同结果的置信水平(90％)的平均值，以识别“B”的平均置信水平(91％)。融合模块也算出来自第二OCR引擎的最优结果的置信水平(“8”；94％)与来自第一OCR引擎的相同结果的相关联置信水平(70％)的平均值，从而识别出“8”的平均置信水平为82％。
在步骤53中，融合模块将与来自第一OCR引擎的最优结果相关联的平均置信水平(“B”；91％)与来自第二OCR引擎的最优结果相关联的平均置信水平(“8”；82％)进行比较，以根据较高的平均置信水平为给定字符“B”选择最终结果。
图5所示的过程检查了两个引擎的置信度值，以确定“最佳”结果。这不仅包括比较第一结果，还包括比较不太可能的结果。这种方法可通过每个OCR引擎与融合模块之间的双向通信变成可能，该融合模块不仅可查询最终读取结果，还可查询来自每个OCR引擎的一系列可能结果。相比于其中OCR引擎外部连接到相机或相机系统的配置，可通过OCR引擎的嵌入式配置实现该双向通信。
对于本领域的技术人员将显而易见的是针对融合模块描述的方法仅仅是可用于融合来自两个或更多个不同OCR引擎的读取结果的许多计算方法的示例。可基于单个图像融合来自每个OCR引擎的多个结果。可基于多个引擎融合来自每个OCR引擎的多个结果。在阅读本公开内容时，在本发明的范围之内的计算方法的范围对于本领域的技术人员将显而易见。
可在多种计算机装置中实施本公开的技术，该计算机装置为诸如服务器、膝上型计算机、台式计算机、笔记本电脑、平板计算机、手持式计算机、智能电话等。任何部件、模块或单元均被描述来强调功能方面，并且不一定需要由不同的硬件单元来实现。本文所述的技术还可在硬件、软件、固件、或它们的任何组合中实施。作为模块、单元或部件描述的任何特征可一起实施在集成式逻辑装置中或者可作为分立但彼此协作的逻辑装置来独立实施。在一些情况下，可将各种特征实施为集成电路装置，诸如集成电路芯片或芯片组。此外，尽管本说明书通篇描述了多种不同的模块，其中许多模块执行唯一的功能，但可将所有模块的所有功能组合到单个模块中，或者进一步拆分到其它附加的模块中。本文所述的模块仅是示例性的，并且被如此描述的目的是为了更容易理解。
如果在软件中实施，那么该技术可至少部分地通过包括下述指令的计算机可读介质来实现，该指令当在处理器中执行时执行上文所述方法中的一种或多种。计算机可读介质可包括有形计算机可读介质并且可形成计算机程序产品的一部分，计算机程序产品可包括包装材料。计算机可读存储介质可包括随机访问存储器(RAM)诸如同步动态随机访问存储器(SDRAM)、只读存储器(ROM)、非易失性随机访问存储器(NVRAM)、电可擦可编程的只读存储器(EEPROM)、闪速(FLASH)存储器、磁性或光学的数据存储介质等等。计算机可读存储介质还可包括非易失性存储装置，诸如硬盘、磁带、光盘(CD)、数字多用光盘(DVD)、蓝光光盘、全息数据存储介质、或其它非易失性存储装置。
如本文所用的术语“处理器”可指适用于实施本文所述的技术的前述结构中的任何者或任何其它结构。此外，在一些方面，本文所述的功能可提供在被构造成用于执行本公开的技术的专用软件模块或硬件模块内。即使在软件中实施，该技术也可使用用于执行软件的硬件诸如处理器、以及用于存储软件的存储器。在任何此类情况下，本文所述的计算机可定义能够执行本文所述的特定功能的特定机器。另外，该技术可在也可被视为处理器的一个或多个电路或逻辑元件中全面实施。

Claims (21)

1.一种具有双嵌入式光学字符识别(OCR)引擎的相机系统，所述相机系统包括：
相机模块，所述相机模块用于捕获车辆的图像，所述图像包括具有车牌号码的车牌，所述车牌号码包含字符；
基于特征的OCR引擎，所述基于特征的OCR引擎通过从所述车牌提取所述字符来产生第一读取结果和第一置信水平；
与所述第一OCR引擎不同的基于图案的OCR引擎，所述基于图案的OCR引擎从所述车牌提取所述字符来产生第二读取结果和第二置信水平；
比较器，所述比较器用于比较所述第一读取结果与所述第二读取结果；
其中如果所述第一读取结果与所述第二读取结果相匹配，则所述系统产生匹配读取结果作为最终读取结果；
其中如果所述第一读取结果与所述第二读取结果不匹配，则融合模块使用所述第一读取结果、所述第一置信水平、所述第二读取结果和所述第二置信水平来产生最终读取结果。
2.根据权利要求1所述的系统，其中所述融合模块从所述第一读取结果中选择至少一个字符，并从所述第二读取结果中选择至少一个字符以产生所述最终读取结果。
3.根据权利要求1所述的系统，其中所述融合模块提供与所述最终读取结果相关联的第三置信水平。
4.根据权利要求3所述的系统，其中如果所述第三置信水平低于预定义的阈值，则所述最终读取结果被指定为无效。
5.根据权利要求1所述的系统，其中所述基于特征的OCR引擎和所述基于图案的OCR引擎评估所述相同的图像以产生所述第一读取结果和所述第二读取结果。
6.根据权利要求1所述的系统，其中所述基于特征的OCR引擎和所述基于图案的OCR引擎评估不同的图像以产生所述第一读取结果和所述第二读取结果。
7.根据权利要求1所述的系统，其中所述基于特征的OCR引擎从通过第一信道接收的信息产生所述第一读取结果，并且其中所述基于图案的OCR引擎从通过所述第二信道接收的信息产生所述第二读取结果。
8.一种用于产生车牌最终读取结果的方法，所述方法包括：
为相机系统提供双嵌入式光学字符识别(OCR)引擎，其中所述相机系统包括相机模块、基于特征的OCR引擎、基于图案的OCR引擎、比较器和融合模块；
用所述相机模块捕获车辆的图像，所述图像包括具有车牌号码的车牌，所述车牌号码包含字符；
通过用所述基于特征的OCR引擎从所述车牌提取所述字符来产生第一读取结果和第一置信水平；
用所述基于图案的OCR引擎从所述车牌提取所述字符来产生第二读取结果和第二置信水平；
比较所述第一读取结果与所述第二读取结果；
如果所述第一读取结果与所述第二读取结果相匹配，则产生匹配读取结果作为最终读取结果；
如果所述第一读取结果与所述第二读取结果不匹配，则使用所述第一读取结果、所述第一置信水平、所述第二读取结果和所述第二置信水平，利用所述融合模块产生最终读取结果。
9.根据权利要求8所述的方法，其中所述融合模块从所述第一读取结果选择至少一个字符，并从所述第二读取结果选择至少一个字符以产生所述最终读取结果。
10.根据权利要求8所述的方法，其中所述融合模块提供与所述最终读取结果相关联的第三置信水平。
11.根据权利要求10所述的方法，其中如果所述第三置信水平低于预定义的阈值，则所述最终读取结果被指定为无效。
12.根据权利要求8所述的方法，其中所述基于特征的OCR引擎和所述基于图案的OCR引擎评估所述相同的图像以产生所述第一读取结果和所述第二读取结果。
13.根据权利要求8所述的方法，其中所述基于特征的OCR引擎和所述基于图案的OCR引擎评估不同的图像以产生所述第一读取结果和所述第二读取结果。
14.根据权利要求8所述的方法，其中所述基于特征的OCR引擎从通过第一信道接收的信息产生所述第一读取结果，并且其中所述基于图案的OCR引擎从通过所述第二信道接收的信息产生所述第二读取结果。
15.一种具有双嵌入式光学字符识别(OCR)引擎的相机系统，所述相机系统包括：
相机模块，所述相机模块用于捕获车辆的图像，所述图像包括具有车牌号码的车牌，所述车牌号码包含字符；
第一OCR引擎，所述第一OCR引擎通过从所述车牌提取所述字符来产生第一读取结果和第一置信水平；
第二OCR引擎，所述第二OCR引擎从所述车牌提取所述字符来产生第二读取结果和第二置信水平；
比较器，所述比较器用于比较所述第一读取结果与所述第二读取结果；
其中如果所述第一读取结果与所述第二读取结果相匹配，则所述系统产生匹配读取结果作为最终读取结果；
其中如果所述第一读取结果与所述第二读取结果不匹配，则融合模块使用所述第一读取结果、所述第一置信水平、所述第二读取结果和所述第二置信水平来产生最终读取结果。
16.根据权利要求15所述的系统，其中所述融合模块从所述第一读取结果中选择至少一个字符，并从所述第二读取结果中选择至少一个字符以产生所述最终读取结果。
17.根据权利要求15所述的系统，其中所述融合模块提供与所述最终读取结果相关联的第三置信水平。
18.根据权利要求17所述的系统，其中如果所述第三置信水平低于预定义的阈值，则所述最终读取结果被指定为无效。
19.根据权利要求15所述的系统，其中所述基于特征的OCR引擎和所述基于图案的OCR引擎评估所述相同的图像以产生所述第一读取结果和所述第二读取结果。
20.根据权利要求15所述的系统，其中所述基于特征的OCR引擎和所述基于图案的OCR引擎评估不同的图像以产生所述第一读取结果和所述第二读取结果。
21.根据权利要求15所述的系统，其中所述基于特征的OCR引擎从通过第一信道接收的信息产生所述第一读取结果，并且其中所述基于图案的OCR引擎从通过所述第二信道接收的信息产生所述第二读取结果。
CN201680023117.9A 2015-04-20 2016-04-06 双嵌入式光学字符识别(ocr)引擎 Pending CN107533645A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562149809P 2015-04-20 2015-04-20
US62/149,809 2015-04-20
PCT/US2016/026094 WO2016171901A1 (en) 2015-04-20 2016-04-06 Dual embedded optical character recognition (ocr) engines

Publications (1)

Publication Number Publication Date
CN107533645A true CN107533645A (zh) 2018-01-02

Family

ID=55755765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680023117.9A Pending CN107533645A (zh) 2015-04-20 2016-04-06 双嵌入式光学字符识别(ocr)引擎

Country Status (7)

Country Link
US (1) US20180107892A1 (zh)
EP (1) EP3286693A1 (zh)
JP (1) JP2018513495A (zh)
CN (1) CN107533645A (zh)
AR (1) AR104321A1 (zh)
TW (1) TW201702936A (zh)
WO (1) WO2016171901A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948634A (zh) * 2017-12-21 2019-06-28 江苏奥博洋信息技术有限公司 一种判断两张图像特征是否一致的方法
CN110254438A (zh) * 2018-03-12 2019-09-20 松下知识产权经营株式会社 信息处理装置及程序记录介质
CN110490185A (zh) * 2019-08-23 2019-11-22 北京工业大学 一种基于多次对比矫正ocr名片信息识别改进方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019640B2 (en) * 2016-06-24 2018-07-10 Accenture Global Solutions Limited Intelligent automatic license plate recognition for electronic tolling environments
US10963720B2 (en) * 2018-05-31 2021-03-30 Sony Corporation Estimating grouped observations
CN109271967B (zh) * 2018-10-16 2022-08-26 腾讯科技（深圳）有限公司 图像中文本的识别方法及装置、电子设备、存储介质
JP7317612B2 (ja) * 2019-07-18 2023-07-31 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2021068202A (ja) * 2019-10-24 2021-04-30 富士ゼロックス株式会社 情報処理装置及びプログラム
EP3926535A1 (en) 2020-06-17 2021-12-22 JENOPTIK Traffic Solutions UK Ltd Methods for automatic number plate recognition systems
CN112257541A (zh) * 2020-10-16 2021-01-22 浙江大华技术股份有限公司 车牌识别方法以及电子设备、计算机可读存储介质
AU2022234565A1 (en) * 2021-03-10 2023-08-31 Leonardo Us Cyber And Security Solutions, Llc Systems and methods for vehicle information capture using white light
CN114694152B (zh) * 2022-04-01 2023-03-24 江苏行声远科技有限公司 基于三源ocr结果的印刷文本可信度融合方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692313A (zh) * 2009-07-03 2010-04-07 华东师范大学 基于嵌入式平台的便携式车辆识别装置
US20120134589A1 (en) * 2010-11-27 2012-05-31 Prakash Reddy Optical character recognition (OCR) engines having confidence values for text types
US20140348392A1 (en) * 2013-05-22 2014-11-27 Xerox Corporation Method and system for automatically determining the issuing state of a license plate
US9043349B1 (en) * 2012-11-29 2015-05-26 A9.Com, Inc. Image-based character recognition

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63263588A (ja) * 1987-04-21 1988-10-31 Mitsubishi Electric Corp 文字読取装置
JPH04242493A (ja) * 1991-01-16 1992-08-31 Toshiba Corp 情報認識装置
JPH0520488A (ja) * 1991-07-16 1993-01-29 Matsushita Electric Ind Co Ltd ナンバープレート文字認識装置
JP3291873B2 (ja) * 1993-11-24 2002-06-17 株式会社デンソー ナンバープレートの認識装置
JPH09223188A (ja) * 1996-02-19 1997-08-26 Fujitsu Ltd 文字認識装置
JP2000155803A (ja) * 1998-11-20 2000-06-06 Nec Corp 文字読取方法および光学式文字読取装置
EP1644863A4 (en) 2003-07-10 2008-04-16 James Simon AUTONOME WIDE ANGLE NUMBER PLAY IDENTIFICATION
US7579965B2 (en) 2006-03-03 2009-08-25 Andrew Bucholz Vehicle data collection and processing system
WO2008099664A1 (ja) * 2007-02-15 2008-08-21 Mitsubishi Heavy Industries, Ltd. 車両番号認識装置
US10176392B2 (en) * 2014-01-31 2019-01-08 Longsand Limited Optical character recognition
WO2016005485A1 (en) * 2014-07-10 2016-01-14 Sanofi-Aventis Deutschland Gmbh Apparatus for capturing and processing images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692313A (zh) * 2009-07-03 2010-04-07 华东师范大学 基于嵌入式平台的便携式车辆识别装置
US20120134589A1 (en) * 2010-11-27 2012-05-31 Prakash Reddy Optical character recognition (OCR) engines having confidence values for text types
US9043349B1 (en) * 2012-11-29 2015-05-26 A9.Com, Inc. Image-based character recognition
US20140348392A1 (en) * 2013-05-22 2014-11-27 Xerox Corporation Method and system for automatically determining the issuing state of a license plate

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948634A (zh) * 2017-12-21 2019-06-28 江苏奥博洋信息技术有限公司 一种判断两张图像特征是否一致的方法
CN110254438A (zh) * 2018-03-12 2019-09-20 松下知识产权经营株式会社 信息处理装置及程序记录介质
CN110254438B (zh) * 2018-03-12 2024-08-13 松下知识产权经营株式会社 信息处理装置及程序记录介质
CN110490185A (zh) * 2019-08-23 2019-11-22 北京工业大学 一种基于多次对比矫正ocr名片信息识别改进方法

Also Published As

Publication number Publication date
EP3286693A1 (en) 2018-02-28
AR104321A1 (es) 2017-07-12
US20180107892A1 (en) 2018-04-19
TW201702936A (zh) 2017-01-16
JP2018513495A (ja) 2018-05-24
WO2016171901A1 (en) 2016-10-27

Similar Documents

Publication Publication Date Title
CN107533645A (zh) 双嵌入式光学字符识别(ocr)引擎
US10311319B2 (en) System and method for recognizing vehicle license plate information
US8682036B2 (en) System and method for street-parking-vehicle identification through license plate capturing
US9367966B2 (en) Smartphone augmented video-based on-street parking management system
CN205486314U (zh) 一种车牌识别停车场管理设备
US20140314278A1 (en) Image processing apparatus, image processing method, program, and image processing system
US11113582B2 (en) Method and system for facilitating detection and identification of vehicle parts
Yousef et al. SIFT based automatic number plate recognition
EP2601617A1 (en) Method and system for collecting information relating to identity parameters of a vehicle
CN103530648A (zh) 一种基于多帧图像的人脸识别方法
CN106780886A (zh) 一种车辆识别系统和车辆进场、出场识别方法
JP2008033462A (ja) 車両検索システム
JP2016162354A (ja) 車軸数検出装置、車種判別システム、車軸数検出方法及びプログラム
SE539774C2 (en) Methods, a system and an analysis server for verifying an authenticity of an identity document and extracting textual information there from
CN104834932A (zh) 一种汽车车牌识别的matlab算法
CN109360279A (zh) 一种有牌车辆停车计费方法及停车计费系统
KR20160040036A (ko) 다수의 ip카메라를 이용한 차량번호판 인식장치 및 인식방법
SP et al. Automatic Number Plate Recognition System for Entry and Exit Management
JP5991886B2 (ja) 駐車場システム
Sen et al. Advanced license plate recognition system for car parking
SE539776C2 (en) A method and a scanner for verifying the authenticity of an identity document
CN112215222A (zh) 车牌识别方法、装置、设备及存储介质
CN110119769A (zh) 一种基于多模态车辆特征的检测预警方法
Balci et al. Front-View Vehicle Make and Model Recognition on Night-Time NIR Camera Images
CN201936452U (zh) 车牌自动识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180102