CN111639640B - 基于人工智能的车牌识别方法、装置及设备 - Google Patents

基于人工智能的车牌识别方法、装置及设备 Download PDF

Info

Publication number
CN111639640B
CN111639640B CN202010334073.XA CN202010334073A CN111639640B CN 111639640 B CN111639640 B CN 111639640B CN 202010334073 A CN202010334073 A CN 202010334073A CN 111639640 B CN111639640 B CN 111639640B
Authority
CN
China
Prior art keywords
chinese character
license plate
image
detected
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010334073.XA
Other languages
English (en)
Other versions
CN111639640A (zh
Inventor
颜银慧
周正锦
张�成
沈树鹏
艾烨霜
萧达安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Genvict Technology Co Ltd
Original Assignee
Shenzhen Genvict Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Genvict Technology Co Ltd filed Critical Shenzhen Genvict Technology Co Ltd
Priority to CN202010334073.XA priority Critical patent/CN111639640B/zh
Publication of CN111639640A publication Critical patent/CN111639640A/zh
Application granted granted Critical
Publication of CN111639640B publication Critical patent/CN111639640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Character Discrimination (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种基于人工智能的车牌识别方法、装置及设备。该方法包括：通过摄像头获取待识别图像，并对待识别图像进行车脸检测，获得车脸图像；基于车牌图像特征对车脸图像中的车牌进行检测，并从车脸图像中分割得到车牌图像；对车牌图像进行字符检测，并根据预设的车牌字符集进行字符识别，确定车牌号码；其中，车牌字符集包括用于车牌的非汉字集、汉字集以及汉字集中各个汉字的组成部分，非汉字集包括数字集和字母集。通过从待识别的图像中先获取车脸图像再进行车牌检测，排除了背景对于车牌识别的干扰；通过扩大字符识别类别，有效解决了遮挡问题，从而提高了车牌识别的准确率。

Description

基于人工智能的车牌识别方法、装置及设备
技术领域
本发明实施例涉及计算机视觉技术领域，具体涉及一种基于人工智能的车牌识别方法、装置及设备。
背景技术
随着居民生活水平的提高和出行需求的增加，我国的汽车保有量不断攀升。车牌识别技术成为智能交通管理的重要技术之一，广泛应用于停车管理、交通执法、车辆调度、交通诱导等各种场合。传统的基于射频的车牌识别方法需要在车辆中部署射频标签，不仅成本高，而且部署不便；相较于基于射频的车牌识别方法来说，基于视觉的车牌识别方法具有成本低，部署方便，同时可以为交通执法留存重要的图片证据等优点，而具有更广泛的应用前景。
基于视觉的车牌识别方法例如可以利用图像处理技术在整幅图片中进行车牌检测，并对检测到的车牌进行识别，然而该方法容易将图片背景中的干扰因素误判为车牌，举例来说，若图片中包含车牌在积水中的倒影、工作服上的工牌号码、广告牌上的号码等，都有可能被误判为车牌，影响车牌识别的准确率。而且现有基于视觉的车牌识别方法，在车牌上的字符被其他物体遮挡时，车牌识别的准确率将急速下降。
综上所述，如何提高车牌识别的准确率是本领域技术人员不断追求的目标。
发明内容
本发明实施例提供一种基于人工智能的车牌识别方法、装置及设备，用以提高车牌识别的准确率。
第一方面，本发明实施例提供一种基于人工智能的车牌识别方法，包括：
通过摄像头获取待识别图像，并对待识别图像进行车脸检测，获得车脸图像；
基于车牌图像特征对车脸图像中的车牌进行检测，并从车脸图像中分割得到车牌图像；
对车牌图像进行字符检测，并根据预设的车牌字符集进行字符识别，确定车牌号码；其中，车牌字符集包括用于车牌的非汉字集、汉字集以及汉字集中各个汉字的组成部分，非汉字集包括数字集和字母集。
一种实施例中，对车牌图像进行字符检测，包括：
对车牌图像中待检测汉字的各组成部分、待检测非汉字进行定位，获得待检测汉字的各组成部分和待检测非汉字在车牌图像中的位置信息；
根据位置信息，对待检测汉字的各组成部分和待检测非汉字进行聚类组合，得到汉字聚类组合以及非汉字聚类组合。
一种实施例中，根据预设的车牌字符集进行字符识别，确定车牌号码，包括：
根据汉字集中各个汉字的组成部分，分别与汉字聚类组合包括的待检测汉字的各组成部分进行相似度匹配，从而确定待检测汉字的各组成部分的类别；
基于待检测汉字的各组成部分的类别，与汉字集中的各个汉字进行相似度匹配，从而确定汉字聚类组合的类别；
根据非汉字集对非汉字聚类组合进行相似度匹配，从而确定非汉字聚类组合的类别；
结合汉字聚类组合的类别以及非汉字聚类组合的类别，确定车牌号码。
一种实施例中，基于待检测汉字的各组成部分的类别，与汉字集中的各个汉字进行相似度匹配，从而确定汉字聚类组合的类别，包括：
确定汉字集中各个汉字包含待检测汉字的各组成部分的类别的数量，将其中包含数量最多的目标汉字作为汉字聚类组合的类别。
一种实施例中，若目标汉字不唯一，所述方法还包括：
根据待检测汉字的各组成部分的位置信息，确定待检测汉字的各组成部分的相邻关系；
将符合相邻关系的目标汉字作为汉字聚类组合的类别。
一种实施例中，相邻关系包括左右关系、上下关系、包围关系、半包围关系中的任意一种。
一种实施例中，待检测汉字的各组成部分和待检测非汉字在车牌图像中的位置信息分别采用待检测汉字的各组成部分和待检测非汉字在车牌图像中基于预设规则选定的特定坐标表示。
第二方面，本发明实施例提供一种基于人工智能的车牌识别装置，包括：
车脸检测模块，用于通过摄像头获取待识别图像，并对待识别图像进行车脸检测，获得车脸图像；
车牌检测模块，用于基于车牌图像特征对车脸图像中的车牌进行检测，并从车脸图像中分割得到车牌图像；
字符识别模块，用于对车牌图像进行字符检测，并根据预设的车牌字符集进行字符识别，确定车牌号码；其中，车牌字符集包括用于车牌的非汉字集、汉字集以及汉字集中各个汉字的组成部分，非汉字集包括数字集和字母集。
第三方面，本发明实施例提供一种基于人工智能的车牌识别设备，包括：
至少一个处理器和存储器；
存储器存储计算机执行指令；
至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如第一方面任一项所述的基于人工智能的车牌识别方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面任一项所述的基于人工智能的车牌识别方法。
本发明实施例提供的基于人工智能的车牌识别方法、装置及设备，通过摄像头获取待识别图像，并对待识别图像进行车脸检测，获得车脸图像；基于车牌图像特征对车脸图像中的车牌进行检测，并从车脸图像中分割得到车牌图像；对车牌图像进行字符检测，并根据预设的车牌字符集进行字符识别，确定车牌号码；其中，车牌字符集包括用于车牌的非汉字集、汉字集以及汉字集中各个汉字的组成部分，非汉字集包括数字集和字母集。通过从待识别的图像中先获取车脸图像再进行车牌检测，排除了背景对于车牌识别的干扰；通过扩大字符识别类别，有效解决了遮挡问题，从而提高了车牌识别的准确率。
附图说明
图1A-1C为车牌识别的应用场景示意图；
图2为一种实施例的基于人工智能的车牌识别方法的流程图；
图3为一种实施例的车牌识别过程示意图；
图4为又一种实施例的基于人工智能的车牌识别方法的流程图；
图5为一种实施例的基于人工智能的车牌识别装置的结构示意图；
图6为一种实施例的基于人工智能的车牌识别设备的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
基于视觉的车牌识别方法由于具有成本低，部署方便，同时可以为交通执法留存重要的图片证据等诸多优点，因而具有广泛的应用前景。同时，由于受到图片拍摄背景、角度、光线等诸多因素干扰，导致车牌识别的准确率降低。图1A-1C为车牌识别的应用场景示意图，示出了几种典型的场景。如图1A所示，雨后的路面上有积水，此时车牌在积水中形成倒影，现有车牌识别方法基于整张图片进行检测，会将积水中的车牌镜像误判为车牌进行识别；如图1B所示，保安制服上的徽章包括数字和大写字母，组成类似车牌号，现有车牌识别方法基于整张图片进行检测时容易将该徽章误识别为车牌；如图1C所示，该车牌的省份标识“湘”的一部分因为某些原因(如被灰尘覆盖、树荫遮挡、强光反射等)被遮挡了，导致车牌无法被识别出。
针对上述问题，本申请提出一种多阶段的基于人工智能的车牌识别方法。所谓多阶段是指将车牌识别过程分为：车脸检测、车牌检测和字符检测与识别。车牌通常悬挂在车脸上，因此首先进行车脸检测将车脸从图像中分割出来，可以有效的排除背景中的干扰因素(如积水中的镜像、制服上的徽章等)，降低误判，提高识别准确率。针对字符被遮挡无法识别的问题，本申请在字符识别阶段，通过对汉字进行拆分，扩展了字符类别总数，有利于提高车牌字符识别准确率。以上是对本申请发明构思的概述，下面通过具体的实施例来对本申请的技术方案进行详细说明。
图2为一种实施例的基于人工智能的车牌识别方法的流程图。如图2所示，本实施例提供的基于人工智能的车牌识别方法可以包括：
S101、通过摄像头获取待识别图像，并对待识别图像进行车脸检测，获得车脸图像。
本实施例中可以通过摄像头来获取待识别图像，例如可以通过设置在停车场入口或者出口处的摄像头，拍摄车辆出入停车场的图像作为待识别图像；也可以通过安装在各个道路监控点的交通监控摄像头拍摄车辆的违章图像作为待识别图像；还可以通过智慧灯杆上的监控摄像头获取待识别图像。本实施例对于待识别图像的来源、拍摄方式、图片大小等不做限制。
通常车牌的悬挂方式为：在车辆的前车脸和后车脸上分别悬挂。因此，本实施例中对待识别图像进行车脸检测，获得的车脸图像既可以是前车脸图像，也可以是后车脸图像。
具体的，可以将车脸作为检测目标，通过目标检测的方法从待识别的图像中获取车脸图像。可以采用基于深度学习的目标检测方法，如基于深度卷积神经网络训练目标检测模型用于进行车脸检测。
一种可选的实施方式中，从待识别的图像中获取车脸图像具体可以包括：采用预先训练好的基于深度学习的车脸检测模型，从待识别的图像中获取车脸图像，车脸检测模型是采用标记了车脸位置的图像，基于以下网络之一训练得到ResNet 101、VGG 16、MobileNet、SqueezeNet和ShuffleNet。可以理解的是，对于硬件性能良好的设备来说，可以采用大型网络如ResNet 101、VGG 16等；对于硬件性能较差的设备来说，可以采用小型网络如MobileNet、SqueezeNet和ShuffleNet等。
为了对车脸检测模型进行训练，需要获取大量标记了车脸位置的图像作为训练样本集；为了获得鲁棒性和泛化能力强的车脸检测模型，训练样本集应当包括尽可能多的车型的前脸图像和后脸图像。对于车脸位置的标记形式可以采用矩形框，或者其他多边形框，如平行四边形。以训练样本集中的图像作为车脸检测模型的输入，以标记的车脸位置作为车脸检测模型的期望输出，对车脸检测模型进行训练，直至车脸检测模型的实际输出与期望输出的偏差满足要求。
本实施例中从待识别的图像中获取的车脸图像其输出形式可以为矩形框，也可以是其他多边形框。
S102、基于车牌图像特征对车脸图像中的车牌进行检测，并从车脸图像中分割得到车牌图像。
本实施例中可以采用现有车牌识别方法从车脸图像中分割出车牌图像。
虽然采用现有车牌识别方法也可以分割出车牌图像，但是现有方法通常是从包含了大量干扰因素在内的整幅拍摄图像中获取车牌图像的，而本申请是从车脸图像中获取车牌图像，因此为了提高车牌图像的分割效率和准确率，在一种可选的实现方式中，从车脸图像中分割出车牌图像具体可以包括：采用预先训练好的车牌检测模型，从车脸图像中分割出车牌图像，车牌检测模型基于深度卷积神经网络，采用标记了车牌位置的车脸图像训练得到。
本实施例中为了对车牌检测模型进行训练，需要获取大量标记了车牌位置的车脸图像作为训练样本集；为了获得鲁棒性和泛化能力强的车牌检测模型，训练样本集应当包括尽可能多的车型的前脸图像和后脸图像。对于车牌位置的标记形式可以采用矩形框，或者其他多边形框，如平行四边形。以训练样本集中的车脸图像作为车牌检测模型的输入，以标记的车牌位置作为车牌检测模型的期望输出，对车牌检测模型进行训练，直至车牌检测模型的实际输出与期望输出的偏差满足要求。
本实施例中从车脸图像中分割出的车牌图像其输出形式可以为矩形框，也可以是其他多边形框。
S103、对车牌图像进行字符检测，并根据预设的车牌字符集进行字符识别，确定车牌号码；其中，车牌字符集包括用于车牌的非汉字集、汉字集以及汉字集中各个汉字的组成部分，非汉字集包括数字集和字母集。
本实施例中在获取到车牌图像之后，可以对获取到的车牌图像进行字符检测，并根据预设的车牌字符集进行字符识别，以确定车牌号码。
本实施例中预设的车牌字符集可以包括用于车牌的非汉字集、汉字集以及汉字集中各个汉字的组成部分。其中，非汉字集可以包括数字集和字母集。具体的，数字集可以包括0-9共10个数字；字母集可以包括24个大写的英文字母(大写字母I和O通常不用于车牌)；汉字集可以包括各省份、自治区、直辖市和特别行政区的简称，还可以包括一些用于标识特殊用途车辆的汉字如警、使、领、学等。本实施例通过对用于车牌的汉字集中各个汉字进行拆分，将各个汉字的组成部分纳入预设的车牌字符集，扩大了字符的识别类别。举例来说，汉字“湘”的组成部分可以包括：氵、木、目；汉字“皖”的组成部分可以包括：白和完；汉字“吉”的组成部分可以包括：士和口。
通过扩大字符的识别类别，可以有效解决字符被遮挡无法识别或者容易识别错误的问题，有助于提高车牌识别准确率。以图1C为例，图中的车牌首汉字“湘”的左边被遮挡，根据本实施例提供的预设的车牌字符集可以将其识别为“相”，再根据组成部分与汉字的对应关系，可以进一步确定其为“湘”，便可以完成对车牌汉字的准确识别。
上述步骤S101、S102和S103分别从车脸检测、车牌检测和字符检测与识别对车牌识别过程进行了说明。下面通过一个具体的例子来说明车牌识别的过程。图3为一种实施例的车牌识别过程示意图。如图3所示，从左至右依次为车脸检测、车牌检测和车牌字符检测与识别。
本实施例提供的基于人工智能的车牌识别方法，通过摄像头获取待识别图像，并对待识别图像进行车脸检测，获得车脸图像；基于车牌图像特征对车脸图像中的车牌进行检测，并从车脸图像中分割得到车牌图像；对车牌图像进行字符检测，并根据预设的车牌字符集进行字符识别，确定车牌号码；其中，车牌字符集包括用于车牌的非汉字集、汉字集以及汉字集中各个汉字的组成部分，非汉字集包括数字集和字母集。通过从待识别的图像中先获取车脸图像再进行车牌检测，排除了图像背景对于车牌识别的干扰，有助于提高车牌识别的准确率；通过扩大字符识别类别，有效解决了遮挡问题，进一步提高了车牌识别的准确率。
图4为又一种实施例的基于人工智能的车牌识别方法的流程图。如图4所示，本实施例提供的基于人工智能的车牌识别方法可以包括：
S201、通过摄像头获取待识别图像，并对待识别图像进行车脸检测，获得车脸图像。
具体实现方式可以参考上述实施例，此处不再赘述。
S202、基于车牌图像特征对车脸图像中的车牌进行检测，并从车脸图像中分割得到车牌图像。
具体实现方式可以参考上述实施例，此处不再赘述。
S203、对车牌图像中待检测汉字的各组成部分、待检测非汉字进行定位，获得待检测汉字的各组成部分和待检测非汉字在车牌图像中的位置信息。
本实施例中的位置信息可以分别采用待检测汉字的各组成部分和待检测非汉字在车牌图像中基于预设规则选定的特定坐标表示。例如可以采用四边形的左上角坐标信息、右下角坐标信息、中间坐标信息或者采用关键点的坐标信息表示。通常情况下用于采集图像的摄像头是固定的，而车辆的机动性很大，因此获取到的图像其拍摄角度是各种各样的，车牌图像也可能产生畸变。本实施例中的位置信息并不局限于矩形，而是可以采用平行四边形、点等进行表示，从而不需要进行车牌校正，进而可以提高识别速度。
以图1C为例，进行定位之后，将会获得汉字的各组成部分“木”和“目”在车牌中的位置信息，以及非汉字“G”、“0”、“8”、“1”、“6”和“8”在车牌图像中的位置信息。若采用了矩形框进行定位，则位置信息可以采用[左上角x坐标，左上角y坐标，右下角x坐标，右下角y坐标]表示。
需要特别说明的是，本实施例中是针对车牌图像中汉字的各组成部分进行检测，而不是针对车牌图像中的汉字进行检测。以图1C为例，本实施例中获取到的是“木”和“目”在车牌中的位置信息，而并非“相”在车牌中的位置信息。通过对待检测汉字的各组成部分进行定位并识别，有助于提高遮挡环境下车牌识别的准确率。
S204、根据位置信息，对待检测汉字的各组成部分和待检测非汉字进行聚类组合，得到汉字聚类组合以及非汉字聚类组合。
在进行定位，获取位置信息之后，便可以根据位置信息，对待检测汉字的各组成部分和待检测非汉字进行聚类组合。车牌中字符的排布顺序以及字符的宽度都具有一定的规律性，在获取位置信息之后，便可以结合车牌中字符的规律性，进行聚类组合。以图1C为例，得到的汉字聚类组合包括“木”和“目”，非汉字聚类组合包括“G”、“0”、“8”、“1”、“6”和“8”。
S205、根据汉字集中各个汉字的组成部分，分别与汉字聚类组合包括的待检测汉字的各组成部分进行相似度匹配，从而确定待检测汉字的各组成部分的类别；基于待检测汉字的各组成部分的类别，与汉字集中的各个汉字进行相似度匹配，从而确定汉字聚类组合的类别。
本实施例中例如可以分别计算汉字聚类组合包括的待检测汉字的各组成部分与用于车牌的汉字集中各个汉字的组成部分的相似度值，根据相似度值确定汉字聚类组合中各个组成部分的类别。以图1C为例，经过相似度匹配之后，可以确定汉字聚类组合中“木”和“目”的类别为木和目。
在确定待检测汉字的各组成部分的类别之后，便可以继续将其与用于车牌的汉字集中的各个汉字进行相似度匹配，以最终确定汉字聚类组合的类别。在一种可选的实施方式中，基于汉字的各组成部分的类别，与汉字集进行相似度匹配，从而确定汉字聚类组合的类别，可以包括：
确定汉字集中各个汉字包含待检测汉字的各组成部分的类别的数量，将其中包含数量最多的目标汉字作为汉字聚类组合的类别。
以图1C为例，在确定汉字的各组成部分的类别为“木”和“目”之后，将其与用于车牌的汉字集中的各个汉字进行相似度匹配。汉字集中包含木的有湘和桂。经过相似度匹配之后，可以确定“湘”包含汉字聚类组合中各组成部分的类别的数量为2，而“桂”包含汉字聚类组合中各组成部分的类别的数量为1。将其中包含数量最多的目标汉字作为汉字聚类组合的类别，因此汉字聚类组合的类别最终确定为湘。
当汉字集中各个汉字包含各组成部分的类别的数量相等时，也就是说识别出的目标汉字不唯一，则还可以根据待检测汉字的各组成部分的位置信息，确定待检测汉字的各组成部分的相邻关系；将符合相邻关系的目标汉字作为汉字聚类组合的类别。其中，相邻关系可以包括左右关系、上下关系、包围关系、半包围关系中的任意一种。
S206、根据非汉字集对非汉字聚类组合进行相似度匹配，从而确定非汉字聚类组合的类别。
本实施例中可以分别计算非汉字聚类组合中各个字符与用于车牌的非汉字集的相似度值，根据相似度值确定各个字符的类别，进而确定非汉字聚类组合的类别。需要说明的是，本实施例并不限定步骤S205和步骤S206的执行顺序。
S207、结合汉字聚类组合的类别以及非汉字聚类组合的类别，确定车牌号码。
在确定了汉字聚类组合的类别以及非汉字聚类组合的类别之后，便可以根据位置信息，从左至右进行排列，最终确定车牌号码。
本实施例提供的基于人工智能的车牌识别方法，在上述实施例的基础上，对车牌图像中待检测汉字的各组成部分、待检测非汉字进行定位，获得待检测汉字的各组成部分和待检测非汉字在车牌图像中的位置信息；根据位置信息，对待检测汉字的各组成部分和待检测非汉字进行聚类组合，得到汉字聚类组合以及非汉字聚类组合；分别确定汉字聚类组合的类别以及非汉字聚类组合的类别，进而确定车牌号码。针对车牌图像中待检测汉字的各组成部分进行定位与识别，有效地解决了字符被部分遮挡无法识别或者容易识别错误的问题，提高了车牌识别的准确率。
图5为一种实施例的基于人工智能的车牌识别装置的结构示意图。如图5所述，本实施例提供的基于人工智能的车牌识别装置50可以包括：车脸检测模块501、车牌检测模块502和字符识别模块503。
车脸检测模块501，用于通过摄像头获取待识别图像，并对待识别图像进行车脸检测，获得车脸图像。
车牌检测模块502，用于基于车牌图像特征对车脸图像中的车牌进行检测，并从车脸图像中分割得到车牌图像。
字符识别模块503，用于对车牌图像进行字符检测，并根据预设的车牌字符集进行字符识别，确定车牌号码；其中，车牌字符集包括用于车牌的非汉字集、汉字集以及汉字集中各个汉字的组成部分，非汉字集包括数字集和字母集。
本实施例的装置，可以用于执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本发明实施例还提供一种基于人工智能的车牌识别设备，请参见图6所示，本发明实施例仅以图6为例进行说明，并不表示本发明仅限于此。图6为一种实施例的基于人工智能的车牌识别设备的结构示意图。如图6所示，本实施例提供的基于人工智能的车牌识别设备60可以包括：存储器601、处理器602和总线603。其中，总线603用于实现各元件之间的连接。
存储器601中存储有计算机程序，计算机程序被处理器602执行时可以实现上述任一方法实施例的技术方案。
其中，存储器601和处理器602之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线603连接。存储器601中存储有实现基于人工智能的车牌识别方法的计算机程序，包括至少一个可以软件或固件的形式存储于存储器601中的软件功能模块，处理器602通过运行存储在存储器601内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器601可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器601用于存储程序，处理器602在接收到执行指令后，执行程序。进一步地，上述存储器601内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器602可以是一种集成电路芯片，具有信号的处理能力。上述的处理器602可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图6的结构仅为示意，还可以包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件和/或软件实现。
本实施例提供的基于人工智能的车牌识别设备，可以对自己采集的图像进行识别，也可以从其他设备获取图像进行识别。可以理解的是，当需要自行采集图像时，该设备还可以包括用于获取车辆图像的图像采集装置，如摄像头、照相机等。图像采集装置与处理器602通信连接，将所采集的图像发送至处理器602进行车牌识别。
需要说明的是，本实施例提供的基于人工智能的车牌识别设备包括但不限于以下中的至少一个：用户侧设备、网络侧设备。用户侧设备包括但不限于计算机、智能手机、平板电脑，例如设置在停车场出入口的车牌识别设备。网络侧设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机组成的一个超级虚拟计算机。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (7)

1.一种基于人工智能的车牌识别方法，其特征在于，包括：
通过摄像头获取待识别图像，并对所述待识别图像进行车脸检测，获得车脸图像；
基于车牌图像特征对所述车脸图像中的车牌进行检测，并从所述车脸图像中分割得到车牌图像；
对所述车牌图像进行字符检测，并根据预设的车牌字符集进行字符识别，确定车牌号码；其中，所述车牌字符集包括用于车牌的非汉字集、汉字集以及所述汉字集中各个汉字的组成部分，所述非汉字集包括数字集和字母集；
所述对所述车牌图像进行字符检测，并根据预设的车牌字符集进行字符识别，确定车牌号码，包括：
对所述车牌图像中待检测汉字的各组成部分、待检测非汉字进行定位，获得所述待检测汉字的各组成部分和待检测非汉字在所述车牌图像中的位置信息；
根据所述位置信息，对所述待检测汉字的各组成部分和待检测非汉字进行聚类组合，得到汉字聚类组合以及非汉字聚类组合；
根据所述汉字集中各个汉字的组成部分，分别与所述汉字聚类组合包括的所述待检测汉字的各组成部分进行相似度匹配，从而确定所述待检测汉字的各组成部分的类别；
基于所述待检测汉字的各组成部分的类别，与所述汉字集中的各个汉字进行相似度匹配，从而确定所述汉字聚类组合的类别，包括：确定所述汉字集中各个汉字包含所述待检测汉字的各组成部分的类别的数量，将其中包含数量最多的目标汉字作为所述汉字聚类组合的类别；
根据所述非汉字集对所述非汉字聚类组合进行相似度匹配，从而确定所述非汉字聚类组合的类别；
结合所述汉字聚类组合的类别以及非汉字聚类组合的类别，确定所述车牌号码。
2.如权利要求1所述的方法，其特征在于，若所述目标汉字不唯一，所述方法还包括：
根据所述待检测汉字的各组成部分的位置信息，确定所述待检测汉字的各组成部分的相邻关系；
将符合所述相邻关系的目标汉字作为所述汉字聚类组合的类别。
3.如权利要求2所述的方法，其特征在于，所述相邻关系包括左右关系、上下关系、包围关系、半包围关系中的任意一种。
4.如权利要求1-3任一项所述的方法，其特征在于，所述待检测汉字的各组成部分和待检测非汉字在所述车牌图像中的位置信息分别采用所述待检测汉字的各组成部分和所述待检测非汉字在所述车牌图像中基于预设规则选定的特定坐标表示。
5.一种基于人工智能的车牌识别装置，其特征在于，包括：
车脸检测模块，用于通过摄像头获取待识别图像，并对所述待识别图像进行车脸检测，获得车脸图像；
车牌检测模块，用于基于车牌图像特征对所述车脸图像中的车牌进行检测，并从所述车脸图像中分割得到车牌图像；
字符识别模块，用于对所述车牌图像进行字符检测，并根据预设的车牌字符集进行字符识别，确定车牌号码；其中，所述车牌字符集包括用于车牌的非汉字集、汉字集以及所述汉字集中各个汉字的组成部分，所述非汉字集包括数字集和字母集；
所述字符识别模块具体用于：对所述车牌图像中待检测汉字的各组成部分、待检测非汉字进行定位，获得所述待检测汉字的各组成部分和待检测非汉字在所述车牌图像中的位置信息；根据所述位置信息，对所述待检测汉字的各组成部分和待检测非汉字进行聚类组合，得到汉字聚类组合以及非汉字聚类组合；根据所述汉字集中各个汉字的组成部分，分别与所述汉字聚类组合包括的所述待检测汉字的各组成部分进行相似度匹配，从而确定所述待检测汉字的各组成部分的类别；基于所述待检测汉字的各组成部分的类别，与所述汉字集中的各个汉字进行相似度匹配，从而确定所述汉字聚类组合的类别，包括：确定所述汉字集中各个汉字包含所述待检测汉字的各组成部分的类别的数量，将其中包含数量最多的目标汉字作为所述汉字聚类组合的类别；根据所述非汉字集对所述非汉字聚类组合进行相似度匹配，从而确定所述非汉字聚类组合的类别；结合所述汉字聚类组合的类别以及非汉字聚类组合的类别，确定所述车牌号码。
6.一种基于人工智能的车牌识别设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-4任一项所述的基于人工智能的车牌识别方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-4任一项所述的基于人工智能的车牌识别方法。
CN202010334073.XA 2020-04-24 2020-04-24 基于人工智能的车牌识别方法、装置及设备 Active CN111639640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010334073.XA CN111639640B (zh) 2020-04-24 2020-04-24 基于人工智能的车牌识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010334073.XA CN111639640B (zh) 2020-04-24 2020-04-24 基于人工智能的车牌识别方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111639640A CN111639640A (zh) 2020-09-08
CN111639640B true CN111639640B (zh) 2023-11-14

Family

ID=72331859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010334073.XA Active CN111639640B (zh) 2020-04-24 2020-04-24 基于人工智能的车牌识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111639640B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221894A (zh) * 2021-05-31 2021-08-06 中邮信息科技(北京)有限公司 车辆的车牌号识别方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163287A (zh) * 2011-03-28 2011-08-24 北京邮电大学 一种基于类Haar特征和支持向量机的车牌字符识别方法
CN103324929A (zh) * 2013-06-25 2013-09-25 天津师范大学 基于子结构学习的手写中文识别方法
CN106845478A (zh) * 2016-12-30 2017-06-13 同观科技（深圳）有限公司 一种字符置信度的二次车牌识别方法及装置
CN108615034A (zh) * 2017-12-14 2018-10-02 燕山大学 一种模板匹配与神经网络算法结合的车牌识别方法
CN110084232A (zh) * 2018-01-25 2019-08-02 浙江宇视科技有限公司 车牌中汉字字符的识别方法、装置及终端设备
CN110288006A (zh) * 2019-06-03 2019-09-27 上海眼控科技股份有限公司 一种车牌号自动校验方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163287A (zh) * 2011-03-28 2011-08-24 北京邮电大学 一种基于类Haar特征和支持向量机的车牌字符识别方法
CN103324929A (zh) * 2013-06-25 2013-09-25 天津师范大学 基于子结构学习的手写中文识别方法
CN106845478A (zh) * 2016-12-30 2017-06-13 同观科技（深圳）有限公司 一种字符置信度的二次车牌识别方法及装置
CN108615034A (zh) * 2017-12-14 2018-10-02 燕山大学 一种模板匹配与神经网络算法结合的车牌识别方法
CN110084232A (zh) * 2018-01-25 2019-08-02 浙江宇视科技有限公司 车牌中汉字字符的识别方法、装置及终端设备
CN110288006A (zh) * 2019-06-03 2019-09-27 上海眼控科技股份有限公司 一种车牌号自动校验方法及系统

Also Published As

Publication number Publication date
CN111639640A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
Luvizon et al. A video-based system for vehicle speed measurement in urban roadways
Panahi et al. Accurate detection and recognition of dirty vehicle plate numbers for high-speed applications
Soilán et al. Traffic sign detection in MLS acquired point clouds for geometric and image-based semantic inventory
Marzougui et al. A lane tracking method based on progressive probabilistic Hough transform
US9002066B2 (en) Methods, systems and processor-readable media for designing a license plate overlay decal having infrared annotation marks
CN110879950A (zh) 多级目标分类及交通标志检测方法和装置、设备、介质
Yousef et al. SIFT based automatic number plate recognition
CN110723432A (zh) 垃圾分类的方法及增强现实设备
Saha et al. i LPR: An indian license plate recognition system
Parvin et al. Vehicle number plate detection and recognition techniques: a review
CN111382735A (zh) 夜间车辆检测方法、装置、设备及存储介质
CN111950345A (zh) 摄像头的识别方法、装置、电子设备和存储介质
CN111639640B (zh) 基于人工智能的车牌识别方法、装置及设备
Ho et al. Intelligent speed bump system with dynamic license plate recognition
CN113221894A (zh) 车辆的车牌号识别方法、装置、电子设备和存储介质
CN112101139A (zh) 人形检测方法、装置、设备及存储介质
Kodwani et al. Automatic license plate recognition in real time videos using visual surveillance techniques
Mutholib et al. Optimization of ANPR algorithm on Android mobile phone
CN111860539A (zh) 一种车牌颜色的识别方法、装置及介质
Dutta et al. Smart usage of open source license plate detection and using iot tools for private garage and parking solutions
ABDULHAMID et al. Software for recognition of car number plate
Varalakshmi et al. Automatic Number Plate Recognition System Using Deep Learning YOLOv5 Algorithm
Mateen et al. Performance Analysis on Automatic Number Plate Recognition System and Methods
Kumar Text information extraction and analysis for autonomous vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant