CN111582261A - 一种非机动车的车牌识别方法和车牌识别装置 - Google Patents

一种非机动车的车牌识别方法和车牌识别装置 Download PDF

Info

Publication number
CN111582261A
CN111582261A CN202010364954.6A CN202010364954A CN111582261A CN 111582261 A CN111582261 A CN 111582261A CN 202010364954 A CN202010364954 A CN 202010364954A CN 111582261 A CN111582261 A CN 111582261A
Authority
CN
China
Prior art keywords
license plate
recognition
layer
image
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010364954.6A
Other languages
English (en)
Other versions
CN111582261B (zh
Inventor
刘秩铭
邵明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010364954.6A priority Critical patent/CN111582261B/zh
Publication of CN111582261A publication Critical patent/CN111582261A/zh
Application granted granted Critical
Publication of CN111582261B publication Critical patent/CN111582261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)

Abstract

本申请公开了一种非机动车的车牌识别方法和车牌识别装置，所述车牌识别方法包括：从待识别车辆图像中获得车牌区域图像以及所述车牌区域图像对应的车牌类型；将所述车牌区域图像中的尺寸小于阈值的无效字符进行模糊化处理；将模糊化处理后的所述车牌区域图像输入至与其车牌类型对应的识别模型中进行识别，以获得车牌字符识别结果。通过上述方式，本申请能够过滤掉无效字符，针对不同的车牌类型选择对应的识别模型，提高车牌字符识别的准确率和效率。

Description

一种非机动车的车牌识别方法和车牌识别装置
技术领域
本申请涉及智能交通技术领域，特别是涉及一种非机动车的车牌识别方法和车牌识别装置。
背景技术
车牌是非机动车的身份证，是区别于其他非机动车的一个重要信息。非机动车的车牌格式一般由所在地、数字、字母等组成，且数字、字母的长度各不相同。各地非机动车的车牌格式严重不统一，且在车牌的顶部或侧部或底部还设置有一些无效字符，例如“电动自行车”、“防盗登记牌”等。针对格式各异的非机动车牌，如何提高目标检测的准确率，正确识别出车牌字符，过滤掉无效字符，是非机动车车牌识别面临的巨大挑战。
发明内容
本申请主要解决的技术问题是提供一种非机动车的车牌识别方法和车牌识别装置，能够过滤掉无效字符，针对不同的车牌类型选择对应的识别模型，提高车牌字符识别的准确率和效率。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种非机动车的车牌识别方法，包括：从待识别车辆图像中获得车牌区域图像以及所述车牌区域图像对应的车牌类型；将所述车牌区域图像中的尺寸小于阈值的无效字符进行模糊化处理；将模糊化处理后的所述车牌区域图像输入至与其车牌类型对应的识别模型中进行识别，以获得车牌字符识别结果。
其中，所述从待识别车辆图像中获得车牌区域图像以及所述车牌区域图像对应的车牌类型，包括：利用包含特征图金字塔网络FPN结构的YOLOV3模型从所述待识别车辆图像中检测出所述车牌区域图像以及所述车牌类型，其中，所述车牌类型包括单层车牌和双层车牌。
其中，所述将模糊化处理后的所述车牌区域图像输入至与其车牌类型对应的识别模型中进行识别，以获得车牌字符识别结果，包括：响应于所述车牌类型为所述单层车牌，将模糊化处理后的所述车牌区域图像输入至单层识别模型中进行识别，以获得车牌字符识别结果；响应于所述车牌类型为所述双层车牌，将模糊化处理后的所述车牌区域图像输入至双层识别模型中进行识别，以获得车牌字符识别结果。
其中，所述响应于所述车牌类型为所述单层车牌，将模糊化处理后的所述车牌区域图像输入至单层识别模型中进行识别，以获得车牌字符识别结果，包括：将所述车牌区域图像依次经过多个卷积层处理以获得第一卷积图像；将所述第一卷积图像输入至长短期记忆网络LSTM中以获得字符序列；将所述字符序列输入至连接时序分类损失CTCloss函数中以获得收敛后的字符序列；利用所述收敛后的字符序列和字符字典获得所述车牌字符识别结果。
其中，所述响应于所述车牌类型为所述双层车牌，将模糊化处理后的所述车牌区域图像输入至双层识别模型中进行识别，以获得车牌字符识别结果，包括：将所述车牌区域图像依次经过多个卷积层处理以获得第二卷积图像；将所述第二卷积图像张量在1/2高度上裁剪，并进行首尾拼接以获得第三卷积图像；将所述第三卷积图像输入至长短期记忆网络LSTM中以获得字符序列；将所述字符序列输入至连接时序分类损失CTCloss函数中以获得收敛后的字符序列；利用所述收敛后的字符序列和字符字典获得所述车牌字符识别结果。
其中，所述单层车牌包括单层绿牌，所述双层车牌包括双层绿牌、双层黄牌、双层白牌、双层蓝牌；所述获得车牌字符识别结果之后，还包括：将所述车牌类型和所述车牌字符识别结果输出。
其中，所述将所述车牌类型和所述车牌字符识别结果输出之前，还包括：根据所述车牌字符识别结果中的汉字将所述车牌类型进一步划分为与所述汉字相关的车牌类型；或者，根据所述车牌字符识别结果中的字符规则将所述车牌类型进一步划分为与所述字符规则相关的车牌类型。
其中，所述将所述车牌区域图像中的尺寸小于阈值的无效字符进行模糊化处理，包括：利用双线性内插法将所述车牌区域图像中尺寸小于阈值的无效字符进行模糊化处理。
其中，所述从待识别车辆图像中获得车牌区域图像以及所述车牌区域图像对应的车牌类型之前，包括：建立基础数据库，所述基础数据库中包含各个省市非机动车辆图像；对所述基础数据库中的车辆图像进行标记，以标记出所述车辆图像中的车牌区域以及车牌内的有效字符；利用标记后的所述车辆图像训练所述YOLOV3模型。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种非机动车的车牌识别装置，包括相互耦接的存储器和处理器，所述存储器内存储有程序指令，所述处理器用于执行所述程序指令以实现上述任一实施例所述的车牌识别方法。
本申请的有益效果是：本申请所提供的非机动车的车牌识别方法中在识别之前会预先将车牌区域图像中尺寸小于阈值的无效字符进行模糊化处理，以过滤掉无效字符，以使得后续在识别过程中不会对该无效字符进行识别，提高车牌字符识别的准确率和效率；且在车牌识别过程中，会采用与车牌类型对应的识别模型进行识别，即不同的车牌类型采用不同的识别模型，以进一步提高车牌字符识别的准确率和效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1为本申请非机动车的车牌识别方法一实施方式的流程示意图；
图2为图1中步骤S103对应的一实施方式的流程示意图；
图3为图2中步骤S201对应的一实施方式的流程示意图；
图4为图2中步骤S202对应的一实施方式的流程示意图；
图5a为非机动车的车辆图像一实施方式的结构示意图；
图5b为非机动车的车辆图像另一实施方式的结构示意图；
图5c为非机动车的车辆图像另一实施方式的结构示意图；
图5d为非机动车的车辆图像另一实施方式的结构示意图；
图6为本申请非机动车的车牌识别装置一实施方式的结构示意图；
图7为本申请非机动车的车牌识别装置一实施方式的结构示意图；
图8为本申请存储装置一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1为本申请非机动车的车牌识别方法一实施方式的流程示意图，该车辆识别方法包括：
S101：从待识别车辆图像中获得车牌区域图像以及车牌区域图像对应的车牌类型。
具体地，上述步骤S101的实现过程可以为：利用包含特征图金字塔网络FPN结构的YOLOV3模型从待识别车辆图像中检测出车牌区域图像以及车牌类型，其中，车牌类型包括单层车牌和双层车牌，单层车牌是指车牌中有效字符分布在同一层，双层车牌是指车牌中有效字符分布在上下两层中，而有效字符包括地区名称和具体车牌字符。上述使用YOLOV3模型检测获得车牌区域图像以及车牌类型的方法耗时低，且检测准确率高。当然，在其他实施例中，也可采用其他模型实现上述步骤S101，本申请对此不作限定。
在一个应用场景中，上述YOLOV3模型中的主网络可以包含五层卷积层，可以使用focal loss损失函数。一般而言，不同地区的非机动车车牌的底色不同，上述单层车牌可以包括单层绿牌，双层车牌可以包括双层绿牌、双层黄牌、双层白牌、双层蓝牌，即上述车牌类型可以进一步细分为五类。上述YOLOV3模型是五分类的目标检测模型，待识别车辆图像缩放至104*104尺寸大小后，输入至YOLOV3模型中，输出结果为上述提到的五分类车牌类型以及车牌区域图像对应的目标框位置(例如，目标框的左上角点和右下角点坐标)。通过上述方式，可以将不同地区的非机动车按照车牌颜色和单双层正确分类为不同类别，分类规则明确，有利于后续车牌字符检测。
在又一个应用场景中，在上述步骤S101之前，还包括：A、建立基础数据库，基础数据库中包含各个省市非机动车辆图像，例如，收集湖南电动三轮车，椒江、温岭、福州、嘉兴、广西、上饶等不同省份的电动车车辆图像，车辆图像中的车牌类型有单层车牌和双层车牌，车牌的底色有黄色、绿色、白色等。例如，可以将车牌具体细分分为5类：单层绿牌、双层绿牌、双层黄牌、双层白牌、双层蓝牌。B、对基础数据库中的车辆图像进行标记，以标记出车辆图像中的车牌区域以及车牌内的有效字符；例如，椒江、温岭等城市的非机动车车牌字符只需标记体现所属城市的汉字“温岭”，而其他小字汉字(如“电动”)为无效字符，无需标记；该步骤可以进一步提高后续识别出有效字符的准确度。C、利用标记后的车辆图像训练YOLOV3模型。
S102：将车牌区域图像中的尺寸小于阈值的无效字符进行模糊化处理。
具体地，在一个实施方式中，为了提高后续识别过程的泛化性，可在上述步骤S102之前，对步骤S101中获得的车牌区域图像对应的目标框在待识别车辆图像中的边界向外扩展预定范围(例如，向外扩展1/8车牌大小)，以获得扩大后的车牌区域图像，将扩大后的车牌区域图像作为步骤S102的输入图像。
在另一个实施方式中，上述步骤S102具体包括：利用双线性内插法将车牌区域图像中尺寸小于阈值的无效字符进行模糊化处理，该方式可以过滤掉小字字符，减少无效字符对后续字符识别的干扰。其中，上述模糊化处理的方式可以为利用背景色覆盖无效字符、或对无效字符进行马赛克处理、或降低无效字符的清晰度等。此外，上述阈值可根据步骤S101中所建立的基础数据库中的车辆图像分析获得。
S103：将模糊化处理后的车牌区域图像输入至与其车牌类型对应的识别模型中进行识别，以获得车牌字符识别结果。
具体地，在本实施例中，字符识别过程可以采用CRNN(卷积循环神经网络)+CTC(连接时序分类)的算法方案。例如，当步骤S101中检测出的车牌类型包括单层车牌或双层车牌时，请参阅图2，图2为图1中步骤S103对应的一实施方式的流程示意，上述步骤S103具体包括：
S201：响应于车牌类型为单层车牌，将模糊化处理后的车牌区域图像输入至单层识别模型中进行识别，以获得车牌字符识别结果。
在一个应用场景中，请参阅图3，图3为图2中步骤S201对应的一实施方式的流程示意图。上述步骤S201的具体实现过程包括：
S301：将车牌区域图像依次经过多个卷积层处理以获得第一卷积图像。具体地，可将车牌区域图像缩放至40*170尺寸大小，然后将缩放后的车牌区域图像依次经多个卷积层(例如，6个卷积层中)进行图像特征提取。
S302：将第一卷积图像输入至长短期记忆网络LSTM中以获得字符序列。具体地，上述步骤S302可以从第一卷积图像中提取出文字序列特征。
S303：将字符序列输入至连接时序分类损失CTCloss函数中以获得收敛后的字符序列。具体地，上述步骤S303可以解决不定长序列的对齐问题。
S304：利用收敛后的字符序列和字符字典获得车牌字符识别结果。具体地，字符字典中数字0～86与数字0到9、26个英文字母、各个省份汉字等一一对应。利用字典字符可以获得与收敛后的字符序列相对应的车牌字符识别结果。
S202：响应于车牌类型为双层车牌，将模糊化处理后的车牌区域图像输入至双层识别模型中进行识别，以获得车牌字符识别结果。
在一个应用场景中，请参阅图4，图4为图2中步骤S202对应的一实施方式的流程示意图。上述步骤S202具体包括：
S401：将车牌区域图像依次经过多个卷积层处理以获得第二卷积图像。具体地，可将车牌区域图像缩放至60*120尺寸大小，然后将缩放后的车牌区域图像依次经多个卷积层(例如，7个卷积层中)进行图像特征提取。
S402：将第二卷积图像张量在1/2高度上裁剪，并进行首尾拼接以获得第三卷积图像。上述步骤S402的目的是模拟将双层车牌裁剪再拼接成单层车牌的操作。
S403：将第三卷积图像输入至长短期记忆网络LSTM中以获得字符序列。具体地，上述步骤S403可以从第一卷积图像中提取出文字序列特征。
S404：将字符序列输入至连接时序分类损失CTCloss函数中以获得收敛后的字符序列。具体地，上述步骤S403可以解决不定长序列的对齐问题。
S405：利用收敛后的字符序列和字符字典获得车牌字符识别结果。具体地，字符字典中数字0～86与数字0到9、26个英文字母、各个省份汉字等一一对应。利用字典字符可以获得与收敛后的字符序列相对应的车牌字符识别结果。
上述两个单层识别模型和双层识别模型的主体结构相似。上述不同车牌类型采用不同识别模型的方式可以使得字符识别正确率较高。
此外，在上述步骤S103获得车牌字符识别结果之后，本申请所提供的车牌识别结果还包括：将车牌类型和车牌字符识别结果输出。例如，输出格式为：车牌类型为双层车牌，车牌字符识别结果为温岭829022。而当车牌类型中包括颜色，例如，为上述提及的五类车牌类型(单层绿牌、双层绿牌、双层黄牌、双层白牌、双层蓝牌)时，上述在输出车牌类型时可以进一步更为具体的输出为五类车牌中的一种。
另外，在其他实施例中，如果两个省份的车牌颜色和字符规则相同例如，椒江和温岭都是双层黄牌且字符长度也相同，可以输出相同的车牌类型，但当有区分两种车牌类型的需求时，可以增加如下策略：在上述步骤S103获得车牌字符识别结果之后，还可以包括：根据车牌字符识别结果中的汉字将车牌类型进一步划分为与汉字相关的车牌类型，例如，可以将原来的车牌类型进一步细分为温岭双层黄牌、椒江双层黄牌等；或者，根据车牌字符识别结果中的字符规则将车牌类型进一步划分为与字符规则相关的车牌类型，例如，6个字符长度的双层车牌等。
下面以一个具体的应用场景对本申请所提供的非机动车的车牌识别方法作进一步说明。
A：建立基础数据库，可以搜集各个省市区的非机动车的车辆图像。例如，如图5a-5d所示，图5a为非机动车的车辆图像一实施方式的结构示意图、图5b为非机动车的车辆图像另一实施方式的结构示意图、图5c为非机动车的车辆图像另一实施方式的结构示意图、图5d为非机动车的车辆图像另一实施方式的结构示意图。在本实施例中，所搜集的车辆图像中包含5类车牌，分别为单层绿牌、双层绿牌、双层黄牌、双层白牌、双层蓝牌。
B：在各个车辆图像中标注出车牌位置信息以及车牌内的有效字符。例如，如5a中有效字符为“湘050322”、图5b中有效字符为“福州00002”、图5c中有效字符为“湘EB24030”、图5d中有效字符为“温岭829022”，且图5d中无效字符为“电动”。
C：利用上述标注后的车辆图像训练包含特征图金字塔网络FPN结构的YOLOV3模型。
D、将待识别车辆图像输入至训练后的YOLOV3模型中，以检测出车牌区域图像以及车牌类型。
E、将车牌区域图像的边界向外扩展1/8车牌大小，将扩展后的车牌区域图像作为后续识别模型的输入图像。如图5b所示，步骤D中车牌区域图像的外边界为图中实线方框所示，步骤E中向外扩展后的车牌区域图像的外边界为图中虚线方框所示。
F、利用双线性内插法将车牌区域图像中尺寸小于阈值的无效字符进行模糊化处理，例如，图5d中“电动”二字可被模糊化处理。
G、响应于车牌区域图像对应的车牌类型为单层车牌，采用单层识别模型进行识别，以获得车牌字符识别结果；响应于车牌区域图像对应的车牌类型为双层车牌，采用双层识别模型进行识别，以获得车牌字符识别结果。
H、显示车牌字符识别结果以及车牌类型。
请参阅图6，图6为本申请非机动车的车牌识别装置一实施方式的结构示意图。该车牌识别装置包括检测模块10、处理模块12以及识别模块14；其中，检测模块10用于从待识别车辆图像中获得车牌区域图像以及所述车牌区域图像对应的车牌类型；处理模块12用于将所述车牌区域图像中的尺寸小于阈值的无效字符进行模糊化处理；识别模块14用于将模糊化处理后的所述车牌区域图像输入至与其车牌类型对应的识别模型中进行识别，以获得车牌字符识别结果。具体检测模块10、处理模块12以及识别模块14的相互配合过程可参见上述方法部分，在此不再赘述。
请参阅图7，图7为本申请非机动车的车牌识别装置一实施方式的结构示意图。该车牌识别装置包括相互耦接的存储器22和处理器20，存储器22内存储有程序指令，处理器20用于执行程序指令以实现上述任一实施例中的车牌识别方法。
请参阅图8，图8为本申请存储装置一实施方式的结构示意图。存储装置30存储有能够被处理器运行的程序指令300，程序指令300用于实现上述任一车牌识别方法实施例中的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种非机动车的车牌识别方法，其特征在于，包括：
从待识别车辆图像中获得车牌区域图像以及所述车牌区域图像对应的车牌类型；
将所述车牌区域图像中的尺寸小于阈值的无效字符进行模糊化处理；
将模糊化处理后的所述车牌区域图像输入至与其车牌类型对应的识别模型中进行识别，以获得车牌字符识别结果。
2.根据权利要求1所述的车牌识别方法，其特征在于，所述从待识别车辆图像中获得车牌区域图像以及所述车牌区域图像对应的车牌类型，包括：
利用包含特征图金字塔网络FPN结构的YOLOV3模型从所述待识别车辆图像中检测出所述车牌区域图像以及所述车牌类型，其中，所述车牌类型包括单层车牌和双层车牌。
3.根据权利要求2所述的车牌识别方法，其特征在于，所述将模糊化处理后的所述车牌区域图像输入至与其车牌类型对应的识别模型中进行识别，以获得车牌字符识别结果，包括：
响应于所述车牌类型为所述单层车牌，将模糊化处理后的所述车牌区域图像输入至单层识别模型中进行识别，以获得车牌字符识别结果；
响应于所述车牌类型为所述双层车牌，将模糊化处理后的所述车牌区域图像输入至双层识别模型中进行识别，以获得车牌字符识别结果。
4.根据权利要求3所述的车牌识别方法，其特征在于，所述响应于所述车牌类型为所述单层车牌，将模糊化处理后的所述车牌区域图像输入至单层识别模型中进行识别，以获得车牌字符识别结果，包括：
将所述车牌区域图像依次经过多个卷积层处理以获得第一卷积图像；
将所述第一卷积图像输入至长短期记忆网络LSTM中以获得字符序列；
将所述字符序列输入至连接时序分类损失CTCloss函数中以获得收敛后的字符序列；
利用所述收敛后的字符序列和字符字典获得所述车牌字符识别结果。
5.根据权利要求3所述的车牌识别方法，其特征在于，所述响应于所述车牌类型为所述双层车牌，将模糊化处理后的所述车牌区域图像输入至双层识别模型中进行识别，以获得车牌字符识别结果，包括：
将所述车牌区域图像依次经过多个卷积层处理以获得第二卷积图像；
将所述第二卷积图像张量在1/2高度上裁剪，并进行首尾拼接以获得第三卷积图像；
将所述第三卷积图像输入至长短期记忆网络LSTM中以获得字符序列；
将所述字符序列输入至连接时序分类损失CTCloss函数中以获得收敛后的字符序列；
利用所述收敛后的字符序列和字符字典获得所述车牌字符识别结果。
6.根据权利要求2所述的车牌识别方法，其特征在于，
所述单层车牌包括单层绿牌，所述双层车牌包括双层绿牌、双层黄牌、双层白牌、双层蓝牌；所述获得车牌字符识别结果之后，还包括：
将所述车牌类型和所述车牌字符识别结果输出。
7.根据权利要求2所述的车牌识别方法，其特征在于，所述将所述车牌类型和所述车牌字符识别结果输出之前，还包括：
根据所述车牌字符识别结果中的汉字将所述车牌类型进一步划分为与所述汉字相关的车牌类型；或者，
根据所述车牌字符识别结果中的字符规则将所述车牌类型进一步划分为与所述字符规则相关的车牌类型。
8.根据权利要求1所述的车牌识别方法，其特征在于，所述将所述车牌区域图像中的尺寸小于阈值的无效字符进行模糊化处理，包括：
利用双线性内插法将所述车牌区域图像中尺寸小于阈值的无效字符进行模糊化处理。
9.根据权利要求2所述的车牌识别方法，其特征在于，所述从待识别车辆图像中获得车牌区域图像以及所述车牌区域图像对应的车牌类型之前，包括：
建立基础数据库，所述基础数据库中包含各个省市非机动车辆图像；
对所述基础数据库中的车辆图像进行标记，以标记出所述车辆图像中的车牌区域以及车牌内的有效字符；
利用标记后的所述车辆图像训练所述YOLOV3模型。
10.一种非机动车的车牌识别装置，其特征在于，包括相互耦接的存储器和处理器，所述存储器内存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至9任一项所述的车牌识别方法。
CN202010364954.6A 2020-04-30 2020-04-30 一种非机动车的车牌识别方法和车牌识别装置 Active CN111582261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010364954.6A CN111582261B (zh) 2020-04-30 2020-04-30 一种非机动车的车牌识别方法和车牌识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010364954.6A CN111582261B (zh) 2020-04-30 2020-04-30 一种非机动车的车牌识别方法和车牌识别装置

Publications (2)

Publication Number Publication Date
CN111582261A true CN111582261A (zh) 2020-08-25
CN111582261B CN111582261B (zh) 2024-01-19

Family

ID=72124587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010364954.6A Active CN111582261B (zh) 2020-04-30 2020-04-30 一种非机动车的车牌识别方法和车牌识别装置

Country Status (1)

Country Link
CN (1) CN111582261B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085018A (zh) * 2020-08-27 2020-12-15 南京佑驾科技有限公司 基于神经网络的车牌识别系统
CN112115904A (zh) * 2020-09-25 2020-12-22 浙江大华技术股份有限公司 车牌检测识别方法、装置及计算机可读存储介质
CN112329758A (zh) * 2020-11-04 2021-02-05 深圳市极致科技股份有限公司 基于车牌的模糊匹配方法、装置，电子设备及存储介质
CN112418221A (zh) * 2020-12-02 2021-02-26 福建亿安智能技术有限公司 一种实现非机动车牌识别和定位的方法
CN112597995A (zh) * 2020-12-02 2021-04-02 浙江大华技术股份有限公司 车牌检测模型训练方法、装置、设备及介质
CN113378840A (zh) * 2020-12-22 2021-09-10 浙江大华技术股份有限公司 一种车牌的检测方法及装置
CN113486885A (zh) * 2021-06-17 2021-10-08 杭州鸿泉物联网技术股份有限公司 一种车牌识别方法、装置、电子设备及存储介质
CN116884214A (zh) * 2023-07-10 2023-10-13 珠海大横琴城市公共资源经营管理有限公司 市政车辆的监测预警方法及系统

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1145308A (ja) * 1997-07-29 1999-02-16 Omron Corp ナンバープレート認識方法およびナンバープレート認識装置
US20130182910A1 (en) * 2012-01-18 2013-07-18 Xerox Corporation License plate optical character recognition method and system
CN105447487A (zh) * 2015-08-27 2016-03-30 中山大学 一种车牌识别系统的评测方法及系统
CN105631470A (zh) * 2015-12-21 2016-06-01 深圳市捷顺科技实业股份有限公司 一种车牌类型验证的方法及系统
CN107679585A (zh) * 2017-09-27 2018-02-09 清华大学 基于时间残差长短时记忆网络的阿拉伯文识别方法及系统
US20180121744A1 (en) * 2016-10-31 2018-05-03 Electronics And Telecommunications Research Institute System and method for recognizing vehicle license plate information
WO2018130216A1 (zh) * 2017-01-16 2018-07-19 杭州海康威视数字技术股份有限公司 一种识别车牌中字符的方法及装置
CN108334881A (zh) * 2018-03-12 2018-07-27 南京云创大数据科技股份有限公司 一种基于深度学习的车牌识别方法
CN108921151A (zh) * 2018-05-31 2018-11-30 四川物联亿达科技有限公司 一种基于深度学习的普通摄像头全车牌识别系统
US20190114516A1 (en) * 2017-10-13 2019-04-18 Getac Technology Corporation Method for recognizing license plate in vehicle camera device and vehicle camera device
CN109840521A (zh) * 2018-12-28 2019-06-04 安徽清新互联信息科技有限公司 一种基于深度学习的一体化车牌识别方法
CN110163199A (zh) * 2018-09-30 2019-08-23 腾讯科技（深圳）有限公司 车牌识别方法、车牌识别装置、车牌识别设备及介质
WO2019162970A1 (en) * 2018-02-26 2019-08-29 Videonetics Technology Private Limited A system for real-time automated segmentation and recognition of vehicle's license plates characters from vehicle's image and a method thereof.
WO2019174405A1 (zh) * 2018-03-14 2019-09-19 台达电子工业股份有限公司 车牌辨识方法以及其系统
JP2019164461A (ja) * 2018-03-19 2019-09-26 沖電気工業株式会社 ナンバープレート認識システム、ナンバープレート認識装置、ナンバープレート認識方法およびプログラム
CN110399880A (zh) * 2019-07-31 2019-11-01 深圳市捷顺科技实业股份有限公司 一种车牌字符及车牌类别的识别方法、装置及设备
CN110718066A (zh) * 2019-08-30 2020-01-21 厦门路桥信息股份有限公司 车牌识别方法、介质、设备及系统
CN110728283A (zh) * 2019-10-11 2020-01-24 高新兴科技集团股份有限公司 一种车牌类型识别方法及设备
KR102089298B1 (ko) * 2019-10-21 2020-03-16 가천대학교 산학협력단 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법
CN110942071A (zh) * 2019-12-09 2020-03-31 上海眼控科技股份有限公司 一种基于车牌分类和lstm的车牌识别方法
CN111027539A (zh) * 2019-10-17 2020-04-17 安徽清新互联信息科技有限公司 一种基于空间位置信息的车牌字符分割方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1145308A (ja) * 1997-07-29 1999-02-16 Omron Corp ナンバープレート認識方法およびナンバープレート認識装置
US20130182910A1 (en) * 2012-01-18 2013-07-18 Xerox Corporation License plate optical character recognition method and system
CN105447487A (zh) * 2015-08-27 2016-03-30 中山大学 一种车牌识别系统的评测方法及系统
CN105631470A (zh) * 2015-12-21 2016-06-01 深圳市捷顺科技实业股份有限公司 一种车牌类型验证的方法及系统
US20180121744A1 (en) * 2016-10-31 2018-05-03 Electronics And Telecommunications Research Institute System and method for recognizing vehicle license plate information
WO2018130216A1 (zh) * 2017-01-16 2018-07-19 杭州海康威视数字技术股份有限公司 一种识别车牌中字符的方法及装置
CN107679585A (zh) * 2017-09-27 2018-02-09 清华大学 基于时间残差长短时记忆网络的阿拉伯文识别方法及系统
US20190114516A1 (en) * 2017-10-13 2019-04-18 Getac Technology Corporation Method for recognizing license plate in vehicle camera device and vehicle camera device
WO2019162970A1 (en) * 2018-02-26 2019-08-29 Videonetics Technology Private Limited A system for real-time automated segmentation and recognition of vehicle's license plates characters from vehicle's image and a method thereof.
CN108334881A (zh) * 2018-03-12 2018-07-27 南京云创大数据科技股份有限公司 一种基于深度学习的车牌识别方法
WO2019174405A1 (zh) * 2018-03-14 2019-09-19 台达电子工业股份有限公司 车牌辨识方法以及其系统
JP2019164461A (ja) * 2018-03-19 2019-09-26 沖電気工業株式会社 ナンバープレート認識システム、ナンバープレート認識装置、ナンバープレート認識方法およびプログラム
CN108921151A (zh) * 2018-05-31 2018-11-30 四川物联亿达科技有限公司 一种基于深度学习的普通摄像头全车牌识别系统
CN110163199A (zh) * 2018-09-30 2019-08-23 腾讯科技（深圳）有限公司 车牌识别方法、车牌识别装置、车牌识别设备及介质
CN109840521A (zh) * 2018-12-28 2019-06-04 安徽清新互联信息科技有限公司 一种基于深度学习的一体化车牌识别方法
CN110399880A (zh) * 2019-07-31 2019-11-01 深圳市捷顺科技实业股份有限公司 一种车牌字符及车牌类别的识别方法、装置及设备
CN110718066A (zh) * 2019-08-30 2020-01-21 厦门路桥信息股份有限公司 车牌识别方法、介质、设备及系统
CN110728283A (zh) * 2019-10-11 2020-01-24 高新兴科技集团股份有限公司 一种车牌类型识别方法及设备
CN111027539A (zh) * 2019-10-17 2020-04-17 安徽清新互联信息科技有限公司 一种基于空间位置信息的车牌字符分割方法
KR102089298B1 (ko) * 2019-10-21 2020-03-16 가천대학교 산학협력단 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법
CN110942071A (zh) * 2019-12-09 2020-03-31 上海眼控科技股份有限公司 一种基于车牌分类和lstm的车牌识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于自适应数学形态学的车牌定位研究", 《图学学报》, pages 847 - 849 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085018A (zh) * 2020-08-27 2020-12-15 南京佑驾科技有限公司 基于神经网络的车牌识别系统
CN112115904A (zh) * 2020-09-25 2020-12-22 浙江大华技术股份有限公司 车牌检测识别方法、装置及计算机可读存储介质
CN112329758A (zh) * 2020-11-04 2021-02-05 深圳市极致科技股份有限公司 基于车牌的模糊匹配方法、装置，电子设备及存储介质
CN112418221A (zh) * 2020-12-02 2021-02-26 福建亿安智能技术有限公司 一种实现非机动车牌识别和定位的方法
CN112597995A (zh) * 2020-12-02 2021-04-02 浙江大华技术股份有限公司 车牌检测模型训练方法、装置、设备及介质
CN112597995B (zh) * 2020-12-02 2023-11-03 浙江大华技术股份有限公司 车牌检测模型训练方法、装置、设备及介质
CN113378840A (zh) * 2020-12-22 2021-09-10 浙江大华技术股份有限公司 一种车牌的检测方法及装置
CN113486885A (zh) * 2021-06-17 2021-10-08 杭州鸿泉物联网技术股份有限公司 一种车牌识别方法、装置、电子设备及存储介质
CN116884214A (zh) * 2023-07-10 2023-10-13 珠海大横琴城市公共资源经营管理有限公司 市政车辆的监测预警方法及系统
CN116884214B (zh) * 2023-07-10 2024-01-26 珠海大横琴城市公共资源经营管理有限公司 市政车辆的监测预警方法及系统

Also Published As

Publication number Publication date
CN111582261B (zh) 2024-01-19

Similar Documents

Publication Publication Date Title
CN111582261B (zh) 一种非机动车的车牌识别方法和车牌识别装置
CN112348783B (zh) 基于图像的人物识别方法、装置及计算机可读存储介质
CN108710865A (zh) 一种基于神经网络的司机异常行为检测方法
CN110555433A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112418216A (zh) 一种复杂自然场景图像中的文字检测方法
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN107784303A (zh) 车牌识别方法及装置
CN112287912A (zh) 基于深度学习的车道线检测方法以及装置
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN113435240A (zh) 一种端到端的表格检测和结构识别方法及系统
CN110472625A (zh) 一种基于傅里叶描述子的象棋棋子视觉识别方法
CN113989744A (zh) 一种基于超大尺寸高分辨图像的行人目标检测方法及系统
CN109508716B (zh) 一种图像文字的定位方法及装置
CN110516610A (zh) 一种用于道路特征提取的方法及设备
CN112528994B (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
CN112380978A (zh) 基于关键点定位的多人脸检测方法、系统及存储介质
CN111104944A (zh) 一种基于r-fcn的车牌字符检测及分割方法
CN111104539A (zh) 细粒度车辆图像检索方法、装置及设备
CN106023270A (zh) 一种基于局部对称特征的视频车辆检测方法
CN110598650A (zh) 车牌虚警过滤方法、装置及电子设备和存储介质
CN111738255A (zh) 一种基于深度学习的路牌文本检测与识别算法
CN111461128A (zh) 一种车牌的识别方法及装置
CN112257708A (zh) 一种字符级文本检测方法、装置、计算机设备及存储介质
CN112825141B (zh) 识别文本的方法、装置、识别设备和存储介质
CN111178355B (zh) 印章识别方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant