CN110020650B - 一种基于深度学习识别模型的倾斜车牌的识别方法及装置 - Google Patents

一种基于深度学习识别模型的倾斜车牌的识别方法及装置 Download PDF

Info

Publication number
CN110020650B
CN110020650B CN201910232421.XA CN201910232421A CN110020650B CN 110020650 B CN110020650 B CN 110020650B CN 201910232421 A CN201910232421 A CN 201910232421A CN 110020650 B CN110020650 B CN 110020650B
Authority
CN
China
Prior art keywords
license plate
recognition
training
positioning
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910232421.XA
Other languages
English (en)
Other versions
CN110020650A (zh
Inventor
章登义
张强
武小平
章辉宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201910232421.XA priority Critical patent/CN110020650B/zh
Publication of CN110020650A publication Critical patent/CN110020650A/zh
Application granted granted Critical
Publication of CN110020650B publication Critical patent/CN110020650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种针对倾斜车牌的深度学习识别模型的构建方法、识别方法及装置，构建方法包括：从收集的车牌图像中确定车牌坐标，计算仿射参数；构建识别倾斜车牌的深度学习网络框架；利用收集的数据集训练定位网络，通过训练好的参数模型和车牌数据集训练车牌字符识别网络。本发明针对倾斜车牌识别提出一种基于深度学习方法的识别网络框架，可以实现大大提高倾斜车牌的识别精度的技术效果。

Description

一种基于深度学习识别模型的倾斜车牌的识别方法及装置
技术领域
本发明涉及计算机应用技术领域，具体涉及一种基于深度学习识别模型的倾斜车牌的识别方法及装置。
背景技术
随着城市人口的快速增长，城市居民的车辆保有量迅速上升，城市交通的车辆管理越来越复杂，智能化车牌识别应运而生。车牌识别技术可以在很大程度上帮助解决复杂的城市交通管理难题。自动车牌识别具有识别率高、识别速度快、支持牌照全、识别功能全等特点，可以协助交管部门弥补人工识别速度慢、识别不准确、识别存在遗漏等弊端。随着我国城市化进程发展的提速，交通压力越来越严峻，智能化交通管理已成为交通发展的大方向，而作为智能化交通管理体系中的重要核心，车牌识别系统将得到进一步扶持和发展。
现有的车牌识别算法在识别清晰的车牌图片方面已取得一定的效果，而在一些比较复杂的实验和应用环境下，如识别具有倾斜角度的车牌图片，则表现得不尽人意。现如今较成熟的倾斜车牌识别方法大都在经典图像处理方法的基础上进行改进，近年随着深度学习的发展，利用卷积神经网络对车牌图片进行处理和识别也能取得较好的性能和准确率。
本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：
神经网络在车牌识别方面的算法大都以矩形框标定作为定位结果，对于倾斜车牌识别的效果并不理想，极易导致识别字符错位等问题，如图1所示。
由此可知，现有技术中的方法存在识别准确率不高的技术问题。
发明内容
有鉴于此，本发明提供了一种基于深度学习识别模型的倾斜车牌的识别方法及装置，用以解决或者至少部分解决现有技术中的方法存在识别准确率不高的技术问题。
本发明第一方面提供了一种针对倾斜车牌的深度学习识别模型的构建方法，包括：
步骤S1：收集倾斜车牌图像，构建训练数据集，记录每张倾斜车牌图像的车牌号码，并标定每张倾斜车牌图像中的车牌坐标，其中，车牌坐标包括四个顶点的实际坐标，根据预设的四个顶点的虚拟坐标和实际坐标，计算出对应的仿射参数；
步骤S2：根据对应的仿射参数和车牌号码，将训练数据集划分为车牌定位训练集和车牌识别训练集；
步骤S3：基于深度学习框架构建深度学习识别模型框架，深度学习识别模型框架包括定位网络和识别网络；
步骤S4：通过车牌定位训练集输入定位网络，进行车牌定位训练，再根据定位训练的参数，将车牌识别训练集输入识别网络，进行车牌识别训练，获得训练后的深度学习识别模型。
在一种实施方式中，根据预设的四个顶点的虚拟坐标和实际坐标，计算出对应的仿射参数，具体包括：
采用公式1来计算对应的仿射参数：
Figure GDA0003021979880000021
其中，(x，y)表示一个虚拟坐标，(x′，y′)表示该虚拟坐标仿射后对应的实际坐标，
Figure GDA0003021979880000022
表示仿射矩阵，m00、m01、m02、m10、m11、m12表示仿射参数。
在一种实施方式中，步骤S4具体包括：
通过车牌定位训练集输入定位网络，进行车牌定位训练；
判断定位网络损失函数是否收敛到预设程度，如果是，则将此时的参数作为定位参数，如果否，则继续进行车牌定位训练；
根据定位参数，将车牌识别训练集输入识别网络，进行车牌识别训练，获得训练后的深度学习识别模型。
在一种实施方式中，获得训练后的深度学习识别模型之后，所述方法还包括：
再利用车牌定位训练集和车牌识别训练集进行一次车牌定位训练和一次车牌识别训练。
在一种实施方式中，所述方法还包括：
利用验证数据集对训练后的深度学习识别模型进行测试，迭代修改超参数，直到达到预设测试精度，其中，验证数据集是从步骤S1中的训练数据集中划分获得。
基于同样的发明构思，本发明第二方面提供了一种针对倾斜车牌的深度学习识别模型的构建装置，包括：
训练数据集构建模块，用于收集倾斜车牌图像，构建训练数据集，记录每张倾斜车牌图像的车牌号码，并标定每张倾斜车牌图像中的车牌坐标，其中，车牌坐标包括四个顶点的实际坐标，根据预设的四个顶点的虚拟坐标和实际坐标，计算出对应的仿射参数；
训练数据集划分模块，用于根据对应的仿射参数和车牌号码，将训练数据集划分为车牌定位训练集和车牌识别训练集；
深度学习识别模型框架构建模块，用于基于深度学习框架构建深度学习识别模型框架，深度学习识别模型框架包括定位网络和识别网络；
训练模块，用于通过车牌定位训练集输入定位网络，进行车牌定位训练，再根据定位训练的参数，将车牌识别训练集输入识别网络，进行车牌识别训练，获得训练后的深度学习识别模型。
在一种实施方式中，训练模块具体用于：
通过车牌定位训练集输入定位网络，进行车牌定位训练；
判断定位网络损失函数是否收敛到预设程度，如果是，则将此时的参数作为定位参数，如果否，则继续进行车牌定位训练；
根据定位参数，将车牌识别训练集输入识别网络，进行车牌识别训练，获得训练后的深度学习识别模型。
基于同样的发明构思，本发明第三方面提供了一种针对倾斜车牌的识别方法，包括：
将待识别车牌图像输入如权利要求1至5任一项所构建的训练后的深度学习识别模型中，获得识别结果。
在一种实施方式中，识别结果的获得具体包括：
通过训练后的深度学习识别模型的定位网络预测车牌的仿射参数，并根据车牌预设的虚拟坐标和预测出的仿射参数，计算出待识别车牌的真实坐标；
通过训练后的深度学习识别模型的识别网络，根据计算出的待识别车牌的真实坐标和对应的特征图，识别出车牌号码，其中，对应的特征图由定位网络的卷积层产生。
在一种实施方式中，训练后的深度学习识别模型的识别网络包括仿射处理模块和全连接层，通过训练后的深度学习识别模型的识别网络，根据计算出的待识别车牌的真实坐标和对应的特征图，识别出车牌号码，具体包括：
通过仿射处理模块对定位网络生成的三个特征图进行剥离，获得矩形特征图；
全连接层根据矩形特征图输出预测的车牌号码。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
本发明提供的一种针对倾斜车牌的深度学习识别模型的构建方法，首先收集倾斜车牌图像，构建训练数据集，然后根据对应的仿射参数和车牌号码，将训练数据集划分为车牌定位训练集和车牌识别训练集；接着基于深度学习框架构建深度学习识别模型框架，深度学习识别模型框架包括定位网络和识别网络；最后通过车牌定位训练集输入定位网络，进行车牌定位训练，再根据定位训练的参数，将车牌识别训练集输入识别网络，进行车牌识别训练，获得训练后的深度学习识别模型。
并基于上述深度学习识别模型提出了一种倾斜车牌的识别方法，通过预测车牌的仿射参数，从而获得车牌的四个顶点坐标，然后通过四个顶点坐标可以获取不同层的特征图，通过处理这些特征图来识别和预测车牌号码，实现了精确识别的技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中方法进行车牌定位的示意图；
图2为本发明实施例中虚拟坐标的示意图；
图3为本发明实施例中进行透视处理转换为固定大小的矩形的示意图；
图4为本发明实施例中一种针对倾斜车牌的深度学习识别模型的构建方法的流程图；
图5为本发明实施例中训练过程的流程图；
图6为本发明实施例中深度学习识别模型的框架图；
图7为本发明实施例中一种针对倾斜车牌的深度学习识别模型的构建装置的结构框图；
图8为本发明实施例中一种针对倾斜车牌的识别方法的原理图；
具体实施方式
本发明的目的在于针对目前的卷积神经网络对倾斜车牌的识别存在准确性不高、效果不佳的技术问题，提供的一种针对倾斜车牌的深度学习识别模型的构建方法、识别方法，从收集的车牌图像中确定车牌坐标，计算仿射参数；然后构建识别倾斜车牌的深度学习网络框架；利用收集的数据集训练定位网络，通过训练好的参数模型和车牌数据集训练车牌字符识别网络；利用训练好的网络识别车牌。从而实现了大大提高了倾斜车牌的识别精度的技术效果。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明申请人通过大量的研究和实践发现，现有的卷积神经网络处理倾斜图像的效果不佳、结果不准确，因而提出了一种针对倾斜条件下的车牌的识别神经网络框架及其构建方法。具体利用了空间转换网络的思想。
空间转换网络(Spatial Transformer Networks，STN)对特殊形态下的图片具有很好的处理效果，倾斜条件下的车牌可以认为是正常形态下的车牌经过了一步仿射变换而形成的，利用STN可以将倾斜车牌图片转换为正常形态下的车牌图片。主要发明构思如下：主要通过预测车牌的仿射参数，从而获得车牌的四个顶点坐标，然后通过四个顶点坐标获取不同层的特征图，通过处理这些特征图来识别和预测车牌号码。
本实施例提供了一种针对倾斜车牌的深度学习识别模型的构建方法，请参见图4，该方法包括：
步骤S1：收集倾斜车牌图像，构建训练数据集，记录每张倾斜车牌图像的车牌号码，并标定每张倾斜车牌图像中的车牌坐标，其中，车牌坐标包括四个顶点的实际坐标，根据预设的四个顶点的虚拟坐标和实际坐标，计算出对应的仿射参数。
具体来说，可以从网络中获取倾斜车牌图像，也可以从合作商处获取。对于每张照片，记录车牌号码，并手工标记车牌的四个顶点，然后根据预设的四个虚拟顶点(其中，四个虚拟顶点取值来自所有数据集的车牌的平均位置)，可以相应的计算出对应的仿射参数。
其中，从上述获取的图片和标记文件中，可以随机划分80％，10％，10％分别作为训练数据集，验证集和测试集。该比例(80％，10％，10％)为前人经验所得，可根据实际实验效果做出调整。
在一种实施方式中，步骤S1中，根据预设的四个顶点的虚拟坐标和实际坐标，计算出对应的仿射参数，具体包括：
采用公式1来计算对应的仿射参数：
Figure GDA0003021979880000061
其中，(x，y)表示一个虚拟坐标，(x′，y′)表示该虚拟坐标仿射后对应的实际坐标，
Figure GDA0003021979880000062
表示仿射矩阵，m00、m01、m02、m10、m11、m12表示仿射参数。
其中，请参见图2，(x，y)表示虚拟坐标，(x′，y′)表示该虚拟坐标仿射后对应的实际坐标。针对每个坐标，可以通过公式(1)可以构建四个不同的参数公式，然后计算出对应的仿射参数。
步骤S2：根据对应的仿射参数和车牌号码，将训练数据集划分为车牌定位训练集和车牌识别训练集。
具体来说，对于每张图片需要存储车牌号码信息和仿射参数信息，从逻辑上分为车牌定位训练集和车牌识别训练集。
步骤S3：基于深度学习框架构建深度学习识别模型框架，深度学习识别模型框架包括定位网络和识别网络。
具体来说，本发明中的深度学习识别模型框架主要由两部分组成：精确定位和字符识别，即定位网络和识别网络。在具体的实施过程中，可以采用Python语言，深度学习PyTorch框架实现算法网络框架。
步骤S4：通过车牌定位训练集输入定位网络，进行车牌定位训练，再根据定位训练的参数，将车牌识别训练集输入识别网络，进行车牌识别训练，获得训练后的深度学习识别模型。
具体地，步骤S4具体包括：
通过车牌定位训练集输入定位网络，进行车牌定位训练；
判断定位网络损失函数是否收敛到预设程度，如果是，则将此时的参数作为定位参数，如果否，则继续进行车牌定位训练；
根据定位参数，将车牌识别训练集输入识别网络，进行车牌识别训练，获得训练后的深度学习识别模型。
具体来说，训练包括车牌定位训练和字符识别训练两部分。首先，进行车牌定位训练，当定位部分的网络损失函数收敛到预设程度，再根据定位的参数，进行字符识别训练。
为了提高模型的精度，在一种实施方式中，获得训练后的深度学习识别模型之后，所述方法还包括：
再利用车牌定位训练集和车牌识别训练集进行一次车牌定位训练和一次车牌识别训练。
为了进一步提高模型的精度，在一种实施方式中，所述方法还包括：
利用验证数据集对训练后的深度学习识别模型进行测试，迭代修改超参数，直到达到预设测试精度，其中，验证数据集步骤S1中的训练数据集中划分获得。
具体来说，利用验证数据集对训练后的参数模型进行初步的测试，不断迭代修改一些超系数(学习率等)，直到测试精度达到预想的结果。训练过程的流程如图5所示。
基于同一发明构思，本申请还提供了一种与实施例一种针对倾斜车牌的深度学习识别模型的构建方法对应的装置，详见实施例二。
实施例二
本实施例提供了一种针对倾斜车牌的深度学习识别模型的构建装置，请参见图7，该装置包括：
训练数据集构建模块201，用于收集倾斜车牌图像，构建训练数据集，记录每张倾斜车牌图像的车牌号码，并标定每张倾斜车牌图像中的车牌坐标，其中，车牌坐标包括四个顶点的实际坐标，根据预设的四个顶点的虚拟坐标和实际坐标，计算出对应的仿射参数；
训练数据集划分模块202，用于根据对应的仿射参数和车牌号码，将训练数据集划分为车牌定位训练集和车牌识别训练集；
深度学习识别模型框架构建模块203，用于基于深度学习框架构建深度学习识别模型框架，深度学习识别模型框架包括定位网络和识别网络；
训练模块204，用于通过车牌定位训练集输入定位网络，进行车牌定位训练，再根据定位训练的参数，将车牌识别训练集输入识别网络，进行车牌识别训练，获得训练后的深度学习识别模型。
在一种实施方式中，训练数据集构建模块201具体用于：
采用公式1来计算对应的仿射参数：
Figure GDA0003021979880000081
其中，(x，y)表示一个虚拟坐标，(x′，y′)表示该虚拟坐标仿射后对应的实际坐标，
Figure GDA0003021979880000082
表示仿射矩阵，m00、m01、m02、m10、m11、m12表示仿射参数。
在一种实施方式中，本实施方式提供的训练模块204具体用于：
通过车牌定位训练集输入定位网络，进行车牌定位训练；
判断定位网络损失函数是否收敛到预设程度，如果是，则将此时的参数作为定位参数，如果否，则继续进行车牌定位训练；
根据定位参数，将车牌识别训练集输入识别网络，进行车牌识别训练，获得训练后的深度学习识别模型。
在一种实施方式中，在获得训练后的深度学习识别模型之后，本实施方式提供的训练模块204还用于：
再利用车牌定位训练集和车牌识别训练集进行一次车牌定位训练和一次车牌识别训练。
在一种实施方式中，本实施方式提供的训练模块204还用于：
利用验证数据集对训练后的深度学习识别模型进行测试，迭代修改超参数，直到达到预设测试精度，其中，验证数据集步骤S1中的训练数据集中划分获得。
基于同一发明构思，本申请还提供了基于实施例一构建的深度学习识别模型实现倾斜车牌的识别方法，详见实施例三。
实施例三
本实施例提供了一种针对倾斜车牌的识别方法，该方法包括：
将待识别车牌图像输入实施例一所构建的训练后的深度学习识别模型中，获得识别结果。
具体来说，请参见图8，为针对倾斜车牌的识别方法的原理图。
具体地，识别结果的获得具体包括：
通过训练后的深度学习识别模型的定位网络预测车牌的仿射参数，并根据车牌预设的虚拟坐标和预测出的仿射参数，计算出待识别车牌的真实坐标；
通过训练后的深度学习识别模型的识别网络，根据计算出的待识别车牌的真实坐标和对应的特征图，识别出车牌号码，其中，对应的特征图由定位网络的卷积层产生。
其中，训练后的深度学习识别模型的识别网络包括仿射处理模块和全连接层，通过训练后的深度学习识别模型的识别网络，根据计算出的待识别车牌的真实坐标和对应的特征图，识别出车牌号码，具体包括：
通过仿射处理模块对定位网络生成的三个特征图进行剥离，获得矩形特征图；
全连接层根据矩形特征图输出预测的车牌号码。
具体来说，如图6所示，图片经过不断卷积池化处理产生中间特征图层，然后预测仿射参数。具体地，利用特征图四预测仿射参数，即通过一个全连接层，输入特征图四的所有参数，输出的6个参数即为仿射参数。根据公式1，将步骤S1中已经确定好的虚拟坐标与预测出的仿射矩阵(由仿射参数构成)相乘，即可获得准确的四个坐标，从而完成定位。
接着，根据获得的四个坐标，仿射处理模块将图示的三个不同的特征图(特征图一、二、三)逐一剥离出来，从图6中可以看出，特征图一由原图片卷积，池化产生，特征图二再由特征图一卷积，池化产生。
具体来说，对于每个特征图(一、二、三)，特征图也是一种图片，只是这个图片无法用视觉理解，将坐标映射到特征图上，由于经过池化层特征图会比原来的图片缩小n倍，所以要根据缩放将坐标映射到特征图上，截取剥离出来，然后将不规则的四边形坐标透视为规则大小的矩形，然后将三张特征图的矩形信息都通过一个全连接层，预测车牌号码。
一般来说，倾斜的车牌不再是规则的矩形，所以需要通过透视处理转换为固定大小的矩形，如图3所示。最后，通过全连接层实现车牌号码的预测。综合预测仿射参数实现车牌的定位，抽取已存在的特征图信息对车牌号码做出预测，来实现对倾斜车牌的识别是本发明的关键部分。
此外，本申请还提供可以一种计算机设备，包括存储、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述程序时实现实施例三中的方法。
本发明的意义在于：
1.针对倾斜车牌这一复杂场景下提出了一种良好的识别网络框架，并针对网络框架的构建进行了说明。
2.本发明不仅局限于倾斜的车牌识别，对于倾斜条件或者其它形态发生变化的目标识别物体，例如广告牌等，提供了一种识别的思路。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种基于深度学习识别模型的倾斜车牌的识别方法，其特征在于，深度学习识别模型的构建包括：
步骤S1：收集倾斜车牌图像，构建训练数据集，记录每张倾斜车牌图像的车牌号码，并标定每张倾斜车牌图像中的车牌坐标，其中，车牌坐标包括四个顶点的实际坐标，根据预设的四个顶点的虚拟坐标和实际坐标，计算出对应的仿射参数；
步骤S2：根据对应的仿射参数和车牌号码，将训练数据集划分为车牌定位训练集和车牌识别训练集；
步骤S3：基于深度学习框架构建深度学习识别模型框架，深度学习识别模型框架包括定位网络和识别网络，其中，定位网络用于预测倾斜车牌图像的仿射参数；
步骤S4：通过车牌定位训练集输入定位网络，进行车牌定位训练，再根据定位训练的参数，将车牌识别训练集输入识别网络，进行车牌识别训练，获得训练后的深度学习识别模型；
步骤S4具体包括：
通过车牌定位训练集输入定位网络，进行车牌定位训练；
判断定位网络损失函数是否收敛到预设程度，如果是，则将此时的仿射参数作为定位参数，如果否，则继续进行车牌定位训练；
根据定位参数，将车牌识别训练集输入识别网络，进行车牌识别训练，获得训练后的深度学习识别模型；
倾斜车牌的识别方法包括：
将待识别车牌图像输入构建的训练后的深度学习识别模型中，获得识别结果；
其中，识别结果的获得具体包括：
通过训练后的深度学习识别模型的定位网络预测车牌的仿射参数，并根据车牌预设的虚拟坐标和预测出的仿射参数，计算出待识别车牌的真实坐标；
通过训练后的深度学习识别模型的识别网络，根据计算出的待识别车牌的真实坐标和对应的特征图，识别出车牌号码，其中，对应的特征图由定位网络的卷积层产生；
训练后的深度学习识别模型的识别网络包括仿射处理模块和全连接层，通过训练后的深度学习识别模型的识别网络，根据计算出的待识别车牌的真实坐标和对应的特征图，识别出车牌号码，具体包括：
通过仿射处理模块对定位网络生成的三个特征图进行剥离，获得矩形特征图；
全连接层根据矩形特征图输出预测的车牌号码。
2.如权利要求1所述的方法，其特征在于，步骤S1中，根据预设的四个顶点的虚拟坐标和实际坐标，计算出对应的仿射参数，具体包括：
采用公式1来计算对应的仿射参数：
Figure FDA0003021979870000021
其中，(x,y)表示一个虚拟坐标，(x',y')表示该虚拟坐标仿射后对应的实际坐标，
Figure FDA0003021979870000022
表示仿射矩阵，m00、m01、m02、m10、m11、m12表示仿射参数。
3.如权利要求1所述的方法，其特征在于，获得训练后的深度学习识别模型之后，所述方法还包括：
再利用车牌定位训练集和车牌识别训练集进行一次车牌定位训练和一次车牌识别训练。
4.如权利要求3所述的方法，其特征在于，所述方法还包括：
利用验证数据集对训练后的深度学习识别模型进行测试，迭代修改超参数，直到达到预设测试精度，其中，验证数据集是从步骤S1中的训练数据集中划分获得。
5.一种基于深度学习识别模型的倾斜车牌的识别装置，其特征在于，包括：
训练数据集构建模块，用于收集倾斜车牌图像，构建训练数据集，记录每张倾斜车牌图像的车牌号码，并标定每张倾斜车牌图像中的车牌坐标，其中，车牌坐标包括四个顶点的实际坐标，根据预设的四个顶点的虚拟坐标和实际坐标，计算出对应的仿射参数；
训练数据集划分模块，用于根据对应的仿射参数和车牌号码，将训练数据集划分为车牌定位训练集和车牌识别训练集；
深度学习识别模型框架构建模块，用于基于深度学习框架构建深度学习识别模型框架，深度学习识别模型框架包括定位网络和识别网络；
训练模块，用于通过车牌定位训练集输入定位网络，进行车牌定位训练，再根据定位训练的参数，将车牌识别训练集输入识别网络，进行车牌识别训练，获得训练后的深度学习识别模型；
训练模块具体用于：
通过车牌定位训练集输入定位网络，进行车牌定位训练；
判断定位网络损失函数是否收敛到预设程度，如果是，则将此时的仿射参数作为定位参数，如果否，则继续进行车牌定位训练；
根据定位参数，将车牌识别训练集输入识别网络，进行车牌识别训练，获得训练后的深度学习识别模型；
所述装置还包括输入模块，用于将待识别车牌图像输入构建的训练后的深度学习识别模型中，获得识别结果；
其中，识别结果的获得具体包括：
通过训练后的深度学习识别模型的定位网络预测车牌的仿射参数，并根据车牌预设的虚拟坐标和预测出的仿射参数，计算出待识别车牌的真实坐标；
通过训练后的深度学习识别模型的识别网络，根据计算出的待识别车牌的真实坐标和对应的特征图，识别出车牌号码，其中，对应的特征图由定位网络的卷积层产生；
训练后的深度学习识别模型的识别网络包括仿射处理模块和全连接层，通过训练后的深度学习识别模型的识别网络，根据计算出的待识别车牌的真实坐标和对应的特征图，识别出车牌号码，具体包括：
通过仿射处理模块对定位网络生成的三个特征图进行剥离，获得矩形特征图；
全连接层根据矩形特征图输出预测的车牌号码。
CN201910232421.XA 2019-03-26 2019-03-26 一种基于深度学习识别模型的倾斜车牌的识别方法及装置 Active CN110020650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910232421.XA CN110020650B (zh) 2019-03-26 2019-03-26 一种基于深度学习识别模型的倾斜车牌的识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910232421.XA CN110020650B (zh) 2019-03-26 2019-03-26 一种基于深度学习识别模型的倾斜车牌的识别方法及装置

Publications (2)

Publication Number Publication Date
CN110020650A CN110020650A (zh) 2019-07-16
CN110020650B true CN110020650B (zh) 2021-08-03

Family

ID=67190052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910232421.XA Active CN110020650B (zh) 2019-03-26 2019-03-26 一种基于深度学习识别模型的倾斜车牌的识别方法及装置

Country Status (1)

Country Link
CN (1) CN110020650B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427937B (zh) * 2019-07-18 2022-03-22 浙江大学 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法
CN111160353A (zh) * 2019-12-27 2020-05-15 广州亚信技术有限公司 车牌识别方法、装置及设备
CN111209858B (zh) * 2020-01-06 2023-06-20 电子科技大学 一种基于深度卷积神经网络的实时车牌检测方法
CN112598738B (zh) * 2020-12-25 2024-03-19 南京大学 一种基于深度学习的人物定位方法
CN112749735B (zh) * 2020-12-30 2023-04-07 中冶赛迪信息技术(重庆)有限公司 基于深度学习的转炉出钢钢流识别方法、系统、介质及终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793708A (zh) * 2014-03-05 2014-05-14 武汉大学 一种基于仿射校正的多尺度车牌精准定位方法
CN105279512A (zh) * 2015-10-22 2016-01-27 东方网力科技股份有限公司 一种倾斜车牌识别方法和装置
CN107506765A (zh) * 2017-10-13 2017-12-22 厦门大学 一种基于神经网络的车牌倾斜校正的方法
CN108805125A (zh) * 2018-06-13 2018-11-13 兰州工业学院 基于粒子群算法优化神经网络的车牌识别系统及方法
CN109165643A (zh) * 2018-08-21 2019-01-08 浙江工业大学 一种基于深度学习的车牌识别方法
CN111435446A (zh) * 2019-12-25 2020-07-21 珠海大横琴科技发展有限公司 一种基于LeNet车牌识别方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7734097B1 (en) * 2006-08-01 2010-06-08 Mitsubishi Electric Research Laboratories, Inc. Detecting objects in images with covariance matrices
JP6115388B2 (ja) * 2013-08-01 2017-04-19 株式会社デンソー ナンバープレート認識装置およびナンバープレート認識方法
CN105488501B (zh) * 2015-11-26 2018-11-16 南京富士通南大软件技术有限公司 基于旋转投影的车牌倾斜矫正的方法
CN108171238B (zh) * 2017-12-22 2021-10-26 北京智芯原动科技有限公司 一种车牌的倾斜角度检测方法及装置
CN109145900A (zh) * 2018-07-30 2019-01-04 中国科学技术大学苏州研究院 一种基于深度学习的车牌识别方法
CN111160338B (zh) * 2019-12-24 2023-08-01 北京奥易克斯科技有限公司 一种模糊车牌识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793708A (zh) * 2014-03-05 2014-05-14 武汉大学 一种基于仿射校正的多尺度车牌精准定位方法
CN105279512A (zh) * 2015-10-22 2016-01-27 东方网力科技股份有限公司 一种倾斜车牌识别方法和装置
CN107506765A (zh) * 2017-10-13 2017-12-22 厦门大学 一种基于神经网络的车牌倾斜校正的方法
CN108805125A (zh) * 2018-06-13 2018-11-13 兰州工业学院 基于粒子群算法优化神经网络的车牌识别系统及方法
CN109165643A (zh) * 2018-08-21 2019-01-08 浙江工业大学 一种基于深度学习的车牌识别方法
CN111435446A (zh) * 2019-12-25 2020-07-21 珠海大横琴科技发展有限公司 一种基于LeNet车牌识别方法及装置

Also Published As

Publication number Publication date
CN110020650A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN110020650B (zh) 一种基于深度学习识别模型的倾斜车牌的识别方法及装置
CN111950723B (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN108197618B (zh) 用于生成人脸检测模型的方法和装置
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN111428558A (zh) 一种基于改进YOLOv3方法的车辆检测方法
CN113435269A (zh) 一种基于YOLOv3改进的水面漂浮物检测与识别方法及系统
WO2021129466A1 (zh) 检测水印的方法、装置、终端及存储介质
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
WO2024055530A1 (zh) 一种图像的目标检测方法、系统、设备及存储介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
WO2024060529A1 (zh) 一种道路病害识别方法、系统、设备及存储介质
CN113887649B (zh) 一种基于深层特征和浅层特征融合的目标检测方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN109492697B (zh) 图片检测网络训练方法及图片检测网络训练装置
CN116805387B (zh) 基于知识蒸馏的模型训练方法、质检方法和相关设备
WO2024088071A1 (zh) 三维场景重建方法、装置、设备及存储介质
CN114240770A (zh) 一种图像处理方法、装置、服务器及存储介质
CN113870196A (zh) 一种基于锚点切图的图像处理方法、装置、设备和介质
CN116071651B (zh) 一种均压场识别方法、装置、存储介质及终端
CN116778164A (zh) 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法
CN114820755B (zh) 一种深度图估计方法及系统
CN115240133A (zh) 一种公交车拥挤度分析方法、装置和设备
JP2018124740A (ja) 画像検索システム、画像検索方法及び画像検索プログラム
CN112633065A (zh) 一种基于数据增强的人脸检测方法、系统、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant