CN111401360A - 优化车牌检测模型的方法及系统、车牌检测方法及系统 - Google Patents

优化车牌检测模型的方法及系统、车牌检测方法及系统 Download PDF

Info

Publication number
CN111401360A
CN111401360A CN202010134676.5A CN202010134676A CN111401360A CN 111401360 A CN111401360 A CN 111401360A CN 202010134676 A CN202010134676 A CN 202010134676A CN 111401360 A CN111401360 A CN 111401360A
Authority
CN
China
Prior art keywords
license plate
network
character
optimized
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010134676.5A
Other languages
English (en)
Other versions
CN111401360B (zh
Inventor
张�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Xinmai Microelectronics Co ltd
Original Assignee
Hangzhou Xiongmai Integrated Circuit Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xiongmai Integrated Circuit Technology Co Ltd filed Critical Hangzhou Xiongmai Integrated Circuit Technology Co Ltd
Priority to CN202010134676.5A priority Critical patent/CN111401360B/zh
Publication of CN111401360A publication Critical patent/CN111401360A/zh
Application granted granted Critical
Publication of CN111401360B publication Critical patent/CN111401360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种优化车牌检测模型的方法及系统、车牌检测方法及系统，其中优化车牌检测模型的方法包括以下步骤：获取待优化车牌检测网络，并获取用于训练所述待优化车牌检测网络的样本图像及其第一标注信息；在所述待优化车牌检测网络中添加车牌头尾字符标识分支网络，生成待训练网络；在所述第一标注信息中添加与样本图像相对应的车牌头部字符框和车牌尾部字符框，生成第二标注信息；利用样本图像及其第二标注信息对所述待训练网络进行迭代训练，获得优化网络，将所述优化网络中车牌头尾字符标识分支网络进行移除，获得优化后的车牌检测模型。本发明能够对车牌检测模型进行优化，降低其误检率。

Description

优化车牌检测模型的方法及系统、车牌检测方法及系统
技术领域
本发明涉及图像识别领域，尤其涉及一种优化车牌检测模型的方法及系统、车牌检测方法及系统。
背景技术
如公开号为CN108090423A的专利申请文件《一种基于热力图和关键点回归的深度车牌检测方法》所示，现今通常采用基于深度学习构建车牌检测模型进行车牌检测。
降低深度学习模型误检率的常用方法有：
1、增加用于训练模型的正样本的个数，提高网络的泛化能力；但由于人力物力有限，一味增加样本的可行性低。
注，正样本为属于车牌的样本点，负样本为不属于车牌的样本点。
2、增加卷积特征图个数，使得网络特征更加具有可区分度；但深度学习模型增加卷积特征图个数会增加网络的前向推理时间，由于目前嵌入式算力有限，不利于实时性部署，不适用于车牌检测的使用场景。
综上，需要对现有技术做进一步改进。
发明内容
本发明针对现有技术中的缺点，提供了一种优化车牌检测模型的方法及系统，还提出一种车牌检测方法及系统。
为了解决上述技术问题，本发明通过下述技术方案得以解决：
一种优化车牌检测模型的方法，包括以下步骤：
获取待优化车牌检测网络，并获取用于训练所述待优化车牌检测网络的样本图像及其第一标注信息；
在所述待优化车牌检测网络中添加车牌头尾字符标识分支网络，生成待训练网络；
在所述第一标注信息中添加与样本图像相对应的车牌头部字符框和车牌尾部字符框，生成第二标注信息；
利用样本图像及其第二标注信息对所述待训练网络进行迭代训练，获得优化网络，将所述优化网络中车牌头尾字符标识分支网络进行移除，获得优化后的车牌检测模型。
作为一种可实施方式，利用样本图像及其第二标注信息对所述待训练网络进行迭代训练，获得优化网络的具体步骤为：
获取所述待训练网络输出的预测数据；
根据所述第二标注信息和所述预测数据计算预测损失数据；
基于所述预测损失数据对所述待训练网络进行反馈更新，直至完成对所述待训练网络的训练，获得优化网络。
作为一种可实施方式：
所述预测数据包括和样本图像相对应的热点图和字符标识预测数据，所述预测损失数据包括字符标识预测损失值；
计算所述字符标识预测损失值的步骤为：
提取所述热点图和所述字符标识预测数据；
根据对应样本图像的车牌头部字符框、车牌尾部字符框、热点图和字符标识预测数据计算所述车牌头尾字符标识分支网络的损失值，获得字符标识预测损失值。
作为一种可实施方式,根据对应样本图像的车牌头部字符框、车牌尾部字符框、热点图和字符标识预测数据计算所述车牌头尾字符标识分支网络的损失值，获得字符标识预测损失值的具体步骤为：
将所述车牌头部字符框和所述车牌尾部字符框映射至所述热点图中，获得映射字符框；
从所述映射字符框中提取若干点作为字符正样本，并按照预设的正负困难样本比例从所述热点图中挖掘对应数量的字符负样本；
为所述字符正样本和所述字符负样本标注字符标识真实数据，并提取所述字符正样本和所述字符负样本标注字符的字符标识预测数据，根据所述字符标识真实数据和所述字符标识预测数据进行损失值计算，获得字符标识预测损失值。
作为一种可实施方式：
第一标注信息包括样本图像中各车牌的车牌框和类别；
预测损失数据还包括分类预测损失值和位置预测损失值。
本发明还提出一种优化车牌检测模型的系统，包括：
获取模块，用于获取待优化车牌检测网络，还用于获取用于训练所述待优化车牌检测网络的样本图像及其第一标注信息；
分支网络添加模块，用于在所述待优化车牌检测网络中添加车牌头尾字符标识分支网络，生成待训练网络；
标注添加模块，用于在所述第一标注信息中添加与样本图像相对应的车牌头部字符框和车牌尾部字符框，生成第二标注信息；
优化模块，用于利用样本图像及其第二标注信息对所述待训练网络进行迭代训练，获得优化网络，将所述优化网络中车牌头尾字符标识分支网络进行移除，获得优化后的车牌检测模型。
作为一种可实施方式，所述优化模块包括预测数据获取单元、计算单元、反馈更新单元和移除单元：
所述预测数据获取单元，用于获取所述待训练网络输出的预测数据；
所述计算单元，用于根据所述第二标注信息和所述预测数据计算预测损失数据；
所述反馈更新单元，用于基于所述预测损失数据对所述待训练网络进行反馈更新，直至完成对所述待训练网络的训练，获得优化网络。
本发明还一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述任意一项所述方法的步骤。
本发明还提出一种车牌检测方法，包括将待检测图像输入车辆检测模型，由车辆检测模型输出相对应的预测数据的步骤，所述车辆检测模型采用如权利要求1至5任意一项车辆检测模型。
本发明还提出一种车牌检测系统，包括车辆检测模型，所述车辆检测模型根据所输入的待检测图像，输出相对应的预测数据，所述车辆检测模型采用上述任意一项车辆检测模型。
本发明还提出一种计算机可读存储介质，其特征在于，该程序被处理器执行时实现上述车辆检测方法的步骤。
本发明由于采用了以上技术方案，具有显著的技术效果：
车牌头部的第一个字符通常是汉字，最后一个字符通常是数字，车牌头尾字符能够明显区分车牌和其他字符，本发明在待优化车牌检测网络中添加车牌头尾字符标识分支网络去预测车牌的头尾，进而降低待优化车牌检测网络的误检率，同时，在网络推理阶段可以直接将所述车牌头尾字符标识分支网络进行移除，使车牌头尾字符标识分支网络对优化后的车辆检测模型的时间复杂度造成影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种优化车牌检测模型的方法的流程示意图；
图2是实施例1中待优化网络的架构图；
图3是本发明一种优化车牌检测模型的系统的模块连接示意图；
图4是实施例4所示的一种车牌检测方法的流程示意图；
图5是实施例5所示的一种车牌检测系统的模块连接示意图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
实施例1、一种优化车牌检测模型的方法，如图1所示，包括以下步骤：
S110、获取待优化车牌检测网络，并获取用于训练所述待优化车牌检测网络的样本图像及其第一标注信息；
所述待优化车牌检测网络为需要降低车牌检测的误检率的深度学习网络；
所述样本图像及其第一标注信息用于训练所述深度学习网络，故第一标注信息根据所获取的待优化车牌检测网络而定。
S120、在所述待优化车牌检测网络中添加车牌头尾字符标识分支网络，生成待训练网络；
S130、在所述第一标注信息中添加与样本图像相对应的车牌头部字符框和车牌尾部字符框，生成第二标注信息；
S140、利用样本图像及其第二标注信息对所述待训练网络进行迭代训练，获得优化网络，将所述优化网络中车牌头尾字符标识分支网络进行移除，获得优化后的车牌检测模型。
注，相关领域的技术人员可根据实际需要，通过迭代次数、待训练网络的预测损失数据判断是否训练完成，判断方法属于现有常规技术，故本实施例中不对其做详细介绍。
车牌头部的第一个字符通常是汉字，最后一个字符通常是数字，该明显区分车牌和其他字符的特征在现有车牌检测模型中并没有被充分利用，因此本实施例在待优化车牌检测网络中构建一个额外的分支去预测车牌的头尾，即构建车牌头尾字符标识分支网络，并利用所述车牌头尾字符标识分支网络惩罚负样本，进而降低待优化车牌检测网络的误检率，同时，在网络推理阶段可以直接将所述车牌头尾字符标识分支网络进行移除，故所述车牌头尾字符标识分支网络并没有增加现有网络的时间复杂度。
所述步骤S140中利用样本图像及其第二标注信息对所述待训练网络进行迭代训练，获得优化网络的具体步骤为：
S141、获取所述待训练网络输出的预测数据；
所述预测数据包括待优化车牌检测网络输出的第一预测数据和车牌头尾字符标识分支网络输出的第二预测数据，其中第一预测数据随着待优化车牌检测网络的改变而改变；
所述第二预测数据为字符标识预测数据。
S142、根据所述第二标注信息和所述预测数据计算预测损失数据；
所述预测损失数据包括第一损失数据和第二损失数据，其中第一损失数据与所述待优化车牌检测网络相对应，第二损失数据与车牌头尾字符标识分支网络相对应。
所述第二损失数据为字符标识预测损失值。
S143、基于所述预测损失数据对所述待训练网络进行反馈更新，直至完成对所述待训练网络的训练，获得优化网络。
由上可知，所述车牌头尾字符标识分支网络与所述待优化的车牌检测网络共同训练，根据所述车牌头尾字符标识分支网络的损失和所述待优化车牌检测网络的损失对所合成的待训练网络进行反馈更新，从而对待优化的车牌检测网络的网络参数进行优化，降低其误检率。
由于现有车牌检测网络均能实现对车牌的检测，故第一标注信息至少包括各车牌的车牌框和类别，所述第一预测数据至少包括热点图和类别预测数据，所述第一损失数据包括分类预测损失值和位置预测损失值。
本实施例中，热点图为回归矩阵(如图2中Regression所示)，其大小为(H，W，C1)，其中H表示回归矩阵的高，W表示回归矩阵的宽，C1表示回归矩阵的输出的通道数，C1取4，其数据维度为H*W*4，用于输出对应点的4个回归预测值；
4个回归预测值为：某映射点距离其所在车牌框的上边、下边、左边、和右边的预测值，其中，映射点为热点图中某点映射到样本图像中的点，所述映射点距离其所在车牌框左边的预测值为x1_offset，距离其所在车牌框上边的预测值为y1_offset，距离其所在车牌框右边的预测值为x2_offset，距离其所在车牌框下边的预测值为y2_offset。
注，本实施例中热点图的大小为(h//4,w//4,4)，其中h表示样本图像的高度，w表示样本图像的宽度；
除特殊说明外，本说明书中高度和宽度的单位均为像素，即上述H表示具有H个像素。
本实施例中，类别预测数据为分类矩阵(如图2中Classification所示)，分类矩阵大小为(H，W，C2)，其中H表示分类矩阵的高，W表示分类矩阵的宽，分类矩阵与其相对应的回归矩阵的高和宽相同；C2表示分类矩阵的输出的通道数，也表示分类的类别数(包括车牌类别和背景)，本实施例中C2取7，其数据维度为H*W*C，即，C＝C2，分类的类别具体包括背景，蓝牌、黄牌、白牌、绿牌、黑牌、机场绿牌，相关领域的技术人员可对其根据实际需要进行设计，故本实施例不对其做限定。
本实施例中，上述字符标识预测数据为头尾字符标识矩阵(如图2中Head_tail所示)，头尾字符标识矩阵大小为(H，W，C3)，其中H表示头尾字符标识矩阵的高，W表示头尾字符标识矩阵的宽，头尾字符标识矩阵与其相对应的回归矩阵的高和宽相同；C3表示头尾字符标识矩阵的输出的通道数，用于标识是否属于车牌首尾字符，本实施例中C2取1，其数据维度为H*W*1。
所述步骤S142中根据所述第二标注信息和所述预测数据计算预测损失数据包括计算字符标识预测损失值的步骤、计算分类预测损失值的步骤和位置预测损失值的步骤；
A、计算字符标识预测损失值：
A1、提取所述热点图和所述字符标识预测数据；
A2、根据对应样本图像的车牌头部字符框、车牌尾部字符框、热点图和字符标识预测数据计算所述车牌头尾字符标识分支网络的损失值，获得字符标识预测损失值；
具体步骤为：
A2.1、将所述车牌头部字符框和所述车牌尾部字符框映射至所述热点图中，获得映射字符框；
即，将样本图像中各车牌的车牌头部字符框和车牌尾部字符框映射至相对应的热点图中，由于本实施例中热点图相对于样本图像的步长为4，故，此处为将车牌头部字符框和车牌尾部字符框内各点的坐标除以4，映射至热点图中，获得映射字符框。
A2.2、从所述映射字符框中提取若干点作为字符正样本，并按照预设的正负困难样本比例从所述热点图中挖掘对应数量的字符负样本；
本实施例，将所述映射字符框中所有点作为字符正样本，相关领域的技术人员可根据实际需要设计从所述映射字符框中提取字符正样本的规则，本实施例不对其做限定，相关领域的技术人员还可根据实际需要自行设定正负困难样本比例，本实施例中，令所提取的字符正样本与字符负样本的比例为1：10。
A2.2、为所述字符正样本和所述字符负样本标注字符标识真实数据，并提取所述字符正样本和所述字符负样本标注字符的字符标识预测数据，根据所述字符标识真实数据和所述字符标识预测数据进行损失值计算，获得字符标识预测损失值。
将所述字符正样本和所述字符负样本作为字符样本，根据各字符样本所对应的字符标识真实数据和字符标识预测数据，利用采用二分类交叉熵损失函数计算字符标识预测损失值Eloss_m，所述二分类交叉熵损失函数为：
Figure BDA0002396925150000061
其中，c表示字符样本的总个数，Yc表示第c个字符样本的字符标识真实数据，
Figure BDA0002396925150000062
表示第c个字符样本的字符标识预测数据。
本实施例中，为字符正样本标注的字符标识真实数据为1，为字符负样本标注的字符标识真实数据为0。
本实施例中，通过将所述车牌头部字符框和所述车牌尾部字符框映射至所述热点图中，并基于映射结果进行正负样本挖掘，从而优化网络的特征更加具有区分度，使优化后的车牌检测模型在保证检出率的情况下进一步降低误差率。
B、计算分类预测损失值；
B1、提取相对应的热点图和类别预测数据；
B2、根据各车牌的车牌框、类别、热点图和类别预测数据计算分类预测损失值；
具体步骤为：
将车牌框映射至所述热点图中，获得映射车牌框；即，将样本图像中各车牌的车牌框内各点的坐标除以4，映射至热点图中，获得映射车牌框。
从所述映射车牌框中提取若干点作为车牌正样本，并按照预设的正负困难样本比例从所述热点图中挖掘对应数量的车牌负样本；
同上，本实施例将所述映射车牌框中所有点作为车牌正样本，并按照车牌正样本：车牌负样本为1：10的比例从所述热点图中挖掘对应数量的车牌负样本；
于热点图中标记各车牌正样本和车牌负样本的真实标签，所述真实标签包括真实位置标签和真实类别标签；
所述车牌正样本的真实位置标签为其所在车牌框的左上点和右下点的坐标值；所述车牌负样本的真实位置标签为(0，0，0，0)；
所述车牌正样本和所述车牌负样本的真实类别标签为与其类别相对应的独热编码；
将所述车牌正样本和所述车牌负样本作为车牌样本，根据各车牌样本所对应的真实类别标签和预测类别数据，利用多分类交叉熵损失函数计算分类预测损失值Eloss_c，所述多分类交叉熵损失函数为：
Figure BDA0002396925150000071
其中，a表示车牌样本的总个数，Ya表示第a个车牌样本的真实类别标签，
Figure BDA0002396925150000072
表示第a个车牌样本相对应的类别预测数据。
注，此处仅提出一种可实现的分类预测损失值的计算方法，相关领域的技术人员可根据实际需要自行设计损失函数进行分类预测损失计算。
C、计算位置预测损失值；
C1、根据类别预测数据从热点图中提取最大置信度属于车牌分类的点，获得第一目标位置点；
类别预测数据中包含热点图中各点属于不同分类的置信度，此处提取最大置信度对应的分类为车牌的点，并将该类别作为对应点的预测车牌类别标签。
C2、按照车牌类别，根据所述热点图对应于样本图像的步长依次将属于同一类别的第一目标位置点进行解码，生成预测车牌框；
解码步骤如下：
C2.1、解码获得样本图像中与所述第一目标位置点
Figure BDA0002396925150000081
相对应的映射目标位置点(x,y)；映射目标位置点的坐标为
Figure BDA0002396925150000082
stride为步长，本实施例中步长为4。
C2.2、提取所述第一目标位置点
Figure BDA0002396925150000083
的4个回归预测值；
即，提取对应映射目标位置点(x,y)距离其所在车牌框的左边的预测值(x1_offset)、上边的预测值(y1_offset)、右边的预测值(x2_offset)、和下边的预测值(y2_offset)；
C2.3、基于上述回归预测值和映射目标位置点的坐标生成映射车牌框的左上点的坐标(box_x1,box_y1)和右下点的坐标(box_x2,box_y2)；
计算box_x1的公式为：box_x1＝x-x1_offset*stride；
计算box_x2的公式为：box_x2＝x+x2_offset*stride；
计算box_y1的公式为：box_y1＝y-y1_offset*stride；
计算box_y2的公式为：box_y2＝y+y2_offset*stride；
C2.4、将所得映射车牌框进行非极大值抑制处理，获得预测车牌框；
注，对映射车牌框进行非极大值抑制处理，从而提取出各车牌所对应置信度最高的映射车牌框作为预测车牌框，此步骤属于本领域的常规技术，无需详细介绍本领域的技术人员也能实现。
将所得预测车牌框的左上点的坐标记为
Figure BDA0002396925150000084
和右下点坐标记为
Figure BDA0002396925150000085
C2.5、根据各车牌的车牌框和预测车牌框，利用IOU损失函数计算位置预测损失值Eloss_b。
所述IOU损失函数的计算公式如下：
Figure BDA0002396925150000091
上式中Box_inter为：
Figure BDA0002396925150000092
上式中Box_union为：
Figure BDA0002396925150000093
其中，b为车牌总个数；第b个车牌的车牌框左上点坐标为(x1b,y1b)，右下点坐标为(x2b,y2b)；第b个车牌的预测车牌框的左上点的坐标为
Figure BDA0002396925150000094
右下点坐标记为
Figure BDA0002396925150000095
由于在分类阶段进行正负困难样本挖掘，故上述损失函数只对车牌框和预测车牌框的进行损失计算。
注，此处仅提出一种可实现的位置预测损失值的计算方法，相关领域的技术人员可根据实际需要自行设计损失函数进行位置预测损失计算。
本实施例中，添加车牌头尾字符标识分支网络的待优化车牌检测网络生成的待训练网络，即，待训练网络的架构图如图2所示，其具体网络配置如表1所示：
表1
Figure BDA0002396925150000096
注，上表中其中k代表卷积核大小，n代表输出卷积特征图个数，s代表卷积滑动步长，Bn代表BatchNormalization操作(批量归一化操作)，RelU6和Softmax代表使用的激活函数。
上表中卷积层(head_tail1_conv)，即为车牌头尾字符标识分支网络，即，取消卷积层(head_tail1_conv)的网络结构为待优化的车辆检测网络。
由图2和表1可知，本实施例所提供的车牌检测网络的骨干网络使用双卷积模块，能够加强网络对特征的提取，拼接不同的感受野特征，能够进一步加强特征的丰富度。提高网络的检出率。
其中车牌分类层(class1_conv)采用softmax激活函数，公式为：
Figure BDA0002396925150000101
其中，xi是指第i个神经元的输出，
Figure BDA0002396925150000102
是指所有输出神经元经过指数运算求和。该公式输出的每个神经节点的概率值，其和等于1。
注，待训练网络初始化设置如下：使用Adam优化方法，基础学习率(base_Ir)设为，0.005，训练批量大小(batchsize)为25。
本实施例中，所述样本图像包括正样本图像和负样本图像，具体获取方法为：
采集包含车牌的原始图像，首先对所得原始图像进行随机缩放来适应不同的车牌大小，然后对缩放后的原始图像进行随机剪切块，获得剪切图像，所述剪切图像的分辨率为256*256；
如果剪切图像包含完整的车牌，则对所述剪切图像进行随机添加高斯模糊、亮度、翻转、Cutout等数据增强操作后进行归一化处理，将处理后图像作为正样本图像；
如果剪切图像不包含完整的车牌，直接对所述剪切图像进行归一化处理(像素值减去127.5后除以127.5)，将处理后图像作为负样本图像；
对正样本图像中的车牌的车牌框、类别、车牌头部字符框和车牌尾部字符框进行标注，获得相对应的第二标注信息。
本实施例对负样本图像的设计能够增加网络的负样本学习。
实施例2、一种优化车牌检测模型的系统，如图3所示，包括获取模块110、分支网络添加模块120、标注添加模块120和优化模块140：
所述获取模块110，用于获取待优化车牌检测网络，还用于获取用于训练所述待优化车牌检测网络的样本图像及其第一标注信息；
所述分支网络添加模块120，用于在所述待优化车牌检测网络中添加车牌头尾字符标识分支网络，生成待训练网络；
所述标注添加模块130，用于在所述第一标注信息中添加与样本图像相对应的车牌头部字符框和车牌尾部字符框，生成第二标注信息；
所述优化模块140，用于利用样本图像及其第二标注信息对所述待训练网络进行迭代训练，获得优化网络，将所述优化网络中车牌头尾字符标识分支网络进行移除，获得优化后的车牌检测模型。
所述优化模块140包括预测数据获取单元141、计算单元142、反馈更新单元143和移除单元144；
所述预测数据获取单元141，用于获取所述待训练网络输出的预测数据；
所述计算单元142，用于根据所述第二标注信息和所述预测数据计算预测损失数据；
所述反馈更新单元143，用于基于所述预测损失数据对所述待训练网络进行反馈更新，直至完成对所述待训练网络的训练，获得优化网络。
所述移除单元144，用于将所述优化网络中车牌头尾字符标识分支网络进行移除，获得优化后的车牌检测模型。
本实施例为与实施例1相对应的装置实施例，由于其与方法实施例(实施例1)基本相似，所以描述的比较简单，相关之处参见方法实施例(实施例1)的部分说明即可。
实施例3、一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现实施例1所述方法的步骤。
实施例4、一种车牌检测方法，如图4所示，包括以下步骤：
S210、获取待检测图像；所述待检测图像为归一化处理后的图像。
S220、将待检测图像输入至车牌检测模型，由所述车牌检测模型输出相对应的预测数据；所述车牌检测模型为实施例1优化后的车牌检测模型；
S230、根据预测数据生成车牌检测结果并输出。
所述检测结果包括相对应的车牌位置检测结果和车牌类别检测结果；
步骤S230中，根据预测数据生成车牌检测结果并输出的具体步骤为：
S231、所述预测数据包括类别预测数据和热点图；根据类别预测数据从热点图中提取最大置信度属于车牌分类的点，获得第一目标位置点；
根据类别预测数据，将热点图中各点中最大置信度对应的类别作为该点的预测类别标签，所述预测类别标签分为预测车牌类别标签和预测背景标签。
所述第一目标位置点的预测类别标签为预测车牌类别标签。
S232、按照车牌类别，分别提取对应车牌类别中置信度大于预设的置信度阈值的预测车牌类别标签，并提取热点图中与所述预测车牌类别标签相映射的点，获得第二目标位置点；
本实施例对置信度阈值的设计用于降低车牌的误检率，即，当某第一目标位置点的预测车牌类别标签的置信度小于等于的置信度阈值，则判定其不属于车牌映射点。
S233、将预测车牌类别标签相同的第二目标位置点进行8连通域聚类，生成至少一个聚类点簇；每个聚类点簇表示一个车牌目标。
本实施例依次对属于同一车牌类别的第二目标位置点进行定位识别，本实施例中车牌类别为6类，分别为，蓝牌、黄牌、白牌、绿牌、黑牌和机场绿牌，下述以定位蓝牌车牌为例，对位置点剔除步骤进行详细介绍：
提取预测车牌类别标签为蓝牌的第二目标位置点进行8连通域聚类，获得相对应的聚类点簇；如热点图中有3个聚类点簇，则表示待检测图像中包含3个蓝牌车牌。
S234、统计各聚类点簇中第二目标位置点的位置点个数，当所述聚类点簇的位置点个数大于预设的剔除阈值时，将所述聚类点簇中的第二目标位置点作为第三目标位置点；
由于每个聚类点簇表示一个车牌目标，故聚类点簇中的位置点个数过低可认为该聚类点簇所表示的车牌目标误检率高，故本实施例通过对剔除阈值的设计，不对位置点个数低于(含等于)剔除阈值的车牌目标进行定位识别，从而有效降低误检率。
使本领域的技术人员能够根据实际需要自行设置剔除阈值的取值，本实施例中剔除阈值为2。
S235、按照车牌类别，根据所述热点图对应于待检测图像的步长依次将属于同一类别的第三目标位置点进行解码，生成预测车牌框。
注，可将第三目标位置点代替实施例1步骤C2中的第一目标位置点，按照实施例1中步骤C2生成相对应的预测车牌框，故本实施例中不对其进行重复介绍。
S236、输出所述预测车牌框作为车牌位置检测结果，输出所述预测车牌框所对应第三目标位置点的预测车牌类别标签作为相对应的车牌类别检测结果。
本实施例中采集自然场景下车辆图像作为原始图像，按车辆的车牌类别分类，原始图像包括蓝牌图像85045张，白牌图像2040张，黄牌图像8543张，绿牌图像2560张，黑牌图像2120张，机场绿牌图像2580张。
分别随机挑选出15％作为测试集，85％作为训练集。
实验组：利用训练集中的原始图像，按照实施例1的所提出的方法，对实施例1所公开的待训练网络进行训练，获得优化后的车牌检测模型；
由于采用无锚点框的方法，无需预设锚点框，且网络参数相对较少，训练约10h即可获得车牌检测模型，相同训练条件下采用有锚点框的方法构建车牌检测模型，且结果指标相同时，需训练约15h方可获得车牌检测模型。
对测试集中的原始图像做归一化处理，将所得图像作为待检测图像，利用所述优化后的车牌检测模型按照本实施例所提出的车牌检测方法进行识别检测，对检测结果进行统计分析获得，所述车牌检测模型的第一检出率为0.9633，第二检出率为0.0277，误检率为0.0125。
注，如直接将所得第一目标位置点，按照实施例1中步骤C2进行解码，生成预测车牌框，其误检率约为0.03，由此可见，通过根据聚类结果对第一目标位置点进行剔除能够进一步减低误检率。
对照组：移除实施例1所公开的待训练网络中的车牌头尾字符标识分支网络，获得车牌检测网络；
利用训练集中的原始图像，对所述车牌检测网络进行训练，获得车牌检测模型；
对测试集中的原始图像做归一化处理，将所得图像作为待检测图像，利用所述车牌检测模型，按照本实施例所提出的车牌检测方法进行识别检测，对检测结果进行统计分析获得，所述车牌检测模型的第一检出率为0.9647，第二检出率为0.0267，误检率为0.0584。
与优化后的车牌检测模型的误检率对比可知，实施例1所公开的优化方法能够显著降低车辆检测模型的误检率，且无需格外增加正样本的数量，也不会增加对应车辆检测模型的前向推理时间。
上述，第一检出率指：指预测车牌框(检测框)与车牌框(真实框)的IOU大于等于0.6的个数除以总的真实框；
第一检出率：指预测车牌框(检测框)与车牌框(真实框)的IOU小于0.6且大于等于0.2的个数除以总的真实框；
误检率：指预测车牌框(检测框)与车牌框(真实框)的IOU小于0.2的个数除以总的真实框。
由上述测试结果可知，按照本实施例所提出的构建方法所构建的车牌检测模型检出率较高，误检率低，由此证明所述车牌检测模型能够充分考虑到小目标，使得对于小目标车牌也能够正常的检出且效果表现良好。
实施例5、一种车牌检测系统，如图4所示，包括数据获取模块210、检测模块220和数据处理模块230；
所述数据获取模块210，用于获取待检测图像；所述待检测图像为归一化处理后的图像；
所述检测模块220，采用实施例1优化后的车牌检测模型，用于根据所输入的待检测图像，输出相对应的预测数据；
所述数据处理模块230，用于根据预测数据生成车牌检测结果并输出。
本实施例为与实施例4相对应的装置实施例，由于其与方法实施例(实施例4)基本相似，所以描述的比较简单，相关之处参见方法实施例(实施例4)的部分说明即可。
实施例6、一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现实施例4所述方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是：
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种优化车牌检测模型的方法，其特征在于包括以下步骤：
获取待优化车牌检测网络，并获取用于训练所述待优化车牌检测网络的样本图像及其第一标注信息；
在所述待优化车牌检测网络中添加车牌头尾字符标识分支网络，生成待训练网络；
在所述第一标注信息中添加与样本图像相对应的车牌头部字符框和车牌尾部字符框，生成第二标注信息；
利用样本图像及其第二标注信息对所述待训练网络进行迭代训练，获得优化网络，将所述优化网络中车牌头尾字符标识分支网络进行移除，获得优化后的车牌检测模型。
2.根据权利要求1所述的优化车牌检测模型的方法，其特征在于，利用样本图像及其第二标注信息对所述待训练网络进行迭代训练，获得优化网络的具体步骤为：
获取所述待训练网络输出的预测数据；
根据所述第二标注信息和所述预测数据计算预测损失数据；
基于所述预测损失数据对所述待训练网络进行反馈更新，直至完成对所述待训练网络的训练，获得优化网络。
3.根据权利要求2所述的优化车牌检测模型的方法，其特征在于：
所述预测数据包括和样本图像相对应的热点图和字符标识预测数据，所述预测损失数据包括字符标识预测损失值；
计算所述字符标识预测损失值的步骤为：
提取所述热点图和所述字符标识预测数据；
根据对应样本图像的车牌头部字符框、车牌尾部字符框、热点图和字符标识预测数据计算所述车牌头尾字符标识分支网络的损失值，获得字符标识预测损失值。
4.根据权利要求3所述的优化车牌检测模型的方法，其特征在于,根据对应样本图像的车牌头部字符框、车牌尾部字符框、热点图和字符标识预测数据计算所述车牌头尾字符标识分支网络的损失值，获得字符标识预测损失值的具体步骤为：
将所述车牌头部字符框和所述车牌尾部字符框映射至所述热点图中，获得映射字符框；
从所述映射字符框中提取若干点作为字符正样本，并按照预设的正负困难样本比例从所述热点图中挖掘对应数量的字符负样本；
为所述字符正样本和所述字符负样本标注字符标识真实数据，并提取所述字符正样本和所述字符负样本标注字符的字符标识预测数据，根据所述字符标识真实数据和所述字符标识预测数据进行损失值计算，获得字符标识预测损失值。
5.根据权利要求2～4任一所述的优化车牌检测模型的方法，其特征在于：
第一标注信息包括样本图像中各车牌的车牌框和类别；
预测损失数据还包括分类预测损失值和位置预测损失值。
6.一种优化车牌检测模型的系统，其特征在于，包括：
获取模块，用于获取待优化车牌检测网络，还用于获取用于训练所述待优化车牌检测网络的样本图像及其第一标注信息；
分支网络添加模块，用于在所述待优化车牌检测网络中添加车牌头尾字符标识分支网络，生成待训练网络；
标注添加模块，用于在所述第一标注信息中添加与样本图像相对应的车牌头部字符框和车牌尾部字符框，生成第二标注信息；
优化模块，用于利用样本图像及其第二标注信息对所述待训练网络进行迭代训练，获得优化网络，将所述优化网络中车牌头尾字符标识分支网络进行移除，获得优化后的车牌检测模型。
7.根据权利要求6所述优化车牌检测模型的系统，其特征在于，所述优化模块包括预测数据获取单元、计算单元、反馈更新单元和移除单元：
所述预测数据获取单元，用于获取所述待训练网络输出的预测数据；
所述计算单元，用于根据所述第二标注信息和所述预测数据计算预测损失数据；
所述反馈更新单元，用于基于所述预测损失数据对所述待训练网络进行反馈更新，直至完成对所述待训练网络的训练，获得优化网络。
8.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5任意一项所述方法的步骤。
9.一种车牌检测方法，包括将待检测图像输入车辆检测模型，由车辆检测模型输出相对应的预测数据的步骤，其特征在于，所述车辆检测模型采用如权利要求1至5任意一项车辆检测模型。
10.一种车牌检测系统，包括车辆检测模型，所述车辆检测模型根据所输入的待检测图像，输出相对应的预测数据，其特征在于，所述车辆检测模型采用如权利要求1至5任意一项车辆检测模型。
CN202010134676.5A 2020-03-02 2020-03-02 优化车牌检测模型的方法及系统、车牌检测方法及系统 Active CN111401360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010134676.5A CN111401360B (zh) 2020-03-02 2020-03-02 优化车牌检测模型的方法及系统、车牌检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010134676.5A CN111401360B (zh) 2020-03-02 2020-03-02 优化车牌检测模型的方法及系统、车牌检测方法及系统

Publications (2)

Publication Number Publication Date
CN111401360A true CN111401360A (zh) 2020-07-10
CN111401360B CN111401360B (zh) 2023-06-20

Family

ID=71434421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010134676.5A Active CN111401360B (zh) 2020-03-02 2020-03-02 优化车牌检测模型的方法及系统、车牌检测方法及系统

Country Status (1)

Country Link
CN (1) CN111401360B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634141A (zh) * 2020-12-23 2021-04-09 浙江大华技术股份有限公司 一种车牌矫正方法、装置、设备及介质
CN112749701A (zh) * 2021-01-22 2021-05-04 北京百度网讯科技有限公司 车牌污损分类模型的生成方法和车牌污损分类方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303803A (zh) * 2008-06-11 2008-11-12 北京中星微电子有限公司 一种车牌识别的方法和系统
CN105354572A (zh) * 2015-12-10 2016-02-24 苏州大学 一种基于简化卷积神经网络的车牌自动识别系统
CN105956626A (zh) * 2016-05-12 2016-09-21 成都新舟锐视科技有限公司 基于深度学习的对车牌位置不敏感的车牌识别方法
CN106845487A (zh) * 2016-12-30 2017-06-13 佳都新太科技股份有限公司 一种端到端的车牌识别方法
CN107563380A (zh) * 2017-09-08 2018-01-09 上海理工大学 一种基于mser和swt相结合的车辆车牌检测识别方法
CN107563385A (zh) * 2017-09-02 2018-01-09 西安电子科技大学 基于深度卷积生成式对抗网络的车牌字符识别方法
CN107766860A (zh) * 2017-10-31 2018-03-06 武汉大学 基于级联卷积神经网络的自然场景图像文本检测方法
CN108009543A (zh) * 2017-11-29 2018-05-08 深圳市华尊科技股份有限公司 一种车牌识别方法及装置
CN108154149A (zh) * 2017-12-08 2018-06-12 济南中维世纪科技有限公司 基于深度学习网络共享的车牌识别方法
CN108615229A (zh) * 2018-03-09 2018-10-02 南京信息工程大学 基于曲率点聚类及决策树的碰撞检测优化方法
CN109344731A (zh) * 2018-09-10 2019-02-15 电子科技大学 基于神经网络的轻量级的人脸识别方法
CN109840521A (zh) * 2018-12-28 2019-06-04 安徽清新互联信息科技有限公司 一种基于深度学习的一体化车牌识别方法
US20190278850A1 (en) * 2018-03-12 2019-09-12 International Business Machines Corporation Low-complexity methods for assessing distances between pairs of documents
WO2019205391A1 (zh) * 2018-04-26 2019-10-31 平安科技（深圳）有限公司 车辆损伤分类模型的生成装置、方法及计算机可读存储介质
CN110427937A (zh) * 2019-07-18 2019-11-08 浙江大学 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法
US20200050945A1 (en) * 2018-08-07 2020-02-13 International Business Machines Corporation Detecting poisoning attacks on neural networks by activation clustering

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303803A (zh) * 2008-06-11 2008-11-12 北京中星微电子有限公司 一种车牌识别的方法和系统
CN105354572A (zh) * 2015-12-10 2016-02-24 苏州大学 一种基于简化卷积神经网络的车牌自动识别系统
CN105956626A (zh) * 2016-05-12 2016-09-21 成都新舟锐视科技有限公司 基于深度学习的对车牌位置不敏感的车牌识别方法
CN106845487A (zh) * 2016-12-30 2017-06-13 佳都新太科技股份有限公司 一种端到端的车牌识别方法
CN107563385A (zh) * 2017-09-02 2018-01-09 西安电子科技大学 基于深度卷积生成式对抗网络的车牌字符识别方法
CN107563380A (zh) * 2017-09-08 2018-01-09 上海理工大学 一种基于mser和swt相结合的车辆车牌检测识别方法
CN107766860A (zh) * 2017-10-31 2018-03-06 武汉大学 基于级联卷积神经网络的自然场景图像文本检测方法
CN108009543A (zh) * 2017-11-29 2018-05-08 深圳市华尊科技股份有限公司 一种车牌识别方法及装置
CN108154149A (zh) * 2017-12-08 2018-06-12 济南中维世纪科技有限公司 基于深度学习网络共享的车牌识别方法
CN108615229A (zh) * 2018-03-09 2018-10-02 南京信息工程大学 基于曲率点聚类及决策树的碰撞检测优化方法
US20190278850A1 (en) * 2018-03-12 2019-09-12 International Business Machines Corporation Low-complexity methods for assessing distances between pairs of documents
WO2019205391A1 (zh) * 2018-04-26 2019-10-31 平安科技（深圳）有限公司 车辆损伤分类模型的生成装置、方法及计算机可读存储介质
US20200050945A1 (en) * 2018-08-07 2020-02-13 International Business Machines Corporation Detecting poisoning attacks on neural networks by activation clustering
CN109344731A (zh) * 2018-09-10 2019-02-15 电子科技大学 基于神经网络的轻量级的人脸识别方法
CN109840521A (zh) * 2018-12-28 2019-06-04 安徽清新互联信息科技有限公司 一种基于深度学习的一体化车牌识别方法
CN110427937A (zh) * 2019-07-18 2019-11-08 浙江大学 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEI LIU等: "High-level Semantic Feature Detection: A New Perspective for Pedestrian Detection", 《CVPR》, pages 5187 - 5196 *
孙黎: "基于深度学习的交通视频分析系统的设计与实现", pages 3 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634141A (zh) * 2020-12-23 2021-04-09 浙江大华技术股份有限公司 一种车牌矫正方法、装置、设备及介质
CN112634141B (zh) * 2020-12-23 2024-03-29 浙江大华技术股份有限公司 一种车牌矫正方法、装置、设备及介质
CN112749701A (zh) * 2021-01-22 2021-05-04 北京百度网讯科技有限公司 车牌污损分类模型的生成方法和车牌污损分类方法
CN112749701B (zh) * 2021-01-22 2024-02-09 北京百度网讯科技有限公司 车牌污损分类模型的生成方法和车牌污损分类方法

Also Published As

Publication number Publication date
CN111401360B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
US9098775B2 (en) Multi-class identifier, method, and computer-readable recording medium
Chen et al. Random-positioned license plate recognition using hybrid broad learning system and convolutional networks
US20210326638A1 (en) Video panoptic segmentation
CN110837836A (zh) 基于最大化置信度的半监督语义分割方法
CN111767878B (zh) 嵌入式设备中基于深度学习的交通标志检测方法及系统
CN111783505A (zh) 伪造人脸的识别方法、装置和计算机可读存储介质
CN108960412B (zh) 图像识别方法、装置及计算机可读存储介质
CN112580643A (zh) 一种基于深度学习的车牌识别方法、装置及存储介质
CN107516102B (zh) 图像数据分类与建立分类模型方法、装置及系统
CN110580499B (zh) 基于众包重复标签的深度学习目标检测方法及系统
CN113033523B (zh) 跌倒判断模型的构建方法及系统、跌倒判断方法及系统
US11600088B2 (en) Utilizing machine learning and image filtering techniques to detect and analyze handwritten text
CN111401360B (zh) 优化车牌检测模型的方法及系统、车牌检测方法及系统
CN112749653A (zh) 行人检测方法、装置、电子设备及存储介质
Dorbe et al. FCN and LSTM based computer vision system for recognition of vehicle type, license plate number, and registration country
CN111694954B (zh) 图像分类方法、装置和电子设备
JPWO2015146113A1 (ja) 識別辞書学習システム、識別辞書学習方法および識別辞書学習プログラム
CN113962199B (zh) 文本识别方法、装置、设备、存储介质及程序产品
Lee et al. License plate detection via information maximization
CN113627477B (zh) 车辆多属性识别方法及系统
Yang et al. High-speed rail pole number recognition through deep representation and temporal redundancy
CN114663731B (zh) 车牌检测模型的训练方法及系统、车牌检测方法及系统
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
Oublal et al. An advanced combination of semi-supervised Normalizing Flow & Yolo (YoloNF) to detect and recognize vehicle license plates
CN112989869B (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 311422 4th floor, building 9, Yinhu innovation center, 9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang Xinmai Microelectronics Co.,Ltd.

Address before: 311400 4th floor, building 9, Yinhu innovation center, No.9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou xiongmai integrated circuit technology Co.,Ltd.