CN111310850A - 车牌检测模型的构建方法及系统、车牌检测方法及系统 - Google Patents
车牌检测模型的构建方法及系统、车牌检测方法及系统 Download PDFInfo
- Publication number
- CN111310850A CN111310850A CN202010134673.1A CN202010134673A CN111310850A CN 111310850 A CN111310850 A CN 111310850A CN 202010134673 A CN202010134673 A CN 202010134673A CN 111310850 A CN111310850 A CN 111310850A
- Authority
- CN
- China
- Prior art keywords
- license plate
- prediction
- point
- category
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开一种车牌检测模型的构建方法及系统、车牌检测方法及系统，其中车牌检测模型的构建方法包括根据分类预测损失值和位置预测损失值对第一卷积神经网络进行反馈更新的步骤，所述第一卷积神经网络的输入为样本图像及其标注信息，所述标注信息包括各车牌的车牌框和类别，输出为热点图数据和类别预测数据；所述分类预测损失值的计算方法为：根据车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同；根据所述困难正样本和所述困难负样本的类别和类别预测数据计算分类预测损失值。本发明使每个车牌所对应的困难正样本的数量相同平衡不同尺寸的车牌在网络中的损失贡献。
Description
技术领域
本发明涉及图像识别领域，尤其涉及一种车牌检测模型的构建方法及系统、车牌检测方法及系统。
背景技术
由于车牌检测对实时性的要求较高，故现今采用机器学习的方法进行车牌检测时，通常采用单阶段目标检测识别算法；单阶段目标检测识别算法目前可分为有锚点框和无锚点框两类；对于有锚点框方法而言，不同的目标大小匹配的锚点框不同，小目标匹配会少一些，大目标匹配会多一些，从而导致对于小目标的学习不鲁棒；对于无锚点框方法来讲，由于小目标匹配的点较少，使得网络偏向于大目标学习，导致小目标检测的漏检率较高。
综上，需要对现有技术做进一步改进。
发明内容
本发明针对现有技术中的缺点，提供了一种车牌检测模型的构建方法及系统、以及一种车牌检测方法及系统。
为了解决上述技术问题，本发明通过下述技术方案得以解决：
一种车牌检测模型的构建方法，包括根据分类预测损失值和位置预测损失值对第一卷积神经网络进行反馈更新的步骤，所述第一卷积神经网络的输入为样本图像及其标注信息，所述标注信息包括各车牌的车牌框和类别，输出为相应的热点图数据和类别预测数据；
所述分类预测损失值的计算方法为：
根据车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同；
提取所述困难正样本和所述困难负样本的类别和类别预测数据，基于所述类别和所述类别预测数据计算分类预测损失值。
作为一种可实施方式：
所述热点图数据包括至少两幅不同尺寸的热点图；
所述类别预测数据包括与所述热点图中各点一一对应的预测类别标签。
作为一种可实施方式，基于根据各车牌的车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同的具体步骤为：
基于车牌的尺寸，按照预设的预测规则提取相适配的热点图，并提取相应的车牌框的中心点，将所述中心点映射至所述热点图中，获得中心映射点；
从所述热点图中提取所述中心映射点的八连通域坐标点，将所述中心映射点和所述八连通域坐标点作为所述车牌的困难正样本；
基于预设的正负样本比例，从所述热点图中挖掘获得对应数量的困难负样本。
作为一种可实施方式，位置预测损失值的计算方法为：
所述预测类别标签为预测车牌类别标签或预测背景标签，提取各预测车牌类别标签的置信度；
按照车牌类别，分别提取对应车牌类别中置信度大于预设的置信度阈值的预测车牌类别标签，并提取热点图与所述预测车牌类别标签相映射的点，获得第一目标位置点；
根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框；
根据各车牌的车牌框和预测车牌框，利用IOU损失函数计算位置预测损失值。
本发明还提出一种车牌检测模型的构建系统，包括反馈更新模块，所述反馈更新模块用于根据分类预测损失值和位置预测损失值对第一卷积神经网络进行反馈更新的步骤，所述第一卷积神经网络的输入为样本图像及其标注信息，所述标注信息包括各车牌的车牌框和类别，输出为相应的热点图数据和类别预测数据；
还包括分类损失计算单元，所述其中分类损失计算单元包括困难样本挖掘子单元和损失计算子单元；
所述困难样本挖掘子单元，用于基于根据各车牌的车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同；
所述损失计算子单元，用于提取所述困难正样本和所述困难负样本的类别和类别预测数据，基于所述类别和所述类别预测数据计算分类预测损失值。
本发明由于采用了以上技术方案，具有显著的技术效果：
1、本发明在计算分类预测损失值时采用正负困难样本挖掘策略，并使每个车牌所对应的困难正样本的数量相同，即，无论车牌是大目标还是小目标，在网络中处于同等地位，从而平衡不同尺寸的车牌在网络中的损失贡献，提高车牌的检出率。
2、本发明热点图数据包括至少两幅不同尺寸的热点图，以实现多级特征预测，根据车牌尺寸选取相适配的热点图及预测类别标签进行预测，避免因由于车牌的尺寸的大小变化较大对最终检测结果的影响。
本发明还提出一种车牌检测方法，包括以下步骤：
获取待检测图像，将待检测图像输入至车牌检测模型中，由所述车牌检测模型输出相对应的热点图数据和类别预测数据，所述车牌检测模型采用上述任意一项车牌检测模型；
根据所述类别预测数据和热点图数据生成所述待检测图像中车牌的预测车牌框，根据类别预测数据和所述预测车牌框生成检测结果并输出。
作为一种可实施方式：
所述热点图数据包括至少两幅不同尺寸的热点图；
所述类别预测数据包括与所述热点图中各点一一对应的预测类别标签，所述预测类别标签为预测车牌类别标签或预测背景标签；
所述检测结果包括相对应的车牌位置检测结果和车牌类别检测结果；
根据所述类别预测数据和热点图数据生成所述待检测图像中车牌的预测车牌框，根据类别预测数据和所述预测车牌框生成检测结果并输出的具体步骤为：
提取各预测车牌类别标签的置信度；
按照车牌类别，分别提取对应车牌类别中置信度大于预设的置信度阈值的预测车牌类别标签，并提取热点图与所述预测车牌类别标签相映射的点，获得第一目标位置点；
根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框，输出所述预测车牌框作为车牌位置检测结果，输出所述预测车牌框所对应第一目标位置点的预测车牌类别标签作为相对应的车牌类别检测结果。
作为一种可实施方式，根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框的具体步骤为；
提取第一目标位置点的热点坐标数据，以及第一目标位置点所在热点图的回归偏移值，并根据所述热点图的尺寸计算所述热点图相对于待检测图像的步长，根据所述回归偏移值和所述步长所所述热点坐标数据进行解码，获得映射车牌框；
对所述映射车牌框进行非极大值抑制操作，生成预测车牌框。
作为一种可实施方式，根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框之前还包括位置点剔除步骤，具体步骤为；
将预测车牌类别标签相同且位于同一热点图的第一目标位置点进行8连通域聚类，生成至少一个聚类点簇；
统计各聚类点簇中第一目标位置点的位置点个数，当所述聚类点簇的位置点个数大于预设的剔除阈值时，将所述聚类点簇中的第一目标位置点作为第二目标位置点；
根据第二目标位置点和第二目标位置点所在热点图的尺寸，生成预测车牌框。
本发明还提出一种车牌检测系统，包括：
第一预测模块，用于获取待检测图像，还用于待检测图像输入至车牌检测模型中，由所述车牌检测模型输出相对应的热点图数据和类别预测数据，所述车牌检测模型采用权利要求上述任意一项车牌检测模型；
第二预测模块，用于根据所述类别预测数据和热点图数据生成所述待检测图像中车牌的预测车牌框，根据类别预测数据和所述预测车牌框生成检测结果并输出。
除上述对本发明车牌检测模型的构建方法的技术效果的说明外，本发明车牌检测方法由于采用了以上技术方案，还具有以下显著的技术效果：
本发明通过对位置点剔除步骤的设计，剔除位置点个数过低的聚类点簇，仅对剩余聚类点簇中的第一目标位置点进行解码，有效降低车牌检测的误检率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是实施例1中车牌检测模型的构建方法的流程示意图；
图2是实施例1中计算分类预测损失值的流程示意图；
图3是实施例1中计算位置预测损失值的流程示意图；
图4是实施例1中第一卷积神经网络的架构图；
图5是实施例2中车牌检测模型的构建系统的模块连接示意图；
图6是实施例3中车牌检测方法的流程示意图；
图7是实施例4中位置点剔除步骤的流程示意图；
图8是实施例5中车牌检测系统的模块连接示意图；
图9是实施例6中第二预测模块220的模块连接示意图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
实施例1、一种车牌检测模型的构建方法，如图1所示，构建车牌检测模型的方法包括以下步骤：
S110、获取样本图像，对样本图像中车牌的车牌框和类别进行标注，生成样本数据；
即，样本数据包括样本图像及其标注信息，所述标注信息包括各车牌的车牌框和类别，样本图像的标注信息可以为空，此时所述样本图像用于加强网络的负样本学习。
S120、利用所述样本数据对预设的第一卷积神经网络进行迭代训练，输出相应的热点图数据和类别预测数据；
即，所述第一卷积神经网络的输入为样本数据，输出为相应的热点图数据和类别预测数据；
S130、根据所述车牌框、所述类别、所述热点图数据和所述类别预测数据计算分类预测损失值和位置预测损失值；
S140、根据所述分类预测损失值和所述位置预测损失值对所述第一卷积神经网络进行反馈更新，获得第二卷积神经网络，并将所述第二卷积神经网络作为第一卷积神经网络进行下一次迭代训练，直至训练完成，获得车牌检测模型。
注，相关领域的技术人员可根据实际需要，通过迭代次数、所述分类预测损失值和/或所述位置预测损失值判断是否训练完成，判断方法属于现有常规技术，故本实施例中不对其做详细介绍，本实施例中，当所述分类预测损失值和所述位置预测损失值均达到预设条件时，判定训练完成。
如图2所示，步骤S130中，根据所述车牌框、所述类别、所述热点图数据和所述类别预测数据计算分类预测损失值的具体步骤为：
S131、基于根据各车牌的车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同；
S132、提取所述困难正样本和所述困难负样本的类别和类别预测数据，基于所述类别和所述类别预测数据计算分类预测损失值。
现有技术中，有锚点框的检测算法需要对数据中的车牌长宽比进行统计，然后去人为设计网络中的固定锚点框，此步骤中需要进行繁琐的调参工作将设计的固定锚点框与真实车牌框相匹配，故现今通常使用无需繁琐的调参步骤的无锚点框的检测算法。
但现今无锚点框的检测算法打标签方式对于小目标不太合理，例如FCOS算法(Fully Convolutional One-Stage Object Detection，全卷积的单阶段目标检测算法)，其通过构建一个centerness分支抛弃热点图数据中置信度较低的点，该方式使得大目标在网络的损失函数中占绝对位置，而小目标对网络贡献的损失较少，不利于小目标的检测。
本实施例中进行正负困难样本挖掘，并使每个车牌所对应的困难正样本的数量相同，即，无论车牌是大目标还是小目标，在网络中处于同等地位，从而平衡不同尺寸的车牌在网络中的损失贡献，提高车牌的检出率。
步骤S120中：
所述热点图数据包括至少两幅不同尺寸的热点图；
所述类别预测数据包括与所述热点图中各点一一对应的预测类别标签。
由于车牌的尺寸的大小变化较大，故本实施例中采用2级预测，此时热点图数据包括两幅热点图，类别预测数据包括两个与热点图一一对应的预测标签，每个预测标签包含与相应热点图中各点一一对应的预测类别标签；
上述热点图为回归矩阵(如图4中Regression所示)，回归矩阵大小为(H，W，C1)，其中H表示回归矩阵的高，W表示回归矩阵的宽，C1表示回归矩阵的输出的通道数，本实施例中C1取4，参照图4，其数据维度为H*W*4,用于输出对应点的4个回归预测值，即，4个回归预测值为：某映射点距离其所在车牌框的上边、下边、左边、和右边的预测值，其中，映射点为热点图中某点映射到样本图像中的点，所述映射点距离其所在车牌框左边的预测值为x1_offset，距离其所在车牌框上边的预测值为y1_offset，距离其所在车牌框右边的预测值为x2_offset，距离其所在车牌框下边的预测值为y2_offset。
注，除特殊说明外，本说明书中高度和宽度的单位均为像素，即上述H表示具有H个像素。
上述预测标签为分类矩阵(如图4中Classification所示)，分类矩阵大小为(H，W，C2)，其中H表示分类矩阵的高，W表示分类矩阵的宽，分类矩阵与其相对应的回归矩阵的高和宽相同；C2表示分类矩阵的输出的通道数，也表示分类的类别数(包括车牌类别和背景)，本实施例中C2取7，参照图4，其数据维度为H*W*C，即，C＝C2，分类的类别具体包括背景，蓝牌、黄牌、白牌、绿牌、黑牌、机场绿牌，相关领域的技术人员可对其根据实际需要进行设计，故本实施例不对其做限定。
本实施例中热点图数据包括第一级热点图和第二级热点图，类别预测数据包括第一级预测标签和第二级预测标签；
第一级预测用于预测高度大于6像素且小于等于24像素的车牌(小目标)，该车牌与第一级热点图和第一级预测标签相对应，所述第一级热点图大小为(h//4,w//4,4)，第一级预测标签大小为(h//4,w//4,7)，其中h为样本图像的高度，w为样本图像的宽度。
第二级预测用于预测高度大于24像素且小于等于48像素的车牌(大目标)，该车牌与第二级热点图和第二级预测标签相对应，所述第二级热点图大小为(h//8,w//8,4)，第二级预测标签大小为(h//8,w//8,7)。
步骤S131中，基于根据各车牌的车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同的具体步骤为：
A1、基于车牌的尺寸，按照预设的预测规则提取相适配的热点图，并提取相应的车牌框的中心点，将所述中心点映射至所述热点图中，获得中心映射点；
本实施例中，车牌的尺寸具体指车牌在样本图像中的高度，预设的预测规则指车牌高度大于6像素且小于等于24像素时进行第一级预测，车牌高度大于24像素且小于等于48像素时进行第二级预测；
如基于车牌高度判定对其进行第一级预测，将对应车牌框的中心点映射至第一级热点图中，即将中心点的横坐标除以4，纵坐标除以4，所得坐标在第一级热点图中所对应的点为中心映射点。
A2、从所述热点图中提取所述中心映射点的八连通域坐标点，将所述中心映射点和所述八连通域坐标点作为所述车牌的困难正样本；
即，每个车牌对应的困难正样本的数量为9。
注，基于已知点(中心映射点)在热点图中提取对应的八连通域坐标点属于现有技术，故本实施例中不对其做详细介绍。
A3、基于预设的正负样本比例，从所述热点图中挖掘获得对应数量的困难负样本。
本实施例中困难正样本与困难负样本的比例为1:10。
注，正负困难样本挖掘为现有常规技术，本实施例仅对挖掘困难正样本的方法进行改进，故相关技术领域的技术人员仅需挖掘相应数量的困难负样本即可，本实施例不对挖掘困难负样本的方式进行限定。
步骤S132提取所述困难正样本和所述困难负样本的类别和类别预测数据，基于所述类别和所述类别预测数据计算分类预测损失值的具体步骤为：
于热点图中标记各困难正样本和困难负样本的真实标签，真实标签包括真实位置标签和真实类别标签；
所述困难正样本的真实位置标签为其所在车牌框的左上点和右下点的坐标值；所述困难负样本的真实位置标签为(0，0，0，0)，即，左上点和右下点的坐标值均为0；
所述困难正样本和所述困难负样本的真实类别标签为与其类别相对应的独热编码；
将所述困难正样本和所述困难负样本作为困难样本，根据各困难样本所对应的真实类别标签和预测类别标签，利用多分类交叉熵损失函数计算分类预测损失值Eloss_c，所述多分类交叉熵损失函数为：
其中，a表示困难样本的总个数，Ya表示第a个困难样本的真实类别标签，
表示第a个困难样本的预测类别标签。
本实施例通过对正负困难样本挖掘策略的涉及，一方面能够平衡车牌大小目标在网络中的损失贡献，提高小目标车牌的检出率，另一方面加强对困难负样本的学习，减低误检率。
如图3所示，所述步骤S130中，根据所述车牌框、所述类别、所述热点图数据和所述类别预测数据计算位置预测损失值的具体步骤为：
S133、所述预测类别标签为预测车牌类别标签或预测背景标签，提取各预测车牌类别标签的置信度；
注，进行分类检测时，第一卷积神经网络将输出对应热点图中每个点属于各类别的置信度，本实施例中以置信度最大的类别最为对应点的预测类别标签。
S134、按照车牌类别，分别提取对应车牌类别中置信度大于预设的置信度阈值的预测车牌类别标签，并提取热点图与所述预测车牌类别标签相映射的点，获得第一目标位置点；
由于本实施例进行两级预测，每个车牌有两组预测结果，且与车牌尺寸相适配的预测结果更为准确，故通过设置置信度阈值，利用置信度大于置信度阈值的预测车牌类别标签所在预测级别对车牌进行识别定位，如，所提取的预测车牌类别标签属于第一级预测标签时，该预测车牌类别标签所对应的车牌高度大于6像素且小于等于24像素。
相关领域的技术人员可根据实际情况自行设置置信度阈值，使某预测车牌类别标签的置信度大于置信度阈值时，所述预测车牌类别标签所对应的车牌尺寸也符合对应预测等级即可。
S135、根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框；
即，对所述第一目标位置点进行解码，本实施例中热点图尺寸与样本图像尺寸不一致，故需结合第一目标位置点所在热点图的尺寸对第一目标位置点进行解码，具体步骤如下：
B1、解码获得样本图像中与所述第一目标位置点
相对应的映射目标位置点(x,y)；
本实施例中，根据所在热点图相对于原图的步长进行解码，即映射目标位置点的坐标为
stride为步长，本实施例中第一级热点图相对于原图的步长为4，第二级热点图相对于原图的步长为8。
B2、提取所述第一目标位置点
的4个回归预测值，即对应映射目标位置点(x,y)距离其所在车牌框的左边的预测值(x1_offset)、上边的预测值(y1_offset)、右边的预测值(x2_offset)、和下边的预测值(y2_offset)，基于上述回归预测值和映射目标位置点的坐标生成映射车牌框的左上点的坐标(box_x1,box_y1)和右下点的坐标(box_x2,box_y2)；
计算box_x1的公式为：box_x1＝x-x1_offset*stride；
计算box_x2的公式为：box_x2＝x+x2_offset*stride；
计算box_y1的公式为：box_y1＝y-y1_offset*stride；
计算box_y2的公式为：box_y2＝y+y2_offset*stride；
B3、将所得映射车牌框进行非极大值抑制处理，获得预测车牌框；
注，对映射车牌框进行非极大值抑制处理，从而提取出各车牌所对应置信度最高的映射车牌框作为预测车牌框，此步骤属于本领域的常规技术，无需详细介绍本领域的技术人员也能实现。
将所得预测车牌框的左上点的坐标记为
和右下点坐标记为
S136、根据各车牌的车牌框和预测车牌框，利用IOU损失函数计算位置预测损失值Eloss_b。
所述IOU损失函数的计算公式如下：
上式中Box_inter为：
上式中Box_union为：
其中，b为车牌总个数；第b个车牌的车牌框左上点坐标为(x1b,y1b)，右下点坐标为(x2b,y2b)；第b个车牌的预测车牌框的左上点的坐标为
右下点坐标记为
由于在分类阶段进行正负困难样本挖掘，故上述损失函数只对车牌框和预测车牌框的进行损失计算。
步骤S110中获取样本图像，对样本图像中车牌的车牌框和类别进行标注，生成样本数据的具体步骤为：
采集包含车牌的原始图像，首先对所得原始图像进行随机缩放来适应不同的车牌大小，然后对缩放后的原始图像进行随机剪切块，获得剪切图像，所述剪切图像的分辨率为256*256；
如果剪切图像包含完整的车牌，则对所述剪切图像进行随机添加高斯模糊、亮度、翻转、Cutout等数据增强操作后进行归一化处理，将处理后图像作为第一样本图像；
如果剪切图像不包含完整的车牌，直接对所述剪切图像进行归一化处理(像素值减去127.5后除以127.5)，将处理后图像作为第二样本图像；
第一样本图像和第二样本图像作为样本图像，对样本图像(第一样本图像)中的车牌的车牌框和类别进行标注，生成样本数据。
本实施例将第一样本图像作为正样本，第二样本图像作为负样本，对预设的第一卷积神经网络进行迭代训练，能够增加网络的负样本学习。
步骤S120中预设的第一卷积神经网络的架构图如图4所示，其具体网络配置如表1所示：
表1
注，上表中其中k代表卷积核大小，n代表输出卷积特征图个数，s代表卷积滑动步长，Bn代表BatchNormalization操作，RelU6和Softmax代表使用的激活函数。
由图4和表1可知，本实施例的第一卷积神经网络骨干网络使用双卷积模块，能够加强网络对特征的提取，且所述第一卷积神经网络使用两级特征预测，能够充分的考虑到不同大小的车牌尺寸。
由图4和表1可知，本实施例所预设的第一卷积神经网络一共包含18层卷积操作，除了预测回归坐标层(box1_conv和box2_conv)和车牌分类层(class1_conv和class2_conv)，其余卷积层全部使用3*3卷积操作、激活函数全部使用Relu6、进行BatchNormalization操作(批量归一化操作)，并且不使用卷积操作的偏置。
其中车牌分类层(class1_conv和class2_conv)采用softmax激活函数，公式为：
其中，xi是指第i个神经元的输出，
是指所有输出神经元经过指数运算求和。该公式输出的每个神经节点的概率值，其和等于1。
注，第一卷积神经网络的参数初始化设置如下：使用Adam优化方法，基础学习率(base_Ir)设为，0.001，训练批量大小(batchsize)为25。
实施例2、一种车牌检测模型的构建系统，如图5所示，包括样本数据获取模块110、训练模块120、损失值计算模块130和反馈更新模块140：
所述样本数据获取模块110，用于获取样本图像，对样本图像中车牌的车牌框和类别进行标注，生成样本数据；
所述训练模块120，用于利用所述样本数据对第一卷积神经网络进行迭代训练，输出相应的热点图数据和类别预测数据；
所述损失值计算模块130，用于根据所述车牌框、所述类别、所述热点图数据和所述类别预测数据计算分类预测损失值和位置预测损失值；
所述反馈更新模块140，用于根据所述分类预测损失值和所述位置预测损失值对所述第一卷积神经网络进行反馈更新，获得第二卷积神经网络，并将所述第二卷积神经网络作为第一卷积神经网络进行下一次迭代训练，直至训练完成，获得车牌检测模型；
所述损失值计算模块130包括分类损失计算单元131和位置损失计算单元132，其中分类损失计算单元131包括困难样本挖掘子单元和损失计算子单元；
所述困难样本挖掘子单元，用于基于根据各车牌的车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同；
所述损失计算子单元，用于提取所述困难正样本和所述困难负样本的类别和类别预测数据，基于所述类别和所述类别预测数据计算分类预测损失值。
所述位置损失计算单元132被配置为：
所述预测类别标签为预测车牌类别标签或预测背景标签，提取各预测车牌类别标签的置信度；
按照车牌类别，分别提取对应车牌类别中置信度大于预设的置信度阈值的预测车牌类别标签，并提取热点图与所述预测车牌类别标签相映射的点，获得第一目标位置点；
根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框；
根据各车牌的车牌框和预测车牌框，利用IOU损失函数计算位置预测损失值。
本实施例为与实施例1相对应的装置实施例，由于其与方法实施例(实施例1)基本相似，所以描述的比较简单，相关之处参见方法实施例(实施例1)的部分说明即可。
实施例3、一种车牌检测方法，如图6所示，包括以下步骤：
S210、获取待检测图像，将待检测图像输入至车牌检测模型中，由所述车牌检测模型输出相对应的热点图数据和类别预测数据，所述车牌检测模型实施例1所构建的车牌检测模型；
所述待检测图像为归一化处理后的图像。
所述热点图数据包括至少两幅不同尺寸的热点图；
所述类别预测数据包括与所述热点图中各点一一对应的预测类别标签，所述预测类别标签为预测车牌类别标签或预测背景标签；
注，上述热点图数据与实施例1中热点图数据相同，类别预测数据与实施例1中类别预测数据相同，相关之处参见实施例1的部分说明即可。
S220、根据所述类别预测数据和热点图数据生成所述待检测图像中车牌的预测车牌框，根据类别预测数据和所述预测车牌框生成检测结果并输出。
所述检测结果包括相对应的车牌位置检测结果和车牌类别检测结果；
步骤S220中，根据所述类别预测数据和热点图数据生成所述待检测图像中车牌的预测车牌框，根据类别预测数据和所述预测车牌框生成检测结果并输出的具体步骤为：
S221、提取各预测车牌类别标签的置信度；
S222、按照车牌类别，分别提取对应车牌类别中置信度大于预设的置信度阈值的预测车牌类别标签，并提取热点图与所述预测车牌类别标签相映射的点，获得第一目标位置点；
S223、根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框；
具体步骤为：
提取第一目标位置点的热点坐标数据，以及第一目标位置点所在热点图的回归偏移值，并根据所述热点图的尺寸计算所述热点图相对于待检测图像的步长，根据所述回归偏移值和所述步长所所述热点坐标数据进行解码，获得映射车牌框；
对所述映射车牌框进行非极大值抑制操作，生成预测车牌框。
注，上述步骤S221至S223与实施例1中步骤S133至步骤S135相同，故将待检测图像替换为实施例1中的样本图像，按照实施例1所公开的步骤生成预测车牌框即可。
S224、输出所述预测车牌框作为车牌位置检测结果，输出所述预测车牌框所对应第一目标位置点的预测车牌类别标签作为相对应的车牌类别检测结果。
本实施例所述的车牌检测方法包括对车牌分类和定位，适用于多种应用场合(如停车场管理和车辆违章监控)。
实施例4、于实施例3的步骤S222和所述S223之间添加位置点剔除步骤，其余均等同于实施例3。
如图7所示，所述位置点剔除步骤的具体步骤为：
S310、将预测车牌类别标签相同且位于同一热点图的第一目标位置点进行8连通域聚类，生成至少一个聚类点簇；每个聚类点簇表示一个车牌目标。
由于热点图中每个点都对应一个预测类别标签，故本实施例分别对属于同一车牌类别的第一目标位置点进行定位识别，本实施例中车牌类别为6类，分别为，蓝牌、黄牌、白牌、绿牌、黑牌和机场绿牌，下述以定位蓝牌车牌为例，对位置点剔除步骤进行详细介绍：
提取预测车牌类别标签为蓝牌的第一目标位置点，将位于同一热点图的第一目标位置点进行8连通域聚类，获得相对应的聚类点簇；如第一级热点图中有3个聚类点簇，则表示待检测图像中包含3个小目标的蓝牌车牌。
S320、统计各聚类点簇中第一目标位置点的位置点个数，当所述聚类点簇的位置点个数大于预设的剔除阈值时，将所述聚类点簇中的第一目标位置点作为第二目标位置点；
由于每个聚类点簇表示一个车牌目标，故聚类点簇中的位置点个数过低可认为该聚类点簇所表示的车牌目标误检率高，故本实施例通过对剔除阈值的设计，不对位置点个数低于(含等于)剔除阈值的车牌目标进行定位识别，从而有效降低误检率。
使本领域的技术人员能够根据实际需要自行设置剔除阈值的取值，本实施例中剔除阈值为2。
S330、根据第二目标位置点和第二目标位置点所在热点图的尺寸，生成预测车牌框。
注，可将第二目标位置点代替实施例1步骤S135中的第一目标位置点，按照实施例1中步骤S135生成相对应的预测车牌框，故本实施例中不对其进行重复介绍。
本实施例中采集自然场景下车辆图像作为原始图像，按车辆的车牌类别分类，原始图像包括蓝牌图像85045张，白牌图像2040张，黄牌图像8543张，绿牌图像2560张，黑牌图像2120张，机场绿牌图像2580张。
分别随机挑选出15％作为测试集，85％作为训练集。
利用训练集中的原始图像，按照实施例1的所提出的构建方法构建获得车牌检测模型，由于采用无锚点框的方法，无需预设锚点框，且网络参数相对较少，训练约15h即可获得车牌检测模型，相同训练条件下采用有锚点框的方法构建车牌检测模型，且结果指标相同时，需训练约20h方可获得车牌检测模型。
对测试集中的原始图像做归一化处理，将所得图像作为待检测图像，利用所述车牌检测模型按照本实施例所提出的车牌检测方法进行识别检测，对检测结果进行统计分析获得所述车牌检测模型的第一检出率为0.9792，第二检出率为0.0143，误检率为0.0322，且其对小目标车牌的检出率高达99％；
如按照现有方法所计算的分类预测损失值对第一卷积神经网络进行反馈更新，所训练获得的车牌检测模型对小目标的检出率仅为94％，由此可证明实施例1所提出的构建方法能够平衡大小目标在网络中的损失贡献，降低小目标车牌的漏检率。
上述，第一检出率指：指预测车牌框(检测框)与车牌框(真实框)的IOU大于等于0.6的个数除以总的真实框；
第一检出率：指预测车牌框(检测框)与车牌框(真实框)的IOU小于0.6且大于等于0.2的个数除以总的真实框；
误检率：指预测车牌框(检测框)与车牌框(真实框)的IOU小于0.2的个数除以总的真实框，当利用实施例3的方法进行车牌检测时，误检率约为0.05，由此可见位置点剔除步骤能够有效降低误检率。
由上述测试结果可知，按照本实施例所提出的构建方法所构建的车牌检测模型检出率较高，误检率低，由此证明所述车牌检测模型能够充分考虑到小目标，使得对于小目标车牌也能够正常的检出且效果表现良好。
实施例5、一种车牌检测系统，如图8所示，包括第一预测模块210和第二预测模块220；
所述第一预测模块210，用于获取待检测图像，还用于待检测图像输入至车牌检测模型中，由所述车牌检测模型输出相对应的热点图数据和类别预测数据，所述车牌检测模型实施例1训练获得的车牌检测模型；
所述第二预测模块220，用于根据所述类别预测数据和热点图数据生成所述待检测图像中车牌的预测车牌框，根据类别预测数据和所述预测车牌框生成检测结果并输出。
所述第二预测模块220包括置信度获取单元221、第一目标位置点获取单元222、定位识别单元223和输出单元224；
所述置信度获取单元221，用于提取各预测车牌类别标签的置信度；
所述第一目标位置点获取单元222，用于按照车牌类别，分别提取对应车牌类别中置信度大于预设的置信度阈值的预测车牌类别标签，并提取热点图与所述预测车牌类别标签相映射的点，获得第一目标位置点；
所述定位识别单元223，用于根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框；
所述输出单元224，用于输出所述预测车牌框作为车牌位置检测结果，还用于输出所述预测车牌框所对应第一目标位置点的预测车牌类别标签作为相对应的车牌类别检测结果。
本实施例为与实施例3相对应的装置实施例，由于其与方法实施例(实施例3)基本相似，所以描述的比较简单，相关之处参见方法实施例(实施例3)的部分说明即可。
实施例6、于实施例5车牌检测系统的第二预测模块220中增加位置点剔除单元225，所述第二预测模块220如图9所示，其余均等同于实施例5。
所述位置点剔除单元225被配置为：
将预测车牌类别标签相同且位于同一热点图的第一目标位置点进行8连通域聚类，生成至少一个聚类点簇；
统计各聚类点簇中第一目标位置点的位置点个数，当所述聚类点簇的位置点个数大于预设的剔除阈值时，将所述聚类点簇中的第一目标位置点作为第二目标位置点；
根据第二目标位置点和第二目标位置点所在热点图的尺寸，生成预测车牌框。
本实施例为与实施例4相对应的装置实施例，由于其与方法实施例(实施例4)基本相似，所以描述的比较简单，相关之处参见方法实施例(实施例4)的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是：
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (10)
1.一种车牌检测模型的构建方法，包括根据分类预测损失值和位置预测损失值对第一卷积神经网络进行反馈更新的步骤，所述第一卷积神经网络的输入为样本图像及其标注信息，所述标注信息包括各车牌的车牌框和类别，输出为相应的热点图数据和类别预测数据；
其特征在于，所述分类预测损失值的计算方法为：
根据车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同；
提取所述困难正样本和所述困难负样本的类别和类别预测数据，基于所述类别和所述类别预测数据计算分类预测损失值。
2.根据权利要求1所述的车牌检测模型的构建方法，其特征在于：
所述热点图数据包括至少两幅不同尺寸的热点图；
所述类别预测数据包括与所述热点图中各点一一对应的预测类别标签。
3.根据权利要求2所述的车牌检测模型的构建方法，其特征在于，基于根据各车牌的车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同的具体步骤为：
基于车牌的尺寸，按照预设的预测规则提取相适配的热点图，并提取相应的车牌框的中心点，将所述中心点映射至所述热点图中，获得中心映射点；
从所述热点图中提取所述中心映射点的八连通域坐标点，将所述中心映射点和所述八连通域坐标点作为所述车牌的困难正样本；
基于预设的正负样本比例，从所述热点图中挖掘获得对应数量的困难负样本。
4.根据权利要求3所述的车牌检测模型的构建方法，其特征在于，位置预测损失值的计算方法为：
所述预测类别标签为预测车牌类别标签或预测背景标签，提取各预测车牌类别标签的置信度；
按照车牌类别，分别提取对应车牌类别中置信度大于预设的置信度阈值的预测车牌类别标签，并提取热点图与所述预测车牌类别标签相映射的点，获得第一目标位置点；
根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框；
根据各车牌的车牌框和预测车牌框，利用IOU损失函数计算位置预测损失值。
5.一种车牌检测模型的构建系统，包括反馈更新模块，所述反馈更新模块用于根据分类预测损失值和位置预测损失值对第一卷积神经网络进行反馈更新的步骤，所述第一卷积神经网络的输入为样本图像及其标注信息，所述标注信息包括各车牌的车牌框和类别，输出为相应的热点图数据和类别预测数据；
其特征在于，还包括分类损失计算单元，所述其中分类损失计算单元包括困难样本挖掘子单元和损失计算子单元；
所述困难样本挖掘子单元，用于基于根据各车牌的车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同；
所述损失计算子单元，用于提取所述困难正样本和所述困难负样本的类别和类别预测数据，基于所述类别和所述类别预测数据计算分类预测损失值。
6.一种车牌检测方法，其特征在于，包括以下步骤：
获取待检测图像，将待检测图像输入至车牌检测模型中，由所述车牌检测模型输出相对应的热点图数据和类别预测数据，所述车牌检测模型采用权利要求1至4任意一项车牌检测模型；
根据所述类别预测数据和热点图数据生成所述待检测图像中车牌的预测车牌框，根据类别预测数据和所述预测车牌框生成检测结果并输出。
7.根据权利要求6所述的一种车牌检测方法，其特征在于：
所述热点图数据包括至少两幅不同尺寸的热点图；
所述类别预测数据包括与所述热点图中各点一一对应的预测类别标签，所述预测类别标签为预测车牌类别标签或预测背景标签；
所述检测结果包括相对应的车牌位置检测结果和车牌类别检测结果；
根据所述类别预测数据和热点图数据生成所述待检测图像中车牌的预测车牌框，根据类别预测数据和所述预测车牌框生成检测结果并输出的具体步骤为：
提取各预测车牌类别标签的置信度；
按照车牌类别，分别提取对应车牌类别中置信度大于预设的置信度阈值的预测车牌类别标签，并提取热点图与所述预测车牌类别标签相映射的点，获得第一目标位置点；
根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框，输出所述预测车牌框作为车牌位置检测结果，输出所述预测车牌框所对应第一目标位置点的预测车牌类别标签作为相对应的车牌类别检测结果。
8.根据权利要求7所述的一种车牌检测方法，其特征在于，根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框的具体步骤为；
提取第一目标位置点的热点坐标数据，以及第一目标位置点所在热点图的回归偏移值，并根据所述热点图的尺寸计算所述热点图相对于待检测图像的步长，根据所述回归偏移值和所述步长所所述热点坐标数据进行解码，获得映射车牌框；
对所述映射车牌框进行非极大值抑制操作，生成预测车牌框。
9.根据权利要求7所述的一种车牌检测方法，其特征在于，根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框之前还包括位置点剔除步骤，具体步骤为；
将预测车牌类别标签相同且位于同一热点图的第一目标位置点进行8连通域聚类，生成至少一个聚类点簇；
统计各聚类点簇中第一目标位置点的位置点个数，当所述聚类点簇的位置点个数大于预设的剔除阈值时，将所述聚类点簇中的第一目标位置点作为第二目标位置点；
根据第二目标位置点和第二目标位置点所在热点图的尺寸，生成预测车牌框。
10.一种车牌检测系统，其特征在于，包括：
第一预测模块，用于获取待检测图像，还用于待检测图像输入至车牌检测模型中，由所述车牌检测模型输出相对应的热点图数据和类别预测数据，所述车牌检测模型采用权利要求1至4任意一项车牌检测模型；
第二预测模块，用于根据所述类别预测数据和热点图数据生成所述待检测图像中车牌的预测车牌框，根据类别预测数据和所述预测车牌框生成检测结果并输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010134673.1A CN111310850B (zh) | 2020-03-02 | 2020-03-02 | 车牌检测模型的构建方法及系统、车牌检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010134673.1A CN111310850B (zh) | 2020-03-02 | 2020-03-02 | 车牌检测模型的构建方法及系统、车牌检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111310850A true CN111310850A (zh) | 2020-06-19 |
| CN111310850B CN111310850B (zh) | 2023-06-16 |
Family
ID=71147866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010134673.1A Active CN111310850B (zh) | 2020-03-02 | 2020-03-02 | 车牌检测模型的构建方法及系统、车牌检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111310850B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200187A (zh) * | 2020-10-16 | 2021-01-08 | 广州云从凯风科技有限公司 | 一种目标检测方法、装置、机器可读介质及设备 |
| CN112733730A (zh) * | 2021-01-12 | 2021-04-30 | 中国石油大学(华东) | 采油作业现场吸烟人员识别处理方法及系统 |
| CN112749701A (zh) * | 2021-01-22 | 2021-05-04 | 北京百度网讯科技有限公司 | 车牌污损分类模型的生成方法和车牌污损分类方法 |
| CN112906643A (zh) * | 2021-03-22 | 2021-06-04 | 高新兴科技集团股份有限公司 | 车牌号码识别方法及装置 |
| CN113688915A (zh) * | 2021-08-24 | 2021-11-23 | 北京玖安天下科技有限公司 | 一种面向内容安全的困难样本挖掘方法及装置 |
| CN114283392A (zh) * | 2021-12-10 | 2022-04-05 | 广州海格星航信息科技有限公司 | 一种道路目标检测的困难样本的采集系统 |
| CN116229333A (zh) * | 2023-05-08 | 2023-06-06 | 西南交通大学 | 基于难易等级自适应动态调整的难易目标解耦检测方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102945374A (zh) * | 2012-10-24 | 2013-02-27 | 北京航空航天大学 | 一种高分辨率遥感图像中民航飞机自动检测方法 |
| CN104361366A (zh) * | 2014-12-08 | 2015-02-18 | 深圳市捷顺科技实业股份有限公司 | 一种车牌识别方法及车牌识别设备 |
| CN104881839A (zh) * | 2015-04-24 | 2015-09-02 | 中国电子进出口总公司 | 一种基于并行加速的热点图生成方法 |
| CN106845487A (zh) * | 2016-12-30 | 2017-06-13 | 佳都新太科技股份有限公司 | 一种端到端的车牌识别方法 |
| CN108009543A (zh) * | 2017-11-29 | 2018-05-08 | 深圳市华尊科技股份有限公司 | 一种车牌识别方法及装置 |
| CN108090423A (zh) * | 2017-12-01 | 2018-05-29 | 上海工程技术大学 | 一种基于热力图和关键点回归的深度车牌检测方法 |
| CN108305248A (zh) * | 2018-01-17 | 2018-07-20 | 慧影医疗科技（北京）有限公司 | 一种骨折识别模型的构建方法及应用 |
| CN109034226A (zh) * | 2018-07-16 | 2018-12-18 | 福州大学 | 一种基于图论的车辆轨迹聚类方法 |
| CN109977812A (zh) * | 2019-03-12 | 2019-07-05 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN110287846A (zh) * | 2019-06-19 | 2019-09-27 | 南京云智控产业技术研究院有限公司 | 一种基于注意力机制的人脸关键点检测方法 |
| CN110443241A (zh) * | 2019-07-29 | 2019-11-12 | 北京迈格威科技有限公司 | 车牌识别模型训练方法、车牌识别方法及装置 |
-
2020
- 2020-03-02 CN CN202010134673.1A patent/CN111310850B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102945374A (zh) * | 2012-10-24 | 2013-02-27 | 北京航空航天大学 | 一种高分辨率遥感图像中民航飞机自动检测方法 |
| CN104361366A (zh) * | 2014-12-08 | 2015-02-18 | 深圳市捷顺科技实业股份有限公司 | 一种车牌识别方法及车牌识别设备 |
| CN104881839A (zh) * | 2015-04-24 | 2015-09-02 | 中国电子进出口总公司 | 一种基于并行加速的热点图生成方法 |
| CN106845487A (zh) * | 2016-12-30 | 2017-06-13 | 佳都新太科技股份有限公司 | 一种端到端的车牌识别方法 |
| CN108009543A (zh) * | 2017-11-29 | 2018-05-08 | 深圳市华尊科技股份有限公司 | 一种车牌识别方法及装置 |
| CN108090423A (zh) * | 2017-12-01 | 2018-05-29 | 上海工程技术大学 | 一种基于热力图和关键点回归的深度车牌检测方法 |
| CN108305248A (zh) * | 2018-01-17 | 2018-07-20 | 慧影医疗科技（北京）有限公司 | 一种骨折识别模型的构建方法及应用 |
| CN109034226A (zh) * | 2018-07-16 | 2018-12-18 | 福州大学 | 一种基于图论的车辆轨迹聚类方法 |
| CN109977812A (zh) * | 2019-03-12 | 2019-07-05 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN110287846A (zh) * | 2019-06-19 | 2019-09-27 | 南京云智控产业技术研究院有限公司 | 一种基于注意力机制的人脸关键点检测方法 |
| CN110443241A (zh) * | 2019-07-29 | 2019-11-12 | 北京迈格威科技有限公司 | 车牌识别模型训练方法、车牌识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| WEI LIU等: "High-level Semantic Feature Detection: A New Perspective for Pedestrian Detection" * |
| 杨浩琪;姚红革;王诚;喻钧;王飞;纳钦;: "复杂场景下遥感船舶的检测与分割定位" * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200187A (zh) * | 2020-10-16 | 2021-01-08 | 广州云从凯风科技有限公司 | 一种目标检测方法、装置、机器可读介质及设备 |
| CN112733730A (zh) * | 2021-01-12 | 2021-04-30 | 中国石油大学(华东) | 采油作业现场吸烟人员识别处理方法及系统 |
| CN112733730B (zh) * | 2021-01-12 | 2022-11-18 | 中国石油大学(华东) | 采油作业现场吸烟人员识别处理方法及系统 |
| CN112749701A (zh) * | 2021-01-22 | 2021-05-04 | 北京百度网讯科技有限公司 | 车牌污损分类模型的生成方法和车牌污损分类方法 |
| CN112749701B (zh) * | 2021-01-22 | 2024-02-09 | 北京百度网讯科技有限公司 | 车牌污损分类模型的生成方法和车牌污损分类方法 |
| CN112906643A (zh) * | 2021-03-22 | 2021-06-04 | 高新兴科技集团股份有限公司 | 车牌号码识别方法及装置 |
| CN113688915A (zh) * | 2021-08-24 | 2021-11-23 | 北京玖安天下科技有限公司 | 一种面向内容安全的困难样本挖掘方法及装置 |
| CN113688915B (zh) * | 2021-08-24 | 2023-07-25 | 北京玖安天下科技有限公司 | 一种面向内容安全的困难样本挖掘方法及装置 |
| CN114283392A (zh) * | 2021-12-10 | 2022-04-05 | 广州海格星航信息科技有限公司 | 一种道路目标检测的困难样本的采集系统 |
| CN114283392B (zh) * | 2021-12-10 | 2024-04-05 | 广州海格星航信息科技有限公司 | 一种道路目标检测的困难样本的采集系统 |
| CN116229333A (zh) * | 2023-05-08 | 2023-06-06 | 西南交通大学 | 基于难易等级自适应动态调整的难易目标解耦检测方法 |
| CN116229333B (zh) * | 2023-05-08 | 2023-07-21 | 西南交通大学 | 基于难易等级自适应动态调整的难易目标解耦检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111310850B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111310850B (zh) | 车牌检测模型的构建方法及系统、车牌检测方法及系统 | |
| US9098775B2 (en) | Multi-class identifier, method, and computer-readable recording medium | |
| CN111767882A (zh) | 一种基于改进yolo模型的多模态行人检测方法 | |
| CN103366367A (zh) | 基于像素数聚类的模糊c-均值灰度图像分割方法 | |
| CN101017573A (zh) | 一种基于视频监控的运动目标检测与识别方法 | |
| CN110827265B (zh) | 基于深度学习的图片异常检测方法 | |
| CN107516102B (zh) | 图像数据分类与建立分类模型方法、装置及系统 | |
| CN111126115A (zh) | 暴力分拣行为识别方法和装置 | |
| AU2021242242A1 (en) | Methods and electronic devices for automated waste management | |
| CN109313699A (zh) | 用于对一车辆的输入图像进行目标识别的装置和方法 | |
| Zhang et al. | Automatic detection of road traffic signs from natural scene images based on pixel vector and central projected shape feature | |
| Fernando et al. | Automatic road traffic signs detection and recognition using ‘You Only Look Once’version 4 (YOLOv4) | |
| CN114863464A (zh) | 一种pid图纸图件信息的二阶识别方法 | |
| CN111274964A (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
| CN110782409A (zh) | 一种去除多运动物体阴影的方法 | |
| CN111401360B (zh) | 优化车牌检测模型的方法及系统、车牌检测方法及系统 | |
| US11748979B2 (en) | Method for training a neural network for recognition of a character sequence and associated recognition method | |
| CN114663731B (zh) | 车牌检测模型的训练方法及系统、车牌检测方法及系统 | |
| CN108665479B (zh) | 基于压缩域多尺度特征tld的红外目标跟踪方法 | |
| CN115272778A (zh) | 基于rpa和计算机视觉的可回收垃圾分类方法及系统 | |
| CN114049676A (zh) | 疲劳状态检测方法、装置、设备及存储介质 | |
| CN113095235A (zh) | 一种基于弱监督判别机制的图像目标检测方法、系统及装置 | |
| CN106096144A (zh) | 一种基于前脸造型的汽车品牌基因分析方法 | |
| Van Heerden et al. | Optimization of vehicle license plate segmentation and symbol recognition | |
| Pandya et al. | A novel approach for vehicle detection and classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 311422 4th floor, building 9, Yinhu innovation center, 9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province Patentee after: Zhejiang Xinmai Microelectronics Co.,Ltd. Address before: 311400 4th floor, building 9, Yinhu innovation center, No.9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province Patentee before: Hangzhou xiongmai integrated circuit technology Co.,Ltd. |
|
| CP03 | Change of name, title or address |