CN111611947A - 一种车牌检测方法、装置、设备及介质 - Google Patents

一种车牌检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN111611947A
CN111611947A CN202010448809.6A CN202010448809A CN111611947A CN 111611947 A CN111611947 A CN 111611947A CN 202010448809 A CN202010448809 A CN 202010448809A CN 111611947 A CN111611947 A CN 111611947A
Authority
CN
China
Prior art keywords
feature map
license plate
target
feature
heatmap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010448809.6A
Other languages
English (en)
Other versions
CN111611947B (zh
Inventor
陈奇
谢会斌
李聪廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202010448809.6A priority Critical patent/CN111611947B/zh
Publication of CN111611947A publication Critical patent/CN111611947A/zh
Application granted granted Critical
Publication of CN111611947B publication Critical patent/CN111611947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种车牌检测方法、装置、设备及介质，包括：将训练样本图像输入至特征提取网络，得到对应的第一特征图；生成所述第一特征图对应的Heatmap；从Heatmap中确定出前景目标概率值大于预设概率阈值的像素点；在确定出的像素点上生成大小和高宽比不同的anchor；对所述anchor进行边框回归，得到目标候选框；对所述目标候选框进行分类和回归，得到对应的预测结果；所述预测结果包括目标框类别和目标框位置；将预测结果映射到初始的训练样本图像，利用非极大抑制方法得到对应的训练检测结果；重复前述步骤对预先构建的检测模型进行训练，得到训练后模型；当获取到待检测车牌图像，则利用训练后模型输出对应的检测结果。能够提升车牌检测的速度以及精度。

Description

一种车牌检测方法、装置、设备及介质
技术领域
本申请涉及目标检测技术领域，特别涉及一种车牌检测方法、装置、设备及介质。
背景技术
机动车车牌作为全国交通管理部门进行机动车管理的唯一标识符号，车牌的检测与识别是智能交通系统中至关重要的一步。传统的基于颜色、纹理、边缘等特征对车牌位置检测的方法，在复杂的背景和外部因素影响下，检出率和精度都仍较低。以faster RCNN(即Region Convolutional Neural Networks)为代表的二阶段方法，相较于以SSD(即SingleShot MultiBox Detector)为代表的一阶段的检测方法，增加了通过RPN(即RegionProposalNetwork，区域候选网络)层生成目标候选框的步骤，因此获得了更高的检测精度，但同时速度也较慢。在实际应用中，由于单阶段检测器SSD是基于回归的，直接对图像中目标的类别和位置信息进行预测，再通过非极大值抑制得到最终检测结果，相对于二阶段方法速度较快，因此具有更强的实用性。
目前，采用单阶段检测网络进行检测的方案，生成的anchor数量较多，计算量较大。并且，由于现实场景中目标大小和尺度变化较大，对默认的anchor直接分类和回归，检测精度较低。
发明内容
有鉴于此，本申请的目的在于提供一种车牌检测方法、装置、设备及介质，能够提升车牌检测的速度以及精度。其具体方案如下：
第一方面，本申请公开了一种车牌检测方法，包括：
步骤S11：将训练样本图像输入至特征提取网络，得到对应的第一特征图；
步骤S12：生成所述第一特征图对应的Heatmap；
步骤S13：从所述Heatmap中确定出前景目标概率值大于预设概率阈值的像素点；
步骤S14：在确定出的所述像素点上生成大小和高宽比不同的anchor；
步骤S15：对所述anchor进行边框回归，得到目标候选框；
步骤S16：对所述目标候选框进行分类和回归，得到对应的预测结果；所述预测结果包括目标框类别和目标框位置；
步骤S17：将所述预测结果映射到初始的所述训练样本图像，利用非极大抑制方法得到对应的训练检测结果；
重复所述步骤S11至步骤S17对预先构建的检测模型进行训练，得到训练后模型；
步骤S18：当获取到待检测车牌图像，则利用所述训练后模型输出对应的检测结果。
可选的，所述利用所述第一特征图生成对应的Heatmap，包括：
对所述第一特征图进行卷积操作，以得到不同大小的所述第一特征图；
生成每个所述第一特征图对应的Heatmap。
可选的，所述对所述目标候选框进行分类和回归之前，还包括：
对所述第一特征图进行特征增强，得到对应的第二特征图；
相应的，所述对所述目标候选框进行分类和回归，包括：
利用所述第二特征图对所述目标候选框进行分类和回归。
可选的，所述对所述第一特征图进行特征增强，得到对应的第二特征图，包括：
对所述第一特征图中的浅层特征图进行特征提取，得到第三特征图；
对所述第一特征图中的深层特征图进行上采样处理，得到第四特征图；
对所述第三特征图和所述第四特征图进行特征融合，得到对应的所述第二特征图。
可选的，所述对所述第一特征图中的浅层特征图进行特征提取，得到第三特征图，包括：
对所述浅层特征图进行第一预设尺寸的卷积运算，然后进行非线性激活以及再进行一次所述第一预设尺寸的卷积运算，得到所述第三特征图。
可选的，所述对所述第一特征图中的深层特征图进行上采样处理，得到第四特征图，包括：
对所述深层特征图进行第二预设尺寸的卷积运算，得到所述第四特征图。
可选的，所述车牌检测方法，还包括：
利用目标损失函数计算所述检测模型的训练损失；所述训练损失包括anchor优选损失以及对所述目标候选框进行分类和回归产生的损失；所述anchor优选损失包括Heatmap损失和对所述anchor进行边框回归产生的损失。
第二方面，本申请公开了一种车牌检测装置，包括：
特征提取模块，用于将训练样本图像输入至特征提取网络，得到对应的第一特征图；
Heatmap生成模块，用于生成所述第一特征图对应的Heatmap；
像素点筛选模块，用于从所述Heatmap中确定出前景目标概率值大于预设概率阈值的像素点；
Anchor生成模块，用于在确定出的所述像素点上生成大小和高宽比不同的anchor；
边框回归模块，用于对所述anchor进行边框回归，得到目标候选框；
结果预测模块，用于对所述目标候选框进行分类和回归，得到对应的预测结果；所述预测结果包括目标框类别和目标框位置；
训练检测结果获取模块，用于将所述预测结果映射到初始的所述训练样本图像，利用非极大抑制方法得到对应的训练检测结果；
车牌图像检测模块，用于当获取到待检测车牌图像，则利用所述训练后模型输出对应的检测结果。
第三方面，本申请公开了一种车牌检测设备，包括处理器和存储器；其中，
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序以实现前述的车牌检测方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述的车牌检测方法。
可见，本申请将训练样本图像输入至特征提取网络，得到对应的第一特征图，然后生成所述第一特征图对应的Heatmap，并从所述Heatmap中确定出前景目标概率值大于预设概率阈值的像素点，以及在确定出的所述像素点上生成大小和高宽比不同的anchor，之后对所述anchor进行边框回归，得到目标候选框，然后对所述目标候选框进行分类和回归，得到对应的预测结果；所述预测结果包括目标框类别和目标框位置，最后将所述预测结果映射到初始的所述训练样本图像，利用非极大抑制方法得到对应的训练检测结果。重复前述步骤对预先构建的检测模型进行训练，得到训练后模型，当获取到待检测车牌图像，则利用所述训练后模型输出对应的检测结果。这样，在进行模型训练的过程中，通过训练样本图像特征图对应的Heatmap筛选出前景目标概率值大于预设阈值的像素点，在筛选出的像素点上生成anchor，能够得到数量较少并且准确度较高的anchor，然后对生成的anchor进行分类和回归，以得到对应的训练检测结果，进而得到训练后模型，利用这样的训练后模型对待检测车牌图像进行车牌识别，能够提升车牌检测的速度以及精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种车牌检测方法流程图；
图2为本申请公开的一种车牌图像生成Heatmap的示意图；
图3为本申请提供的一种anchor优选的具体操作流程图；
图4为本申请公开的一种具体的车牌检测方法流程图；
图5为本申请提供的一种具体的特征增强流程图；
图6为本申请公开的一种车牌检测网络整体流程图；
图7为本申请公开的一种车牌检测装置结构示意图；
图8为本申请公开的一种车牌检测设备结构图；
图9为本申请公开的一种电子终端结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，采用单阶段检测网络进行检测的方案，生成的anchor数量较多，计算量较大。并且，由于现实场景中目标大小和尺度变化较大，对默认的anchor直接分类和回归，检测精度较低。为此，本申请公开了一种车牌检测方案，提升能够提升车牌检测的速度以及精度。
参见图1所示，本申请实施例公开了一种车牌检测方法，包括：
步骤S11：将训练样本图像输入至特征提取网络，得到对应的第一特征图。
在具体的实施方式中，本实施例可以将训练样本图像即车辆图像送入特征提取网络，如VGG16，ResNet18，MobileNet，HourglassNet等，利用共享特征提取网络生成对应的特征图。
步骤S12：生成所述第一特征图对应的Heatmap。
在具体的实施方式中，本实施例对所述第一特征图进行卷积操作，以得到不同大小的所述第一特征图，然后生成每个所述第一特征图对应的Heatmap热力图。
步骤S13：从所述Heatmap中确定出前景目标概率值大于预设概率阈值的像素点。
步骤S14：在确定出的所述像素点上生成大小和高宽比不同的anchor。
步骤S15：对所述anchor进行边框回归，得到目标候选框。
也即，本实施例在前面基础网络提取的特征图基础上，进行卷积操作生成不同大小的特征图，然后生成每个特征图对应的Heatmap。Heatmap中的每个像素位置都给一个概率，越接近前景目标的点概率越接近1，概率大于设定阈值用白点来表示。如图2所示，图2为本申请公开的一种车牌图像生成Heatmap的示意图，假设共有k个白点，即为前景目标候选区域。然后再在这k个点上生成大小和尺度不同的anchor，进行边框回归，得到anchor优选模块的输出结果，并计算heatmap损失和smoothL1损失。
参见图3所示，本申请实施例公开了一种anchor优选的具体操作流程图。
以一张300x300的车辆图像为例，vgg16_ssd网络生成的anchor，默认框从6层卷积层输出的特征图中产生，分别为conv4_3、fc7、conv6_2、conv7_2、conv8_2、conv9_2。这6个特征层产生的特征图的大小分别为38*38、19*19、10*10、5*5、3*3、1*1。每个n*n大小的特征图中有n*n个中心点，每个中心点产生k个默认框，六层中每层的每个中心点产生的k分别为4、6、6、6、4、4。所以6层中的每层取一个特征图共产生38*38*4+19*19*6+10*10*6+5*5*6+3*3*4+1*1*4＝8732个默认框。而车牌大小一般占车辆图像的0.2到0.3，比如取0.25，通过heatmap筛选后生成的anchor一般为0.25*8732＝2183个，然后加上生成heatmap的计算量38*38+19*19+10*10+5*5+1*1＝1931，占比47.11％，从而节省了约一半的计算量。
也即，本申请通过对不同大小的特征图生成Heatmap的方法选取前景目标概率较大的位置来生成anchor，以此减少现有单阶段网络默认生成anchor的个数，大大减少了计算量，提高了检测速度。
步骤S16：对所述目标候选框进行分类和回归，得到对应的预测结果；所述预测结果包括目标框类别和目标框位置。
并且，在对所述目标候选框进行分类和回归，得到对应的预测结果之后，计算对所述目标候选框进行分类和回归产生的损失。
进一步的，本实施例可以利用目标损失函数计算所述检测模型的训练损失；所述训练损失包括anchor优选损失以及对所述目标候选框进行分类和回归产生的损失；所述anchor优选损失包括Heatmap损失和对所述anchor进行边框回归产生的损失。
其中，目标损失函数为L＝Larm+λLodm；Larm为anchor优选损失，Lodm为对所述目标候选框进行分类和回归产生的损失，λ为控制anchor优选损失以及对所述目标候选框进行分类和回归产生的损失的权重。
并且，Larm＝Lreg+μLhet；Lreg为对所述anchor进行边框回归产生的损失，Lhet为Heatmap损失，μ为控制对所述anchor进行边框回归产生的损失以及Heatmap损失的权重。
Heatmap损失的计算如下：
Figure BDA0002506928770000061
其中，pcij为预测的Heatmap在第c个通道(类别c)的(i,j)位置的得分，ycij为对应位置的真实标定值，N为目标个数,α和β为用来控制难易分类样本的损失权重。H和W分别表示Heatmap的高和宽。
对所述anchor进行边框回归产生的损失采用SmoothL1损失:
Figure BDA0002506928770000071
Figure BDA0002506928770000072
其中，t为网络预测框的位置，g为实际标定框的位置；K为训练样本图像的数量，k表示第k个训练样本图像。
Lodm为对所述目标候选框进行分类和回归产生的损失，Lodm＝Lreg+νLcls，其中，Lreg为回归产生的损失，计算方法同上述对所述anchor进行边框回归产生的损失，ν为权重系数，Lcls为分类损失，采用的分类损失函数为SoftmaxLoss：
Lcls(p,u)＝-logpu
其中，pu为真实分类u对应的概率。
步骤S17：将所述预测结果映射到初始的所述训练样本图像，利用非极大抑制方法得到对应的训练检测结果。
重复所述步骤S11至步骤S17对预先构建的检测模型进行训练，得到训练后模型。
可以理解的是，本实施例预先构建的检测模型包括特征提取网络、anchor优选模块、目标检测模块，其中，目标检测模块用于对目标候选框进行分类和回归，以得到预测结果。训练中，整个网络训练的损失由anchor优选模块和目标检测模块的损失构成，Anchor优选模块的损失由heatmap损失和smooth l1回归损失构成，目标检测模块损失由softmax(分类损失)和smooth l1回归损失构成。
也即，本实施例可以将原有的单阶段网络修改为两个模块，第一个模块即anchor优选模块用于识别过滤背景anchor，粗略调整前景anchor的大小和位置，第二个模块即目标检测模块对前个模块输出的anchor进行对多分类和回归，得到最终的分类和目标的位置，这样有效提升了单阶段检测网络的精度。
步骤S18：当获取到待检测车牌图像，则利用所述训练后模型输出对应的检测结果。
可见，本申请实施例将训练样本图像输入至特征提取网络，得到对应的第一特征图，然后生成所述第一特征图对应的Heatmap，并从所述Heatmap中确定出前景目标概率值大于预设概率阈值的像素点，以及在确定出的所述像素点上生成大小和高宽比不同的anchor，之后对所述anchor进行边框回归，得到目标候选框，然后对所述目标候选框进行分类和回归，得到对应的预测结果；所述预测结果包括目标框类别和目标框位置，最后将所述预测结果映射到初始的所述训练样本图像，利用非极大抑制方法得到对应的训练检测结果。重复前述步骤对预先构建的检测模型进行训练，得到训练后模型，当获取到待检测车牌图像，则利用所述训练后模型输出对应的检测结果。这样，在进行模型训练的过程中，通过训练样本图像特征图对应的Heatmap筛选出前景目标概率值大于预设阈值的像素点，在筛选出的像素点上生成anchor，能够得到数量较少并且准确度较高的anchor，然后对生成的anchor进行分类和回归，以得到对应的训练检测结果，进而得到训练后模型，利用这样的训练后模型对待检测车牌图像进行车牌识别，能够提升车牌检测的速度以及精度。
参见图4所示，本申请实施例公开了一种具体的车牌检测方法，包括：
步骤S21：将训练样本图像输入至特征提取网络，得到对应的第一特征图。
步骤S22：生成所述第一特征图对应的Heatmap。
步骤S23：从所述Heatmap中确定出前景目标概率值大于预设概率阈值的像素点。
步骤S24：在确定出的所述像素点上生成大小和高宽比不同的anchor。
步骤S25：对所述anchor进行边框回归，得到目标候选框。
步骤S26：对所述第一特征图进行特征增强，得到对应的第二特征图。
在具体的实施方式中，本实施例可以对所述第一特征图中的浅层特征图进行特征提取，得到第三特征图，以及对所述第一特征图中的深层特征图进行上采样处理，得到第四特征图，然后对所述第三特征图和所述第四特征图进行特征融合，得到对应的所述第二特征图。
并且，对所述第一特征图中的浅层特征图进行特征提取的具体过程为对所述浅层特征图进行第一预设尺寸的卷积运算，然后进行非线性激活以及再进行一次所述第一预设尺寸的卷积运算，得到所述第三特征图。例如，对浅层特征图进行3x3卷积操作，输出通道大小为256。卷积结果使用ReLu函数进行非线性激活，然后再进行一次3x3卷积操作，输出通道仍为256。
对所述第一特征图中的深层特征图进行上采样处理的具体过程为对所述深层特征图进行第二预设尺寸的卷积运算，得到所述第四特征图。例如，使用256个大小为4x4的卷积核，对深层特征卷积操作，其中步长为2。得到256个长宽各扩大一倍的特征图。
例如，参见图5所示，本申请实施例公开了一种具体的特征增强流程图。对浅层特征进行卷积以进行进一步特征提取，对深层特征进行上采样处理，特征融合后进行激活，卷积操作以及再进行激活。
可以理解的是，特征增强过程中将深层的语义信息与浅层的信息相融合。通过这种深浅层特征的融合，可以得到感受野丰富、细节充足、内容抽象的特征。另外也可以将anchor优选模块的特征映射到目标检测模块，即将anchor优选模块中不同层的特征转换为目标检测模块可接受的形式。
例如，参见图6所示，图6为本申请实施例公开的一种车牌检测网络整体流程图，即检测模型流程图。
可见，本申请的anchor优选模块能够产生高质量的前景目标候选框，并在特征增强模块中对深浅层特征进行融合，在目标检测模块中，通过融合特征，对前景目标候选框进行改善回归和多分类预测，从而解决现有单阶段检测网络精度较低的问题。
步骤S27：利用所述第二特征图对所述目标候选框进行分类和回归，得到对应的预测结果；所述预测结果包括目标框类别和目标框位置。
步骤S28：将所述预测结果映射到初始的所述训练样本图像，利用非极大抑制方法得到对应的训练检测结果。
重复所述步骤S21至步骤S28对预先构建的检测模型进行训练，得到训练后模型。
也即，本申请实施例预先构建的检测模型包括特征提取网络、anchor优选模块、特征增强模块和目标检测模块。在anchor优选模块中，先通过对不同大小特征图生成heatmap得到前景目标存在概率最高的k个点，接着在这些点上生成anchor锚框，然后通过边框回归粗略调整anchor的大小和位置。在特征增强模块中，通过深层特征和浅层特征融合获得增强特征。最后在目标检测模块中，利用增强后的特征对前一模块输出的优选后的anchor进行多分类和回归，能够提升车牌检测速度和精度。
步骤S29：当获取到待检测车牌图像，则利用所述训练后模型输出对应的检测结果。
参见图7所示，本申请实施例公开了一种车牌检测装置，包括：
特征提取模块11，用于将训练样本图像输入至特征提取网络，得到对应的第一特征图；
Heatmap生成模块12，用于生成所述第一特征图对应的Heatmap；
像素点筛选模块13，用于从所述Heatmap中确定出前景目标概率值大于预设概率阈值的像素点；
Anchor生成模块14，用于在确定出的所述像素点上生成大小和高宽比不同的anchor；
边框回归模块15，用于对所述anchor进行边框回归，得到目标候选框；
结果预测模块16，用于对所述目标候选框进行分类和回归，得到对应的预测结果；所述预测结果包括目标框类别和目标框位置；
训练检测结果获取模块17，用于将所述预测结果映射到初始的所述训练样本图像，利用非极大抑制方法得到对应的训练检测结果；
车牌图像检测模块18，用于当获取到待检测车牌图像，则利用所述训练后模型输出对应的检测结果。
可见，本申请实施例将训练样本图像输入至特征提取网络，得到对应的第一特征图，然后生成所述第一特征图对应的Heatmap，并从所述Heatmap中确定出前景目标概率值大于预设概率阈值的像素点，以及在确定出的所述像素点上生成大小和高宽比不同的anchor，之后对所述anchor进行边框回归，得到目标候选框，然后对所述目标候选框进行分类和回归，得到对应的预测结果；所述预测结果包括目标框类别和目标框位置，最后将所述预测结果映射到初始的所述训练样本图像，利用非极大抑制方法得到对应的训练检测结果。重复前述步骤对预先构建的检测模型进行训练，得到训练后模型，当获取到待检测车牌图像，则利用所述训练后模型输出对应的检测结果。这样，在进行模型训练的过程中，通过训练样本图像特征图对应的Heatmap筛选出前景目标概率值大于预设阈值的像素点，在筛选出的像素点上生成anchor，能够得到数量较少并且准确度较高的anchor，然后对生成的anchor进行分类和回归，以得到对应的训练检测结果，进而得到训练后模型，利用这样的训练后模型对待检测车牌图像进行车牌识别，能够提升车牌检测的速度以及精度。
其中，所述Heatmap生成模块12，具体用于对所述第一特征图进行卷积操作，以得到不同大小的所述第一特征图；生成每个所述第一特征图对应的Heatmap。
所述车牌检测装置，还包括特征增强模块，用于对所述第一特征图进行特征增强，得到对应的第二特征图；
相应的，所述结果预测模块16，具体用于利用所述第二特征图对所述目标候选框进行分类和回归。
特征增强模块，包括浅层特征提取子模块，深层特征上采样子模块和特征融合子模块，其中，浅层特征提取子模块，用于对所述第一特征图中的浅层特征图进行特征提取，得到第三特征图。深层特征上采样子模块，用于对所述第一特征图中的深层特征图进行上采样处理，得到第四特征图；特征融合子模块，用于对所述第三特征图和所述第四特征图进行特征融合，得到对应的所述第二特征图。并且，浅层特征提取子模块具体用于对所述浅层特征图进行第一预设尺寸的卷积运算，然后进行非线性激活以及再进行一次所述第一预设尺寸的卷积运算，得到所述第三特征图。深层特征上采样模块，具体用于对所述深层特征图进行第二预设尺寸的卷积运算，得到所述第四特征图。
所述车牌检测装置，还包括损失计算模块，用于利用目标损失函数计算所述检测模型的训练损失；所述训练损失包括anchor优选损失以及对所述目标候选框进行分类和回归产生的损失；所述anchor优选损失包括Heatmap损失和对所述anchor进行边框回归产生的损失。
参见图8所示，本申请实施例公开了一种车牌检测设备，包括处理器21和存储器22；其中，所述存储器22，用于保存计算机程序；所述处理器21，用于执行所述计算机程序，以实现前述实施例公开的车牌检测方法。
关于上述车牌检测方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
参见图9所示，本申请实施例公开了一种电子终端20，包括前述实施例中公开的处理器21和存储器22。关于上述处理器21具体可以执行的步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步的，本实施例中的电子终端20，还可以具体包括电源23、通信接口24、输入输出接口25和通信总线26；其中，所述电源23用于为所述终端20上的各硬件设备提供工作电压；所述通信接口24能够为所述终端20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；所述输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的车牌检测方法。
关于上述车牌检测方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种车牌检测方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种车牌检测方法，其特征在于，包括：
步骤S11：将训练样本图像输入至特征提取网络，得到对应的第一特征图；
步骤S12：生成所述第一特征图对应的Heatmap；
步骤S13：从所述Heatmap中确定出前景目标概率值大于预设概率阈值的像素点；
步骤S14：在确定出的所述像素点上生成大小和高宽比不同的anchor；
步骤S15：对所述anchor进行边框回归，得到目标候选框；
步骤S16：对所述目标候选框进行分类和回归，得到对应的预测结果；所述预测结果包括目标框类别和目标框位置；
步骤S17：将所述预测结果映射到初始的所述训练样本图像，利用非极大抑制方法得到对应的训练检测结果；
重复所述步骤S11至步骤S17对预先构建的检测模型进行训练，得到训练后模型；
步骤S18：当获取到待检测车牌图像，则利用所述训练后模型输出对应的检测结果。
2.根据权利要求1所述的车牌检测方法，其特征在于，所述利用所述第一特征图生成对应的Heatmap，包括：
对所述第一特征图进行卷积操作，以得到不同大小的所述第一特征图；
生成每个所述第一特征图对应的Heatmap。
3.根据权利要求2所述的车牌检测方法，其特征在于，所述对所述目标候选框进行分类和回归之前，还包括：
对所述第一特征图进行特征增强，得到对应的第二特征图；
相应的，所述对所述目标候选框进行分类和回归，包括：
利用所述第二特征图对所述目标候选框进行分类和回归。
4.根据权利要求3所述的车牌检测方法，其特征在于，所述对所述第一特征图进行特征增强，得到对应的第二特征图，包括：
对所述第一特征图中的浅层特征图进行特征提取，得到第三特征图；
对所述第一特征图中的深层特征图进行上采样处理，得到第四特征图；
对所述第三特征图和所述第四特征图进行特征融合，得到对应的所述第二特征图。
5.根据权利要求4所述的车牌检测方法，其特征在于，所述对所述第一特征图中的浅层特征图进行特征提取，得到第三特征图，包括：
对所述浅层特征图进行第一预设尺寸的卷积运算，然后进行非线性激活以及再进行一次所述第一预设尺寸的卷积运算，得到所述第三特征图。
6.根据权利要求4所述的车牌检测方法，其特征在于，所述对所述第一特征图中的深层特征图进行上采样处理，得到第四特征图，包括：
对所述深层特征图进行第二预设尺寸的卷积运算，得到所述第四特征图。
7.根据权利要求1至6任一项所述的车牌检测方法，其特征在于，还包括：
利用目标损失函数计算所述检测模型的训练损失；所述训练损失包括anchor优选损失以及对所述目标候选框进行分类和回归产生的损失；所述anchor优选损失包括Heatmap损失和对所述anchor进行边框回归产生的损失。
8.一种车牌检测装置，其特征在于，包括：
特征提取模块，用于将训练样本图像输入至特征提取网络，得到对应的第一特征图；
Heatmap生成模块，用于生成所述第一特征图对应的Heatmap；
像素点筛选模块，用于从所述Heatmap中确定出前景目标概率值大于预设概率阈值的像素点；
Anchor生成模块，用于在确定出的所述像素点上生成大小和高宽比不同的anchor；
边框回归模块，用于对所述anchor进行边框回归，得到目标候选框；
结果预测模块，用于对所述目标候选框进行分类和回归，得到对应的预测结果；所述预测结果包括目标框类别和目标框位置；
训练检测结果获取模块，用于将所述预测结果映射到初始的所述训练样本图像，利用非极大抑制方法得到对应的训练检测结果；
车牌图像检测模块，用于当获取到待检测车牌图像，则利用所述训练后模型输出对应的检测结果。
9.一种车牌检测设备，其特征在于，包括处理器和存储器；其中，
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的车牌检测方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的车牌检测方法。
CN202010448809.6A 2020-05-25 2020-05-25 一种车牌检测方法、装置、设备及介质 Active CN111611947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010448809.6A CN111611947B (zh) 2020-05-25 2020-05-25 一种车牌检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010448809.6A CN111611947B (zh) 2020-05-25 2020-05-25 一种车牌检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111611947A true CN111611947A (zh) 2020-09-01
CN111611947B CN111611947B (zh) 2024-04-09

Family

ID=72204960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010448809.6A Active CN111611947B (zh) 2020-05-25 2020-05-25 一种车牌检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111611947B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860510A (zh) * 2020-07-29 2020-10-30 浙江大华技术股份有限公司 一种x光图像目标检测方法及装置
CN112101246A (zh) * 2020-09-18 2020-12-18 济南博观智能科技有限公司 一种车辆识别方法、装置、设备及介质
CN112132216A (zh) * 2020-09-22 2020-12-25 平安国际智慧城市科技股份有限公司 车型识别方法、装置、电子设备及存储介质
CN112597995A (zh) * 2020-12-02 2021-04-02 浙江大华技术股份有限公司 车牌检测模型训练方法、装置、设备及介质
CN113269119A (zh) * 2021-06-07 2021-08-17 重庆大学 一种夜间车辆检测方法及装置
CN114140660A (zh) * 2021-10-31 2022-03-04 苏州浪潮智能科技有限公司 一种车辆检测方法、装置、设备及介质
CN114638787A (zh) * 2022-02-23 2022-06-17 青岛海信网络科技股份有限公司 检测非机动车是否挂牌的方法及电子设备
CN115424027A (zh) * 2022-08-24 2022-12-02 厦门国际银行股份有限公司 针对画面前景人物的图像相似度比对方法、装置以及设备
WO2022252565A1 (zh) * 2021-06-04 2022-12-08 浙江智慧视频安防创新中心有限公司 一种目标检测系统、方法、装置、设备及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651955A (zh) * 2016-10-10 2017-05-10 北京小米移动软件有限公司 图片中目标物的定位方法及装置
CN107203754A (zh) * 2017-05-26 2017-09-26 北京邮电大学 一种基于深度学习的车牌定位方法及装置
CN109613006A (zh) * 2018-12-22 2019-04-12 中原工学院 一种基于端到端神经网络的织物疵点检测方法
WO2019101021A1 (zh) * 2017-11-23 2019-05-31 腾讯科技（深圳）有限公司 图像识别方法、装置及电子设备
CN110136809A (zh) * 2019-05-22 2019-08-16 腾讯科技（深圳）有限公司 一种医疗图像处理方法、装置、电子医疗设备和存储介质
CN110163193A (zh) * 2019-03-25 2019-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN110399826A (zh) * 2019-07-22 2019-11-01 清华大学深圳研究生院 一种端到端人脸检测和识别方法
CN110503112A (zh) * 2019-08-27 2019-11-26 电子科技大学 一种增强特征学习的小目标检测及识别方法
CN110838125A (zh) * 2019-11-08 2020-02-25 腾讯医疗健康(深圳)有限公司 医学图像的目标检测方法、装置、设备、存储介质
CN110930386A (zh) * 2019-11-20 2020-03-27 重庆金山医疗技术研究院有限公司 图像处理方法、装置、设备及存储介质
CN111104903A (zh) * 2019-12-19 2020-05-05 南京邮电大学 一种深度感知交通场景多目标检测方法和系统
CN111191566A (zh) * 2019-12-26 2020-05-22 西北工业大学 基于像素分类的光学遥感图像多目标检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651955A (zh) * 2016-10-10 2017-05-10 北京小米移动软件有限公司 图片中目标物的定位方法及装置
CN107203754A (zh) * 2017-05-26 2017-09-26 北京邮电大学 一种基于深度学习的车牌定位方法及装置
WO2019101021A1 (zh) * 2017-11-23 2019-05-31 腾讯科技（深圳）有限公司 图像识别方法、装置及电子设备
CN109613006A (zh) * 2018-12-22 2019-04-12 中原工学院 一种基于端到端神经网络的织物疵点检测方法
CN110163193A (zh) * 2019-03-25 2019-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN110136809A (zh) * 2019-05-22 2019-08-16 腾讯科技（深圳）有限公司 一种医疗图像处理方法、装置、电子医疗设备和存储介质
CN110399826A (zh) * 2019-07-22 2019-11-01 清华大学深圳研究生院 一种端到端人脸检测和识别方法
CN110503112A (zh) * 2019-08-27 2019-11-26 电子科技大学 一种增强特征学习的小目标检测及识别方法
CN110838125A (zh) * 2019-11-08 2020-02-25 腾讯医疗健康(深圳)有限公司 医学图像的目标检测方法、装置、设备、存储介质
CN110930386A (zh) * 2019-11-20 2020-03-27 重庆金山医疗技术研究院有限公司 图像处理方法、装置、设备及存储介质
CN111104903A (zh) * 2019-12-19 2020-05-05 南京邮电大学 一种深度感知交通场景多目标检测方法和系统
CN111191566A (zh) * 2019-12-26 2020-05-22 西北工业大学 基于像素分类的光学遥感图像多目标检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
R.E. SOJKA , D.L. BJORNEBERG: "Polyacrylamide in Agriculture and Environmental Land Management", ADVANCES IN AGRONOMY, vol. 92, 31 December 2007 (2007-12-31), pages 75 - 162 *
向函: "复杂交通场景下车牌检测算法的研究", pages 034 - 14 *
张建军;杜莉;: "多尺度远程夜间行人识别辅助驾驶研究", no. 10, pages 164 - 170 *
李杨: "基于深度学习的人脸检测与特征点定位", pages 138 - 404 *
阙钰佳: "基于深度学习的 SAR 图像处理研究", pages 136 - 317 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860510A (zh) * 2020-07-29 2020-10-30 浙江大华技术股份有限公司 一种x光图像目标检测方法及装置
CN112101246A (zh) * 2020-09-18 2020-12-18 济南博观智能科技有限公司 一种车辆识别方法、装置、设备及介质
CN112132216A (zh) * 2020-09-22 2020-12-25 平安国际智慧城市科技股份有限公司 车型识别方法、装置、电子设备及存储介质
CN112132216B (zh) * 2020-09-22 2024-04-09 平安国际智慧城市科技股份有限公司 车型识别方法、装置、电子设备及存储介质
CN112597995B (zh) * 2020-12-02 2023-11-03 浙江大华技术股份有限公司 车牌检测模型训练方法、装置、设备及介质
CN112597995A (zh) * 2020-12-02 2021-04-02 浙江大华技术股份有限公司 车牌检测模型训练方法、装置、设备及介质
WO2022252565A1 (zh) * 2021-06-04 2022-12-08 浙江智慧视频安防创新中心有限公司 一种目标检测系统、方法、装置、设备及介质
CN113269119A (zh) * 2021-06-07 2021-08-17 重庆大学 一种夜间车辆检测方法及装置
CN114140660A (zh) * 2021-10-31 2022-03-04 苏州浪潮智能科技有限公司 一种车辆检测方法、装置、设备及介质
CN114140660B (zh) * 2021-10-31 2024-02-09 苏州浪潮智能科技有限公司 一种车辆检测方法、装置、设备及介质
CN114638787A (zh) * 2022-02-23 2022-06-17 青岛海信网络科技股份有限公司 检测非机动车是否挂牌的方法及电子设备
CN114638787B (zh) * 2022-02-23 2024-03-22 青岛海信网络科技股份有限公司 检测非机动车是否挂牌的方法及电子设备
CN115424027B (zh) * 2022-08-24 2023-05-23 厦门国际银行股份有限公司 针对画面前景人物的图像相似度比对方法、装置以及设备
CN115424027A (zh) * 2022-08-24 2022-12-02 厦门国际银行股份有限公司 针对画面前景人物的图像相似度比对方法、装置以及设备

Also Published As

Publication number Publication date
CN111611947B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN111611947A (zh) 一种车牌检测方法、装置、设备及介质
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN111209887B (zh) 针对小目标检测的ssd模型优化方法
CN110135446B (zh) 文本检测方法及计算机存储介质
CN112150821A (zh) 轻量化车辆检测模型构建方法、系统及装置
CN112528961B (zh) 一种基于Jetson Nano的视频分析方法
CN110738160A (zh) 一种结合人脸检测的人脸质量评估方法
CN112465709B (zh) 一种图像增强方法、装置、存储介质及设备
WO2010043771A1 (en) Detecting and tracking objects in digital images
CN114220126A (zh) 一种目标检测系统及获取方法
CN115631344B (zh) 一种基于特征自适应聚合的目标检测方法
CN113822951A (zh) 图像处理方法、装置、电子设备及存储介质
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN114612847A (zh) 一种Deepfake视频篡改检测方法以及系统
CN115861595B (zh) 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN114913588A (zh) 一种应用于复杂场景下的人脸图像修复及识别方法
CN115512207A (zh) 一种基于多路特征融合及高阶损失感知采样的单阶段目标检测方法
CN115661188A (zh) 一种边缘计算平台下的道路全景目标检测跟踪方法
CN111539420B (zh) 基于注意力感知特征的全景图像显著性预测方法及系统
CN115115947A (zh) 遥感图像检测方法、装置、电子设备以及存储介质
CN116778212A (zh) 一种图像处理方法及装置
CN114241253A (zh) 违规内容识别的模型训练方法、系统、服务器及存储介质
CN114092818A (zh) 语义分割方法、装置、电子设备及存储介质
CN113807407A (zh) 目标检测模型训练方法、模型性能检测方法及装置
CN112347962A (zh) 一种基于感受野的卷积神经网络目标检测系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant