CN112364864A - 一种车牌识别方法、装置、电子设备及存储介质 - Google Patents

一种车牌识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112364864A
CN112364864A CN202011147549.5A CN202011147549A CN112364864A CN 112364864 A CN112364864 A CN 112364864A CN 202011147549 A CN202011147549 A CN 202011147549A CN 112364864 A CN112364864 A CN 112364864A
Authority
CN
China
Prior art keywords
network
license plate
feature
module
dense connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011147549.5A
Other languages
English (en)
Inventor
刘建虢
尹晓雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Cresun Innovation Technology Co Ltd
Original Assignee
Xian Cresun Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Cresun Innovation Technology Co Ltd filed Critical Xian Cresun Innovation Technology Co Ltd
Priority to CN202011147549.5A priority Critical patent/CN112364864A/zh
Publication of CN112364864A publication Critical patent/CN112364864A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车牌识别方法，包括：获取目标车牌图像；利用车牌识别网络的密集连接形式的主干网络对目标车牌图像进行特征提取，得到x个特征图；x个特征图的尺度依次增大；x为大于等于4的自然数；将x个特征图利用车牌识别网络的FPN网络进行特征融合，得到各尺度的特征图对应的预测结果；将预测结果经由分类网络和非极大值抑制模块进行处理，得到目标车牌图像的检测结果，检测结果包括目标车牌的车牌字符；输出检测结果；其中，车牌识别网络是在YOLOv3网络的基础上，采用层剪枝和通道剪枝，以及知识蒸馏引导网络恢复后形成的。本发明提供的车牌识别方法能够实现在远距离或者复杂环境下准确识别车牌。

Description

一种车牌识别方法、装置、电子设备及存储介质
技术领域
本发明属于图像处理领域，具体涉及一种车牌识别方法、装置、电子设备及存储介质。
背景技术
目前，道路上车辆的数量越来越多，随着智能交通系统的发展，车牌识别系统广泛应用于各个领域，车牌识别系统(Vehicle License Plate Recognition，VLPR)是计算机视频图像识别技术在车辆牌照识别中的一种应用。车牌识别技术要求能够将汽车牌照从复杂背景中提取并识别出来，通过车牌提取、图像预处理、特征提取、车牌字符识别等技术，识别车辆牌号、颜色等信息，广泛应用于停车收费管理、公路收费站自动缴费管理、交通流量控制指标检测、道路超速自动化监测、车辆定位以及汽车防盗等场景。
然而，现有技术中，对车辆牌照的识别技术有限，当遇到距离过远、自然环境恶劣等情况，就会影响车牌识别系统的识别率。
因此，如何能在远距离或者复杂环境下准确识别车牌，是一个亟需解决的问题。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种车牌识别方法、装置、电子设备及存储介质。本发明要解决的技术问题通过以下技术方案实现：
第一方面，本发明实施例提供了一种车牌识别方法，包括：
获取目标车牌图像；
利用车牌识别网络的密集连接形式的主干网络对所述目标车牌图像进行特征提取，得到x个特征图；所述x个特征图的尺度依次增大；x为大于等于4的自然数；
将所述x个特征图利用所述车牌识别网络的FPN网络进行特征融合，得到各尺度的特征图对应的预测结果；
基于所述预测结果得到所述目标车牌图像的检测结果，所述检测结果包括目标车牌的车牌字符；
输出所述检测结果；
其中，所述车牌识别网络包括所述密集连接形式的主干网络以及所述FPN网络，所述车牌识别网络是在YOLOv3网络的基础上，采用层剪枝和通道剪枝，以及知识蒸馏引导网络恢复后形成的；且所述车牌识别网络是根据样本车牌图像，以及所述样本车牌图像对应的车牌字符训练得到的。
可选的，所述密集连接形式的主干网络包括多个间隔串接的密集连接模块以及过渡模块；所述密集连接模块的数量为y个；所述密集连接模块包括串行连接的卷积网络模块和密集连接单元组；所述卷积网络模块包括串行连接的卷积层、BN层、Leaky relu层；所述密集连接单元组包括m个密集连接单元；每个密集连接单元包括多个采用密集连接形式连接的所述卷积网络模块，并采用级联方式融合多个卷积网络模块输出的特征图；其中，y和m为大于等于4的自然数；y大于等于x；
所述得到x个特征图，包括：
得到沿输入逆向的x个密集连接模块输出的、尺度依次增大的特征图。
可选的，所述过渡模块为所述卷积网络模块。
可选的，所述过渡模块包括依次连接的多个所述卷积网络模块和最大池化层；所述卷积网络模块的输入和所述最大池化层的输入共用，所述卷积网络模块输出的所述特征图和所述最大池化层输出的特征图采用级联方式融合。
可选的，所述FPN网络包括尺度依次增大的x个预测支路Y1～Yx；其中，所述预测支路Y1～Yx的尺度与x个所述特征图的尺度一一对应；
各个预测支路Yi包括卷积网络模块组以及上采样模块；预测支路Yi从所述x个特征图中，获取对应尺度的特征图，与预测支路Yi-1经上采样处理后的特征图进行级联融合；其中，i为大于等于2且小于等于x的自然数。
可选的，采用层剪枝和通道剪枝，以及知识蒸馏引导网络恢复后形成所述车牌识别网络，包括：
对YOLOv3网络基础上采用所述密集连接形式的主干网络、增加所述特征图的提取尺度得到的网络中，所述密集连接形式的主干网络的所述密集连接模块进行层剪枝，得到YOLOv3-1网络；
对所述YOLOv3-1网络进行稀疏化训练，得到BN层缩放系数稀疏分布的YOLOv3-2网络；
将所述YOLOv3-2网络进行通道剪枝，得到YOLOv3-3网络；
将所述YOLOv3-3网络进行知识蒸馏，基于得到的网络生成所述车牌识别网络。
可选的，所述对YOLOv3网络基础上采用所述密集连接形式的主干网络、增加所述特征图的提取尺度得到的网络中，所述密集连接形式的主干网络的所述密集连接模块进行层剪枝，包括：
将所述密集连接模块含有的所述密集连接单元数量由m个剪枝为p个；其中，m、p均为自然数，且p＜m。
第二方面，本发明实施例还提供了一种车牌识别装置，包括：
图像采集模块，用于获取目标车牌图像；
图像检测模块，用于利用车牌识别网络的主干网络对所述目标车牌图像进行特征提取，得到x个特征图；x个所述特征图的尺度依次增大；x为大于等于4的自然数；
特征融合模块，用于将x个所述特征图利用所述车牌识别网络的FPN网络进行特征融合，得到各尺度所述特征图对应的预测结果；
分类及NMS模块，基于所述预测结果得到所述目标车牌图像的检测结果，所述检测结果包括目标车牌的车牌字符；
输出模块，用于输出所述检测结果。
其中，所述车牌识别网络包括所述密集连接形式的主干网络以及所述FPN网络，所述车牌识别网络是在YOLOv3网络的基础上，采用层剪枝和通道剪枝，以及知识蒸馏引导网络恢复后形成的；且所述车牌识别网络是根据样本车牌图像，以及所述样本车牌图像对应的车牌字符训练得到的。
第三方面，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一方法步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法步骤。
本发明实施例提供的一种车牌识别方法、装置、电子设备及存储介质，将现有技术YOLOv3网络的主干网络中的残差模块更换为密集连接模块。在对特征提取时，利用密集连接模块将原有的并行特征融合方式改为串行，将早期得到的特征图作为后面每一层特征图的输入，能够获得更多信息量的特征图，强化了特征传递，提高检测精度，因此，针对风雪天气或者拍摄光线不足等复杂情况，能够有较高检测精度；增加细粒度的特征提取尺度，能够用来检测更小的物体，能够提升目标车牌图像中小目标的检测精度，因此，针对拍摄距离远，且获取到的目标车牌图像中车牌所占区域较小等情况，能够有效检测到目标车牌；基于在YOLOv3网络基础上采用所述密集连接形式的主干网络、增加所述特征图的提取尺度得到的网络的目标检测方法，通过对原始的YOLOv3进行层剪枝、稀疏化训练、通道剪枝，以及知识蒸馏处理，并在各个处理过程选取优化的处理参数，得到车牌识别网络。由于该网络体积大幅缩小，摒除了大部分的冗余计算，基于该网络的目标检测速度得到大幅度的提升，而且能够维持检测的精度。尤其在应用于待检测种类较少的场景时，既能保证检测的精度，又能大幅提高检测的速度，能够实现在远距离或者复杂环境下准确识别车牌。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种车牌识别方法的流程示意图；
图2是现有技术中的YOLOv3网络的结构示意图；
图3是本发明实施例提供的车牌识别网络的结构示意图；
图4是本发明实施例提供的一种过渡模块的结构示意图；
图5是本发明实施例提供的一种基于车牌识别网络的稀疏化训练参数组合的权重分布情况图；
图6是本发明实施例提供的一种车牌识别装置的结构示意图；
图7是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
为了在远距离或者复杂环境下准确识别车牌，本发明实施例提供了一种车牌识别方法、装置、电子设备及存储介质。
需要说明的是，本发明实施例提供的一种车牌识别方法的执行主体可以为一种车牌识别装置，该车牌识别装置可以运行于电子设备中。其中，该电子设备可以为一图像采集工具或图像处理工具中的插件，或者独立于图像采集工具或图像处理工具之外的程序，当然并不局限于此。
第一方面，本发明实施例提供的一种车牌识别方法。下面，首先对该车牌识别方法进行介绍。
参见图1，图1为本发明实施例提供的一种车牌识别方法，可以包括如下步骤：
步骤S1，获取目标车牌图像。
目标车牌图像为图像采集设备拍摄的含有目标车辆车牌的图像。
其中，图像采集设备可以包括照相机、摄像机、手机，或者道路上的监控设备等等。获取到的目标车牌图像中至少含有一个目标车辆的车牌。
示例性的，该步骤可以由设置于道路边沿上的路灯杆、天桥上的摄像头等，拍摄经过车辆的目标车牌图像，可以理解的是，该种场景下，由于拍摄距离远，获取到的目标车牌图像中车牌所占的区域可能是比较小的，或者由于风雪天气、拍摄光线等问题，获取到的目标车牌图像的分辨率可能较差。
可以理解的是，本步骤可以应用于需要识别车牌的其他场景。
步骤S2，利用车牌识别网络的密集连接形式的主干网络对目标车牌图像进行特征提取，得到x个特征图；x个特征图的尺度依次增大；x为大于等于4的自然数。
本实施例中，密集连接形式的主干网络包括多个间隔串接的密集连接模块以及过渡模块。
本实施例中密集连接形式的主干网络是基于YOLOv3网络的主干网络进行改进的。本发明实施例的车牌识别网络是根据样本车牌图像，以及样本车牌图像对应的车牌字符训练得到的。
为了便于理解本发明实施例提供的密集连接形式的主干网络的网络结构，对现有技术的YOLOv3网络的结构进行介绍。图2是现有技术中的YOLOv3网络的结构示意图。
参考图2，虚线框内的部分为YOLOv3网络。其中点划线框内的部分为YOLOv3网络的主干(backbone)网络，即darknet-53网络；其余部分为FPN(Feature Pyramid Networks，特征金字塔网络)网络，FPN网络又分为三个预测支路Y1～Y3，预测支路Y1～Y3的尺度分别与沿输入逆向的3个残差模块res4、res8、res8分别输出对应的特征图的尺度一一对应。各预测支路的预测结果分别以Y1、Y2、Y3表示，Y1、Y2、Y3的尺度依次增大。
YOLOv3网络的主干网络由CBL模块和多个resn模块串接构成。CBL模块为卷积网络模块，包括串行连接的conv层(Convolutional layer，卷积层，简称conv层)、BN(BatchNormalization，批量归一化)层和激活函数Leaky relu对应的Leaky relu层，CBL即表示conv+BN+Leaky relu。resn模块为残差模块，n代表自然数，有res1、res2，…，res8等等，resn模块包括串行连接的zero padding(零填充)层、CBL模块和残差单元组，残差单元组用Res unit*n表示，含义是包括n个残差单元Res unit，每个残差单元包括采用残差网络(Residual Network，简称为ResNets)连接形式连接的多个CBL模块，特征融合方式采用并行方式，即add方式。
FPN网络的各个预测支路中均包括卷积网络模块组，具体包括5个卷积网络模块，即图2中的CBL*5。另外，US(up sampling，上采样)模块为上采样模块；concat表示特征融合采用级联方式，concat为concatenate的简称。
YOLOv3网络中各个主要模块的具体构成请参见图2中虚线框下的示意图。
本发明实施例提供的密集连接形式的主干网络与现有技术中的YOLOv3网络的主干网络区别在于：包括多个间隔串联的密集连接模块以及过渡模块。借鉴密集卷积网络DenseNet的连接方式，提出一种具体的密集连接模块，用来替换YOLOv3网络的主干网络中的残差模块(resn模块)。已知的是，ResNets在将特征传递到图层之前通过求和来组合特征，即采用并行方式进行特征融合。而密集连接方式为了确保信息以最大程度在网络中各层之间流动，将所有层(具有匹配的特征图大小)彼此直接连接。具体的，针对每个层，它之前层的所有特征图被用作它的输入，它本身的特征图被用作它所有后续层的输入，也就是特征融合采用级联方式(也称为串联方式)。因此，相比于YOLOv3网络使用残差模块，本发明实施例中的车牌识别网络通过改用密集连接模块，获得的特征图的信息量更多，在进行目标车牌检测时，能够增强特征传播。同时，因为它不需要重新学习冗余的特征图，可以大大减小参数数量，减少计算量，还可以减轻梯度消失问题。
参考图3，图3是本发明实施例提供的车牌识别网络的结构示意图。以下结合图3说明本实施例的密集连接形式的主干网络。
在图3中，虚线框内的部分为车牌识别网络。车牌识别网络包括密集连接形式的主干网络、FPN网络、分类网络以及非极大值抑制模块，车牌识别网络是在YOLOv3网络的基础上，采用层剪枝和通道剪枝，以及知识蒸馏引导网络恢复后形成的。车牌识别网络是根据样本车牌图像，以及样本车牌图像对应的车牌字符训练得到的，关于训练过程在后文中予以介绍。
图3中点划线框内的部分为密集连接形式的主干网络，用于特征提取。
示例性地，密集连接形式的主干网络包括多个间隔串接的密集连接模块和过渡模块；密集连接模块在图3中以denm表示。
密集连接模块的数量为y个；y为大于等于4的自然数，且y大于等于x，在图3中以y＝5进行示例。
密集连接模块包括串行连接的卷积网络模块和密集连接单元组；卷积网络模块在图3中以CBL表示，密集连接单元组在图3中以den unit*m表示，m为大于等于4的自然数。卷积网络模块包括串行连接的conv层(Convolutional layer，卷积层，简称conv层)、BN(Batch Normalization，批量归一化)层和Leaky relu层(Leaky relu为一种激活函数)，CBL即表示conv+BN+Leaky relu。
密集连接单元组包括m个密集连接单元；每个密集连接单元包括多个采用密集连接形式连接的卷积网络模块，并采用级联方式融合多个卷积网络模块输出的特征图；级联方式在图3中以concat表示。级联融合以concat表示，concat为concatenate的简称。
相应的，针对S2步骤中的得到x个的特征图，包括：
得到沿输入逆向的x个密集连接模块输出的、尺度依次增大的特征图。
参见图3理解，图3中以y＝5，x＝4进行示例。主干网络利用密集连接模块+过渡模块的形式对输入的目标交通图像(图3中简称为图像)进行由浅至深的特征提取，在其中4个密集连接模块之后输出提取到的特征图。即沿输入逆向的第一个至第四个密集连接模块denm分别输出对应的特征图，这些特征图的尺度依次增大。具体的，各个特征图的尺度分别为13×13×72、26×26×72、52×52×72、104×104×72。
本发明实施例采用密集连接方式的主干网络，可以确保信息以最大程度在网络中各层之间流动，将所有层(具有匹配的特征图大小)彼此直接连接。针对每个层，将它之前层的所有特征图用作它的输入，将它本身的特征图用作它所有后续层的输入，也就是特征融合采用级联方式(也称为串联方式)。因此，相比于一些现有技术使用残差模块，利用并联形式进行特征融合，本发明实施例采用密集连接模块，获得的特征图的信息量更多，在进行目标检测时，能够增强特征传播，提高检测精度。同时，因为它不需要重新学习冗余的特征图，可以大大减小参数数量，减少计算量，还可以减轻梯度消失问题。并且，本发明实施将特征图由浅到深进行传递，提取至少四个尺度的特征图，能够让网络能够检测不同尺度的物体，即增加有细粒度的特征提取尺度。可以使得在后续目标检测时，针对获取到的目标车牌图像中车牌所占区域为小目标，或者在风雪天气、光线较暗等情况能够提高检测精度。
对于加入的密集连接模块之间可以设置过渡模块，以对密集连接的特征图进行调整。
可选的第一种实施方式中，过渡模块为卷积网络模块。也就是使用CBL模块作为过渡模块。该网络搭建过程会较为快速，所得到的网络结构较为简单。但这样的过渡模块仅使用卷积层进行过渡，即直接通过增加步长来对特征图进行降维，这样做只能照顾到局部区域特征，而不能结合整张图的信息，因此会使得特征图中的信息丢失较多。
可选的第二种实施方式中，过渡模块包括依次连接的多个卷积网络模块和最大池化层；卷积网络模块的输入和最大池化层的输入共用，卷积网络模块输出的特征图和最大池化层输出的特征图采用级联方式融合。该种实施方式中过渡模块的结构请参见图4，图4为本发明实施例所提供的一种过渡模块的结构示意图。该种实施方式中，用tran模块表示该种过渡模块，MP层为最大池化层(Maxpool，缩写MP，含义为最大池化)。进一步的，MP层的步长可以选择为2。在该种实施方式中，引入的MP层可以以较大的感受野对特征图进行降维；使用的参数比较少，因此不会过多地增加计算量，可以减弱过拟合的可能，提高网络模型的泛化能力；并且结合原有的CBL模块，可以看做从不同的感受野对特征图进行降维，因此可以保留更多信息。
针对上述第二种实施方式，可选的，过渡模块包括的卷积网络模块的数量为两个或三个，且各个卷积网络模块之间采用串接方式。相比于使用一个卷积网络模块，采用串接的两个或三个卷积网络模块，能够增加模型的复杂度，充分提取特征。
步骤S3，将x个特征图利用车牌识别网络的FPN网络进行特征融合，得到各尺度的特征图对应的预测结果。
参见图3，除密集连接形式的主干网络、分类网络和非极大值抑制模块之外的其余部分为FPN(Feature Pyramid Networks，特征金字塔网络)网络，FPN网络包括尺度依次增大的x个预测支路Y1～Yx；其中，预测支路Y1～Yx的尺度与x个特征图的尺度一一对应。
参见图3，即4个预测支路的尺度分别与沿输入逆向的4个密集连接模块分别输出的特征图的尺度一一对应。
针对将x个不同尺度的特征图利用FPN网络进行特征融合，各个预测支路Yi从x个特征图中，获取对应尺度的特征图作为预测支路Yi的待融合特征图Fi；其中，i＝2、3，…，x。
获取预测支路Yi-1中经卷积网络模块组输出的特征图，并进行卷积和上采样处理，得到预测支路Yi的待融合特征图Fi-1。
将待融合特征图Fi和待融合特征图Fi-1进行级联融合。
其中，卷积网络模块组包括k个卷积网络模块，k为自然数；每一预测支路均含有卷积网络模块组，预测支路Yi的卷积网络模块组设置于该预测支路的级联融合处理之后。
参见图3进行理解，预测支路Y1直接获取对应尺度的特征图，即沿输入逆向的第一个密集连接模块输出的特征图，并将其经卷积网络模块组(以CBL*k表示)进行卷积处理以进行本预测支路的后续处理。
各个预测支路Yi包括卷积网络模块组以及上采样模块；预测支路Yi从x个特征图中，获取对应尺度的特征图，与预测支路Yi-1经上采样处理后的特征图进行级联融合；其中，i为大于等于2且小于等于x的自然数。
具体的，从预测支路Y2开始，每个预测支路Yi均获取两方面的特征图进行特征融合，一方面是：从x个特征图中，获取对应尺度的特征图作为预测支路Yi的待融合特征图Fi；针对预测支路Y2，即获取沿输入逆向的第二个密集连接模块输出的特征图作为其待融合特征图F2；另一方面是：获取相邻的尺度较小的预测支路Yi-1中经卷积网络模块组输出的特征图，并进行卷积和上采样处理，得到预测支路Yi的待融合特征图Fi-1；针对预测支路Y2，即获取预测支路Y1中经卷积网络模块组CBL*k输出的特征图，并进行卷积(CBL模块)和上采样(US模块，US为up sampling简称，原意上采样)处理，得到该预测支路的待融合特征图F1。
预测支路Yi将待融合特征图Fi和待融合特征图Fi-1进行级联融合；针对预测支路Y2，即将待融合特征图F2和待融合特征图F1进行级联融合。参见图3可以理解，预测支路Y2级联融合后的特征图会经过卷积网络模块组CBL*k处理，输出的特征图一方面用于本预测支路后续的目标预测，另一方面会进行卷积和上采样处理以用于给预测支路Y3进行特征级联融合。
关于其余预测支路的特征融合过程与预测支路Y2类似，在此不再赘述。
在该实施方式中，特征融合结合横向方式与自顶向下方式，在这种方式中，尺度较小的预测支路的特征图会经由相邻的尺度较大的预测支路处理后向下传递自身的特征。
特征融合的实施方式中，使用的是先将深层和较浅层网络特征相加，再一起进行上采样的方法，这种方法在将特征相加后，要通过卷积层提取特征图。
步骤S4，基于所述预测结果得到目标车牌图像的检测结果，检测结果包括目标车牌的车牌字符。
在该步骤中，具体可以分为两个步骤：
步骤S41，将预测结果经由分类网络和非极大值抑制模块进行处理，得到目标车牌图像中的目标位置和类别。
本发明实施例中的目标包括车牌，以及和车牌形状比较类似的矩形物体，比如车窗、后视镜等。针对每一目标，检测结果的形式为一向量，包含预测框的位置、预测框内目标的置信度、预测框内目标的类别。预测框的位置用来表征目标在目标车牌图像中的位置；具体的，每个预测框的位置用bx,by,bw,bh四个值表示，bx,by用于表示预测框的中心点位置，bw,bh为用于表示预测框的宽和高。相应的，目标车牌图像的类别包括车牌、车窗、后视镜等。
可选的，分类网络包括SoftMax分类器，目的是实现多个类别互斥的分类。分类网络也可以用logistic回归进行分类，以实现多个独立的二分类。
非极大值抑制模块用于进行NMS(non_max_suppression，非极大值抑制)处理。用于在重复框选同一目标的多个检测框中，排除置信度相对较小的检测框。
关于分类网络和非极大值抑制模块的处理过程请参见相关的现有技术，在此不做赘述。
在图3中，4个预测支路共输出四个尺度的特征图，分别为13×13、26×26、52×52、104×104，最小的13×13的特征图上由于其感受野最大，适合较大的目标检测；中等的26×26特征图上由于其具有中等感受野，适合检测中等大小的目标；较大的52×52特征图上由于其具有较小的感受野，适合检测较小的目标；最大的104×104特征图上由于其具有更小的感受野，故适合检测再小的目标。本发明实施例对图像的划分更加精细，预测结果对尺寸较小的物体，即对图像中占比较小的车牌更有针对性。
步骤S42，针对于类别为车牌的目标，基于车牌的位置识别车牌字符。
一种可选的实施方式可以包括：
步骤(1)：获取目标车牌图像的车牌位置；
步骤(2)：对获取到的目标车牌图像进行车牌字符分割；
步骤(3)：对分割后的每个车牌字符逐一进行字符识别，并生成检测结果。
通过对目标车牌图像的字符进行识别，可以得到车牌的字符或者车牌类型，如区域信息等。可以理解的是，上述步骤S42也可以利用其余的现有技术实现，在本发明实施例中，将执行上述步骤S42对应的网络命名为字符识别网络，具体参见图3。
以下，对车牌识别网络的训练过程予以简单介绍。
车牌识别网络是根据样本车牌图像，以及样本车牌图像对应的车牌字符训练得到的，本领域技术人员可以理解的是，在进行网络训练之前，需要搭建如图3所示的车牌识别网络结构。网络训练过程可以分为以下步骤：
步骤1，获得若干样本车牌图像，以及样本车牌图像对应的车牌字符。车牌字符可以包括汉字、字母以及数字等。可以理解的是，也可以对车牌的颜色进行限定。
在该过程中，各样本车牌图像对应的车牌字符是已知的，确定各样本车牌图像对应的车牌字符的方式可以是：通过人工识别，或者通过其他图像识别工具识别等等。之后，需要对样本车牌图像进行标记，可以采用人工标记方式，当然也可以利用其余人工智能方法进行非人工标记。
步骤2，利用各样本车牌图像，以及各样本车牌图像对应的车牌字符，训练搭建好的网络，得到训练完成的车牌识别网络。具体的：
(a)将每一样本车牌图像对应的车牌字符作为该样本车牌图像对应的真值，将各样本车牌图像和对应的真值，通过搭建好的网络进行训练，获得各样本车牌图像的训练结果；
(b)将每一样本车牌图像的训练结果与该样本车牌图像对应的真值进行比较，得到该样本车牌图像对应的输出结果；
(c)根据各个样本车牌图像对应的输出结果，计算网络的损失值；
(d)根据损失值，调整网络的参数，并重新进行(a)-(c)步骤，直至网络的损失值达到了一定的收敛条件，也就是损失值达到最小，这时，意味着每一样本车牌图像的训练结果与该样本车牌图像对应的真值一致，从而完成网络的训练，获得训练完成的车牌识别网络。
另外，由于网络训练需要使用VOC格式或者COCO格式的数据，并将标记数据存储在文本文档当中。所以需要用Python脚本进行数据集标注格式的转换。
本实施例中，采用层剪枝和通道剪枝，以及知识蒸馏引导网络恢复后形成车牌识别网络，包括：
对YOLOv3网络基础上采用密集连接形式的主干网络、增加特征图的提取尺度得到的网络中，密集连接形式的主干网络的密集连接模块进行层剪枝，得到YOLOv3-1网络。
通常在对YOLOv3网络基础上采用密集连接形式的主干网络、增加特征图的提取尺度得到的网络简化处理过程中会直接进行通道剪枝，但是在实验中发现，仅通过通道剪枝仍难达到速度快速提升的效果。因此在通道剪枝前加入了层剪枝的处理过程。
具体的，层剪枝处理过程为：将YOLOv3网络基础上采用密集连接形式的主干网络、增加特征图的提取尺度得到的网络中，将密集连接模块含有的密集连接单元数量由m个剪枝为p个；其中，m、p均为自然数，且p＜m。优选的，p＝1/2m。经过层剪枝，YOLOv3网络基础上采用密集连接形式的主干网络、增加特征图的提取尺度得到的网络结构得到简化，同时网络的参数量和运算量减小接近一半，提速明显。
对YOLOv3-1网络进行稀疏化训练，得到BN层缩放系数稀疏分布的YOLOv3-2网络。
将YOLOv3-1网络进行稀疏化训练，为YOLOv3-1网络的每个通道引入一个比例系数γ，使得每一个通道的输出大小可以由这个比例系数控制。为了让大部分比例系数γ都接近于0，需要在训练过程中，为γ添加稀疏正则化。稀疏训练的损失函数为：
Figure BDA0002740188010000181
其中，
Figure BDA0002740188010000182
表示网络原始的损失函数，(x,y)表示训练过程的输入数据和目标数据，W表示可训练的权重，
Figure BDA0002740188010000183
为比例系数添加的正则项，g(γ)是对比例系数进行稀疏训练的惩罚函数，λ为权重。由于要使得比例系数γ具有稀疏性，惩罚函数选择L1范数。同时，由于不知道后一项所占比重，引入λ参数进行调整。
由于λ的取值与稀疏训练的收敛速度相关，本发明实施例的应用场景为待检测目标种类数量较少，所以λ的取值可以选取较大的λ值，稀疏训练的收敛速度也不会很慢，同时也可以通过提高模型学习率的方法来进一步加快收敛；但是考虑到参数选取过大又会对网络模型的精度造成一定的损失，最后确定将学习率为0.1×，λ为1×的组合作为稀疏化训练的优选参数组合。
请参加图5，图5是本发明实施例提供的一种基于车牌识别网络的稀疏化训练参数组合的权重分布情况图，其中图5(a)是权重偏移图，图5(b)是权重交叠图。如图5所示，本发明实施例优选的较小的学习率与较大的权重的组合对于系数训练过后的权重的分布更有利，且网络模型的精度也较高。
将YOLOv3-2网络进行通道剪枝，得到YOLOv3-3网络。
在稀疏化训练之后，得到了一个BN层缩放系数稀疏分布的网络模型，这就便于确定哪些通道的重要性更小。由此，可以剪去这些不太重要的通道，剪枝的方法是删除传入和传出连接以及相应的权重。
对网络进行通道剪枝操作，修剪一个通道基本上对应于删除该通道的所有传入和传出连接，可以直接获得一个轻量化的网络，而不需要使用任何特殊的稀疏计算包。通道剪枝过程中，缩放因子充当频道选择的代理；由于它们与网络权重共同优化，因此网络可以自动识别无关紧要的通道，这些通道可以安全地移除而不会极大地影响泛化性能。
具体的，针对YOLOv3-2网络，在所有层的所有通道中设定一个通道剪枝比例，然后将YOLOv3-2网络中所有的BN层缩放系数按照升序排列，按通道剪枝比例剪掉排在前面的BN层缩放系数对应的通道。通过通道剪枝，可以删去冗余的通道，减少计算量，加快目标检测的速度。
但是在通道剪枝后，可能会由于参数减少而带来一些精度的下降，从不同的剪枝比例对网络精度的影响进行分析，如果网络剪枝比例过大，网络体积压缩更多，但也会造成网络精度的剧烈下降，由此需要进行一个网络压缩比例与压缩后网络精度的权衡。
作为一种优选方式，对YOLOv3-2网络的通道剪枝比例为50％。通道剪枝之所以选择50％是因为：
由于待检测图像中数量较少的种类在网络压缩过程中受到影响就比较大，这就会直接影响mAP，因此，要从数据集和网络压缩比例方面来考虑。对数据集的处理，本发明的实施例选择合并数量较少的种类来使得不同种类的数量达到均衡，或者是直接采用种类分布更加均衡的数据集，这与本发明实施例的应用场景相吻合。另外就是控制压缩比例，保证数量较少的种类的预测精度不会下降太多。根据mAP仿真结果来看，50％～60％的压缩比例是精度变化的转折点，因此可以初步选择50％的压缩比例。
除了从精度来分析压缩的影响外，还要考虑目标检测时间和模型压缩比例的关系，通过对不同剪枝比例处理的网络模型不同平台上(在Tesla V100服务器和Jetson TX2边缘设备)的运行时间进行仿真，根据仿真结果可以发现，不同网络压缩比例对于网络推测的时间影响很微弱，而对于NMS(非极大值抑制)所需时间影响较大，在压缩比例达到50％之前，检测速度随着网络压缩而加快，但是压缩比例超过50％后，检测速度反而出现了减慢。由此，最终选定通道剪枝比例为50％。
将YOLOv3-3网络进行知识蒸馏，基于得到的网络生成车牌识别网络。
经过剪枝，获得了一个更为紧凑的YOLOv3-3网络模型，然后需要进行微调使得精度恢复。这里引入了知识蒸馏的策略。
具体的，对YOLOv3-3网络引入知识蒸馏，将YOLOv3网络作为老师网络，YOLOv3-3网络作为学生网络，由老师网络引导学生网络进行精度恢复和调整，得到车牌识别网络。
作为一种优选的实施方式，将YOLOv3网络的Softmax层之前的输出结果除以温度系数，来使得教师网络最终输出的预测值软化，而后学生网络利用软化后的预测值作为标签来辅助训练YOLOv3-3网络，最终实现YOLOv3-3网络的精度与和YOLOv3网络相当；其中，温度系数是预先设定的值，不随网络训练发生变化。
引入温度参数T的原因是，一个完成训练、精度很高的网络对于输入数据的分类结果，和真实的标签是基本一致的。以三分类为例，真实已知的训练类别标签是[1,0,0]，预测结果可能会是[0.95,0.02,0.03]，和真实的标签值是非常逼近的。因此，对于学生网络来讲，使用教师网络的分类结果辅助训练和直接利用数据进行训练，差别不大。温度参数T可以用来控制预测标签的软化程度，即可以增加教师网络分类结果的偏差。
将添加了知识蒸馏策略的微调过程和一般的微调过程进行对比，经过知识蒸馏调整恢复的网络精度比原始的YOLOv3网络更高。
步骤S5，输出检测结果。
本实施例中，输出检测结果，可以包括：在终端设备上显示检测结果。
具体的，可以将检测结果显示在终端设备的显示屏上，例如停车场出入口的显示屏幕、道路管理系统的显示屏幕等。可以直接将标注有检测结果的目标交通图像显示终端的显示屏上，可以直接观察到检测结果。当然，也可以将检测结果以其他文本的形式进行显示，这都是合理的。
本实施例中，输出检测结果，还可以包括：将检测结果以语音等形式进行输出。
本发明提供的车牌识别方法，将现有技术YOLOv3网络的主干网络中的残差模块更换为密集连接模块。在对特征提取时，利用密集连接模块将原有的并行特征融合方式改为串行，将早期得到的特征图作为后面每一层特征图的输入，能够获得更多信息量的特征图，强化了特征传递，提高检测精度，因此，针对风雪天气或者拍摄光线不足等复杂情况，能够有较高检测精度；增加细粒度的特征提取尺度，能够用来检测更小的物体，能够提升目标车牌图像中小目标的检测精度，因此，针对拍摄距离远，且获取到的目标车牌图像中车牌所占区域较小等情况，能够有效检测到目标车牌；基于在YOLOv3网络基础上采用所述密集连接形式的主干网络、增加所述特征图的提取尺度得到的网络的目标检测方法，通过对原始的YOLOv3进行层剪枝、稀疏化训练、通道剪枝，以及知识蒸馏处理，并在各个处理过程选取优化的处理参数，得到车牌识别网络。由于该网络体积大幅缩小，摒除了大部分的冗余计算，基于该网络的目标检测速度得到大幅度的提升，而且能够维持检测的精度。尤其在应用于待检测种类较少的场景时，既能保证检测的精度，又能大幅提高检测的速度，能够实现在远距离或者复杂环境下准确识别车牌。
第二方面，参考图6，本发明实施例还提供了一种车牌识别装置，包括：
图像采集模块601，用于获取目标车牌图像；
图像检测模块602，用于利用车牌识别网络的主干网络对所述目标车牌图像进行特征提取，得到x个特征图；x个所述特征图的尺度依次增大；x为大于等于4的自然数；
特征融合模块603，用于将x个所述特征图利用所述车牌识别网络的FPN网络进行特征融合，得到各尺度所述特征图对应的预测结果；
分类及NMS模块604，基于所述预测结果得到所述目标车牌图像的检测结果，所述检测结果包括目标车牌的车牌字符；
输出模块605，用于输出所述检测结果。
其中，所述车牌识别网络包括所述密集连接形式的主干网络以及所述FPN网络，所述车牌识别网络是在YOLOv3网络的基础上，采用层剪枝和通道剪枝，以及知识蒸馏引导网络恢复后形成的；且所述车牌识别网络是根据样本车牌图像，以及所述样本车牌图像对应的车牌字符训练得到的。
关于具体内容请参见第一方面的车牌识别方法的内容，在此不再赘述。
本发明实施例提供的车牌识别装置，将现有技术YOLOv3网络的主干网络中的残差模块更换为密集连接模块。在对特征提取时，利用密集连接模块将原有的并行特征融合方式改为串行，将早期得到的特征图作为后面每一层特征图的输入，能够获得更多信息量的特征图，强化了特征传递，提高检测精度，因此，针对风雪天气或者拍摄光线不足等复杂情况，能够有较高检测精度；增加细粒度的特征提取尺度，能够用来检测更小的物体，能够提升目标车牌图像中小目标的检测精度，因此，针对拍摄距离远，且获取到的目标车牌图像中车牌所占区域较小等情况，能够有效检测到目标车牌；基于在YOLOv3网络基础上采用所述密集连接形式的主干网络、增加所述特征图的提取尺度得到的网络的目标检测方法，通过对原始的YOLOv3进行层剪枝、稀疏化训练、通道剪枝，以及知识蒸馏处理，并在各个处理过程选取优化的处理参数，得到车牌识别网络。由于该网络体积大幅缩小，摒除了大部分的冗余计算，基于该网络的目标检测速度得到大幅度的提升，而且能够维持检测的精度。尤其在应用于待检测种类较少的场景时，既能保证检测的精度，又能大幅提高检测的速度，能够实现在远距离或者复杂环境下准确识别车牌。
第三方面，参考图7，本发明实施例还提供了一种电子设备，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信；
存储器703，用于存放计算机程序；
处理器701，用于执行存储器上所存放的程序时，实现上述任意一种车牌识别方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponentInterconnect，PCI)总线或扩展工业标准结构(Extended IndustryStandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
通过上述电子设备，能够实现：将现有技术YOLOv3网络的主干网络中的残差模块更换为密集连接模块。在对特征提取时，利用密集连接模块将原有的并行特征融合方式改为串行，将早期得到的特征图作为后面每一层特征图的输入，能够获得更多信息量的特征图，强化了特征传递，提高检测精度，因此，针对风雪天气或者拍摄光线不足等复杂情况，能够有较高检测精度；增加细粒度的特征提取尺度，能够用来检测更小的物体，能够提升目标车牌图像中小目标的检测精度，因此，针对拍摄距离远，且获取到的目标车牌图像中车牌所占区域较小等情况，能够有效检测到目标车牌；基于在YOLOv3网络基础上采用所述密集连接形式的主干网络、增加所述特征图的提取尺度得到的网络的目标检测方法，通过对原始的YOLOv3进行层剪枝、稀疏化训练、通道剪枝，以及知识蒸馏处理，并在各个处理过程选取优化的处理参数，得到车牌识别网络。由于该网络体积大幅缩小，摒除了大部分的冗余计算，基于该网络的目标检测速度得到大幅度的提升，而且能够维持检测的精度。尤其在应用于待检测种类较少的场景时，既能保证检测的精度，又能大幅提高检测的速度，能够实现在远距离或者复杂环境下准确识别车牌。
第四方面，相应于上述实施例所提供的车牌识别方法，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述方法步骤。
上述计算机可读存储介质存储有在运行时执行本发明实施例所提供的道路车辆状态识别方法的应用程序，因此能够实现：将现有技术YOLOv3网络的主干网络中的残差模块更换为密集连接模块。在对特征提取时，利用密集连接模块将原有的并行特征融合方式改为串行，将早期得到的特征图作为后面每一层特征图的输入，能够获得更多信息量的特征图，强化了特征传递，提高检测精度，因此，针对风雪天气或者拍摄光线不足等复杂情况，能够有较高检测精度；增加细粒度的特征提取尺度，能够用来检测更小的物体，能够提升目标车牌图像中小目标的检测精度，因此，针对拍摄距离远，且获取到的目标车牌图像中车牌所占区域较小等情况，能够有效检测到目标车牌；基于在YOLOv3网络基础上采用所述密集连接形式的主干网络、增加所述特征图的提取尺度得到的网络的目标检测方法，通过对原始的YOLOv3进行层剪枝、稀疏化训练、通道剪枝，以及知识蒸馏处理，并在各个处理过程选取优化的处理参数，得到车牌识别网络。由于该网络体积大幅缩小，摒除了大部分的冗余计算，基于该网络的目标检测速度得到大幅度的提升，而且能够维持检测的精度。尤其在应用于待检测种类较少的场景时，既能保证检测的精度，又能大幅提高检测的速度，能够实现在远距离或者复杂环境下准确识别车牌。
对于电子设备以及计算机可读存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种车牌识别方法，其特征在于，包括：
获取目标车牌图像；
利用车牌识别网络的密集连接形式的主干网络对所述目标车牌图像进行特征提取，得到x个特征图；所述x个特征图的尺度依次增大；x为大于等于4的自然数；
将所述x个特征图利用所述车牌识别网络的FPN网络进行特征融合，得到各尺度的特征图对应的预测结果；
基于所述预测结果得到所述目标车牌图像的检测结果，所述检测结果包括目标车牌的车牌字符；
输出所述检测结果；
其中，所述车牌识别网络包括所述密集连接形式的主干网络以及所述FPN网络，所述车牌识别网络是在YOLOv3网络的基础上，采用层剪枝和通道剪枝，以及知识蒸馏引导网络恢复后形成的；且所述车牌识别网络是根据样本车牌图像，以及所述样本车牌图像对应的车牌字符训练得到的。
2.根据权利要求1所述的车牌识别方法，其特征在于，所述密集连接形式的主干网络包括多个间隔串接的密集连接模块以及过渡模块；所述密集连接模块的数量为y个；所述密集连接模块包括串行连接的卷积网络模块和密集连接单元组；所述卷积网络模块包括串行连接的卷积层、BN层、Leaky relu层；所述密集连接单元组包括m个密集连接单元；每个密集连接单元包括多个采用密集连接形式连接的所述卷积网络模块，并采用级联方式融合多个卷积网络模块输出的特征图；其中，y和m为大于等于4的自然数；y大于等于x；
所述得到x个特征图，包括：
得到沿输入逆向的x个密集连接模块输出的、尺度依次增大的特征图。
3.根据权利要求2所述的车牌识别方法，其特征在于，所述过渡模块为所述卷积网络模块。
4.根据权利要求2所述的车牌识别方法，其特征在于，所述过渡模块包括依次连接的多个所述卷积网络模块和最大池化层；所述卷积网络模块的输入和所述最大池化层的输入共用，所述卷积网络模块输出的所述特征图和所述最大池化层输出的特征图采用级联方式融合。
5.根据权利要求1所述的车牌识别方法，其特征在于，所述FPN网络包括尺度依次增大的x个预测支路Y1～Yx；其中，所述预测支路Y1～Yx的尺度与x个所述特征图的尺度一一对应；
各个预测支路Yi包括卷积网络模块组以及上采样模块；预测支路Yi从所述x个特征图中，获取对应尺度的特征图，与预测支路Yi-1经上采样处理后的特征图进行级联融合；其中，i为大于等于2且小于等于x的自然数。
6.根据权利要求2所述的车牌识别方法，其特征在于，采用层剪枝和通道剪枝，以及知识蒸馏引导网络恢复后形成所述车牌识别网络，包括：
对YOLOv3网络基础上采用所述密集连接形式的主干网络、增加所述特征图的提取尺度得到的网络中，所述密集连接形式的主干网络的所述密集连接模块进行层剪枝，得到YOLOv3-1网络；
对所述YOLOv3-1网络进行稀疏化训练，得到BN层缩放系数稀疏分布的YOLOv3-2网络；
将所述YOLOv3-2网络进行通道剪枝，得到YOLOv3-3网络；
将所述YOLOv3-3网络进行知识蒸馏，基于得到的网络生成所述车牌识别网络。
7.根据权利要求6所述的车牌识别方法，其特征在于，所述对YOLOv3网络基础上采用所述密集连接形式的主干网络、增加所述特征图的提取尺度得到的网络中，所述密集连接形式的主干网络的所述密集连接模块进行层剪枝，包括：
将所述密集连接模块含有的所述密集连接单元数量由m个剪枝为p个；其中，m、p均为自然数，且p＜m。
8.一种车牌识别装置，其特征在于，包括：
图像采集模块，用于获取目标车牌图像；
图像检测模块，用于利用车牌识别网络的主干网络对所述目标车牌图像进行特征提取，得到x个特征图；x个所述特征图的尺度依次增大；x为大于等于4的自然数；
特征融合模块，用于将x个所述特征图利用所述车牌识别网络的FPN网络进行特征融合，得到各尺度所述特征图对应的预测结果；
分类及NMS模块，基于所述预测结果得到所述目标车牌图像的检测结果，所述检测结果包括目标车牌的车牌字符；
输出模块，用于输出所述检测结果。
其中，所述车牌识别网络包括所述密集连接形式的主干网络以及所述FPN网络，所述车牌识别网络是在YOLOv3网络的基础上，采用层剪枝和通道剪枝，以及知识蒸馏引导网络恢复后形成的；且所述车牌识别网络是根据样本车牌图像，以及所述样本车牌图像对应的车牌字符训练得到的。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202011147549.5A 2020-10-23 2020-10-23 一种车牌识别方法、装置、电子设备及存储介质 Withdrawn CN112364864A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011147549.5A CN112364864A (zh) 2020-10-23 2020-10-23 一种车牌识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011147549.5A CN112364864A (zh) 2020-10-23 2020-10-23 一种车牌识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112364864A true CN112364864A (zh) 2021-02-12

Family

ID=74511931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011147549.5A Withdrawn CN112364864A (zh) 2020-10-23 2020-10-23 一种车牌识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112364864A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171092A (zh) * 2022-09-08 2022-10-11 松立控股集团股份有限公司 一种基于语义增强的端到端车牌检测方法
CN116453105A (zh) * 2023-06-20 2023-07-18 青岛国实科技集团有限公司 基于知识蒸馏深度神经网络的船牌号识别方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171092A (zh) * 2022-09-08 2022-10-11 松立控股集团股份有限公司 一种基于语义增强的端到端车牌检测方法
CN115171092B (zh) * 2022-09-08 2022-11-18 松立控股集团股份有限公司 一种基于语义增强的端到端车牌检测方法
CN116453105A (zh) * 2023-06-20 2023-07-18 青岛国实科技集团有限公司 基于知识蒸馏深度神经网络的船牌号识别方法及系统
CN116453105B (zh) * 2023-06-20 2023-08-18 青岛国实科技集团有限公司 基于知识蒸馏深度神经网络的船牌号识别方法及系统

Similar Documents

Publication Publication Date Title
CN112380921A (zh) 一种基于车联网的道路检测方法
CN107527007B (zh) 在车辆图像处理系统中检测关注对象的方法
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
CN111931664A (zh) 混贴票据图像的处理方法、装置、计算机设备及存储介质
EP3690741A2 (en) Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same
CN113723377B (zh) 一种基于ld-ssd网络的交通标志检测方法
CN110147707B (zh) 一种高精度车辆识别方法及系统
CN111985451A (zh) 一种基于YOLOv4的无人机场景检测方法
CN111274942A (zh) 一种基于级联网络的交通锥识别方法及装置
CN112381763A (zh) 一种表面缺陷检测方法
CN111598182A (zh) 训练神经网络及图像识别的方法、装置、设备及介质
CN112364719A (zh) 一种遥感图像目标快速检测方法
CN112288701A (zh) 一种智慧交通图像检测方法
CN112364864A (zh) 一种车牌识别方法、装置、电子设备及存储介质
CN112288700A (zh) 一种铁轨缺陷检测方法
CN112308066A (zh) 一种车牌识别系统
CN113011308A (zh) 一种引入注意力机制的行人检测方法
CN112380918A (zh) 一种道路车辆状态识别方法、装置、电子设备及存储介质
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN112084897A (zh) 一种gs-ssd的交通大场景车辆目标快速检测方法
CN114821462A (zh) 基于多分支并行混合空洞编码神经网络的目标检测方法
CN112288702A (zh) 一种基于车联网的道路图像检测方法
CN111160282B (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
CN112597996A (zh) 基于任务驱动的自然场景中交通标志显著性检测方法
CN112380919A (zh) 一种车辆类别统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210212