CN113177560A - 一种普适性轻量级深度学习车辆检测方法 - Google Patents

一种普适性轻量级深度学习车辆检测方法 Download PDF

Info

Publication number
CN113177560A
CN113177560A CN202110459491.6A CN202110459491A CN113177560A CN 113177560 A CN113177560 A CN 113177560A CN 202110459491 A CN202110459491 A CN 202110459491A CN 113177560 A CN113177560 A CN 113177560A
Authority
CN
China
Prior art keywords
network
module
convolution
images
bottleneck
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110459491.6A
Other languages
English (en)
Inventor
蔡雪莲
罗贸峰
左沛昂
岳文伟
张和和
李长乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110459491.6A priority Critical patent/CN113177560A/zh
Publication of CN113177560A publication Critical patent/CN113177560A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种普适性轻量级深度学习车辆检测方法，用于解决现有技术中在计算资源、存储空间有限的情况下，无法同时满足准确率和实时性的问题，实现步骤为：获取训练样本集和测试样本集；构建改进的YOLOv4网络模型；对改进的YOLOv4网络模型进行迭代训练；获取车辆检测结果。本发明所构建的主干特征提取网络采用深度可分离卷积模块代替传统卷积模块方式，降低模型大小的同时提高检测实时性，同时所构建的主干特征提取网络所包含的第二瓶颈模块中加入通道混洗模块，一定程度上提高了车辆检测的精度，可用于汽车自动或半自动驾驶。

Description

一种普适性轻量级深度学习车辆检测方法
技术领域
本发明属于深度学习技术领域，特别涉及一种普适性轻量级深度学习车辆检测方法。考虑现实场景中车载终端计算资源、存储空间有限而导致大多数深度学习方法不再适用，根据轻量化网络模型的思想，通过对YOLOv4网络模型中主干特征提取网络轻量化设计，在保证了检测的准确率的前提下，降低了车辆检测复杂度、压缩了模型大小，提高了检测的实时性，可用于高级辅助驾驶系统中。
背景技术
研究表明，目前我国智能网联汽车的发展正处在从L2级自动驾驶向L3级自动驾驶过度阶段。然而随着道路上的车辆日益增多，汽车在驾驶过程中容易发生各种突发状况，给人们带来经济损失的同时，可能造成部分区域的交通拥堵，更加严重的是可能导致相关人员的伤亡。随着智能交通系统的蓬勃发展能够有针对性的部分解决当前所面临的各种各样的交通问题，其中高级辅助驾驶系统(Advanced Driving Assistance System，ADAS)作为智能交通系统体系框架的重要内容，可以有针对性的解决道路上各种问题。高精度、实时车辆检测则是自动驾驶和ADAS的基础，同时也是ADAS中至关重要的一步。大多数车辆检测算法的提出都将提高精度作为第一准则，但不可避免的是模型复杂度的提升和大量内存的消耗。在现实场景中，由于单车计算资源、存储空间有限，很难同时满足高准确率和实时性，因此如何在有限的计算资源和存储资源的场景下保证准确率的同时提高检测的实时性是研究的关键。
现有基于深度学习的车辆检测方法有两种，一种是两阶段车辆检测方法，另一种是单阶段车辆检测方法。采用两阶段车辆检测主要通过一个完整的卷积神经网络(Convolutional Neural Networks，CNN)来完成目标检测的过程。在训练网络时，主要训练两个部分，第一步是训练候选区生成网络(Region Proposal Network，RPN)，第二步则是训练目标区域检测的网络。该方法虽然具有很高的检测精度，但由于网络结构的复杂性，导致检测速度很慢，往往在一些场景下无法满足实时性的要求。采用单阶段车辆检测主要是通过直接回归的方式进行车辆检测，该方法虽然在检测速度上相较于两阶段算法有较大的优势，但在计算资源和存储资源有限的场景下仍无法满足实时性，为了进一步提高检测实时性，需要对单阶段车辆检测进行轻量化操作，其中包括剪枝和构建轻量级网络模型，但由于单阶段检测网络结构比较简单，对图像中车辆信息提取能力有限，从而导致检测精度较低。
现有的深度车辆检测算法，多数采用YOLOv3网络模型为基础进行改进来提高检测速度，例如申请公布号为CN 110796168 A，名称为“一种基于改进YOLOv3的车辆检测方法”的专利申请，公开的一种改进YOLOv3的车辆检测方法，该方法重新设计Darknet层于三个yolo层之间的卷积神经网络结构，借鉴了TridentNet权重共享的想法，设计YOLO-TN网络；对YOLO-TN卷积神经网络进行模型剪枝；构建车辆检测数据集，并对数据集中的车辆位置信息进行标注；训练YOLO-TN的车辆检测模型，完成车辆检测任务。该方法在保证实时性的同时还具有较高的平均精度，对远处车辆以及小尺度目标进行检测时，漏检率较低，定位也更准确。但其存在的不足之处在于，该方法采用模型剪枝的方法对网络模型进行轻量化，在计算资源有限和存储资源有限的场景下无法同时保证高精度和实时性。
现有YOLOv4网络模型，其结构如图1所示，包括级联的主干特征提取网络CSPDarknet-53、空间金字塔池化网络SSP和路径聚合网络PANet，其中，主干特征提取网络包括级联的标准卷积模块、多个残差模块以及卷积层，标准卷积模块包括级联的卷积层、归一化层、激活层，残差模块包括级联的卷积层和激活层；空间金字塔池化网络包括依次层叠的多个不同尺寸的最大池化层；路径聚合网络包括多个标准卷积模块、多个上采样层以及多个下采样层；主干特征提取网络中倒数第二个残差模块和倒数第三个残差模块，以及空间金字塔池化网络的输出层与路径聚合网络相连。
发明内容
本发明目的在于针对上述现有技术的不足，提出了一种普适性轻量级深度学习车辆检测方法，用于解决现有技术中存在的在计算资源和存储资源有限的场景下车辆检测实时性和准确率较差的技术问题。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)获取训练样本集I和测试样本集F：
从数据集中获取N幅包括车辆的图像，并将其中的M幅图像及其对应的包含车辆位置信息标注框的标签数据作为训练样本集I，将其余N-M幅作为测试样本集F，其中N＞10000，M＞N/2；
(2)构建改进的YOLOv4网络模型H：
(2a)构建改进的YOLOv4网络模型H的结构：
构建包括级联的主干特征提取网络My-MobileNet、空间金字塔池化网络SSP和路径聚合网络PANet的改进的YOLOv4网络模型H，其中，主干特征提取网络包括级联的深度可分离卷积模块、多个步长为2的第一瓶颈模块、多个步长为1的第二瓶颈模块以及卷积层，深度可分离卷积模块包括级联的深度卷积层、归一化层、激活层和逐点卷积层，第一瓶颈模块包括级联的深度卷积层、卷积层、归一化层以及激活层，第二瓶颈模块包括级联的第一瓶颈模块和通道混洗模块；空间金字塔池化网络包括依次层叠的多个不同尺寸的最大池化层；路径聚合网络包括多个深度可分离卷积模块、多个上采样层以及多个下采样层；主干特征提取网络中倒数第一个步长为2的第一瓶颈模块和倒数第四个的步长为2的第一瓶颈模块，以及空间金字塔池化网络的输出层与路径聚合网络相连；
(2b)构建改进的YOLOv4网络模型H的损失函数L：
L＝L1+L2+L3
Figure BDA0003041864130000031
Figure BDA0003041864130000032
Figure BDA0003041864130000033
其中，L1为预测框中心点坐标的损失函数，L2为预测置信度的损失函数，L3为预测类别的损失函数，IoU为标注框和预测框的交并比，ρ2(b,bgt)表示预测框的中心点和标注框的中心点两点之间的欧拉距离，d表示包含标注框和预测框的外界矩形对角线的距离，w、h分别为预测框的宽和高，wgt、hgt分别为标注框的宽和高，S×S表示图像被划分成网格的大小，
Figure BDA0003041864130000034
表示判断网格内是否存在车辆目标
Figure BDA0003041864130000035
表示网络预测车辆的概率，pi(c)表示第i网格存在车辆的概率，B表示每个网格预测的边框数，
Figure BDA0003041864130000036
为预测框的置信度，Ci为第i个网格边界框的置信度，λnoobj为权重系数；
(3)对改进的YOLOv4网络模型H进行迭代训练：
(3a)将训练样本集I中的M幅图像划分为n组，每组包括D幅图像，并以
Figure BDA0003041864130000041
为比例对每组中的每幅图像进行压缩，然后将每组中的D幅压缩图像拼接成与原图像尺寸相同的图像，最后将n幅拼接图像与训练样本集I中未被分组的M-nD幅图像混合成数据增强后的训练样本集I′，其中，D∈{4,16,64,...}，nD＜M，n≥1；
(3b)设迭代次数为t，最大迭代次数为T，T≥50000，第t次迭代的改进的YOLOv4网络模型为Ht，并令t＝1，Ht＝H；
(3c)将数据增强后的训练样本集I′作为改进的YOLOv4网络模型Ht的输入，主干特征提取网络对I′中的每幅图像进行车辆特征提取，得到每幅图像的三种不同尺度特征图，空间金字塔池化网络对最小尺度特征图进行特征增强，得到增强后的特征图，路径聚合网络对增强后的特征图与主干特征提取网络提取的除最小尺度特征图以外的其余两幅特征图进行多尺度特征融合，得到n幅拼接图像和M-nD幅原图像的标签集Z＝{Z1,Z2,...,Zk,...,ZK}，
Figure BDA0003041864130000042
其中，K＝n+M-nD，Zk表示由第k幅数据增强后的训练样本集图像的车辆类别预测标签
Figure BDA0003041864130000043
车辆置信度预测标签
Figure BDA0003041864130000044
和车辆预测框位置标签
Figure BDA0003041864130000045
组成的标签集；
(3d)采用损失函数L，并通过Zk计算改进的YOLOv4网络模型Ht的损失值，然后对K个损失值进行均值处理，得到第t次迭代后Ht的损失值Lt；
(3e)采用反向传播算法，并根据Lt对改进的YOLOv4网络模型Ht中的深度卷积层的卷积核参数λt和逐点卷积层的卷积核参数θt进行更新，得到第t次训练后的Ht；
(3f)判断t＝T是否成立，若是，得到训练好的改进的轻量级YOLOv4网络模型H*，否则，令t＝t+1，并执行步骤(3c)；
(4)获取车辆检测结果：
将测试样本集F作为训练好的改进的轻量级YOLOv4网络模型H*的输入，主干特征提取网络对F中的每幅图像进行车辆特征提取，得到每幅图像的三种不同尺度特征图，空间金字塔池化网络对最小尺度特征图进行特征增强，得到增强后的特征图，路径聚合网络对增强后的特征图与主干特征提取网络提取的除最小尺度特征图以外的其余两幅特征图进行多尺度特征融合，得到N-M幅F的标签集Z*。
本发明与现有技术相比，具有以下优点：
(1)本发明通过深度可分离卷积模块代替现有技术中的标准卷积模块，实现对主干特征提取网络的改进，得到改进的YOLOv4网络模型，在对改进的YOLOv4网络模型进行训练以及获取车辆检测结果的过程中，深度可分离卷积模块中深度卷积和逐点卷积远小于标准卷积模块中卷积操作所消耗的计算量和参数量，在计算资源和存储资源有限的场景下本发明与现有技术相比，在保证车辆检测准确率的同时，有效提高了车辆检测的实时性。
(2)本发明在第二瓶颈模块中增加了通道混洗模块，实现对主干特征提取网络的改进，得到改进的YOLOv4网络模型，在对改进的YOLOv4网络模型进行训练以及获取车辆检测结果的过程中，第二瓶颈模块中的通道混洗操作，可以解决各个分组之间的特征信息融合较差的缺点，一定程度上提高了车辆检测的精度。
附图说明
图1为现有YOLOv4网络模型的结构示意图；
图2为本发明的实现流程图；
图3为本发明所构建的改进的YOLOv4网络模型的结构示意图。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细描述。
参照图2，本发明包括如下步骤：
步骤1)获取训练样本集I和测试样本集F。
从数据集中获取N幅包括车辆的图像，并将其中的M幅图像及其对应的包含车辆位置信息标注框的标签数据作为训练样本集I，将其余N-M幅作为测试样本集F，其中N＞10000，M＞N/2，本实施例中，数据集采用KITTI数据集、UA-DETRAC数据集以及在西安城区所采集的数据集混合而成的数据集，N＝12310，M＝11079；
步骤2)构建改进的YOLOv4网络模型H：
(2a)构建改进的YOLOv4网络模型H的结构，其结构如图3所示：
构建包括级联的主干特征提取网络、空间金字塔池化网络和路径聚合网络的改进的YOLOv4网络模型H，其中：
主干特征提取网络包括级联的深度可分离卷积模块、多个步长为2的第一瓶颈模块、多个步长为1的第二瓶颈模块以及卷积层，深度可分离卷积模块包括级联的深度卷积层、归一化层、激活层和逐点卷积层，第一瓶颈模块包括级联的深度卷积层、卷积层、归一化层以及激活层，第二瓶颈模块包括级联的第一瓶颈模块和通道混洗模块。
在本实施例中，第一瓶颈模块的数量为12，第二瓶颈模块的数量为5，该主干特征提取网络的具体结构为：深度可分离卷积模块→第二瓶颈模块→第一瓶颈模块→第一瓶颈模块→第一瓶颈模块→第一瓶颈模块→第一瓶颈模块→第一瓶颈模块→第一瓶颈模块→第一瓶颈模块→第一瓶颈模块→第二瓶颈模块→第二瓶颈模块→第二瓶颈模块→第一瓶颈模块→第一瓶颈模块→第一瓶颈模块→第二瓶颈模块→卷积层；深度可分离模块、第一瓶颈模块和第二瓶颈模块所包含的深度卷积层中的卷积核大小为3×3，激活层中的激活函数为Relu函数，逐点卷积层的卷积核大小为1×1，卷积层中卷积核大小为1×1。
深度可分离模块采用深度卷积和逐点卷积级联的方式代替卷积操作，在有效的提取图像特征的同时降低了计算量，减少参数量，第二瓶颈模块中所包含的通道混洗模块克服了原有技术中各个分组之间的特征信息融合较差的缺点，保证了检测精度，主干特征提取网络用来的提取图像中车辆的特征信息，并使用特征图的方式表示；
空间金字塔池化网络包括依次层叠的多个不同尺寸的最大池化层，在本实施例中，最大池化层的个数为3，池化核大小分别为13×13、9×9、5×5；
路径聚合网络包括多个深度可分离卷积模块、多个上采样层以及多个下采样层，在本实施例中，深度可分离卷积模块的个数为20、上采样层和下采样层的个数均为2。
主干特征提取网络中倒数第一个步长为2的第一瓶颈模块和倒数第四个的步长为2的第一瓶颈模块，以及空间金字塔池化网络的输出层与路径聚合网络相连；
(2b)构建改进的YOLOv4网络模型H的损失函数L：
L＝L1+L2+L3
Figure BDA0003041864130000061
Figure BDA0003041864130000062
Figure BDA0003041864130000071
其中，L1为预测框中心点坐标的损失函数，L2为预测置信度的损失函数，L3为预测类别的损失函数，IoU为标注框和预测框的交并比，ρ2(b,bgt)表示预测框的中心点和标注框的中心点两点之间的欧拉距离，d表示包含标注框和预测框的外界矩形对角线的距离，w、h分别为预测框的宽和高，wgt、hgt分别为标注框的宽和高，S×S表示图像被划分成网格的大小，
Figure BDA0003041864130000072
表示判断网格内是否存在车辆目标，
Figure BDA0003041864130000073
表示网络预测车辆的概率，pi(c)表示第i网格存在车辆的概率，B表示每个网格预测的边框数，
Figure BDA0003041864130000074
为预测框的置信度，Ci为第i个网格边界框的置信度，λnoobj为权重系数。
相较于原有技术中的预测框中心点坐标的损失函数，L1表达式中增加了中心点间距离
Figure BDA0003041864130000075
和重叠面积IoU，使得损失函数在真实值附近的梯度更加平滑，从而使得预测值更容易稳定收敛，提升了模型的训练速度与性能。
步骤3)对改进的YOLOv4网络模型H进行迭代训练：
(3a)将训练样本集I中的M幅图像划分为n组，每组包括D幅图像，并以
Figure BDA0003041864130000076
为比例对每组中的每幅图像进行压缩，然后将每组中的D幅压缩图像拼接成与原图像尺寸相同的图像，最后将n幅拼接图像与训练样本集I中未被分组的M-nD幅图像混合成数据增强后的训练样本集I′，其中，D∈{4,16,64,...}，nD＜M，n≥1，本实施例中，n＝2769，D＝4，该方法在不损失车辆信息同时，有效的提高训练速度。
(3b)设迭代次数为t，最大迭代次数为T，T≥50000，本实施例中，T＝50500，第t次迭代的改进的YOLOv4网络模型为Ht，并令t＝1，Ht＝H。
(3c)将数据增强后的训练样本集I′作为改进的YOLOv4网络模型Ht的输入，主干特征提取网络对I′中的每幅图像进行车辆特征提取，得到每幅图像的三种不同尺度特征图，空间金字塔池化网络对最小尺度特征图进行特征增强，得到增强后的特征图，路径聚合网络对增强后的特征图与主干特征提取网络提取的除最小尺度特征图以外的其余两幅特征图进行多尺度特征融合，得到n幅拼接图像和M-nD幅原图像的标签集Z＝{Z1,Z2,...,Zk,...,ZK}，
Figure BDA0003041864130000081
其中，K＝n+M-nD，本实施例中，K＝2772，Zk表示由第k幅数据增强后的训练样本集图像的车辆类别预测标签
Figure BDA0003041864130000082
车辆置信度预测标签
Figure BDA0003041864130000083
和车辆预测框位置标签
Figure BDA0003041864130000084
组成的标签集。
(3d)采用损失函数L，并通过Zk计算改进的YOLOv4网络模型Ht的损失值，然后对K个损失值进行均值处理，得到第t次迭代后Ht的损失值Lt。
(3e)采用反向传播算法，并根据Lt对改进的YOLOv4网络模型Ht中的深度卷积层的卷积核参数λt和逐点卷积层的卷积核参数θt进行更新，得到第t次训练后的Ht，更新公式为：
Figure BDA0003041864130000085
Figure BDA0003041864130000086
其中η表示学习步长，0.0001≤η≤0.01，λt+1和θt+1分别表示λt和θt更新后的结果，
Figure BDA0003041864130000087
表示偏导计算，在本实施例中，η＝0.001。
(3f)判断t＝T是否成立，若是，得到训练好的改进的轻量级YOLOv4网络模型H*，否则，令t＝t+1，并执行步骤(3c)；
步骤4)获取车辆检测结果：
将测试样本集F作为训练好的改进的轻量级YOLOv4网络模型H*的输入，主干特征提取网络对F中的每幅图像进行车辆特征提取，得到每幅图像的三种不同尺度特征图，空间金字塔池化网络对最小尺度特征图进行特征增强，得到增强后的特征图，路径聚合网络对增强后的特征图与主干特征提取网络提取的除最小尺度特征图以外的其余两幅特征图进行多尺度特征融合，得到N-M幅F的标签集Z*。
以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (3)

1.一种普适性轻量级深度学习车辆检测方法，其特征在于，包括如下步骤：
(1)获取训练样本集I和测试样本集F：
从数据集中获取N幅包括车辆的图像，并将其中的M幅图像及其对应的包含车辆位置信息标注框的标签数据作为训练样本集I，将其余N-M幅作为测试样本集F，其中N＞10000，M＞N/2；
(2)构建改进的YOLOv4网络模型H：
(2a)构建改进的YOLOv4网络模型H的结构：
构建包括级联的主干特征提取网络、空间金字塔池化网络和路径聚合网络的改进的YOLOv4网络模型H，其中，主干特征提取网络包括级联的深度可分离卷积模块、多个步长为2的第一瓶颈模块、多个步长为1的第二瓶颈模块以及卷积层，深度可分离卷积模块包括级联的深度卷积层、归一化层、激活层和逐点卷积层，第一瓶颈模块包括级联的深度卷积层、卷积层、归一化层以及激活层，第二瓶颈模块包括级联的第一瓶颈模块和通道混洗模块；空间金字塔池化网络包括依次层叠的多个不同尺寸的最大池化层；路径聚合网络包括多个深度可分离卷积模块、多个上采样层以及多个下采样层；主干特征提取网络中倒数第一个步长为2的第一瓶颈模块和倒数第四个的步长为2的第一瓶颈模块，以及空间金字塔池化网络的输出层与路径聚合网络相连；
(2b)构建改进的YOLOv4网络模型H的损失函数L：
L＝L1+L2+L3
Figure FDA0003041864120000011
Figure FDA0003041864120000012
Figure FDA0003041864120000013
其中，L1为预测框中心点坐标的损失函数，L2为预测置信度的损失函数，L3为预测类别的损失函数，IoU为标注框和预测框的交并比，ρ2(b,bgt)表示预测框的中心点和标注框的中心点两点之间的欧拉距离，d表示包含标注框和预测框的外界矩形对角线的距离，w、h分别为预测框的宽和高，wgt、hgt分别为标注框的宽和高，S×S表示图像被划分成网格的大小，
Figure FDA0003041864120000021
表示判断网格内是否存在车辆目标，
Figure FDA0003041864120000022
表示网络预测车辆的概率，pi(c)表示第i网格存在车辆的概率，B表示每个网格预测的边框数，
Figure FDA0003041864120000023
为预测框的置信度，Ci为第i个网格边界框的置信度，λnoobj为权重系数；
(3)对改进的YOLOv4网络模型H进行迭代训练：
(3a)将训练样本集I中的M幅图像划分为n组，每组包括D幅图像，并以
Figure FDA0003041864120000024
为比例对每组中的每幅图像进行压缩，然后将每组中的D幅压缩图像拼接成与原图像尺寸相同的图像，最后将n幅拼接图像与训练样本集I中未被分组的M-nD幅图像混合成数据增强后的训练样本集I′，其中，D∈{4,16,64,...}，nD＜M，n≥1；
(3b)设迭代次数为t，最大迭代次数为T，T≥50000，第t次迭代的改进的YOLOv4网络模型为Ht，并令t＝1，Ht＝H；
(3c)将数据增强后的训练样本集I′作为改进的YOLOv4网络模型Ht的输入，主干特征提取网络对I′中的每幅图像进行车辆特征提取，得到每幅图像的三种不同尺度特征图，空间金字塔池化网络对最小尺度特征图进行特征增强，得到增强后的特征图，路径聚合网络对增强后的特征图与主干特征提取网络提取的除最小尺度特征图以外的其余两幅特征图进行多尺度特征融合，得到n幅拼接图像和M-nD幅原图像的标签集Z＝{Z1,Z2,...,Zk,...,ZK}，
Figure FDA0003041864120000025
其中，K＝n+M-nD，Zk表示由第k幅数据增强后的训练样本集图像的车辆类别预测标签
Figure FDA0003041864120000026
车辆置信度预测标签
Figure FDA0003041864120000027
和车辆预测框位置标签
Figure FDA0003041864120000028
组成的标签集；
(3d)采用损失函数L，并通过Zk计算改进的YOLOv4网络模型Ht的损失值，然后对K个损失值进行均值处理，得到第t次迭代后Ht的损失值Lt；
(3e)采用反向传播算法，并根据Lt对改进的YOLOv4网络模型Ht中的深度卷积层的卷积核参数λt和逐点卷积层的卷积核参数θt进行更新，得到第t次训练后的Ht；
(3f)判断t＝T是否成立，若是，得到训练好的改进的轻量级YOLOv4网络模型H*，否则，令t＝t+1，并执行步骤(3c)；
(4)获取车辆检测结果：
将测试样本集F作为训练好的改进的轻量级YOLOv4网络模型H*的输入，主干特征提取网络对F中的每幅图像进行车辆特征提取，得到每幅图像的三种不同尺度特征图，空间金字塔池化网络对最小尺度特征图进行特征增强，得到增强后的特征图，路径聚合网络对增强后的特征图与主干特征提取网络提取的除最小尺度特征图以外的其余两幅特征图进行多尺度特征融合，得到N-M幅F的标签集Z*。
2.根据权利要求1所述的一种普适性轻量级深度学习车辆检测方法，其特征在于，步骤(2a)中所述的改进的YOLOv4网络模型H，其中包含的主干特征提取网络、空间金字塔池化网络和路径聚合网络的参数和具体结构分别为：
主干特征提取网络，其包含的第一瓶颈模块的数量为12，第二瓶颈模块的数量为5，该主干特征提取网络的具体结构为：深度可分离卷积模块→第二瓶颈模块→第一瓶颈模块→第一瓶颈模块→第一瓶颈模块→第一瓶颈模块→第一瓶颈模块→第一瓶颈模块→第一瓶颈模块→第一瓶颈模块→第一瓶颈模块→第二瓶颈模块→第二瓶颈模块→第二瓶颈模块→第一瓶颈模块→第一瓶颈模块→第一瓶颈模块→第二瓶颈模块→卷积层；深度可分离模块、第一瓶颈模块和第二瓶颈模块所包含的深度卷积层中的卷积核大小为3×3，激活层中的激活函数为Relu函数，逐点卷积层的卷积核大小为1×1，卷积层中卷积核大小为1×1；
空间金字塔池化网络，其包含的最大池化层的个数为3，池化核大小分别为13×13、9×9、5×5；
路径聚合网络，其包含的深度可分离卷积模块的个数为20、上采样层和下采样层的个数均为2。
3.根据权利要求1所述的一种普适性轻量级深度学习车辆检测方法，其特征在于：步骤(3e)中所述的对改进的YOLOv4网络模型Ht中的深度卷积层的卷积核参数λt和逐点卷积层的卷积核参数θt进行更新，更新公式分别为：
Figure FDA0003041864120000041
Figure FDA0003041864120000042
其中η表示学习步长，0.0001≤η≤0.01，λt+1和θt+1分别表示λt和θt更新后的结果，
Figure FDA0003041864120000043
表示偏导计算。
CN202110459491.6A 2021-04-27 2021-04-27 一种普适性轻量级深度学习车辆检测方法 Pending CN113177560A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110459491.6A CN113177560A (zh) 2021-04-27 2021-04-27 一种普适性轻量级深度学习车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110459491.6A CN113177560A (zh) 2021-04-27 2021-04-27 一种普适性轻量级深度学习车辆检测方法

Publications (1)

Publication Number Publication Date
CN113177560A true CN113177560A (zh) 2021-07-27

Family

ID=76926459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110459491.6A Pending CN113177560A (zh) 2021-04-27 2021-04-27 一种普适性轻量级深度学习车辆检测方法

Country Status (1)

Country Link
CN (1) CN113177560A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705423A (zh) * 2021-08-25 2021-11-26 西安电子科技大学 基于改进YOLOv3算法的红外车辆快速检测方法
CN113723361A (zh) * 2021-09-18 2021-11-30 西安邮电大学 一种基于深度学习的视频监测方法及设备
CN113723526A (zh) * 2021-08-31 2021-11-30 电子科技大学 一种识别不同类型焊口的方法
CN113936136A (zh) * 2021-09-24 2022-01-14 西安电子科技大学 基于深度学习融合通道混洗的红外目标检测方法
CN113971811A (zh) * 2021-11-16 2022-01-25 北京国泰星云科技有限公司 一种基于机器视觉和深度学习的集装箱特征智能识别方法
CN114140754A (zh) * 2021-11-30 2022-03-04 北京比特易湃信息技术有限公司 一种基于深度学习的改装车识别方法
CN114241792A (zh) * 2022-02-28 2022-03-25 科大天工智能装备技术（天津）有限公司 一种车流量检测方法及系统
CN114495029A (zh) * 2022-01-24 2022-05-13 中国矿业大学 一种基于改进YOLOv4的交通目标检测方法及系统
CN115035280A (zh) * 2022-05-10 2022-09-09 华南农业大学 基于yolo的柑橘花朵花苞识别方法及轻量级计算系统
CN115587628A (zh) * 2022-10-27 2023-01-10 长春理工大学 一种深度卷积神经网络轻量化方法
CN116311771A (zh) * 2023-01-17 2023-06-23 长扬科技(北京)股份有限公司 有限空间作业的安全监测方法、装置、设备及存储介质
CN116778430A (zh) * 2023-08-24 2023-09-19 吉林省牛人网络科技股份有限公司 肉牛养殖的疾病监测系统及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147318A1 (en) * 2017-11-14 2019-05-16 Google Llc Highly Efficient Convolutional Neural Networks
CN110826537A (zh) * 2019-12-05 2020-02-21 广州市久邦数码科技有限公司 一种基于yolo的人脸检测方法
US20200143227A1 (en) * 2018-11-06 2020-05-07 Google Llc Neural Architecture Search with Factorized Hierarchical Search Space
CN112116032A (zh) * 2019-06-21 2020-12-22 富士通株式会社 物体检测装置及方法、终端设备
CN112149761A (zh) * 2020-11-24 2020-12-29 江苏电力信息技术有限公司 一种基于YOLOv4改进算法的电力智慧工地违规行为检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147318A1 (en) * 2017-11-14 2019-05-16 Google Llc Highly Efficient Convolutional Neural Networks
US20200143227A1 (en) * 2018-11-06 2020-05-07 Google Llc Neural Architecture Search with Factorized Hierarchical Search Space
CN112116032A (zh) * 2019-06-21 2020-12-22 富士通株式会社 物体检测装置及方法、终端设备
CN110826537A (zh) * 2019-12-05 2020-02-21 广州市久邦数码科技有限公司 一种基于yolo的人脸检测方法
CN112149761A (zh) * 2020-11-24 2020-12-29 江苏电力信息技术有限公司 一种基于YOLOv4改进算法的电力智慧工地违规行为检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
文中: "基于深度学习的车辆目标检测", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
毕鹏程 等: "面向移动端的轻量化卷积神经网络结构", 《信息技术与网络安全》 *
江金洪 等: "基于YOLO v3算法改进的交通标志识别算法", 《计算机应用》 *
高健宸 等: "基于YOLOv4的绝缘子爆裂故障识别研究", 《激光与光电子学进展》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705423B (zh) * 2021-08-25 2024-05-17 西安电子科技大学 基于改进YOLOv3算法的红外车辆快速检测方法
CN113705423A (zh) * 2021-08-25 2021-11-26 西安电子科技大学 基于改进YOLOv3算法的红外车辆快速检测方法
CN113723526B (zh) * 2021-08-31 2023-04-18 电子科技大学 一种识别不同类型焊口的方法
CN113723526A (zh) * 2021-08-31 2021-11-30 电子科技大学 一种识别不同类型焊口的方法
CN113723361A (zh) * 2021-09-18 2021-11-30 西安邮电大学 一种基于深度学习的视频监测方法及设备
CN113936136A (zh) * 2021-09-24 2022-01-14 西安电子科技大学 基于深度学习融合通道混洗的红外目标检测方法
CN113971811A (zh) * 2021-11-16 2022-01-25 北京国泰星云科技有限公司 一种基于机器视觉和深度学习的集装箱特征智能识别方法
CN114140754A (zh) * 2021-11-30 2022-03-04 北京比特易湃信息技术有限公司 一种基于深度学习的改装车识别方法
CN114495029A (zh) * 2022-01-24 2022-05-13 中国矿业大学 一种基于改进YOLOv4的交通目标检测方法及系统
CN114241792B (zh) * 2022-02-28 2022-05-20 科大天工智能装备技术（天津）有限公司 一种车流量检测方法及系统
CN114241792A (zh) * 2022-02-28 2022-03-25 科大天工智能装备技术（天津）有限公司 一种车流量检测方法及系统
CN115035280A (zh) * 2022-05-10 2022-09-09 华南农业大学 基于yolo的柑橘花朵花苞识别方法及轻量级计算系统
CN115035280B (zh) * 2022-05-10 2024-07-19 华南农业大学 基于yolo的柑橘花朵花苞识别方法及轻量级计算系统
CN115587628A (zh) * 2022-10-27 2023-01-10 长春理工大学 一种深度卷积神经网络轻量化方法
CN116311771A (zh) * 2023-01-17 2023-06-23 长扬科技(北京)股份有限公司 有限空间作业的安全监测方法、装置、设备及存储介质
CN116778430A (zh) * 2023-08-24 2023-09-19 吉林省牛人网络科技股份有限公司 肉牛养殖的疾病监测系统及其方法
CN116778430B (zh) * 2023-08-24 2023-11-28 吉林省牛人网络科技股份有限公司 肉牛养殖的疾病监测系统及其方法

Similar Documents

Publication Publication Date Title
CN113177560A (zh) 一种普适性轻量级深度学习车辆检测方法
CN111489358B (zh) 一种基于深度学习的三维点云语义分割方法
CN110188705B (zh) 一种适用于车载系统的远距离交通标志检测识别方法
CN108564097B (zh) 一种基于深度卷积神经网络的多尺度目标检测方法
CN110378222B (zh) 一种输电线路防震锤目标检测与缺陷识别方法及装置
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN111126472A (zh) 一种基于ssd改进的目标检测方法
CN111179217A (zh) 一种基于注意力机制的遥感图像多尺度目标检测方法
CN111310773A (zh) 一种高效的卷积神经网络的车牌定位方法
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN110717493B (zh) 一种基于深度学习的含堆叠字符的车牌识别方法
CN111612051A (zh) 一种基于图卷积神经网络的弱监督目标检测方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN112364931A (zh) 基于元特征和权重调整的少样本目标检测方法及网络模型
CN116310328A (zh) 基于跨图像相似度关系的语义分割知识蒸馏方法及系统
CN117975218A (zh) 一种基于混合注意力和特征中心化多尺度融合的小目标检测方法
CN116977712B (zh) 基于知识蒸馏的道路场景分割方法、系统、设备及介质
CN117710841A (zh) 一种无人机航拍图像的小目标检测方法、装置
CN115205568B (zh) 一种多尺度特征融合的道路交通多要素检测方法
CN116188785A (zh) 运用弱标签的PolarMask老人轮廓分割方法
CN115953743A (zh) 一种基于改进的yolo模型的车位状态识别方法
CN115861595A (zh) 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN111738088B (zh) 一种基于单目摄像头的行人距离预测方法
CN115331254A (zh) 一种免锚框的实例人像语义解析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210727

WD01 Invention patent application deemed withdrawn after publication