CN111898432A - 一种基于改进YOLOv3算法的行人检测系统及方法 - Google Patents

一种基于改进YOLOv3算法的行人检测系统及方法 Download PDF

Info

Publication number
CN111898432A
CN111898432A CN202010591050.7A CN202010591050A CN111898432A CN 111898432 A CN111898432 A CN 111898432A CN 202010591050 A CN202010591050 A CN 202010591050A CN 111898432 A CN111898432 A CN 111898432A
Authority
CN
China
Prior art keywords
convolution
layer
feature
feature map
multiplied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010591050.7A
Other languages
English (en)
Other versions
CN111898432B (zh
Inventor
李军
王茂
李�浩
徐康民
程光皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010591050.7A priority Critical patent/CN111898432B/zh
Publication of CN111898432A publication Critical patent/CN111898432A/zh
Application granted granted Critical
Publication of CN111898432B publication Critical patent/CN111898432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于改进YOLOv3算法的行人检测系统及方法。该系统包括特征提取模块和行人检测模块，特征提取模块使用不同大小的卷积核对输入图像进行特征提取，在卷积过程中设置快捷链路层组成残差模块；行人检测模块用于图像特征融合，使深层特征图与浅层特征图相融合，融合后的特征图再反向融合上一层网络特征图。方法为：对原始的YOLOv3特征提取网络进行裁剪；基于裁剪后的特征提取网络，在YOLO预测层使用不同大小的特征图进行特征融合，使深层特征图与浅层特征图相融合；在网络输出中添加一个YOLO预测层，由4个YOLO预测层对图像中的行人进行分类回归。本发明改善了行人检测的精度和速度，实现了实时行人检测。

Description

一种基于改进YOLOv3算法的行人检测系统及方法
技术领域
本发明涉及行人检测或者图像处理技术领域，特别是一种基于改进YOLOv3算法的行人检测系统及方法。
背景技术
随着人工智能领域的快速发展，目标检测技术正也越来越受到更多学者的关注，其中行人检测在许多领域的发展上有很大的帮助作用，例如无人驾驶，人机交互，智能监控识别等领域。对于行人检测已经有很多的实现算法，对比DeepParts(Y.Tian,P.Luo,X.Wangand X.Tang.Deep Learning Strong Parts for Pedestrian Detection[J].IEEEInternational Conference on Computer Vision(ICCV),2015:1904-1912.)提出的行人检测算法，虽然具有检测精度较好、模型拟合能力强的特点，但是训练过程复杂、检测速度慢，不满足实时检测的要求。对比Faster-RCNN(S.Ren,K.He,R.B.Girshick,et al.FasterR-CNN:towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149)提出的深度学习算法在行人方面检测效果，虽然检测精度高，但是检测速度非常慢。
发明内容
本发明的目的在于提供一种能够提高检测速度与精度的基于改进YOLOv3算法的行人检测系统及方法。
实现本发明目的的技术解决方案为：一种基于改进YOLOv3算法的行人检测系统，包括特征提取模块和行人检测模块，其中：
所述特征提取模块，使用不同大小的卷积核对输入图像进行特征提取，在每一次下采样的同时增大卷积通道数以获取更多的特征信息，同时在卷积过程中设置快捷链路层组成残差模块，在每个卷积层中包括正则化和激活操作；
所述行人检测模块，用于图像特征融合，使深层特征图与浅层特征图相融合，融合后的特征图再反向融合上一层网络特征图；在特征融合的基础上构建多尺度预测网络结构，增加一个带有3个anchor的YOLO预测层，由4个YOLO预测层对图像中出现的行人进行分类回归。
一种基于改进YOLOv3算法的行人检测方法，步骤如下：
首先，对原始的YOLOv3特征提取网络进行裁剪，得到裁剪后的特征提取网络；
然后，基于裁剪后的特征提取网络，在YOLO预测层使用不同大小的特征图进行特征融合，使深层特征图与浅层特征图相融合；
最后，在网络输出中添加一个YOLO预测层，由4个YOLO预测层对图像中出现的行人进行分类回归。
本发明与现有技术相比，其显著优点为：(1)特征提取网络合理使用不同大小的卷积核对输入图像进行特征提取，在每一次下采样的同时增大卷积通道数来获取更多的特征信息，同时在卷积过程中设置快捷链路层组成残差模块加速网络收敛过程；(2)行人检测网络使具有丰富语义信息的深层特征图与具有细节信息的浅层特征图相融合，融合后的特征图再反向融合上一层网络特征图，充分利用网络特征图的细节信息与语义信息；(3)同时考虑到行人大小、形态多变等特点，设计多尺度预测网络结构，增加了一个带有3个anchor的YOLO预测层，增加后网络将有更多的预测框，提高网络整体检测的精度。
附图说明
图1为改进YOLO v3网络整体结构示意图。
图2为残差网络模块结构示意图。
图3为网络检测流程图。
图4为IOU计算示意图。
图5为输入相同简单样本图源进行行人检测的效果对比图，其中(a)为本发明改进YOLO v3的检测效果图，(b)为原始YOLO v3检测效果图，(c)为Faster-RCNN检测效果图，(d)为DeepParts检测效果图。
图6为输入相同复杂样本图源进行行人检测的效果对比图，，其中(a)为本发明改进YOLO v3的检测效果图，(b)为原始YOLO v3检测效果图，(c)为Faster-RCNN检测效果图，(d)为DeepParts检测效果图。
具体实施方式
本发明基于改进YOLOv3算法的行人检测系统，包括特征提取模块和行人检测模块，其中：
所述特征提取模块，使用不同大小的卷积核对输入图像进行特征提取，在每一次下采样的同时增大卷积通道数以获取更多的特征信息，同时在卷积过程中设置快捷链路层组成残差模块，在每个卷积层中包括正则化和激活操作；
所述行人检测模块，用于图像特征融合，使深层特征图与浅层特征图相融合，融合后的特征图再反向融合上一层网络特征图；在特征融合的基础上构建多尺度预测网络结构，增加一个带有3个anchor的YOLO预测层，由4个YOLO预测层对图像中出现的行人进行分类回归。
本发明基于改进YOLOv3算法的行人检测方法，步骤如下：
首先，对原始的YOLOv3特征提取网络进行裁剪，得到裁剪后的特征提取网络；
然后，基于裁剪后的特征提取网络，在YOLO预测层使用不同大小的特征图进行特征融合，使深层特征图与浅层特征图相融合；
最后，在网络输出中添加一个YOLO预测层，由4个YOLO预测层对图像中出现的行人进行分类回归。
进一步地，所述对原始的YOLOv3特征提取网络进行裁剪，得到裁剪后的特征提取网络，具体包括以下步骤：
步骤1.1、输入图像重新调整大小为416×416；
步骤1.2、使用16×3×3的卷积核对输入图像进行卷积操作，卷积步长为1，其中第一位数字16表示卷积核通道数，后两位数字3×3表示卷积核大小，每一次的卷积过程如下所示，首先对图像进行特征提取，然后进行归一化和激活操作；
给定一个输入图像X＝Rn×n，和卷积核K＝Rk×k，k<<n，其中n×n表示输入图像大小，k×k表示卷积核大小，R为实数集；卷积操作如下式所示，yij表示卷积输出图在下标值i,j处的像素值，wuv表示对应的卷积核中在下标值u,v处的像素值，xi-u+1,j-v+1表示输入图像X在i-u+1,j-v+1处的像素值：
Figure BDA0002556215780000031
对于第l层净输入y(l)，其标准归一化如下式所示，其中E(y(l))和var(y(l))是指当前参数下y(l)的每一维在整个训练集上的期望和方差，
Figure BDA0002556215780000032
为第l层归一化后的输出：
Figure BDA0002556215780000033
激活函数采用Leaky ReLU函数，公式如下所示，x表示输入，a取很小的正实数，在本发明中a＝0.01：
Figure BDA0002556215780000041
步骤1.3、使用32×3×3的卷积核对上一层输出特征图进行降采样，卷积步长为2；
步骤1.4、使用16×1×1和32×3×3的卷积核组成一个卷积残差模块相继对上层输出特征图进行特征提取，卷积步长为1；在卷积残差模块中，假设输入为x，期望输出为H(x)，首先使用通道数为n的1×1卷积核对输入x进行降维处理，然后再使用通道数为2n的3×3卷积核对输入进行特征提取，最后直接把输入x传到输出作为初始结果，此时期望学习目标为F(x)＝H(x)-x；
步骤1.5、使用64×3×3的卷积核对上一层输出特征图进行降采样，卷积步长为2；
步骤1.6、使用2组由32×1×1和64×3×3的卷积核组成一个卷积残差模块相继对上层输出特征图进行特征提取，卷积步长为1；
步骤1.7、使用128×3×3的卷积核对上一层输出特征图进行降采样，卷积步长为2；
步骤1.8、使用8组由64×1×1和128×3×3的卷积核组成一个卷积残差模块相继对上层输出特征图进行特征提取，卷积步长为1；
步骤1.9、使用256×3×3的卷积核对上一层输出特征图进行降采样，卷积步长为2；
步骤1.10、使用8组由128×1×1和256×3×3的卷积核组成一个卷积残差模块相继对上层输出特征图进行特征提取，卷积步长为1；
步骤1.11、使用512×3×3的卷积核对上一层输出特征图进行降采样，卷积步长为2；
步骤1.12、使用4组由256×1×1和512×3×3的卷积核组成一个卷积残差模块相继对上层输出特征图进行特征提取，卷积步长为1。
进一步地，所述基于裁剪后的特征提取网络，在YOLO预测层使用不同大小的特征图进行特征融合，使深层特征图与浅层特征图相融合；最后，在网络输出中添加一个YOLO预测层，由4个YOLO预测层对图像中出现的行人进行分类回归，具体包括以下步骤：
步骤2.1、将最后一层特征图进行连续卷积操作，提取特征图，然后输入YOLO预测层进行分类回归；
步骤2.2、将特征提取网络最后一层特征图进行2倍上采样，然后与第五次下采样层前一层特征图进行concat特征融合，最后将融合后的特征图进行连续卷积操作，输入YOLO预测层进行分类回归；其中上采样使用的为最邻近插值算法，concat特征融合如下式所示：
假设两路输入的通道分别为C1×W×H和C2×W×H，C为输入通道数，W、H分别是特征图宽度和高度，那么concat特征融合的输出Zconcat为：
Zconcat＝(C1+C2)×W×H
步骤2.3、首先将步骤2.2中融合后的特征图进行2倍上采样，与第四次下采样层前一层特征图进行concat融合，然后将融合后的特征图与步骤2.1中输出的特征图进行4倍上采样后再进行concat融合，最后输入YOLO检测层进行分类回归；
步骤2.4、首先将步骤2.3中融合后的特征图进行2倍上采样，与第三次下采样层前一层特征图进行concat融合，然后将融合后的特征图与步骤2.2中输出的特征图进行4倍上采样后再进行concat融合，最后输入YOLO检测层进行分类回归。
下面结合附图和具体实施例，对本发明做进一步详细说明。
结合图1，改进YOLO v3网络主要分为特征提取模块和行人检测模块。其中特征提取模块继承了传统YOLO v3网络架构，但是在网络宽度方面有明显的减少，这是因为传统的YOLO v3算法检测包括行人在内的80类目标，而本发明设计的检测算法只是针对于行人检测，所以有必要合理地减少多余的卷积通道。卷积通道数如图1，残差网络模块如图2。在合理的减少卷积通道后，网络模型参数明显减少，检测速度明显提高。在行人检测模块，相比较于传统的YOLO v3网络结构，针对于行人形态、尺度、遮挡等问题，改进后的YOLO v3路多加了一层预测通道，同时将高层特征图的语义信息与低层特征图的细节信息充分融合，从而提升算法的行人检测精度。
图3为网络检测流程图，详细介绍了网络的整体架构以及网络训练过程，对于算法中的特征提取网络包括训练参数的初始化以及数据预处理等；对于算法中的行人检测网络主要包括网络损失函数设计以及置信度阈值的选取等。具体训练步骤如下：
步骤1、训练参数的初始化，包括网络超参、训练参数、网络输入图片大小、最大迭代次数、学习率、曝光度等；
步骤2、训练数据预处理，包括改变训练图像输入大小、增加噪声，改变色调、色彩、饱和度等；
步骤3、模型训练，将处理过的训练数据以及标签输入图1网络，直到损失函数收敛停止训练；
步骤4、保存网络训练的最新权重文件；
具体而言，步骤3模型训练的损失函数主要包括三部分：坐标误差、分类误差以及置信度误差。其中坐标损失如下式所示：
Figure BDA0002556215780000061
坐标损失包含目标框坐标(x,y,w,h)和预测框坐标
Figure BDA0002556215780000062
四个元素的均方和误差，其中
Figure BDA0002556215780000063
表示各自预测框中是否存在待检测的物体，和IOU值大小有关系。s2为网络输入图片划分网格个数，B为每个网格产生候选框(anchor box)个数。
分类误差公式如下所示：
Figure BDA0002556215780000064
分类损失选择交叉熵作为损失函数，它表示网络预测的某一单元格属于分类C的概率
Figure BDA0002556215780000065
与该单元格标注的分类概率Pi j(c)的误差，在本发明中分类C的概率即是检测目标为行人的概率。
置信度误差公式如下所示：
Figure BDA0002556215780000066
置信度损失也是使用交叉熵来表示，参数置信度
Figure BDA0002556215780000067
表示负责预测某个目标的真实值，它是由所有候选框(anchor box)与标注框(ground bounding box)的IOU值确定,当IOU值最大时为1，否则为0。λnoobj为不存在检测目标时损失函数的权重系数。
图4为IOU计算示意图，在步骤3中的坐标误差损失使用IOU计算得到，中其中IOU计算公式如下式：
Figure BDA0002556215780000068
上式中，pbox为行人检测预测框，gbox为行人标注框。
最终的损失函数为三部分损失之和，如下式所示：
Figure BDA0002556215780000071
图3为检测流程图，在训练好网络权重后，可以使用检测流程图中的步骤来对网络模型性能进行评价，其中行人检测步骤如下：
步骤1输入待检测图片；
步骤2用训练好的权重文件初始化网络权重参数；
步骤3对输入图片进行分类和回归，检测出图片中可能含有行人目标的地方，并给出包含行人区域以及置信度大小；
步骤4对给出的检测区域执行置信度非最大抑制处理，输出最终的行人目标坐标以及置信度大小；
检测精度(Average Precision)是在目标检测领域常用的一个评价指标，如下式所示。其中TP表示正确正样本，即True Positives，正样本被准确鉴定为正样本，在目标检测中表达被准确识别的目标；FP表示错误正样本，即False Positives，负样本被失误鉴定为正样本，在目标检测中表达图片背景被错误识别为目标。
Figure BDA0002556215780000072
同时，本发明在比较检测精度的同时，也将检测速率作为评价算法好坏的一个指标。
实施例
为了进一步验证本发明方法的有效性，本实施例分别与原始YOLO v3、Faster-RCNN、DeepParts在公开数据集KITTI上做了比较,单张图片检测运行结果如图5和图6所示。
从图5看出，在输入相同简单样本图源时，各种算法基本都能检测出图片中的行人。其中图5(a)、(b)、(c)、(d)分别为本发明方法、原始YOLO v3方法、Faster-RCNN方法、DeepParts方法检测效果图。但是从图6可以看出，在输入相同复杂样本图源时，观察其中的行人检测细节，就可以发现本发明方法的优越性。其中图6(a)、(b)、(c)、(d)分别为本发明方法、原始YOLO v3方法、Faster-RCNN方法、DeepParts方法检测效果图。相较于图6(b)、(c)、(d)图，图6(a)几乎检测出所有的行人。
本发明在检测精度和速度方面也分别与原始YOLO v3、Faster-RCNN、DeepParts在公开数据集KITTI上做了比较，本发明用mAP(mean Average Precision)和FPS((FramesPer Second)评价目标检测网络性能，本发明只针对行人一个对象，只需要计算行人的AP。实验在GeForce GTX 1060(6G)显卡上测试，各种算法实验对比结果如表1所示：
表1各种算法实验结果对比图
Figure BDA0002556215780000081
通过表1可以看出，相比较于本发明中提到的其他算法，本算法在检测精度和速度上均有更好的效果。综上所述，本发明改进后的YOLO v3行人检测算法不仅在小幅度提高检测精度的同时，而且大大的提高了算法的检测速度。解决了YOLO v3算法在行人检测方面实时性不足的问题。

Claims (4)

1.一种基于改进YOLOv3算法的行人检测系统，其特征在于，包括特征提取模块和行人检测模块，其中：
所述特征提取模块，使用不同大小的卷积核对输入图像进行特征提取，在每一次下采样的同时增大卷积通道数以获取更多的特征信息，同时在卷积过程中设置快捷链路层组成残差模块，在每个卷积层中包括正则化和激活操作；
所述行人检测模块，用于图像特征融合，使深层特征图与浅层特征图相融合，融合后的特征图再反向融合上一层网络特征图；在特征融合的基础上构建多尺度预测网络结构，增加一个带有3个anchor的YOLO预测层，由4个YOLO预测层对图像中出现的行人进行分类回归。
2.一种基于改进YOLOv3算法的行人检测方法，其特征在于，步骤如下：
首先，对原始的YOLOv3特征提取网络进行裁剪，得到裁剪后的特征提取网络；
然后，基于裁剪后的特征提取网络，在YOLO预测层使用不同大小的特征图进行特征融合，使深层特征图与浅层特征图相融合；
最后，在网络输出中添加一个YOLO预测层，由4个YOLO预测层对图像中出现的行人进行分类回归。
3.根据权利要求2所述的基于改进YOLOv3算法的行人检测方法，其特征在于，所述对原始的YOLOv3特征提取网络进行裁剪，得到裁剪后的特征提取网络，具体包括以下步骤：
步骤1.1、输入图像重新调整大小为416×416；
步骤1.2、使用16×3×3的卷积核对输入图像进行卷积操作，卷积步长为1，其中第一位数字16表示卷积核通道数，后两位数字3×3表示卷积核大小，每一次的卷积过程如下所示，首先对图像进行特征提取，然后进行归一化和激活操作；
给定一个输入图像X＝Rn×n，和卷积核K＝Rk×k，k<<n，其中n×n表示输入图像大小，k×k表示卷积核大小，R为实数集；卷积操作如下式所示，yij表示卷积输出图在下标值i,j处的像素值，wuv表示对应的卷积核中在下标值u,v处的像素值，xi-u+1,j-v+1表示输入图像X在i-u+1,j-v+1处的像素值：
Figure FDA0002556215770000011
对于第l层净输入y(l)，其标准归一化如下式所示，其中E(y(l))和var(y(l))是指当前参数下y(l)的每一维在整个训练集上的期望和方差，
Figure FDA0002556215770000021
为第l层归一化后的输出：
Figure FDA0002556215770000022
激活函数采用Leaky ReLU函数，公式如下所示，x表示输入，a取很小的正实数：
Figure FDA0002556215770000023
步骤1.3、使用32×3×3的卷积核对上一层输出特征图进行降采样，卷积步长为2；
步骤1.4、使用16×1×1和32×3×3的卷积核组成一个卷积残差模块相继对上层输出特征图进行特征提取，卷积步长为1；在卷积残差模块中，假设输入为x，期望输出为H(x)，首先使用通道数为n的1×1卷积核对输入x进行降维处理，然后再使用通道数为2n的3×3卷积核对输入进行特征提取，最后直接把输入x传到输出作为初始结果，此时期望学习目标为F(x)＝H(x)-x；
步骤1.5、使用64×3×3的卷积核对上一层输出特征图进行降采样，卷积步长为2；
步骤1.6、使用2组由32×1×1和64×3×3的卷积核组成一个卷积残差模块相继对上层输出特征图进行特征提取，卷积步长为1；
步骤1.7、使用128×3×3的卷积核对上一层输出特征图进行降采样，卷积步长为2；
步骤1.8、使用8组由64×1×1和128×3×3的卷积核组成一个卷积残差模块相继对上层输出特征图进行特征提取，卷积步长为1；
步骤1.9、使用256×3×3的卷积核对上一层输出特征图进行降采样，卷积步长为2；
步骤1.10、使用8组由128×1×1和256×3×3的卷积核组成一个卷积残差模块相继对上层输出特征图进行特征提取，卷积步长为1；
步骤1.11、使用512×3×3的卷积核对上一层输出特征图进行降采样，卷积步长为2；
步骤1.12、使用4组由256×1×1和512×3×3的卷积核组成一个卷积残差模块相继对上层输出特征图进行特征提取，卷积步长为1。
4.根据权利要求2所述的基于改进YOLOv3算法的行人检测方法，其特征在于，所述基于裁剪后的特征提取网络，在YOLO预测层使用不同大小的特征图进行特征融合，使深层特征图与浅层特征图相融合；最后，在网络输出中添加一个YOLO预测层，由4个YOLO预测层对图像中出现的行人进行分类回归，具体包括以下步骤：
步骤2.1、将最后一层特征图进行连续卷积操作，提取特征图，然后输入YOLO预测层进行分类回归；
步骤2.2、将特征提取网络最后一层特征图进行2倍上采样，然后与第五次下采样层前一层特征图进行concat特征融合，最后将融合后的特征图进行连续卷积操作，输入YOLO预测层进行分类回归；其中上采样使用的为最邻近插值算法，concat特征融合如下式所示：
假设两路输入的通道分别为C1×W×H和C2×W×H，C为输入通道数，W、H分别是特征图宽度和高度，那么concat特征融合的输出Zconcat为：
Zconcat＝(C1+C2)×W×H
步骤2.3、首先将步骤2.2中融合后的特征图进行2倍上采样，与第四次下采样层前一层特征图进行concat融合，然后将融合后的特征图与步骤2.1中输出的特征图进行4倍上采样后再进行concat融合，最后输入YOLO检测层进行分类回归；
步骤2.4、首先将步骤2.3中融合后的特征图进行2倍上采样，与第三次下采样层前一层特征图进行concat融合，然后将融合后的特征图与步骤2.2中输出的特征图进行4倍上采样后再进行concat融合，最后输入YOLO检测层进行分类回归。
CN202010591050.7A 2020-06-24 2020-06-24 一种基于改进YOLOv3算法的行人检测系统及方法 Active CN111898432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010591050.7A CN111898432B (zh) 2020-06-24 2020-06-24 一种基于改进YOLOv3算法的行人检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010591050.7A CN111898432B (zh) 2020-06-24 2020-06-24 一种基于改进YOLOv3算法的行人检测系统及方法

Publications (2)

Publication Number Publication Date
CN111898432A true CN111898432A (zh) 2020-11-06
CN111898432B CN111898432B (zh) 2022-10-14

Family

ID=73207846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010591050.7A Active CN111898432B (zh) 2020-06-24 2020-06-24 一种基于改进YOLOv3算法的行人检测系统及方法

Country Status (1)

Country Link
CN (1) CN111898432B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215208A (zh) * 2020-11-10 2021-01-12 中国人民解放军战略支援部队信息工程大学 基于改进YOLOv4的遥感影像桥梁目标检测算法
CN112507861A (zh) * 2020-12-04 2021-03-16 江苏科技大学 一种多层卷积特征融合的行人检测方法
CN112906497A (zh) * 2021-01-29 2021-06-04 中国海洋大学 一种基于嵌入式的安全帽检测方法和设备
CN112949500A (zh) * 2021-03-04 2021-06-11 北京联合大学 一种基于空间特征编码改进的YOLOv3车道线检测方法
WO2022120901A1 (zh) * 2020-12-09 2022-06-16 中国科学院深圳先进技术研究院 基于特征金字塔的图像检测模型的训练方法、介质和设备
CN114882560A (zh) * 2022-05-10 2022-08-09 福州大学 一种基于轻量级人像检测的图像智能裁剪方法
CN117520475A (zh) * 2023-12-29 2024-02-06 四川互慧软件有限公司 一种护理知识库的构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN109800628A (zh) * 2018-12-04 2019-05-24 华南理工大学 一种加强ssd小目标行人检测性能的网络结构及检测方法
KR20190100519A (ko) * 2018-02-07 2019-08-29 계명대학교 산학협력단 심층신경망 및 돌출 맵을 이용한 야간 보행자 검출 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
KR20190100519A (ko) * 2018-02-07 2019-08-29 계명대학교 산학협력단 심층신경망 및 돌출 맵을 이용한 야간 보행자 검출 방법 및 장치
CN109800628A (zh) * 2018-12-04 2019-05-24 华南理工大学 一种加强ssd小目标行人检测性能的网络结构及检测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215208A (zh) * 2020-11-10 2021-01-12 中国人民解放军战略支援部队信息工程大学 基于改进YOLOv4的遥感影像桥梁目标检测算法
CN112507861A (zh) * 2020-12-04 2021-03-16 江苏科技大学 一种多层卷积特征融合的行人检测方法
WO2022120901A1 (zh) * 2020-12-09 2022-06-16 中国科学院深圳先进技术研究院 基于特征金字塔的图像检测模型的训练方法、介质和设备
CN112906497A (zh) * 2021-01-29 2021-06-04 中国海洋大学 一种基于嵌入式的安全帽检测方法和设备
CN112949500A (zh) * 2021-03-04 2021-06-11 北京联合大学 一种基于空间特征编码改进的YOLOv3车道线检测方法
CN114882560A (zh) * 2022-05-10 2022-08-09 福州大学 一种基于轻量级人像检测的图像智能裁剪方法
CN117520475A (zh) * 2023-12-29 2024-02-06 四川互慧软件有限公司 一种护理知识库的构建方法
CN117520475B (zh) * 2023-12-29 2024-03-19 四川互慧软件有限公司 一种护理知识库的构建方法

Also Published As

Publication number Publication date
CN111898432B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN111401293B (zh) 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法
Chen et al. Research on recognition of fly species based on improved RetinaNet and CBAM
CN111612008A (zh) 基于卷积网络的图像分割方法
CN110610210B (zh) 一种多目标检测方法
CN114758288A (zh) 一种配电网工程安全管控检测方法及装置
CN109165658B (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN114202743A (zh) 自动驾驶场景下基于改进faster-RCNN的小目标检测方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111353544A (zh) 一种基于改进的Mixed Pooling-YOLOV3目标检测方法
CN112733942A (zh) 一种基于多级特征自适应融合的变尺度目标检测方法
CN116721414A (zh) 一种医学图像细胞分割与跟踪方法
CN115171074A (zh) 一种基于多尺度yolo算法的车辆目标识别方法
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN115731517B (zh) 一种基于Crowd-RetinaNet网络的拥挤人群检测方法
CN112418358A (zh) 一种强化深度融合网络的车辆多属性分类方法
CN117079095A (zh) 基于深度学习的高空抛物检测方法、系统、介质和设备
Cai et al. Vehicle detection based on visual saliency and deep sparse convolution hierarchical model
WO2022126367A1 (en) Sequence processing for a dataset with frame dropping
CN114332754A (zh) 基于多度量检测器的Cascade R-CNN行人检测方法
CN115424250A (zh) 一种车牌识别方法及装置
CN112396126A (zh) 一种基于检测主干与局部特征优化的目标检测方法及系统
CN112364892B (zh) 一种基于动态模型的图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Li Jun

Inventor after: Wang Maoqi

Inventor after: Li Hao

Inventor after: Xu Kangmin

Inventor after: Cheng Guanghao

Inventor before: Li Jun

Inventor before: Wang Mao

Inventor before: Li Hao

Inventor before: Xu Kangmin

Inventor before: Cheng Guanghao

GR01 Patent grant
GR01 Patent grant