CN113989939B - 一种基于改进yolo算法的小目标行人检测系统 - Google Patents

Abstract

本发明为一种基于改进YOLO算法的小目标行人检测系统，包括：Jetson Nano嵌入式开发板，建立行人检测数据集，对数据集标签中的真实目标框进行k‑means++聚类分析，得到K种不同的先验框尺寸；构建改进的YOLOv4模型，以YOLOv4 Neck层结构为基础，将原特征金字塔中的五次卷积模块所在位置分别用一个Dense Net模块进行替换；所述Dense Net模块均包括两个DCBL模块，输入特征经非线性变化依次连接两个DCBL模块，同时输入特征再分别跳跃连接两个DCBL模块的输出，第一个DCBL模块的输出也跳跃连接至第二个DCBL模块的输出；每个DCBL模块的结构为BN‑Relu‑1×1卷积块‑BN‑Relu‑3×3卷积块。满足移动端低成本的部署要求，在不同光照条件下均能得到准确率85％以上，检测帧率30fps以上的要求。

Description

一种基于改进YOLO算法的小目标行人检测系统

技术领域

本发明涉及行人检测或者图像处理技术领域，特别是一种基于改进YOLO算法的小目标行人检测系统。

背景技术

作为计算机视觉重要研究领域之一，行人检测在智能视频监控、智能机器人、车辆辅助驾驶和数据交易等方面的应用十分广泛。使用深度卷积来构建目标检测网络，给行人检测领域带来了深远影响。RCNN及其改进系列模型在候选建议框的基础上对框进行分类和回归，对提高精确度帮助很大，但检测速度降低。SSD和YOLO系列等一阶段算法，同时完成目标分类和定位任务，极大地提升了检测速度，但在部署和精度方面依然存在一定的问题。

目前对于矿区重型卡车的盲区、建筑环境下吊车等移动端的实时行人检测方面的多目标行人检测方面还存在不足：1)由于识别环境中小尺度行人占据较大比例，行人的姿态不同且背景的复杂程度等这些因素皆会对小目标行人检测算法的准确度带来影响；2)且由于深度学习模型普遍具有复杂的结构，与此同时，带来大量的参数，在实时行人检测中，不能够较好的满足所需要求，模型参数大，对于高准确率的实时行人检测存在困难。因此如何能实现在移动端的有效部署，且能保证准确率和实效性是本工作的关键难点。

发明内容

本发明的目的在于，提供一种能够提高检测速度与精度，实现移动端硬件部署的基于改进YOLOv4算法的行人检测系统。

为实现上述目的，本发明的技术方案是：

一种基于改进YOLO算法的小目标行人检测系统，包括：Jetson Nano嵌入式开发板，

建立行人检测数据集，对数据集标签中的真实目标框进行k-means++聚类分析，得到K种不同的先验框尺寸；

构建改进的YOLOv4模型，以YOLOv4 Neck层结构为基础，将原特征金字塔中的五次卷积模块所在位置分别用一个Dense Net模块进行替换；

所述Dense Net模块均包括两个DCBL模块，输入特征经非线性变化依次连接两个DCBL模块，同时输入特征再分别跳跃连接两个DCBL模块的输出，第一个DCBL模块的输出也跳跃连接至第二个DCBL模块的输出；每个DCBL模块的结构为BN-Relu-1×1卷积块-BN-Relu-3×3卷积块；

改进的YOLOv4模型利用K-Means++聚类分析得到的先验框尺寸替换模型原有先验框尺寸进行训练，将训练好的改进的YOLOv4模型部署在Jetson Nano嵌入式开发板上，用于移动端进行行人进行检测。

进一步地，所述将Jetson Nano嵌入式开发板的系统外接具有SATA3接口的SSD固态硬盘上，同时设置4G的swap(交换空间)分区实现高速缓存；Jetson nano资源有限，做视频目标检测和跟踪功耗方式更改为10W模式，即MAXIN功耗模式，避免出现运行时卡顿甚至死机现象，Jetson Nano嵌入式开发板的GPU为NVIDIA Maxwel1架构，配备128个NVIDIACUDA核心，CPU至少为四核ARM Cortex-A57 MPCore处理器。

进一步地，将上述部署好训练后的改进的YOLOv4模型的Jetson Nano硬件移动端，安装于汽车设备上，检测帧率达到30fps以上，且在不同光照条件下准确率达到85％以上。

将Dense Net模块部署在YOLOV4模型的Neck部分的输出端，原YOLOV4Neck部分的输出端为3个CBL*5的普通卷积块，如图1。由于这种连接方式，使得YOLOV4模型在训练困难，同时丢失大量的特征信息。因此将CBL*5的普通卷积块替换为Dense Net模块，如图2所示。

Dense Net模块主要由DCBL模块以前馈的方式将每一层与其他每一层连接起来。在传统的卷积神经网络中，如果你有L层，那么就会有L个连接，但是在Dense Net模块中，每一层的输入来自前面所有层的输出，会有个连接。在每一个密集连接层中，层与层之间级联了三个必要操作，分别是进行归一标准化，调用激活函数，进行卷积计算，如下公式：

H_l＝BN+Relu+Conv(3×3) (2)

式中BN归一化，Relu为激活函数，Conv(3×3)为3×3的卷积块。为了避免DenseNet模块中参数量过大，本申请在结构中增加了1×1卷积块，经过改善后的非线性变换变为以下公式，来降低运算过程中产生的参数。

H_l＝BN+Relu+Conv(1×1)+BN+Relu+Conv(3×3) (3)

归一化,激活函数和卷积构成了CBL模块，两个CBL模块构成Double-CBL(DCBL)模块。第i层的输入不仅与i-1层的输出相关,还有所有之前层的输出有关.记作

X_L＝H_L([X₀,X₁,...,X_L-1]) (4)

其中[]代表concatenation(拼接),既将X₀到X_L-1层的所有输出feature map按Channel组合在一起.这里所用到的非线性变换H为BN+ReLU+Conv(3×3)的组合。

与现有技术相比，本发明的有益效果是：

本发明系统能够用于矿区重型卡车的盲区、建筑环境下吊车的实时行人检测中，满足移动端低成本的部署要求，在不同光照条件下均能得到准确率85％以上，检测帧率30fps以上的要求。且本发明系统可以同时多个目标，本实施例中最多可以同时检测76×76个目标，对于光照条件不好、较小的目标行人也能很好地检测出来。较小的目标行人指行人所占输入图像的比例明显较小，不易发现。

通过实验结果可知对于加入Dense Net模块，可以明显的提高模型网络的精确度和召回率。实验前后对比可知改进后的精确率提高了4.3％，召回率提高了7.46％，相比原模型，由于加入Dense Net模块，更好地利用了特征信息，并提高了信息在层之间的传递，加强了模型对行人图像中尺寸较小的行人目标的特征提取，改进后的ap值同时提高了8.6％。

图5为在验证集上的运行结果，从结果图中可以看出，测试结果显示模型将所有的目标都识别出来，识别率为100％，而且预测框正确地框住目标，尤其是远的小目标，相距很近也正确地框住，未发生较大偏移。同时显示模型在目标定位上得到了一定的改善，而且图8中的目标有被障碍物遮挡，模型仍能较好的将行人目标识别出。

此外，通过改进后的模型测试不同复杂场景下改进后的网络对于行人的目标检测效果。对光照强度不同、小目标较多的检测结果进行了实验和分析，可见在阴影、光照不足且目标与周围背景相似的情况下如图6，和道路强光、背景建筑物有所反光情况如图7，本发明系统仍有较好的检出结果，证明了改进的YOLOv4模型对光照变化有较强的适应能力。图8展示了改进后的网络模型在具有较多小目标环境下的测试结果，同时图9展示了小目标在不同光照环境下的测试结果，通过实验结果可知，改进后的网络模型能够较为准确的检出多个不同光照环境的小目标。

附图说明

图1为原YOLOV4 Neck层结构的结构示意图；

图2为本发明中改进的YOLOV4 Neck层结构的示意图；

图3本发明中Dense Net模块的整体结构示意图；

图4本发明中Dense Net模块中DCBL模块的流程结构图；

图5本发明改进前后验证集显示结果。

图6本发明系统在阴影、光照不足且目标与周围背景相似的情况下的检测结果图；

图7为本发明系统在道路强光、背景建筑物有所反光情况的检测结果图；

图8为本发明系统改进的网络模型在具有较多小目标环境下的测试结果图；

图9为本发明系统展示了小目标在不同光照环境下的测试结果；

图10为训练时的Jetson Nano硬件平台实物图。

具体实施方式

以下结合附图对本发明实施例作进一步详述。

本发明基于改进YOLO算法的小目标行人检测系统，包括内容：

由于本申请以yolov4模型为基础，模型复杂度足够，不同于其他轻量化行人识别模型，对信息特征值提取不够充分，对各种环境下的小目标行人识别精度不足，同时本申请还加入了Dense Net模块，进一步提升了小目标的特征值提取，从而使得行人检测精度在原模型的基础上进一步提升。在传统模型中，例如Faster R-CNN和YOLO，由于计算资源有限和功率预算紧张，这些网络的规模使其难以部署在嵌入式移动设备上。本申请在加入DenseNet模块的同时，还加入1×1的卷积块，这样使得模型在不影响精度的前提下，大量减少模型参数，同时可以将模型部署在Jetson Nano硬件平台。

在Jetson Nano中采用Zram仅仅能在内存中操作swap，实际上约束了可以使用的swap空间，并且Jetson nano底层硬件没有内置高速存储器，只能借助SD卡实现高速缓存，但是SD卡的读写速度和存储容量较受限的。一般而言，Micro SD存储容量小，并且对于小文件的读写速度慢。由于需要用Jetson Nano的usb摄像头设备实时抓取视频采集数据，Jetson Nano硬盘的存储空间和IO的读写速度都将会是行人检测跟踪系统的最大瓶颈。所以改变Jetson Nano的存储方式是十分必要的。移植系统至外接的SATA3接口的SSD固态硬盘上，以增加存储容量和设置4G的swap(交换空间)分区实现高速缓存。修改swap，更改成4G的swap，此时的交换空间不用设置得很大，因为当用到的内存容量超过物理内存上限的时候，系统仍然会杀掉程序。

Jetson Nano嵌入式平台在持续运行程序时，整体完全依赖自带的静态散热进行散热，所也散热问题也是当时模型部署时遇到的问题，通过A0、CPU、GPU、PLL和thremal的参数，可看出开机时各资源温度正常，启动YOLOv4目标跟踪大约十分钟后系统温度急剧上升，硬件设备提示过热。Jetson nano资源有限，做视频目标检测和跟踪功耗方式更改为10W模式，即MAXIN功耗模式，否则会出现运行时卡顿甚至死机。即：sudo/usr/sbin/nvpmodel-m0设置为10W模式。

具体检测步骤是：

步骤1、Jetson Nano硬件平台包括Jetson Nano嵌入式开发板、图像采集模块和显示模块，显示模块采用HDMI显示屏，用于显示、输入设备运行过程中的进度参数等，鼠标键盘为外部输入设备，用于训练阶段使用，后期训练完成后，不需要使用；Jetson Nano嵌入式开发板、图像采集模块和显示模块集成在一个移动端内，直接用于测试或实际使用。

图像采集模块用于采集不同复杂场景下(包括不同光照、不同环境、不同角度的包含多目标行人图像)的行人图像，并在行人图像中标注行人的真实目标框，制作数据集，将数据集划分为训练集、验证集和测试集，分别用于模型的训练和测试；

本实施例中数据集的获取可以从公开数据集CUHK03数据集中提取其中的行人图像，以训练集:测试集为2:1的比例选取训练样本。

步骤2、对数据集标签中的真实目标框进行k-means++聚类分析，分别得到9种不同的先验框尺寸，得到新尺寸的先验框用在之后对物体定位，将新的先验框anchors值替换改进的YOLOv4模型中自带的先验框尺寸参数，改进的YOLOv4模型的输入为公开数据集中的图像或图像采集模块采集的图像；

其中聚类方法中距离公式定义如下：

d(box,cen)＝1-IOU(box,cen) (9)

box为矩形框的大小，cen为矩形框的中心，IOU表示两个矩形框的交并比。通过聚类最终选取的9个Anchor如表1所示：

表1基于K-mean++聚类的先验框尺寸

具体为：

(1)首先设定K值为9，然后在设定区域随机选取一个点作为第一个聚类中心，所述设定区域为数据集图片中有行人的区域，即提前设定好的框标签坐标范围，

(2)然后计算设定区域内每一个点与第一步选取的聚类中心点的最短距离D，计算出的距离值越大，则被选为聚类中心的概率值P也越大，

之后通过轮盘赌法依据概率大小进行抽选，进而选出下一个聚类中心；

(3)使用K-Means++，初始K个聚类中心点一个一个选，而不是所有的K个聚类中心点一起选出来，再次反复循环操作(2)，直至将K个聚类中心全部确定为止，使用K-Means++算法对前面已选出聚类中心进行聚类。K-Means++选取聚类中心的过程大大减小聚类结果对K值的依赖性，并且使初始的聚类中心之间距离尽可能地远，有效地解决K-Means的缺陷。

YOLOv4利用K-Means++聚类分析获取Anchor Box，在聚类过程中K值容易确定，定位准确，降低误差，因此能够选择到合适的K个聚类中心。

步骤3、设计Dense Net模块，并将Dense Net模块与原特征金字塔中的五次卷积模块进行替换，得到改进的YOLOv4模型；

设计Dense Net模块整体的构成如图3所示，每个Dense Net模块包括两个DCBL模块，输入特征经非线性变化依次连接两个DCBL模块，同时输入特征再分别跳跃连接两个DCBL模块的输出，第一个DCBL模块的输出也跳跃连接至第二个DCBL模块的输出；一个卷积、归一化和激活函数构成一个CBL模块，两个CBL模块构成Double-CBL(DCBL)模块，也就是密集连接层，DCBL模块中每个DCBL模块的结构为BN-Relu-1×1卷积块-BN-Relu-3×3卷积块，在Dense Net模块中的每个DCBL模块引入了1×1卷积块，能够避免Dense Net模块中参数量过大的问题。图中X0、X1、X2表示相应位置的输出特征图；H1、H2表示非线性变换。优化后完整YOLO网络结构如图2所示，其中虚线框部分为修改的Dense Net模块，将图1中CBL*5模块作为替换。

表2 DenseNet1模块

表3 DenseNet2模块

表4 DenseNet3结构

对于BN归一化处理(Batch Normalization)，具体步骤及操作为：

输入：批处理输入x：β＝{x₁...,m}

输出：规范化后的网络响应{y_i＝BN_γ，β(x_i)}

1:

2:

3:

4:

式中μ_β经验平均值，评估整个小批量B，σ_β是经验标准方差，评估整个小批量，m是小批量的实数例，零中心化和归一化输入，γ是层缩放参数，β是层移动参数，ε是一个小的数字，为了避免除以0，也称为平滑项，yi是BN操作的输出：它是输入的缩放和移动。公式(5)为计算批处理数据均值，公式(6)为计算批处理数据方差，公式(7)为规范化处理，公式(8)为变换尺寸和偏移。

使用Dense Net模块代替Neck颈部中特征金字塔中的五次卷积模块，不仅有效减轻了梯度消失问题，而且DenseNet模块通过Concatenate特征来实现短路连接，很好的将特征图连接在通道维度上，避免特征信息的丢失，从而实现了特征复用(feature reuse)，更好地利用了特征信息，并提高了信息在层之间的传递，加强了模型对行人图像中尺寸较小的行人目标的特征提取。此外，Dense Net具有正则化效果，从而减少了过拟合的问题。在检测网络阶段，使用三个Dense Net模块来分别代替特征金字塔中的三个五次卷积层模块。

为了验证与评价改进的YOLOv4模型的训练优化效果，选取常用的精确率(Precision)、召回率(Recall)、精准度均值(Average Precision，mAP)以及F1 score作为指标评价。

精确率计算公式如式(10)：

召回率(Recall)计算公式如式(11)：

F1的计算公式如式(12)所示：

综上所述，表5为不同模型的指标对比

表5不同模型的指标对比

将训练好的改进的YOLOv4模型部署到Jetson Nano硬件平台上，在这个设备上运行，放在汽车上，兼容性好。硬件平台主要分为Jetson Nano嵌入式平台模块、图像采集模块和显示模块。具体参数配置表6。表6为最低的设备性能要求，本发明的模型能在JetsonNano硬件平台部署，便于携带，整体集成在可移动小盒子中，能在有限的移动环境中安装使用，实时性及准确性高。

表6 Jetson Nano硬件平台参数表

本发明系统能够用于矿区重型卡车的盲区、建筑环境下吊车的实时行人检测中，满足移动端低成本的部署要求，申请人为获得本发明的系统结构进行了大量的实验探索，主要在以下两个方面进行研究，如下：

(1)对于小目标行人检测精度不够的问题：

由于识别环境中小尺度行人占据较大比例，行人的姿态不同且背景的复杂程度等这些因素皆会对小目标行人检测算法的准确度带来影响，本申请通过不同的方式进行解决：

1尝试了一种SSD算法的小目标场景检测算法，在SSD算法的网络结构基础上，同时将原特征网络VggNet16替换成网络层数更深的ResNet50，加深网络结构提高整体网络性能，结果表明，该网络的检测精度与速度都不具有很好的表现，且不能实现多尺度目标检测。

2尝试将ResNet模块部署在YOLOV4模型的Neck部分的输出端，原YOLOV4Neck部分的输出端为3个CBL*5的普通卷积块，结果表明，该方法检测帧率达到13.51fps，具有一定程度的实时性，但该网络的检测精度只有78.6％,准确率达不到一定要求。

3使用Dense Net模块部署在YOLOV4模型的Neck部分的输出端，原YOLOV4Neck部分的输出端为3个CBL*5的普通卷积块，与ResNet模块对比后结果表明，该方法检测帧率达到26.11fps，准确率达到89.97％，具有明显提升，具有可靠的准确性和一定程度的实时性，但实时性还有待提高。

(2)模型参数较大，对于高准确率的实时行人检测存在困难。

由于深度学习模型普遍具有复杂的结构，与此同时，带来大量的参数，在实时行人检测中，不能够较好的满足所需要求，本申请通过以下不同的方式进行解决：

1.尝试使用一种轻量化的YOLOV4-Tiny卷积神经网络行人识别方法，网络模型参数减少61％，实时检测性也有所提高，检测帧率达到31.72fps。但同时带来了下列问题，在光照环境较弱(阴天或下雨天)、检测环境同时具有多个行人目标时，该方法不能够满足上述要求。

2使用更高算力的检测设备，虽然可以满足复杂模型的实时检测，但由于设备体积较大，且成本高昂，在很多环境下无法进行设备部署，也就不能实现移动端的低成本部署。

3使用云端服务器进行行人检测。由于云端服务器的算力较高，且无实体设备，可以部署在一些环境中，但由于网络限制，在没有网络的情况下不能运行，也不能满足移动端的使用需求，本申请训练后可以离线操作。

4本发明使用改进的Dense Net模块，在Dense Net模块中的每个DCBL模块中均增加了1×1卷积块，使得将每一个层输入的特征图都降维到4k的维度，大大的减少了参数量，同时保证了模型的准确度。该方法检测帧率达到36.15fps，检测速度快，准确率同时还可以达到89.97％。

本申请精度目标是85％以上，而且是在不同光照条件下完成。

Claims (5)

1.一种基于改进YOLO算法的小目标行人检测系统，包括：Jetson Nano嵌入式开发板，

建立行人检测数据集，对数据集标签中的真实目标框进行k-means++聚类分析，得到K种不同的先验框尺寸；

构建改进的YOLOv4模型，以YOLOv4 Neck层结构为基础，将原特征金字塔中的五次卷积模块所在位置分别用一个Dense Net模块进行替换；

所述Dense Net模块均包括两个DCBL模块，输入特征经非线性变化依次连接两个DCBL模块，同时输入特征再分别跳跃连接两个DCBL模块的输出，第一个DCBL模块的输出也跳跃连接至第二个DCBL模块的输出；每个DCBL模块的结构为BN-Relu-1×1卷积块-BN-Relu-3×3卷积块；

改进的YOLOv4模型利用K-Means++聚类分析得到的先验框尺寸替换模型原有先验框尺寸进行训练，将训练好的改进的YOLOv4模型部署在Jetson Nano嵌入式开发板上，用于移动端进行行人进行检测；

将Dense Net模块部署在YOLOV4模型的Neck部分的输出端，Dense Net模块由DCBL模块以前馈的方式将每一层与其他每一层连接起来；在Dense Net模块中，每一层的输入来自前面所有层的输出，会有个连接，在每一个密集连接层中，层与层之间级联了三个必要操作，分别是进行归一标准化，调用激活函数，进行卷积计算，密集连接层的结构为公式(3)

H_l＝BN+Relu+Conv(1×1)+BN+Relu+Conv(3×3) (3)

式中，BN归一化，Relu为激活函数，Conv(3×3)为3×3的卷积块；Conv(1×1)为1×1卷积块，H_l为密集连接层的输出。

2.根据权利要求1所述的检测系统，其特征在于，将JetsonNano嵌入式开发板的系统外接在具有SATA3接口的SSD固态硬盘上，同时设置4G的swap分区实现高速缓存；Jetson nano资源有限，做视频目标检测和跟踪功耗方式更改为10W模式，避免出现运行时卡顿甚至死机现象，JetsonNano嵌入式开发板的GPU为NVIDIAMaxwel1架构，配备128个NVIDIACUDA核心，CPU至少为四核ARMCortex-A57 MPCore处理器。

3.根据权利要求1所述的检测系统，其特征在于，将部署好训练后的改进的YOLOv4模型的JetsonNano硬件移动端，安装于汽车设备上，检测帧率达到30fps以上，且在不同光照条件下准确率达到85％以上。

4.根据权利要求1所述的检测系统，其特征在于，K-Means++聚类分析得到的K个先验框尺寸为：

5.根据权利要求1所述的检测系统，其特征在于，改进的YOLOv4模型中具有三个DenseNet模块，第一个Dense Net模块的结构参数是：

第二个Dense Net模块的结构参数是：

第三个Dense Net模块的结构参数是：