CN109934121A

CN109934121A - 一种基于YOLOv3算法的果园行人检测方法

Info

Publication number: CN109934121A
Application number: CN201910128312.3A
Authority: CN
Inventors: 景亮; 吴边; 沈跃; 刘慧�; 张礼帅; 张健; 罗晨晖
Original assignee: Jiangsu University
Current assignee: Jiangsu University
Priority date: 2019-02-21
Filing date: 2019-02-21
Publication date: 2019-06-25
Anticipated expiration: 2039-02-21
Also published as: CN109934121B

Abstract

本发明公开一种基于YOLOv3算法的果园行人检测方法。具体为：采集果园中行人图像；对采集的图像进行预处理，构建标准的行人检测数据集；将训练集放入修改过的Darknet‑53网络结构提取行人特征，通过K‑means聚类方法产生anchor box数来生成预测的行人边界框，使用二元交叉熵损失函数进行类别预测,并使用类似FPN网络进行多尺度融合预测；最后通过Soft‑NMS去除多余的预测边界框，输出最终的预测边界框和类别。本发明的行人检测准确率高，实时性好，针对果园环境下提出的Random Erasing等数据增广方法，增强训练模型对复杂背景的鲁棒性，采用的Soft‑NMS算法能提高检测的召回率，并且引进的组归一化Group Normalization能降低训练的模型对硬件的要求。

Description

一种基于YOLOv3算法的果园行人检测方法

技术领域

本发明属于深度学习、行人检测技术领域，具体涉及一种针对果园环境下智能机器人作业时基于YOLOv3算法的行人检测方法。

背景技术

近年来，随着国家对现代农业产业园创建重视以及智能机器人的发展，利用智能无人农机对果园喷洒农药、采摘水果日渐兴起，在无人农机作业过程中，需要对周围障碍物实时检测，首要考虑的是对周围行人的检测，以确保行人和车安全。本文采取计算机视觉方法结合深度学习来检测行人。

果园环境下影响行人检测发展制约因素包括果园环境光照强度不断变化；行人所处背景信息复杂；行人姿态、外形和服饰多种多样和遮挡性问题等。传统行人检测方法主要利用行人形状特征、纹理特征等来手工设计特征检测行人，如HOG、DPM等方法，然而人工设计的行人特征复杂、泛化性差。随着深度学习不断发展，基于深度学习的检测方法准确性大大超过传统方法。基于候选区域的深度学习检测方法，如R-CNN和Faster R-CNN等，由于将目标检测和和目标定位分步完成，检测速度慢，无法满足实时检测场景。

发明内容

为解决以上行人检测存在的问题以及实际中智能无人农机对检测的高精度要求，本发明提供一种基于YOLOv3算法的果园行人检测方法，将检测视作回归问题，直接利用卷积网络结构对整个图像进行处理，同时预测出检测的类别和位置。

本发明基于YOLOv3算法的果园行人检测方法，包括以下步骤：

步骤1：采集果园环境中行人图像；

采集行人在深度摄像头下拍摄的各种姿势和所处果园位置的图像，其中，所述拍摄的行人包括躺、坐、蹲、行走、站立、跑步以及距离摄像头不同距离的行人和不同遮挡情况的行人；

步骤2：对步骤1中采集的图像进行预处理，并构建标准的行人检测数据集；

先对步骤1中获得的图像进行如下操作来扩充数据：其一、对图像进行水平和垂直翻转、随机裁剪、随机角度旋转、改变图像对比度和亮度；其二、用Random Erasing方法随机选择图像中的一个任意大小的矩形区域，擦除选定区域内的像素值并对擦除的像素值赋0至255之间的随机值。再对扩充后的数据集图像用标注工具生成对应的标注及标签信息，标注信息即样本中目标的位置信息，标签信息即样本中目标所属类别，类别为人标注为person,并将数据集分为训练集和测试集。

步骤3：将步骤2中处理后制作的训练集放入卷积特征器特征提取行人特征，通过K-means聚类方法产生anchor box数来生成预测的行人边界框，并使用类似FPN网络进行多尺度融合预测来提升边界框和类别预测的准确性：

(3.1)：先将步骤2中获得的训练集图像尺寸调整为608×608，并设置IOU阈值为0.6，置信度阈值为0.5；

(3.2)：再将输入的图像通过进过修改的Darknet-53网络结构提取特征；

YOLOv3算法使用的特征提取网络结构为Darknet-53，它由53个卷积层和Residual结构组成，卷积核大小为3×3和1×1两种,每个卷积层均通过批归一化(BatchNormalization)和Leaky relu激活函数操作。使用组归一化(Group Normalization)替换批归一化来改善归一化操作。

(3.3)：接着通过类似FPN网络对行人进行多尺度融合预测，将第82层输出的19×19特征图、第94层输出的38×38特征图和第106层输出的76×76特征图分别划分为19×19个网格、38×38个网格和76×76个网格；使用K-means聚类方法对训练集的边界框做聚类，得到合适的anchor box，并在每个网格上产生3个anchor box数来生成预测的目标边界框以及使用二元交叉熵损失函数来预测类别。

聚类使用的公式为d(box,centroid)＝1-IOU(box,centroid)

其中，box为先验框，centroid为聚类中心，IOU(box,centroid)为两个区域的交并比，当d(box,centroid)小于等于度量阈值时，确定anchor box的宽高大小。

预测边界框的公式为

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中，c_x和c_y为划分的单元格与图像左上角的横纵坐标的距离，p_w、p_h分别为预测前的边界框宽度和高度，t_x和t_y为预测中心相对参数，σ(t_x)和σ(t_y)分别是预测框中心偏离其所在单元格左上角的水平方向和垂直方向的距离，b_x和b_y分别为预测的边界框中心的横、纵坐标，b_w和b_h分别为预测的边界框的宽度和高度。

预测边界框的置信度公式为

其中，Pr(object)为0或1，为0表示图像中没有目标，为1表示有目标；表示预测的边界框和实际的边界框之间的交并比，置信度(confidence score)反映是否包含目标以及包含目标情况下预测位置的准确性。置信度阈值设为0.5，则当预测的边界框置信度小于0.5时，删除预测的边界框；预测的边界框置信度大于0.5时，保留预测的边界框。

类别预测使用的二元交叉熵损失函数(binary cross-entropy loss)公式为

其中，N是训练图片的总数量；y_i取值为0或1，y_i取值为1表示第i张输入的图片包含行人，y_i取值为0则表示第i张输入的图片不包含行人；p_i值为对第i张输入的图片是否包含行人的预测的概率，p_i值在0至1之间；loss为对每个训练图片的对数损失的平均值，loss越小越好。理想情况下，y_i值为1时，p_i值为1；y_i值为0时，p_i值为0。

进一步的改进，使用组归一化替代YOLOv3算法中所有卷积层上已有的批归一化。由于批归一化会受到批尺寸(batch size)影响，当批尺寸小时，批归一化算出均值和方差偏大，显著增加模型误差，降低神经网络性能；当批尺寸大时，使用的显存可能不够用。组归一化计算的是通道方向上各组的均值和方差，和批尺寸没关系，可以解决批归一化对批尺寸依赖的影响，组归一化能够满足小批尺寸时实现快速的神经网络训练并能够大大降低对于硬件的需求。

组归一化公式如下：

y_i＝γx_i+β

其中，x是由层计算的特征，i＝(i_N,i_C,i_H,i_W)，i是以(N,C,H,W)顺序索引特征的矢量，其中N是batch轴，C是通道轴，H和W分别是空间高度和宽度轴，ε为一个小常数，u_i为平均值，σ_i为标准差，S_i为计算的平均值和标准差的像素集合，m是该集合的大小，y_i是每个通道的线性变换，γ和β是可训练的尺度缩放值和移位值，i_C和k_C分别表示沿C轴的i和沿k轴的子索引；G是组的数量，它是预定义的超参数；C/G是每组的通道数，表示当每组通道沿C轴按顺序存储时，索引i和k在同一组通道中。组归一化沿(H，W)轴和沿着一组C/G通道计算μ和σ，同一组中的像素通过相同的μ和σ一起归一化。组归一化还学习每个通道的γ和β。

步骤4：最后，使用Soft-NMS来改进NMS，根据预测的边界框与实际边界框的交并比(IOU)进行Soft-NMS操作，对预测的边界框的置信度小于给定的阈值进行边界框抑制，输出最终的预测边界框和类别；

NMS将检测框按得分排序，然后只保留得分最高的框,同时删除与该框重叠面积大于一定比例的其它框；Soft-NMS思路是对不直接删除所有IOU大于阈值的检测框，而是降低其置信度

Soft-NMS函数如下：

其中，M为当前得分最高的边界框，b_i为待处理框，当IOU小于阈值N_t(N_t＝0.6)时，检测得分分值为s_i；在IOU大于阈值N_t时，检测得分分值为s_i(1-iou(M,b_i))。b_i和M的IOU越大，b_i的得分s_i就下降的越厉害。

本发明的具有以下优点：

一、使用Random Erasing来增强数据，增强训练的模型对遮挡情景的泛化能力和鲁棒性，使训练的模型更好地处理果园中行人遮挡情景；

二、使用组归一化Group Normalization替代YOLOv3算法中所有卷积层上已有的批归一化，以此来解决批归一化对批尺寸依赖的影响，组归一化能够满足小批尺寸时实现快速神经网络训练，大大降低对于硬件的需求；

三、使用Soft-NMS来改进NMS,可以更好的去除生成框，解决两个或多个行人相互重叠时NMS出现漏检的情况,提高检测的召回率。

附图说明

图1为本发明的具体实施方式中Random Erasing示意图。(a)为输入图片(一列)；(b)为Random Erasing；

图2为本发明的具体实施方式中使用组归一化Group Normalization改进归一化的示意图；(a)为改进前的示意图；(b)为改进后的示意图。

图3为本发明的具体实施方式中基于YOLOv3算法的果园行人检测方法的流程图。

图4为本发明的具体实施方式中基于YOLOv3算法的果园行人检测方法的网络结构图。

注：DBL对应代码中Darknetconv2d_BN_Leaky，为卷积模块，CONV为卷积层，GN为组归一化Group Normalization的简称，concat为张量拼接，Upsampling为上采样，resn中n为数字，res unit为各residual结构，zero padding为零填充，Resblock_body为残差模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图3-4所示，本发明提供一种基于YOLOv3算法的果园行人检测方法，包括以下步骤：

步骤1：采集果园环境中行人图像；

先对步骤1中获得的图像进行如下操作来扩充数据：其一、对图像进行水平和垂直翻转、随机裁剪、随机角度旋转、改变图像对比度和亮度；其二、如图1所示，用RandomErasing方法随机选择图像中的一个任意大小的矩形区域，擦除选定区域内的像素值并对擦除的像素值赋0至255之间的随机值。再对扩充后的数据集图像用LabelImg标注工具生成对应的标注及标签信息，标注信息即样本中目标的位置信息，标签信息即样本中目标所属类别，类别为人标注为person,并将数据集分为训练集和测试集。

(3.1)：先将步骤2中获得的训练集图像尺寸调整为608×608，并设置IOU阈值为0.6，置信度阈值为0.5，冲量momentum设置为0.9，初始学习率为0.001，权重衰减系数decay为0.0005，最大迭代次数设置为100K，从第70k次迭代开始学习率为0.0001，从第80k次迭代开始学习率为0.00005，每隔1000次迭代后保存一次模型，最终选取精度最高的模型。

YOLOv3算法使用的特征提取网络结构为Darknet-53，它由53个卷积层和Residual结构组成，卷积核大小为3×3和1×1两种,每个卷积层均通过批归一化和Leaky relu激活函数操作。使用组归一化替换批归一化来改善归一化操作，如图2所示。

(3.3)：接着通过类似FPN网络对行人进行多尺度融合预测，将第82层输出的19×19特征图、第94层输出的38×38特征图和第106层输出的76×76特征图分别划分为19×19个网格、38×38个网格和76×76个网格；使用K-means聚类方法对训练集的边界框做聚类，得到合适的anchor box，并在每个网格上产生3个anchor box数来生成预测的目标边界框以及使用二元交叉熵损失函数来预测类别。得到的输出维度为19×19×18、38×38×18和76×76×18，其中18为3×(4+1+1)，4指4个边界框坐标信息，1分别为1个目标预测和1个类别预测。

聚类使用的公式为d(box,centroid)＝1-IOU(box,centroid)

其中，box为先验框，centroid为聚类中心，IOU(box,centroid)为两个区域的交并比，令度量阈值为10^-5，当d(box,centroid)小于等于度量阈值时，确定anchor box的宽高大小。

预测边界框的公式为

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

预测边界框的置信度公式为

其中，Pr(object)为0或1，为0表示图像中没有目标，为1表示有目标；表示预测的边界框和实际的边界框之间的交并比，置信度(confidence score)反映是否包含目标以及包含目标情况下预测位置的准确性，置信度阈值设为0.5，则当预测的边界框置信度小于0.5时，删除预测的边界框；预测的边界框置信度大于0.5时，保留预测的边界框。

进一步的改进，使用组归一化替代YOLOv3算法中所有卷积层上已有的批归一化。由于批归一化会受到批尺寸影响，批尺寸小时，批归一化算出均值和方差偏大，显著增加模型误差，降低神经网络性能；批尺寸大时，使用的显存可能不够用。组归一化计算的是通道方向上各组的均值和方差，和批尺寸没关系，可以解决批归一化对批尺寸依赖的影响，组归一化能够满足小批尺寸时实现快速的神经网络训练并能够大大降低对于硬件的需求。

组归一化公式如下：

y_i＝γx_i+β

其中，x是由层计算的特征，i＝(i_N,i_C,i_H,i_W)，i是以(N,C,H,W)顺序索引特征的矢量，其中N是batch轴，C是通道轴，H和W分别是空间高度和宽度轴，ε为一个小常数，u_i为平均值，σ_i为标准差，S_i为计算的平均值和标准差的像素集合，m是该集合的大小，y_i是每个通道的线性变换，γ和β是可训练的尺度缩放值和移位值，i_C和k_C分别表示沿C轴的i和沿k轴的子索引；G是组的数量，它是预定义的超参数，令G为32；C/G是每组的通道数，表示当每组通道沿C轴按顺序存储时，索引i和k在同一组通道中。组归一化沿(H，W)轴和沿着一组C/G通道计算μ和σ，同一组中的像素通过相同的μ和σ一起归一化。组归一化还学习每个通道的γ和β。

Soft-NMS函数如下：

其中，M为当前得分最高的边界框，b_i为待处理框，当IOU小于阈值N_t(N_t＝0.6)时，检测得分分值为s_i；在IOU大于阈值0.6时，检测得分分值为s_i(1-iou(M,b_i))。b_i和M的IOU越大，b_i的得分s_i就下降的越厉害。NMS将检测框按得分排序，然后只保留得分最高的框,同时删除与该框重叠面积大于一定阈值的其它框，Soft-NMS思路是不直接删除所有IOU大于阈值的检测框，而是降低其置信度。使用Soft-NMS来改进NMS,可以更好的去除生成框，解决两个或多个行人相互重叠时NMS出现漏检的情况,提高检测的召回率。

本发明的一种基于改进的YOLOv3算法的果园行人检测方法，以YOLOv3算法为基础，针对果园环境中光照、遮挡等检测难点，通过在训练样本和网络结构的改进，提高行人检测的准确率和召回率，满足实时检测的要求，并降低网络模型对硬件的要求，有利于智能果园机器人发展。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims

1.一种基于改进的YOLOv3算法的果园行人检测方法，其特征在于，包括以下步骤：

步骤1：采集果园环境中行人图像；

采集行人在深度摄像头下拍摄的各种姿势和所处果园位置的图像，其中，所述拍摄的行人包括躺、坐、蹲、行走、站立、跑步以及距离摄像头不同距离的行人和不同遮挡情况的行人。

步骤3：将步骤2中处理后制作的训练集放入卷积特征器特征提取行人特征，通过K-means聚类方法产生anchor box数来生成预测的行人边界框，并使用类似FPN网络进行多尺度融合预测来提升边界框和类别预测的准确性；

步骤4：使用软化非极大值抑制Soft-NMS算法来改进非极大值抑制NMS算法，根据预测的边界框与实际边界框的交并比IOU进行Soft-NMS操作，对预测的边界框的置信度小于给定的阈值进行边界框抑制，输出最终的预测边界框和类别。

2.根据权利要求1所述的一种基于改进的YOLOv3算法的果园行人检测方法，其特征在于：步骤2具体如下：

先对步骤1中获得的图像进行如下操作来扩充数据：其一、对图像进行水平和垂直翻转、随机裁剪、随机角度旋转、改变图像对比度和亮度；其二、用Random Erasing方法随机选择图像中的一个任意大小的矩形区域，擦除选定区域内的像素值并对擦除的像素值赋0至255之间的随机值，再对扩充后的数据集图像用标注工具生成对应的标注及标签信息，标注信息即样本中目标的位置信息，标签信息即样本中目标所属类别，类别为人标注为person，并将数据集分为训练集和测试集。

3.根据权利要求1所述的一种基于改进的YOLOv3算法的果园行人检测方法，其特征在于：步骤3具体如下：

3.1：先将步骤2中获得的训练集进行图像尺寸调整，并设置IOU阈值以及置信度阈值；

3.2：再将输入的图像通过经过修改的Darknet-53网络结构提取特征；

Darknet-53网络结构由53个卷积层和Residual结构组成，卷积核大小为3×3和1×1两种,每个卷积层均通过批归一化Batch Normalization和Leaky relu激活函数操作。使用组归一化Group Normalization替换批归一化来改善归一化操作；

3.3：接着通过类似FPN网络对行人进行多尺度融合预测，将第82层输出的19×19特征图、第94层输出的38×38特征图和第106层输出的76×76特征图分别划分为19×19个网格、38×38个网格和76×76个网格；使用K-means聚类方法对训练集的边界框做聚类，得到合适的anchor box，并在每个网格上产生3个anchor box数来生成预测的目标边界框以及使用二元交叉熵损失函数来预测类别；

聚类使用的公式为d(box,centroid)＝1-IOU(box,centroid)

其中，box为先验框，centroid为聚类中心，IOU(box,centroid)为两个区域的交并比，当d(box,centroid)小于等于度量阈值时，确定anchor box的宽高大小；

预测边界框的公式为

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中，c_x和c_y为划分的单元格与图像左上角的横纵坐标的距离，p_w、p_h分别为预测前的边界框宽度和高度，t_x和t_y为预测中心相对参数，σ(t_x)和σ(t_y)分别是预测框中心偏离其所在单元格左上角的水平方向和垂直方向的距离，b_x和b_y分别为预测的边界框中心的横、纵坐标，b_w和b_h分别为预测的边界框的宽度和高度；

预测边界框的置信度公式为

其中，Pr(object)为0或1，为0表示图像中没有目标，为1表示有目标；表示预测的边界框和实际的边界框之间的交并比，类别预测使用的二元交叉熵损失函数binarycross-entropy loss公式为：

其中，N是训练图片的总数量；y_i取值为0或1，y_i取值为1表示第i张输入的图片包含行人，y_i取值为0则表示第i张输入的图片不包含行人；p_i值为对第i张输入的图片是否包含行人的预测的概率，p_i值在0至1之间；loss为对每个训练图片的对数损失的平均值，loss越小越好。

4.根据权利要求3所述的一种基于改进的YOLOv3算法的果园行人检测方法，其特征在于：步骤3.1和步骤3.3中，先将步骤2中获得的训练集图像尺寸调整为608×608，并设置IOU阈值为0.6，置信度阈值设为0.5，则当预测的边界框置信度小于0.5时，删除预测的边界框；预测的边界框置信度大于0.5时，保留预测的边界框。

5.根据权利要求3所述的一种基于改进的YOLOv3算法的果园行人检测方法，其特征在于：y_i值为1时，p_i值为1；y_i值为0时，p_i值为0。

6.根据权利要求3所述的一种基于改进的YOLOv3算法的果园行人检测方法，其特征在于：使用组归一化Group Normalization替代所有卷积层上已有的批归一化；

组归一化Group Normalization公式如下：

y_i＝γx_i+β

其中，x是由层计算的特征，i＝(i_N,i_C,i_H,i_W)，i是以(N,C,H,W)顺序索引特征的矢量，其中N是batch轴，C是通道轴，H和W分别是空间高度和宽度轴，ε为一个小常数，u_i为平均值，σ_i为标准差，S_i为计算的平均值和标准差的像素集合，m是该集合的大小，y_i是每个通道的线性变换，γ和β是可训练的尺度缩放值和移位值，i_C和k_C分别表示沿C轴的i和沿k轴的子索引；G是组的数量，它是预定义的超参数；C/G是每组的通道数，表示当每组通道沿C轴按顺序存储时，索引i和k在同一组通道中，组归一化Group Normalization沿(H，W)轴和沿着一组C/G通道计算μ和σ，同一组中的像素通过相同的μ和σ一起归一化，组归一化Group Normalization还学习每个通道的γ和β。

7.根据权利要求1所述的一种基于改进的YOLOv3算法的果园行人检测方法，其特征在于：步骤4中，软化非极大值抑制Soft-NMS算法函数如下：

其中，M为当前得分最高的边界框，b_i为待处理框，当IOU小于阈值N_t(N_t＝0.6)时，检测得分分值为s_i；在IOU大于阈值N_t时，检测得分分值为s_i(1-iou(M,b_i))。b_i和M的IOU越大，b_i的得分s_i就下降的越厉害。软化非极大值抑制Soft-NMS思路是不直接删除所有IOU大于阈值的检测框，而是降低其置信度。