CN108805070A - 一种基于嵌入式终端的深度学习行人检测方法 - Google Patents

Abstract

本发明公开了一种基于嵌入式终端的深度学习行人检测方法，包括以下步骤：一、样本准备阶段，获取现有自动驾驶数据集或收集固定、移动摄像头拍摄视频后人工标注；二、训练阶段，使用大量训练图像对构建的卷积神经网络参数进行训练以完成检测特征学习；三、测试阶段，输入大量测试图像至已训练卷积神经网络并获得检测结果；四、移植阶段，进行代码级别优化并移植到嵌入式终端。本发明采用18层卷积神经网络进行行人特征学习，相对于传统机器学习方法具有创新优势；本发明还提出了面向嵌入式终端的优化策略，进一步缩小了网络规模和算法复杂度，适用于ADAS的功能应用。

Description

一种基于嵌入式终端的深度学习行人检测方法

技术领域

本发明涉及一种行人检测方法，具体是一种基于嵌入式终端的深度学习行人检测方法。

背景技术

近年来，随着深度学习的快速发展，高级辅助驾驶的发展出现了契机。对于高级辅助驾驶来说，最为重要的是目标检测，其中包括行人检测，与此同时，行人监测对于智能机器人和视频监控领域也有重要意义。高级辅助驾驶要取得阶段性的进步，行人检测是不可避免要攻克的难题。目前，传统的行人检测方法主要是人工设计特征，通过提取特征训练分类器，效果令人瞩目，但是人工设计的特征分类器很难适应场景的大幅度变化，不能在新环境下很好的检测行人。

深度学习网络模型的提出，使行人检检测得到更进一步的发展。深度学习模型从图像中自适应学习，是一种端到端的检测方法。通过探究不同的网络深度、卷积核大小以及特征维度对行人检测结果的影响，构建了基于卷积神经网络的行人分类器，这种方法能较好的检测行人，但是却不能对目标行人进行定位。数据集的大范围增加和计算机计算能力的增强，是深度学习在行人检测方面有了坚实的基础。

在有关行人检测的研究领域，大多数都是根据一些特征对行人辨别的研究。如公开号为106991370A的中国发明专利公布说明书公开的基于颜色和深度的行人检索方法。根据图像的RGB信息对特征进行提取，使用区域增长的方法，分割出行人区域。此种方法虽然可以检测出行人的信息，但是对行人的位置信息错误较大，不能应用于高级辅助驾驶领域，高级驾驶辅助系统对位置信息要求十分严格。而且，这种方法对于相互靠的很近的物体，还有很小的群体，检测效果不好。

与此同时，目前公开的技术方案计算量巨大，卷积神经网络的算法规模庞大且只适用于服务器或者计算机集群，无法进行嵌入式设备的端对端实时应用。

发明内容

本发明是为避免上述现有技术所存在的不足之处，提供一种嵌入式终端的深度学习行人检测方法。该方法可以实现交通视频中行人的实时检测，把目标判定和目标识别合二为一，可以达到每秒50帧。

为实现上述目的，本发明提供如下技术方案：

一种基于嵌入式终端的深度学习行人检测方法，用于对交通视频中的行人进行实时检测，其特征在于，包括以下步骤：

一、样本准备阶段，获取现有自动驾驶数据集或收集固定、移动摄像头拍摄视频后人工标注；

二、训练阶段，使用大量训练图像对构建的卷积神经网络参数进行训练以完成检测特征学习；

三、测试阶段，输入大量测试图像至已训练卷积神经网络并获得检测结果；

四、移植阶段，进行代码级别优化并移植到嵌入式终端。

作为本发明进一步的方案：步骤一中现有自动驾驶数据集包括Nicta和CVC数据集，人工标注的图片标记格式包含标签和2d矩形框。

作为本发明进一步的方案：步骤二训练阶段按以下步骤进行：

①、选取18层卷积神经网络作为特征学习网络，依次是卷积层conv1、最大池化层maxpool2、卷积层conv3、最大池化层maxpool4、卷积层conv5、卷积层conv6、卷积层conv7、最大池化层maxpool8、卷积层conv9、卷积层conv10、卷积层conv11、最大池化层maxpoo12、卷积层conv13、卷积层conv14、卷积层conv15、最大池化层maxpool16、全连接层fc17、全连接层fc18；

②、将输入图像划分为S*S的栅格，为每一个栅格赋予B个边界框以及这些边界框的置信值，定义C个条件类别概率：Pr(Class_i|Object)；使用K-means从训练集中聚类得到优化的anchor boxes；

③、使用以下公式预测行人的坐标：

x＝(t_x*w_a)+x_a,y＝(t_y*h_a)+y_a

其中x_a,y_a为anchor的坐标，w_a,h_a为anchor的宽和长；x,y是边界框的中心坐标；当预测t_x＝1，就会把边界框向右边移动一定距离，预测t_x＝-1，就会把边界框向左边移动相同的距离；

并使用logistic激活函数σ(z)来确保边界框的中心落在栅格中：

设栅格左上角的坐标为(c_x,c_y)，anchor box的宽和高为(p_w,p_h)，则边界框的中心点坐标(b_x,b_y)，宽和高为(b_w,b_h)：

b_x＝σ(t_x)+c_x,b_y＝σ(t_y)+c_y

并利用以下公式计算该目标的置信分：

Pr(object)*IOU(b,object)＝σ(t_o)

④、构造损失函数：

其中λ_coord是系数，S²是网格数，w_i,h_i分别为网格i的预测边界的宽和高，分别为网格i的标签边界的宽和高，x_i,y_i为网格i的预测边界框中心相对于网格i的位置，为网格i的标签边界框中心相对于网格i的位置，p_i(c)为网格i的预测边界框关于类别c的置信度，为网格i的标签边界框关于类别c的置信度，classes为第二训练样本集中的样本类别数，C_i为网格i的预测边界框的预测分类，为网格i的标签边界框的标签分类；

⑤、通过不断的进行梯度下降和反向传播算法进行迭代，应用损失函数提高准确率，当损失函数真值J(θ)＜0.001，卷积神经网络完成训练。

作为本发明进一步的方案：步骤四中进行代码级别优化的步骤为：

①、使用svd算法压缩全连接层矩阵，使用剪枝算法将小于权值的节点直接移除；

②、通过DMA预载入GPU做预处理以减少数据同步次数；

③、使用cuda Stream流操作和异步函数调用；

④、关键算法GPU并行化；

⑤、整形指令集改为浮点FP16指令集。

作为本发明进一步的方案：所述嵌入式终端至少包括CPU、GPU、内存、存储器、视频编码器、视频解码器和图像信号处理器。

作为本发明进一步的方案：所述嵌入式终端至少包括256核GPU、ARMv864位CPU、H.264/H.265视频编码器、H.264/H.265视频解码器、8GB LPDDR4内存与32GB eMMC存储器和1.4Gpix/s的图像信号处理器。

与现有技术相比，本发明的有益效果是：

1、本发明采用18层卷积神经网络进行行人特征学习，相对于传统机器学习方法具有创新优势；

2、本发明相比较于基于区域提名的，如R-CNN、SPP-net、Fast R-CNN、Faster R-CNN、R-FCN深度学习目标检测方法，所提出的端到端深度学习算法具有较明显的速度优势；

3、本发明还提出了面向嵌入式终端的优化策略，进一步缩小了网络规模和算法复杂度，适用于ADAS(高级辅助驾驶)的功能应用。

附图说明

图1为本发明所涉及的行人检测训练流程图；

图2为本发明所涉及的卷积神经网络示意图；

图3为本发明所涉及的嵌入式终端结构。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

请参阅图1-3，一种基于嵌入式终端的深度学习行人检测方法，用于对交通图片中的行人进行检测。行人检测使用配置了卷积神经网络的嵌入式终端，将图片在嵌入式终端的输入端输入，通过已经训练好的卷积神经网络，在嵌入式终端的输出端输出。要实现此功能应该在pc端训练卷积神经网络，经测试完成后，移植到嵌入式终端。

上述基于嵌入式终端的深度学习行人检测方法，具体包括以下步骤：

一、样本准备阶段，获取现有自动驾驶数据集或收集固定、移动摄像头拍摄视频后人工标注；样本准备阶段的现有自动驾驶数据集包括Nicta和CVC数据集，图片标记格式包含标签和2d矩形框；

首先分别建立训练和测试卷积神经网络的图片集，在大样本的情况下，训练集和测试集的比例应该是99:1，图片集都要进行人工标注，标注的方式为将图片中含有行人的位置用矩形圈起来，添加标签。图片的格式应该是224*224*3的形式；

二、训练阶段，使用大量训练图像对构建的卷积神经网络参数进行训练以完成检测特征学习；

如图2所示，训练阶段在pc机上实现，首先构造卷积神经网络，神经网络由18层网络组成；依次是卷积层conv1(卷积核使用3*3)、最大池化层maxpool2、卷积层conv3(卷积核使用3*3)、最大池化层maxpool4、卷积层conv5(卷积核使用3*3)、卷积层conv6(卷积核使用1*1)、卷积层conv7(卷积核使用3*3)、最大池化层maxpool8、卷积层conv9(卷积核使用3*3)、卷积层conv10(卷积核使用1*1)、卷积层conv11(卷积核使用3*3)、最大池化层maxpoo12、卷积层conv13(卷积核使用3*3)、卷积层conv14(卷积核使用1*1)、卷积层conv15(卷积核使用3*3)、最大池化层maxpool16、全连接层fc17、全连接层fc18；其中包括11个卷积层，5个池化层，2个全连接层；在卷积层中有8个3*3的卷积核，3个1*1的卷积核，两个卷积核交替使用，显著地提高了计算效果和运算速度；

通过使用反向传播和梯度下降的方法调整参数，使用drapout的方法使节点随机失活，进一步对参数进行调整；

对anchor boxes进行设计，为了准确性，本发明采用K-means从训练集中聚类得到的anchor boxes，当K＝5时(k是通过k-means聚类得到的anchor boxes的数量)，得到的anchor boxes具有最佳效果。在这里将输入图形划分为S*S的栅格，每一个栅格预测B个边界框(x,y,w,h)，以及这些边界框的置信值。每一个栅格还要预测C个条件类别概率：Pr(Class_i|Object)，即在一个栅格包含一个行人(Object)的前提下属于某个类class的概率；object是指要识别的物体，class指行人的类；所以输出的结果应该是S*S*(B*(5+C))。例如，输入一张含有行人的图片，要辨别这个图片是否存在行人，假设将图片分为416*416的栅格，预测的2个边界框，这里的类别概率可以假设为行人和车，因此C＝2，置信值只能是0和1，图片是一个行人的图片，对于行人的anchor box的置信值是1，对于车的anchor box的置信值是0，最终输出的结果是416×416×(2×(5+2))。

使用公式(1)预测行人的坐标：

x＝(t_x*w_a)+x_a,y＝(t_y*h_a)+y_a (1)

其中x_a,y_a为anchor的坐标，w_a,h_a为anchor的宽和长；x,y是边界框的中心坐标；当预测t_x＝1，就会把边界框向右边移动一定距离(具体为anchor box的宽度)，预测t_x＝-1，就会把边界框向左边移动相同的距离；tx表示水平预测权衡变量，对anchor box进行水平移动，ty竖直预测权衡变量，对anchor box进行竖直移动；

并使用logistic激活函数σ(z)(公式2)来确保边界框的中心落在栅格中；

e是常数；e，z是横坐标参数，σ(z)是纵坐标参数；设栅格左上角的坐标为(c_x,c_y)，anchor box的宽和高为(p_w,p_h)，则边界框的中心点坐标(b_x,b_y)，宽和高为(b_w,b_h)，见公式(3)、(4)；

b_x＝σ(t_x)+c_x,b_y＝σ(t_y)+c_y (3)

tw，th表示anchor box的宽和高，tx，ty表示anchor box的坐标，e是常数e；

并利用公式(5)计算该目标的置信分：

Pr(object)*IOU(b,object)＝σ(t_o) (5)

b表示物体的边界；object表示anchor box预测框；t₀是置信分；

构造损失函数如公式(6)所示：

其中λ_coord是系数，S²是网格数，w_i,h_i分别为网格i的预测边界的宽和高，分别为网格i的标签边界的宽和高，x_i,y_i为网格i的预测边界框中心相对于网格i的位置，为网格i的标签边界框中心相对于网格i的位置，p_i(c)为网格i的预测边界框关于类别c的置信度，为网格i的标签边界框关于类别c的置信度，classes为第二训练样本集中的样本类别数，C_i为网格i的预测边界框的预测分类，为网格i的标签边界框的标签分类；是判断第i个栅格中第j个边界框是否负责这个object，obj是object的意思，ij表示第i个栅格中第j个边界框，是判断第i个栅格中第j个边界框不包含object，noobj表示不包含object的意思，判断是否有object的中心落在栅格i中。

其中，公式(1)对行人的位置计算，通过非极大值抑制和置信分计算的方式提高准确率，计算方式为公式(3)到公式(5)。这里便得到了行人的位置信息和存在信息。通过不断的进行梯度下降和反向传播算法进行迭代，应用公式(6)的损失函数去提高准确率，当损失函数真值J(θ)＜0.001，卷积神经网络完成训练，便能进入测试阶段了。

三、测试阶段，输入大量测试图像至已训练卷积神经网络并获得检测结果；

进入测试阶段后，将准备好的测试集输入已经训练好的卷积神经网络，通过人工验证图片识别的准确率，图片中的行人是否被贴上正确的标签，当准确率没有满足条件时，重新进入测试阶段进行调整参数，当符合准确率的条件时，准备将PC端的卷积神经网络移植到嵌入式系统；

四、移植阶段，进行代码级别优化并移植到嵌入式终端；

最后是移植阶段，全连接层计算量较大，为了将卷积神经网络移植到嵌入式终端，首先对全连接层的矩阵使用svd算法进行压缩，使矩阵减小一定的计算量，然后使用剪枝算法将小于权值的节点直接移除，再次减小计算量；然后在pc端通过DMA预载入GPU的预处理方式，可以减少数据的同步次数；接下来做好将数据移植的准备，使用cudaStream流操作和异步函数调用的方法，提高实时性，将关键算法在GPU上实现并行化；在卷积计算中，首先将浮点FP16指令集改为整形指令集减少运算，当运算完成在修改为浮点型FP16指令集，优化完成后，即可进行移植操作。

如图3所示，嵌入式终端能够具备较高性能的计算与图像处理能力，最低的硬件配置应达到256核GPU、ARMv864位CPU、H.264/H.265视频编码器、H.264/H.265视频解码器、8GBLPDDR4内存与32GBeMMC存储器、1.4Gpix/s的图像信号处理器。

上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下作出各种变化。

Claims (6)

1.一种基于嵌入式终端的深度学习行人检测方法，用于对交通视频中的行人进行实时检测，其特征在于，包括以下步骤：

一、样本准备阶段，获取现有自动驾驶数据集或收集固定、移动摄像头拍摄视频后人工标注；

二、训练阶段，使用大量训练图像对构建的卷积神经网络参数进行训练以完成检测特征学习；

三、测试阶段，输入大量测试图像至已训练卷积神经网络并获得检测结果；

四、移植阶段，进行代码级别优化并移植到嵌入式终端。

2.根据权利要求1所述的基于嵌入式终端的深度学习行人检测方法，其特征在于，步骤一中现有自动驾驶数据集包括Nicta和CVC数据集，人工标注的图片标记格式包含标签和2d矩形框。

3.根据权利要求1所述的基于嵌入式终端的深度学习行人检测方法，其特征在于，步骤二训练阶段按以下步骤进行：

①、选取18层卷积神经网络作为特征学习网络，依次是卷积层conv1、最大池化层maxpool2、卷积层conv3、最大池化层maxpool4、卷积层conv5、卷积层conv6、卷积层conv7、最大池化层maxpool8、卷积层conv9、卷积层conv10、卷积层conv11、最大池化层maxpoo12、卷积层conv13、卷积层conv14、卷积层conv15、最大池化层maxpool16、全连接层fc17、全连接层fc18；

②、将输入图像划分为S*S的栅格，为每一个栅格赋予B个边界框以及这些边界框的置信值，定义C个条件类别概率：Pr(Class_i|Object)；使用K-means从训练集中聚类得到优化的anchor boxes；

③、使用以下公式预测行人的坐标：

x＝(t_x*w_a)+x_a,y＝(t_y*h_a)+y_a

其中x_a,y_a为anchor的坐标，w_a,h_a为anchor的宽和长；x,y是边界框的中心坐标；当预测t_x＝1，就会把边界框向右边移动一定距离，预测t_x＝-1，就会把边界框向左边移动相同的距离；

并使用logistic激活函数σ(z)来确保边界框的中心落在栅格中：

设栅格左上角的坐标为(c_x,c_y)，anchor box的宽和高为(p_w,p_h)，则边界框的中心点坐标(b_x,b_y)，宽和高为(b_w,b_h)：

b_x＝σ(t_x)+c_x,b_y＝σ(t_y)+c_y

并利用以下公式计算该目标的置信分：

Pr(object)*IOU(b,object)＝σ(t_o)

④、构造损失函数：

其中λ_coord是系数，S²是网格数，w_i,h_i分别为网格i的预测边界的宽和高，分别为网格i的标签边界的宽和高，x_i,y_i为网格i的预测边界框中心相对于网格i的位置，为网格i的标签边界框中心相对于网格i的位置，p_i(c)为网格i的预测边界框关于类别c的置信度，为网格i的标签边界框关于类别c的置信度，classes为第二训练样本集中的样本类别数，C_i为网格i的预测边界框的预测分类，为网格i的标签边界框的标签分类；

⑤、通过不断的进行梯度下降和反向传播算法进行迭代，应用损失函数提高准确率，当损失函数真值J(θ)＜0.001，卷积神经网络完成训练。

4.根据权利要求1所述的基于嵌入式终端的深度学习行人检测方法，其特征在于，步骤四中进行代码级别优化的步骤为：

①、使用svd算法压缩全连接层矩阵，使用剪枝算法将小于权值的节点直接移除；

②、通过DMA预载入GPU做预处理以减少数据同步次数；

③、使用cuda Stream流操作和异步函数调用；

④、关键算法GPU并行化；

⑤、整形指令集改为浮点FP16指令集。

5.根据权利要求1-4任一所述的基于嵌入式终端的深度学习行人检测方法，其特征在于，所述嵌入式终端至少包括CPU、GPU、内存、存储器、视频编码器、视频解码器和图像信号处理器。

6.根据权利要求5所述的基于嵌入式终端的深度学习行人检测方法，其特征在于，所述嵌入式终端至少包括256核GPU、ARMv864位CPU、H.264/H.265视频编码器、H.264/H.265视频解码器、8GB LPDDR4内存与32GB eMMC存储器和1.4Gpix/s的图像信号处理器。