CN108596044A - 基于深度卷积神经网络的行人检测方法 - Google Patents

Abstract

本发明公开一种基于深度卷积神经网络的行人检测方法，包括如下步骤：(10)样本集收集：将样本集图像分为训练集与测试集；(20)样本图像预处理：对样本集图像进行尺寸变换、对比度归一化和白化处理，得到低冗余样本灰度图像；(30)深度卷积网络模型获取：利用低冗余训练样本，采用连续dropout策略，对深度卷积网络进行训练，利用测试集样本对深度卷积网络进行测试，得到深度卷积网络模型；(40)行人检测：利用深度卷积网络模型，对使用现场图像进行行人检测。本发明的基于深度卷积网络的行人检测方法，通过连续dropout策略，在保持网络训练精度的同时，获得更好的泛化能力，从而在行人检测中得到更高的正确率。

Description

基于深度卷积神经网络的行人检测方法

技术领域

本发明属于图像识别技术领域，特别是一种训练收敛速度快、泛化能力强的基于深度卷积神经网络的行人检测方法。

背景技术

在计算机视觉领域，行人检测是一项非常重要的研究内容，被广泛应用在汽车自主驾驶，公共场所人流监控等场景。

传统的行人检测技术是通过人工设计特征，如HOG-特征，训练分类器来进行行人检测。面对检测对象的场景变化和数量剧增，人工设计特征的代价太大，无法满足实时性要求和鲁棒性。

2006年以来，深度学习迅速发展，在图像分类、模式识别和视频监控等领域得到广泛应用。深度卷积神经网络，作为深度学习的一种，在行人检测中取得重大突破，识别率超过传统技术。深度卷积神经网络由于其结构的特殊性，能够自动提取特征并进行识别，免去传统技术中复杂的人工特征设计，因而传统行人检测技术被逐渐替代。

目前用于行人检测的深度卷积神经网络，主要有两个方面改进：深度和宽度。通过增加网络的深度，能够提取出更加抽象的特征，进而得到更好的行人特征表示，如中国发明专利申请(申请号：201610315688.1，公开日：2016.10.12)“一种端到端的卷积神经网络的行人检测方法”采用18层的网络来构建端到端的行人检测框架，通过迁移VGG-16预训练参数，使得网络得到较好的检测效果。增加网络的宽度，能够使得每一层的特征表示更加丰富，从而使得网络具有更好的非线性表示能力。中国发明专利申请(申请号：201610954990.1，公开日：2017.4.19)“基于深度网络的多尺度行人检测方法”采用三列并联网络结构，将多尺度网络进行合并，增加网络深度的同时，充分挖掘图像中不同尺寸行人的特征。

然而，随着卷积神经网络深度和宽度的增加，网络参数成指数倍增长，网络训练的复杂度急剧增加，使得网络容易产生过拟合现象。上述两个专利并未提及如何减小过拟合现象。目前，减小过拟合现象效果最好的方法是引入dropout。Dropout能够增加网络的泛化能力，但dropout策略的引入，将会使网络的可训练性降低，训练迭代的次数增加，甚至无法收敛。一般来说，模型的泛化能力越强，网络训练精度会有一定下降；相反，网络精度越高，泛化能力会有一定下降。如何平衡训练过程中泛化能力和网络可训练性之间的关系是一个值得探究的问题，目前在学术期刊和发明专利中都没有提出过此问题的解决方案。

综上所述，现有技术存在的问题是：基于深度卷积神经网络行人检测时，为增强卷积网络的泛化能力引入dropout策略时，可能导致网络的可训练性下降。

发明内容

本发明的目的在于提供一种基于深度卷积神经网络的行人检测方法，通过连续dropout策略，在保持网络可训练性的同时，获得更好的泛化能力。

实现本发明目的的技术解决方案为：

一种基于深度卷积神经网络的行人检测方法，包括如下步骤：

(10)样本集收集：将收集到的样本集图像分为训练样本集图像与测试样本集图像两类；

(20)样本图像预处理：对训练样本集图像和测试样本集图像进行尺寸变换、对比度归一化和白化处理，得到低冗余训练样本灰度图像和低冗余测试练样本灰度图像；

(30)深度卷积网络模型获取：利用低冗余训练样本灰度图像，采用连续dropout策略，对深度卷积网络进行训练，利用测试集样本灰度图像对深度卷积网络进行测试，得到深度卷积网络模型；

(40)行人检测：利用深度卷积网络模型，对使用现场图像进行行人检测。

本发明与现有技术相比，由于采用连续dropout策略完成对深度卷积网络的训练，取得了以下显著优点：

1、泛化能力强：在训练初始阶段以提高网络泛化能力为主，使得训练得到的网络对未知测试样本具有良好的识别率；

2、可训练性好：在训练后期以提高网络收敛性能为主，使网络在更少的迭代次数获得更高的训练精度。

结合这两方面的优点，训练得到的深度卷积网络模型在进行行人检测时具有更高的正确率。

下面结合附图和具体实施方式对本发明作进一步的详细描述。

附图说明

图1为本发明基于深度卷积神经网络的行人检测方法的主流程图。

图2为图1中样本图像预处理步骤的流程图。

图3为图1中深度卷积网络模型获取步骤的流程图。

图4为本发明实施例的网络框架图。

图5为连续dropout示意图。

图6为本发明方法与其他方法在CIFAR-10，SVHN和MNIST数据集上的比较结果。

其中，图6a为在CIFAR-10数据集上的比较结果；；

图6b为在SVHN数据集上的比较结果；

图6c为在MNIST数据集上的比较结果。

图7为本发明与传统dropout网络的权值可视化结果。

其中，图7a为本发明连续dropout网络的权值可视化结果；

图7b为传统dropout网络的权值可视化结果。

图8为本发明与传统dropout网络的损失值和训练错误率比较图。

其中，图8a为本发明与传统dropout网络的损失值比较；

图8b为本发明与传统dropout网络的训练错误率比较。

图9为本发明在不同参数设置下的训练结果。

其中，图9a为连续dropout策略，相同m，不同n情况下检测正确率；

图9b为连续dropout策略，不同m，相同n情况下检测正确率；

图9c为连续dropout策略，训练相同次数，不同n情况下检测正确率。

具体实施方式

如图1所示，本发明基于深度卷积神经网络的行人检测方法，包括如下步骤：

(10)样本集收集：将收集到的样本集图像分为训练样本集图像与测试样本集图像两类；

训练样本集用来训练模型，测试样本集用来检测模型，大致数量比例为5:1。

(20)样本图像预处理：对训练样本集图像和测试样本集图像进行尺寸变换、对比度归一化和白化处理，得到低冗余训练样本灰度图像和低冗余测试练样本灰度图像；

如图2所示，所述(20)样本图像预处理步骤包括：

(21)尺寸变换：将训练样本集图像和测试样本集图像均变换成32×32像素图像；

为了提升网络的检测速度，达到实时性要求，将样本集中所有图片尺寸变换成32×32，这个尺寸与大多数标准数据集的尺寸一致。

(22)对比度归一化：将尺寸变换后的训练样本集图像和测试样本集图像进行对比度归一化；

归一化的目的是能够使图像具有放射不变性，即利用图像的不变矩阵寻找一组参数，能够消除其他函数对图像变换产生的影响，并加快网络收敛的速度。

所述(22)对比度归一化步骤具体为，根据下式对尺寸变换后的训练样本集图像和测试样本集图像进行对比度归一化：

式中，I表示原图像，表示归一化后的图像，μ和σ分别为图像均值和标准差，C为常数。

(23)白化处理：将对比度归一化后的训练样本集图像和测试样本集图像进行白化处理，得到低冗余训练样本灰度图像和低冗余测试练样本灰度图像。

对训练样本集图像和测试样本集图像进行白化处理，去除数据之间的相关性，并具有相同的方差，降低输入的冗余性。

所述(23)白化处理步骤具体为，根据下式对比度归一化后的训练样本集图像和测试样本集图像进行白化处理：

式中，x_rot,i为训练样本集数据x_i经过主分量分析变换后的数据，λ_i为分析变换后的数据对应特征值。

(30)深度卷积网络模型获取：利用低冗余训练样本灰度图像，采用连续dropout策略，对深度卷积网络进行训练，利用测试集样本灰度图像对深度卷积网络进行测试，得到深度卷积网络模型；

如图3所示，所述(30)深度卷积网络模型获取步骤包括：

(31)网络参数确定：根据神经网络实验，确定网络参数，包括卷积层数、特征图数量、激活函数；

在大量实验的基础上，确定网络结构及网络参数，包括卷积层数，特征图的数量和激活函数等。实施例采用7层网络结构，包括4个卷积层和3个池化层，4个卷积层的特征图数量依次为32×32×64×64，卷积核大小为4×4，池化尺寸为2，激活函数为ReLu，代价函数为Softmax。网络结构如图4所示。

(32)网络训练：利用低冗余训练样本集灰度图像，对深度卷积网络进行训练，在前馈过程与权值调整过程中采用连续dropout策略，得到深度卷积网络模型；

采用基于dropout的深度卷积神经网络可以解决过拟合问题，采用连续dropout策略的深度卷积神经网络，则可以平衡网络泛化能力和网络精准度之间的矛盾。

所述(32)网络训练步骤包括：

(321)网络前馈:根据下式实现基于连续dropout策略的深度卷积网络前馈：

r＝epoch*n+m,

r→mask,

y^l+1＝f(z^l+1).

式中，r表示dropout值，z^l表示l层的输入，y^l表示l层的输出，w表示网络连接权值，b为偏置，f(·)为激活函数，epoch表示训练次数，n和m为分别用来调整dropout概率下降的幅度和初始值；

dropout值r设置为随着训练次数而改变的动态值，mask为根据dropout值产生的神经元抑制或激活状态。

标准网络前馈过程可以表示为：

z^l＝w^l+1y^l+b^l+1,

y^l+1＝f(z^l+1),

网络模型引入dropout之后，前馈过程变为前面所述的基于连续dropout策略的深度卷积网络前馈公式。

Dropout是在网络训练过程中将网络节点按照一定的概率r不更新，而本发明基于连续dropout策略是将定值r修改为随着训练次数而改变的动态值。

(322)权值调整:根据下式对根据dropout值产生的神经元抑制或激活状态进行权值调整：

δ^l＝w^l+1·δ^l+1·f′(z^l)·mask,

Δw^l＝Δw^l+δ^l+1(y^l)^T,

Δb^l＝Δb^l+δ^l+1,

式中，δ为神经元灵敏度，Δw为权值增量，Δb为偏置增量，k为样本数量，η为学习率，λ为权重衰减系数。

(33)网络模型测试：通过测试样本集图像对深度卷积网络模型进行性能测试。

本发明实施例在CIFAR-10，SVHN和MNIST数据集上，与其他几种现有方法进行比较，包括传统dropout网络，无dropout网络和分段dropout网络。其中分段dropout网络是将dropout按照分段函数的形式进行变化，实验中采用0.5-0.3-0.1的顺序进行变换，具体如下式所示：

图5展示了连续dropout和传统dropout在网络特征图层面上的区别。图6所示为几种方法的结果比较示例，可以看出，本发明所提连续dropout网络错误率最低。图7所示为传统dropout网络和连续dropout网络第一层卷积层的权值可视化展示，从图中可以看出，连续dropout网络所提取的特征好于传统dropout网络。图8所示为传统dropout网络和连续dropout网络的训练损失值和错误率，连续dropout网络具有更小的训练损失值和错误率，说明本发明所提网络具有更好的收敛性。图7和图8所示综合解释了连续dropout网络性能好的原因。

图9展示了连续dropout网络在不同参数下的性能示例。可以看出，不同的参数设置对网络精度的影响很大。本发明经过大量实验验证，参数设置如下：epoch＝100，n＝-0.004，m＝0.5。

(40)行人检测：利用深度卷积网络模型，对使用现场图像进行行人检测。

Claims (6)

1.一种基于深度卷积神经网络的行人检测方法，其特征在于，包括如下步骤：

(10)样本集收集：将收集到的样本集图像分为训练样本集图像与测试样本集图像两类；

(20)样本图像预处理：对训练样本集图像和测试样本集图像进行尺寸变换、对比度归一化和白化处理，得到低冗余训练样本灰度图像和低冗余测试练样本灰度图像；

(30)深度卷积网络模型获取：利用低冗余训练样本灰度图像，采用连续dropout策略，对深度卷积网络进行训练，利用测试集样本灰度图像对深度卷积网络进行测试，得到深度卷积网络模型；

(40)行人检测：利用深度卷积网络模型，对使用现场图像进行行人检测。

2.根据权利要求1所述的行人检测方法，其特征在于，所述(20)样本图像预处理步骤包括：

(21)尺寸变换：将训练样本集图像和测试样本集图像均变换成32×32像素图像；

(22)对比度归一化：将尺寸变换后的训练样本集图像和测试样本集图像进行对比度归一化；

(23)白化处理：将对比度归一化后的训练样本集图像和测试样本集图像进行白化处理，得到低冗余训练样本灰度图像和低冗余测试练样本灰度图像。

3.根据权利要求2所述的行人检测方法，其特征在于，所述(22)对比度归一化步骤具体为，根据下式对尺寸变换后的训练样本集图像和测试样本集图像进行对比度归一化：

式中，I表示原图像，表示归一化后的图像，μ和σ分别为图像均值和标准差，C为常数。

4.根据权利要求2所述的行人检测方法，其特征在于，所述(23)白化处理步骤具体为，根据下式对比度归一化后的训练样本集图像和测试样本集图像进行白化处理：

式中，x_rot,i为训练样本集数据x_i经过主分量分析变换后的数据，λ_i为分析变换后的数据对应特征值。

5.根据权利要求1所述的行人检测方法，其特征在于，所述(30)深度卷积网络模型获取步骤包括：

(31)网络参数确定：根据神经网络实验，确定网络参数，包括卷积层数、特征图数量、激活函数；

(32)网络训练：利用低冗余训练样本集灰度图像，对深度卷积网络进行训练，在前馈过程与权值调整过程中采用连续dropout策略，得到深度卷积网络模型；

(33)网络模型测试：通过测试样本集图像对深度卷积网络模型进行性能测试。

6.根据权利要求5所述的行人检测方法，其特征在于，所述(32)网络训练步骤包括：

(321)网络前馈:根据下式实现基于连续dropout策略的深度卷积网络前馈：

r＝epoch*n+m,

r→mask,

y^l+1＝f(z^l+1).

式中，r表示dropout值，z^l表示l层的输入，y^l表示l层的输出，w表示网络连接权值，b为偏置，f(·)为激活函数，epoch表示训练次数，n和m为分别用来调整dropout概率下降的幅度和初始值；

dropout值r设置为随着训练次数而改变的动态值，mask为根据dropout值产生的神经元抑制或激活状态；

(322)权值调整:根据下式对根据dropout值产生的神经元抑制或激活状态进行权值调整：

δ^l＝w^l+1·δ^l+1·f′(z^l)·mask,

Δw^l＝Δw^l+δ^l+1(y^l)^T,

Δb^l＝Δb^l+δ^l+1,

式中，δ为神经元灵敏度，Δw为权值增量，Δb为偏置增量，k为样本数量，η为学习率，λ为权重衰减系数。