CN106096561A - 基于图像块深度学习特征的红外行人检测方法 - Google Patents

Abstract

本发明涉及一种基于图像块深度学习特征的红外行人检测方法，属于图像处理与计算机视觉技术领域。该方法将数据集分为训练集和测试集，在训练阶段，首先在红外行人数据集的正负样本上滑动提取小图像块，然后进行聚类，对每一类图像块训练一个卷积神经网络。然后用训练好的卷积神经网络组对正负样本进行特征提取，并训练SVM分类器。在测试阶段，首先对测试图像提取感兴趣区域，然后对感兴趣区域使用训练好的卷积神经网络组提取特征，最后利用SVM分类器进行预测。本发明以检验每个感兴趣区域是否属于行人区域的方式，达到行人检测的目的，能够在检测场景复杂、环境温度较高、行人尺度姿态差异大等情况下准确的检测出红外图像中的行人，并为后续智能视频等相关领域的研究提供支持。

Description

基于图像块深度学习特征的红外行人检测方法

技术领域

本发明属于图像处理与计算机视觉技术领域，涉及一种基于图像块深度学习特征的红外行人检测方法。

背景技术

近年来，智能视频分析已经成为计算机视觉领域的一项重要任务。现阶段，对于众多应用来说，智能视频分析是一项至关重要的技术，包括机器人学、智能交通监视、自动驾驶技术、行为识别等。在智能视频分析的应用中，行人检测是一项十分有意义的工作，它能提供应用场景中最为重要的元素——“人”的位置。

长期以来，可见光中的行人检测一直是一个热点问题。然而，在不同场景、光照情况甚至是不同的着装下，行人的外观差异可能较大。而红外图像对这一类因素的影响却显得较为不敏感，因为它们是目标物体热辐射的一个反映，在复杂的光照场景中也有很强的表现能力。因此，合理利用红外图像的优势，可以很好的提高检测效果。然而，和可见光相比，红外图像也存在部分缺陷，可见光图像中的部分细粒度的特征，例如纹理特征不能在红外图像中得到很好地体现。因为通常情况下，一个目标物体的温度几乎是恒定的。细粒度特征在检测与识别任务中起到重要作用，这类特征的缺失，对检测结果会造成一定的影响。这是红外图像领域中需要解决的问题。

红外行人检测方法主要由候选区域产生、特征提取、分类三个部分组成。现阶段红外图像中候选区域产生的主要方法是通过阈值分割出前景。但这种方法受温度影响较大，尤其是在夏天和白天温度较高的情况下，行人的平均亮度并不高于背景,很容易导致行人难以被检测。另一种常用于行人检测的候选区域提取方式是使用滑动窗口，这种方式的准确率较高，但是计算量很大，十分耗时。在特征提取方面，现阶段红外行人检测中常用的特征是HOG特征以及其他基于形状的特征。这一类特征的提取符合红外图像的特性，但是所提供的信息过少。近年来，相关算法提出将基于深度学习的特征用于红外行人检测，但由于目前红外行人图像的数据集规模过小，此类特征难以具有通用性。因此，目前红外行人检测任务的研究重点就是寻找有效的候选区域检测算法和鲁棒的特征表达方式。

发明内容

有鉴于此，本发明的目的在于提供一种基于图像块深度学习特征的红外行人检测方法，该方法将可见光图像候选区域选择算法应用到了红外图像的似人性区域检测中，并结合红外图像的特点，对卷积神经网络进行了改进。该方法使深度学习算法同样适用于数据集规模较小的情况，并能够有效的检测出复杂场景中的行人，提高了红外行人检测的准确率。

为达到上述目的，本发明提供如下技术方案：

一种基于图像块深度学习特征的红外行人检测方法，该方法包括以下步骤：

步骤1：将数据集分为训练集和测试集；对于训练集数据，提取图像中的人工标注的正样本，然后随机采样若干区域作为负样本；将正负样本区域放缩到统一大小，然后采用滑动窗口提取固定尺度的小图像块；

步骤2：对正样本产生的小图像块进行特征提取，然后对提取到的特征进行聚类，聚类中心数量为k；

步骤3：将聚类后得到的每一类小图像块作为正样本，结合步骤1得到的负样本的小图像块，训练k个二分类的卷积神经网络；

步骤4：对步骤1中由训练集产生的正负样本使用步骤3得到的神经网络提取特征，然后训练SVM分类器；

步骤5：对于测试集数据，提取图像的似人性区域；

步骤6：将步骤5中提取到的似人性区域放缩到统一大小，使用步骤3得到的神经网络提取特征，通过步骤4的SVM分类器得到分类结果。

进一步，在步骤1中，所述对图像进行负样本的采样，采样的区域的宽度和高度大小的范围由正样本的最大(最小)宽度和高度决定，并且负样本的区域与正样本的重叠率不能超过0.5，重叠率的计算公式为：

$IoU=\frac{area\left(r_g\right)\∩area\left(r_n\right)}{area\left(r_g\right)\∪area\left(r_n\right)}$

其中IoU为重叠率，r_g为正样本区域，r_n为随机采样负样本区域。

进一步，在步骤2中，所述对正样本的小图像块提取特征聚类的过程包括以下步骤：

1)、对每一个小区域块提取HOG特征

HOG特征提取步骤为：首先将图像分成小的细胞单元，然后在每个细胞单元上计算梯度直方图，并使用一种逐块的模式来归一化计算的结果，最后对每一个细胞单元返回相应的特征描述子；

2)、采用K-Means++算法进行聚类

K-Means++算法是一种基于K-Means的改进算法，该聚类算法包括两步步骤：

21)、聚类中心的选择：

首先从输入的特征集合中随机选择一个特征，作为第一个聚类中心，对于每一个特征计算它与最近的聚类中心(已选择的聚类中心)的距离，并选择一个新的特征作为新的聚类中心，选择的原则是离已有中心距离较大的特征，被选取作为聚类中心的概率较大，重复选择特征，直到k个聚类中心被选择出来；

22)、K-Means算法

在确定了k个聚类中心以后，使用标准的K-Means算法，根据每个聚类中心，计算每个特征到这些聚类中心的距离，并根据最小距离对所有的特征进行划分，再重新计算每个类的中心，并重新分类，重复上述过程，直到标准测度函数收敛，分类结束。

进一步，在步骤3中，所述的训练卷积神经网络的过程为：首先，构造一个适合于数据集规模的卷积神经网络，所述的网络为卷积层和抽样层交替出现，输出层为softmax分类器层的多层网络，再利用反向传播算法传递误差信号，更新梯度，寻找最优值。

进一步，在步骤4中，所述的对正负样本提取神经网络特征训练SVM分类器的过程为：对于单个区域，滑动提取n个小图像块，然后使用步骤3所得的k个卷积神经网络对每个小图像块依次提取特征，最终生成一个k×n维的特征描述子；将由卷积神经网络特征描述后的正负样本区域用来训练SVM分类器，学习得到最优权重和偏差值。

进一步，在步骤5中，所述的提取图像的似人性区域的算法，采用选择性搜索算法(Selective Search)，该算法的步骤为：首先，利用图像分割算法得到初始化小区域，然后使用颜色、纹理、大小、填充等多种策略将区域合并，得到一个分层的图像结构，最后用结构中的所有层代表最终的感兴趣区域。

进一步，在步骤6中，所述的对似人性区域进行分类，首先，将似人性区域调整尺寸大小后，采用与步骤4所提出的相同的特征提取算法，然后应用步骤4训练得到的SVM分类器对测试集数据的似人性区域进行分类，得到测试集数据的检测结果。

本发明的有益效果在于：1)本发明解决了现有红外图像感兴趣区域选择算法效果不佳的问题。摈弃了传统的依赖于行人与背景温度差异的方法，采用了具有通用性的似物性检测算法。该方法使得即使在环境温度与人体温度差别不大的情况下，获得的感兴趣区域也十分准确。2)本方法利用分块特征提取的思想，有效的解决了目前红外数据集数据量欠缺的问题，同时获取了图片中更加详细的信息。该方法改善了目前红外行人检测算法在检测场景复杂、环境温度较高、行人尺度姿态差异大的情况下检测不准确的情况。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明基于图像块深度学习特征的红外行人检测方法的示意图；

图2为基于图像块卷积神经网络训练示意图；

图3为感兴趣区域提取结果图；

图4为基于图像块深度学习特征的红外行人检测方法检测结果图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

图1为本发明基于图像块深度学习特征的红外行人检测方法示意图，如图所示，本发明所述方法具体包括以下步骤：

步骤1，将数据集分为训练集和测试集；对于训练集数据，提取图像中的人工标注的正样本，然后随机采样若干区域作为负样本。将正负样本区域放缩到统一大小，然后采用滑动窗口提取固定尺度的小图像块。

步骤1进一步包括以下步骤：

步骤11，对图像进行负样本的采样，采样的区域的宽度和高度大小的范围由正样本的最大(最小)宽度和高度决定，并且负样本的区域与正样本的重叠率不能超过0.5，重叠率的计算公式为：

$IoU=\frac{area\left(r_g\right)\∩area\left(r_n\right)}{area\left(r_g\right)\∪area\left(r_n\right)}$

其中IoU为重叠率，r_g为正样本区域，r_n为随机采样负样本区域。

步骤12，将正负样本缩放到统一大小。红外数据集的分辨率是293×256，根据数据集的行人的尺度大小分布，设定缩放的尺度为高90像素，宽30像素。根据放缩的尺度以及实验对比结果，滑动窗口的大小为20×20，滑动步长为10。

图2为基于图像块卷积神经网络训练示意图，如图所示，基于图像块卷积神经网络训练分为小图像块聚类和卷积神经网络训练两个步骤：

步骤2，所述对正样本的小图像块提取特征聚类的过程采用以下方式进行：

步骤21，对每一个小区域块提取HOG特征，首先将图像分成小的细胞单元，然后在每个细胞单元上计算梯度直方图，并使用一种逐块的模式来归一化计算的结果，最后对每一个细胞单元返回相应的特征描述子。

步骤22，采用K-Means++算法进行聚类，首先从输入的特征集合中随机选择一个特征，作为第一个聚类中心。对于每一个特征计算它与最近的聚类中心(已选择的聚类中心)的距离，并选择一个新的特征作为新的聚类中心。选择的原则是离已有中心距离较大的特征，被选取作为聚类中心的概率较大。重复选择特征，直到k个聚类中心被选择出来。在确定了k个聚类中心以后，使用标准的K-Means算法：根据每个聚类中心，计算每个特征到这些聚类中心的距离，并根据最小距离对所有的特征进行划分；重新计算每个类的中心，并重新分类；重复上述过程，直到标准测度函数收敛，分类结束。

步骤3，训练k个卷积神经网络，如图2所示，将每类小图像块，结合负样本小图像块，分别训练卷积神经网络。首先，构造一个适合于数据集规模的卷积神经网络。本发明的网络为三个卷积层和抽样层交替出现，最后的输出层为softmax分类器层的多层网络，以二分类的结果来表示图像块属于前景行人可能性的大小。然后，利用反向传播算法传递误差信号，更新梯度，寻找最优值。

步骤4，对于所述的对由训练集数据产生的正负样本提取神经网络特征，并训练SVM分类器的过程为：特征提取阶段，对于单个区域，滑动提取n个小图像块，然后使用步骤3所得的k个卷积神经网络对每个小图像块依次提取特征，最终生成一个k×n维的特征描述子；将由卷积神经网络特征描述后的正负样本区域用来训练SVM分类器，学习得到最优权重和偏差值。

在步骤5中，对于步骤5所述的提取图像的似人性区域的算法，采用选择性搜索算法(Selective Search)，该算法的步骤为：首先，利用图像分割算法得到初始化小区域。然后使用颜色、纹理、大小、填充等多种策略将区域合并，得到一个分层的图像结构。最后用结构中的所有层代表最终的感兴趣区域。

图3是感兴趣区域提取的部分结果图。从图3可以看出，通过步骤5提取的感兴趣区域虽然包含了的行人的区域，但是除此之外还包含了大量的背景区域以及部分行人区域，因此，需要一种有效的特征描述子。

步骤6，对于所述的对似人性区域进行分类，首先采用与步骤4所提出的相同的特征提取算法，然后应用步骤4训练得到的SVM分类器对测试集数据的似人性区域进行分类，得到测试集数据的检测结果。

图4为该方法的检测结果示意图，从图4可以看出，该方法可以很好的检测出环境温度与人体温度差异较小，甚至是环境温度高于人体温度情况下的行人。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (7)

1.一种基于图像块深度学习特征的红外行人检测方法，其特征在于：该方法包括以下步骤：

步骤1：将数据集分为训练集和测试集；对于训练集数据，提取图像中的人工标注的正样本，然后随机采样若干区域作为负样本；将正负样本区域放缩到统一大小，然后采用滑动窗口提取固定尺度的小图像块；

步骤2：对正样本产生的小图像块进行特征提取，然后对提取到的特征进行聚类，聚类中心数量为k；

步骤3：将聚类后得到的每一类小图像块作为正样本，结合步骤1得到的负样本的小图像块，训练k个二分类的卷积神经网络；

步骤4：对步骤1中由训练集产生的正负样本使用步骤3得到的神经网络提取特征，然后训练SVM分类器；

步骤5：对于测试集数据，提取图像的似人性区域；

步骤6：将步骤5中提取到的似人性区域放缩到统一大小，使用步骤3得到的神经网络提取特征，通过步骤4的SVM分类器得到分类结果。

2.根据权利要求1所述的一种基于图像块深度学习特征的红外行人检测方法，其特征在于：在步骤1中，所述对图像进行负样本的采样，采样的区域的宽度和高度大小的范围由正样本的最大(最小)宽度和高度决定，并且负样本的区域与正样本的重叠率不能超过0.5，重叠率的计算公式为：

$IoU=\frac{area\left(r_g\right)\∩area\left(r_n\right)}{area\left(r_g\right)\∪area\left(r_n\right)}$

其中IoU为重叠率，r_g为正样本区域，r_n为随机采样负样本区域。

3.根据权利要求1所述的一种基于图像块深度学习特征的红外行人检测方法，其特征在于：在步骤2中，所述对正样本的小图像块提取特征聚类的过程包括以下步骤：

1)、对每一个小区域块提取HOG特征

HOG特征提取步骤为：首先将图像分成小的细胞单元，然后在每个细胞单元上计算梯度直方图，并使用一种逐块的模式来归一化计算的结果，最后对每一个细胞单元返回相应的特征描述子；

2)、采用K-Means++算法进行聚类

K-Means++算法是一种基于K-Means的改进算法，该聚类算法包括两步步骤：

21)、聚类中心的选择：

首先从输入的特征集合中随机选择一个特征，作为第一个聚类中心，对于每一个特征计算它与最近的聚类中心(已选择的聚类中心)的距离，并选择一个新的特征作为新的聚类中心，选择的原则是离已有中心距离较大的特征，被选取作为聚类中心的概率较大，重复选择特征，直到k个聚类中心被选择出来；

22)、K-Means算法

在确定了k个聚类中心以后，使用标准的K-Means算法，根据每个聚类中心，计算每个特征到这些聚类中心的距离，并根据最小距离对所有的特征进行划分，再重新计算每个类的中心，并重新分类，重复上述过程，直到标准测度函数收敛，分类结束。

4.根据权利要求1所述的一种基于图像块深度学习特征的红外行人检测方法，其特征在于：在步骤3中，所述的训练卷积神经网络的过程为：首先，构造一个适合于数据集规模的卷积神经网络，所述的网络为卷积层和抽样层交替出现，输出层为softmax分类器层的多层网络，再利用反向传播算法传递误差信号，更新梯度，寻找最优值。

5.根据权利要求1所述的一种基于图像块深度学习特征的红外行人检测方法，其特征在于：在步骤4中，所述的对正负样本提取神经网络特征训练SVM分类器的过程为：对于单个区域，滑动提取n个小图像块，然后使用步骤3所得的k个卷积神经网络对每个小图像块依次提取特征，最终生成一个k×n维的特征描述子；将由卷积神经网络特征描述后的正负样本区域用来训练SVM分类器，学习得到最优权重和偏差值。

6.根据权利要求1所述的一种基于图像块深度学习特征的红外行人检测方法，其特征在于：在步骤5中，所述的提取图像的似人性区域的算法，采用选择性搜索算法(SelectiveSearch)，该算法的步骤为：首先，利用图像分割算法得到初始化小区域，然后使用颜色、纹理、大小、填充等多种策略将区域合并，得到一个分层的图像结构，最后用结构中的所有层代表最终的感兴趣区域。

7.根据权利要求1所述的一种基于图像块深度学习特征的红外行人检测方法，其特征在于：在步骤6中，所述的对似人性区域进行分类，首先，将似人性区域调整尺寸大小后，采用与步骤4所提出的相同的特征提取算法，然后应用步骤4训练得到的SVM分类器对测试集数据的似人性区域进行分类，得到测试集数据的检测结果。