CN107657225B - 一种基于聚合通道特征的行人检测方法 - Google Patents

Abstract

本发明公开了一种基于聚合通道特征的行人检测方法，属于数字图像处理技术领域。本发明利用基于聚合通道特征的行人检测方法训练多个模型，即大、小窗口模型，来解决使用单一模型所造成的误检漏检问题。并且在使用非极大值抑制算法进行窗口抑制过程中，提升大窗口模型所检测到的窗口的置信度，同时根据大、小模型的滑窗尺度比更新非极大值抑制阈值，从而抑制误检为小目标的身体部位。相比较于采用单一模型的基于聚合通道特征的行人检测方法，本发明能够有效降低误检、漏检率，并且能够达到实时的要求。

Description

一种基于聚合通道特征的行人检测方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于聚合通道特征的行人检测方法。

背景技术

随着经济和科学技术的飞速发展，人们对生活质量的要求也越来越高，智能化生活成为人们追求的生活方式。其中，智能交通，智能监控是重要组成部分，也是当今计算机视觉领域的一大研究热点。行人作为智能交通和智能监控领域的主要目标物之一，其检测技术，尤其是基于图像处理的行人检测技术的发展与该领域的智能化实现具有紧密的联系。

目前，基于图像处理的行人检测方法主要分为两类。

(1)特征结合分类器的检测方法：

目前基于特征和分类器分方法有很多，这类方法首先根据行人目标设计能够有效区分行人与非行人的特征，常用的有Haar-like特征、LBP(局部纹理)、HOG(梯度方向直方图)、颜色空间特征、边缘信息等，或者将多种特征相结合，例如ICF(积分通道特征)、ACF(聚合通道特征)等。分类器多采用SVM、Adaboost等。主流方法有：HOG+SVM方法、ICF+Adaboost方法、DPM+LSVM方法、ACF+Adaboost方法。

(2)深度学习方法：

基于深度学习的检测方法主要采用卷积神经网络来实现，这类方法针对多目标检测，目前，此类方法主要有Faster RCNN，SSD等方法。但是这类算法计算量大，对硬件要求比较高。

在行人检测领域，行人目标多尺度问题是检测一大难点，目前多采用两种方式来应对该问题，一种是多采用单一模板在特征金字塔上滑窗的方式，另外一种是采用多个模板在单层特征上滑窗的方式。但是由于多模型训练时间长，检测效率低等原因，多采用第一种方式。其中，在行人检测领域的优秀算法ACF，就采用了单一模型结合特征金字塔的方式。但是采用单一模型，由于固定了模型的尺度，存在以下问题：

基于滑窗的模型匹配方法，只能检测到大于该模型尺度的目标，在需要检测小目标的应用场合，若采用的模型尺度较大，会造成大量的漏检。

若基于上述问题，单纯的减小模型的尺度，又会因小尺度模型所包含特征数减少而造成大量的误检问题，同时单纯使用小尺度模型也会造成金字塔特征尺度多，检测速度慢，难以达到实时的要求。

发明内容

本发明的发明目的在于：针对传统的检测方法，改进使用单一模型的聚合通道算法(ACF)，提出一种基于多模型的聚合通道特征的行人检测方法，将多模型与ACF相结合，并提出一种融合模型尺度比信息的非极大值抑制算法，从而大大降低漏检与误检率。

本发明的基于聚合通道特征的行人检测方法，包括下列步骤：

步骤S1：设置大尺度模型和小尺度模型，其中大尺度模型的滑窗尺度小于图像中行人目标的分辨率，小尺度模型的滑窗小于或等于图像中期望检测到的小目标尺度(预设值)；

步骤S2：输入训练样本，按照步骤S1设置的大小模型尺寸抽取正样本中的行人目标窗口，以及负样本的随机窗口，并对所提取的窗口(行人目标窗口和随机窗口)进行聚合通道特征(AFC)提取，得到正负训练样本特征向量；

步骤S3：训练强分类器：采用决策树作为弱分类器，根据正负训练样本特征向量，通过多次分类组合训练，最终由各个弱分类器加权形成应用于行人目标的强分类器；

步骤S4：计算待检测图像的图像金字塔，采用步骤S2相同的提取特征方式，对图像金字塔的各图像层进行聚合通道特征提取，得到各图像层的特征向量；

并将图像金字塔按图像层分为上下两部分，对上部分的采用大尺度模型进行滑窗检测，得到大尺度目标窗口的置信度S_L；对下部分采用小尺度模型进行滑窗检测，得到小尺度目标窗口置信度S_S；

步骤S5：基于目标窗口的置信度，对大小尺度模型检测到的目标窗口分别采用非极大值抑制法(NMS)进行重叠抑制；

再更新

其中

表示小尺度目标窗口置信度S_S中的最大值；

计算融合模型尺度比信息的抑制阈值

其中T_L表示重叠抑制处理时的大尺度目标窗口的置信度S_L的非极大值抑制阈值，h_L和h_S分别表示大尺度模型和小尺度模型的滑窗窗口高度；

基于抑制阈值T对所有目标窗口进行非极大值抑制处理，得到最终检测结果。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

(1)将多模型与基于聚合通道特征的行人检测算法(ACF+Adaboost)相结合，解决了ACF+Adaboost行人检测方法使用单一模型所造成的对小尺度行人目标的漏检误检问题，尤其是行人尺度跨度大的图像，并且提高了检测速度。

(2)提出了一种融合模型尺度比信息的非极大值抑制算法，根据多模型检测的特点，在运用非极大值抑制算法进行窗口抑制时，对传统的NMS算法进行改进，提升大窗口模型的目标窗口置信度，并采用融合了两种模型尺度的新阈值。通过此方法，有效抑制了误检为小目标的身体部位，大大降低了误检率。

附图说明

图1是基于多模型和聚合通道特征的行人检测处理流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

本发明的一种基于多模型的聚合通道特征的行人检测方法，利用基于聚合通道特征的行人检测方法(ACF+Adaboost)训练多个模型，用这多个模型结合特征金字塔，来解决ACF+Adaboost算法中使用单一模型所造成的误检漏检问题。并针对多模型，在窗口融合部分，创新性地采用融合模型尺度比信息的非极大值抑制算法。参见图1，其具体实施步骤如下。

步骤1.训练多个模型：

根据实际应用，采用ACF+Adaboost算法分别训练大尺度模型(通常将尺度设置为高128像素，宽60像素，具体应用应根据实际情况设置)和小尺度模型(通常将尺度设置为高64像素，宽32像素，具体应用应根据实际情况设置)，根据实际需要，大尺度模型的滑窗尺度最好小于图像中期望检测到的最大行人目标的尺度(即图像中行人目标的分辨率)，小尺度模型的滑窗应小于等于图像中期望检测到小目标尺度。详细训练过程：

(1)采集训练样本。正样本中包括行人目标以及每个行人目标的标注信息(groundtruth)，负样本中无行人目标。

(2)计算样本特征。按照设置的模型尺寸抽取正样本中的行人目标窗口，以及负样本的随机窗口，并对这些正负样本窗口提取聚合通道特征(ACF)，得到正负训练样本特征向量。本具体实施方式中，提取的ACF包括LUV颜色通道特征、HOG特征和梯度幅值HIST特征。

(2-a)计算LUV颜色通道特征(L^*，u^*，v^*)：

首先，将待提取对象从RBG颜色空间转换到XYZ颜色空间：

然后，再从XYZ颜色空间转换到LUV颜色空间：

令

则基于L^*可计算得到参量u^*＝13*L**(u'-u_n')，v^*＝13*L^**(v'-v_n')，其中，

(2-b)计算HOG特征和梯度幅值HIST特征：

首先，使用一阶差分算子[-1,0,1]和[-1,0,1]^T分别计算图像在x和y方向上的梯度：r_x(x,y)＝I(x+1,y)-I(x-1,y)，r_y(x,y)＝I(x,y+1)-I(x,y-1)，其中，(x,y)表示像素坐标。

然后，计算梯度幅值r(x,y)和梯度方向θ(x,y)：

再将360度分为6个方向，分别计算每个方向内的像素梯度幅值分布直方图，获得6个方向的梯度通道特征，再将每一个特征通道划分为大小为4x4的块(block)，然后对每个块进行累加求得聚合通道特征。

(3)训练AdaBoost分类器。采用决策树作为弱分类器，根据正负训练样本特征向量，通过多次分类组合训练，最终由各个弱分类器加权形成应用于行人目标的强分类器。

步骤2.多个模型协同检测：

对待检测图像，应用ACF+Adaboost算法计算图像特征金字塔，每层特征向量包括LUV颜色通道、6个方向的梯度方向直方图特征HOG以及梯度幅值特征HIST共10个通道特征。在特征金字塔的小尺度特征层采用大尺度模型进行滑窗检测，主要负责检测图像中的小尺度行人目标，将大尺度模型应用于金字塔的小尺度特征层进行滑窗检测，本发明中将小尺度模型应用于金字塔第一层和第二层，其他特征层应用大尺度模型，可根据实际应用灵活设置大小模型的应用范围。

步骤3.重叠窗口抑制：

由于在同一个特征金字塔中使用了不同模型，不同分类器检测出的窗口置信度不一致，不能对所有窗口统一使用非极大值抑制算法。另外，经过试验观察到，ACF+Adaboost方法误检的小目标(目标窗口)大部分是大目标的手臂、脚等身体部位。所以，本发明采用的解决方案如下：

首先，对不同模型检测到的目标窗口分别使用非极大值抑制算法(NMS)进行重叠抑制，其中NMS是一种常用于目标检测领域的窗口融合算法，该算法采用贪心剔除策略，首先对所有窗口按分类器置信度排序，依次取置信度最高的窗口，对低于该窗口置信度的其他窗口，计算两者之间的重叠面积，抑制掉重叠面积大于所设定的阈值的低置信度窗口。

然后，提升大窗口模型检测到的窗口置信度，以便于抑制误检为小目标的身体部位，提升后的目标窗口置信度

其中S_L为大窗口模型所检测到的目标窗口的置信度，

为小窗口模型的所有目标窗口置信度的最大值。

最后，根据两种模型的尺度计算融合模型尺度比信息的抑制阈值T，以该阈值对所有窗口进行非极大值抑制。其中

T_L表示大尺度目标窗口的置信度S_L的非极大值抑制阈值，h_L和h_S分别表示大尺度模型和小尺度模型的滑窗窗口高度。

通过实验测试，与采用单一模型的基于聚合通道特征的行人检测方法相比，本方法能够快速有效的检测小尺度行人目标，并大大降低了误检率。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (4)

1.一种基于聚合通道特征的行人检测方法，其特征在于，包括下列步骤：

步骤S1：设置第一尺度模型和第二尺度模型，其中第一尺度模型的滑窗尺度小于图像中行人目标的分辨率，第二尺度模型的滑窗小于或等于图像中期望检测到的第二目标尺度，所述第二目标尺度为预设值，且第一尺度模型的尺度大于第二尺度模型；

步骤S2：输入训练样本，按照步骤S1设置的第一、二尺度模型尺寸抽取正样本中的行人目标窗口，以及负样本的随机窗口，并对所提取的窗口进行聚合通道特征提取，得到正负训练样本特征向量；

步骤S3：训练强分类器：采用决策树作为弱分类器，根据正负训练样本特征向量，通过多次分类组合训练，最终由各个弱分类器加权形成应用于行人目标的强分类器；

步骤S4：计算待检测图像的图像金字塔，采用步骤S2相同的提取特征方式，对图像金字塔的各图像层进行聚合通道特征提取，得到各图像层的特征向量；

并将图像金字塔按图像层分为上下两部分，对上部分采用第一尺度模型进行滑窗检测，得到第一尺度目标窗口的置信度S_L；对下部分采用第二尺度模型进行滑窗检测，得到第二尺度目标窗口置信度S_S；

步骤S5：基于目标窗口的置信度，对第一、二尺度模型检测到的目标窗口分别采用非极大值抑制法进行重叠抑制；

再更新

其中

表示第二尺度目标窗口置信度S_S中的最大值；

计算融合模型尺度比信息的抑制阈值

其中T_L表示重叠抑制处理时的第一尺度目标窗口的置信度S_L的非极大值抑制阈值，h_L和h_S分别表示第一尺度模型和第二尺度模型的滑窗窗口高度；

基于抑制阈值T对所有目标窗口进行非极大值抑制处理，得到最终检测结果。

2.如权利要求1所述的方法，其特征在于，步骤S4中，下部分包括图像金字塔的第一和第二层。

3.如权利要求1所述的方法，其特征在于，聚合通道特征包括LUV颜色通道特征、HOG特征和梯度幅值HIST特征。

4.如权利要求1所述的方法，其特征在于，第一尺度模型的尺度为：高128像素，宽60像素；第二尺度模型的尺度为：高64像素，宽32像素。

Images