CN104715238B - 一种基于多特征融合的行人检测方法 - Google Patents

Abstract

本发明公开了一种基于多特征融合的行人检测方法，该方法包括如下步骤：对获取的深度图像进行降噪处理；利用深度阈值实现感兴趣区域检测；在获取HOG‑LBP联合特征的基础上，利用分类器实现目标检测。本发明依据一种基于多特征融合的行人检测方法，将HOG和LBP的融合特征用支持向量机分类进行分类。本发明具有更强的行人表征能力，在复杂背景下行人检测正确率明显提高。

Description

一种基于多特征融合的行人检测方法

技术领域

本发明涉及一种行人跟踪方法，尤其涉及一种基于多特征融合的行人跟踪方法。

背景技术

行人检测在视频监控、机器人学、虚拟现实等领域有着广泛的应用，也是计算机视觉和模式识别领域中的重要研究方向。不同的身材、姿势、衣着、光照，复杂的背景场景及摄像头自身的移动和晃动，这都是行人检测问题的难点。如何快速、准确地从视频或图像背景中将行人检测出来，仍是目前的一个研究热点。

目前的行人检测方法可以分为以下三类：基于运动特性的行人检测、基于多部位模板匹配的行人检测、基于机器学习的行人检测。

基于运动特性的行人检测，是在对多幅连续图像进行检测和分析的基础上，实现目标检测。如Vola等人提出使用连续两帧图像间上、下、左、右的位移差值，作为行人运动特征的描述。这种方法的优势在于它不易受外观变化，如光照情况、衣着颜色等；而它的不足之处在于需一系列连续的图片及运动的目标，实时性不佳且无法识别出静止的行人。

基于多部位模板匹配的行人检测，这种方法首先利用模板匹配实现人体各个部位的检测，如腿、头部等；然后，将这些部位的检测结果综合成对行人的检测。这类方法的有点在于能较好地解决遮挡问题；而它的不足之处在于实时性欠佳，且由于行人的高矮胖瘦、运动姿势等方面的不同，会导致检测率的降低。这类方法中的模板匹配包括固定模板与可变形模板，如Zhao和Masoud提出的基于轮廓模型的目标跟踪能依据目标轮廓的运动进行模板的自我修正。

基于机器学习的行人检测，是通过特征提取和分类学习进行行人检测。这种方法能解决因外形差异、运动姿势等引起的漏检、误检问题。特征提取是这个方法的核心之一，如何提取高效的，能够迅速准确的区分出行人的特征是一个关键问题。

发明内容

本发明目的在于克服现有行人跟踪方法的不足，提供了一种基于多特征融合的行人跟踪方法，该方法是将HOG和LBP的融合特征用支持向量机分类进行分类，具有更强的行人表征能力，在复杂背景下行人检测正确率明显提高。

方法流程：

步骤1：对得到的深度图像进行降噪处理，以获得清晰的深度图像信息；

步骤2：基于阈值方法实现深度图像感兴趣区域检测，以获得图像目标的区域位置信息；

步骤3：基于HOG-LBP特征，实现图像目标的检测。

本发明是基于动态阈值实现深度图像的降噪，包括：

(1)将原图像分割成若干个子图像，其中为保留图像边缘、纹理等细节特征的连续性，各子图像间存在一定的区域重叠，且自动设定重叠区域的大小。

(2)构造一种自适应识别边缘区域与非边缘区域；由于边缘、纹理等细节特征仅占整幅图像的很小一部分，且梯度直方图中边缘区域与非边缘间并无明显界限，因而并不能直接通过灰度直方图双峰实现梯度直方图的分割，而是在梯度直方图特性的基础上，构造一种自适应识别边缘区域与非边缘区域的方法。

(3)自适应动态阈值是相对的，在全局最优原则下，按照子图像的局部特征，确定不同图像区域的阈值。动态阈值的优点是可兼顾整体最优与局部细节，具有很好的实用性。

本发明采用基于阈值的方法实现感兴趣区域的检测，该方法包括以下两个步骤：一是计算行人的深度距离；二是选择合适的阈值，实现感兴趣区域的检测。具体过程包括：

(1)设Kinect返回行人头肩某一像素点的深度值为d_v，摄像头的最大视野距离为L_max，则根据Kinect的校准过程，可求得行人头肩实际的距离深度值为：

d＝ktan(d_t/L_max+1.187)-s

通过实际距离与深度值的转换，可求得行人头肩某一像素点(i,j,d)的实际坐标(x,y,z)，进而求得行人的深度距离。

(2)通过距离与灰度值的换算关系,设置合适的阈值，实现感兴趣区域的检测。

本发明是基于HOG-LBP特征，实现图像目标的检测，其具体实现过程包括：

(1)分别提取HOG特征和LBP特征；

(2)利用分类器实现目标检测。

本发明应用于视频监控、机器人学、虚拟现实技术领域。

有益效果：

1、本发明依据一种基于多特征融合的行人检测方法，将HOG和LBP的融合特征用支持向量机分类进行分类，更好地实现了向量机分类。

2、本发明提出的方法具有更强的行人表征能力，在复杂背景下行人检测正确率明显提高。

附图说明

图1为本发明的深度成像获取过程示意图。

图2为本发明的深度成像原理图。

图3为本发明的相同梯度对应不同的局部结构示意图。

图4为本发明的方法流程图。

具体实施方式

下面结合说明书附图对本发明创造作进一步的详细说明。

本发明提供了一种基于多特征融合的行人检测方法，该方法首先利用Kinnect获取深度图像，并对深度图像进行降噪处理；然后基于深度阈值的方法实现感兴趣区域的检测；最后提取HOG-LBP联合特征，并用SVM分类器实现目标检测。

本发明的基于多特征融合的行人检测方法的一个优选实施方式，具体包括以下步骤：

步骤1、利用Kinnect获取深度图像，并对深度图像进行降噪处理。

(1)深度成像的获取过程如图1所示，其具体过程如下描述：

标定；首先在距光源的多个位置，分别用CMOS感光元件采集散斑图案；然后，分别记录这些参考图像的位置(如图2所示的x₁，x₂，x₃，x₄)，完成标定。

取样；当物体在场景中运动时，会在物体表面形成新的散斑，且得到的散斑与所有参考图像的散斑均不同，如图2中物体V、W形成的散斑是Z_A和Z_B。

定位；将测试图像与所有参考图像分别计算相关系数，选取产生相关系数最大的参考图像，即物体在该参考图像所在位置的可能性最大，如图2中V物体的散斑位置x_A与x₂处参考图像的相关系数最大，即认为V物体在x₂位置；同理，W物体在x₃位置。

重建；首先，根据所选参考图像与光源间的标定关系，通过几何变换得到物体到光源的距离，依此构建3D图像，并归一化；然后，进行灰度转换，并将生成的深度图像输出；最后，继续执行第2步，最终得到连续不断的深度图像视频流。

(2)深度图像的预处理，利用自适应阈值的中值滤波去除深度图像的噪声。

将原图像分割成若干个子图像。为保留图像边缘、纹理等细节特征的连续性，分割图像时，要使子图像间存在一定的区域重叠，且按梯度直方图统计特性，自动设定各子图像与重叠区域的比值。

计算子图像中各个像素(i,j)八邻域内四个方向的一阶偏导，以确定各个像素(i,j)的梯度值N(i,j)：

上式中的P_x(i,j)、P_y(i,j)、P₄₅(i,j)、P₁₃₅(i,j)分别表示x方向、y方向、45°方向、135°方向的一阶偏导：

统计如上述公式2所示梯度的直方图，对图像进行自适应平滑滤波。

由于边缘、纹理等细节特征仅占整幅图像的很小一部分，且梯度直方图中边缘区域与非边缘间并无明显界限，因而并不能直接通过灰度直方图双峰实现梯度直方图的分割，而是在梯度直方图特性的基础上，构造一种自适应识别边缘区域与非边缘区域的方法。

自适应动态阈值是相对的，在全局最优原则下，按照子图像的局部特征，确定不同图像区域的阈值。若T_o和T_l分别是某一图像的全局阈值和某一子图像的局部阈值，则该子图像的分割阈值T为：

T＝(1-α)T_img+αT_t (3)

上式中，0<α<1为阈值调整率：α＝0表示不做调整，α＝1表示利用局部特征平滑图像。动态阈值的优点是可兼顾整体最优与局部细节，具有很好的实用性。

步骤2：基于深度阈值的方法实现感兴趣区域的检测；

在图像处理中，将前景目标所在区域称为感兴趣区域。为实现目标识别和行为分析，首先需将前景目标所在区域从背景中提取出来，并在此基础上进行后续的特征提取、目标检测、行为识别等操作。

本发明采用基于阈值的方法实现感兴趣区域的检测，该方法包括以下两个步骤：一是计算行人的深度距离；二是选择合适的阈值，实现感兴趣区域的检测。具体过程如下：

(1)设Kinect返回行人头肩某一像素点的深度值为d_v，摄像头的最大视野距离为L_max，则根据Kinect的校准过程，可求得行人头肩实际的距离深度值为：

d＝ktan(d_t/L_max+1.187)-s (4)

通过实际距离与深度值的转换，可求得行人头肩某一像素点(i,j,d)的实际坐标(x,y,z)，进而求得行人的深度距离。

(2)通过距离与灰度值的换算关系设置合适的阈值，实现感兴趣区域的检测。

步骤3：提取HOG-LBP联合特征，并用SVM分类器对特征样本进行训练。

(1)HOG特征是一种图像局部区域描述符，它通过计算图像局部区域的梯度方向直方图来描述人体特征。HOG特征提取过程主要包括以下五个步骤：标准化颜色空间、计算梯度的大小与方向、统计空间与方向的梯度、归一化处理重叠块、级联特征向量。

利用公式(2)分别计算像素点(i,j)水平方向和垂直方向的梯度P_x(i,j)和P_y(i,j)，利用公式5分别计算像素点(i,j)的梯度幅值和梯度方向：

将图像分割为若干个8×8大小的像素单元(cell)，把[-π/2,π/2]的梯度方向平均划分为9个区间：

在每个像素单元内，统计各个方向上梯度幅值的直方图，得到一个9维的特征向量；然后，每4个相邻像素单元合为一个像素块(block)，得到36维特征向量；最后，用像素块对图像进行扫描，扫描步长为一个8×8大小的像素单元，得到人体特征的表征。

由于DATAL方法中图像块的大小是固定的，因而获得的信息较不完整，所以本发明采用大小可变的图像块提取HOG特征。图像块的宽高比分别为(1∶1)、(2∶1)、(1∶2)，图像块的大小从16×16变化到64×128，每个图像块的移动步长为8×8个像素区间。每个图像块的HOG特征使用下(7)进行归一化：

其中v为待归一化向量，ζ用以避免分母为0。

(2)LBP特征提取过程主要包括以下几个步骤：图像分块，统计分块LBP直方图，特征向量级联。

LBP利用每个像素及其环形邻域上的Q个像素点的联合分布D＝d(g_c,g₀,…,g_Q-1)来描述图像的纹理，其中g_c表示局部邻域中心的灰度值，g_q(q＝0,1,…,Q-1)对应着半径为R的圆环上的Q个等分点的灰度值，不同的(Q,R)组合，LBP算子也不相同。

为实现该纹理算子对灰度的不变性，用环形邻域上Q个等分点的灰度值g_q(q＝0,1,…,Q-1)减去中心点的灰度值g_c，联合分布T转化为：

D＝d(g_c,g₀-g_c,g₁-g_c,…,g_Q-1-g_c) (5)

假设g_c和g_q相互独立，则上式近似分解为：

D≈d(g_c)d(g₀-g_c,g₁-g_c,…,g_Q-1-g_c) (6)

在公式6中，d(g_c)描述了整个图像的灰度分布，对图像的局部纹理分布没有影响，因此，图像纹理特征可以通过差分的联合分布描述:

D≈d(g₀-g_c,g₁-g_c,…,g_Q-1-g_c) (7)

当图像的光照发生加性变化时，一般不会改变中心像素与其环形邻域上像素灰度值的相对大小，即g_q-g_c不受光照变化的影响，因而，可用中心像素与邻域像素差值的符号函数代替具体的数值来描述图像的纹理：

D≈d(s(g₀-g_c),s(g₁-g_c),…,s(g_Q-1-g_c)) (8)

上式中s为符号函数：

将联合分布T得到的结果，按环形邻域上像素的特定顺序排序，构成了一个由0/1表示的十进制数序列，该十进制数即为局部二值模式数，表示为LBP(P,R)数：

(3)联合特征的提取

在图3(a)中，曲线K和曲线L对应的局部结构不同，但曲线K和曲线L在M点有共同的切线值。因此仅仅依靠在M点的切线值，是不能够区分曲线K和曲线L。HOG特征的求值可以类比为求取M点切线值。

在图3(b)中，LBP作为一种局部结构，可以类比为以M为圆心，R为半径的圆。LBP特征的求值可以类比为求取曲线K和曲线L的曲率。通过曲率的不同，可以有效的将曲线K和曲线L区分开。因此LBP特征，可以在一定的程度上，弥补HOG特征在表征行人能力方面的不足。

(4)SVM的检测过程如图4所示，其中输入图像的大小统一为64x128的图像，联合特征的维输为5668。

HOG-LBP组成的特征集，可以表示为：

上式中的矩阵t_x表示训练样本的特征集，每一行代表一个图像样本的特征向量，其中H(l)至H(3780)表示HOG的3780维特征向量，L(l)至L(1888)代表LBP的1888维特征向量；m代表正样本的数量，则n-m代表负样本的数量。向量t_y中的1和-1分别代表正负样本,也就是训练样本的真实值。

相比现有技术，本发明首先依据一种基于多特征融合的行人检测方法，然后，将HOG和LBP的融合特征用支持向量机分类进行分类。本发明提出的方法具有更强的行人表征能力，在复杂背景下行人检测正确率明显提高。

如图4所示，本发明提供了一种基于多特征融合的行人检测方法，该方法包括如下步骤：

步骤1：对得到的深度图像进行降噪处理，以获得清晰的深度图像信息；

步骤2：采用基于阈值方法实现深度图像感兴趣区域检测，以获得图像目标的区域位置信息；

步骤3：采用基于HOG-LBP特征，实现图像目标的检测。

本发明所述方法的的步骤2是基于动态阈值对深度图像进行降噪处理，包括：

(1)将原图像分割成若干个子图像；为保留图像边缘、纹理等细节特征的连续性，分割图像时，要使子图像间存在一定的区域重叠，且按梯度直方图统计特性，自动设定各子图像与重叠区域的比值；

(2)在获得梯度直方图特性的基础上，构造一种自适应识别边缘区域与非边缘区域的方法。

本发明所述方法的步骤2是基于距离阈值对感兴趣区域进行确定，以实现将前景目标所在区域从背景中提取出来，包括：

(1)通过实际距离与深度值的转换，获得目标的深度距离；

(2)通过距离与灰度值的换算关系，设置合适的阈值，实现感兴趣区域的检测，获得图像目标的区域位置信息。

所述方法的步骤3是基于HOG-LBP特征，实现图像目标的检测，包括：

(1)分别提取HOG特征和LBP特征；

(2)利用分类器实现目标检测。

Claims (1)

1.一种基于多特征融合的行人检测方法，其特征在于，所述方法包括如下步骤：

步骤1：对得到的深度图像进行降噪处理，以获得清晰的深度图像信息；

步骤2：采用基于阈值方法实现深度图像感兴趣区域检测，以获得图像目标的区域位置信息，基于动态阈值对深度图像进行降噪处理，包括：

(1)将原图像分割成若干个子图像；为保留图像边缘、纹理等细节特征的连续性，分割图像时，要使子图像间存在一定的区域重叠，且按梯度直方图统计特性，自动设定各子图像与重叠区域的比值；

(2)在获得梯度直方图特性的基础上，构造一种自适应识别边缘区域与非边缘区域的方法；

基于距离阈值对感兴趣区域进行确定，以实现将前景目标所在区域从背景中提取出来，包括：

(1)通过实际距离与深度值的转换，获得目标的深度距离；

(2)通过距离与灰度值的换算关系，设置合适的阈值，实现感兴趣区域的检测，获得图像目标的区域位置信息；

采用基于阈值的方法实现感兴趣区域的检测，该方法包括以下两个步骤：一是计算行人的深度距离；二是选择合适的阈值，实现感兴趣区域的检测，包括：

(1)设Kinect返回行人头肩某一像素点的深度值为d_v，摄像头的最大视野距离为L_max，则根据Kinect的校准过程，可求得行人头肩实际的距离深度值为：

d＝ktan(d_t/L_max+1.187)-s

通过实际距离与深度值的转换，可求得行人头肩某一像素点(i,j,d)的实际坐标(x,y,z)，进而求得行人的深度距离；

(2)通过距离与灰度值的换算关系,设置合适的阈值，实现感兴趣区域的检测；

步骤3：采用基于HOG-LBP特征，实现图像目标的检测，基于HOG-LBP特征，实现图像目标的检测，包括：

(1)分别提取HOG特征和LBP特征；

(2)利用分类器实现目标检测；

用公式5分别计算像素点(i,j)的梯度幅值和梯度方向：

将图像分割为若干个8×8大小的像素单元(cell)，把[-π/2,π/2]的梯度方向平均划分为9个区间：

在每个像素单元内，统计各个方向上梯度幅值的直方图，得到一个9维的特征向量；然后，每4个相邻像素单元合为一个像素块(block)，得到36维特征向量；最后，用像素块对图像进行扫描，扫描步长为一个8×8大小的像素单元，得到人体特征的表征，

由于DATAL方法中图像块的大小是固定的，因而获得的信息较不完整，所以本发明采用大小可变的图像块提取HOG特征，图像块的宽高比分别为(1∶1)、(2∶1)、(1∶2)，图像块的大小从16×16变化到64×128，每个图像块的移动步长为8×8个像素区间，每个图像块的HOG特征使用下(7)进行归一化：

其中v为待归一化向量，ζ用以避免分母为0；

(2)LBP特征提取过程主要包括以下几个步骤：图像分块，统计分块LBP直方图，特征向量级联；

LBP利用每个像素及其环形邻域上的Q个像素点的联合分布D＝d(g_c,g₀,…,g_Q-1)来描述图像的纹理，其中g_c表示局部邻域中心的灰度值，g_q(q＝0,1,…,Q-1)对应着半径为R的圆环上的Q个等分点的灰度值，不同的(Q,R)组合，LBP算子也不相同；

为实现该纹理算子对灰度的不变性，用环形邻域上Q个等分点的灰度值g_q(q＝0,1,…,Q-1)减去中心点的灰度值g_c，联合分布T转化为：

D＝d(g_c,g₀-g_c,g₁-g_c,…,g_Q-1-g_c) (5)

假设g_c和g_q相互独立，则上式近似分解为：

D≈d(g_c)d(g₀-g_c,g₁-g_c,…,g_Q-1-g_c) (6)

在公式6中，d(g_c)描述了整个图像的灰度分布，对图像的局部纹理分布没有影响，因此，图像纹理特征能通过差分的联合分布描述:

D≈d(g₀-g_c,g₁-g_c,…,g_Q-1-g_c) (7)

当图像的光照发生加性变化时，不会改变中心像素与其环形邻域上像素灰度值的相对大小，即g_q-g_c不受光照变化的影响，因而，可用中心像素与邻域像素差值的符号函数代替具体的数值来描述图像的纹理：

D≈d(s(g₀-g_c),s(g₁-g_c),…,s(g_Q-₁-g_c)) (8)

上式中s为符号函数：

将联合分布T得到的结果，按环形邻域上像素的特定顺序排序，构成了一个由0/1表示的十进制数序列，该十进制数即为局部二值模式数，表示为LBP(P,R)数：

(3)联合特征的提取

曲线K和曲线L对应的局部结构不同，但曲线K和曲线L在M点有共同的切线值，因此仅仅依靠在M点的切线值，是不能够区分曲线K和曲线L，HOG特征的求值能类比为求取M点切线值；

LBP作为一种局部结构，能类比为以M为圆心，R为半径的圆，LBP特征的求值能类比为求取曲线K和曲线L的曲率，通过曲率的不同，能有效的将曲线K和曲线L区分开，因此LBP特征，能在一定的程度上，弥补HOG特征在表征行人能力方面的不足；

(4)输入图像的大小统一为64x128的图像，联合特征的维输为5668；

HOG-LBP组成的特征集，能表示为：

上式中的矩阵t_x表示训练样本的特征集，每一行代表一个图像样本的特征向量，其中H(l)至H(3780)表示HOG的3780维特征向量，L(l)至L(1888)代表LBP的1888维特征向量；m代表正样本的数量，则n-m代表负样本的数量，向量t_y中的1和-1分别代表正负样本,也就是训练样本的真实值；

所述方法应用于视频监控、机器人学、虚拟现实技术领域。