CN103186776B - 基于多特征和深度信息的人体检测方法 - Google Patents

Abstract

本发明提出了一种基于多特征和深度信息的人体检测方法，主要解决现有方法检测虚景率高的问题。其实现过程是：计算CVC-02数据库中训练样本图像的有向梯度直方图特征的核函数和均匀局部二值模式特征的核函数；利用多核学习MKL算法对有向梯度直方图特征的核函数和均匀局部二值模式特征的核函数进行分类训练，得到用于检测的多核分类器；将待检测图像的有向梯度直方图特征的核函数和均匀局部二值模式特征的核函数输入到多核分类器中，得到各个扫描窗口的分类器分数；利用景深信息去除分类器分数大于0的背景窗口；对最终的人体窗口进行组合，得到最终的人体检测结果。本发明具有检测正确率高，虚景率低的优点，可用于视频中的行人检测。

Description

基于多特征和深度信息的人体检测方法

技术领域

本发明属于计算机视觉与模式识别技术领域，涉及人体检测方法，可用于对图像中的人体及其它复杂目标的检测。

背景技术

人体检测在计算机视觉中有许多重要的应用，如视频监控、智能汽车及智能交通、机器人和高级人机交互等。然而，由于人体自身姿态的变化、衣服的多样性和光照等因素的影响，人体的外观变化非常大，导致人体检测成为一个非常困难的问题。

目前，图像中人体检测的方法主要有基于人体模型的方法、基于模板匹配的方法和基于统计分类的方法。

基于人体模型的方法，有明确的模型，可以处理遮挡问题，并且可以推断出人体的姿态。缺点是模型的构建比较难，求解也比较复杂。基于模板匹配的方法计算简单，缺点是由于人体姿态的复杂性，很难构造出足够的模板以处理不同的姿态。

基于统计分类的方法，首先从训练样本中提取特征，该特征包括Haar小波特征、形状描述符特征、Gabor特征、有向梯度直方图HOG特征，SIFT特征和LBP特征；然后将这些特征输入到分类器中训练，得到一个分类器，常见的分类器包括：贝叶斯分类器、支持向量机SVM和Adaboost。检测时，将每个滑动窗口的特征送到训练好的分类器中，得到一个输出值，根据输出结果判断是否包含人体。这种基于统计分类方法的优点是比较鲁棒，缺点是提取的单个特征只能描述物体的某一种特性，表征能力有限，影响分类器的性能，存在漏检或者虚景的问题。

发明内容

本发明目的是针对上述已有技术的不足，提出一种基于多特征和深度信息的人体检测方法，以进一步提高人体检测的正确率，减少虚景。

本发明的技术方案通过如下步骤实现：

(1)提取CVC-02数据库中所有训练样本图像的有向梯度直方图特征H，并计算该有向梯度直方图特征H的核矩阵K_H；

(2)提取CVC-02数据库中所有训练样本图像的均匀局部二值模式特征U，并计算该均匀局部二值模式特征U的核矩阵K_U；

(3)利用多核学习MKL算法对步骤(1)得到的有向梯度直方图特征H的核矩阵K_H和步骤(2)得到的均匀局部二值模式特征U的核矩阵K_U进行分类训练，得到用于检测的多核分类器；

(4)从CVC-02数据库中提取出待检测的图像，输入到步骤(3)得到的多核分类器中，将分类器分数大于0的所有扫描窗口标记为初步人体窗口；

(5)利用景深信息从步骤(4)得到的初步人体窗口中去除分类器分数大于0的背景窗口，得到最终的人体窗口；

(6)对最终的人体窗口进行组合，形成最终的人体检测结果。

本发明与现有的技术相比具有以下优点：

1、由于本发明提取了基于梯度的有向梯度直方图特征和表征纹理的均匀局部二值模式特征来描述人体，使得融合后的特征更具有表征能力。

2、由于本发明是在多核学习的框架下融合两种不同的特征，使得分类器具有更高的正确率。

3、由于本发明中利用景深信息去除背景窗口，使得人体检测的虚景率降低。

附图说明

图1是本发明的流程示意图；

图2是本发明仿真使用的部分正样本图像；

图3是本发明仿真使用的部分负样本图像；

图4是用本发明与现有方法得到的人体检测结果比较图。

具体实施方式

参照图1，本发明的具体实施如下：

步骤一，提取CVC-02数据库中所有训练样本图像的有向梯度直方图特征H，并计算该有向梯度直方图特征H的核矩阵K_H。

(1a)提取所有训练样本图像的有向梯度直方图特征H；

(1a1)对第i幅训练样本图像进行边缘检测，得到图像中每个像素的边缘强度和边缘方向，其中，i∈[1,n]，n为训练样本数；

(1a2)将图像分成大小为8×8互不重叠的格子，将0～180度分成九个方向通道，将每个格子内的像素对其所属的通道投票，投票的权值为该像素的边缘强度；

(1a3)将相邻的四个格子组成一个块，且每个块之间有的重叠，对每个块进行归一化；

(1a4)将归一化后的所有块串接起来，构成第i幅训练样本的有向梯度直方图特征H_i；

(1a5)重复步骤(1a1)-(1a4)，提取所有训练样本图像的有向梯度直方图特征H：

H＝{H₁…,H_i…,H_n}，i∈[1,n]，n为训练样本数；

(1b)使用核函数计算所有训练样本图像的有向梯度直方图特征H的核矩阵K_H；

常用的核函数有：线性核函数，多项式核函数，径向基核函数，Sigmoid核函数和高斯核函数。本发明中使用多项式核函数：计算所有训练样本图像的有向梯度直方图特征H的核矩阵K_H，其中H_p和H_q分别为均匀局部二值模式特征H的第p列向量和第q列向量，p∈[1,n]，q∈[1,n]，符号T表示向量的转置，指数d＝3，第一个系数γ＝1，第二个系数c＝0。

步骤二，提取CVC-02数据库中所有训练样本图像的均匀局部二值模式特征U，并计算该均匀局部二值模式特征U的核矩阵K_U。

(2a)提取CVC-02数据库中所有训练样本图像的均匀局部二值模式特征U；

(2a1)将CVC-02数据库中第j幅训练样本分割为8×8像素大小的块，j∈[1,n]，n为训练样本数；

(2a2)将每个块的左上角的一个大小为3×3像素的区域作为一个窗口，向右平移1个像素或向下平移1个像素作为一个新的窗口，由此得到一组窗口；

(2a3)对于其中的任意一个窗口W，以位于窗口W中心的像素值g_c为阈值，用中心像素值g_c与窗口W中其余的8个像素值依次作比较，若位于中心的像素值g_c大于与它相邻的像素值，则标记为1，否则标记为0，这样得到一组8位的二进制码作为窗口W的编码；

(2a4)将块中满足条件：0与1之间转换次数小于等于2的二进制码转换成十进制数，作为块的编码值；

(2a5)将每个块中的编码值进行直方图统计，并归一化，得到每个块的均匀局部二值模式特征；

(2a6)将所有块的均匀局部二值模式特征级联后，作为第j幅图像的均匀局部二值模式特征U_j，j∈[1,n]，n为训练样本数；

(2a7)重复步骤(2a1)-(2a6)，提取所有训练样本图像的均匀局部二值模式特征U，其中U＝{U₁…,U_j…,U_n}，j∈[1,n]，n为训练样本数；

(2b)按照公式：计算得到所有训练样本图像的均匀局部二值模式特征U的核矩阵K_U，其中U_p和U_q分别为均匀局部二值模式特征U的第p列向量和第q列向量，p∈[1,n]，q∈[1,n]，符号T表示向量的转置，指数d＝3，第一个系数γ＝1，第二个系数c＝0。

步骤三，利用多核学习MKL算法对步骤一得到的有向梯度直方图特征H的核矩阵K_H和步骤二得到的均匀局部二值模式特征U的核矩阵K_U进行分类训练，得到用于检测的多核分类器。

本发明中使用的多核学习MKL算法来自文献“MoreGeneralityinEfficientMultipleKernelLearning”，Proceedingsofthe26^thInternationalConferenceonMachineLearning,Montreal,Canada,2009，Pages1065-1072。

步骤四，确定初步人体窗口。

(4a)将输入的CVC-02数据库中的待检测图像按比例α进行缩放，α∈[0.5,2]；

(4b)将缩放后的被检测图像左上角的一个大小为128×64像素的区域作为第一个扫描窗口，每向右平移8个像素或向下平移8个像素作为一个新的扫描窗口，由此得到一组扫描窗口，提取每个扫描窗口的有向梯度直方图特征H1和均匀局部二值模式特征U1；

(4c)计算每个扫描窗口的有向梯度直方图特征H1的核矩阵K_H1和均匀局部二值模式特征U1的核矩阵K_U1；

(4d)将每个扫描窗口的有向梯度直方图特征H1的核矩阵K_H1和均匀局部二值模式特征U1的核矩阵K_U1输入到步骤三得到的多核分类器中，得到每个扫描窗口的分类器分数；

(4d)将分类器分数大于0的所有扫描窗口标记为初步人体窗口；

步骤五，利用景深信息从步骤四得到的初步人体窗口中去除分类器分数大于0的背景窗口，得到最终的人体窗口。

(5a)将步骤四得到的初步人体窗口对应到相应的深度图像上，深度图像由CVC-02数据库提供；

(5b)对每个初步人体窗口的深度图像进行直方图统计，找出最大百分比p_m的深度值d_m，在深度图像中找出比深度值d_m小的所有深度值的最大深度值d_m1，在深度图像中找出比深度值d_m大的所有深度值的最小深度值d_m2；

(5c)计算最大百分比的深度值d_m，最大深度值d_m1及最小深度值d_m2所占的百分比和s1：s1＝p_m+p_m1+p_m2，

其中p_m1为最大深度值d_m1在深度图像中占的百分比，p_m2为最小深度值d_m2在深度图像中所占的百分比；

(5d)将步骤(5c)得到的百分比和s1小于阈值th＝45%的初步人体窗口删除，保留剩余的初步人体窗口，作为最终的人体窗口；

步骤六，对最终的人体窗口进行组合，形成最终的人体检测结果。

(6a)从最终的人体窗口中，找出分类器分数最高的窗口作为主窗口；

(6b)将与主窗口重叠大于的人体窗口和主窗口的边界进行加权组合，得到加权组合后的组合窗口；

在参与组合的人体窗口中，分类器分数最高的人体窗口的边界b_max的权值为0.7，分类器分数最低的人体窗口的边界b_min的权值为0.3，根据公式：

b_z＝0.7b_max+0.3b_min计算得到加权组合后的组合窗口的边界b_z；

(6c)保留步骤(6b)得到的加权组合后的组合窗口，将步骤(6b)中参与组合的人体窗口从步骤(6a)中的最终的人体窗口中删除；

(6d)若将步骤(6b)中参与组合的人体窗口从步骤(5d)得到的最终的人体窗口中删除后，还有人体窗口剩余，则再从剩余的人体窗口中找出分类器分数最高的人体窗口作为主窗口，并重复步骤(6b)-(6c)；

(6e)在被检测人体图像上标出所有加权组合后的组合窗口，作为被测图像最终的人体检测结果，采用矩形框表示检测结果，被检测出的人体处于矩形框内。

本发明的效果可以通过以下仿真实验得到验证：

1.实验条件：

1）仿真实验条件设置：本发明的仿真实验在Matlab2009a上编译完成，执行环境为Windows框架下的HP工作站。实验所需的训练样本和测试样本均取自于CVC-02数据库。训练样本包括2032个正样本与15300个负样本，测试样本包括1140个正样本与15000个负样本，正样本与负样本图像的大小均为128×64像素，图2给出了其中部分正样本图像，图3给出了其中部分负样本图像。

2）仿真内容及结果分析

仿真一：分别使用本发明和现有的有向梯度直方图HOG特征的方法对分类器的性能进行对比，在假阳率FPPW=10^-4时，分类器的正确率如表1所示。

表1.分类器性能

	HOG	本发明
			正确率	81%	90.5%

从表1中可以看出，本发明的分类器性能高于传统的有向梯度直方图HOG特征提取方法的分类器性能，在分类正确率上有了较大的提高，更有利于分类器的分类。

仿真二：使用本发明方法与直接串接两种不同的特征的融合方法进行分类器性能的对比，在假阳率FPPW＝10^-4时，分类性能如表2所示。

表2.分类器性能

	HOG+ULBP	本发明
			正确率	87%	90.5%

从表2可以看出，本发明的分类效果好于直接串接不同特征的融合方法，且直接串接不同的特征使得串融合后的特征矩阵比较大，占用空间大，加大运算量。

仿真三：使用本发明方法与现有的方法对同一幅来自CVC-02数据库的图像进行人体检测，检测结果如图4所示。其中，图4(a)为本发明得到的人体检测结果，图4(b)为现有方法的检测结果。从图4中可以看出本发明中利用景深洗洗可以去除虚景，更准确的检测出了人体。

综上，本发明采用多核学习算法来融合两种不同的特征，能更加丰富的表征人体信息，提高了分类器的性能，并且利用景深信息来去除背景窗口，使得人体检测更加准确。

Claims (3)

1.一种基于多特征和深度信息的人体检测方法，包括如下步骤：

(1)提取CVC-02数据库中所有训练样本图像的有向梯度直方图特征H，并计算该有向梯度直方图特征H的核矩阵K_H；

(2)提取CVC-02数据库中所有训练样本图像的均匀局部二值模式特征U，并计算该均匀局部二值模式特征U的核矩阵K_U；

(3)利用多核学习MKL算法对步骤(1)得到的有向梯度直方图特征H的核矩阵K_H和步骤(2)得到的均匀局部二值模式特征U的核矩阵K_U进行分类训练，得到用于检测的多核分类器；

(4)从CVC-02数据库中提取出待检测的图像，输入到步骤(3)得到的多核分类器中，将分类器分数大于0的所有扫描窗口标记为初步人体窗口；

(5)利用初步人体窗口获得最终的人体窗口：

(5a)将步骤(4)得到的人体窗口对应到相应的深度图像上，深度图像由CVC-02数据库提供；

(5b)对每个窗口的深度图像进行直方图统计，找出最大百分比p_m的深度值d_m，在深度图像中找出比深度值d_m小的所有深度值的最大深度值d_m1，在深度图像中找出比深度值d_m大的所有深度值的最小深度值d_m2；

(5c)计算最大百分比的深度值d_m，最大深度值d_m1及最小深度值d_m2所占的百分比和s1：

s1＝p_m+p_m1+p_m2,

其中p_m1为最大深度值d_m1在深度图像中占的百分比，p_m2为最小深度值d_m2在深度图像中所占的百分比；

(5d)将步骤(5c)得到的百分比和s1小于阈值th＝45％的初步人体窗口删除，保留剩余的初步人体窗口，作为最终的人体窗口；

(6)对最终的人体窗口进行组合，形成最终的人体检测结果。

2.根据权利要求1所述方法，其中步骤(2)中所述的提取CVC-02数据库中所有训练样本图像的均匀局部二值模式特征U，并计算该均匀局部二值模式特征U的核矩阵K_U，按如下步骤进行：

(2a)将第j幅训练样本分割为8×8像素大小的块，提取每个块的均匀局部二值模式特征作为第j幅图像的均匀局部二值模式特征U_j，其中，U_j＝[u₁…,u_t…,u_m]^T，u_t表示第j幅图像的第t维均匀局部二值模式特征，t∈[1,m]，m为从第j幅图像中提取的均匀局部二值模式特征维数，符号T表示向量的转置；

(2b)按照步骤(2a)提取所有训练样本图像的均匀局部二值模式特征U，其中，U＝{U₁…,U_j…,U_n}，j∈[1,n]，n为训练样本数；

(2c)按照公式：计算得到所有训练样本图像的均匀局部二值模式特征U的核矩阵K_U，其中U_p和U_q分别为均匀局部二值模式特征U的第p列向量和第q列向量，p∈[1,n]，q∈[1,n]，符号T表示向量的转置，指数d为设定的正整数，第一个系数γ和第二个系数c均为设定的任意值。

3.根据权利要求1所述方法，其中步骤(6)中所述的对最终的人体窗口进行组合，形成最终的人体检测结果，按如下步骤进行：

(6a)从最终的人体窗口中，找出分类器分数最高的窗口作为主窗口；

(6b)将与主窗口重叠大于的人体窗口和主窗口的边界进行加权组合，得到加权组合后的组合窗口；

(6c)保留步骤(6b)得到的加权组合后的组合窗口，将步骤(6b)中参与组合的人体窗口从步骤(6a)中的最终的人体窗口中删除；

(6d)若将步骤(6b)中参与组合的人体窗口从步骤(5d)得到的最终的人体窗口中删除后，还有人体窗口剩余，则再从剩余的人体窗口中找出分类器分数最高的人体窗口作为主窗口，并重复步骤(6b)-(6c)；

(6e)在被检测人体图像上标出所有加权组合后的组合窗口，作为被测图像最终的人体检测结果，采用矩形框表示检测结果，被检测出的人体处于矩形框内。