CN103971135A

CN103971135A - 基于头肩深度信息特征的人体目标检测方法

Info

Publication number: CN103971135A
Application number: CN201410185282.7A
Authority: CN
Inventors: 张良; 邓涛
Original assignee: Civil Aviation University of China
Current assignee: Civil Aviation University of China
Priority date: 2014-05-05
Filing date: 2014-05-05
Publication date: 2014-08-06

Abstract

一种基于头肩深度信息特征的人体目标检测方法。其包括在监控场景下选取大量头肩区域和非头肩区域的深度图像作为样本图像；将样本图像归一化成同一尺寸大小；从样本图像中提取出HOG特征；将HOG特征送入SVM分类器以训练出头肩分类器；采用背景减除法对待检测的深度图像进行前景提取，得到前景深度图像；在前景深度图像中提取出头肩候选区域；对上述头肩候选区域中的头肩特征进行提取及识别，从而检测出人体目标等步骤。本发明提供方法的优点是可有效克服光照变换和背景复杂等干扰，因此能够提高人体目标检测准确率。

Description

基于头肩深度信息特征的人体目标检测方法

技术领域

本发明属于智能识别技术领域，特别是涉及一种基于头肩深度信息特征的人体目标检测方法。

背景技术

人体目标检测在智能监控领域具有广泛的应用，目前对图像进行人体目标检测的方法多是基于普通光学摄像头所拍摄的二维图像。由于二维图像中缺失空间深度信息，因此仅能根据图像中目标与背景的亮度、纹理等差异进行目标的检测。因此光照的强弱或是背景复杂都将给目标的检测带来严重的困扰。目前也开始出现了一些结合深度信息的人体检测方法，但是由于这些方法不完善，因此在实践中也极易出现检测错误。中国发明专利申请第201110026465.0号中公开了一种使用深度信息的人体目标检测方法，该方法利用深度图像像素来提取图像特征，但是其中并未具体提及所提取的人体特征以及实现方法。

另外，在实践中，由于遮挡的缘故，我们常常无法对整个人体进行建模，而只能通过人体的局部特征去识别人体目标。由于头肩作为一个显著的特征不易被遮挡，因而对检测人体有较好的辅助作用。中国发明专利申请第201210208246.9，201110305285.6和201310227247.2中分别公开了一种头肩检测方法，虽然这三种方法都是从二维图像中提取头肩相关特征，但该类方法受光照变化、背景复杂的影响较大，从而导致误检率高。

发明内容

为了解决上述问题，本发明的目的在于提供一种可有效克服光照变换和背景复杂等干扰，能够提高人体目标检测准确率的基于头肩深度信息特征的人体目标检测方法。

为了达到上述目的，本发明提供的基于头肩深度信息特征的人体目标检测方法包括按顺序进行的下列步骤：

1)在监控场景下选取大量深度图像作为样本图像,包括头肩区域和非头肩区域；

2)将上述样本图像归一化成同一尺寸大小；

3)从上述样本图像中提取出HOG特征；

4)将上述提取出的HOG特征送入SVM分类器以训练出头肩分类器；

5)采用背景减除法对待检测的深度图像进行前景提取，得到前景深度图像；

6)在前景深度图像中提取出头肩候选区域；

7)对上述头肩候选区域中的头肩特征进行提取及识别，从而检测出人体目标。

在步骤1)中，所述的选取大量深度图像的方法是在深度摄像头安装在监控区域上方，以垂直向下视角进行监视的监控场景下，选取大量的深度图像，然后在其上人工标定出头肩区域作为训练正样本图像；同样标定出大量的非头肩区域作为训练负样本图像。

在步骤3)中，所述的从样本图像中提取出HOG特征的方法是：首先计算样本图像的梯度和方向，然后将样本图像划分成若干个小的单元格，单元格大小为m×m像素，统计每个单元格的方向梯度直方图，形成每个单元格的描述子；将q×q个单元格组成一个方向块，将该方向块内所有单元格的描述子串联起来表示成该方向块的HOG描述子；最后将整幅样本图像中所有方向块中的HOG描述子串联起来得到该样本图像的HOG特征。

在步骤5)中，所述的采用背景减除法对待检测的深度图像进行前景提取，得到前景深度图像的方法是：设背景深度图像为B_d(x,y),当前帧的待检测深度图像为I_d(x,y)，直接对二者做差求得前景掩模图像M(x,y)为：

M (x, y) = Γ {I_{d} (x, y) - B_{d} (x, y)} = \{\begin{matrix} 1, I_{d} (x, y) - B_{d} (x, y) > M_{t} \\ 0, I_{d} (x, y) - B_{d} (x, y) < M_{t} \end{matrix}

F_d(x,y)＝I_d(x,y)·M(x,y)

式中，M_t为判决阈值；然后对前景掩模图像作形态学处理，去除图像边缘毛刺以及填充细小空洞；之后，将上述处理后的前景掩模图像与当前帧的深度图像进行与操作，得到前景深度图像F_d(x,y)。

在步骤6)中，所述的在前景深度图像中提取出头肩候选区域的方法是：使用Canny算子检测出前景深度图像中边缘，再使用hough变换从边缘图像中检测出类圆环区域作为头部候选区域，再以3倍于头部半径的长度扩充头部候选区域作为候选头肩区域。

在步骤7)中，所述的对头肩候选区域中的头肩特征进行提取及识别，从而检测出人体目标的方法是：将上述头肩候选区域进行缩放处理，达到与样本图像统一尺寸，并按照上述训练分类器时提取HOG特征的方法提取出头肩候选区域的HOG特征，然后将HOG特征送入上述预先训练好的SVM分类器中进行识别，从而检测出人体目标。

本发明提供的基于头肩深度信息特征的人体目标检测方法是首先以大量头肩深度图像和背景图像作为训练样本，提取其中的HOG特征送入支持向量机，训练出头肩特征分类器。然后对待检测视频进行处理，提取前景并进而检测出头肩候选区域，再从头肩候选区域中提取HOG特征，最后将提取的HOG特征送入预先训练好的头肩特征分类器中以检测出头肩目标，从而识别出人体目标。本发明提供的方法的优点是可有效克服光照变换和背景复杂等干扰，因此能够提高人体目标检测准确率。

附图说明

图1为本发明提供的基于头肩深度信息特征的人体目标检测方法所采用的监控场景示意图。

图2为本发明提供的基于头肩深度信息特征的人体目标检测方法所采用的头肩深度图像效果图。

图3为本发明提供的基于头肩深度信息特征的人体目标检测方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明提供的基于头肩深度信息特征的人体目标检测方法进行详细说明。

如图1—图3所示，本发明提供的基于头肩深度信息特征的人体目标检测方法包括按顺序进行的下列步骤：

1)在监控场景下选取大量深度图像；

在图1所示的深度摄像头1安装在监控区域上方，以垂直向下视角进行监视的监控场景下，选取大量的深度图像，然后在其上人工标定出头肩区域作为训练正样本图像；同样标定出大量的非头肩区域作为训练负样本图像。考虑实际情况中，人可能正面通过或侧身通过监控区域，因此样本图像中应包含各个朝向的头肩模板。

2)将上述样本图像归一化成同一尺寸大小；

将上述样本图像归一化成同一尺寸大小，正负样本图像比例选定在1:3左右。

3)从上述样本图像中提取出HOG特征；

首先计算样本图像的梯度和方向，然后将样本图像划分成若干个小的单元格，单元格大小为m×m像素，统计每个单元格的方向梯度直方图，形成每个单元格的描述子；将q×q个单元格组成一个方向块，将该方向块内所有单元格的描述子串联起来表示成该方向块的HOG描述子；最后将整幅样本图像中所有方向块中的HOG描述子串联起来得到该样本图像的HOG特征。具体方法是：

(1)计算样本图像梯度和方向：样本图像中像素点(x,y)的梯度为：

G_x(x,y)＝H(x+1,y)-H(x-1,y)

G_y(x,y)＝H(x,y+1)-H(x,y-1)

式中H(x,y)、G_x(x,y)、G_y(x,y)分别表示样本图像中像素点(x,y)处的像素值、水平方向梯度和垂直方向梯度。像素点(x,y)处的梯度幅值和方向分别为：

G (x, y) = \sqrt{G_{x} {(x, y)}^{2} + G_{y} {(x, y)}^{2}}

α (x, y) = \tan^{- 1} (\frac{G_{y} (x, y)}{G_{x} (x, y)})

(2)将样本图像分成若干个单元格，将单元格的梯度方向360度分成9个方向块，对单元格中的每个像素用梯度方向在直方图中进行加权投影，由此得到单元格的梯度方向直方图。然后将多个单元格组成一个方向块，将方向块内的所有单元格的特征向量串联起来，得到方向块的HOG特征描述子，本发明设定相邻方向块的重复长度为方向块长度的1/3。最后将整幅图像的方向块中的HOG特征描述子串联起来得到样本图像的HOG特征。

4)从上述样本图像中提取出HOG特征，并送入SVM分类器以训练出头肩分类器。

为了降低计算复杂度，减小头肩候选区域的大小，本发明首先进行前景检测。传统的前景检测都是基于光学二维图像，难以克服因光照引起的阴影和复杂背景的干扰，从而造成检测准确度较低。本发明采用基于深度图像的背景减除法，因为深度图像的获取不受光照和颜色变化的影响，而且对静止目标也可以检测出来。具体步骤如下：

设背景深度图像为Bd(x,y),当前帧的待检测深度图像为Id(x,y)，只需直接对二者做差即可求得前景掩模图像M(x,y)为：

M (x, y) = Γ {I_{d} (x, y) - B_{d} (x, y)} = \{\begin{matrix} 1, I_{d} (x, y) - B_{d} (x, y) > M_{t} \\ 0, I_{d} (x, y) - B_{d} (x, y) < M_{t} \end{matrix} - - - (1)

F_d(x,y)＝I_d(x,y)·M(x,y) (2)

式中，Mt为判决阈值。然后对前景掩模图像作形态学处理，去除图像边缘毛刺以及填充细小空洞。之后，将上述处理后的前景掩模图像与当前帧的深度图像进行与操作，如公式(2)，即可得到前景深度图像F_d(x,y)。

6)在前景深度图像中提取出头肩候选区域；

在深度摄像头1以垂直向下视角监控时，头部与肩部到深度摄像头1平面的距离有一定的差值，头部距离深度摄像头1较近，而肩部次之。在深度图像中头部区域的像素要小于肩部的像素，为了便于理解，本发明将深度图像做反相操作，这样深度图像的像素值与目标的实际高度成正比，下文中的深度图像都是指反相后的深度图像。为了降低计算量，本发明不是以固定搜索框对整幅前景深度图像进行遍历，而是在其上先选定头肩候选区域，然后再将该头肩候选区域送入分类器进行识别。由于在深度摄像头1以垂直向下视角监控时，头部的轮廓为近似圆形，本发明通过对近似圆形轮廓线的检测来定位头肩候选区域。

在深度图像中，同一个人的头部深度值处在一个较小的动态范围内，而头部与肩部之间、头部与背景之间以及肩部与背景之间都具有较明显的深度差值，可通过边缘检测获取清晰的边缘轮廓图。设头部的深度均值为H₀，肩部的深度均值为H₁，头肩的深度差值一般处在一定范围内H0-H1∈[q₀,q₁]。通过设置合适的检测阈值M，使用Canny算子对深度图像进行处理，得到监控区域的边缘轮廓图。本发明通过使用hough变换来检测边缘轮廓中的类圆形区域。

由于头部轮廓并不是标准圆形轮廓，而是近似圆形的类圆轮廓，同一个头部在hough变换后可能会有多个输出，应根据深度摄像头1高度以及人头大小等先验知识去除部分伪头部区域。首先设定圆的最小半径为R_min，最大半径为R_max。当有多个圆环重叠时，若重叠面积占自身面积的比例大于检测阈值M时，则舍去占比较大的圆。然后以该圆环中心为中心，以3D_i(D_i为当前圆环的直径)为边长的正方形框作为头肩候选区域。

7)对上述头肩候选区域中的头肩特征进行提取及识别，从而检测出人体目标；

将上述头肩候选区域进行缩放处理，达到与样本图像统一尺寸，并按照上述训练分类器时提取HOG特征的方法提取出头肩候选区域的HOG特征，然后将HOG特征送入上述预先训练好的SVM分类器中进行识别，从而检测出人体目标。

Claims

1.一种基于头肩深度信息特征的人体目标检测方法，其特征在于：所述的人体目标检测方法包括按顺序进行的下列步骤：

2)将上述样本图像归一化成同一尺寸大小；

3)从上述样本图像中提取出HOG特征；

6)在前景深度图像中提取出头肩候选区域；

2.根据权利要求1所述的人体目标检测方法，其特征在于：在步骤1)中，所述的选取大量深度图像的方法是在深度摄像头(1)安装在监控区域上方，以垂直向下视角进行监视的监控场景下，选取大量的深度图像，然后在其上人工标定出头肩区域作为训练正样本图像；同样标定出大量的非头肩区域作为训练负样本图像。

3.根据权利要求1所述的人体目标检测方法，其特征在于：在步骤3)中，所述的从样本图像中提取出HOG特征的方法是：首先计算样本图像的梯度和方向，然后将样本图像划分成若干个小的单元格，单元格大小为m×m像素，统计每个单元格的方向梯度直方图，形成每个单元格的描述子；将q×q个单元格组成一个方向块，将该方向块内所有单元格的描述子串联起来表示成该方向块的HOG描述子；最后将整幅样本图像中所有方向块中的HOG描述子串联起来得到该样本图像的HOG特征。

4.根据权利要求1所述的人体目标检测方法，其特征在于：在步骤5)中，所述的采用背景减除法对待检测的深度图像进行前景提取，得到前景深度图像的方法是：设背景深度图像为B_d(x,y),当前帧的待检测深度图像为I_d(x,y)，直接对二者做差求得前景掩模图像M(x,y)为：

M (x, y) = Γ {I_{d} (x, y) - B_{d} (x, y)} = \{\begin{matrix} 1, I_{d} (x, y) - B_{d} (x, y) > M_{t} \\ 0, I_{d} (x, y) - B_{d} (x, y) < M_{t} \end{matrix}

F_d(x,y)＝I_d(x,y)·M(x,y)

5.根据权利要求1所述的人体目标检测方法，其特征在于：在步骤6)中，所述的在前景深度图像中提取出头肩候选区域的方法是：使用Canny算子检测出前景深度图像中边缘，再使用hough变换从边缘图像中检测出类圆环区域作为头部候选区域，再以3倍于头部半径的长度扩充头部候选区域作为候选头肩区域。

6.根据权利要求1所述的人体目标检测方法，其特征在于：在步骤7)中，所述的对头肩候选区域中的头肩特征进行提取及识别，从而检测出人体目标的方法是：将上述头肩候选区域进行缩放处理，达到与样本图像统一尺寸，并按照上述训练分类器时提取HOG特征的方法提取出头肩候选区域的HOG特征，然后将HOG特征送入上述预先训练好的SVM分类器中进行识别，从而检测出人体目标。