CN107122714B - 一种基于边缘约束的实时行人检测方法 - Google Patents

Abstract

本发明提供的方法首先使用传统的行人检测方法进行初步的行人检测，然后在初步的行人检测的基础上增加边缘信息约束，使得行人检测算法具有实时性和鲁棒性。

Description

一种基于边缘约束的实时行人检测方法

技术领域

本发明涉及安防监控领域，更具体地，涉及一种基于边缘约束的实时行人检测方法。

背景技术

现有技术中所提及的行人检测技术，为给定一张输入图像自动地检测出输入图像中行人的位置的技术。随着社会的发展，公共场所的安防问题变得越来越重要，而行人检测技术是行人跟踪的基础，会很大程度上辅助公共场所的安防监控，因此越来越受到重视。行人检测技术在视频监控、人机互动、公安侦查等领域都有广泛的应用。譬如，在人机互动系统中，运动机器人通过摄像头拍摄的画面检测出行人的位置并紧紧跟随，然后协助人完成各种事情。在公安侦查方面，通过检测公共场所中行人的位置，判断出行人的数量；或者大致判断出公共场所是否有异常事件发生。

现有的行人检测技术主要有以下几种：

1)基于前景轮廓的行人检测方法。该方法首先对输入图像进行前景提取，将背景消去，提取出感兴趣的前景部分，然后根据前景轮廓与行人轮廓的相似度判断每个前景连通域是不是行人，从而检测出行人的位置。

2)基于前后帧运动信息的行人检测方法。该方法利用帧与帧之间的差异信息提取边缘灰度图进行行人检测。其具体如下：对于t时刻的输入图像，计算t时刻灰度图和t-1时刻灰度图的绝对差值，得到绝对差灰度图像g_t，同理再计算t-1时刻灰度图和t-2时刻灰度图的绝对差值，得到第二张绝对差灰度图像g_t-1，总的运动区域边缘灰度图G_t定义为g_t和g_t-1进行与操作的结果。得到前后帧运动区域的边缘灰度图G_t后，根据边缘符不符合人体对称的特点，从而判断出图像中行人的位置。

3)基于特征分类器的行人检测方法。该方法利用一个固定大小的模板在图像上遍历一遍，然后对图像上的每一个位置都提取方向梯度直方图特征(HOG)和局部二值模式(LBP)作为图像的边缘信息，然后用支持向量机进行分类实现行人检测。

4)基于神经网络的行人检测方法。首先根据前景提取算法提取出人体轮廓信息，然后结合人体的头肩宽高比建立头肩轮廓模型并提取出头肩轮廓特征向量，将提取的头肩轮廓特征向量输入至BP神经网络，聚类出多个人体头肩模型，进行行人检测。

现有的行人检测技术尚有许多不足。比如，基于特征分类器和基于神经网络的行人检测方法利用物体的边缘、轮廓、颜色等信息，通过输入到分类器或神经网络进行行人检测，能够具有较强的鲁棒性，同时准确度较高。但这种方法需要事先用大量数据训练分类器或神经网络，其训练周期过长。且用这种方法进行行人检测时需要耗费比较长的时间，无法做到实时快速检测，难以满足实际的需求。

基于前后帧运动信息的行人检测方法把运动的边缘图提取了出来，并利用行人身体的对称性作为判断是否为行人的条件。方法有很强的实时性，但对于静止不动的行人，由于方法无法提取出行人的边缘信息，因此无法检测出行人。

基于前景轮廓的行人检测方法无论对于运动或静止的行人都能提取出轮廓信息并检测出来，并且算法快速。然而光照变化等外部因素容易造成伪前景，这种方法在这种情况下容易发生误判，鲁棒性较差。

为了实现行人检测的实时快速性，往往只能采用边缘、轮廓等比较简单的特征，搭配上比较简单的匹配算法，如基于前景轮廓的和基于前后帧运动信息的行人检测方法。由于使用了较简单的特征，这些方法的鲁棒性较差。静态图像的边缘纹理信息是一种鲁棒的特征，然而由于这种特征较复杂，许多方法往往把它输入到分类器中进行分类，这虽然提高了鲁棒性，但是降低了算法的实时性。

发明内容

本发明为解决以上现有技术提供的方法鲁棒性和实时性不能兼容的缺陷，提供了一种基于边缘约束的实时行人检测方法。

为实现以上发明目的，采用的技术方案是：

一种基于边缘约束的实时行人检测方法，其特征在于：包括以下步骤：

S1.对输入图像进行初步的行人检测，将初步检测得到的候选目标从输入图像中截取出来；

S2.将步骤S1截取的图像转换成灰度图像I_g；

S3.对步骤S1截取的图像进行混合高斯模型的背景建模，得到候选目标的背景图，将背景图转换成灰度图I_bg；

S4.创建

和

两个模板，令I_g和I_bg分别与p1和p2卷积，得到I_g的垂直方向边缘图e_f1、I_g的水平方向边缘图e_f2、I_bg的垂直方向边缘图e_b1、I_bg的水平方向边缘图e_b2：

e_f1＝I_g*p1

e_f2＝I_g*p2

e_b1＝I_bg*p1

e_b2＝I_bg*p2

S5.通过e_f1，e_f2，e_b1和e_b2求取I_g综合方向的边缘图E_f和I_bg综合方向的边缘图E_b：

S6.将E_f与E_b相减取绝对值后再二值化，得到边缘差值图E_t：

m的取值范围为[10,30]；

S7.判断E_t中像素值大于m的像素点数占总的像素点数的比例，若该比例超过设定的阈值T_E，则判断候选目标为行人，并在输入图像中标记；否则判断候选目标为非行人。

上述方案中，本发明提供的方法首先使用传统的行人检测方法进行初步的行人检测，然后在初步的行人检测的基础上增加边缘信息约束，使得行人检测算法具有实时性和鲁棒性。

优选地，所述步骤S1使用基于轮廓信息和模板匹配的行人检测方法对输入图像进行初步的行人检测，其具体过程如下：

S11.设已有N张行人图像I_i，i＝1,…,N，对N张行人图像用线性插值法重定成30*50像素尺寸后，进行混合高斯模型的背景建模，得到每张行人图像的前景图I_f,i；

S12.对于行人图像I_i的前景图I_f,i，对其进行闭操作后，将其与[1,0,1]和[1,0,1]^T两个模板进行卷积，得到两张边缘图g₁和g₂；

S13.对g₁和g₂取平方和开根号后得到行人图像I_i的轮廓边缘图G_i；

S14.对行人图像I_i的轮廓边缘图G_i搜索其边缘点的坐标信息，得到轮廓边缘图G_i的轮廓形状向量S_i；

S15.对各张行人图像进行步骤S12～S14的处理，得到各张行人图像的轮廓形状向量；

S16.对所有行人图像的轮廓形状向量进行取平均处理，得到平均的轮廓形状向量

S17.基于平均的轮廓形状向量

构建行人轮廓模板T；

S18.对于输入图像I，通过混合高斯模型的背景建模得到其前景图I_f，及背景图I_b；

S19.对前景图I_f进行闭操作处理后，使用一个和行人轮廓模板T相同大小的像素全为255的模板t与前景图I_f进行卷积；

S20.将模板t在I_f上每个位置卷积后所包含图像裁剪出来，得到I_t，I_t表征物体的形状轮廓信息；

S21.令I_t与行人轮廓模板T进行相与操作，得到

令I_t和行人轮廓模板T分别与

相减，得到D₁和D₂：

S22.分别统计D₁和D₂中灰度值非零的像素点的数量，然后进行取平均处理，得到D₁和D₂中灰度值非零像素点的平均数量

S23.求取平均数量

占I_t中的像素点的比例：

其中H为I_t的高度，W为I_t的宽度；

S24.若r小于设定的阈值Threshold，则认为I_t所表征的物体与行人轮廓模板T匹配，则将I_t确认为候选目标。

优选地，所述Threshold的值为0.1。

优选地，所述轮廓形状向量S_i是大小为2*n的矩阵，其中n为轮廓边缘图G_i的边缘点个数，轮廓形状向量S_i第一行存放轮廓边缘图G_i中边缘点的x坐标信息，第二行存放轮廓边缘图G_i中边缘点的y坐标信息。

优选地，所述步骤S16中，若各张行人图像的轮廓形状向量的长度不一致；设所有的轮廓形状向量中长度最短的轮廓形状向量的长度为l，则对各张行人图像的轮廓形状向量只取前l个元素参与平均值计算。

与现有技术相比，本发明的有益效果是：

本发明提供的方法首先使用传统的行人检测方法进行初步的行人检测，然后在初步的行人检测的基础上增加边缘信息约束，使得行人检测算法具有实时性和鲁棒性。

附图说明

图1为方法的流程图。

图2(a)为输入图像的示意图。

图2(b)为输出的前景图像的示意图。

图2(c)为背景建模得到的背景图的示意图。

图3从左往右依次是行人裁剪图像、背景建模后得到的前景图、行人的轮廓边缘图。

图4(a)为物体裁剪图像。

图4(b)为图4(a)的前景图像。

图4(c)为行人轮廓模板。

图4(d)为图4(b)减去图4(b)后和图4(c)相与的结果。

图4(e)为图4(c)减去图4(b)后与图4(c)相与的结果。

图5(a)为输入图像。

图5(b)为提取得到的边缘图。

图6(a)为实验的结果示意图一。

图6(b)为实验的结果示意图二。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

实施例1

如图1所示，本发明提供的方法的具体流程如下：

一、对输入图像进行初步的行人检测，将初步检测得到的候选目标从输入图像中截取出来。

其中，可以使用传统的方法进行初步的行人检测，比如，基于轮廓信息和模板匹配的行人检测方法。这里所使用到的方法要求具有较快的算法速率。以保证整个检测方法的实时快速性。

二、将步骤一截取的图像转换成灰度图像I_g。

三、对步骤一截取的图像进行混合高斯模型的背景建模，得到候选目标的背景图，将背景图转换成灰度图I_bg。

背景建模指的是对已有图像的背景像素数值进行统计，建立起背景的概率密度模型，当候选目标输入时，可以通过比较候选目标的每一个像素与背景概率密度模型的相似程度，从而判断出该像素属于前景还是属于背景，然后把候选目标中的背景部分裁剪出来。本实施例采用的是混合高斯模型的背景建模方法，这种背景建模方法使用多个高斯模型来拟合背景的概率密度模型，具有较好的鲁棒性和准确性，效果及过程如图2所示。

四、创建

和

两个模板，令I_g和I_bg分别与p1和p2卷积，得到边缘图e_f1，e_f2，e_b1和e_b2:

e_f1＝I_g*p1

e_f2＝I_g*p2

e_b1＝I_bg*p1

e_b2＝I_bg*p2。

e_f1，e_f2，e_b1和e_b2的求取过程如图5所示。

五、通过e_f1，e_f2，e_b1和e_b2求取E_f、E_t：

六、将E_f与E_b相减取绝对值后再二值化，得到边缘差值图E_t：

七、判断E_t中像素值大于m的像素点数占总的像素点数的比例，若该比例超过设定的阈值T_E，则判断候选目标为行人，并在输入图像中标记；否则判断候选目标为非行人。

实施例2

本实施例对步骤一中使用到的检测方法进行了具体的介绍，本实施例的步骤一中使用基于轮廓信息和模板匹配的行人检测方法对输入图像进行初步的行人检测，其具体过程如下：

S11.设已有N张行人图像I_i，i＝1,…,N，对N张行人图像分别进行混合高斯模型的背景建模，得到每张行人图像的前景图I_f,i。

S12.对于行人图像I_i的前景图I_f,i，对其进行闭操作后，将其与[1,0,1]和[1,0,1]^T两个模板进行卷积，得到两张边缘图g₁和g₂。

S13.对g₁和g₂取平方和开根号后得到行人图像I_i的轮廓边缘图G_i。如图3所示。

S14.对行人图像I_i的轮廓边缘图G_i搜索其边缘点的坐标信息，得到轮廓边缘图G_i的轮廓形状向量S_i。

S15.对各张行人图像进行步骤S12～S14的处理，得到各张行人图像的轮廓形状向量。

S16.对所有行人图像的轮廓形状向量进行取平均处理，得到平均的轮廓形状向量

S17.基于平均的轮廓形状向量

构建行人轮廓模板T。

S18.对于输入图像I，通过混合高斯模型的背景建模得到其前景图I_f，及背景图I_b。

S19.对前景图I_f进行闭操作处理后，使用一个和行人轮廓模板T相同大小的模板t与前景图I_f进行卷积。

S20.将卷积后模板t上包含的前景图像裁剪出来，得到I_t，I_t表征物体的形状轮廓信息。

S21.令I_t与行人轮廓模板T进行相与操作，得到

令I_t和行人轮廓模板T分别与

相减，得到D₁和D₂：

S22.分别统计D₁和D₂中灰度值非零的像素点的数量，然后进行取平均处理，得到D₁和D₂中灰度值非零像素点的平均数量

S23.求取平均数量

占I_t中的像素点的比例：

其中H为I_t的高度，W为I_t的宽度。

S24.若r小于设定的阈值Threshold，则认为I_t所表征的物体与行人轮廓模板T匹配，则将I_t确认为候选目标。如图4所示。

实施例3

本实施例进行了具体的实验，其具体的实验过程如图2(a)、图2(b)、图2(c)、图3、图4(a)、图4(b)、图4(c)、图4(d)、图4(e)、图5(a)、图5(b)所示。其具体的实验结果如图6(a)、图6(b)所示。实验表明，本发明提供的方法在不同光照下仍可以准确有效地检测行人位置，对光照变化的鲁棒性较强。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于边缘约束的实时行人检测方法，其特征在于：包括以下步骤：

S1.对输入图像进行初步的行人检测，将初步检测得到的候选目标从输入图像中截取出来；

S2.将步骤S1截取的图像转换成灰度图像I_g；

S3.对步骤S1截取的图像进行混合高斯模型的背景建模，得到候选目标的背景图，将背景图转换成灰度图I_bg；

S4.创建

和

两个模板，令I_g和I_bg分别与p1和p2卷积，得到I_g的垂直方向边缘图e_f1、I_g的水平方向边缘图e_f2、I_bg的垂直方向边缘图e_b1、I_bg的水平方向边缘图e_b2：

e_f1＝I_g*p1

e_f2＝I_g*p2

e_b1＝I_bg*p1

e_b2＝I_bg*p2

S5.通过e_f1，e_f2，e_b1和e_b2求取I_g综合方向的边缘图E_f和I_bg综合方向的边缘图E_b：

S6.将E_f与E_b相减取绝对值后再二值化，得到边缘差值图E_t：

m的取值范围为[10,30]；

S7.判断E_t中像素值大于m的像素点数占总的像素点数的比例，若该比例超过设定的阈值T_E，则判断候选目标为行人，并在输入图像中标记；否则判断候选目标为非行人。

2.根据权利要求1所述的基于边缘约束的实时行人检测方法，其特征在于：所述步骤S1使用基于轮廓信息和模板匹配的行人检测方法对输入图像进行初步的行人检测，其具体过程如下：

S11.设已有N张行人图像I_i，i＝1,…,N，对N张行人图像用线性插值法重定成30*50像素尺寸后，进行混合高斯模型的背景建模，得到每张行人图像的前景图I_f,i；

S12.对于行人图像I_i的前景图I_f,i，对其进行闭操作后，将其与[1,0,1]和[1,0,1]^T两个模板进行卷积，得到两张边缘图g₁和g₂；

S13.对g₁和g₂取平方和开根号后得到行人图像I_i的轮廓边缘图G_i；

S14.对行人图像I_i的轮廓边缘图G_i搜索其边缘点的坐标信息，得到轮廓边缘图G_i的轮廓形状向量S_i；

S15.对各张行人图像进行步骤S12～S14的处理，得到各张行人图像的轮廓形状向量；

S16.对所有行人图像的轮廓形状向量进行取平均处理，得到平均的轮廓形状向量

S17.基于平均的轮廓形状向量

构建行人轮廓模板T；

S18.对于输入图像I，通过混合高斯模型的背景建模得到其前景图I_f，及背景图I_b；

S19.对前景图I_f进行闭操作处理后，使用一个和行人轮廓模板T相同大小的像素全为255的模板t与前景图I_f进行卷积；

S20.将模板t在I_f上每个位置卷积后所包含图像裁剪出来，得到I_t，I_t表征物体的形状轮廓信息；

S21.令I_t与行人轮廓模板T进行相与操作，得到

令I_t和行人轮廓模板T分别与

相减，得到D₁和D₂：

S22.分别统计D₁和D₂中灰度值非零的像素点的数量，然后进行取平均处理，得到D₁和D₂中灰度值非零像素点的平均数量

S23.求取平均数量

占I_t中的像素点的比例：

其中H为I_t的高度，W为I_t的宽度；

S24.若r小于设定的阈值Threshold，则认为I_t所表征的物体与行人轮廓模板T匹配，则将I_t确认为候选目标。

3.根据权利要求2所述的基于边缘约束的实时行人检测方法，其特征在于：所述Threshold的值为0.1。

4.根据权利要求2所述的基于边缘约束的实时行人检测方法，其特征在于：所述轮廓形状向量S_i是大小为2*n的矩阵，其中n为轮廓边缘图G_i的边缘点个数，轮廓形状向量S_i第一行存放轮廓边缘图G_i中边缘点的x坐标信息，第二行存放轮廓边缘图G_i中边缘点的y坐标信息。

5.根据权利要求2所述的基于边缘约束的实时行人检测方法，其特征在于：所述步骤S16中，若各张行人图像的轮廓形状向量的长度不一致；设所有的轮廓形状向量中长度最短的轮廓形状向量的长度为l，则对各张行人图像的轮廓形状向量只取前l个元素参与平均值计算。

Images