CN106022231A - 一种基于多特征融合的行人快速检测的技术方法 - Google Patents

Abstract

本发明公开了智能监控领域的一种多特征融合的行人快速检测的方法。它包括以下步骤：S1:对待检测图片预处理过后的图片进行高斯建模，提取出前景与背景。S2:通过前景，找到图像感兴趣区域R2。S3:对该图片进行BING特征的检测，提取出图像感兴趣区域R1。用到两次SVM训练，两次训练分别得到滤波器系数w和各类的proposal系数。上述操作后得到一个关于行人的预测模型，将该模型用来对待检测图片进行预测，得到一系列图像感兴趣区域R1。S4:得到上述两种图像感兴趣区域之后，在该被检测图片上找到对应的图像感兴趣区域，并分别进行HOG特征的检测，再用SVM分类，最后输出的检测到的行人图像区域。

Description

一种基于多特征融合的行人快速检测的技术方法

技术领域

本发明涉及智能监控中的目标快速检测领域，尤其涉及对行人的快速检测技术。

背景技术

随着网络信息的快速发展，行人检测作为智能监控、高级人机接口、人体运动分析和人体行为理解等领域一个先决条件，可以应用的领域也越来越广，所以如何准确快速地检测并定位到人体的位置信息十分重要。

行人检测算法主要分为基于运动分析的方法、基于模板匹配的方法和基于统计学习的方法三类。基于统计学习的方法准确性比较高，鲁棒性较强。目前主流的用于人体检测的方法是基于Dalal在2005提出的HOG特征的(histogramoriented gradient)检测方法。该方法是采取基于滑动窗口对整幅图片进行梯度特征的计算，并且提取相应的窗口里面的梯度特征，结合线性SVM分类器，获得了更好的鲁棒性。但是该方法检测速度太慢，检测尺寸为320＊240的图片时，只能达到1帧/秒的速度。一方面，当图片尺寸过大时，滑窗法提取的候选区域数量巨大，并且需要计算很多重复的数据，耗费了大量的时间，以至于对整幅图片检测的速度很低，无法满足实时性的要求。另一方面，由于复杂的，运动的背景导致误检率和漏检率增大，准确性降低。

针对HOG特征的计算速度慢的问题，很多有效的解决办法被提出，其中有关于积分直方图的Hog检测算法，克服了对特征进行重复计算的问题。视觉显著性的方法也被用于行人检测，它是为了过滤掉很多没有目标信息的候选窗口，这大大提高了检测速度。后来，基于BING特征和数据融合的行人检测方法被提出，主要是为了克服检测速度慢的问题。同时降低了漏检率，可以检测出非直立的行人。该方法是基于2014年程明明在CVPR上发表的一篇论文(BING:Binarized Normed Gradients for Objectness Estimation at 300fps)，同时公布了源代码。本发明也是用该特征(BING)来辅助检测的一种方法。

总的来说，基于HOG的行人检测方法在应用于实时检测的时候，存在检测速度慢，漏检率和误检率的问题。针对这些问题，各种优化的检测方法被相继提出，但还是存在着明显的不足。本发明就是用于减少HOG检测区域的行人检测的一种方法，可以大幅度提高检测所需的时间。

发明内容

本发明的目的是提供一种基于HOG特征的特征融合的行人检测方法，可以大幅度提高复杂背景下行人检测的速度和准确性。

为了实现上述目的，本发明所采用的技术方案如下：

本发明提供了一种快速行人检测的方法，该方法分析问题的视角是将目标分为运动目标和非运动目标。本发明技术可以使用VS(Microsoft Visual Studio)工具，调用opencv视觉库里的各种函数的API来实现，其它的小功能的实现需要用C/C++编写。为了更容易地检测到运动目标，本发明采用了基于高斯混合建模(GMM)的方法，将图片中的前景与背景分离，再通过caany边缘算法检测运动目标边缘，找出面积阈值范围内的轮廓的外接矩形，再找出外接矩形对应的图像区域即为感兴趣区域。同时为了更好的检测到静止目标，本发明对图像进行BING特征的提取，该特征能够将具有封闭性特征的目标都提取出来。在这些提取出来的图像感兴趣区域上进行HOG特征的计算，并用SVM分类器分类，得到最后的行人图像区域。大幅度减少了HOG计算的区域，相当于提高了检测速度。同时对于快速运动的目标，保持了很好的实时性，应用性好。各个部分的技术方法如下所述：

1.HOG特征提取和分类的方法就是将一个待检测图像或者窗口：

1)灰度化；

2)采用Gamma校正法对输入图像进行颜色空间的标准化(归一化)；目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；

3)计算图像每个像素的梯度(包括大小和方向)；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。

4)将图像划分成小cells(例如6*6像素/cell)；

5)统计每个cell的梯度直方图(不同梯度的个数)，即可形成每个cell的descriptor；

6)将每几个cell组成一个block(例如2*2个cell/block)，一个block内所有cell的特征描述符串联起来便得到该block的HOG特征descriptor。

7)将图像内的所有block的HOG特征descriptor串联起来就可以得到该被检测图片(你要检测的目标)的HOG特征descriptor。这个就是最终的可供分类使用的特征向量。

8)将该特征向量作为该图片的HOG特征，提供给SVM分类器分类，最后输出分类结果，在被检测图片上标注出来。将该分类结果对应的行人图像区域大小根据一定的比例b调整，最终在被检测图片上标注出来。b值为大于1的实数。

2.运用GMM方法提取出前景与背景的具体步骤为：

1)先定义一个高斯混合模型参数指针；

2)在读取第一帧时，进行高斯背景建模，根据当前帧创建一个模型，用该指针指向它。

3)接下来再读当前帧，来更新高背景模型。

4)用上述指针指向保存后的经过高斯混合模型分类后的结果，即前景与背景。

3.关于BING特征的提取方法：

首先是准备关于行人的正样本图像及相应的目标位置，然后基于目标位置进行采样，生成多个样本。再统计不同尺度下的正样本的个数，剔除样本个数少的尺度。同时提供负样本图像，对图像随机采样得到负样本。归一化各种大小的正负样本至大小8×8，提取BING特征，再通过SVM训练，得到输出滤波器w。然后对不同的proposal系数进行SVM训练，输出各类的proposal系数。经过上述操作后得到一个关于行人的预测模型，将该模型用来对frame1进行预测，得到一系列图像感兴趣区域R2。

附图说明

图1是基于多特征融合的行人快速检测流程图；

图2是采用GMM方法提取运动目标区域的流程图；

图3是BING特征提取的流程图；

图1中关于该分类结果对应的行人图像区域的尺寸调整，是根据一定的比例系数b调整。b值取为大于1的实数，可根据需求来定。

图2中关于面积阈值范围的选取，是根据图片的大小来定的。当摄像机固定和视频大小固定之后，我们可以根据视频中一般行人的大小(即面积大小)来设置面积阈值的上下界。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本发明的总体思路是将复杂运动背景下的行人检测分为运动目标检测和静态目标检测，分别采取GMM(Gaussian mixture model)和BING(Binarized Normedof Gradients for Objectness)特征的方法来检测出目标感兴趣区域，然后在这些区域上进行基于HOG特征的检测，再输出HOG方法已检测到的行人图像区域。本实施例是结合VS2013软件和opencv3.0来实现的，其中用的是C++/C语言编写的过程，调用的函数都为opencv各个相应模块里已写好的函数。

实施例：本实施例是一种关于快速行人检测的方法，如图1所示，包含以下步骤：

S1:开始读入视频，获取到待检测的一帧，对frame1调用cvtColor()函数，将该帧图片转换为灰度图gray1。再对图像进行尺寸调整为resize1，对该灰度图resize1进行高斯建模，提取出前景与背景。方法是调用函数createBackgroundSubtractormog2()创建BackgroundSubtractorMog2类型的指针bg_model，并且将该指针指向该类的成员函数apply()，用来进行前景检测并且更新背景。该函数运行后输出前景图foreground。

S2:寻找到轮廓面积阈值内的轮廓外接矩形,并输出图像感兴趣区域R2。通过腐蚀函数erode()和膨胀函数dilate()来对该前景图foreground进行进一步的处理，用来突出前景目标的轮廓。最后通过canny函数来检测出边缘，并找出外接矩形面积在阈值范围内的轮廓的外接矩形，得到的这些矩形就是相应的图像感兴趣区域R2。

S3:同时对该图片frame1进行BING特征的检测，提取出图像感兴趣区域。该步骤的实现如图3所示，首先是先准备关于行人的正样本图像及相应的目标位置，然后基于目标位置进行采样，生成多个样本。再统计不同尺度下的正样本的个数，剔除样本个数少的尺度。同时提供负样本图像，对图像随机采样得到负样本。归一化各种大小的正负样本至大小8×8，提取NG(即BING特征)特征，再通过SVM训练，得到输出滤波器w。然后对不同的proposal系数进行SVM训练，输出各类的proposal系数。上述操作后得到一个预测模型，用该模型对frame1进行预测，即得到一系列图像感兴趣区域R1。

S4:在上述两种方法的图像感兴趣区域的矩形位置进行HOG特征的检测，并输出行人图像区域。首先，对这些区域的长和宽根据一定的比例k(k大于1)进行放大。然后在这些调整过后的区域上进行HOG特征的提取，采用分类器分类，最后输出检测到的行人图像区域。对于检测到的行人图像区域进行适当的大小调整，并在frame1图片上用矩形框标注出来。调整的方向是：对于行人图像区域的长和宽都根据一定的比例系数b，进行放大。b的值为大于1的实数。

结合opencv，进行HOG特征提取和分类的具体实施步骤如下：

1.首先将待检测图片frame1被上述处理后的感兴趣矩形区域，存入vector类型的ROI容器里，接着创建一个HOGDescriptor类的对象hog。通过hog.setSVMDetector()调用opencv默认的getDefaultPeopleDetector()行人分类器，以及函数hog.detectMultiScale()来对这些图像感兴趣区域进行多尺度检测。并输出检测到的行人检测区域。

2.对于检测到的区域进行适当的大小调整，并在该帧frame1上显示出来。调整的方向是：对于行人图像区域的长和宽都根据一定的比例系数b，进行放大。b的值为大于1的实数。

本实施例的检测速度比传统的HOG检测速度要快很多，同时也提高了多动态目标以及非直立和直立行人的检测率。能够满足实时性，实际运用性很强。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (4)

1.一种基于多特征融合的行人快速检测方法，包括以下步骤：

S1:开始读入视频，获取到待检测的一帧图像，对该图像进行颜色的转换，即从三通道彩色转换成灰度图像，再对该灰度图像进行尺寸调整，得到调整后的图像，然后对调整后的图像进行高斯建模，分别提取出前景与背景，并输出前景；

S2：采用形态学的腐蚀和膨胀两种操作，对前景先腐蚀再膨胀，用来突出前景里的目标轮廓，然后通过canny边缘检测方法，检测出前景图里的目标轮廓，再计算出前景图里目标轮廓的轮廓面积，筛选出满足轮廓面积阈值范围的轮廓。最后找出这些阈值范围内的轮廓的外接矩形，这些外接矩形对应的图像区域就是图像感兴趣区域R2；

S3:对该帧图片进行BING特征的检测，提取出图像感兴趣区域R1；

S4:在S2和S3步骤得到的图像感兴趣区域上进行HOG特征的提取并使用分类器分类，最终输出行人图像区域，其中行人图像区域的大小可以根据参数b进行调整。

2.根据权利要求1所述的一种基于多特征融合的行人快速检测方法，其特征在于所述的步骤S1中提取出前景与背景的具体步骤为：

1)先定义一个高斯混合模型参数指针；

2)在读取第一帧时，进行高斯背景建模，根据当前帧创建一个模型，用该指针指向它；

3)接下来再读当前帧，来更新高背景模型；

4)用上述指针指向保存后的经过高斯混合模型分类后的结果，即前景与背景。

3.根据权利要求1所述的一种基于多特征融合的行人快速检测方法，其特征在于所述的步骤S3的具体步骤为：首先是准备关于行人的正样本图像及相应的目标位置，然后基于目标位置进行采样，生成多个样本，再统计不同尺度下的正样本的个数，剔除样本个数少的尺度，同时提供负样本图像，对图像随机采样得到负样本，归一化各种大小的正负样本至大小8×8，提取BING特征，再通过SVM训练，得到输出滤波器w，然后对不同的proposal系数进行SVM训练，输出各类的proposal系数，经过上述操作后得到一个关于行人的预测模型，将该模型用来对待检测图片进行预测，得到一系列图像感兴趣区域R2。

4.根据权利要求1所述的一种基于多特征融合的快速行人检测方法，其特征在于所述的步骤S4具体步骤为：首先，对待检测的图像感兴趣区域，根据一定的比例k进行放大，k值为大于1的实数，然后在这些调整过后的图像感兴趣区域上进行HOG特征的提取与分类，最后输出检测到的行人图像区域，并在被检测图片上标注出来，其中对图像感兴趣区域的HOG特征提取和分类的步骤如下：将一个待检测的图像区域：

1)灰度化；

2)采用Gamma校正法对输入图像进行颜色空间的标准化；

3)计算图像区域内每个像素的梯度，包括大小和方向；

4)将图像区域内划分成小cells；

5)统计每个cell的梯度直方图，即可形成每个cell的描述子；

6)将每几个cell组成一个block，一个block内所有cell的特descriptor串联起来便得到该block的HOG特征descriptor；

7)将被检测图像区域内的所有block的HOG特征descriptor串联起来就可以得到该到该被检测图像区域的HOG特征descriptor，该descriptor向量就是最终的可供分类器使用的特征向量；

8)将该特征向量作为该图像区域的HOG特征，提供给分类器分类，最后输出分类结果，将该分类结果对应的图像感兴趣区域根据一定的比例b调整，最终在被检测图片上标注出来，b值为大于1的实数。