CN108710879B - 一种基于网格聚类算法的行人候选区域生成方法 - Google Patents

Abstract

本发明公开了一种基于网格聚类算法的行人候选区域生成方法，包括：1利用帧间差分法得到所有运动目标区域并保存目标的移动坐标。2把视频窗口划分为互不相交的网格单元，扫描所有网格，计算每个网格含有的坐标数据的数量；若当前网格密度超过阈值P，则认为是稠密的。3得到整个窗口的稠密网格D_i，进行合并操作，根据形成簇原则得到最小描述区域。4每帧都需要将得到的候选区域输入可变形部件模型中，但在输入过程中通过判断器来选择输入的候选窗口。5通过可变形部件模型对候选区域进行检测得到最终检测结果。本发明在不降低精确率的同时减少了可变形部件模型算法计算量，能在轻量级PC及嵌入式产品中实时运行。

Description

一种基于网格聚类算法的行人候选区域生成方法

技术领域

本发明属于图像识别技术领域，可广泛应用于视频监控，尤其是在行人检测方面。

背景技术

行人检测的主要目的是判断给定的图像或视频序列中是否有行人，并确定其位置。该技术在智能交通中的车辆辅助驾驶系统、智能机器人开发、人体行为分析、视频监控等领域具有广泛的应用价值。行人兼具刚性物体和柔性物体的特点，表观易受穿着、遮挡、尺度、姿态、视觉和复杂场景等因素的影响，使得行人检测成为目标检测领域中的难点与热点研究问题。

传统行人检测算法中主要包括两方面的研究。第一类是基于全局特征的行人检测算法，将人作为一个整体来提取特征，用分类器进行训练，进而检测行人。第二类算法在行人检测中引入了部件和姿势的概念，将人分为身体和手臂、腿等部件，分别提取每个部件的特征，训练检测器实现行人检测。相比之下，后者能够更好地处理行人检测中遮挡、姿势和视角变化的问题。

在行人检测应用中，可变形部件模型是很好的行人检测算法，不论是召回率还是准确率都比同类的检测算法要好很多，但是它的计算量大。多数研究者的做法通过对整个图像采用滑动窗口的方式获取行人候选窗口，然后使用可变形部件模型对候选区域进行精确检测。该方法够在一定程度上提高可变形部件模型的检测速度，但是并没有很好的利用候选窗口与原图的位置关系等信息。假设视频的尺寸为980*520，滑动窗口的尺寸为8*8，那么每一帧得到的候选窗口就有499200个，这在视频监控中会造成巨大的计算量，严重影响到监控的实时性，检测时间会明显增加。

综上所述，目前迫切需要提出一种鲁棒性和实用性较强的行人检测方法。

发明内容

针对上述问题，本发明的主要目的在于实现行人检测，且鲁棒性和实用性较强。针对可变形部件模型行人检测中通过滑动窗口法得到候选区域的数量太多导致耗时的问题，本文提出了一种基于网格聚类算法的行人候选区域生成方法，该方法包括：

(1)利用帧间差分法得到所有运动目标的区域并保存目标的移动坐标。

(2)把视频窗口划分为互不相交的网格单元，扫描所有网格，计算每个网格含有的坐标数据的数量；使用一个密度阈值P来识别稠密单位，如果计算出它的网格超过密度阈值，则认为是稠密的。

(3)得到整个窗口的稠密网格D_i(i＝1.2.3....)，进行合并操作，根据形成簇原则得到最小描述区域，即整个窗口中感兴趣区域。

(4)每帧都需要将得到的候选区域输入到可变形部件模型中，但在输入的过程中通过判断器来选择输入的候选窗口。其中可变形部件模型，是一种基于组件的检测算法。

(5)通过可变形部件模型对候选区域进行检测后得到最终检测结果。

较佳地，所述的步骤(1)具体为:

在读取的连续视频帧的每一帧中进行灰度转换和高斯模糊处理，然后使用帧间差法得到运动目标；将得到的运动目标进行轮廓提取，计算得到运动目标的质心坐标，存入队列Que中；设置队列状态码Q和更新队列状态码init的初始值为fasle。其中，队列存储数据分2种情况，具体如下：

(1-1)当队列坐标数据长度小于S时，每获取到一个坐标数据就从尾部添加进队列。其中S是样本上限。

(1-2)当队列坐标数据长度等于S时，包括如下情况：

(1-2-1)当队列状态码Q为false时，则停止向队列中添加数据。

(1-2-2)当队列状态码Q为true时，则清空队列，重新开始添加质心坐标数据。

(1-3)定期更新队列，将init赋值为true。当init为true时，将队列Que置为空，然后重复步骤(1-1)和(1-2)。

较佳地，所述的步骤(2)具体为:

(2-1)设置网格的步长为step，将检测窗口划分为互不相交的网格单元。

(2-2)每个网格数据结构为一个含有status，num，density三个值的数组，并分别初始化为false、0、fasle，三个值表示的意义分别为：status是表示该网格是否属于合并区域，num表示每个网格含有的质心坐标数据的数量，density表示该网格是否为稠密网格。

(2-3)遍历所有网格，计算出当前网格含有坐标数据的数量，并赋值给当前网格的num值；计算每个网格的密度，根据给定的阈值P识别稠密网格和非稠密网格，对应改变网格的density值的状态。其中P是密度阈值。

较佳地，所述的步骤(3)具体为:

以3*3的网格进行滑动窗口扫描，步长为一个网格，从左往右，从上往下扫描；根据形成簇原则判断当前滑动窗口为簇时，那么水平方向移动三格，再进行扫描；根据形成簇原则，判断当前滑动窗口为簇的时候，则将该3*3的窗口的9个网格的status都置为1，得到稠密网格D_i(i＝1.2.3....)的最小描述区域。

更进一步地，所述的形成簇原则，具体包括以下步骤:

(3-1)当前窗口内所有网格的status等于0且density等于1的数量大于5，判断当前窗口为簇。

(3-2)若窗口中含有status等于1的网格：

(3-2-1)窗口中含有status等于1的数量为8且含有status＝＝0的网格数量为1，判断当前窗口为簇；

(3-2-2)status等于0的网格数大于1且density等于1的数量大于5，判断当前窗口为簇。

较佳地，所述的步骤(4)具体为:

由于可变形部件模型读取的视频流是连续帧，每帧都需要进行行人检测，分两种方式共同检测：

(4-1)方式一：stage等于1，每帧都会获取通过帧间差法得到的运动区域，利用非极大值抑制算法得到包含运动目标的最小矩形窗口，将得到的窗口输入到判断器中进行判断，若判断正确，则输入到可变形部件模型中进行精确行人检测。其中stage是设置输入的优先级选择变量。

(4-2)方式二：stage等于0，待稠密网格合并完成后，以当前帧为起点，每隔C_l帧(l＝1，2，3....)，对稠密网格的合并区域进行滑动窗口扫描，将得到的候选检测区域输入到判断器中进行判断，若判断正确，则输入到可变形部件模型中进行精确行人检测。

更进一步地，所述的判断器原理，具体为：通过程序得到视频流的帧数，以稠密网格合并时开始统计，每隔C_l帧就选择stage等于0的候选区域，除此之外，都只接收stage等于1的候选区域。

较佳地，所述的步骤(5)具体为:

由于可变形部件模型是由两层滤波器组成，一个用于覆盖目标整体的根滤波器以及若干用于覆盖目标某个主要部件的局部滤波器。根滤波器的作用是捕获目标的整体轮廓特征，而局部滤波器能够捕获目标某个具有明显判别作用的局部特征。该模型中，根滤波器和局部滤波器均采用HOG特征空间滤波器。将候选区域输入可变形部件模型后，根据根滤波器模型和局部滤波器模型的综合响应得分与阈值相比较，确定出包含目标的窗口，再利用非极大值抑制算法得到最终检测结果。

本发明的有益效果包括：

1、本发明的步骤2中，赋予每个网格三种状态从而更加方便进行选择和计算。

2、本发明的步骤3中，能有效的剔除掉一些零碎的感兴趣区域，使得获取到的最小描述区域具有高可性度。

3、本发明的步骤4中，通过第C_l帧对感兴趣区域进行检测，消除了因为静止行人被忽略检测的情况。

4、本发明消除了现有行人检测技术的缺陷，鲁棒性和实用性较强。

附图说明

图1是本发明所述一种基于网格聚类算法的行人候选区域生成方法流程示意图；

图2是本发明网格单元数据结构流程示意图；

图3是本发明获取的感兴趣区域流程示意图；

具体实施方式

下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

该基于网格聚类算法的行人候选区域生成方法，包括以下步骤:

(1)利用帧间差法得到所有运动目标的区域并保存目标的移动坐标。

(2)把视频窗口划分为互不相交的网格单元，扫描所有网格，计算每个网格含有的坐标数据的数量；使用一个密度阈值P来识别稠密单位，如果计算出当前网格的密度超过密度阈值，则认为是稠密的。

(3)得到整个窗口的稠密网格D_i(i＝1.2.3....)，进行合并操作，根据形成簇原则得到最小描述区域，即整个窗口中感兴趣区域。

(4)每帧都需要将得到的候选区域输入到可变形部件模型中，但在输入的过程中通过判断器来选择输入的候选窗口。

(5)通过可变形部件模型对候选区域进行检测后得到最终检测结果

在一种较佳的实施方式中，所述的步骤(1)具体为:

在读取的连续视频帧的每一帧中进行灰度转换和高斯模糊处理，然后使用帧间差法得到运动目标；将得到的运动目标进行轮廓提取，计算得到运动目标的质心坐标，存入队列Que中；设置队列状态码Q和init的初始值为fasle。队列存储数据分2种情况：

(1-1)当队列坐标数据长度小于阈值S时，每获取到一个坐标数据就从尾部添加进队列。

(1-2)当队列坐标数据长度等于S时：

(1-2-1)当队列状态码Q为false时，则停止向队列中添加数据。

(1-2-2)当队列状态码Q为true时，则清空队列，重新开始添加质心坐标数据。

(1-3)定期更新队列，将init赋值为true。当init为true时，将队列Que置为空，然后重复步骤(1-1)和(1-2)。

在一种较佳的实施方式中，所述的步骤(2)具体为:

(2-1)设置网格的步长为step，将检测窗口划分为互不相交的网格单元；

(2-2)每个网格数据结构为一个含有status，num，density三个值的数组，并分别初始化为false、0、fasle，三个值表示的意义分别为：status是表示当前网格是否属于合并区域，num表示每个网格含有的质心坐标数据的数量，density表示当前网格是否为稠密网格。

(2-3)遍历所有网格，计算出当前网格含有坐标数据的数量，并赋值给当前网格的num值；计算每个网格的密度，根据给定的密度阈值P识别稠密网格和非稠密网格，对应改变网格的density值的状态。

在一种较佳的实施方式中，所述的步骤(3)具体为:

以3*3的网格进行滑动窗口扫描，步长为一个网格，从左往右，从上往下扫描；根据形成簇原则判断当前滑动窗口为簇时，那么水平方向移动三格，再进行扫描；根据形成簇原则，判断当前滑动窗口为簇的时候，则将该3*3的窗口的9个网格的status都置为1，得到稠密网格D_i(i＝1.2.3....)的最小描述区域。

在一种更进一步的实施方式中，所述的形成簇原则包括以下步骤:

(3-1)当前窗口内所有网格的status等于0且density等于1的数量大于5，判断当前窗口为簇。

(3-2)若窗口中含有status等于1的网格：

(3-2-1)窗口中含有status等于1的数量为8且含有status等于0的网格数量为1，判断当前窗口为簇。

(3-2-2)status等于0的网格数大于1且density等于1的数量大于5，判断当前窗口为簇。

在一种较佳的实施方式中，所述的步骤(4)具体为:

由于读取的视频流是连续帧，每帧都需要进行行人检测，分两种方式共同检测：

(4-1)方式一：stage等于1，每帧都会获取通过帧间差法得到的运动区域，利用非极大值抑制算法得到包含运动目标的最小矩形窗口，将得到的窗口输入到判断器中进行判断，若判断正确，则输入到可变形部件模型中进行精确行人检测。其中stage是设置输入的优先级选择变量。

(4-2)方式二：stage等于0，待稠密网格合并完成后，以当前帧为起点，每隔C_l帧(l＝1，2，3....)，对稠密网格的合并区域进行滑动窗口扫描，将得到的候选检测区域输入到判断器中进行判断，若判断正确，则输入到可变形部件模型中进行精确行人检测。

在一种更进一步的实施方式中，所述的判断器原理具体为：可以通过程序得到视频流的帧数，以稠密网格合并时开始统计，每隔C_l帧就选择stage等于0的候选区域，除此之外，都只接收stage等于1的候选区域。

在一种较佳的实施方式中，所述的步骤(5)具体为:

将候选区域输入进可变形部件模型后，根据根滤波器和局部滤波器的综合响应得分与阈值相比较，确定出包含目标的窗口，再利用非极大值抑制算法得到最终检测结果。

在一种具体的实施方式中，如图1所示，原始的可变形部件模型检测方法是采用经典的滑动窗口方式，即将滤波器从图像左上角逐像素滑动直至图像右下角，并分别计算滤波器与图像窗口的点积，这一过程的计算量非常巨大，在可变形部件模型的检测过程中占到了90％以上。帧间差分法是将视频流中相邻两帧或相隔几帧图像的两幅图像像素值相减，并对相减后的图像进行阈值化来提取图像中的运动区域。其算法简单且不易受环境光线影响，因此这一特性可以大大减少计算量，将stage的状态置为1，每帧都进行判断stage，如果判断正确，将获取到的运动目标区域输入到可变形部件模型中进行精确的行人检测。为了消除存在静止行人造成的漏检的情况，设置了方式二来消除。通过帧间差法得到的运动目标区域，进一步提取目标的轮廓，计算轮廓的质心，即运动目标的质心，并将得到的所有运动目标的质心坐标存储在队列Que中，待队列的质心坐标数到达上限S，将检测窗口划分为网格单元，然后遍历网格，计算每个网格含有质心坐标的数量num，根据密度阈值P判断当前网格是稠密网格还是非稠密网格，并修改当前网格的density的状态。待遍历全部网格的稠密判断，根据形成簇原则，进行稠密网格的合并操作，然后利用滑动窗口的方式扫描稠密网格合并区域，得到候选检测窗口。以稠密网格的合并操作完成时的当前帧为起点，当视频流到达第C_l帧时，将stage置为2，然后输入至判断器中进行判断，如果判断正确，将得到的候选窗口输入到可变形部件模型中进行精确的行人检测。该方式是自动得到当前摄像头的所处环境的人流频繁走动的最小区域，由于这一特性，极大地减少了对周围不出现行人的区域和少出现行人的区域的频繁检测造成的巨大计算量，根据当前两种提取候选检测区域方式结合可变形部件模型的精确的行人检测，在不降低检测率的同时大大减少了计算量。

在一种更具体的实施方式中，如图2所示，将检测窗口划分为网格单元时，由于算法场景的需要，为每个网格建立一个特殊的数据结构，该结构由一个长度为3数组组成，分别包含num，density和status。num表示每个网格含有的质心坐标的数量，density表示当前网格是否稠密的状态；status表示当前网格是否属于合并区域。

在一种更具体的实施方式中，如图3所示，是获取的感兴趣区域流程示意图。首先将检测窗口划分为网格单元，然后根据帧间差法得到的运动目标的质心坐标，通过扫描网格的方式来计算各个网格含有坐标点的数量以及判断网格的稠密状态，最后利用形成簇原则合并稠密网格。得到的最小描述区域就是感兴趣区域。

采用了该发明中的基于可变形部件模型的快速行人检测方法，简化了可变形部件模型算法，使之能在轻量级的PC机以及嵌入式产品中实时运行；提高了检测速度，具有广泛的应用范围。

在此说明书中，本发明己参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (7)

1.一种基于网格聚类算法的行人候选区域生成方法，其特征在于，包括如下步骤：

(1)利用帧间差法得到所有运动目标的区域并保存目标的移动坐标；

(2)把视频窗口划分为互不相交的网格单元，扫描所有网格，计算每个网格含有的坐标数据的数量；使用一个密度阈值P来识别稠密单位，如果计算出它的网格超过密度阈值，则认为是稠密的；

(3)得到整个窗口的稠密网格D_i，i＝1.2.3....，进行合并操作，根据形成簇原则得到最小描述区域，即整个窗口中感兴趣区域；

(4)每帧都需要将得到的候选区域输入到可变形部件模型中，但在输入的过程中通过判断器来选择输入的候选窗口，所述可变形部件模型采用一种基于组件的检测算法；针对步骤(4)中可变形部件模型读取的视频流是连续帧，每帧都需要进行行人检测，分两种方式共同检测：

(4-1)方式一：stage等于1，每帧都会获取通过帧间差法得到的运动区域，利用非极大值抑制算法得到包含运动目标的最小矩形窗口，将得到的窗口输入到判断器中进行判断，若判断正确，则输入到可变形部件模型中进行精确行人检测；其中stage是设置输入的优先级选择变量；

(4-2)方式二：stage等于0，待稠密网格合并完成后，以当前帧为起点，每隔C_l帧l＝1，2，3....，对稠密网格的合并区域进行滑动窗口扫描，将得到的候选检测区域输入到判断器中进行判断，若判断正确，则输入到可变形部件模型中进行精确行人检测；

所述判断器的原理具体为：通过程序得到视频流的帧数，以稠密网格合并时开始统计，每隔C_l帧就选择stage等于0的候选区域，除此之外，都只接收stage等于1的候选区域；(5)通过可变形部件模型对候选区域进行检测后得到最终检测结果。

2.根据权利要求1所述的一种基于网格聚类算法的行人候选区域生成方法，其特征在于，所述步骤(1)具体为：

在读取的连续视频帧的每一帧中进行灰度转换和高斯模糊处理，然后使用帧间差法得到运动目标；将得到的运动目标进行轮廓提取，计算得到运动目标的质心坐标，存入队列Que中。

3.根据权利要求2所述的一种基于网格聚类算法的行人候选区域生成方法，其特征在于，将计算得到运动目标的质心坐标存入队列Que中时，包括以下：

(1-1)当队列坐标数据长度小于S时，每获取到一个坐标数据就从尾部添加进队列；其中S是样本上限；

(1-2)当队列坐标数据长度等于S时，包括如下情况：

(1-2-1)当队列状态码Q为false时，则停止向队列中添加数据；

(1-2-2)当队列状态码Q为true时，则清空队列，重新开始添加质心坐标数据；

(1-3)定期更新队列，将init赋值为true；当init为true时，将队列Que置为空，然后重复步骤(1-1)和(1-2)。

4.根据权利要求1所述的一种基于网格聚类算法的行人候选区域生成方法，其特征在于，所述步骤(2)具体为:

(2-1)设置网格的步长为step，将检测窗口划分为互不相交的网格单元；

(2-2)每个网格数据结构为一个含有status，num，density三个值的数组，并分别初始化为false、0、fasle，三个值表示的意义分别为：num表示每个网格含有的质心坐标的数量，density表示当前网格是否稠密的状态；status表示当前网格是否属于合并区域；

(2-3)遍历所有网格，计算出当前网格含有坐标数据的数量，并赋值给当前网格的num值；计算每个网格的密度，根据给定的阈值P识别稠密网格和非稠密网格，对应改变网格的density值的状态；其中P是密度阈值。

5.根据权利要求1所述的一种基于网格聚类算法的行人候选区域生成方法，其特征在于，所述步骤(3)具体为:

以3*3的网格进行滑动窗口扫描，步长为一个网格，从左往右，从上往下扫描；根据形成簇原则判断当前滑动窗口为簇时，那么水平方向移动三格，再进行扫描；根据形成簇原则，判断当前滑动窗口为簇的时候，则将该3*3的窗口的9个网格的status都置为1，得到稠密网格D_i，i＝1.2.3....，的最小描述区域。

6.根据权利要求5所述的一种基于网格聚类算法的行人候选区域生成方法，其特征在于，所述形成簇原则，具体为：

(3-1)当前窗口内所有网格的status等于0且density等于1的数量大于5，判断当前窗口为簇；

(3-2)若窗口中含有status等于1的网格：

(3-2-1)窗口中含有status等于1的数量为8且含有status＝＝0的网格数量为1，判断当前窗口为簇；

(3-2-2)status等于0的网格数大于1且density等于1的数量大于5，判断当前窗口为簇；

density表示该网格是否为稠密网格，status是表示当前网格是否属于合并区域。

7.根据权利要求1所述的一种基于网格聚类算法的行人候选区域生成方法，其特征在于，所述步骤(5)具体为：

将候选区域输入可变形部件模型后，根据滤波器和部件滤波器的综合响应得分与阈值相比较，确定出包含目标的窗口，再利用非极大值抑制算法得到最终检测结果。

Images