CN105809092A - 人群目标检测方法及其装置 - Google Patents

Abstract

本发明公开了一种人群目标检测方法及其装置。所述方法包括：对图像块进行梯度方向的计算以获取梯度方向直方图；依据所述梯度方向直方图判断图像块是否为背景；对非背景的图像块采用背景差分法和三帧差分法确定是否包含人群目标信息。采用本发明，可以使得检测出的人群目标具有很高的准确率；同时提出的三次分类训练方法相比于基于像素的人群密度等级划分方法，准确率更高。

Description

人群目标检测方法及其装置

技术领域

本发明涉及视频监控技术领域，具体而言，涉及一种人群目标检测方法及其装置。

背景技术

由于社会经济水平的快速发展，城镇人口基数越来越大，聚集在公共区域的人口数量也越来越多，从而增加了发生人群拥挤状况的概率，人群拥挤往往会导致人群失控，甚至会影响到人的人身安全。例如人流量比较大的公共场所，如体育场、商场、学校、车站等，如果忽视人群拥挤情况且不注意监管，则很可能会引起重大事故的发生。另外在社会治安方面，一些非法分子组织的非法游行和非法集会也会严重影响到广大人民群众的安全。

上述都是因为人群聚集引起了人与人之间的过度拥挤，再从在某一突发因素之下容易导致人群的逐渐失控。因此，要是能够对此类人群拥挤状况进行及时发现并实时监测，并根据人群密集情况给出实时报警，那么在一定程度上可以避免一些事故的发生。

公开号CN101431664A的中国专利申请采用了一种基于视频流图像的密度客流自动检测方法，运用了计算机视觉算法对每一帧图像进行处理，在人群密度较低时，采用统计像素数的方法，并结合时间轴信息动态生成背景；在人群密度较高时，采用了小波包分解对人群图像进行多角度分析，然后把小波包分解系数矩阵的计数作为特征并使用分类器分类。然而此种方法对高密度人群的估计准确率较差。

公开号CN102034243A的中国专利申请披露了一种利用Harris算法检测角点，然后对每个角点进行密度扩散，从而获取检测区域内角点的每个像素点的密度值，最后，根据像素点的密度值，画出检测区域的人群密度图。然而此种方法计算复杂度高，对实时性检测有一定的影响。

综上所述，目前迫切需要提出一种准确率较高和计算复杂度较低的人群密度检测方法。

发明内容

为了解决现有技术中人群密度检测方法存在的准确率较低和计算复杂度较高的问题，本发明实施例的目的在于提供一种人群目标检测方法及其装置。

本发明实施例采用以下技术方案实现：

一种人群目标检测方法，包括：

对图像块进行梯度方向的计算以获取梯度方向直方图；

依据所述梯度方向直方图判断图像块是否为背景；

对非背景的图像块采用背景差分法和三帧差分法确定是否包含人群目标信息。

优选地，在执行所有步骤之前，所述人群目标检测还包括：

获取实时场景图像；

对所述场景图像执行归一化处理；

将所述经归一化处理过的场景图像划分成多个图像块。

进一步优选地，在对所述场景图像执行归一化处理之前，还包括：

依据预设的检测区域裁剪所述场景图像。

优选地，所述对非背景的图像块采用背景差分法和三帧差分法确定是否包含人群目标信息包括：

分别采用背景差分法和三帧差分法处理每一帧图像块；

将背景差分法处理结果以及三帧差分法处理结果进行或处理操作；

依据所述或处理操作结果确定所述图像块是否包含人群目标信息。

优选地，在执行所有步骤之后，所述人群目标检测还包括：

对检测出包含人群目标信息的图像块提取其灰度共生矩阵特征；

依据所述灰度共生矩阵特征和梯度方向直方图特征，确定所述人群目标信息的人群密度等级。

一种人群目标检测装置，包括：

计算模块，用于对图像块进行梯度方向的计算以获取梯度方向直方图；

判断模块，用于依据所述梯度方向直方图判断图像块是否为背景；

人群密度检测模块，用于对非背景的图像块采用背景差分法和三帧差分法确定是否包含人群目标信息。

优选地，所述人群目标检测装置还包括：

获取模块，用于获取实时场景图像；

预处理模块，用于对所述场景图像执行归一化处理；

划分模块，用于将所述经归一化处理过的场景图像划分成多个图像块。

优选地，所述人群目标检测装置还包括：

裁剪模块，用于依据预设的检测区域裁剪所述场景图像。

优选地，所述人群检测模块包括：

处理单元，用于分别采用背景差分法和三帧差分法处理每一帧图像块；

或操作逻辑单元，用于将背景差分法处理结果以及三帧差分法处理结果进行或处理操作；

检测单元，用于依据所述或处理操作结果确定所述图像块是否包含人群目标信息。

优选地，所述人群目标检测装置还包括：

提取模块，用于对检测出包含人群目标信息的图像块提取其灰度共生矩阵特征；

人群密度确定模块，用于依据所述灰度共生矩阵特征和梯度方向直方图特征，确定所述人群目标信息的人群密度等级。

与现有技术相比，本发明具有以下有益效果：

1、为了减少背景动态变化以及光照等环境变化影响，本发明在背景差分法与三帧差分法相结合的方法之前，采用了梯度方向直方图的方法将背景与人群区别开来，使得背景差分法与三帧差分法更多的关注于人群目标信息，同时也减少了不必要的检测，提升了检测速率。

2、在人群密度等级划分阶段，提出了一个三次分类的方法，比起基于像素的人群密集划分方法，提高了准确率。

附图说明

图1是本实施例提供的人群目标检测方法流程示意图；

图2是本实施例中人群密度等级划分时三次分类训练的流程示意图；

图3是本实施例提供的人群目标检测装置结构示意图；

图4是另一实施例提供的人群目标检测装置结构示意图；

图5是另一实施例提供的人群目标检测装置结构示意图；

图6是本实施例提供的人群检测模块结构示意图；

图7是另一实施例提供的人群目标检测装置结构示意图。

本发明目的的实现、功能特点及优异效果，下面将结合具体实施例以及附图做进一步的说明。

具体实施方式

下面结合附图和具体实施例对本发明所述技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

请参考图1，本发明实施例提供的人群目标检测方法包括如下步骤：

步骤S10：获取实时视频内容以得到场景图像并对每一帧图像进行预处理。

步骤S20：对预处理后的图像进行梯度方向的计算以获取梯度方向直方图。

步骤S30：图像采用背景差分法和三帧差分法相结合的方法确定是否包含人群目标信息。

步骤S40：对检测出包含人群目标信息的图像块提取其灰度共生矩阵特征从而确定人群密度等级。

本实施例中，所述步骤S10所述的图像预处理，主要是针对图像大小的不确定，将其归一化，然后将每幅图像划分成16个一样大小的块，下面的每一个步骤都是针对每一个块进行计算和判别。需要注意的是，由于检测场景的复杂多变，可以事先人为画出一个检测区域。

所说步骤S20所述的梯度方向直方图，在整个算法流程中的作用是排除不包含人群的区域(即排除背景干扰)，便于提升下一个步骤的准确率。

在计算梯度方向直方图时，为了得到准确的人群目标信息，对每一个图像块都提取了边缘信息，在本实施例中，采用了Canny边缘算子，当Canny图像块blockImg_canny(x,y)＝0时，相应的像素点(x,y)的梯度方向直接设置为0，其中(x,y)表示某像素点的坐标，在一定程度上减少了计算量。

之后则对计算出来的梯度方向图进行直方图统计。由于发明人考虑到计算出来的角度方向变化范围是：

$(-\frac{\mathrm{\π}}{2},\frac{\mathrm{\π}}{2});$

数值变化范围很小，很难转化为直方图进行统计分析。另外，还需要考虑的一个问题是：直方图中每一个bin的跨度范围的选择，直接会影响到后面的判别。因此，在本实施例中，针对上述的第一个问题，将其梯度方向直方图转化为灰度级是8的灰度图；针对第二个问题：需要根据应用场景的不同，主要根据摄像头设置的远近不同，当应用场景是10米以上的，bin的跨度范围就需要设置的宽一些，在实际应用当中，bin的跨度选择需要大量的实验训练。

当得到梯度方向直方图后，需要通过分析直方图找出一些明显的特征能够区别背景与人群。在本实施例中，可以采取大量训练正样本与负样本的方法，寻找能够把人群与背景分别开来的阈值Th，最终寻找到两种阈值：

一种是直方图中bin的值的大小范围，当在此范围内的个数超过阈值就可以判定为背景。

另一种通过对梯度方向直方图统计发现背景图像的角度变化集中在直方图的中间部分，本实施例采取了寻找前三个最大的bin值的方法。当某个图像块同时满足上述两个阈值条件，就可以判定为此图像块是背景。

所述步骤S30的主要作用是确定图像块是否包含人群目标信息，本实施例采用了背景差分法和三帧差分法相结合的方法。

背景差分法在实际应用中，对于外界环境的干扰比较敏感，如光照、风，于是需要采取一定的措施来避免。一般情况下，通过对背景模型的动态实时更新。在这里，采用了三帧差分法来弥补背景差分法这方面的不足。

传统的帧间差分法虽然检测到的运动目标比较准确，但是往往也会出现多检或漏检，直接导致了结果失真，出现“空洞”和“双影”现象。三帧差分法在本质上是相同的，只是处理方法不同，其实质是进行两次帧间差分并将其结果对应的相与。算法流程是对连续的三帧或者是相差帧数相同的三帧进行平滑去噪，再分别作帧间差分处理，即是用第(K+1)帧灰度值减去第K帧灰度值取绝对值，然后选取合适的阈值，得到二值图像△F₁(x,y)，再用第(K+2)帧灰度值减去第(K+1)帧灰度值取绝对值，用同样阈值得到二值图像△F₂(x,y)，最后用△F₁(x,y)和△F₂(x,y)进行“与”运算，可得到三帧差分法处理结果△F(x,y)。用公式表示为：

△F₁(x,y)＝|F₂(x,y)-F₁(x,y)|

△F₂(x,y)＝|F₃(x,y)-F₂(x,y)|

△F(x,y)＝△F₁(x,y)∩△F₂(x,y)

这样三帧差分法就将连续的三帧或者相差帧数相同的三帧图像分别进行了两次像素值相减，此种方法能够很好地检测出人群的轮廓信息，改善了帧间差分法引起的“双影”和“空洞”的缺点。

上述的三帧差分法却没有改善传统的帧差法的一个不可忽略的缺点，提取的运动前景目标不完整，实际应用中，这是一个关键的因素，因为判断图像块是否包含人群目标信息，是通过计算前景像素点占整个块图像中比例来达到的。为此，为了能够尽可能获取多的前景像素点，本实施例采取了背景差分法与三帧差分法相结合的新方法，通过分别用背景差分法和三帧差分法处理每一帧图像块，然后将两种处理方法得到的结果进行“或”处理操作。通过上面的分析，背景差分法的结果△B(x,y)和三帧差分法结果△F(x,y)相或，公式表示为△B(x,y)∪△F(x,y)。

依据本实施例，从而尽可能地多提取了前景像素点，从而为更好的判别图像块是否包含人群目标信息提供了很好的依据。

所述步骤S40的主要作用是确定人群密集等级。人群中经常会出现人与人之间的遮挡或重叠，因此如果采用基于像素特征的人群密度等级分类方法，就会产生较大误差，本实施例采用基于纹理特征的人群密度等级分类方法。其具体包括如下步骤：

步骤1、提取出基于灰度共生矩阵的特征值。

步骤2、利用支持向量机的分类方法进行分类，将人群密度等级进行划分。

上述步骤S40中，为了尽可能的保证训练学习的准确，本实施例可以通过截取不同密度等级的图片构成训练图片数据集。

提取的特征值有能量、对比度、相关度、逆差矩、熵，考虑到相同人群密度的上述五种特征在不同灰度级下相互对比关系并没有变化，同时充分考虑到计算量的问题，在灰度共生矩阵生成的过程中，选择的灰度级是16。

选定好灰度共生矩阵的灰度级后，下面就需要确定像素对之间的距离d和角度θ的取值问题。在本实施例中，为了同时兼顾准确度和信息完整性，设置d＝8和θ＝{0°，45°，90°，135°}四个角度值。

之后将提取的灰度共生矩阵特征值和梯度方向直方图特征值送入SVM进行分类。由于提取的特征数据不是线性的，是非线性数据，于是需要通过核函数K(x,y)将线性不可分的特征向量映射到线性可分的特征向量。可供选择的核函数通常有多项式核函数、S形函数、高斯径向核函数，多项式核函数和高斯径向基函数只需要确定一个参数即可，S形函数需要设置两个参数，因此为了简单些，优先考虑了多项式核函数。

另外需要注意的是：由于人群等级需要分为稀疏、较密集、密集、拥挤四类，但是SVM对二分类问题相对于四分类问题精确度更高且速率也快，所以本实施例采用了三次分类训练方法，即先把人群划分为稀疏和较密集拥挤两类，然后再分为较密集和密集拥挤两类，最后就是密集和拥挤两类，大致流程如图2所示，图2中的i代表的是第i次分类训练，比如当i＝2时，此时进行的是第二次分类训练，训练样本就只有较密集人群图、密集人群图、拥挤人群图，不包括稀疏人群图(只有当i＝1时才包含在训练样本中)。

下面给出第一次分类训练的流程，第二次和第三次分类训练流程大致相同，只是训练样本变化了，具体流程如下：

步骤1、从人群视频中截取2000幅图片(大小是88*72，跟步骤1中的块图像大小一样)作为训练样本，其中500幅是稀疏的，1500幅是较密集拥挤的，再随机截取1000幅作为测试样本，并手动分为稀疏和较密集拥挤两大类。设稀疏类别号Y＝1，较密集拥挤的类别Y＝-1。

步骤2、对训练样本计算灰度共生矩阵和梯度方向直方图的六个特征值。

步骤3、将计算出来的特征值送入SVM中训练，确定核函数参数p和惩罚因子C。最终根据训练样本的准确率和测试样本的准确率，设置p＝2和C＝1024。

步骤4、根据设置好的核函数参数和惩罚因子的支持向量机，对每一帧图像进行检测人群密度，也就是根据Y的值判别人群是稀疏的还是较密集拥挤的。

综上可知，本发明能够克服传统背景差分法的缺点，使得检测出的人群目标具有很高的准确率；同时提出的三次分类训练方法相比于基于像素的人群密度等级划分方法准确率更高。

相应地，参考图3所示，本实施例还提供了一种人群目标检测装置，包括：

计算模块，用于对图像块进行梯度方向的计算以获取梯度方向直方图；

判断模块，用于依据所述梯度方向直方图判断图像块是否为背景；

人群检测模块，用于对非背景的图像块采用背景差分法和三帧差分法确定是否包含人群目标信息。

参考图4所示，所述人群目标检测装置还包括：

获取模块，用于获取实时场景图像；

预处理模块，用于对所述场景图像执行归一化处理；

划分模块，用于将所述经归一化处理过的场景图像划分成多个图像块。

参考图5所示，所述人群目标检测装置还包括：

裁剪模块，用于依据预设的检测区域裁剪所述场景图像。

参考图6所示，所述人群检测模块包括：

处理单元，用于分别采用背景差分法和三帧差分法处理每一帧图像块；

或操作逻辑单元，用于将背景差分法处理结果以及三帧差分法处理结果进行或处理操作；

检测单元，用于依据所述或处理操作结果确定所述图像块是否包含人群目标信息。

参考图7所示，所述人群目标检测装置还包括：

提取模块，用于对检测出包含人群目标信息的图像块提取其灰度共生矩阵特征；

人群密度确定模块，用于依据所述灰度共生矩阵特征和梯度方向直方图特征，确定所述人群目标信息的人群密度等级。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种人群目标检测方法，其特征在于，包括：

对图像块进行梯度方向的计算以获取梯度方向直方图；

依据所述梯度方向直方图判断图像块是否为背景；

对非背景的图像块采用背景差分法和三帧差分法确定是否包含人群目标信息。

2.如权利要求1所述的人群目标检测方法，其特征在于，在执行所有步骤之前，所述人群目标检测还包括：

获取实时场景图像；

对所述场景图像执行归一化处理；

将所述经归一化处理过的场景图像划分成多个图像块。

3.如权利要求2所述的人群目标检测方法，其特征在于，在对所述场景图像执行归一化处理之前，还包括：

依据预设的检测区域裁剪所述场景图像。

4.如权利要求1所述的人群目标检测方法，其特征在于，所述对非背景的图像块采用背景差分法和三帧差分法确定是否包含人群目标信息包括：

分别采用背景差分法和三帧差分法处理每一帧图像块；

将背景差分法处理结果以及三帧差分法处理结果进行或处理操作；

依据所述或处理操作结果确定所述图像块是否包含人群目标信息。

5.如权利要求1所述的人群目标检测方法，其特征在于，在执行所有步骤之后，还包括：

对检测出包含人群目标信息的图像块提取其灰度共生矩阵特征；

依据所述灰度共生矩阵特征和梯度方向直方图特征，确定所述人群目标信息的人群密度等级。

6.一种人群目标检测装置，其特征在于，包括：

计算模块，用于对图像块进行梯度方向的计算以获取梯度方向直方图；

判断模块，用于依据所述梯度方向直方图判断图像块是否为背景；

人群密度检测模块，用于对非背景的图像块采用背景差分法和三帧差分法确定是否包含人群目标信息。

7.如权利要求6所述的人群目标检测装置，其特征在于，还包括：

获取模块，用于获取实时场景图像；

预处理模块，用于对所述场景图像执行归一化处理；

划分模块，用于将所述经归一化处理过的场景图像划分成多个图像块。

8.如权利要求7所述的人群目标检测装置，其特征在于，还包括：

裁剪模块，用于依据预设的检测区域裁剪所述场景图像。

9.如权利要求6所述的人群目标检测装置，其特征在于，所述人群检测模块包括：

处理单元，用于分别采用背景差分法和三帧差分法处理每一帧图像块；

或操作逻辑单元，用于将背景差分法处理结果以及三帧差分法处理结果进行或处理操作；

检测单元，用于依据所述或处理操作结果确定所述图像块是否包含人群目标信息。

10.如权利要求6所述的人群目标检测装置，其特征在于，还包括：

提取模块，用于对检测出包含人群目标信息的图像块提取其灰度共生矩阵特征；

人群密度确定模块，用于依据所述灰度共生矩阵特征和梯度方向直方图特征，确定所述人群目标信息的人群密度等级。