CN103530601A - 一种基于贝叶斯网络的监控盲区人群状态推演方法 - Google Patents

Abstract

本发明公开了一种基于贝叶斯网络的监控盲区人群状态推演方法，其步骤为：捕获视频监控信号，设置各监控场景中的人群活动区域，获取视频监控人群图像并对人群活动区域进行地理空间映射处理；在地理参考下提取各监控场景的人群特征，包括人群密度、人群运动速度、人群流量，并分析地理环境下的群体运动趋势；利用人群特征、群体运动趋势与地理空间数据的关系，构建人群状态推演贝叶斯网络模型；基于已有的人群特征数据与贝叶斯网络模型，推演监控盲区的人群状态数据，包括人群流量、人群密度、人群运动速率，得到整个监控区域的人群状态空间格局。

Description

一种基于贝叶斯网络的监控盲区人群状态推演方法

技术领域

本发明涉及一种基于贝叶斯网络的监控盲区人群状态推演方法，具体说，是在离散、稀疏布设有监控探头的露天道路型公众聚集场所，利用已有人群监控数据推演监控盲区的人群状态数据，得到该人群活动区域人群状态的空间格局。

背景技术

公众聚集场所人群高度聚集、流动性大，构成了具有动态性、不确定性等特点的复杂地理场景。高密度聚集、流动的人群隐藏着巨大的安全隐患，时常发生拥挤踩踏等突发公共事件。随着社会的发展，世界各国政府已将视频监控技术的研究与应用上升到战略高度，在城市的各个角落安装了大量监控探头，所以，利用视频监控快速感知与监控突发公共事件是国内外公共安全保障重点关注的热点问题。现有利用视频的人群监控可分为人群密度监测和群体行为理解。

目前利用视频对人群密度的研究，可分为基于像素的方法、基于纹理分析的方法和基于人体分割的方法三类。基于像素的方法最早由Davies在文章“基于图像处理的人群监控”（Crowd monitoring using image processing,Electronics&Communication EngineeringJournal,1995,7(1):37-47;《电子与通信工程杂志》，1995年，第7卷第1期，37-47）中提出，通过背景减提取人群前景，运用边缘检测法提取前景边缘像素数目，根据标定的人数拟合人群数量估计线性模型，将提取的前景边缘像素数输入估计模型可获得对应的人群数量。由于透视畸变效应的影响，人群前景像素与边缘像素数目随着其真实点距摄像机的远近产生近大远小现象。为消除透视效应，Ma等提出一种对人群前景图像进行透视校正处理进而估计人群数量的方法。该方法建立了透视校正后前景像素数和人群数量间的线性关系（On pixel countbased crowd density estimation for visual surveillance,Cybernetics and IntelligentSystems Proceedings,Singapore,1-3December2004;基于像素数的视频监控人群密度估计，2004年（国际控制与智能系统）学术会议论文集，新加坡，2004年12月1-3日）。

基于像素的方法在人群密度较低时效果较好，随着密度增大，因行人间遮挡使得此类方法的线性关系不再成立。Marana等提出了基于纹理分析的人群密度估计方法（Automaticestimation of crowd density using texture,Safety Science,1998,28(3):165-175;基于纹理的人群密度自动估计，安全科学杂志，1998年，第28卷第3期，165-175），此类方法认为：高密度人群在纹理上表现为细模式，低密度人群表现为粗模式。提取人群图像感兴趣区域的纹理特征，基于图像纹理分析，训练人群密度等级分类器，并使用分类器实现对人群密度的等级分类。

人体分割法是在图像或视频序列中识别人群个体，进而统计人群数量。Lin等提出一种利用Haar小波变换和支持向量机相结合的人群密度估计方法（Estimation of number of peoplein crowded scenes using perspective transformation,IEEE Transactions on Systems,Manand Cybernetics,Part A:Systems and Humans,2001,31(6):645–654;基于透视变换的人群数量估计，IEEE系统、人和控制论汇刊，A辑:系统与人类，2001年第31卷第6期，645-654）。此类方法的精度高于基于像素的方法和基于纹理分析的方法，但只能应用于人群密度很低的场景，当人群密度较高时，由于遮挡和聚集导致很难识别分割出人群个体。

群体行为理解指通过人群分析对人群的运动模式与规律进行分析与识别，近年来已成为被广泛关注的研究热点。人群行为理解研究一般遵循运动特征提取与描述、行为识别、高层行为与场景理解等基本流程（Video understanding framework for automatic behaviorrecognition,Behavior Research Methods Journal,2006,38(3):416-426;基于视频的行为自动识别框架，行为研究方法杂志，2006年，第38卷第3期，416-426）。近年来，国内外学者提出了很多用于人群分析与理解的方法，总体来讲，可将其划分为基于人群个体分析和人群整体分析两种方法。

基于人群个体的分析方法是通过分割或检测人群中的个体，并对个体间的运动模式进行分析实现对人群行为的理解。Bobick等提出利用模板匹配法识别人体运动，模板匹配法首先对输入图像序列进行特征提取，并将提取的特征与训练阶段预先保存的模板进行相似度比较，将与测试序列距离最小的模板所属类别，作为被测试序列的识别结果（The recognition of humanmovement using temporal templates,IEEE Transactions on Pattern Analysis and MachineIntelligence,2001,23(3):257-267；基于时间模板的人体运动识别，模式分析与机器智能（IEEE Transactions），2001年，第23卷第3期，257-267）。Cheriyadat等利用光流技术提取场景中的人群运动场，通过聚类分析挖掘出了运动轨迹与人群主体运动方向，并实现了对与主体运动方向不一致的异常行为检测（Detecting dominant motions in dense crowds,IEEEJournal of Selected Topics in Signal Processing,2008,2(4):568-581;稠密人群的主体运动检测，信号处理IEEE杂志精选，2008年，第2卷第4期，568-581）。

基于人群整体的分析方法是把场景中人群作为一个整体，从整体角度出发分析与理解人群的行为模式。此类方法无需分割人群中的个体，较适合于拥挤复杂的高密度人群。Davies等将离散余弦变换与线性变换相结合，判断人群的静止与运动，并通过像素或图像块的移动特征来描述人群总体运动速度（包括方向和大小）（Crowd monitoring using image processing,Electronics&Communication Engineering Journal,1995,7(1):37-47;基于图像处理的人群监控，电子与通信工程杂志，1995年，第7卷第1期，37-47）。Ali和Shah提出了一种基于拉格朗日粒子动力学的人群行为分析方法，通过对人群光流场的分割来检测群体异常行为（A lagrangian particle dynamics approach for crowd flow segmentation and stabilityanalysis,IEEE Conference on Computer Vision and Pattern Recognition,Minnesota,18-23June2007;一种基于拉格朗日粒子动力学的人流分割与稳定性分析方法，2007年计算机视觉与模式识别IEEE国际学术会议论文集，明尼苏达，2007年6月18-23日）。朱海龙等提出一种图分析方法用于动态人群场景的异常状态检测，通过分析图顶点空间分布及边权重矩阵动态系统预测值与观测值之间的离散程度,对动态场景中的异常事件进行检测和定位（人群异常状态检测的图分析方法，自动化学报，2012年，第38卷第5期，742-750）。

现有的人群分析研究只局限于监控设备所涉及的范围，较少涉及与其他监控场景人群特征信息进行时空关联分析，无法实现多监控场景间人群的协同监控与分析。对于具有大量离散、无重叠监控设备的区域，无法感知监控整个区域的人群流动状况。如何根据已有的人群分析基础理论，进行地理环境下监控盲区的人群状态推演，以完成对整个人群活动区域人群状态的感知监控是本发明重点解决的问题。

发明内容

本发明所要解决的关键问题是在离散布设有大量监控探头的露天道路型公众聚集场所，利用各监控探头监测的人群状态数据，在地理空间数据的辅助下构建人群活动区域的贝叶斯网络模型，推演监控盲区的人群状态数据，进而得到人群状态的空间格局。因此，本发明提出了一种利用已有视频数据监测可监控区域的人群状态，并推演监控盲区人群状态的方法。

本发明的基本思路：设置各监控场景中的人群活动区域，获取视频监控人群图像并对人群活动区域进行地理空间映射处理；在地理参考下提取各监控场景的人群特征，包括人群密度、人群运动速度、人群流量，并分析各监控场景在地理环境下的群体运动趋势；利用人群特征、群体运动趋势及其与地理空间数据的关系，构建人群状态推演贝叶斯网络模型；利用已有的人群特征数据与贝叶斯网络模型，推演监控盲区的人群状态数据，包括人群流量、人群密度、人群运动速率，得到整个监控区域的人群状态空间格局

本发明一种基于贝叶斯网络的监控盲区人群状态推演方法的基本步骤为：

第一步、捕获视频监控信号，设置各监控场景中的人群活动区域，获取视频监控人群图像并对人群活动区域进行地理空间映射处理；

第二步、在地理参考下对各监控场景提取人群特征，并分析地理环境下的群体运动趋势；

第三步、根据人群特征、群体运动趋势与地理空间数据的关系，构建人群状态推演贝叶斯网络模型；

第四步、基于已有的人群特征数据与贝叶斯网络模型，推演监控盲区的人群状态数据，包括人群流量、人群运动速率和人群密度，得到整个监控区域的人群状态空间格局。

第一步所述视频监控图像的地理空间映射具体步骤为：

（1）选取图像中的人群活动区域；

（2）利用双灭点透视模型（罗晓晖，基于双灭点的图像透视变换方法，计算机工程，2009，35(15)：212-214.）对选取的图像区域进行透视校正；

（3）选取三组以上透视校正后的图像坐标及其对应的地理坐标，根据坐标的对应关系，求算图像空间至地理空间的映射变换矩阵，完成监控人群图像的地理空间映射。

第二步所述人群特征包括人群密度（宋宏权，一种可跨摄像机的自适应人群密度估计方法，中国发明专利，公开号:CN102982341A）、人群运动速度、人群流量。提取人群密度：在地理参考下提取人群活动的前景图像；对前景图像进行边缘检测和形态学处理的操作，获取到前景边缘像素的数量；设定人群密度估计模型自适应选取阈值；若前景边缘像素数目小于人群密度估计模型选取阈值，则采用低密度人群估计模型计算人群密度，并根据人群密度等级标准进行分类；若前景边缘像素数目大于该阈值，则提取前景图像的纹理特征，并利用跨摄像机SVM人群密度分类器估计人群密度等级。

第二步所述人群特征中人群运动速度估算的具体步骤为：

（1）实时获取并处理视频数据，在地理参考下提取可度量的人群运动场；

（2）按需将极坐标参考划分为若干主体方向；

（3）将地理参考下可度量的人群运动场转换至极坐标参考，根据在极坐标系下设定的主体方向判断各运动矢量所属的方向；

（4）对各方向的运动矢量位移进行累积计算，并统计各方向范围具有的运动矢量个数，求算各方向运动矢量位移的均值；

（5）根据人群运动场计算的时间间隔，进行各方向人群运动速率求解。

第二步所述人群特征中人群流量是指单位时间内单位长度通过的人数，为各方向人群运动速率与人群密度的乘积。根据人群密度和各方向的人群运动速率，求算各方向具有的人群流量。

第二步所述群体运动趋势分析的具体步骤为：

（1）在地理参考下利用Lucas-Kanade（LK）光流算法（An iterative image registrationtechnique with an application to stereo vision,Proceedings of the1981DARPA ImagingUnderstanding Workshop,Washington,18-21April1981;一种迭代图像配准技术及其在立体视觉中的应用，1981年美国国防部高级研究计划局图像理解专题研讨会论文集，华盛顿，1981年4月18-21日）计算人群运动场，并将其映射至极坐标参考系；

（2）按需将极坐标系划分为若干主体方向，按照极坐标系划定的主体方向标准，计算各运动矢量所属的主体方向；

（3）根据风向玫瑰图原理与方法生成人群运动趋势玫瑰图，得到各主体方向人群运动矢量的累积频率；

（4）利用统计分析得到的人群运动场玫瑰图，可判定监控场景在地理参考下的人群运动趋势。

第三步所述人群特征、群体运动趋势及其与地理空间数据的关系，包括空间位置、方位关系、度量关系。

第三步所述人群状态推演贝叶斯网络模型构建的具体步骤为：

（1）根据监控摄像机的空间分布与可监控视域，确定人群活动区域的可监控路段与监控盲区；

（2）若人群流动为单向运动模式，则根据可监控区域与监控盲区建立一个有向无环图，图中有向弧段用于描述可监控路段节点与监控盲区节点间的流向概率，若为双向运动模式，则建立方向相反的两个单向无环图；

（3）利用人群运动趋势、人群运动速度、道路宽度及其与道路路段的方位关系，计算图中各节点之间的流向概率，进而确定人群状态推演贝叶斯网络。

第四步所述可推演的人群状态数据包括人群流量、人群运动速率和人群密度。

本发明的方法实现简单，应用范围广泛，在露天道路型公众聚集场所，离散布设有大量监控摄像机的特定区域，如南京市夫子庙步行街、北京王府井大街，可通过有限的人群监控数据推演监控盲区的人群状态数据，从而可得到整个人群活动区域的人群状态空间格局。

附图说明

图1是本发明的技术流程图；

图2是视频数据的地理空间映射方法；

图3是本发明人群特征提取与群体运动趋势分析方法流程示意图；

图4是本发明用于实施例的人群流动系统及监控探头空间分布示意；

图5是本发明用于实施例人群流动系统的贝叶斯网络构建结果。

具体实施方式

下面结合附图和实施例，对本发明作进一步详细说明。

实施例：

第一步、相关设备准备。准备一台ThinkPad X201i型便携式笔记本电脑，沃仕达770s6z高清监控摄像头四个，Rikaline GPS-6033型蓝牙GPS卫星接收机一个。

第二步、视频数据地理空间映射。

图2描述了视频数据与空间数据之间的几何关系。图中点C为摄像机位置，摄像机拍摄的图像映射至像平面I，平面T为透视校正后的图像，G为GIS（Geographic Information System）空间的地理参考平面。地理空间（G平面）中的任一点P(x_g,y_g)在像平面中的位置为p(u,v)，图像透视校正后在平面T中的位置为P_t(x_t,y_t)，视频数据空间映射即为建立点p与点P的变换关系，实现图像空间I到地理空间G的映射。

（1）将摄像头安装在图4所示具有道路分支的人群聚集场所，并连接至笔记本电脑；

（2）打开基于Aforge.NET库（一种开源的计算机视觉库）开发的视频监控程序，用于获取各摄像头的监控图像，根据图2所述对监控图像透视校正；

（3）在各摄像头的监控图像中选取4个控制点，利用GPS接收机获取其对应的地理坐标，求算监控图像中人群活动区域到地理空间的单应变换矩阵。

第三步、人群特征提取，包括人群密度、运动速率、运动趋势，具体见附图3。

（1）实时获取视频数据，对监控图像中人群活动区域进行地理空间映射；

（2）进行人群密度估计（宋宏权，一种可跨摄像机的自适应人群密度估计方法，中国发明专利，公开号:CN102982341A）；

（3）利用LK光流法在地理参考下实时计算人群运动光流场，得到地理参考下可度量的人群运动场；

（4）将极坐标参考系从东偏北11.25°起，按逆时针方向以22.5°的间隔将坐标系划分为16个部分；

（5）将第三步计算的地理空间可度量人群运动场转换至极坐标参考；

（6）根据第四步所述（1）中划定的主体方向，判断各运动矢量所属主体方向；

（7）统计各主体方向具有的运动矢量数量，计算各方向运动矢量数量占运动数量总数的比例，得到各方向运动矢量的概率分布，进而得到监控场景中人群的群体运动趋势；

（8）计算各方向人群运动矢量模的累加值，统计各方向具有人群运动矢量的数量，求算各方向人群运动矢量的均值，得到各方向的人群运动速率。

第四步、贝叶斯网络构建及人群状态推演。

（1）根据监控探头1在人群活动区域的布设，划定人群活动区域的监控探头可监控区2与监控盲区3，具体见附图4；

（2）实施例区域的人群流动为双向运动模式，所以需要构建方向相反的两个，具体见附图5，其中“方向2”贝叶斯网络各节点间的人群流向概率均为1，“方向1”除了X₂→X₃和X₂→X₄的流向概率未知外，其他均为1；

（3）计算“方向1”X₂→X₃和X₂→X₄的流向概率，计算方法为：根据各子节点的路段方向分别得到对应的人群运动趋势概率p_j、人群运动速率v_j及各路段的宽度w_j；计算各子节点路段对应p_j、v_j、w_j的乘积；计算由节点X_i流向各子节点X_j的概率a_j，其中 ${\mathrm{\α}}_j=(p_j\×v_j\×w_j)/{\mathrm{\Σ}}_{j\∈0\left(X_i\right)}(p_j\×v_j\×w_j);$

（4）根据已有的人群密度、各路段方向上的人群运动速率求算人群流量（人群流量=人群密度×人群运动速率），利用各节点间的人群流向概率确定父节点流向子节点的人群流量；

（5）利用两个可监控区节点的人群状态数据，在地理空间对监控盲区节点区域的人群状态数据进行趋势线性插值，如利用X₀节点和X₂节点数据推演X₁节点数据；

（6）融合两个人群运动方向的人群状态数据，得到整个区域人群状态的空间格局。

Claims (3)

1.一种基于贝叶斯网络的监控盲区人群状态推演方法，其步骤为：

第一步、捕获视频监控信号，设置各监控场景中的人群活动区域，获取视频监控人群图像并对人群活动区域进行地理空间映射处理；

第二步、在地理参考下对各监控场景提取人群特征，包括人群密度、人群运动速度和人群流量，并分析地理环境下的群体运动趋势；

第三步、根据人群特征、群体运动趋势与地理空间数据的关系，构建人群状态推演贝叶斯网络模型；

第四步、基于已有的人群特征数据与贝叶斯网络模型，推演监控盲区的人群状态数据，包括人群流量、人群运动速率和人群密度，得到整个监控区域的人群状态空间格局。

2.根据权利要求1所述的一种基于贝叶斯网络的监控盲区人群状态推演方法，其特征在于，所述第二步的具体步骤分别为：

（a）提取人群密度：在地理参考下提取人群活动的前景图像；对前景图像进行边缘检测和形态学处理的操作，获取到前景边缘像素的数量；设定人群密度估计模型自适应选取阈值；若前景边缘像素数目小于人群密度估计模型选取阈值，则采用低密度人群估计模型计算人群密度，并根据人群密度等级标准进行分类；若前景边缘像素数目大于该阈值，则提取前景图像的纹理特征，并利用跨摄像机SVM人群密度分类器估计人群密度等级；

（b）提取人群运动速度：实时处理视频数据，在地理参考下提取可度量的人群运动场；将地理参考下的人群运动场转换至极坐标参考，根据在极坐标系下设定的主体方向判断各运动矢量所属的方向；对各方向的运动矢量位移进行累积计算，并统计各方向范围具有的运动矢量个数，求算各方向运动矢量位移的均值；根据人群运动场计算的时间间隔，进行各方向人群运动速率求解；

（c）提取人群流量：根据人群密度和各方向的人群运动速率，求算各方向具有的人群流量；

（d）分析群体运动趋势：实时处理视频数据，在地理参考下提取可度量的人群运动场，并将其映射至极坐标参考系；按照在极坐标系划定的主体方向标准，计算各运动矢量所属的主体方向，并根据风向玫瑰图原理与方法生成人群运动趋势玫瑰图，得到各主体方向的人群运动矢量累积频率；利用统计分析得到的人群运动场玫瑰图，可判定该监控场景在地理参考下的人群运动趋势。

3.根据权利要求1所述的一种基于贝叶斯网络的监控盲区人群状态推演方法，其特征在于，第三步所述构建人群状态推演贝叶斯网络模型的具体步骤为：根据监控摄像机的空间分布与监控视域，确定人群流动系统的可监控路段与监控盲区；若人群流动为单向运动模式，则根据可监控区域与监控盲区建立一个有向无环图，若为双向运动模式，则建立方向相反的两个单向无环图；利用人群运动趋势、人群运动速度、道路宽度及其与道路路段的方位关系，计算图中各节点之间的流向概率，进而确定人群状态推演贝叶斯网络。

Images